JP2024513002A - 画像処理方法及び関連デバイス - Google Patents

画像処理方法及び関連デバイス Download PDF

Info

Publication number
JP2024513002A
JP2024513002A JP2023559812A JP2023559812A JP2024513002A JP 2024513002 A JP2024513002 A JP 2024513002A JP 2023559812 A JP2023559812 A JP 2023559812A JP 2023559812 A JP2023559812 A JP 2023559812A JP 2024513002 A JP2024513002 A JP 2024513002A
Authority
JP
Japan
Prior art keywords
image
terminal
distortion correction
cropped region
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023559812A
Other languages
English (en)
Inventor
ティアン、ジンデュオ
ワン、シアオエ
ヤン、チェン
ジャン、ジンレイ
ワン、ティジェン
ジェン、シシェン
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2024513002A publication Critical patent/JP2024513002A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Cameras In General (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Geometry (AREA)

Abstract

本願は、画像処理方法であって：カメラによって取得されたビデオストリームの２つの隣接する画像フレームに対して手ブレ補正を実行して、クロップ済み領域を取得する段階、及び手ブレ補正を通じて取得されたクロップ済み領域に対して透視歪み補正を実行する段階を備える、画像処理方法を提供する。２つの隣接するフレームに対して手ブレ補正が実行された後に出力されるクロップ済み領域は、同じ又は基本的に同じコンテンツを含むので、後続して生成されたビデオが平滑でかつ安定していることが保証され得る。本願では、透視歪み補正について、手ブレ補正を通じて取得されたクロップ済み領域間の位置関係が更にマッピングされ、その結果、後続して生成されたビデオの隣接するフレームの透視歪み補正の程度又は効果は同じであり、換言すれば、画像同士における同じオブジェクトの変換の程度は同じである。このようにして、後続して生成されたビデオのフレーム間一貫性が保たれ、明らかなジェロ（Ｊｅｌｌｏ）現象が防止され、撮影されたビデオの品質が改善される。

Description

本願は、２０２１年３月２９日に中国国家知識産権局に提出され、「ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＭＥＴＨＯＤ ＡＮＤ ＲＥＬＡＴＥＤ ＤＥＶＩＣＥ」という名称の中国特許出願第２０２１１０３３３９９４．９号に対する優先権を主張し、同中国特許出願は、その全体が参照によって本明細書に組み込まれる。
本願は、画像処理分野に関し、特に、画像処理方法及び関連デバイスに関する。
カメラが、広角カメラが画像を取得するモード、又は中焦点カメラが画像を取得するモードである場合、取得された原画像は、明らかな透視歪みを有する。具体的には、透視歪み（３Ｄ歪みとも称される）は、空間における３次元形状が像面にマッピングされるとき、撮影のための被写界深度の差に起因して、異なる倍率によって引き起こされる３Ｄオブジェクト撮像における変換（例えば、横方向の伸び、径方向の伸び、及びこれらの組み合わせ）である。したがって、透視歪み補正が、画像に対して実行される必要がある。
ユーザが撮影のために端末を保持する場合、ユーザは端末を保持する姿勢を安定に保つことができないので、端末は、像面の方向においてシェイクする。具体的に述べると、ユーザがターゲット領域を撮影するために端末を保持することを望む場合、端末を保持するときのユーザの姿勢が不安定であるので、ターゲット領域は、カメラによって取得された隣接する画像フレーム間で大きいオフセットを有し、その結果、カメラによって取得されたビデオはぼけを含む。
しかしながら、端末がシェイクし得ることは共通の問題であり、透視歪み補正を実行する既存の技術は成熟していない。結果として、補正済みのビデオは依然として低品質を有する。
本願の実施形態は、画像表示方法を提供し、その結果、明らかなジェロ（Ｊｅｌｌｏ）現象は生じず、それによって、ビデオ出力の品質が改善される。
第１の態様によれば、本願は、画像処理方法を提供する。方法は、リアルタイムにおいてビデオストリームを取得するために端末によって使用され、方法は：
取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得する段階；
第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得する段階；
第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得する段階；及び
取得された第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得する段階
を備え、ここで、第２のクロップ済み領域は、第１のクロップ済み領域及びシェイク情報に関連し、シェイク情報は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクを示し；手ブレ補正のために、前者の原画像フレームの写真からの後者の原画像フレームのビューファインダフレームにおける写真のオフセットシフト（オフセット方向及びオフセット距離を含む）が決定される必要がある。一実装では、オフセットシフトは、端末が２つの隣接する原画像フレームを取得するプロセスにおいて生じるシェイクに基づいて決定されてよい。具体的には、オフセットシフトは、端末が２つの隣接する原画像フレームを取得するプロセスにおいて生じる姿勢変化であってよい。姿勢変化は、直前の原画像フレームにおけるビューファインダフレームに対応する撮影された姿勢、及び端末が現在の原画像フレームを撮影するときの姿勢に基づいて取得されてよい。
方法は：
第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得する段階；及び
第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得する段階
を更に備え、ここで、第３の画像及び第４の画像は、ターゲットビデオを生成するために使用され、
第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである。
既存の実装に従って原画像の全ての領域に対して透視歪み補正を実行することとは異なり、本願のこの実施形態では、透視歪み補正が、第１のクロップ済み領域に対して実行される。端末デバイスがシェイクする場合、カメラによって取得された２つの隣接する原画像フレーム間でコンテンツ位置合わせ不良が通常生じるので、当該２つの画像フレームに対して手ブレ補正が実行された後に出力されることになるクロップ済み領域の位置は、原画像において異なり、すなわち、当該２つの画像フレームに対して手ブレ補正が実行された後に出力されることになるクロップ済み領域及び原画像の中心点の間の距離は異なる。しかしながら、２つのフレームに対して手ブレ補正が実行された後に出力されることになるクロップ済み領域のサイズは同じである。したがって、手ブレ補正を通じて取得されたクロップ済み領域に対して透視歪み補正が実行される場合、隣接するフレームに対して実行される透視歪み補正の程度は同じである（なぜならば、２つのフレームに対する手ブレ補正を通じて出力されたクロップ済み領域の各々における各サブ領域及び手ブレ補正を通じて出力されたクロップ済み領域の中心点の間の距離が同じであるためである）。加えて、２つの隣接するフレームに対する手ブレ補正を通じて出力されたクロップ済み領域は同じ又は基本的に同じコンテンツを含む画像であり、かつ画像同士における同じオブジェクトの変換の程度は同じであり、すなわち、フレーム間一貫性が保たれるので、明らかなジェロ（Ｊｅｌｌｏ）現象は生じず、それによって、ビデオ出力の品質が改善される。本明細書におけるフレーム間一貫性は、時間ドメイン一貫性とも称され得、隣接するフレームにおいて同じコンテンツを有する領域についての処理結果が同じであることを示すことが理解されるべきである。
したがって、本願のこの実施形態では、透視歪み補正は、第１の画像に対して実行されるのではなく、透視歪み補正は、手ブレ補正を通じて取得された第１のクロップ済み領域に対して実行されて、第３のクロップ済み領域が取得される。第１の画像に隣接したフレーム（第２の画像）のために同じ処理が更に実行され、すなわち、透視歪み補正が、手ブレ補正を通じて取得された第２のクロップ済み領域に対して実行されて、第４のクロップ済み領域が取得される。このようにして、第３のクロップ済み領域及び第４のクロップ済み領域における同じオブジェクトの変換補正の程度は同じであり、その結果、フレーム間一貫性が保たれ、明らかなジェロ（Ｊｅｌｌｏ）現象は生じず、それによって、ビデオ出力の品質が改善される。
本願のこの実施形態では、同じターゲットオブジェクト（例えば、人間のオブジェクト）は、前者のフレーム及び後者のフレームのクロップ済み領域内に含まれてよい。透視歪み補正のためのオブジェクトは手ブレ補正を通じて取得されたクロップ済み領域であるので、ターゲットオブジェクトについて、透視歪み補正に起因した前者のフレーム及び後者のフレームにおけるターゲットオブジェクトの変換の程度間の差は非常に小さい。差が非常に小さいことは、人間の肉眼から形状差を識別することが困難であること、又は人間の肉眼から前者のフレーム及び後者のフレームの間でジェロ現象を発見することが困難であることとして理解され得る。
第１の態様に係る画像処理方法は、以下のように更に理解され得る：取得されたビデオストリームにおける単一の画像（例えば、第２の画像）に対する処理のために、具体的には、手ブレ補正が、取得された第２の画像に対して実行されて、第２のクロップ済み領域が取得されてよく、ここで、第２のクロップ済み領域は、第１のクロップ済み領域及びシェイク情報に関連し；第１のクロップ済み領域は、第２の画像に隣接し、かつ時間ドメインにおいて第２の画像の前である画像フレームに対して実行された後に手ブレ補正が取得され、ここで、シェイク情報は、端末が、第２の画像、及び当該第２の画像に隣接し、かつ時間ドメインにおいて第２の画像の前である画像フレームを取得するプロセスにおいて生じるシェイクを示し；透視歪み補正が、第２のクロップ済み領域に対して実行されて、第４のクロップ済み領域が取得され、第４の画像は、第２の画像及び第４のクロップ済み領域に基づいて取得され、ターゲットビデオは、第４の画像に基づいて生成される。第２の画像は、取得されたビデオストリームにおける最初ではない任意の画像であってよく、最初ではない画像は、時間ドメインにおいてビデオストリームにおける最初ではない画像フレームを指すことが理解されるべきである。ターゲットビデオは、第２の画像を処理する方式と同じ方式でビデオストリームにおける複数の画像を処理することによって取得されてよい。
可能な実装では、第１の画像における第１のクロップ済み領域の位置に対する第２の画像における第２のクロップ済み領域の位置のオフセットの方向は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクの、像面上のシェイク方向に対して逆である。
手ブレ補正を実行することは、ユーザが端末デバイスを保持するときの姿勢変化に起因した、取得されたビデオにおけるシェイクをなくすことである。具体的には、手ブレ補正を実行することは、ビューファインダフレームにおける出力を取得するために、カメラによって取得された原画像をクロップすることである。ビューファインダフレームにおける出力は、手ブレ補正の出力である。端末が非常に短時間内に大きい姿勢変化を有する場合、前者の画像フレームの写真から、後者の画像フレームのビューファインダフレームにおける写真の大きいオフセットが存在する。例えば、第ｎのフレームが取得される場合と比較して、端末が第（ｎ＋１）のフレームを取得する場合、像面の方向内の方向Ａにおけるシェイクが存在する（方向Ａにおけるシェイクは、方向Ａに向かう端末上のカメラの主光軸の方向のシェイク、又は像面の方向内の方向Ａに向かう端末上のカメラの光学中心の位置のシェイクであってよいことが理解されるべきである）。このケースでは、第（ｎ＋１）の画像フレームのビューファインダフレームにおける写真は、第ｎの画像フレームにおいて、方向Ａに対して逆の方向に向かってずらされる。
可能な実装では、第１のクロップ済み領域は、第１の画像における第１のサブ領域を示し、第２のクロップ済み領域は、第２の画像における第２のサブ領域を示す。
第１の画像における、第１のサブ領域に対応する第１の画像コンテンツ、及び第２の画像における、第２のサブ領域に対応する第２の画像コンテンツの間の類似度は、第１の画像及び第２の画像の間の類似度よりも高い。画像コンテンツ間の類似度は、画像におけるシナリオ間の類似度、画像における背景間の類似度、又は画像におけるターゲット被写体間の類似度として理解され得る。
可能な実装では、画像間の類似度は、同じ位置における画像領域内の画像コンテンツ間の全体類似度として理解され得る。端末のシェイクに起因して、第１の画像及び第２の画像の画像コンテンツは、位置ずれし、画像における同じ画像コンテンツの位置は異なる。換言すれば、第１の画像及び第２の画像における同じ位置における画像領域内の画像コンテンツ内の類似度は、第１のサブ領域及び第２のサブ領域における同じ位置における画像領域内の画像コンテンツ間の類似度よりも低い。
可能な実装では、画像間の類似度は、代替的には、画像内に含まれる画像コンテンツ間の類似度として理解され得る。端末のシェイクに起因して、第１の画像のエッジ領域における、第２の画像には存在しない画像コンテンツの部分が存在し、同様に、第２の画像のエッジ領域における、第１の画像には存在しない画像コンテンツの部分が存在する。換言すれば、第１の画像及び第２の画像は両方とも、互いにおいて存在しない画像コンテンツを含み、第１の画像及び第２の画像内に含まれる画像コンテンツ間の類似度は、第１のサブ領域及び第２のサブ領域内に含まれる画像コンテンツ間の類似度よりも低い。
加えて、ピクセルが類似度を決定するための粒度として使用される場合、類似度は、画像内の同じ位置におけるピクセルのピクセル値間の全体類似度によって表されてよい。
可能な実装では、第１のクロップ済み領域に対して透視歪み補正を実行する前に、方法は：
端末が歪み補正条件を満たすことを検出する段階、及び歪み補正機能を有効化する段階
を更に備える。端末の現在の撮影環境、撮影パラメータ、又は撮影コンテンツは、透視歪み補正が実行される必要がある条件を満たすことが更に理解され得る。
端末が歪み補正条件を満たすことを検出し、歪み補正機能を有効化するアクションが実行される時点は、取得された第１の画像に対して手ブレ補正を実行する段階の前であってもよいし、又は取得された第１の画像に対して手ブレ補正が実行された後でありかつ第１のクロップ済み領域に対して透視歪み補正が実行される前であってもよいことが理解されるべきである。これは、本願において限定されるものではない。
一実装では、透視歪み補正が、有効化される必要があり、すなわち、透視歪み補正が現在有効化状態にあることが検出された場合にのみ、透視歪み補正は、第１のクロップ済み領域に対して実行される。
可能な実装では、端末が歪み補正条件を満たすことを検出することは、以下のケースのうちの１つ又は複数を含むが、これらに限定されるものではない：
ケース１：端末のズーム比が第１の事前設定閾値よりも低いことが検出される。
一実装では、透視歪み補正が有効化されるか否かは、端末のズーム比に基づいて決定されてよい。端末のズーム比が大きい（例えば、長焦点撮影モードの完全な又は部分的なズーム比範囲内であるか、又は中焦点撮影モードの完全な又は部分的なズーム比範囲内である）場合、端末によって取得された画像の写真における透視歪みの程度は低い。透視歪みの程度が低いことは、人間の目では端末によって取得された画像の写真におけるいずれの透視歪みもほぼ識別することができないこととして理解され得る。したがって、端末のズーム比が大きい場合、透視歪み補正は、有効化される必要はない。
可能な実装では、ズーム比がａ～１の範囲に及ぶ場合、端末は、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、第１の事前設定閾値は、１よりも高く、ａは、前面広角カメラ又は背面広角カメラの固定ズーム比であり、ａの値は、０．５～０．９の範囲に及び；又は
ズーム比が１～ｂの範囲に及ぶ場合、端末は、背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、ｂは、端末上の背面長焦点カメラの固定ズーム比又は端末の最大ズームであり、第１の事前設定閾値は、１～１５の範囲に及び、ｂの値は、３～１５の範囲に及ぶ。
ケース２：透視歪み補正機能を有効化するためのユーザの第１の有効化動作が検出される。
可能な実装では、第１の有効化動作は、端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含み、第１のコントロールは、透視歪み補正を有効化又は無効化することを指示するのに使用され、第１の動作は、透視歪み補正を有効化することを指示するのに使用される。
一実装では、透視歪み補正を有効化又は無効化することを指示するのに使用されるコントロール（本願のこの実施形態では第１のコントロールと称される）は、撮影インターフェース内に含まれてよい。ユーザは、第１のコントロール上の第１の動作を通じて透視歪み補正を有効化する、すなわち、第１のコントロール上の第１の動作を通じて透視歪み補正を有効化することをトリガしてよい。このようにして、端末は、透視歪み補正を有効化するためのユーザの第１の有効化動作を検出してよく、第１の有効化動作は、端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含む。
一実装では、透視歪み補正を有効化又は無効化することを指示するのに使用されるコントロール（本願のこの実施形態では第１のコントロールと称される）は、端末のズーム比が第１の事前設定閾値よりも低いことが検出される場合にのみ撮影インターフェースにおいて表示される。
ケース３：撮影シナリオにおいて人間の顔が識別され；
撮影シナリオにおいて人間の顔が識別され、ここで、人間の顔及び端末の間の距離が事前設定値よりも低い；又は
撮影シナリオにおいて人間の顔が識別され、ここで、撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合は、事前設定割合よりも高い。
撮影シナリオにおいて人間の顔が存在する場合、透視歪み補正に起因した人間の顔の変換の程度がより視覚的に明らかであり、かつ人間の顔及び端末の間の距離がより小さいか又は撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合がより高い場合、画像における人間の顔のサイズはより大きいので、透視歪み補正に起因した人間の顔の変換の程度は一層より視覚的に明らかであることが理解されるべきである。したがって、透視歪み補正は、前述のシナリオにおいて有効化される必要がある。この実施形態では、透視歪み補正を有効化するか否かは、撮影シナリオにおいて人間の顔に関連した前述の条件を決定することによって決定され、その結果、透視歪みが生じる撮影シナリオを正確に決定することができ、透視歪み補正が、透視歪みが生じる撮影シナリオのために実行される。透視歪みが生じていない撮影シナリオにおいて、透視歪み補正は実行されない。このようにして、画像信号が正確に処理され、電力消費が削減される。
撮影シナリオは、カメラが第１の画像を取得する前に取得された画像として理解され得、又は第１の画像がカメラによって取得されたビデオの第１の画像フレームである場合、撮影シナリオは、第１の画像、又は時間ドメインにおいて当該第１の画像に近い画像であってよいことが理解されるべきである。撮影シナリオにおいて人間の顔が存在するか否か、人間の顔及び端末の間の距離が事前設定値よりも小さいか否か、及び撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合は、ニューラルネットワークを使用することによって、又は別の方式で決定されてよい。事前設定値は、０ｍ～１０ｍの範囲に及んでよい。例えば、事前設定値は、１、２、３、４、５、６、７、８、９、又は１０であってよい。これは、本明細書において限定されるものではない。ピクセルの割合は、３０％～１００％の範囲に及んでよい。例えば、ピクセルの割合は、３０％、４０％、５０％、６０％、７０％、８０％、９０％又は１００％であってよい。これは、本明細書において限定されるものではない。
可能な実装では、取得された第１の画像に対して手ブレ補正を実行する前に、方法は：
端末が手ブレ補正条件を満たすことを検出し、手ブレ補正機能を有効化する段階
を更に備える。端末の現在の撮影環境、撮影パラメータ、又は撮影コンテンツは、手ブレ補正が実行される必要がある条件を満たすことが更に理解され得る。
可能な実装では、端末が手ブレ補正条件を満たすことを検出することは、以下のケースのうちの１つ又は複数を含むが、これらに限定されるものではない：
ケース１：端末のズーム比が第２の事前設定閾値よりも高いことが検出される。
一実装では、第２の事前設定閾値及び端末デバイス上のターゲットカメラの固定ズーム比の間の差は、事前設定範囲内であり、ここで、ターゲットカメラは、端末上の、最小固定ズーム比を有するカメラである。
一実装では、手ブレ補正機能を有効化すべきか否かは、端末のズーム比に基づいて決定されてよい。端末のズーム比が小さい（例えば、広角撮影モードの完全な又は部分的なズーム比範囲内である）場合、撮影インターフェースにおけるビューファインダフレームにおいて表示される写真に対応する物理領域のサイズは、既に非常に小さい。手ブレ補正が更に実行される、すなわち、画像が更にクロップされる場合、ビューファインダフレームにおいて表示される写真に対応する物理領域のサイズは、より小さくなる。したがって、手ブレ補正機能は、端末のズーム比が特定の事前設定閾値よりも高い場合にのみ有効化されてよい。
ターゲットカメラは、前面広角カメラであってよく、事前設定範囲は、０～０．３であってよい。例えば、前面広角カメラの固定ズーム比が０．５である場合、第２の事前設定閾値は、０．５、０．６、０．７、又は０．８であってよい。
ケース２：手ブレ補正機能を有効化するためのユーザの第２の有効化動作が検出される。
一実装では、第２の有効化動作は、端末上の撮影インターフェースにおける第２のコントロール上の第２の動作を含み、第２のコントロールは、手ブレ補正機能を有効化又は無効化することを指示するのに使用され、第２の動作は、手ブレ補正機能を有効化することを指示するのに使用される。
一実装では、手ブレ補正機能を有効化又は無効化することを指示するのに使用されるコントロール（本願のこの実施形態では第２のコントロールと称される）は、撮影インターフェース内に含まれてよい。ユーザは、第２のコントロール上の第２の動作を通じて手ブレ補正機能を有効化する、すなわち、第２のコントロール上の第２の動作を通じて手ブレ補正機能を有効化することをトリガしてよい。このようにして、端末は、手ブレ補正機能を有効化するためのユーザの第２の有効化動作を検出してよく、第２の有効化動作は、端末上の撮影インターフェースにおける第２のコントロール上の第２の動作を含む。
一実装では、手ブレ補正機能を有効化又は無効化することを指示するのに使用されるコントロール（本願のこの実施形態では第２のコントロールと称される）は、端末のズーム比が第２の事前設定閾値よりも高いか又はこれに等しいことが検出される場合にのみ撮影インターフェースにおいて表示される。
可能な実装では、第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得する段階は：第１のマッピング関係及び第２のマッピング関係を取得する段階、ここで、第１のマッピング関係は、第２のクロップ済み領域における各位置点及び第２の画像における対応する位置点の間のマッピング関係を示し、第２のマッピング関係は、第４のクロップ済み領域における各位置点及び第２のクロップ済み領域における対応する位置点の間のマッピング関係を示す；及び第２の画像、第１のマッピング関係、及び第２のマッピング関係に基づいて第４の画像を取得する段階を有する。
可能な実装では、第２の画像、第１のマッピング関係、及び第２のマッピング関係に基づいて第４の画像を取得する段階は：
第１のマッピング関係を第２のマッピング関係に結合して、ターゲットマッピング関係を決定する段階、ここで、ターゲットマッピング関係は、第４のクロップ済み領域における各位置点及び第２の画像における対応する位置点の間のマッピング関係を含む；及び
第２の画像及びターゲットマッピング関係に基づいて第４の画像を決定する段階
を含む。
すなわち、第１のマッピング関係及び第２のマッピング関係のためのインデックステーブルが結合される。インデックステーブルを結合することによって、クロップ済み領域が手ブレ補正を通じて取得された後にワープ操作を実行し、かつ透視歪み補正の後に再度ワープ操作を実行する必要はなく、透視歪み補正の後に結合されたインデックステーブルに基づいて出力が取得された後に１度のワープ操作が実行される必要があるのみであり、それによって、ワープ操作のオーバヘッドが削減される。ワープ操作は、画像に対するアフィン変換動作を指し得る。具体的な実装について、既存のワープ技術を参照されたい。
可能な実装では、第１のマッピング関係は、第２のマッピング関係とは異なる。
可能な実装では、第１のクロップ済み領域に対して透視歪み補正を実行する段階は：第１のクロップ済み領域に対して光学歪み補正を実行して、補正された第１のクロップ済み領域を取得する段階；及び補正された第１のクロップ済み領域に対して透視歪み補正を実行する段階を有し；
第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得する段階は：第３のクロップ済み領域に対して光学歪み補正を実行して、補正された第３のクロップ済み領域を取得する段階；及び第１の画像及び補正された第３のクロップ済み領域に基づいて第３の画像を取得する段階を有し；
第２のクロップ済み領域に対して透視歪み補正を実行する段階は：第２のクロップ済み領域に対して光学歪み補正を実行して、補正された第２のクロップ済み領域を取得する段階；及び補正された第２のクロップ済み領域に対して透視歪み補正を実行する段階を有し；又は
第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得する段階は：第４のクロップ済み領域に対して光学歪み補正を実行して、補正された第４のクロップ済み領域を取得する段階；及び第２の画像及び補正された第４のクロップ済み領域に基づいて第４の画像を取得する段階を有する。
歪み補正モジュールを使用することによって光学歪み補正インデックステーブル及び透視歪み補正インデックステーブルを結合することと比較して、光学歪みはジェロ現象の重要な原因であり、かつ光学歪み補正及び透視歪み補正の有効性はビデオ手ブレ補正バックエンドにおいて制御されるので、この実施形態は、ビデオ手ブレ補正モジュールが光学歪み補正を無効化すると、透視歪み補正モジュールがジェロ現象を制御することができないという問題を解決することができる。
第２の態様によれば、本願は、画像処理装置を提供する。装置は、リアルタイムにおいてビデオストリームを取得するために端末によって使用され、装置は：
取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得するように構成され、取得された第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得するように更に構成された手ブレ補正モジュール、ここで、第２のクロップ済み領域は、第１のクロップ済み領域及びシェイク情報に関連し、シェイク情報は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクを示し、第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである；
第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得するように構成され、第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得するように更に構成された透視歪み補正モジュール；及び
第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得するように構成され、第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得し、第３の画像及び第４の画像に基づいてターゲットビデオを生成するように更に構成された画像生成モジュール
を備える。
可能な実装では、第１の画像における第１のクロップ済み領域の位置に対する第２の画像における第２のクロップ済み領域の位置のオフセットの方向は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクの、像面上のシェイク方向に対して逆である。
可能な実装では、第１のクロップ済み領域は、第１の画像における第１のサブ領域を示し、第２のクロップ済み領域は、第２の画像における第２のサブ領域を示す。
第１の画像における、第１のサブ領域に対応する第１の画像コンテンツ、及び第２の画像における、第２のサブ領域に対応する第２の画像コンテンツの間の類似度は、第１の画像及び第２の画像の間の類似度よりも高い。
可能な実装では、装置は：
手ブレ補正モジュールが取得された第１の画像に対して手ブレ補正を実行する前に、端末が歪み補正条件を満たすことを検出し、歪み補正機能を有効化するように構成された第１の検出モジュール
を更に備える。
可能な実装では、端末が歪み補正条件を満たすことを検出することは：
端末のズーム比が第１の事前設定閾値よりも低いことを検出すること
を有するが、これに限定されるものではない。
可能な実装では、ズーム比がａ～１の範囲に及ぶ場合、端末は、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、第１の事前設定閾値は、１よりも高く、ａは、前面広角カメラ又は背面広角カメラの固定ズーム比であり、ａの値は、０．５～０．９の範囲に及び；又は
ズーム比が１～ｂの範囲に及ぶ場合、端末は、背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、ｂは、端末上の背面長焦点カメラの固定ズーム比又は端末の最大ズームであり、第１の事前設定閾値は、１～１５の範囲に及び、ｂの値は、３～１５の範囲に及ぶ。
可能な実装では、端末が歪み補正条件を満たすことを検出することは：
透視歪み補正機能を有効化するためのユーザの第１の有効化動作を検出すること、ここで、第１の有効化動作は、端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含み、第１のコントロールは、透視歪み補正を有効化又は無効化することを指示するのに使用され、第１の動作は、透視歪み補正を有効化することを指示するのに使用される
を有するが、これに限定されるものではない。
可能な実装では、端末が歪み補正条件を満たすことを検出することは：
撮影シナリオにおいて人間の顔を識別すること；
撮影シナリオにおいて人間の顔を識別すること、ここで、人間の顔及び端末の間の距離が事前設定値よりも低い；又は
撮影シナリオにおいて人間の顔を識別すること、ここで、撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合は、事前設定割合よりも高い
を有するが、これに限定されるものではない。
可能な実装では、装置は：
手ブレ補正モジュールが取得された第１の画像に対して手ブレ補正を実行する前に、端末が手ブレ補正条件を満たすことを検出し、手ブレ補正機能を有効化するように構成された第２の検出モジュール
を更に備える。
可能な実装では、端末が手ブレ補正条件を満たすことを検出することは：
端末のズーム比が、端末上の、最小ズーム比を有するカメラの固定ズーム比よりも高いことを検出すること
を有するが、これに限定されるものではない。
可能な実装では、端末が手ブレ補正条件を満たすことを検出することは：
手ブレ補正機能を有効化するためのユーザの第２の有効化動作を検出すること、ここで、第２の有効化動作は、端末上の撮影インターフェースにおける第２のコントロール上の第２の動作を含み、第２のコントロールは、手ブレ補正機能を有効化又は無効化することを指示するのに使用され、第２の動作は、手ブレ補正機能を有効化することを指示するのに使用される
を有するが、これに限定されるものではない。
可能な実装では、画像生成モジュールは：第１のマッピング関係及び第２のマッピング関係を取得すること、ここで、第１のマッピング関係は、第２のクロップ済み領域における各位置点及び第２の画像における対応する位置点の間のマッピング関係を示し、第２のマッピング関係は、第４のクロップ済み領域における各位置点及び第２のクロップ済み領域における対応する位置点の間のマッピング関係を示す；及び
第２の画像、第１のマッピング関係、及び第２のマッピング関係に基づいて第４の画像を取得すること
を行うように具体的に構成されている。
可能な実装では、透視歪み補正モジュールは：
第１のマッピング関係を第２のマッピング関係に基づいてターゲットマッピング関係を決定すること、ここで、ターゲットマッピング関係は、第４のクロップ済み領域における各位置点及び第２の画像における対応する位置点の間のマッピング関係を含む；及び
ターゲットマッピング関係及び第２の画像に基づいて第４の画像を決定すること
を行うように具体的に構成されている。
可能な実装では、第１のマッピング関係は、第２のマッピング関係とは異なる。
可能な実装では、透視歪み補正モジュールは：第１のクロップ済み領域に対して光学歪み補正を実行して、補正された第１のクロップ済み領域を取得すること；及び補正された第１のクロップ済み領域に対して透視歪み補正を実行することを行うように具体的に構成されており；
画像生成モジュールは：第３のクロップ済み領域に対して光学歪み補正を実行して、補正された第３のクロップ済み領域を取得すること；及び第１の画像及び補正された第３のクロップ済み領域に基づいて第３の画像を取得することを行うように具体的に構成されており；
透視歪み補正モジュールは：第２のクロップ済み領域に対して光学歪み補正を実行して、補正された第２のクロップ済み領域を取得すること；及び補正された第２のクロップ済み領域に対して透視歪み補正を実行することを行うように具体的に構成されており；又は
画像生成モジュールは：第４のクロップ済み領域に対して光学歪み補正を実行して、補正された第４のクロップ済み領域を取得すること；及び第２の画像及び補正された第４のクロップ済み領域に基づいて第４の画像を取得することを行うように具体的に構成されている。
第３の態様によれば、本願は、画像処理方法を提供する。方法は、リアルタイムにおいてビデオストリームを取得するために端末によって使用され、方法は：
取得された第１の画像におけるターゲットオブジェクトを決定して、ターゲットオブジェクトを含む第１のクロップ済み領域を取得する段階；
第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得する段階；
第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得する段階；
取得された第２の画像におけるターゲットオブジェクトを決定して、ターゲットオブジェクトを含む第２のクロップ済み領域を取得する段階、ここで、第２のクロップ済み領域は、ターゲット移動情報に関連し、ターゲット移動情報は、端末が第１の画像及び第２の画像を取得するプロセスにおけるターゲットオブジェクトの移動を示す；
第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得する段階；
第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得する段階；及び
第３の画像及び第４の画像に基づいてターゲットビデオを生成する段階
を備え、ここで、第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである。
第３の態様に係る画像処理方法は、以下のように更に理解され得る：取得されたビデオストリームにおける単一の画像（例えば、第２の画像）に対する処理のために、具体的には、取得された第２の画像におけるターゲットオブジェクトが決定されて、ターゲットオブジェクトを含む第２のクロップ済み領域が取得され、ここで、第２のクロップ済み領域は、ターゲット移動情報に関連し、ターゲット移動情報は、端末が、第２の画像、及び当該第２の画像に隣接し、かつ時間ドメインにおいて第２の画像の前である画像フレームを取得するプロセスにおけるターゲットオブジェクトの移動を示し；透視歪み補正が、第２のクロップ済み領域に対して実行されて、第４のクロップ済み領域が取得され；第４の画像は、第２の画像及び第４のクロップ済み領域に基づいて取得され；ターゲットビデオは、第４の画像に基づいて生成される。第２の画像は、取得されたビデオストリームにおける最初ではない任意の画像であってよく、最初ではない画像は、時間ドメインにおいてビデオストリームにおける最初ではない画像フレームを指すことが理解されるべきである。ターゲットビデオは、第２の画像を処理するプロセスと同じプロセスでビデオストリームにおける複数の画像を処理することによって取得されてよい。
任意選択的な実装では、第２の画像におけるターゲットオブジェクトの位置は、第１の画像におけるターゲットオブジェクトの位置とは異なる。
既存の実装に従って原画像の全ての領域に対して透視歪み補正を実行することとは異なり、本願のこの実施形態では、透視歪み補正が、クロップ済み領域に対して実行される。ターゲットオブジェクトが移動するので、前者の画像フレーム及び後者の画像フレームにおける人間のオブジェクトを含むクロップ済み領域の位置は異なり、２つの出力画像フレームにおける位置点又はピクセルに対する透視歪み補正についてのシフトは異なる。しかしながら、ターゲット識別が実行された後に決定される２つのフレームのクロップ済み領域のサイズは同じである。したがって、透視歪み補正がクロップ済み領域の各々に対して実行される場合、隣接するフレームに対して実行される透視歪み補正の程度は同じである（なぜならば、２つのフレームの各々のクロップ済み領域における各位置点又はピクセル及びクロップ済み領域の中心点の間の距離は同じであるためである）。加えて、２つの隣接するフレームのクロップ済み領域は同じ又は基本的に同じコンテンツを含む画像であり、かつ画像同士における同じオブジェクトの変換の程度は同じであり、すなわち、フレーム間一貫性が保たれるので、明らかなジェロ（Ｊｅｌｌｏ）現象は生じず、それによって、ビデオ出力の品質が改善される。
可能な実装では、第１のクロップ済み領域に対して透視歪み補正を実行する前に、方法は：
端末が歪み補正条件を満たすことを検出する段階、及び歪み補正機能を有効化する段階
を更に備える。
可能な実装では、端末が歪み補正条件を満たすことを検出することは、以下のケースのうちの１つ又は複数を含むが、これらに限定されるものではない：ケース１：端末のズーム比が第１の事前設定閾値よりも低いことが検出される。
一実装では、透視歪み補正が有効化されるか否かは、端末のズーム比に基づいて決定されてよい。端末のズーム比が大きい（例えば、長焦点撮影モードの完全な又は部分的なズーム比範囲内であるか、又は中焦点撮影モードの完全な又は部分的なズーム比範囲内である）場合、端末によって取得された画像の写真における透視歪みの程度は低い。透視歪みの程度が低いことは、人間の目では端末によって取得された画像の写真におけるいずれの透視歪みもほぼ識別することができないこととして理解され得る。したがって、端末のズーム比が大きい場合、透視歪み補正は、有効化される必要はない。
可能な実装では、ズーム比がａ～１の範囲に及ぶ場合、端末は、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、第１の事前設定閾値は、１よりも高く、ａは、前面広角カメラ又は背面広角カメラの固定ズーム比であり、ａの値は、０．５～０．９の範囲に及び；又は
ズーム比が１～ｂの範囲に及ぶ場合、端末は、背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、ｂは、端末上の背面長焦点カメラの固定ズーム比又は端末の最大ズームであり、第１の事前設定閾値は、１～１５の範囲に及び、ｂの値は、３～１５の範囲に及ぶ。
ケース２：透視歪み補正機能を有効化するためのユーザの第１の有効化動作が検出される。
可能な実装では、第１の有効化動作は、端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含み、第１のコントロールは、透視歪み補正を有効化又は無効化することを指示するのに使用され、第１の動作は、透視歪み補正を有効化することを指示するのに使用される。
一実装では、透視歪み補正を有効化又は無効化することを指示するのに使用されるコントロール（本願のこの実施形態では第１のコントロールと称される）は、撮影インターフェース内に含まれてよい。ユーザは、第１のコントロール上の第１の動作を通じて透視歪み補正を有効化する、すなわち、第１のコントロール上の第１の動作を通じて透視歪み補正を有効化することをトリガしてよい。このようにして、端末は、透視歪み補正を有効化するためのユーザの第１の有効化動作を検出してよく、第１の有効化動作は、端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含む。
一実装では、透視歪み補正を有効化又は無効化することを指示するのに使用されるコントロール（本願のこの実施形態では第１のコントロールと称される）は、端末のズーム比が第１の事前設定閾値よりも低いことが検出される場合にのみ撮影インターフェースにおいて表示される。
ケース３：撮影シナリオにおいて人間の顔が識別され；
撮影シナリオにおいて人間の顔が識別され、ここで、人間の顔及び端末の間の距離が事前設定値よりも低い；又は
撮影シナリオにおいて人間の顔が識別され、ここで、撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合は、事前設定割合よりも高い。
撮影シナリオにおいて人間の顔が存在する場合、透視歪み補正に起因した人間の顔の変換の程度がより視覚的に明らかであり、かつ人間の顔及び端末の間の距離がより小さいか又は撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合がより高い場合、画像における人間の顔のサイズはより大きいので、透視歪み補正に起因した人間の顔の変換の程度は一層より視覚的に明らかであることが理解されるべきである。したがって、透視歪み補正は、前述のシナリオにおいて有効化される必要がある。この実施形態では、透視歪み補正を有効化するか否かは、撮影シナリオにおいて人間の顔に関連した前述の条件を決定することによって決定され、その結果、透視歪みが生じる撮影シナリオを正確に決定することができ、透視歪み補正が、透視歪みが生じる撮影シナリオのために実行される。透視歪みが生じていない撮影シナリオにおいて、透視歪み補正は実行されない。このようにして、画像信号が正確に処理され、電力消費が削減される。
第４の態様によれば、本願は、画像処理装置を提供する。装置は、リアルタイムにおいてビデオストリームを取得するために端末によって使用され、装置は：
取得された第１の画像におけるターゲットオブジェクトを決定して、ターゲットオブジェクトを含む第１のクロップ済み領域を取得するように構成され、取得された第２の画像におけるターゲットオブジェクトを決定して、ターゲットオブジェクトを含む第２のクロップ済み領域を取得するように更に構成されたオブジェクト決定モジュールを備え、ここで、第２のクロップ済み領域は、ターゲット移動情報に関連し、ターゲット移動情報は、端末が第１の画像及び第２の画像を取得するプロセスにおけるターゲットオブジェクトの移動を示し、第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである；
第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得するように構成され、第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得するように更に構成された透視歪み補正モジュール；及び
第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得するように構成され、第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得し、第３の画像及び第４の画像に基づいてターゲットビデオを生成するように更に構成された画像生成モジュール
を備える。
任意選択的な実装では、第２の画像におけるターゲットオブジェクトの位置は、第１の画像におけるターゲットオブジェクトの位置とは異なる。
可能な実装では、装置は：
透視歪み補正モジュールが第１のクロップ済み領域に対して透視歪み補正を実行する前に、端末が歪み補正条件を満たすことを検出し、歪み補正機能を有効化するように構成された第１の検出モジュール
を更に備える。
可能な実装では、端末が歪み補正条件を満たすことを検出することは：
端末のズーム比が第１の事前設定閾値よりも低いことを検出すること
を有するが、これに限定されるものではない。
可能な実装では、ズーム比がａ～１の範囲に及ぶ場合、端末は、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、第１の事前設定閾値は、１よりも高く、ａは、前面広角カメラ又は背面広角カメラの固定ズーム比であり、ａの値は、０．５～０．９の範囲に及び；又は
ズーム比が１～ｂの範囲に及ぶ場合、端末は、背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、ｂは、端末上の背面長焦点カメラの固定ズーム比又は端末の最大ズームであり、第１の事前設定閾値は、１～１５の範囲に及び、ｂの値は、３～１５の範囲に及ぶ。
可能な実装では、端末が歪み補正条件を満たすことを検出することは：
透視歪み補正機能を有効化するためのユーザの第１の有効化動作を検出すること、ここで、第１の有効化動作は、端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含み、第１のコントロールは、透視歪み補正を有効化又は無効化することを指示するのに使用され、第１の動作は、透視歪み補正を有効化することを指示するのに使用される
を有するが、これに限定されるものではない。
可能な実装では、端末が歪み補正条件を満たすことを検出することは：
撮影シナリオにおいて人間の顔を識別すること；
撮影シナリオにおいて人間の顔を識別すること、ここで、人間の顔及び端末の間の距離が事前設定値よりも低い；又は
撮影シナリオにおいて人間の顔を識別すること、ここで、撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合は、事前設定割合よりも高い
を有するが、これに限定されるものではない。
第５の態様によれば、本願は、プロセッサ、メモリ、カメラ、及びバスを備える画像処理デバイスを提供する。プロセッサ、メモリ、及びカメラは、バスを通じて接続される。
カメラは、リアルタイムにおいてビデオを取得するように構成されている。
メモリは、コンピュータプログラム又は命令を記憶するように構成されている。
プロセッサは、メモリに記憶されたプログラム又は命令を呼び出すか又は実行するように構成され、第１の態様又は第１の態様の任意の可能な実装における段階及び第３の態様又は第３の態様の任意の可能な実装における段階を実装するようにカメラを呼び出すように更に構成されている。
第６の態様によれば、本願は、コンピュータ命令を備えるコンピュータ記憶媒体を提供する。コンピュータ命令が電子デバイス又はサーバ上で実行されると、第１の態様又は第１の態様の任意の可能な実装における段階及び第３の態様又は第３の態様の任意の可能な実装における段階が実行される。
第７の態様によれば、本願は、コンピュータプログラム製品を提供する。コンピュータプログラム製品が電子デバイス又はサーバ上で実行されると、第１の態様又は第１の態様の任意の可能な実装における段階及び第３の態様又は第３の態様の任意の可能な実装における段階が実行される。
第８の態様によれば、本願は、チップシステムを提供する。チップシステムは、前述の態様における機能、例えば、前述の方法におけるデータ又は情報を送信又は処理する機能を実装する際に実行デバイス又はトレーニングデバイスをサポートするように構成されたプロセッサを含む。可能な設計では、チップシステムは、メモリを更に含む。メモリは、実行デバイス又はトレーニングデバイスのために必要であるプログラム命令及びデータを記憶するように構成されている。チップシステムは、チップを含んでもよく、又はチップ及び別のディスクリートデバイスを含んでもよい。
本願は、画像処理方法であって、リアルタイムにおいてビデオストリームを取得するために端末によって使用され、以下：取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得する段階；第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得する段階；第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得する段階；取得された第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得する段階、ここで、第２のクロップ済み領域は、第１のクロップ済み領域及びシェイク情報に関連し、シェイク情報は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクを示す；第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得する段階；及び第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得する段階を備え、ここで、第３の画像及び第４の画像は、ターゲットビデオを生成するために使用され、第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである、画像表示方法を提供する。加えて、２つの隣接するフレームに対する手ブレ補正の出力は同じ又は基本的に同じコンテンツを含む画像であり、かつ画像同士における同じオブジェクトの変換の程度は同じであり、すなわち、フレーム間一貫性が保たれるので、明らかなジェロ（Ｊｅｌｌｏ）現象は生じず、それによって、ビデオ表示の品質が改善される。
本願の一実施形態に係る端末デバイスの構造の概略図である。
本願の一実施形態に係る端末デバイスのソフトウェア構造のブロック図である。
本願の一実施形態に係る画像処理方法の一実施形態の概略図である。
本願の一実施形態に係る、透視歪みの概略図である。
本願の一実施形態に係る端末のシェイクの概略図である。 本願の一実施形態に係る端末のシェイクの概略図である。 本願の一実施形態に係る端末のシェイクの概略図である。 本願の一実施形態に係る端末のシェイクの概略図である。
本願の一実施形態に係る、手ブレ補正の概略図である。
本願の一実施形態に係る、手ブレ補正の概略図である。
ジェロ現象の概略図である。
本願の一実施形態に係る画像処理方法の一実施形態の概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係るジェロ現象の概略図である。
本願の一実施形態に係る、インデックステーブルを作成する概略図である。
本願の一実施形態に係る、インデックステーブルを作成する概略図である。
本願の一実施形態に係る、インデックステーブルを作成する概略図である。
本願の一実施形態に係る、インデックステーブルを作成する概略図である。
本願の一実施形態に係る、インデックステーブルを作成する概略図である。
本願の一実施形態に係る、インデックステーブルを作成する概略図である。 本願の一実施形態に係る、インデックステーブルを作成する概略図である。
本願の一実施形態に係る画像処理方法の一実施形態の概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る画像表示方法の一実施形態の概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る端末上のインターフェースの概略図である。
本願の一実施形態に係る画像表示装置の構造の概略図である。
本願の一実施形態に係る画像表示装置の構造の概略図である。
本願の一実施形態に係る端末デバイスの構造の概略図である。
本発明の実施形態は、本発明の実施形態における添付図面を参照して以下で説明される。本発明の実装において使用される用語は、本発明の特定の実施形態を説明するように意図されているに過ぎず、本発明を限定するようには意図されていない。
本願の実施形態は、添付図面を参照して以下で説明される。当業者であれば、技術の発展及び新たなシナリオの登場とともに、本願の実施形態において提供される技術的解決手段は同様の技術的問題にも適用可能であることを理解することができる。
本願の明細書、特許請求の範囲、及び添付図面における「第１」、「第２」等の用語は、同様のオブジェクト間を区別するのに使用され、必ずしも特定の順序又はシーケンスを説明するようには意図されていない。そのような方法で使用される用語は、特定の状況において交換可能であり、これは、本願の実施形態において同じ属性を有するオブジェクトを説明するための弁別の方式に過ぎないことが理解されるべきである。加えて、「含む（ｉｎｃｌｕｄｅ）」、「含む（ｃｏｎｔａｉｎ）」という用語、及びこれらの他の任意の変形は、非排他的な包含をカバーするように意図されており、その結果、一連のユニットを備えるプロセス、方法、システム、製品、又はデバイスは、必ずしもそれらのユニットに限定されず、明示的には列挙されていないか、又はそのようなプロセス、方法、システム、製品、又はデバイスに内在的ではない別のユニットを含み得る。
理解を容易にするために、本願の一実施形態において提供される端末１００の構造が、一例を用いて以下で説明される。図１を参照されたい。図１は、本願の一実施形態に係る端末デバイスの構造の概略図である。
図１において示されているように、端末１００は、プロセッサ１１０、外部ストレージインターフェース１２０、内部ストレージ１２１、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）インターフェース１３０、充電管理モジュール１４０、電力管理モジュール１４１、バッテリ１４２、アンテナ１、アンテナ２、モバイル通信モジュール１５０、無線通信モジュール１６０、オーディオモジュール１７０、ラウドスピーカ１７０Ａ、受信機１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、センサモジュール１８０、ボタン１９０、モータ１９１、インジケータ１９２、カメラ１９３、ディスプレイスクリーン１９４、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｍｏｄｕｌｅ、ＳＩＭ）カードインターフェース１９５等を備えてよい。センサモジュール１８０は、圧力センサ１８０Ａ、ジャイロスコープセンサ１８０Ｂ、気圧センサ１８０Ｃ、磁気センサ１８０Ｄ、加速度センサ１８０Ｅ、距離センサ１８０Ｆ、光学近接センサ１８０Ｇ、指紋センサ１８０Ｈ、温度センサ１８０Ｊ、タッチセンサ１８０Ｋ、周辺光センサ１８０Ｌ、及び骨伝導センサ１８０Ｍ等を含んでよい。
本発明のこの実施形態において示されている構造は、端末１００に対する具体的な限定を構成しないことが理解され得る。本願の幾つかの他の実施形態では、端末１００は、図において示されているものよりも多くの又は少ないコンポーネントを含んでもよいし、幾つかのコンポーネントを組み合わせてもよいし、幾つかのコンポーネントを分割してもよいし、又は異なるコンポーネント配置を有してもよい。図において示されているコンポーネントは、ハードウェア、ソフトウェア、又はソフトウェア及びハードウェアの組み合わせによって実装されてよい。
プロセッサ１１０は、１つ又は複数の処理ユニットを含んでよい。例えば、プロセッサ１１０は、アプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ、ＡＰ）、モデムプロセッサ、グラフィックス処理ユニット（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）、画像信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＩＳＰ）、コントローラ、ビデオコーデック、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、ベースバンドプロセッサ、及び／又はニューラルネットワーク処理ユニット（ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＮＰＵ）を含んでよい。異なる処理ユニットが、独立したコンポーネントであってもよいし、又は１つ又は複数のプロセッサに統合されてもよい。
コントローラは、命令動作コード及びタイムシーケンス信号に基づいて動作制御信号を生成して、命令読み出し及び命令実行の制御を完了してよい。
メモリが、プロセッサ１１０内に更に配置されてよく、命令及びデータを記憶するように構成されている。幾つかの実施形態では、プロセッサ１１０におけるメモリは、キャッシュメモリである。メモリは、プロセッサ１１０によってちょうど使用された又は周期的に使用される命令又はデータを記憶してよい。プロセッサ１１０が命令又はデータを再度使用する必要がある場合、プロセッサは、メモリから命令又はデータを直接呼び出してよい。これにより、反復したアクセスが回避され、プロセッサ１１０の待機のための時間が削減され、システム効率が改善される。
幾つかの実施形態では、プロセッサ１１０は、１つ又は複数のインターフェースを含んでよい。インターフェースは、集積回路間（ｉｎｔｅｒ－ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、Ｉ２Ｃ）インターフェース、集積回路間サウンド（ｉｎｔｅｒ－ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ ｓｏｕｎｄ、Ｉ２Ｓ）インターフェース、パルス符号変調（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ、ＰＣＭ）インターフェース、汎用非同期送受信機（ｕｎｉｖｅｒｓａｌ ａｓｙｎｃｈｒｏｎｏｕｓ ｒｅｃｅｉｖｅｒ／ｔｒａｎｓｍｉｔｔｅｒ、ＵＡＲＴ）インターフェース、モバイルインダストリプロセッサインターフェース（ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ、ＭＩＰＩ）、汎用入力／出力（ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ ｉｎｐｕｔ／ｏｕｔｐｕｔ、ＧＰＩＯ）インターフェース、加入者識別モジュール（ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｔｙ ｍｏｄｕｌｅ、ＳＩＭ）インターフェース、ユニバーサルシリアルバス（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ、ＵＳＢ）インターフェース等を含んでよい。
Ｉ２Ｃインターフェースは、双方向同期シリアルバスであり、１つのシリアルデータライン（ｓｅｒｉａｌ ｄａｔａ ｌｉｎｅ、ＳＤＡ）及び１つのシリアルクロックライン（ｓｅｒｉａｌ ｃｌｏｃｋ ｌｉｎｅ、ＳＣＬ）を含む。幾つかの実施形態では、プロセッサ１１０は、複数のグループのＩ２Ｃバスを含んでよい。プロセッサ１１０は、異なるＩ２Ｃバスインターフェースを通じて、タッチセンサ１８０Ｋ、充電器、フラッシュライト、カメラ１９３等に個別に結合されてよい。例えば、プロセッサ１１０は、Ｉ２Ｃインターフェースを通じてタッチセンサ１８０Ｋに結合されてよく、その結果、プロセッサ１１０は、端末１００のタッチ機能を実装するために、Ｉ２Ｃバスインターフェースを通じてタッチセンサ１８０Ｋと通信する。
Ｉ２Ｓインターフェースは、オーディオ通信のために使用されてよい。幾つかの実施形態では、プロセッサ１１０は、複数のグループのＩ２Ｓバスを含んでよい。プロセッサ１１０は、プロセッサ１１０及びオーディオモジュール１７０の間の通信を実装するために、Ｉ２Ｓバスを通じてオーディオモジュール１７０に結合されてよい。幾つかの実施形態では、オーディオモジュール１７０は、ブルートゥース（登録商標）ヘッドセットを使用することによって通話に応答する機能を実装するために、Ｉ２Ｓインターフェースを通じてオーディオ信号を無線通信モジュール１６０に送信してよい。
ＰＣＭインターフェースは、アナログ信号サンプリング、量子化、及び符号化を用いて、オーディオ通信のために使用されてもよい。幾つかの実施形態では、オーディオモジュール１７０は、ＰＣＭバスインターフェースを通じて無線通信モジュール１６０に結合されてよい。幾つかの実施形態では、オーディオモジュール１７０は、代替的には、ブルートゥース（登録商標）ヘッドセットを使用することによって通話に応答する機能を実装するために、ＰＣＭインターフェースを通じてオーディオ信号を無線通信モジュール１６０に送信してよい。Ｉ２Ｓインターフェース及びＰＣＭインターフェースの両方が、オーディオ通信のために使用されてよい。
ＵＡＲＴインターフェースは、汎用シリアルデータバスであり、非同期通信のために使用される。バスは、双方向通信バスであってよい。バスは、送信されることになるデータについてシリアル通信及びパラレル通信の間で変換する。幾つかの実施形態では、ＵＡＲＴインターフェースは、通常、プロセッサ１１０を無線通信モジュール１６０に接続するのに使用される。例えば、プロセッサ１１０は、ブルートゥース（登録商標）機能を実装するために、ＵＡＲＴインターフェースを通じて無線通信モジュール１６０におけるブルートゥース（登録商標）モジュールと通信する。幾つかの実施形態では、オーディオモジュール１７０は、ブルートゥース（登録商標）ヘッドセットを使用することによって音楽を再生する機能を実装するために、ＵＡＲＴインターフェースを通じてオーディオ信号を無線通信モジュール１６０に送信してよい。
ＭＩＰＩインターフェースは、プロセッサ１１０を周辺コンポーネント、例えば、ディスプレイスクリーン１９４又はカメラ１９３に接続するのに使用されてよい。ＭＩＰＩインターフェースは、カメラシリアルインターフェース（ｃａｍｅｒａ ｓｅｒｉａｌ ｉｎｔｅｒｆａｃｅ、ＣＳＩ）、ディスプレイシリアルインターフェース（ｄｉｓｐｌａｙ ｓｅｒｉａｌ ｉｎｔｅｒｆａｃｅ、ＤＳＩ）等を含む。幾つかの実施形態では、プロセッサ１１０は、端末１００の撮影機能を実装するために、ＣＳＩを通じてカメラ１９３と通信する。プロセッサ１１０は、端末１００の表示機能を実装するために、ＤＳＩを通じてディスプレイスクリーン１９４と通信する。
ＧＰＩＯインターフェースは、ソフトウェアを使用することによって構成されてよい。ＧＰＩＯインターフェースは、制御信号を用いて構成されてもよいし、又はデータ信号を用いて構成されてもよい。幾つかの実施形態では、ＧＰＩＯインターフェースは、プロセッサ１１０を、カメラ１９３、ディスプレイスクリーン１９４、無線通信モジュール１６０、オーディオモジュール１７０、センサモジュール１８０等に接続するのに使用されてよい。ＧＰＩＯインターフェースは、Ｉ２Ｃインターフェース、Ｉ２Ｓインターフェース、ＵＡＲＴインターフェース、ＭＩＰＩ等として更に構成されてよい。
具体的には、カメラ１９３によって取得されるビデオ（例えば、本願における第１の画像及び第２の画像を含む画像フレームシーケンスを含む）は、限定されるものではないが、カメラ１９３をプロセッサ１１０に接続する上記で説明されたインターフェース（例えば、ＣＳＩインターフェース又はＧＰＩＯインターフェース）を通じて、プロセッサ１１０に転送されてよい。
プロセッサ１１０は、メモリから命令を取得し、取得された命令に従って、カメラ１９３によって取得されたビデオに対してビデオ処理（例えば、本願における手ブレ補正又は透視歪み補正）を実行して、処理された画像（例えば、本願における第３の画像及び第４の画像）を取得してよい。
プロセッサ１１０は、処理された画像を、限定されるものではないが、ディスプレイスクリーン１９４及びプロセッサ１１０を接続する上記で説明されたインターフェース（例えば、ＤＳＩインターフェース又はＧＰＩＯインターフェース）を通じてディスプレイスクリーン１９４に転送してよく、その結果、ディスプレイスクリーン１９４は、ビデオを表示してよい。
ＵＳＢインターフェース１３０は、ＵＳＢ規格使用に適合するインターフェースであり、具体的には、ミニＵＳＢインターフェース、マイクロＵＳＢインターフェース、ＵＳＢ Ｔｙｐｅ－Ｃインターフェース等であってよい。ＵＳＢインターフェース１３０は、端末１００を充電するために充電器に接続するのに使用されてもよいし、又は端末１００及び周辺デバイスの間でデータを送信するのに使用されてもよいし、又はヘッドセットを通じてオーディオを再生するためのヘッドセットに接続するのに使用されてもよい。インターフェースは、別の電子デバイス、例えば、ＡＲデバイスに接続するのに更に使用されてよい。
本発明のこの実施形態において示されているモジュール間のインターフェース接続関係は、説明のための一例に過ぎず、端末１００の構造に対する限定を構成しないことが理解され得る。本願の幾つかの他の実施形態では、端末１００は、代替的には、前述の実施形態における方式とは異なるインターフェース接続方式を使用してもよいし、又は複数のインターフェース接続方式の組み合わせを使用してもよい。
充電管理モジュール１４０は、充電器から充電入力を受信するように構成されている。充電器は、無線充電器又は有線充電器であってよい。有線充電の幾つかの実施形態では、充電管理モジュール１４０は、有線充電器からＵＳＢインターフェース１３０を通じて充電入力を受信してよい。無線充電の幾つかの実施形態では、充電管理モジュール１４０は、端末１００の無線充電コイルを通じて無線充電入力を受信してよい。充電管理モジュール１４０は、バッテリ１４２を充電しながら、電力管理モジュール１４１を使用することによって電子デバイスに電力を供給する。
電力管理モジュール１４１は、バッテリ１４２、充電管理モジュール１４０、及びプロセッサ１１０に接続するように構成されている。電力管理モジュール１４１は、バッテリ１４２及び／又は充電管理モジュール１４０から入力を受信し、プロセッサ１１０、内部ストレージ１２１、ディスプレイスクリーン１９４、カメラモジュール１９３、無線通信モジュール１６０等に電力を供給する。電力管理モジュール１４１は、バッテリ容量、バッテリサイクルカウント、及びバッテリ健康状態（電気漏洩又はインピーダンス）等のパラメータをモニタリングするように更に構成されてよい。幾つかの他の実施形態では、電力管理モジュール１４１は、代替的には、プロセッサ１１０に配置されてよい。幾つかの他の実施形態では、電力管理モジュール１４１及び充電管理モジュール１４０は、代替的には、同じコンポーネントに配置されてよい。
端末１００の無線通信機能は、アンテナ１、アンテナ２、モバイル通信モジュール１５０、無線通信モジュール１６０、モデムプロセッサ、ベースバンドプロセッサ等を使用することによって実装されてよい。
アンテナ１及びアンテナ２は、電磁波信号を送信及び受信するように構成されている。端末１００における各アンテナは、１つ又は複数の通信周波数帯域をカバーするように使用されてよい。アンテナ利用率を改善するために異なるアンテナが更に再使用されてよい。例えば、アンテナ１は、無線ローカルエリアネットワークにおけるダイバーシティアンテナとして再使用されてよい。幾つかの他の実施形態では、アンテナは、チューニングスイッチと組み合わせて使用されてよい。
モバイル通信モジュール１５０は、端末１００に適用される２Ｇ／３Ｇ／４Ｇ／５Ｇを含む無線通信ソリューションを提供してよい。モバイル通信モジュール１５０は、少なくとも１つのフィルタ、スイッチ、電力増幅器、低雑音増幅器（ｌｏｗ ｎｏｉｓｅ ａｍｐｌｉｆｉｅｒ、ＬＮＡ）等を含んでよい。モバイル通信モジュール１５０は、アンテナ１を通じて電磁波を受信し、受信された電磁波に対して処理、例えばフィルタリング又は増幅を実行し、電磁波を復調のためにモデムプロセッサに送信してよい。モバイル通信モジュール１５０は、さらに、モデムプロセッサによって変調された信号を増幅し、アンテナ１を通じた放射のために信号を電磁波に変換してよい。幾つかの実施形態では、モバイル通信モジュール１５０の機能モジュールの少なくとも一部は、プロセッサ１１０に配置されてよい。幾つかの実施形態では、モバイル通信モジュール１５０の機能モジュールの少なくとも一部及びプロセッサ１１０のモジュールの少なくとも一部は、同じコンポーネントに配置されてよい。
モデムプロセッサは、変調器及び復調器を含んでよい。変調器は、送信されることになる低周波数ベースバンド信号を中高周波数信号に変調するように構成されている。復調器は、受信された電磁波信号を低周波数ベースバンド信号に復調するように構成されている。次に、復調器は、復調を通じて取得された低周波数ベースバンド信号を、処理のためにベースバンドプロセッサに送信する。ベースバンドプロセッサは、低周波数ベースバンド信号を処理し、これは、次に、アプリケーションプロセッサに転送される。アプリケーションプロセッサは、オーディオデバイス（ラウドスピーカ１７０Ａ、受信機１７０Ｂ等に限定されるものではない）を通じてサウンド信号を出力するか、又はディスプレイスクリーン１９４を使用することによって画像又はビデオを表示する。幾つかの実施形態では、モデムプロセッサは、独立したコンポーネントであってよい。幾つかの他の実施形態では、モデムプロセッサは、プロセッサ１１０から独立してよく、同じデバイスにモバイル通信モジュール１５０又は別の機能モジュールとともに配置される。
無線通信モジュール１６０は、端末１００に適用され、かつ無線ローカルエリアネットワーク（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＷＬＡＮ）（例えば、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、Ｗｉ－Ｆｉ（登録商標））ネットワーク）、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＴ）、全球航法衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＧＮＳＳ）、周波数変調（ｆｒｅｑｕｅｎｃｙ ｍｏｄｕｌａｔｉｏｎ、ＦＭ）、近距離無線通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＮＦＣ）技術、赤外線（ｉｎｆｒａｒｅｄ、ＩＲ）技術等を含む無線通信ソリューションを提供してよい。無線通信モジュール１６０は、少なくとも１つの通信プロセッサモジュールを統合する１つ又は複数のコンポーネントであってよい。無線通信モジュール１６０は、アンテナ２を通じて電磁波を受信し、電磁波信号に対して周波数変調及びフィルタリングを実行し、処理された信号をプロセッサ１１０に送信する。無線通信モジュール１６０は、さらに、送信されることになる信号をプロセッサ１１０から受信し、当該信号に対して周波数変調及び増幅を実行し、アンテナ２を通じた放射のために信号を電磁波に変換してよい。
幾つかの実施形態では、端末１００上のアンテナ１及びモバイル通信モジュール１５０は結合され、端末デバイスにおけるアンテナ２及び無線通信モジュール１６０は結合され、その結果、端末１００は、無線通信技術を使用することによってネットワーク及び別のデバイスと通信することができる。無線通信技術は、グローバルシステムフォーモバイルコミュニケーション（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＧＳＭ（登録商標））、汎用パケット無線サービス（ｇｅｎｅｒａｌ ｐａｃｋｅｔ ｒａｄｉｏ ｓｅｒｖｉｃｅ、ＧＰＲＳ）、符号分割多元接続（ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＣＤＭＡ）、広帯域符号分割多元接続（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＷＣＤＭＡ（登録商標））、時分割同期符号分割多元接続（ｔｉｍｅ－ｄｉｖｉｓｉｏｎ－ｓｙｎｃｈｒｏｎｏｕｓ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ、ＴＤ－ＳＣＤＭＡ）、ロングタームエボリューション（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、ＢＴ、ＧＮＳＳ、ＷＬＡＮ、ＮＦＣ、ＦＭ、ＩＲ等を含んでよい。ＧＮＳＳは、全球測位システム（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ、ＧＰＳ）、全球航法衛星システム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＧＬＯＮＡＳＳ）、北斗衛星導航系統（ＢｅｉＤｏｕ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＢＤＳ）、準天頂衛星システム（ｑｕａｓｉ－ｚｅｎｉｔｈ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ、ＱＺＳＳ）、及び／又は衛星航法補強システム（ｓａｔｅｌｌｉｔｅ ｂａｓｅｄ ａｕｇｍｅｎｔａｔｉｏｎ ｓｙｓｔｅｍｓ、ＳＢＡＳ）を含んでよい。
端末１００は、ＧＰＵ、ディスプレイスクリーン１９４、アプリケーションプロセッサ等を使用することによって表示機能を実装してよい。ＧＰＵは、画像処理のためのマイクロプロセッサであり、ディスプレイスクリーン１９４及びアプリケーションプロセッサに接続されている。ＧＰＵは：数学的及び幾何学的計算を実行し、画像をレンダリングするように構成されている。プロセッサ１１０は、表示情報を生成又は変更するプログラム命令を実行する１つ又は複数のＧＰＵを含んでよい。具体的には、プロセッサ１１０の１つ又は複数のＧＰＵは、画像レンダリングタスク（例えば、本願において表示される必要がある画像に関連したレンダリングタスク、ここで、レンダリング結果は、アプリケーションプロセッサ又は別のディスプレイドライバに転送され、アプリケーションプロセッサ又は別のディスプレイドライバは、ビデオを表示するためにディスプレイスクリーン１９４をトリガする）を実装してよい。
ディスプレイスクリーン１９４は、画像、ビデオ等を表示するように構成されている。ディスプレイスクリーン１９４は、ディスプレイパネルを含む。ディスプレイパネルは、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、アクティブマトリクス有機発光ダイオード（ａｃｔｉｖｅ－ｍａｔｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＡＭＯＬＥＤ）、フレキシブル発光ダイオード（ｆｌｅｘ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＦＬＥＤ）、ミニＬＥＤ、マイクロＬＥＤ、マイクロＯＬＥＤ、量子ドット発光ダイオード（ｑｕａｎｔｕｍ ｄｏｔ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＱＬＥＤ）等を使用してよい。幾つかの実施形態では、端末１００は、１つ又はＮ個のディスプレイスクリーン１９４を含んでよく、Ｎは、１よりも大きい正の整数である。ディスプレイスクリーン１９４は、本願の実施形態においてターゲットビデオを表示してよい。一実装では、端末１００は、撮影に関連したアプリケーションを実行してよい。端末が撮影に関連したアプリケーションを開始する場合、ディスプレイスクリーン１９４は、撮影インターフェースを表示してよい。撮影インターフェースは、ビューファインダフレームを含んでよく、ターゲットビデオは、ビューファインダフレームにおいて表示されてよい。
端末１００は、ＩＳＰ、カメラ１９３、ビデオコーデック、ＧＰＵ、ディスプレイスクリーン１９４、アプリケーションプロセッサ等を使用することによって撮影機能を実装してよい。
ＩＳＰは、カメラ１９３によってフィードバックされたデータを処理するように構成されている。例えば、撮影中、シャッタが押下され、光がレンズを通じてカメラの感光素子に透過される。光信号は、電気信号に変換され、カメラの感光素子は、処理のために電気信号をＩＳＰに送信して、電気信号を可視画像に変換する。ＩＳＰは、画像の雑音、輝度、及び色に対するアルゴリズム最適化を更に実行してよい。ＩＳＰは、撮影シナリオにおける露光及び色温度等のパラメータを更に最適化してよい。幾つかの実施形態では、ＩＳＰは、カメラ１９３に配置されてよい。
カメラ１９３は、静止画像又はビデオをキャプチャするように構成されている。オブジェクトの光学画像は、レンズを通じて生成され、感光素子に投影される。感光素子は、電荷結合素子（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ、ＣＣＤ）又は相補型金属酸化物半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ）光電トランジスタであってよい。感光素子は、光信号を電気信号に変換し、その後、電気信号をデジタル画像信号に変換するために、電気信号をＩＳＰに送信する。ＩＳＰは、処理のためにデジタル画像信号をＤＳＰに出力する。ＤＳＰは、デジタル画像信号を標準フォーマット、例えば、ＲＧＢ又はＹＵＶの画像信号に変換する。幾つかの実施形態では、端末１００は、１つ又はＮ個のカメラ１９３を含んでよく、ここで、Ｎは、１よりも大きい正の整数である。
ＤＳＰは、原画像（例えば、本願の実施形態では第１の画像及び第２の画像）を取得するために、デジタル画像信号を標準フォーマット、例えば、ＲＧＢ又はＹＵＶの画像信号に変換する。プロセッサ１１０は、原画像に対して画像処理を更に実行してよい。画像処理は、手ブレ補正、透視歪み補正、光学歪み補正、及びディスプレイスクリーン１９４のサイズに適合するためのクロップを含むが、これらに限定されるものではない。処理された画像（例えば、本願のの実施形態では第３の画像及び第４の画像）は、ディスプレイスクリーン１９４上に表示された撮影インターフェースにおけるビューファインダフレームにおいて表示されてよい。
本願のこの実施形態では、端末１００上に少なくとも２つのカメラ１９３が存在してよい。例えば、２つのカメラが存在し、ここで、一方は前面カメラであり、他方は背面カメラであり；例えば、３つのカメラが存在し、ここで、１つは前面カメラであり、他の２つは背面カメラであり；又は、例えば、４つのカメラが存在し、ここで、１つは前面カメラであり、他の３つは背面カメラである。カメラ１９３は、広角カメラ、メインカメラ、又は長焦点カメラのうちの１つ又は複数であってよいことに留意されたい。
例えば、２つのカメラが存在し、ここで、前面カメラは、広角カメラであってよく、背面カメラは、メインカメラであってよい。このケースでは、背面カメラによって取得される画像の視野がより大きく、より多くの画像情報が存在する。
例えば、３つのカメラが存在し、ここで、前面カメラは、広角カメラであってよく、背面カメラは、広角カメラ及びメインカメラであってよい。
例えば、４つのカメラが存在し、ここで、前面カメラは、広角カメラであってよく、背面カメラは、広角カメラ、メインカメラ、及び長焦点カメラであってよい。
デジタル信号プロセッサは、デジタル信号を処理するように構成されており、上記デジタル画像信号に加えて別のデジタル信号を処理してよい。例えば、端末１００が周波数を選択する場合、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換を実行するように構成されている。
ビデオコーデックは、デジタルビデオを圧縮又は展開するよう構成されている。端末１００は、１つ又は複数のタイプのビデオコーデックをサポートしてよい。したがって、端末１００は、複数の符号化フォーマット、例えば、ムービングピクチャエキスパーツグループ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ、ＭＰＥＧ）－１、ＭＰＥＧ－２、ＭＰＥＧ－３、及びＭＰＥＧ－４のビデオを再生又は記録してよい。
ＮＰＵは、生物学的神経網の構造を参照することによって、例えば、人間の脳神経細胞間の伝達モードを参照することによって、入力情報を早急に処理するニューラルネットワーク（ｎｅｕｒａｌ－ｎｅｔｗｏｒｋ、ＮＮ）コンピューティングプロセッサであり、自己学習を更に継続的に実行してよい。端末１００の知的認知等の応用、例えば、画像認識、顔認識、音声認識、及びテキスト理解は、ＮＰＵを使用することによって実装されてよい。
外部ストレージインターフェース１２０は、端末１００の記憶能力を拡張するために、外部ストレージカード、例えば、マイクロＳＤカードに接続するのに使用されてよい。外部ストレージカードは、データ記憶機能を実装するために、外部ストレージインターフェース１２０を通じてプロセッサ１１０と通信する。例えば、音楽及びビデオ等のファイルは、外部ストレージカードに記憶される。
内部ストレージ１２１は、コンピュータ実行可能プログラムコードを記憶するように構成されてよい。実行可能プログラムコードは、命令を含む。内部ストレージ１２１は、プログラム記憶領域及びデータ記憶領域を含んでよい。プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能（例えば、サウンド再生機能又は画像再生機能）のために要求されるアプリケーション等を記憶してよい。データ記憶領域は、端末１００の使用中に作成されるデータ（例えば、オーディオデータ及びアドレス帳）等を記憶してよい。加えて、内部ストレージ１２１は、高速ランダムアクセスメモリを含んでよく、不揮発性メモリ、例えば、少なくとも１つの磁気ディスク記憶デバイス、フラッシュ記憶デバイス、又はユニバーサルフラッシュストレージ（ｕｎｉｖｅｒｓａｌ ｆｌａｓｈ ｓｔｏｒａｇｅ、ＵＦＳ）を更に含んでよい。プロセッサ１１０は、端末１００の様々な機能アプリケーション及びデータ処理を実装するために、内部ストレージ１２１に記憶された命令、及び／又はプロセッサに配置されたメモリに記憶された命令を実行する。
端末１００は、オーディオモジュール１７０、ラウドスピーカ１７０Ａ、受信機１７０Ｂ、マイクロフォン１７０Ｃ、ヘッドセットジャック１７０Ｄ、アプリケーションプロセッサ等を使用することによって、オーディオ機能、例えば、音楽再生又は記録を実装してよい。
オーディオモジュール１７０は、出力のためにデジタルオーディオ情報をアナログオーディオ信号に変換するように構成されており、アナログオーディオ入力をデジタルオーディオ信号に変換するように更に構成されている。オーディオモジュール１７０は、オーディオ信号を符号化及び復号するように更に構成されてよい。幾つかの実施形態では、オーディオモジュール１７０は、プロセッサ１１０に配置されてよく、又は、オーディオモジュール１７０の機能モジュールのうちの一部は、プロセッサ１１０に配置される。
「スピーカ」とも称されるラウドスピーカ１７０Ａは、電気オーディオ信号をサウンド信号に変換するように構成されている。端末１００は、ラウドスピーカ１７０Ａを使用することによって、音楽を受信するか又はハンズフリー通話を受信してよい。
「イヤーピース」とも称される受信機１７０Ｂは、電気オーディオ信号をサウンド信号に変換するように構成されている。端末１００によって通話又はオーディオ情報が受信されるとき、受信機１７０Ｂは、ボイスを聴くために人間の耳の近くに置かれ得る。
「マイク（ｍｉｋｅ）」又は「マイク（ｍｉｃ）」とも称されるマイクロフォン１７０Ｃは、サウンド信号を電気信号に変換するように構成されている。通話を行うか又はボイスメッセージを送信するとき、ユーザは、サウンド信号をマイクロフォン１７０Ｃに入力するために、口をマイクロフォン１７０Ｃの近くに動かしてサウンドを出してよい。少なくとも１つのマイクロフォン１７０Ｃが、端末１００に配置されてよい。幾つかの他の実施形態では、サウンド信号を取得するとともに、さらに、雑音を削減するために、２つのマイクロフォン１７０Ｃが端末１００に配置されてよい。幾つかの他の実施形態では、代替的には、指向性サウンド記録機能を実装する等のために、サウンド信号を取得し、雑音を削減し、音源を識別するために、３つ、４つ、又はそれよりも多くのマイクロフォン１７０Ｃが端末１００に配置されてよい。
ヘッドセットジャック１７０Ｄは、有線ヘッドセットに接続するように構成されている。ヘッドセットジャック１７０Ｄは、ＵＳＢインターフェース１３０であってもよいし、又は３．５ｍｍオープンモバイル端末プラットフォーム（ｏｐｅｎ ｍｏｂｉｌｅ ｔｅｒｍｉｎａｌ ｐｌａｔｆｏｒｍ、ＯＭＴＰ）規格インターフェース又は米国セルラー通信工業会（ｃｅｌｌｕｌａｒ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎｄｕｓｔｒｙ ａｓｓｏｃｉａｔｉｏｎ、ＣＴＩＡ ｏｆ ｔｈｅ ＵＳＡ）規格インターフェースであってもよい。
圧力センサ１８０Ａは、圧力信号を検知するように構成されており、圧力信号を電気信号に変換してよい。幾つかの実施形態では、圧力センサ１８０Ａは、ディスプレイスクリーン１９４に配置されてよい。抵抗圧力センサ、誘導圧力センサ、及び静電容量圧力センサ等の複数のタイプの圧力センサ１８０Ａが存在する。静電容量圧力センサは、導電材料から作製された少なくとも２つの平行なプレートを含んでよい。圧力センサ１８０Ａに圧力が印加されると、電極間の静電容量が変化する。端末１００は、静電容量の変化に基づいて圧力強度を決定する。ディスプレイスクリーン１９４上でタッチ動作が実行されると、端末１００は、圧力センサ１８０Ａを使用することによってタッチ動作の強度を検出する。端末１００は、圧力センサ１８０Ａからの検出信号に基づいて、タッチ位置を計算してよい。幾つかの実施形態では、同じタッチ位置において実行されるが、異なるタッチ動作強度を有するタッチ動作は、異なる動作命令に対応してよい。例えば、タッチ動作強度が第１の圧力閾値よりも小さいタッチ動作がメッセージのアイコン上で実行されると、ＳＭＳメッセージを閲覧するための命令が実行される。タッチ動作強度が第１の圧力閾値よりも大きいか又はこれに等しいタッチ動作がメッセージのアイコン上で実行されると、新たなＳＭＳメッセージを作成するための命令が実行される。
ディスプレイスクリーン１９４上に表示される撮影インターフェースは、第１のコントロール及び第２のコントロールを含んでよい。第１のコントロールは、手ブレ補正機能を有効化又は無効化するのに使用され、第２のコントロールは、透視歪み補正機能を有効化又は無効化するのに使用される。例えば、ユーザは、ディスプレイスクリーン上で、手ブレ補正機能を有効化するための有効化動作を実行してよい。有効化動作は、第１のコントロール上のクリック動作であってよい。端末１００は、圧力センサ１８０Ａの検出信号に基づいて、ディスプレイスクリーン上のクリックの位置が第１のコントロールの位置であると決定し、次に、手ブレ補正機能を有効化するための動作命令を生成してよい。このようにして、手ブレ補正機能は、手ブレ補正機能を有効化するための動作命令に従って有効化される。例えば、ユーザは、ディスプレイスクリーン上で、透視歪み補正機能を有効化するための有効化動作を実行してよい。有効化動作は、第２のコントロール上のクリック動作であってよい。端末１００は、圧力センサ１８０Ａの検出信号に基づいて、ディスプレイスクリーン上のクリックの位置が第２のコントロールの位置であると決定し、次に、透視歪み補正機能を有効化するための動作命令を生成してよい。このようにして、透視歪み補正機能は、透視歪み補正機能を有効化するための動作命令に従って有効化される。
ジャイロスコープセンサ１８０Ｂは、端末１００のモーション姿勢を決定するように構成されてよい。幾つかの実施形態では、３つの軸（すなわち、軸ｘ、ｙ、及びｚ）の周りの端末１００の角速度が、ジャイロスコープセンサ１８０Ｂを使用することによって決定されてよい。ジャイロスコープセンサ１８０Ｂは、撮影中の手ブレ補正を実装するように構成されてよい。例えば、シャッタが押下されると、ジャイロスコープセンサ１８０Ｂは、端末１００がシェイクする際の角度を検出し、当該角度に基づいて、レンズモジュールが補償する必要がある距離を計算し、レンズが逆モーションを通じて端末１００のシェイクを相殺することを可能にして、手ブレ補正を実装する。ジャイロスコープセンサ１８０Ｂは、ナビゲーション及びモーション検知ゲームシナリオにおいて更に使用されてよい。
気圧センサ１８０Ｃは、気圧を測定するように構成されている。幾つかの実施形態では、端末１００は、測位及びナビゲーションを支援するために、気圧センサ１８０Ｃによって測定された気圧の値に基づいて標高を計算する。
磁気センサ１８０Ｄは、ホールセンサを含む。端末１００は、磁気センサ１８０Ｄを使用することによってフリップカバーの開放及び閉鎖を検出してよい。幾つかの実施形態では、端末１００が折り畳み式電話である場合、端末１００は、磁気センサ１８０Ｄを使用することによってフリップカバーの開放及び閉鎖を検出してよい。さらに、フリップカバーの検出された開放又は閉鎖状態に基づいて、フリップカバーの開放時の機能、例えば、自動ロック解除が設定される。
加速度センサ１８０Ｅは、端末１００の様々な方向（通常は３つの軸上）の加速度を検出してよい。端末１００が静止しているとき、重力の大きさ及び方向が検出されてよい。加速度センサ１８０Ｅは、電子デバイスの姿勢を識別するように更に構成されてよく、例えば、横長モード及び縦長モードの間の切り替え又は歩数計に使用される。
距離センサ１８０Ｆは、距離を測定するように構成されている。端末１００は、赤外線又はレーザを使用して距離を測定してよい。幾つかの実施形態では、撮影シナリオにおいて、端末１００は、早急な焦点合わせを実装するために、距離センサ１８０Ｆを使用することによって距離を測定してよい。
光学近接センサ１８０Ｇは、発光ダイオード（ＬＥＤ）及び光学検出器、例えば、フォトダイオードを含んでよい。発光ダイオードは、赤外線発光ダイオードであってよい。端末１００は、発光ダイオードを通じて赤外線光を放出する。端末１００は、フォトダイオードを使用することによって付近のオブジェクトから反射された赤外線光を検出する。十分な反射光が検出された場合、端末１００は、端末１００の近くにオブジェクトが存在すると決定してよい。十分な反射光が検出されない場合、端末１００は、端末１００の近くにオブジェクトが存在しないと決定してよい。端末１００は、電力の節約のために自動的にスクリーンオフを実行するように、光学近接センサ１８０Ｇを使用することによって、ユーザが通話を行うときに端末１００を耳の近くに保持していることを検出してよい。光学近接センサ１８０Ｇは、スクリーンを自動的にロック解除又はロックするために、レザーケースモード又はポケットモードにおいて更に使用されてよい。
周辺光センサ１８０Ｌは、周辺光輝度を検知するように構成されている。端末１００は、検知された周辺光輝度に基づいて、ディスプレイスクリーン１９４の輝度を適合的に調整してよい。周辺光センサ１８０Ｌは、撮影中にホワイトバランスを自動的に調整するように更に構成されてよい。周辺光センサ１８０Ｌは、さらに、偶発的なタッチを回避するために、光学近接センサ１８０Ｇと協働して、端末１００がポケット内にあるか否かを検出してよい。
指紋センサ１８０Ｈは、指紋を取得するように構成されている。端末１００は、取得された指紋の特徴を使用して、指紋ベースロック解除、アプリケーションロックアクセス、指紋ベース撮影、指紋ベース通話応答等を実装してよい。
温度センサ１８０Ｊは、温度を検出するように構成されている。幾つかの実施形態では、端末１００は、温度センサ１８０Ｊによって検出された温度に基づいて温度処理ポリシを実行する。例えば、温度センサ１８０Ｊによって報告された温度が閾値を超えた場合、端末１００は、温度センサ１８０Ｊの近くのプロセッサの性能を低下させて、電力消費を削減し、熱保護を提供する。幾つかの他の実施形態では、温度が別の閾値よりも低い場合、端末１００は、バッテリ１４２を加熱して、端末１００が低温度に起因して異常にシャットダウンされることを防止する。幾つかの他の実施形態では、温度が更に別の閾値よりも低い場合、端末１００は、バッテリ１４２の出力電圧をブーストして、低温度に起因した異常なシャットダウンを回避する。
タッチセンサ１８０Ｋは、「タッチスクリーンデバイス」とも称され得る。タッチセンサ１８０Ｋは、ディスプレイスクリーン１９４上に配置されてよい。タッチセンサ１８０Ｋ及びディスプレイスクリーン１９４は、「タッチスクリーン」とも称されるタッチスクリーンを形成する。タッチセンサ１８０Ｋは、タッチセンサ上又はその近くで実行されるタッチ動作を検出するように構成されている。タッチセンサは、検出されたタッチ動作をアプリケーションプロセッサに転送して、タッチイベントのタイプを決定してよい。タッチ動作に関連した視覚出力がディスプレイスクリーン１９４を通じて提供されてよい。幾つかの他の実施形態では、タッチセンサ１８０Ｋは、代替的には、端末１００の表面上の、ディスプレイスクリーン１９４の位置とは異なる位置に配置されてよい。
骨伝導センサ１８０Ｍは、振動信号を取得してよい。幾つかの実施形態では、骨伝導センサ１８０Ｍは、人間の声帯部位の振動骨の振動信号を取得してよい。骨伝導センサ１８０Ｍは、さらに、人間の脈と接触し、血圧脈拍信号を受信してよい。幾つかの実施形態では、骨伝導センサ１８０Ｍは、代替的には、骨伝導ヘッドセットを構成するために、ヘッドセットに配置されてよい。オーディオモジュール１７０は、ボイス機能を実装するために、声帯部位の振動骨のものであり、かつ骨伝導センサ１８０Ｍによって取得される振動信号に基づいて、解析を通じてボイス信号を取得してよい。アプリケーションプロセッサは、心拍数検出機能を実装するために、骨伝導センサ１８０Ｍによって取得される血圧脈拍信号に基づいて、心拍数情報を解析してよい。
ボタン１９０は、電力ボタン、音量ボタン等を含む。ボタン１９０は、機械的ボタンであってもよいし、又はタッチボタンであってもよい。端末１００は、ボタン入力を受信し、端末１００上のユーザ設定及び機能制御に関連したキー信号入力を生成してよい。
モータ１９１は、振動プロンプトを生成してよい。モータ１９１は、着信振動プロンプトを生成するように構成されてよく、タッチ振動フィードバックを提供するように構成されてよい。例えば、異なるアプリケーション（例えば、写真の撮影及びオーディオの再生）のために実行されるタッチ動作は、異なる振動フィードバック効果に対応してよい。ディスプレイスクリーン１９４の異なる領域上で実行されるタッチ動作について、モータ１９１は、異なる振動フィードバック効果に対応してもよい。異なるアプリケーションシナリオ（例えば、時間リマインド、情報受信、アラームクロック、及びゲーム）が、異なる振動フィードバック効果に対応してもよい。タッチ振動フィードバック効果が、更にカスタマイズされてよい。
インジケータ１９２は、インジケータライトであってよく、充電ステータス及び電力変化を示すように構成されてよく、メッセージ、不在着信、通知等を示すように構成されてよい。
ＳＩＭカードインターフェース１９５は、ＳＩＭカードを接続するのに使用される。ＳＩＭカードは、端末１００との接触又は当該端末１００からの分離を実装するために、ＳＩＭカードインターフェース１９５に挿入されてもよいし、又は、ＳＩＭカードインターフェース１９５から取り出されてもよい。端末１００は、１つ又はＮ個のＳＩＭカードインターフェースをサポートしてよく、ここで、Ｎは、１よりも大きい正の整数である。ＳＩＭカードインターフェース１９５は、ナノＳＩＭカード、マイクロＳＩＭカード、ＳＩＭカード等をサポートしてよい。複数のカードが同じＳＩＭカードインターフェース１９５に同時に挿入されてよい。複数のカードは、同じタイプ又は異なるタイプであってよい。ＳＩＭカードインターフェース１９５は、異なるタイプのＳＩＭカードと互換性がある。ＳＩＭカードインターフェース１９５は、外部ストレージカードとも互換性がある。端末１００は、ＳＩＭカードを使用することによってネットワークとインタラクトして、通話及びデータ通信等の機能を実装する。幾つかの実施形態では、端末１００は、ｅＳＩＭ、すなわち、埋め込みＳＩＭカードを使用する。ｅＳＩＭカードは、端末１００に埋め込まれてよく、端末１００から分離されることができない。
端末１００のソフトウェアシステムは、階層アーキテクチャ、イベント駆動アーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ、又はクラウドアーキテクチャを使用してよい。本発明のこの実施形態では、階層アーキテクチャを有するアンドロイド（登録商標）システムは、端末１００のソフトウェア構造を説明するための一例として使用される。
図２は、本開示の一実施形態に係る端末１００のソフトウェア構造のブロック図である。
階層アーキテクチャでは、ソフトウェアが幾つかの層に分割され、各層は、明確な役割及びタスクを有する。層は、ソフトウェアインターフェースを通じて互いに通信する。幾つかの実施形態では、アンドロイド（登録商標）システムは、４つの層：上から下に向かって、アプリケーション層、アプリケーションフレームワーク層、アンドロイド（登録商標）ランタイム（Ａｎｄｒｏｉｄ ｒｕｎｔｉｍｅ）及びネイティブライブラリ、及びカーネル層に分割される。
アプリケーション層は、一連のアプリケーションパッケージを含んでよい。
図２において示されているように、アプリケーションパッケージは、カメラ、ギャラリ、カレンダ、通話、マップ、ナビゲーション、ＷＬＡＮ、ブルートゥース（登録商標）、音楽、ビデオ、及びメッセージ等のアプリケーションを含んでよい。
アプリケーションフレームワーク層は、アプリケーション層におけるアプリケーションにアプリケーションプログラミングインターフェース（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ、ＡＰＩ）及びプログラミングフレームワークを提供する。アプリケーションフレームワーク層は、幾つかの事前定義された機能を含む。
図２において示されているように、アプリケーションフレームワーク層は、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、リソースマネージャ、通知マネージャ等を含んでよい。
ウィンドウマネージャは、ウィンドウプログラムを管理するのに使用される。ウィンドウマネージャは、ディスプレイスクリーンのサイズを取得する、ステータスバーが存在しているか否かを決定する、スクリーンをロックする、スクリーンショットを撮る等を行ってよい。
コンテンツプロバイダは：データを記憶及び取得し、データがアプリケーションによってアクセスされることを可能にするのに使用される。データは、ビデオ、画像、オーディオ、発信される及び着信される通話、閲覧履歴及びブックマーク、連絡先等を含んでよい。
ビューシステムは、視覚コントロール、例えば、テキストを表示するためのコントロール及び画像を表示するためのコントロールを含む。ビューシステムは、アプリケーションを構築するのに使用されてよい。ディスプレイインターフェースは、１つ又は複数のビューを含んでよい。例えば、メッセージの通知アイコンを含むディスプレイインターフェースは、テキスト表示ビュー及び写真表示ビューを含んでよい。
電話マネージャは、端末１００の通信機能、例えば、通話ステータス（応答、終話等を含む）の管理を提供するのに使用される。
リソースマネージャは、アプリケーションに、ローカライズされた文字列、アイコン、写真、レイアウトファイル、及びビデオファイル等の様々なリソースを提供する。
通知マネージャは、アプリケーションがステータスバーにおいて通知情報を表示することを可能にし、通知タイプメッセージを送信するのに使用されてよい。表示された情報は、ユーザインタラクションを伴わずに短い一時停止の後に自動的に消えてよい。例えば、通知マネージャは、ダウンロード完了を通知すること、メッセージ通知を提供すること等を行うのに使用される。通知マネージャは、代替的には、グラフ又はスクロールバーテキストの形式でシステムの上部のステータスバーに現れる通知、例えば、バックグラウンド上で実行されているアプリケーションの通知であってもよいし、又はダイアログウィンドウの形式でスクリーン上に現れる通知であってもよい。例えば、テキスト情報がステータスバーにおいてプロンプトされ、プロンプトトーンが再生され、電子デバイスが振動し、又はインジケータライトが点滅する。
アンドロイド（登録商標）ランタイムは、コアライブラリ及び仮想マシンを含む。アンドロイド（登録商標）ランタイムは、アンドロイド（登録商標）システムのスケジューリング及び管理を担当する。
コアライブラリは、２つの部分を含む。これらの部分のうちの一方は、Ｊａｖａ（登録商標）言語において呼び出される必要がある実行機能であり、他方の部分は、アンドロイド（登録商標）のコアライブラリである。
アプリケーション層及びアプリケーションフレームワーク層は、仮想マシン上で実行される。仮想マシンは、アプリケーション層及びアプリケーションフレームワーク層においてバイナリファイルとしてＪａｖａ（登録商標）ファイルを実行する。仮想マシンは、オブジェクトライフサイクル管理、スタック管理、スレッド管理、安全性及び例外管理、及びガベージコレクション等の機能を実装するように構成されている。
ネイティブライブラリは、複数の機能モジュール、例えば、サーフェスマネージャ（ｓｕｒｆａｃｅ ｍａｎａｇｅｒ）、メディアライブラリ（Ｍｅｄｉａ Ｌｉｂｒａｒｉｅｓ）、３次元グラフィックス処理ライブラリ（例えば、ＯｐｅｎＧＬ ＥＳ）、及び２Ｄグラフィックスエンジン（例えば、ＳＧＬ）を含んでよい。
サーフェスマネージャは、ディスプレイサブシステムを管理し、複数のアプリケーションのために２Ｄ及び３Ｄ層の融合を提供するのに使用される。
メディアライブラリは、複数の一般的に使用されるオーディオ及びビデオフォーマット、静止画像ファイル等のプレイバック及び記録をサポートする。メディアライブラリは、複数のオーディオ及びビデオ符号化フォーマット、例えば、ＭＰＥＧ－４、Ｈ．２６４、ＭＰ３、ＡＡＣ、ＡＭＲ、ＪＰＧ、及びＰＮＧをサポートしてよい。
３次元グラフィックス処理ライブラリは、３次元グラフィックス描画、画像レンダリング、合成、層処理等を実装するのに使用される。
２Ｄグラフィックスエンジンは、２Ｄ描画のための描画エンジンである。
カーネル層は、ハードウェア及びソフトウェアの間の層である。カーネル層は、少なくともディスプレイドライバ、カメラドライバ、オーディオドライバ、及びセンサドライバを含む。
端末１００上のソフトウェア及びハードウェアの作動プロセスの一例が、撮影シナリオを参照して以下で説明される。
タッチセンサ１８０Ｋがタッチ動作を受信すると、対応するハードウェア割り込みがカーネル層に送信される。カーネル層は、タッチ動作を処理して元の入力イベント（情報、例えば、タッチ動作のタッチ座標及びタイムスタンプを含む）にする。元の入力イベントは、カーネル層に記憶される。アプリケーションフレームワーク層は、元の入力イベントをカーネル層から取得し、入力イベントに対応する制御を認識する。例えば、タッチ動作は、タッチアンドクリック動作であり、このクリック動作に対応するコントロールは、カメラアプリケーションのアイコンのコントロールである。カメラアプリケーションは、カメラアプリケーションを開始するためにアプリケーションフレームワーク層におけるインターフェースを呼び出して、カーネル層を呼び出すことによってカメラドライバを有効化し、カメラ１９３を使用することによって静止画像又はビデオをキャプチャする。キャプチャされたビデオは、本願の実施形態では第１の画像及び第２の画像であってよい。
理解を容易にするために、本願の一実施形態において提供される画像処理方法は、添付図面及び応用シナリオを参照して詳細に説明される。
本願のこの実施形態は、リアルタイム撮影、ビデオ後処理、及びターゲット追跡等のシナリオに適用されてよい。シナリオの各々に関する説明が以下で提供される。
例１：リアルタイム撮影
本願のこの実施形態では、端末のリアルタイム撮影又は記録のシナリオにおいて、端末上のカメラが、リアルタイムにおいてビデオストリームを取得し、撮影インターフェースにおいて、カメラによって取得されたビデオストリームに基づいて生成されたプレビュー写真を表示してよい。
カメラによって取得されるビデオストリームは、第１の画像及び第２の画像を含んでよい。第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する２つの原画像フレームである。具体的には、リアルタイムにおいて端末によって取得されるビデオは、時間ドメインにおいて順次にソートされる原画像のシーケンスであり、第２の画像は、時間ドメインにおいて第１の画像に隣接し、かつ当該第１の画像の後の原画像である。例えば、リアルタイムにおいて端末によって取得されるビデオは、時間ドメインにおいてソートされる第０の画像フレーム、第１の画像フレーム、第２の画像フレーム、...、及び第Ｘの画像フレームを含み、ここで、第１の画像は、第ｎの画像フレームであり、第２の画像は、第（ｎ＋１）の画像フレームであり、ｎは、０よりも大きいか又はこれに等しく、かつＸよりも小さい整数である。
第１の画像及び第２の画像は、端末上のカメラによって取得される原画像である。原画像の概念は、以下で説明される。
端末は、撮影のためにシャッタを開いてよく、光がレンズを通じてカメラの感光素子に転送されてよい。カメラの感光素子は、光信号を電気信号に変換し、電気信号を処理のために画像信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＩＳＰ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）等に転送してよく、その結果、画像が変換を通じて取得されてよい。画像は、カメラによって取得される原画像と称され得る。本願のこの実施形態において説明される第１の画像及び第２の画像は、前述の原画像であってよい。本願のこの実施形態において提供される画像処理方法によれば、画像処理は、処理されたターゲット画像（第３の画像及び第４の画像）を取得するために、原画像に基づいて原画像に対して実行されてよく、その結果、第３の画像及び第４の画像を含むプレビュー写真が、ビューファインダフレーム４０２において表示されてよい。第１の画像及び第２の画像は、代替的には、ＩＳＰ及びＤＳＰによって処理された後に取得された画像をクロップすることによって取得される画像であってよいことが理解されるべきである。クロップは、端末のディスプレイスクリーンのサイズ又は撮影インターフェースにおけるビューファインダフレームのサイズに適合するように実行されてよい。
本願のこの実施形態では、手ブレ補正及び透視歪み補正は、リアルタイムにおいてカメラによって取得されたビデオストリームに対して実行されてよい。本願のこの実施形態における第１の画像及び第２の画像は、当該第１の画像及び当該第２の画像に対してどのように手ブレ補正及び透視歪み補正を実行するのかを説明するための一例として使用される。
幾つかのシナリオでは、ユーザは、ターゲット領域を撮影するために端末デバイスを保持し得る。ターゲット領域は、移動しているオブジェクトを含んでもよいし、又はターゲット領域は、静止領域であってもよく、すなわち、移動しているオブジェクトを含まなくてもよい。
手ブレ補正及び透視歪み補正がビデオストリームに対して実行されるとき、ビューファインダフレームにおいて表示されるプレビュー写真において、ジェロ効果（又はジェロ現象）が生じ得る。ジェロ現象（ジェロ効果）は、写真がジェロのように変換及び変化されることを意味する。ジェロ（Ｊｅｌｌｏ）効果の原因は、以下で説明される。
画像の透視歪み及び透視歪み補正がまず導入される。
カメラが広角撮影モード又はメインカメラ撮影モードである場合、取得された原画像は、明らかな透視歪みを有する。具体的には、透視歪み（３Ｄ歪みとも称される）は、空間における３次元形状が像面にマッピングされるとき、撮影のための被写界深度の差に起因して、異なる倍率によって引き起こされる３Ｄオブジェクト撮像における変換（例えば、横方向の伸び、径方向の伸び、及びこれらの組み合わせ）である。したがって、透視歪み補正が、画像に対して実行される必要がある。
３Ｄオブジェクト撮像における変換は、実際のオブジェクトが人間の目にどのように見えるのかと比較した、画像内のオブジェクトの変換に起因した画像変換として理解され得ることが理解されるべきである。
透視歪みを有する画像では、画像の中心により近いオブジェクトと比較して、画像の中心からより離れたオブジェクトは、より明らかな透視歪みを有し、すなわち、より大きい長さの撮像変換（より大きい振幅の横方向の伸び、径方向の伸び、及びこれらの組み合わせ）を有する。したがって、透視歪みの問題を伴わない画像を取得するために、画像に対する透視歪み補正中、画像の中心から異なる距離にある位置点又はピクセルについて、補正される必要があるシフトは異なり、画像の中心からより離れた位置点又はピクセルについて、補正される必要があるシフトは、より大きくなる。
図４ａを参照されたい。図４ａは、透視歪みを有する画像の概略図である。図４ａにおいて示されているように、画像のエッジ領域にいる人物は、特定の３Ｄ変換を有する。
幾つかのシナリオでは、ユーザが撮影のために端末デバイスを保持するプロセスにおいて、シェイクが生じ得る。
ユーザが撮影のために端末を保持する場合、ユーザは端末を保持する姿勢を安定に保つことができないので、端末は、像面の方向においてシェイクする（すなわち、端末は、非常に短時間内で大きい姿勢変化を有する）。像面は、カメラの撮像面が位置する平面を指し得、具体的には、カメラの感光素子の感光面が位置する平面であり得る。ユーザの視点から、像面は、ディスプレイスクリーンが位置する平面と基本的に同じであるか又は厳密に同じである平面であり得る。像面の方向におけるシェイクは、像面上の各方向におけるシェイク、例えば、左向き、右向き、上向き、下向き、左上、左下、右上、右下のシェイクを含み得る。
ユーザがターゲット領域を撮影するために端末を保持する際、ユーザが端末を保持し、方向Ａにおけるシェイクを有する場合、端末上のカメラによって取得された原画像内にあり、かつターゲット領域を含む画像コンテンツにおいて、方向Ａに対して逆の方向に向かうオフセットが含まれる。例えば、ユーザが端末を保持し、左上方向におけるシェイクを有する場合、端末上のカメラによって取得された原画像内にあり、かつターゲット領域を含む画像コンテンツにおいて、左上方向に対して逆の方向に向かうオフセットが含まれる。
ユーザが端末を保持する場合に生じる、方向Ａにおけるシェイクは、端末を保持するユーザの視点から方向Ａに当該端末がシェイクすることとして理解され得ることが理解されるべきである。
図４ｂ－１～図４ｂ－４を参照されたい。図４ｂ－１～図４ｂ－４は、端末がシェイクするシナリオの概略図である。図４ｂ－１～図４ｂ－４において示されているように、時点Ａ１において、ユーザは、オブジェクト１を撮影するために端末デバイスを保持している。このケースでは、オブジェクト１は、撮影インターフェースにおいて表示されてよい。時点Ａ１及びＡ２の間、ユーザは、端末デバイスを保持し、左下方向におけるシェイクを有する。このケースでは、カメラによって取得された原画像におけるオブジェクト１は、右上方向に向かうオフセットを有する。
ユーザがターゲット領域を撮影するために端末を保持する際、端末を保持するときのユーザの姿勢が不安定であるので、ターゲット領域は、カメラによって取得された隣接する画像フレーム間で大きいオフセットを有する（換言すれば、カメラによって取得された２つの隣接する画像フレーム間で大きいコンテンツ位置合わせ不良が存在する）。端末デバイスがシェイクする場合、通常、カメラによって取得された２つの隣接する画像フレーム間で大きいコンテンツ位置合わせ不良が存在し、その結果、カメラによって取得されたビデオは、ぼけを含む。広角カメラを使用することと比較して、端末がシェイクするとき、メインカメラを使用することによって取得された画像間の位置合わせ不良はより深刻になり、メインカメラを使用することと比較して、端末がシェイクするとき、長焦点カメラを使用することによって取得された画像間の位置合わせ不良はより深刻になることが理解されるべきである。
手ブレ補正中、２つの隣接する画像フレームが位置合わせされた後、エッジ部分がクロップされて、明確な画像（手ブレ補正又は手ブレ補正ビューファインダフレームの出力、例えば、本願のこの実施形態では第１のクロップ済み領域及び第３のクロップ済み領域と称され得る）が取得されてよい。
手ブレ補正を実行することは、ユーザが端末デバイスを保持するときの姿勢変化に起因した、取得されたビデオにおけるシェイクをなくすことである。具体的には、手ブレ補正を実行することは、ビューファインダフレームにおける出力を取得するために、カメラによって取得された原画像をクロップすることである。ビューファインダフレームにおける出力は、手ブレ補正の出力である。端末が非常に短時間内に大きい姿勢変化を有する場合、前者の画像フレームの写真から、後者の画像フレームのビューファインダフレームにおける写真の大きいオフセットが存在する。例えば、第ｎのフレームが取得される場合と比較して、端末が第（ｎ＋１）のフレームを取得する場合、像面の方向内の方向Ａにおけるシェイクが存在する（方向Ａにおけるシェイクは、方向Ａに向かう端末上のカメラの主光軸の方向のシェイク、又は像面の方向内の方向Ａに向かう端末上のカメラの光学中心の位置のシェイクであってよいことが理解されるべきである）。このケースでは、第（ｎ＋１）の画像フレームのビューファインダフレームにおける写真は、第ｎの画像フレームにおいて、方向Ａに対して逆の方向に向かってずらされる。
図４ｂ－１～図４ｂ－４が一例として使用される。時点Ａ１及びＡ２の間、ユーザは、端末デバイスを保持し、左下方向におけるシェイクを有する。このケースでは、カメラによって取得された原画像におけるオブジェクト１は、右上方向に向かうオフセットを有し、したがって、手ブレ補正のためにクロップされる必要があるクロップ済み領域（図４ｂ－１～図４ｂ－４において示されている破線ボックス）が、それに応じて、右上方向に向かうオフセットを有する。
手ブレ補正のために、前者の原画像フレームの写真からの後者の原画像フレームのビューファインダフレームにおける写真のオフセットシフト（オフセット方向及びオフセット距離を含む）が決定される必要がある。一実装では、オフセットシフトは、端末が２つの隣接する原画像フレームを取得するプロセスにおいて生じるシェイクに基づいて決定されてよい。具体的には、オフセットシフトは、端末が２つの隣接する原画像フレームを取得するプロセスにおいて生じる姿勢変化であってよい。姿勢変化は、直前の原画像フレームにおけるビューファインダフレームに対応する撮影された姿勢、及び端末が現在の原画像フレームを撮影するときの姿勢に基づいて取得されてよい。
手ブレ補正後、ユーザが端末デバイスを保持し、大きいシェイクを有する場合、隣接する原画像フレームの写真は大きい差を有するが、隣接する原画像フレームがクロップされた後に取得されたビューファインダフレームにおける写真は、大きい差を有さないか又は差を有さず、その結果、撮影インターフェースにおけるビューファインダフレームにおいて表示された写真は、大きいシェイク又はぼけを示さない。
図４ｃを参照すると、手ブレ補正の詳細なプロセスの概略図が以下で提供される。図４ｃを参照されたい。カメラによって取得された第ｎの原画像フレームについて、第ｎの画像フレームが撮影されたときのハンドヘルド端末の姿勢パラメータが取得されてよい。ハンドヘルド端末の姿勢パラメータは、第ｎのフレームが取得されたときの端末の姿勢を示してよく、ハンドヘルド端末の姿勢パラメータは、端末上のセンサによって取得された情報に基づいて取得されてよい。端末上のセンサは、限定されるものではないが、ジャイロスコープであってよく、取得される情報は、限定されるものではないが、ｘ軸上の端末の回転角速度、ｙ軸上の端末の回転角速度、及びｚ軸上の端末の回転角速度であってよい。
加えて、直前の画像フレームの安定姿勢パラメータ、すなわち、第（ｎ－１）の画像フレームの姿勢パラメータが更に取得されてよい。直前の画像フレームの安定姿勢パラメータは、第（ｎ－１）の画像フレームにおけるビューファインダフレームに対応する撮影姿勢を指し得る。像面上の原画像におけるビューファインダフレームのシェイク方向及び振幅（当該シェイク方向及び振幅は、シェイクシフトとも称され得る）は、直前の画像フレームの安定姿勢パラメータ、及び第ｎの画像フレームが取得されたときのハンドヘルド端末の姿勢パラメータに基づいて計算されてよい。ビューファインダフレームのサイズは、事前設定される。ｎが０であるとき、すなわち、第１の画像フレームが取得されるとき、ビューファインダフレームの位置は、原画像の中心であってよい。像面上の原画像におけるビューファインダフレームのシェイク方向及び振幅が取得された後、第ｎの原画像フレームにおけるビューファインダフレームの位置が決定されてよく、ビューファインダフレームの境界が入力画像（すなわち、第ｎの原画像フレーム）の範囲を越えているか否かが決定される。過度に大きいシェイク振幅に起因してビューファインダフレームの境界が入力画像の範囲を越えている場合、第ｎの画像フレームの安定姿勢パラメータが調整され、その結果、ビューファインダフレームの境界が入力原画像の境界内に留まる。図４ｂ－１～図４ｂ－４において示されているように、ビューファインダフレームの境界が右上方向において入力画像の範囲を越えている場合、第ｎの画像フレームの安定姿勢パラメータが調整され、その結果、ビューファインダフレームの位置が左下に向かって移動し、ビューファインダフレームの境界が入力原画像の境界内にあり得る。さらに、手ブレ補正インデックステーブルが出力される。出力手ブレ補正インデックステーブルは、シェイクが除去された後の画像における各ピクセル又は位置点の姿勢補正シフトを具体的に示し、ビューファインダフレームの出力は、出力手ブレ補正インデックステーブル及び第ｎの原画像フレームに基づいて決定されてよい。シェイク振幅が大きくないか又はシェイクが生じない場合、したがって、ビューファインダフレームの境界が入力画像の範囲を越えない場合、手ブレ補正インデックステーブルは、直接出力されてよい。
同様に、手ブレ補正が第（ｎ＋１）の画像フレームに対して実行される場合、第ｎの画像フレームの姿勢パラメータが取得されてよい。第ｎの画像フレームの姿勢パラメータは、第ｎの画像フレームにおけるビューファインダフレームに対応する撮影姿勢を指し得る。像面上の原画像におけるビューファインダフレームのシェイク方向及び振幅（当該シェイク方向及び振幅は、シェイクシフトとも称され得る）は、第ｎの画像フレームの安定姿勢パラメータ、及び第（ｎ＋１）の画像フレームが取得されたときのハンドヘルド端末の姿勢パラメータに基づいて計算されてよい。ビューファインダフレームのサイズは、事前設定される。次に、第（ｎ＋１）の原画像フレームにおけるビューファインダフレームの位置が決定されてよく、ビューファインダフレームの境界が入力画像（すなわち、第（ｎ＋１）の原画像フレーム）の範囲を越えているか否かが決定される。過度に大きいシェイク振幅に起因してビューファインダフレームの境界が入力画像の範囲を越えている場合、第（ｎ＋１）の画像フレームの安定姿勢パラメータが調整され、その結果、ビューファインダフレームの境界が入力原画像の境界内に留まる。さらに、手ブレ補正インデックステーブルが出力される。シェイク振幅が大きくないか又はシェイクが生じない場合、したがって、ビューファインダフレームの境界が入力画像の範囲を越えない場合、手ブレ補正インデックステーブルは、直接出力されてよい。
手ブレ補正の前述のプロセスをより明確に説明するために、ｎが０である、すなわち、第１の画像フレームが取得される一例が、手ブレ補正のプロセスを説明するのに使用される。
図４ｄを参照されたい。図４ｄは、本願の一実施形態に係る、手ブレ補正のプロセスの概略図である。図４ｄにおいて示されているように、第０のフレームの画像の中心部分が、第０のフレームの手ブレ補正の出力（すなわち、第０のフレームのビューファインダフレームの出力）としてクロップされる。次に、ユーザが端末を保持するときにシェイクを有し、端末の姿勢が変化するので、撮影されたビデオ写真はシェイクを有する。第１のフレームのビューファインダフレームの境界は、第１のフレームのハンドヘルド端末の姿勢パラメータ、及び第０の画像フレームにおける姿勢の安定姿勢パラメータに基づいて計算されてよい。図４ｄにおいて示されているように、第１の原画像フレームにおけるビューファインダフレームの位置が右向きのオフセットを有することが決定される。第１のフレームのビューファインダフレームが出力され、第２の画像フレームが撮影されるときに非常に大きいシェイクが存在すると仮定される。第２のフレームのハンドヘルド端末の姿勢パラメータ、及び姿勢が補正された後の第１の画像フレームの姿勢パラメータに基づいて計算された第２のフレームのビューファインダフレームの境界が第２の入力原画像フレームの境界を越えている場合、安定姿勢パラメータが調整され、その結果、第２の原画像フレームのビューファインダフレームの出力を取得するために、第２の原画像フレームのビューファインダフレームの境界が第２の原画像フレームの境界内に留まる。
幾つかの撮影シナリオでは、取得された原画像に対して手ブレ補正及び透視歪み補正を実行することは、写真内にジェロ（Ｊｅｌｌｏ）効果を引き起こし得る。その原因は、以下で説明される。
幾つかの既存の実装では、画像に対して手ブレ補正及び透視歪み補正を同時に実行するために、手ブレ補正ビューファインダフレームが原画像において確認される必要があり、透視歪み補正が原画像の全ての領域に対して実行される必要がある。このケースでは、これは、透視歪み補正が手ブレ補正ビューファインダフレームにおける画像領域に対して実行され、手ブレ補正ビューファインダフレームにおける画像領域が出力されることと同等である。しかしながら、前述の方式は、以下の問題を有する：端末デバイスがシェイクする場合、カメラによって取得された２つの隣接する原画像フレーム間でコンテンツ位置合わせ不良が通常生じるので、当該２つの画像フレームに対して手ブレ補正が実行された後に出力されることになる画像領域の位置は、原画像において異なり、すなわち、当該２つの画像フレームに対して手ブレ補正が実行された後に出力されることになる画像領域及び原画像の中心点の間の距離は異なり、結果として、出力されることになる２つの画像フレームにおける位置点又はピクセルに対する透視歪み補正についてのシフトは異なる。２つの隣接するフレームに対する手ブレ補正の出力は同じ又は基本的に同じコンテンツを含む画像であり、画像同士における同じオブジェクトの変換の程度は異なり、すなわち、フレーム間一貫性が失われるので、ジェロ（Ｊｅｌｌｏ）現象が生じ、ビデオ出力の品質が低下する。
より具体的には、ジェロ現象の原因は、図４ｅにおいて示され得る。第１のフレーム及び第２のフレームの間で明らかなシェイクが存在し、手ブレ補正ビューファインダフレームは、写真の中心から写真のエッジに移動している。小さい方のフレーム内のコンテンツは、手ブレ補正の出力であり、大きい方のフレームは、原画像である。原画像におけるチェッカーボード模様で表されたコンテンツの位置が変化するとき、前者のフレーム及び後者のフレームにおける正方形同士の間の間隔の変化は、透視歪み補正のための異なるシフトに起因して異なる。結果として、前者のフレーム及び後者のフレームの手ブレ補正の出力において正方形の明らかな伸び（すなわち、ジェロ現象）が存在する。
本願の一実施形態は、画像処理方法を提供し、その結果、画像に対して手ブレ補正及び透視歪み補正が同時に実行される場合、フレーム間一貫性が保証され得、画像同士の間のジェロ現象が回避され、又は画像同士の間のジェロ現象に起因した変換の程度が低下する。
画像に対して手ブレ補正及び透視歪み補正が同時に実行される場合にどのようにフレーム間一貫性を保証するのかは、以下で詳細に説明される。本願のこの実施形態は、第１の画像及び第２の画像に対して手ブレ補正及び透視歪み補正が実行される一例を使用することによって説明される。第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する２つの原画像フレームである。具体的には、リアルタイムにおいて端末によって取得されるビデオは、時間ドメインにおいて順次にソートされる原画像のシーケンスであり、第２の画像は、時間ドメインにおいて第１の画像に隣接し、かつ当該第１の画像の後の原画像である。例えば、リアルタイムにおいて端末によって取得されるビデオは、時間ドメインにおいてソートされる第０の画像フレーム、第１の画像フレーム、第２の画像フレーム、...、及び第Ｘの画像フレームを含み、ここで、第１の画像は、第ｎの画像フレームであり、第２の画像は、第（ｎ＋１）の画像フレームであり、ｎは、０よりも大きいか又はこれに等しく、かつＸよりも小さい整数である。
本願のこの実施形態では、手ブレ補正は、取得された第１の画像に対して実行されて、第１のクロップ済み領域が取得されてよい。第１の画像は、リアルタイムにおいて端末上のカメラによって取得されたビデオの１つの原画像フレームである。カメラを使用することによって原画像を取得するプロセスについて、前述の実施形態における説明を参照されたい。詳細は、本明細書において再度説明されない。
一実装では、第１の画像は、リアルタイムにおいて端末上のカメラによって取得されたビデオの第１の原画像フレームであり、第１のクロップ済み領域は、第１の画像の中央領域にある。詳細について、前述の実施形態における第ｎのフレームに対してどのように手ブレ補正を実行するのかに関する説明を参照されたい。詳細は、本明細書において再度説明されない。
一実装では、第１の画像は、リアルタイムにおいて端末上のカメラによって取得されたビデオの第１の原画像フレームの後の原画像であり、第１のクロップ済み領域は、端末が第１の画像、及び当該第１の画像に隣接し、かつ当該第１の画像の前の原画像を取得したプロセスにおいて生じるシェイクに基づいて決定される。詳細について、前述の実施形態における第ｎの（ｎは、０に等しくない）フレームに対してどのように手ブレ補正を実行するのかに関する説明を参照されたい。詳細は、本明細書において再度説明されない。
一実装では、手ブレ補正は、デフォルトで第１の画像に対して実行されてよい。デフォルトでとは、手ブレ補正が、手ブレ補正機能を有効化する必要を伴わずに、取得された原画像に対して直接実行されることを意味する。例えば、手ブレ補正は、撮影インターフェースが開かれたときに、取得されたビデオに対して実行される。手ブレ補正機能は、ユーザの有効化動作に基づいて有効化されてよい。代替的には、手ブレ補正機能を有効化するか否かは、現在の撮影シナリオの撮影パラメータ及び取得されたビデオのコンテンツを解析することによって決定される。
一実装では、端末が手ブレ補正条件を満たすことが検出されてよく、第１の画像に対して手ブレ補正を実行するために、手ブレ補正機能が有効化される。
特定の実装プロセスでは、端末が手ブレ補正条件を満たすことを検出することは、以下のケースのうちの１つ又は複数を含むが、これらに限定されるものではない：
ケース１：端末のズーム比が第２の事前設定閾値よりも高いことが検出される。
一実装では、手ブレ補正機能を有効化すべきか否かは、端末のズーム比に基づいて決定されてよい。端末のズーム比が小さい（例えば、広角撮影モードの完全な又は部分的なズーム比範囲内である）場合、撮影インターフェースにおけるビューファインダフレームにおいて表示される写真に対応する物理領域のサイズは、既に非常に小さい。手ブレ補正が更に実行される、すなわち、画像が更にクロップされる場合、ビューファインダフレームにおいて表示される写真に対応する物理領域のサイズは、より小さくなる。したがって、手ブレ補正機能は、端末のズーム比が特定の事前設定閾値よりも高い場合にのみ有効化されてよい。
具体的には、手ブレ補正が第１の画像に対して実行される前に、端末のズーム比が第２の事前設定閾値よりも高いか又はこれに等しいことが検出される必要がある。第２の事前設定閾値は、手ブレ補正機能を有効化するための最小ズーム比である。端末のズーム比がａ～１の範囲に及ぶ場合、端末は、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、ａは、前面広角カメラ又は背面広角カメラの固定ズーム比であり、ａの値は、０．５～０．９の範囲に及ぶ。このケースでは、第２の事前設定閾値は、ａよりも高いか又はこれに等しく、かつ１よりも低いか又はこれに等しいズーム比値であってよい。例えば、第２の事前設定閾値は、ａであってよい。このケースでは、手ブレ補正機能は、端末のズーム比がａよりも低い場合にのみ有効化されない。例えば、第２の事前設定閾値は、０．６、０．７、又は０．８であってよい。これは、本明細書において限定されるものではない。
ケース２：手ブレ補正機能を有効化するためのユーザの第２の有効化動作が検出される。
一実装では、手ブレ補正機能を有効化又は無効化することを指示するのに使用されるコントロール（本願のこの実施形態では第２のコントロールと称される）は、撮影インターフェース内に含まれてよい。ユーザは、第２のコントロール上の第２の動作を通じて手ブレ補正機能を有効化する、すなわち、第２のコントロール上の第２の動作を通じて手ブレ補正機能を有効化することをトリガしてよい。このようにして、端末は、手ブレ補正機能を有効化するためのユーザの第２の有効化動作を検出してよく、第２の有効化動作は、端末上の撮影インターフェースにおける第２のコントロール上の第２の動作を含む。
一実装では、手ブレ補正機能を有効化又は無効化することを指示するのに使用されるコントロール（本願のこの実施形態では第２のコントロールと称される）は、端末のズーム比が第２の事前設定閾値よりも高いか又はこれに等しいことが検出される場合にのみ撮影インターフェースにおいて表示される。一実装では、光学歪み補正が、第１のクロップ済み領域に対して更に実行されて、補正された第１のクロップ済み領域が取得されてよい。
一実装では、透視歪み補正は、デフォルトで第１のクロップ済み領域に対して実行されてよい。デフォルトでとは、透視歪み補正が、透視歪み補正を有効化する必要を伴わずに、第１のクロップ済み領域に対して直接実行されることを意味する。例えば、透視歪み補正は、撮影インターフェースが開かれたときに、手ブレ補正が実行された後に取得された第１のクロップ済み領域に対して実行される。透視歪み補正は、ユーザの有効化動作に基づいて有効化されてよい。代替的には、透視歪み補正を有効化するか否かは、現在の撮影シナリオの撮影パラメータ及び取得されたビデオのコンテンツを解析することによって決定される。
一実装では、端末が歪み補正条件を満たすことが検出されてよく、第１のクロップ済み領域に対して透視歪み補正を実行するために、歪み補正機能が有効化される。
端末が歪み補正条件を満たすことを検出し、歪み補正機能を有効化するアクションが実行される時点は、取得された第１の画像に対して手ブレ補正を実行する段階の前であってもよいし、又は取得された第１の画像に対して手ブレ補正が実行された後でありかつ第１のクロップ済み領域に対して透視歪み補正が実行される前であってもよいことが理解されるべきである。これは、本願において限定されるものではない。
特定の実装プロセスでは、端末が歪み補正条件を満たすことを検出することは、以下のケースのうちの１つ又は複数を含むが、これらに限定されるものではない：
ケース１：端末のズーム比が第１の事前設定閾値よりも低いことが検出される。
一実装では、透視歪み補正が有効化されるか否かは、端末のズーム比に基づいて決定されてよい。端末のズーム比が大きい（例えば、長焦点撮影モードの完全な又は部分的なズーム比範囲内であるか、又は中焦点撮影モードの完全な又は部分的なズーム比範囲内である）場合、端末によって取得された画像の写真における透視歪みの程度は低い。透視歪みの程度が低いことは、人間の目では端末によって取得された画像の写真におけるいずれの透視歪みもほぼ識別することができないこととして理解され得る。したがって、端末のズーム比が大きい場合、透視歪み補正は、有効化される必要はない。
具体的には、デフォルトで第１のクロップ済み領域に対して透視歪み補正が実行される前に、端末のズーム比が第１の事前設定閾値よりも低いことが検出される必要がある。第１の事前設定閾値は、透視歪み補正を有効化するための最大ズーム比値である。換言すれば、端末のズーム比が第１の事前設定閾値よりも低い場合、透視歪み補正を有効化することができる。
端末のズーム比がａ～１の範囲に及ぶ場合、端末は、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、広角カメラによって撮影された画像に対応するズーム比は、ａ～１の範囲に及んでよい。最小値ａは、広角カメラの固定ズーム比であってよく、ａの値は、０．５～０．９の範囲に及んでよい。例えば、ａは、限定されるものではないが、０．５、０．６、０．７、０．８、又は０．９であってよい。広角カメラは、前面広角カメラ及び背面広角カメラを含んでよいことが理解されるべきである。前面広角カメラ及び背面広角カメラに対応するズーム比の範囲は、同じであってもよいし、又は異なってもよい。例えば、前面広角カメラに対応するズーム比は、ａ１～１の範囲に及んでよく、ここで、最小値ａ１は、前面広角カメラの固定ズーム比であってよく、ａ１の値は、０．５～０．９の範囲に及んでよい。例えば、ａ１は、限定されるものではないが、０．５、０．６、０．７、０．８、又は０．９であってよい。例えば、背面広角カメラに対応するズーム比は、ａ２～１の範囲に及んでよく、ここで、最小値ａ２は、背面広角カメラの固定ズーム比であってよく、ａ２の値は、０．５～０．９の範囲に及んでよい。例えば、ａ２は、限定されるものではないが、０．５、０．６、０．７、０．８、又は０．９であってよい。端末がリアルタイムにおいてビデオストリームを取得するために前面広角カメラ又は背面広角カメラを使用する場合、第１の事前設定閾値は、１よりも高い。例えば、第１の事前設定閾値は、２、３、４、５、６、７、又は８であってよい。これは、本明細書において限定されるものではない。
端末のズーム比が１～ｂの範囲に及ぶ場合、端末は、背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得する。端末上に背面長焦点カメラが更に統合される場合、ｂは、背面長焦点カメラの固定ズーム比であってよく、ｂの値は、３～１５の範囲に及んでよい。例えば、ｂは、限定されるものではないが、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５であってよい。端末上に背面長焦点カメラが統合されない場合、ｂの値は、端末の最大ズームであってよく、ｂの値は、３～１５の範囲に及んでよい。例えば、ｂは、限定されるものではないが、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５であってよい。端末が背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得する場合、第１の事前設定閾値は、１～１５である。例えば、第１の事前設定閾値は、１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５であってよい。これは、本明細書において限定されるものではない。
第１の事前設定閾値の範囲（１～１５）は、２つの端点（１及び１５）のズーム比を含んでもよいし、２つの端点（１及び１５）のズーム比を含まなくてもよいし、又は２つの端点のズーム比のうちの一方を含んでもよいことが理解されるべきである。
例えば、第１の事前設定閾値の範囲は、区間［１，１５］であってよい。
例えば、第１の事前設定閾値の範囲は、区間（１，１５］であってよい。
例えば、第１の事前設定閾値の範囲は、区間［１，１５）であってよい。
例えば、第１の事前設定閾値の範囲は、区間（１，１５）であってよい。
ケース２：透視歪み補正機能を有効化するためのユーザの第１の有効化動作が検出される。
一実装では、透視歪み補正を有効化又は無効化することを指示するのに使用されるコントロール（本願のこの実施形態では第１のコントロールと称される）は、撮影インターフェース内に含まれてよい。ユーザは、第１のコントロール上の第１の動作を通じて透視歪み補正を有効化する、すなわち、第１のコントロール上の第１の動作を通じて透視歪み補正を有効化することをトリガしてよい。このようにして、端末は、透視歪み補正を有効化するためのユーザの第１の有効化動作を検出してよく、第１の有効化動作は、端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含む。
一実装では、透視歪み補正を有効化又は無効化することを指示するのに使用されるコントロール（本願のこの実施形態では第１のコントロールと称される）は、端末のズーム比が第１の事前設定閾値よりも低いことが検出される場合にのみ撮影インターフェースにおいて表示される。
ケース３：透視歪み補正を有効化することを決定するために、撮影シナリオにおいて人間の顔が識別され；撮影シナリオにおいて人間の顔が識別され、ここで、人間の顔及び端末の間の距離が事前設定値よりも低い；又は撮影シナリオにおいて人間の顔が識別され、ここで、撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合は、事前設定割合よりも高い。
撮影シナリオにおいて人間の顔が存在する場合、透視歪み補正に起因した人間の顔の変換の程度がより視覚的に明らかであり、かつ人間の顔及び端末の間の距離がより小さいか又は撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合がより高い場合、画像における人間の顔のサイズはより大きいので、透視歪み補正に起因した人間の顔の変換の程度は一層より視覚的に明らかであることが理解されるべきである。したがって、透視歪み補正は、前述のシナリオにおいて有効化される必要がある。この実施形態では、透視歪み補正を有効化するか否かは、撮影シナリオにおいて人間の顔に関連した前述の条件を決定することによって決定され、その結果、透視歪みが生じる撮影シナリオを正確に決定することができ、透視歪み補正が、透視歪みが生じる撮影シナリオのために実行される。透視歪みが生じていない撮影シナリオにおいて、透視歪み補正は実行されない。このようにして、画像信号が正確に処理され、電力消費が削減される。
前述の方式では、手ブレ補正機能が有効化され、かつ透視歪み補正機能が有効化される場合、以下の段階３０１～段階３０６が実行されてよい。具体的には、図３を参照されたい。図３は、本願の一実施形態に係る画像処理方法の一実施形態の概略図である。図３において示されているように、本願において提供される画像処理方法は、以下の段階を含む。
３０１：取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得する。
本願のこの実施形態では、手ブレ補正は、取得された第１の画像に対して実行されて、第１のクロップ済み領域が取得されてよい。第１の画像は、リアルタイムにおいて端末上のカメラによって取得されたビデオの１つの原画像フレームである。カメラを使用することによって原画像を取得するプロセスについて、前述の実施形態における説明を参照されたい。詳細は、本明細書において再度説明されない。
一実装では、第１の画像は、リアルタイムにおいて端末上のカメラによって取得されたビデオの第１の原画像フレームであり、第１のクロップ済み領域は、第１の画像の中央領域にある。詳細について、前述の実施形態における第０のフレームに対してどのように手ブレ補正を実行するのかに関する説明を参照されたい。詳細は、本明細書において再度説明されない。
一実装では、第１の画像は、リアルタイムにおいて端末上のカメラによって取得されたビデオの第１の原画像フレームの後の原画像であり、第１のクロップ済み領域は、端末が第１の画像、及び当該第１の画像に隣接し、かつ当該第１の画像の前の原画像を取得したプロセスにおいて生じるシェイクに基づいて決定される。詳細について、前述の実施形態における第ｎの（ｎは、０に等しくない）フレームに対してどのように手ブレ補正を実行するのかに関する説明を参照されたい。詳細は、本明細書において再度説明されない。
一実装では、光学歪み補正が、第１のクロップ済み領域に対して更に実行されて、補正された第１のクロップ済み領域が取得されてよい。
３０２：第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得する。
本願のこの実施形態では、第１のクロップ済み領域が取得された後、透視歪み補正が第１のクロップ済み領域に対して実行されて、第３のクロップ済み領域が取得されてよい。
撮影シナリオは、カメラが第１の画像を取得する前に取得された画像として理解され得、又は第１の画像がカメラによって取得されたビデオの第１の画像フレームである場合、撮影シナリオは、第１の画像、又は時間ドメインにおいて当該第１の画像に近い画像であってよいことが理解されるべきである。撮影シナリオにおいて人間の顔が存在するか否か、人間の顔及び端末の間の距離が事前設定値よりも小さいか否か、及び撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合は、ニューラルネットワークを使用することによって、又は別の方式で決定されてよい。事前設定値は、０ｍ～１０ｍの範囲に及んでよい。例えば、事前設定値は、１、２、３、４、５、６、７、８、９、又は１０であってよい。これは、本明細書において限定されるものではない。ピクセルの割合は、３０％～１００％の範囲に及んでよい。例えば、ピクセルの割合は、３０％、４０％、５０％、６０％、７０％、８０％、９０％又は１００％であってよい。これは、本明細書において限定されるものではない。
透視歪み補正をどのように有効化するのかは、上記で説明されている。透視歪み補正をどのように実行するのかは、以下で説明される。
既存の実装に従って原画像の全ての領域に対して透視歪み補正を実行することとは異なり、本願のこの実施形態では、透視歪み補正が、第１のクロップ済み領域に対して実行される。端末デバイスがシェイクする場合、カメラによって取得された２つの隣接する原画像フレーム間でコンテンツ位置合わせ不良が通常生じるので、当該２つの画像フレームに対して手ブレ補正が実行された後に出力されることになるクロップ済み領域の位置は、原画像において異なり、すなわち、当該２つの画像フレームに対して手ブレ補正が実行された後に出力されることになるクロップ済み領域及び原画像の中心点の間の距離は異なる。しかしながら、２つのフレームに対して手ブレ補正が実行された後に出力されることになるクロップ済み領域のサイズは同じである。したがって、手ブレ補正を通じて取得されたクロップ済み領域に対して透視歪み補正が実行される場合、隣接するフレームに対して実行される透視歪み補正の程度は同じである（なぜならば、２つのフレームに対する手ブレ補正を通じて出力されたクロップ済み領域の各々における各サブ領域及び手ブレ補正を通じて出力されたクロップ済み領域の中心点の間の距離が同じであるためである）。加えて、２つの隣接するフレームに対する手ブレ補正を通じて出力されたクロップ済み領域は同じ又は基本的に同じコンテンツを含む画像であり、かつ画像同士における同じオブジェクトの変換の程度は同じであり、すなわち、フレーム間一貫性が保たれるので、明らかなジェロ（Ｊｅｌｌｏ）現象は生じず、それによって、ビデオ出力の品質が改善される。本明細書におけるフレーム間一貫性は、時間ドメイン一貫性とも称され得、隣接するフレームにおいて同じコンテンツを有する領域についての処理結果が同じであることを示すことが理解されるべきである。
したがって、本願のこの実施形態では、透視歪み補正は、第１の画像に対して実行されるのではなく、透視歪み補正は、手ブレ補正を通じて取得された第１のクロップ済み領域に対して実行されて、第３のクロップ済み領域が取得される。第１の画像に隣接したフレーム（第２の画像）のために同じ処理が更に実行され、すなわち、透視歪み補正が、手ブレ補正を通じて取得された第２のクロップ済み領域に対して実行されて、第４のクロップ済み領域が取得される。このようにして、第３のクロップ済み領域及び第４のクロップ済み領域における同じオブジェクトの変換補正の程度は同じであり、その結果、フレーム間一貫性が保たれ、明らかなジェロ（Ｊｅｌｌｏ）現象は生じず、それによって、ビデオ出力の品質が改善される。
本願のこの実施形態では、同じターゲットオブジェクト（例えば、人間のオブジェクト）は、前者のフレーム及び後者のフレームのクロップ済み領域内に含まれてよい。透視歪み補正のためのオブジェクトは手ブレ補正を通じて取得されたクロップ済み領域であるので、ターゲットオブジェクトについて、透視歪み補正に起因した前者のフレーム及び後者のフレームにおけるターゲットオブジェクトの変換の程度間の差は非常に小さい。差が非常に小さいことは、人間の肉眼から形状差を識別することが困難であること、又は人間の肉眼から前者のフレーム及び後者のフレームの間でジェロ現象を発見することが困難であることとして理解され得る。
具体的には、図２２ａを参照されたい。原画像の全ての領域に対して透視歪み補正が実行された後に取得された出力では明らかなジェロ現象が存在し、手ブレ補正を通じて取得されたクロップ済み領域に対して透視歪み補正が実行された後に取得された出力では明らかなジェロ現象は存在しない。
一実装では、光学歪み補正が第３のクロップ済み領域に対して更に実行されて、補正された第３のクロップ済み領域が取得されてよい。
３０３：第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得する。
本願のこの実施形態では、第３のクロップ済み領域は、透視歪み補正の出力を示してよい。具体的には、第３のクロップ済み領域は、出力される必要がある画像領域を取得するために、どのように第１の画像をクロップするのか及びピクセル又は位置点のシフトを示してよい。
一実装では、第３のクロップ済み領域は、マッピングされる必要があるか、又は手ブレ補正及び透視歪み補正が実行された後に選択される第１の画像におけるピクセル又は位置点、及び、マッピングされる必要がある又は選択される、第１の画像における、ピクセル又は位置点の必要とされるシフトを示してよい。
具体的には、第３のクロップ済み領域は、透視歪み補正の出力における各ピクセル又は位置点及び第１の画像におけるピクセル又は位置点の間のマッピング関係を含んでよい。このようにして、第３の画像は、第１の画像及び第３のクロップ済み領域に基づいて取得されてよく、第３の画像は、撮影インターフェースにおけるビューファインダフレームにおいて表示されてよい。第３の画像は、ワープ操作を通じて第１の画像及び第３のクロップ済み領域に基づいて取得されてよく、ここで、ワープ操作は、画像に対するアフィン変換を指すことが理解されるべきである。
３０４：取得された第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得し、ここで、第２のクロップ済み領域は、第１のクロップ済み領域及びシェイク情報に関連し、シェイク情報は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクを示す。
シェイク情報によって示される端末のシェイクは、時点Ｔ１～時点Ｔ２の期間内に生じる端末のシェイクであってよい。Ｔ１は、端末が第１の画像を取得する時点、又は端末が第１の画像を取得する時点から特定のずれを有する時点であってよい。Ｔ２は、端末が第２の画像を取得する時点、又は端末が第２の画像を取得する時点から特定のずれを有する時点である。
具体的には、シェイク情報によって示される端末のシェイクは、端末が第１の画像を取得する時点の前の時点から端末が第２の画像を取得する時点までの期間内に生じる端末のシェイクであってもよいし、端末が第１の画像を取得する時点の後（また、端末が第２の画像を取得する時点の前）の時点から端末が第２の画像を取得する時点までの期間内に生じる端末のシェイクであってもよいし、端末が第１の画像を取得する時点の後（また、端末が第２の画像を取得する時点の前）の時点から端末が第２の画像を取得する時点の後の時点までの期間内に生じる端末のシェイクであってもよいし、端末が第１の画像を取得する時点の後の時点から端末が第２の画像を取得する時点の前の時点までの期間内に生じる端末のシェイクであってもよいし、端末が第１の画像を取得する時点から端末が第２の画像を取得する時点の前の時点までの期間内に生じる端末のシェイクであってもよいし、又は端末が第１の画像を取得する時点から端末が第２の画像を取得する時点の後の時点までの期間内に生じる端末のシェイクであってもよい。可能な実装では、端末が第１の画像を取得する時点の前の時点は、第１の画像を取得する前に端末が画像を取得する時点であってよく、端末が第２の画像を取得する時点の後の時点は、第２の画像を取得した後に端末が画像を取得する時点であってよい。
一実装では、第１の画像における第１のクロップ済み領域の位置に対する第２の画像における第２のクロップ済み領域の位置のオフセットの方向は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクの、像面上のシェイク方向に対して逆である。
段階３０４に関する更なる説明について、前述の実施形態における取得された第１の画像に対してどのように手ブレ補正を実行するのかに関する説明を参照されたい。詳細は、本明細書において再度説明されない。
段階３０４、段階３０２、及び段階３０３の間に厳密なタイムシーケンス制限は存在しないことが理解されるべきである。段階３０４は、段階３０２の前であって段階３０１の後に実行されてもよいし、段階３０４は、段階３０３の前であって段階３０２の後に実行されてもよいし、又は段階３０４は、段階３０３の後に実行されてもよい。これは、本願において限定されるものではない。
３０５：第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得する。
本願のこの実施形態では、歪み補正が、第２のクロップ済み領域に対して実行されて、第２のマッピング関係が取得されてよい。第２のマッピング関係は、第４のクロップ済み領域における各位置点及び第２のクロップ済み領域における対応する位置点の間のマッピング関係を含み；第４のクロップ済み領域は、第２のクロップ済み領域及び第２のマッピング関係に基づいて決定される。
本願のこの実施形態では、第１のマッピング関係が、シェイク情報及び第２の画像に基づいて決定されてよい。第１のマッピング関係は、第２のクロップ済み領域における各位置点及び第２の画像における対応する位置点の間のマッピング関係を含む。次に、第２のクロップ済み領域は、第１のマッピング関係及び第２の画像に基づいて決定されてよい。歪み補正が、第２のクロップ済み領域に対して実行されて、第２のマッピング関係が取得される。第２のマッピング関係は、第４のクロップ済み領域における各位置点及び第２のクロップ済み領域における対応する位置点の間のマッピング関係を含み；第４のクロップ済み領域は、第２のクロップ済み領域及び第２のマッピング関係に基づいて決定される。
一実装では、第１のマッピング関係は、第２のマッピング関係に更に結合されて、ターゲットマッピング関係が決定されてよい。ターゲットマッピング関係は、第４のクロップ済み領域における各位置点及び第２の画像における対応する位置点の間のマッピング関係を含み；第４の画像は、ターゲットマッピング関係及び第２の画像に基づいて決定される。すなわち、第１のマッピング関係及び第２のマッピング関係のためのインデックステーブルが結合される。インデックステーブルを結合することによって、クロップ済み領域が手ブレ補正を通じて取得された後にワープ操作を実行し、かつ透視歪み補正の後に再度ワープ操作を実行する必要はなく、透視歪み補正の後に結合されたインデックステーブルに基づいて出力が取得された後に１度のワープ操作が実行される必要があるのみであり、それによって、ワープ操作のオーバヘッドが削減される。
第１のマッピング関係は、手ブレ補正インデックステーブルと称され得、第２のマッピング関係は、透視歪み補正インデックステーブルと称され得る。詳細な説明が以下で詳細に提供される。透視歪み補正のためにどのように補正インデックステーブル（又は第２のマッピング関係と称される）を決定するのかが、まず以下で説明される。手ブレ補正を通じて出力された第２のクロップ済み領域及び第４のクロップ済み領域の間のマッピング関係は、以下のとおりであってよい：
式中、（ｘ０，ｙ０）は、手ブレ補正を通じて出力された第２のクロップ済み領域におけるピクセル又は位置点の正規化座標であり、（ｘ０，ｙ０）及びピクセル座標（ｘｉ，ｙｉ）、画像幅Ｗ、及び画像高さＨの間の関係は、以下のとおりであってよい：
ｘ０＝（ｘｉ－０．５×Ｗ）／Ｗ；及び
ｙ０＝（ｙｉ－０．５×Ｈ）／Ｈ
式中、（ｘ，ｙ）は、第４のクロップ済み領域における対応する位置点又はピクセルの正規化座標であり、（ｘ，ｙ）は、以下の式に従ってターゲットピクセル座標（ｘｏ，ｙｏ）に変換される必要がある：
ｘｏ＝ｘ×Ｗ＋０．５×Ｗ；及び
ｙｏ＝ｙ×Ｈ＋０．５×Ｈ
式中、Ｋ０１、Ｋ０２、Ｋ１１、及びＫ１２は、歪んだ画像の視野によって決定される特定の値を有する関係パラメータである。ｒｘは、ｘの方向における（ｘ０，ｙ０）の歪み距離であり、ｒｙは、ｙの方向における（ｘ０，ｙ０）の歪み距離である。２つの距離は、以下の関係式を使用することによって決定されてよい：
式中、αｘ＝１、及びαｙ、βｘ、及びβｙは、各々が０．０～１．０の範囲に及ぶ値を有する関係係数である。αｘ、αｙ、βｘ、及びβｙの値が１．０、１．０、１．０、及び１．０である場合、ｒｘ＝ｒｙであり、ピクセル（ｘ０，ｙ０）から画像の中心までの距離である。これらの値が１．０、０．０、０．０、及び１．０である場合、ｒｘは、ｘの方向におけるピクセル（ｘ０，ｙ０）から画像の中心軸までの距離であり、ｒｙは、ｙの方向におけるピクセル（ｘ０，ｙ０）から画像の中心軸までの距離である。係数は、透視歪み補正の効果及び背景直線の屈曲度の間のバランスを有する補正効果を達成するために、透視歪み補正の効果及び背景直線の屈曲度に基づいて調整されてよい。
インデックステーブル（第１のマッピング関係及び第２のマッピング関係）に基づいて第１の画像に対してどのように手ブレ補正及び透視歪み補正を実行するのかが以下で説明される。
一実装では、光学歪み補正インデックステーブルＴ１は、カメラの撮像モジュールの関連パラメータに基づいて決定されてよく、光学歪み補正インデックステーブルＴ１は、第１の画像における、光学歪み補正を通じて取得された画像における位置からマッピングされた点を含む。光学歪み補正インデックステーブルＴ１の粒度は、ピクセル又は位置点であってよい。次に、手ブレ補正インデックステーブルＴ２が生成されてよく、手ブレ補正インデックステーブルＴ２は、第１の画像における、シェイク補償を通じて取得された画像における位置からマッピングされた点を含む。次に、光学歪み及び手ブレ補正インデックステーブルＴ３が生成されてよく、光学及び手ブレ補正インデックステーブルＴ３は、第１の画像における、光学歪み補正及びシェイク補償を通じて取得された画像における位置からマッピングされた点を含んでよい（上記で言及された光学歪み補正は任意選択であり、すなわち、光学歪み補正は実行されなくてよく、手ブレ補正は、手ブレ補正インデックステーブルＴ２を取得するために、第１の画像に対して直接実行されてよいことが理解されるべきである）。次に、透視歪み補正インデックステーブルＴ４が（光学歪み補正及びシェイク補償を通じて取得された画像の位置を含む）手ブレ補正を通じて出力された画像に関する情報に基づいて決定され、透視歪み補正インデックステーブルＴ４は、第４のクロップ済み領域から手ブレ補正を通じて出力された第２のクロップ済み領域にマッピングされた点を含んでよい。Ｔ３及びＴ４に基づいて、結合インデックステーブルＴ５が、座標系切り替えテーブルルックアップ方式で生成されてよい。図２２ｂを参照されたい。具体的には、第４のクロップ済み領域から開始して、テーブルは、第４のクロップ済み領域及び第１の画像の間のマッピング関係を確立するために２度逆にルックアップされてよい。第４のクロップ済み領域における位置点ａが一例として使用される。現在ルックアップされている第４のクロップ済み領域における位置点ａについて、手ブレ補正出力座標系における点ａのマッピングされた位置ｂは、透視歪み補正インデックステーブルＴ４に従ってインデックスに基づいて決定されてよい。さらに、光学歪み及び手ブレ補正出力インデックステーブルＴ３では、点ｂの隣接するメッシュ点ｃ０、ｃ１、...、及びｃｎの光学歪み補正及び手ブレ補正シフトｄｅｌｔａ１、ｄｅｌｔａ２、...、及びｄｅｌｔａｎは、当該隣接するメッシュ点及び第１の画像における座標ｄ０、ｄ１、...、及びｄｎの間のマッピング関係に基づいて取得されてよい。最後に、点ｂの光学及び手ブレ補正シフトが補間アルゴリズムに従ってｄｅｌｔａ１、ｄｅｌｔａ２、...、及びｄｅｌｔａｎに基づいて計算された後、第１の画像における点ｂのマッピングされた位置ｄが取得され、その結果、第４のクロップ済み領域における位置点ａ及び第１の画像におけるマッピングされた位置ｄの間のマッピング関係が確立される。第４のクロップ済み領域における各位置点について、結合インデックステーブルＴ５は、前述の手順を実行することによって取得されてよい。
次に、画像ワープ補間アルゴリズムが、結合インデックステーブルＴ５及び第２の画像に基づいて実行されて、第４の画像が出力されてよい。
例えば、第２の画像が処理される。具体的なフローチャートについて、図２２ｃ、図２２ｅ、及び図２２ｆを参照されたい。図２２ｃは、どのようにインデックステーブルを作成するのか、及び第２の画像、及び手ブレ補正、透視歪み、及び光学歪みを結合するインデックステーブルＴ５に基づいたワープのプロセスを説明している。図２２ｅ、図２２ｆ、及び図２２ｃは、手ブレ補正インデックステーブル及び光学歪み補正インデックステーブルが図２２ｃにおいて結合されており、透視歪み補正インデックステーブル及び光学歪み補正インデックステーブルが図２２ｅにおいて結合されており、全ての歪み補正プロセス（光学歪み補正及び透視歪み補正を含む）が図２２ｆにおいてビデオ手ブレ補正バックエンドにおいて歪み補正モジュールを使用することによって結合されているという点で異なる。図２２ｄは、座標系切り替えテーブルルックアッププロセスを示している。一実装では、透視歪み補正インデックステーブル及び手ブレ補正インデックステーブルがまず結合されてよく、次に、光学歪み補正インデックステーブルが結合されることが理解されるべきである。具体的な手順は以下のとおりである：手ブレ補正インデックステーブルＴ２及び透視歪み補正インデックステーブルＴ３に基づいて、手ブレ補正及び透視歪みを結合するインデックステーブルＴ４が、座標系切り替えテーブルルックアップ方式で生成される。次に、透視歪み補正の出力座標から開始して、テーブルは、透視歪み補正の出力座標及び手ブレ補正の入力座標の間のマッピング関係を確立するために２度逆にルックアップされる。具体的には、図２３Ａ及び図２３Ｂを参照すると、透視歪み補正インデックステーブルＴ３において現在ルックアップされている点ａについて、手ブレ補正出力（透視補正入力）座標系における点ａのマッピングされた位置ｂがインデックスに基づいて決定されてよい。手ブレ補正インデックステーブルＴ２では、点ｂの隣接するメッシュ点ｃ０、ｃ１、...、及びｃｎの手ブレ補正シフトｄｅｌｔａ１'、ｄｅｌｔａ２'、...、及びｄｅｌｔａｎ'は、当該隣接するメッシュ点及び手ブレ補正入力座標ｄ０、ｄ１、...、及びｄｎの間のマッピング関係に基づいて取得されてよい。点ｂの手ブレ補正シフトが補間アルゴリズムに従って計算された後、手ブレ補正入力座標系における点ｂのマッピングされた位置ｄが取得され、その結果、透視歪み補正出力点ａ及び手ブレ補正入力座標点ｄの間のマッピング関係が確立される。透視歪み補正インデックステーブルＴ３における各点について、前述の手順は、透視歪み補正及び手ブレ補正を結合するインデックステーブルＴ４を取得するために実行される。
次に、Ｔ１及びＴ４に基づいて、手ブレ補正、透視歪み、及び光学歪みを結合するインデックステーブルＴ５が、更に座標系切り替えテーブルルックアップ方式で生成されてよい。第４のクロップ済み領域から開始して、テーブルは、第４のクロップ済み領域及び第２の画像の間の座標マッピング関係を確立するために２度逆にルックアップされる。具体的には、第４のクロップ済み領域における現在ルックアップされている位置点ａについて、手ブレ補正入力（光学歪み補正出力）座標系における位置点ａのマッピングされた位置ｄが、透視歪み補正及び手ブレ補正を結合するインデックステーブルＴ４に従ってインデックスに基づいて決定されてよい。さらに、光学歪み補正インデックステーブルＴ１では、点ｄの隣接するメッシュ点ｄ０、ｄ１、...、及びｄｎの光学歪み補正シフトｄｅｌｔａ１''、ｄｅｌｔａ２''、...、及びｄｅｌｔａｎ''は、当該隣接するメッシュ点及び原画像座標ｅ０、ｅ１、...、及びｅｎの間のマッピング関係に基づいて取得されてよい。点ｄの光学歪み補正シフトが補間アルゴリズムに従って計算された後、第２の画像の座標系における点ｄのマッピングされた位置ｅが取得され、その結果、位置点ａ及び第２の画像におけるマッピングされた位置ｅの間のマッピング関係が確立される。第４のクロップ済み領域における各位置点について、手ブレ補正、透視歪み、及び光学歪みを結合するインデックステーブルＴ５は、前述の手順を実行することによって取得されてよい。
歪み補正モジュールを使用することによって光学歪み補正インデックステーブル及び透視歪み補正インデックステーブルを結合することと比較して、光学歪みはジェロ現象の重要な原因であり、かつ光学歪み補正及び透視歪み補正の有効性はビデオ手ブレ補正バックエンドにおいて制御されるので、この実施形態は、ビデオ手ブレ補正モジュールが光学歪み補正を無効化すると、透視歪み補正モジュールがジェロ現象を制御することができないという問題を解決することができる。
一実装では、前者のフレーム及び後者のフレームの間のフレーム間一貫性を厳密に保つために、前者のフレーム及び後者のフレームに対する透視歪み補正のために使用される補正インデックステーブル（又は第２のマッピング関係と称される）は同じであってよく、その結果、前者のフレーム及び後者のフレームの間のフレーム間一貫性を厳密に保つことができる。
段階３０５に関する更なる説明について、前述の実施形態における第１のクロップ済み領域に対してどのように透視歪み補正を実行するのかに関する説明を参照されたい。類似点は、本明細書において再度説明されない。
３０６：第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得する。
一実装では、第１のマッピング関係及び第２のマッピング関係が取得されてよく、ここで、第１のマッピング関係は、第２のクロップ済み領域における各位置点及び第２の画像における対応する位置点の間のマッピング関係を示し、第２のマッピング関係は、第４のクロップ済み領域における各位置点及び第２のクロップ済み領域における対応する位置点の間のマッピング関係を示し；第４の画像が、第２の画像、第１のマッピング関係、及び第２のマッピング関係に基づいて取得される。
段階３０６に関する更なる説明について、前述の実施形態における、第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得することに関する説明を参照されたい。詳細は、本明細書において再度説明されない。
３０７：第３の画像及び第４の画像に基づいてターゲットビデオを生成する。
一実装では、ターゲットビデオは、第３の画像及び第４の画像に基づいて生成されてよく、ターゲットビデオは、表示される。具体的には、リアルタイムにおいて端末デバイスによって取得されたビデオストリームの任意の２つの画像フレームについて、手ブレ補正及び透視歪み補正が実行された出力画像は、前述の段階３０１～段階３０６に従って取得されてよく、次に、手ブレ補正及び透視歪み補正が実行されたビデオ（すなわち、ターゲットビデオ）が取得されてよい。例えば、第１の画像は、ビデオストリームの第ｎのフレームであってよく、第２の画像は、第（ｎ＋１）のフレームであってよい。このケースでは、第（ｎ－２）のフレーム及び第（ｎ－１）のフレームが、段階３０１～段階３０６における処理のためのそれぞれ第１の画像及び第２の画像として更に使用されてよく、第（ｎ－１）のフレーム及び第ｎのフレームが、段階３０１～段階３０６における処理のためのそれぞれ第１の画像及び第２の画像として更に使用されてよく、第（ｎ＋１）のフレーム及び第（ｎ＋２）のフレームが、段階３０１～段階３０６における処理のためのそれぞれ第１の画像及び第２の画像として更に使用されてよい。残りは上記の説明から推測され得、更なる詳細及び例は本明細書において説明されない。
一実装では、ターゲットビデオが取得された後、ターゲットビデオは、カメラ上の撮影インターフェースにおけるビューファインダフレームにおいて表示されてよい。
撮影インターフェースは、撮影モードにおけるプレビューインターフェースであってよく、ターゲットビデオは、撮影モードにおけるプレビュー写真であることが理解されるべきである。ユーザは、撮影された画像を取得するために、撮影インターフェースにおける撮影コントロールをクリックすることによって、又はトリガの別の方式で、カメラのシャッタをトリガしてよい。
撮影インターフェースは、ビデオ記録がビデオ記録モードにおいて開始される前のプレビューインターフェースであってよく、ターゲットビデオは、ビデオ記録がビデオ記録モードにおいて開始される前のプレビュー写真であることが理解されるべきである。ユーザは、撮影インターフェースにおける撮影コントロールをクリックすることによって、又はトリガの別の方式で、記録を開始するためにカメラをトリガしてよい。
撮影インターフェースは、ビデオ記録がビデオ記録モードにおいて開始された後のプレビューインターフェースであってよく、ターゲットビデオは、ビデオ記録がビデオ記録モードにおいて開始された後のプレビュー写真であることが理解されるべきである。ユーザは、撮影インターフェースにおける撮影コントロールをクリックすることによって、又はトリガの別の方式で、記録を停止するためにカメラをトリガし、記録中に撮影されたビデオを保存してよい。
本願は、画像処理方法であって、リアルタイムにおいてビデオストリームを取得するために端末によって使用され、以下：取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得する段階；第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得する段階；第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得する段階；取得された第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得する段階、ここで、第２のクロップ済み領域は、第１のクロップ済み領域及びシェイク情報に関連し、シェイク情報は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクを示す；第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得する段階；及び第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得する段階を備え、ここで、第３の画像及び第４の画像は、ターゲットビデオを生成するために使用され、第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである、画像表示方法を提供する。加えて、２つの隣接するフレームに対する手ブレ補正の出力は同じ又は基本的に同じコンテンツを含む画像であり、かつ画像同士における同じオブジェクトの変換の程度は同じであり、すなわち、フレーム間一貫性が保たれるので、明らかなジェロ（Ｊｅｌｌｏ）現象は生じず、それによって、ビデオ表示の品質が改善される。
本願の一実施形態において提供される画像処理方法が、端末側とのインタラクションを参照して以下で説明される。
図５ａを参照されたい。図５ａは、本願の一実施形態に係る画像処理方法の概略フローチャートである。図５ａにおいて示されているように、本願のこの実施形態において提供される画像処理方法は、以下の段階を含む。
５０１：カメラを開始し、撮影インターフェースを表示する。
本願のこの実施形態は、端末を使用する撮影シナリオに適用されてよい。撮影は、画像撮影及びビデオ記録を含んでよい。具体的には、ユーザは、端末上の撮影に関連したアプリケーション（本願ではカメラアプリケーションとも称され得る）を開始してよく、端末は、撮影のために撮影インターフェースを表示してよい。
本願のこの実施形態では、撮影インターフェースは、撮影モードにおけるプレビューインターフェース、ビデオ記録がビデオ記録モードにおいて開始される前のプレビューインターフェース、又はビデオ記録がビデオ記録モードにおいて開始された後のプレビューインターフェースであってよい。
端末がカメラアプリケーションを開始し、撮影インターフェースを開くプロセスが、端末及びユーザの間のインタラクションを参照してまず説明される。
例えば、ユーザは、携帯電話のスクリーン上の特定のコントロールをタッチすること、特定の物理ボタン又はボタンのセットを押下すること、音声を入力すること、タッチせずにジェスチャを行うことによって、又は別の方式で、カメラアプリケーションを開始することを端末に指示してよい。端末は、ユーザによるカメラを開始することの指示を受信することに応答してカメラを開始してよく、撮影インターフェースを表示する。
例えば、図５ｂにおいて示されているように、ユーザは、カメラアプリケーションを開始することを携帯電話に指示するために、携帯電話のホームスクリーン上のアプリケーションアイコン４０１「カメラ」をクリックしてよく、携帯電話は、図６において示されているように撮影インターフェースを表示する。
別の例について、携帯電話がロックスクリーン状態にあるとき、ユーザは、携帯電話のスクリーン上で右にスワイプするジェスチャを使用することによって、カメラアプリケーションを開始することを携帯電話に指示してよく、携帯電話は、図６において示されているように撮影インターフェースを更に表示してよい。
代替的には、携帯電話がロックスクリーン状態にあるとき、ユーザは、カメラアプリケーションを開始することを携帯電話に指示するために、ロックスクリーンインターフェースにおけるアプリケーション「カメラ」のショートカットアイコンをクリックしてよく、携帯電話は、図６において示されているように撮影インターフェースを更に表示してよい。
別の例について、別のアプリケーションが携帯電話上で実行されているとき、ユーザは、携帯電話が撮影のためにカメラアプリケーションを開始することを可能にするために対応するコントロールをクリックしてよい。例えば、ユーザがインスタントメッセージングアプリケーション（例えば、アプリケーションＷｅＣｈａｔ（登録商標））を使用しているとき、ユーザは、代替的には、カメラ機能のコントロールを選択することによって、撮影及びビデオ記録のためにカメラアプリケーションを開始することを携帯電話に指示してよい。
図６において示されているように、ビューファインダフレーム４０２、撮影コントロール、及び別の機能コントロール（「広開口」、「ポートレート」、「写真」、「ビデオ」等）が、一般的には、カメラ上の撮影インターフェース内に含まれる。ビューファインダフレームは、カメラによって取得されたビデオに基づいて生成されたプレビュー写真を表示するのに使用されてよい。ユーザは、ビューファインダフレームにおけるプレビュー写真に基づいて、撮影動作を実行することを端末に指示する時間を決定してよい。ユーザが実行することを端末に指示すると実行される撮影動作は、例えば、ユーザによる撮影コントロールをクリックする動作、又はユーザによる音量ボタンを押下する動作であってよい。
一実装では、ユーザは、コントロール「写真」をクリックする動作を通じて、画像撮影モードに入るためにカメラをトリガしてよい。カメラが画像撮影モードにあるとき、撮影インターフェースにおけるビューファインダフレームは、カメラによって取得されたビデオに基づいて生成されたプレビュー写真を表示するのに使用されてよい。ユーザは、ビューファインダフレームにおけるプレビュー写真に基づいて、撮影動作を実行することを端末に指示する時間を決定してよく、ユーザは、画像を取得するために撮影ボタンをクリックしてよい。
一実装では、ユーザは、コントロール「ビデオ」をクリックする動作を通じて、ビデオ記録モードに入るためにカメラをトリガしてよい。カメラがビデオ記録モードにあるとき、撮影インターフェースにおけるビューファインダフレームは、カメラによって取得されたビデオに基づいて生成されたプレビュー写真を表示するのに使用されてよい。ユーザは、ビューファインダフレームにおけるプレビュー写真に基づいて、ビデオ記録を実行することを端末に指示する時間を決定してよく、ユーザは、ビデオ記録を開始するために撮影ボタンをクリックしてよい。このケースでは、ビデオ記録中のプレビュー写真は、ビューファインダフレームにおいて表示されてよく、次に、ユーザは、ビデオ記録を中止するために撮影ボタンをクリックしてよい。
本願のこの実施形態では、第３の画像及び第４の画像が、画像撮影モードにおけるプレビュー写真において、ビデオ記録がビデオ記録モードにおいて開始される前のプレビュー写真において、又はビデオ記録がビデオ記録モードにおいて開始された後のプレビュー写真において表示されてよい。
幾つかの実施形態では、ズーム比インジケーション４０３が、撮影インターフェースにおいて更に含まれてよい。ユーザは、ズーム比インジケーション４０３に基づいて端末のズーム比を調整してよい。端末のズーム比は、撮影インターフェースにおけるビューファインダフレームにおけるプレビュー写真のズーム比として説明され得る。
ユーザは、代替的には、他のインタラクションを通じて（例えば、端末上の音量ボタンに基づいて）撮影インターフェースにおけるビューファインダフレームにおけるプレビュー写真のズーム比を調整してよいことが理解されるべきである。これは、本願において限定されるものではない。
端末のズーム比は、以下で詳細に説明される。
複数のカメラが端末上に統合されている場合、カメラの各々は、固定ズーム比を有する。カメラの固定ズーム比は、カメラの焦点距離が、参照焦点距離の倍率を縮小／拡大することと同等であることとして理解され得る。参照焦点距離は、通常、端末上のメインカメラの焦点距離である。
幾つかの実施形態では、ユーザは、撮影インターフェースにおけるビューファインダフレームにおけるプレビュー写真のズーム比を調整し、その結果、端末は、カメラによってキャプチャされた画像に対してデジタルズーム（ｄｉｇｉｔａｌ ｚｏｏｍ）を実行してよい。具体的に述べると、端末のＩＳＰ又は別のプロセッサは、固定ズーム比及び画像のそれに応じて狭いビューファインダカバレッジを有するカメラによってキャプチャされた画像の各ピクセルによって占有される領域を拡大するのに使用され、その結果、処理された画像は、別のズーム比を使用してカメラによって撮影された画像と同等である。本願では、端末のズーム比は、処理された画像において提示される画像のズーム比として理解され得る。
カメラの各々によって撮影される画像は、ズーム比範囲に対応してよい。異なるタイプのカメラが以下で説明される。
一実装では、前面短焦点（広角）カメラ、背面短焦点（広角）カメラ、背面中焦点カメラ、及び背面長焦点カメラのうちの１つ又は複数が端末上に統合されてよい。
短焦点（広角）カメラ（前面広角カメラ及び背面広角カメラを含む）、背面中焦点カメラ、及び背面長焦点カメラが端末上に統合される一例が説明のために使用される。撮影されることになるオブジェクトの位置に対する端末の位置が変更されずに留まる場合、短焦点（広角）カメラは、最小焦点距離及び最大視野を有し、カメラによって撮影された画像におけるオブジェクトは、最小サイズを有する。中焦点カメラは、短焦点（広角）カメラよりも大きい焦点距離、短焦点（広角）カメラよりも小さい視野を有し、中焦点カメラによって撮影された画像におけるオブジェクトは、短焦点（広角）カメラによって撮影された画像におけるオブジェクトよりも大きいサイズを有する。長焦点カメラは、最大焦点距離及び最小視野を有し、カメラによって撮影された画像におけるオブジェクトは、最大サイズを有する。
視野は、携帯電話の画像撮影中にカメラを通じて撮影することができる角度の最大範囲を示す。すなわち、撮影されることになるオブジェクトが角度の範囲内にある場合、撮影されることになるオブジェクトは、携帯電話によって取得することができる。撮影されることになるオブジェクトが角度の範囲外にある場合、撮影されることになるオブジェクトは、携帯電話によって取得することができない。通常、カメラのより大きい視野は、カメラを通じて撮影することができるより大きい範囲を示す。カメラのより小さい視野は、カメラを通じて撮影することができるより小さい範囲を示す。「視野」は、代替的には、別の語、例えば、「フィールド範囲」、「ビュー範囲」、「視界」、「撮像範囲」、又は「撮像野」であってよいことが理解され得る。
通常、ユーザは、ほとんどのシナリオにおいて中焦点カメラを使用する。したがって、中焦点カメラが、通常、メインカメラとして設定される。メインカメラの焦点距離が参照焦点距離に設定され、メインカメラの固定ズーム比が通常１×である。幾つかの実施形態では、デジタルズーム（ｄｉｇｉｔａｌ ｚｏｏｍ）は、メインカメラによってキャプチャされた画像に対して実行されてよい。具体的に述べると、携帯電話のＩＳＰ又は別のプロセッサは、メインカメラ及び画像のそれに応じて狭いビューファインダカバレッジによってキャプチャされた「１×」画像の各ピクセルによって占有される領域を拡大するのに使用され、その結果、処理された画像は、別のズーム比（例えば、「２×」）を使用してメインカメラによって撮影される画像と同等である。換言すれば、メインカメラによって撮影される画像は、ズーム比範囲、例えば、「１×」～「５×」に対応してよい。背面長焦点カメラが端末上に更に統合される場合、メインカメラによって撮影される画像に対応するズーム比範囲は、１～ｂであってよく、ズーム比範囲内の最大ズーム比ｂは、背面長焦点カメラの固定ズーム比であってよいことが理解されるべきである。ｂの値は、３～１５の範囲に及んでよい。例えば、ｂは、限定されるものではないが、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５であってよい。
背面長焦点カメラが端末上に統合されない場合、メインカメラによって撮影される画像に対応するズーム比範囲内の最大ズーム比ｂは、端末の最大ズームであってよく、ｂの値は、３～１５の範囲に及んでよいことが理解されるべきである。例えば、ｂは、限定されるものではないが、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、又は１５であってよい。
メインカメラによって撮影される画像に対応するズーム比範囲（１～ｂ）は、２つの端点（１及びｂ）のズーム比を含んでもよいし、２つの端点（１及びｂ）のズーム比を含まなくてもよいし、又は２つの端点のズーム比のうちの一方を含んでもよいことが理解されるべきである。
例えば、メインカメラによって撮影される画像に対応するズーム比範囲は、区間［１，ｂ］であってよい。
例えば、メインカメラによって撮影される画像に対応するズーム比範囲は、区間（１，ｂ］であってよい。
例えば、メインカメラによって撮影される画像に対応するズーム比範囲は、区間［１，ｂ）であってよい。
例えば、メインカメラによって撮影される画像に対応するズーム比範囲は、区間（１，ｂ）であってよい。
同様に、長焦点カメラの焦点距離がメインカメラの焦点距離の何倍大きいかが長焦点カメラのズーム比として使用されてよく、これは、長焦点カメラの固定ズーム比とも称される。例えば、長焦点カメラの焦点距離は、メインカメラの焦点距離の５倍であってよく、すなわち、長焦点カメラの固定ズーム比は、「５×」である。同様に、デジタルズームが、長焦点カメラによってキャプチャされた画像に対して更に実行されてよい。すなわち、長焦点カメラによって撮影される画像は、ズーム比範囲、例えば、「５×」～「５０×」に対応してよい。長焦点カメラによって撮影される画像に対応するズーム比範囲は、ｂ～ｃの範囲に及んでよく、長焦点カメラによって撮影される画像に対応するズーム比範囲内の最大ズーム比ｃは、３～５０の範囲に及んでよいことが理解されるべきである。
同様に、短焦点（広角）カメラの焦点距離がメインカメラの焦点距離の何倍小さいかが短焦点（広角）カメラのズーム比として使用されてよい。例えば、短焦点カメラの焦点距離は、メインカメラの焦点距離の０．５倍であってよく、すなわち、短焦点カメラの固定ズーム比は、「０．５×」である。同様に、デジタルズームが、短焦点（広角）カメラによってキャプチャされた画像に対して更に実行されてよい。すなわち、短焦点カメラによって撮影される画像は、ズーム比範囲、例えば、「０．５×」～「１×」に対応してよい。
広角カメラによって撮影される画像に対応するズーム比は、ａ～１の範囲に及んでよい。最小値ａは、広角カメラの固定ズーム比であってよく、ａの値は、０．５～０．９の範囲に及んでよい。例えば、ａは、限定されるものではないが、０．５、０．６、０．７、０．８、又は０．９であってよい。
広角カメラは、前面広角カメラ及び背面広角カメラを含んでよいことが理解されるべきである。前面広角カメラ及び背面広角カメラに対応するズーム比の範囲は、同じであってもよいし、又は異なってもよい。例えば、前面広角カメラに対応するズーム比は、ａ１～１の範囲に及んでよく、ここで、最小値ａ１は、前面広角カメラの固定ズーム比であってよく、ａ１の値は、０．５～０．９の範囲に及んでよい。例えば、ａ１は、限定されるものではないが、０．５、０．６、０．７、０．８、又は０．９であってよい。例えば、背面広角カメラに対応するズーム比は、ａ２～１の範囲に及んでよく、ここで、最小値ａ２は、背面広角カメラの固定ズーム比であってよく、ａ２の値は、０．５～０．９の範囲に及んでよい。例えば、ａ２は、限定されるものではないが、０．５、０．６、０．７、０．８、又は０．９であってよい。
広角カメラによって撮影される画像に対応するズーム比範囲（ａ～１）は、２つの端点（ａ及び１）のズーム比を含んでもよいし、２つの端点（ａ及び１）のズーム比を含まなくてもよいし、又は２つの端点のズーム比のうちの一方を含んでもよいことが理解されるべきである。
例えば、広角カメラによって撮影される画像に対応するズーム比範囲は、区間［ａ，１］であってよい。
例えば、メインカメラによって撮影される画像に対応するズーム比範囲は、区間（ａ，１］であってよい。
例えば、メインカメラによって撮影される画像に対応するズーム比範囲は、区間［ａ，１）であってよい。
例えば、メインカメラによって撮影される画像に対応するズーム比範囲は、区間（ａ，１）であってよい。
５０２：透視歪み補正機能を有効化するためのユーザの第１の有効化動作を検出し、ここで、第１の有効化動作は、端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含み、第１のコントロールは、透視歪み補正を有効化又は無効化することを指示するのに使用され、第１の動作は、透視歪み補正を有効化することを指示するのに使用される。
５０３：手ブレ補正機能を有効化するためのユーザの第２の有効化動作を検出し、ここで、第２の有効化動作は、端末上の撮影インターフェースにおける第２のコントロール上の第２の動作を含み、第２のコントロールは、手ブレ補正機能を有効化又は無効化することを指示するのに使用され、第２の動作は、手ブレ補正機能を有効化することを指示するのに使用される。
撮影のために端末のズーム比をどのように調整するのかがまず説明される。
幾つかの実施形態では、ユーザは、撮影のために端末のズーム比を手動で調整してよい。
例えば、図６において示されているように、ユーザは、撮影インターフェースにおけるズーム比インジケーション４０３に対して動作することによって端末のズーム比を調整してよい。例えば、端末の現在のズーム比が「１×」である場合、ユーザは、１回又は複数回ズーム比インジケーション４０３をクリックすることによって、端末のズーム比を「５×」に変更してよい。
別の例について、ユーザは、撮影インターフェースにおいて２つの指（又は３つの指）でのピンチのジェスチャを使用することによって、端末によって使用されるズーム比を低下させるか、又は２つの指（又は３つの指）での外側への（ピンチの方向とは逆の方向への）スワイプのジェスチャを使用することによって、端末によって使用されるズーム比を上昇させてよい。
別の例について、ユーザは、代替的には、撮影インターフェースにおけるズームスケールをドラッグすることによって、端末のズーム比を変更してよい。
別の例について、ユーザは、代替的には、撮影インターフェース又は撮影設定インターフェースにおいて現在使用中のカメラを切り替えることによって、端末のズーム比を変更してよい。例えば、ユーザが長焦点カメラに切り替えることを選択した場合、端末のズーム比は、自動的に高くなる。
別の例について、ユーザは、代替的には、撮影インターフェース又は撮影設定インターフェースにおいて、長焦点撮影シナリオのためのコントロール、遠距離撮影シナリオのためのコントロール等を選択することによって、端末のズーム比を変更してよい。
幾つかの他の実施形態では、端末は、代替的には、カメラによってキャプチャされた画像の特定のシナリオを自動的に識別し、当該識別された特定のシナリオに基づいてズーム比を自動的に調整してよい。例えば、カメラによってキャプチャされた画像が大きいビュー範囲を有するシーン、例えば、海、山、又は森を含むことを端末が識別した場合、ズーム比は、自動的に低下してよい。別の例について、カメラによってキャプチャされた画像が遠距離のオブジェクト、例えば、遠距離の鳥又はスポーツグラウンド上のアスリートであることを端末が識別した場合、ズーム比は、自動的に上昇してよい。これは、本願において限定されるものではない。
一実装では、端末のズーム比は、リアルタイムにおいて検出されてよい。端末のズーム比が第２の事前設定閾値よりも高い場合、手ブレ補正機能が有効化され、手ブレ補正機能を有効化することに関連した第２のコントロール又はプロンプトが、撮影インターフェースにおいて表示される。
一実装では、端末のズーム比は、リアルタイムにおいて検出されてよい。端末のズーム比が第１の事前設定閾値よりも低い場合、透視歪み補正が有効化され、透視歪み補正に関連した第１のコントロール又はプロンプトが、撮影インターフェースにおいて表示される。
一実装では、手ブレ補正及び透視歪み補正を有効化するためにトリガするためのコントロールは、撮影インターフェースにおいて表示されてよく、手ブレ補正機能及び透視歪み補正機能がユーザとのインタラクションを通じて有効化されるか、又は前述のモードにおいて、手ブレ補正機能及び透視歪み補正機能の有効化が自動的にトリガされる。
代替的には、手ブレ補正及び透視歪み補正を有効化するためにトリガするためのコントロールは、カメラ上の撮影パラメータ調整インターフェースにおいて表示され、手ブレ補正機能及び透視歪み補正機能がユーザとのインタラクションを通じて有効化されるか、又は前述のモードにおいて、手ブレ補正機能及び透視歪み補正機能のうちの全て又は一部の有効化が自動的にトリガされる。
詳細が以下で提供される。
１．手ブレ補正を有効化又は無効化することを指示するのに使用される第２のコントロール及び透視歪み補正を有効化することを指示するのに使用される第１のコントロールが、撮影インターフェース内に含まれる。
例えば、カメラは、メインカメラ撮影モードにあり、カメラ上の撮影インターフェースは、撮影モードにおけるプレビューインターフェースである。図７を参照されたい。このケースでは、手ブレ補正を有効化することを指示するのに使用される第２のコントロール４０５（図７において示されているコントロールＶＳ（ビデオ手ブレ補正））及び透視歪み補正を有効化することを指示するのに使用される第１のコントロール４０４（図７において示されているコントロールＤＣ（歪み補正））は、撮影インターフェースにおいて表示されてよい。手ブレ補正も透視歪み補正も現在の時点において有効化されていないので、第２のコントロールのディスプレイコンテンツは、手ブレ補正が現在の時点において有効化されていないことをユーザにプロンプトしてよく、第１のコントロールのディスプレイコンテンツは、透視歪み補正が現在の時点において有効化されていないことをユーザにプロンプトしてよい。図８を参照されたい。ユーザが手ブレ補正機能を有効化することを望む場合、ユーザは、第２のコントロール４０５をクリックしてよい。第２のコントロールに対するユーザのクリック動作に応答して、図９において示されているインターフェースコンテンツが表示されてよい。手ブレ補正機能は現在の時点において有効化されているので、第２のコントロール４０５のディスプレイコンテンツは、手ブレ補正が現在の時点において有効化されていることをユーザにプロンプトしてよい。ユーザが透視歪み補正機能を有効化することを望む場合、ユーザは、第１のコントロール４０４をクリックしてよい。第１のコントロールに対するユーザのクリック動作に応答して、透視歪み補正機能は、現在の時点において有効化され、第１のコントロール４０４のディスプレイコンテンツは、透視歪み補正が現在の時点において有効化されていることをユーザにプロンプトしてよい。
ユーザが手ブレ補正機能を無効化することを望む場合、ユーザは、第２のコントロール４０５をクリックしてよい。第２のコントロールに対するユーザのクリック動作に応答して、手ブレ補正機能は、現在の時点において無効化され、第２のコントロール４０５のディスプレイコンテンツは、手ブレ補正が現在の時点において無効化されていることをユーザにプロンプトしてよい。ユーザが透視歪み補正機能を無効化することを望む場合、ユーザは、第１のコントロール４０４をクリックしてよい。このケースでは、透視歪み補正機能は無効化され、第１のコントロール４０４のディスプレイコンテンツは、透視歪み補正が現在の時点において無効化されていることをユーザにプロンプトしてよい。
一実装では、カメラが広角撮影モードにある場合、手ブレ補正を有効化することを指示するのに使用される第２のコントロール及び透視歪み補正を有効化することを指示するのに使用される第１のコントロールは、カメラ上の撮影インターフェース内に含まれてよい。
図１０を参照されたい。ユーザは、カメラの広角撮影モードに切り替えるために、撮影インターフェースにおけるズーム比インジケーション４０３上で動作することによって、端末によって使用されるズーム比を調整してよく、その結果、図１１において示されているような撮影インターフェースを表示することができる。ユーザが手ブレ補正機能を有効化することを望む場合、ユーザは、第２のコントロール４０５をクリックしてよい。第２のコントロールに対するユーザのクリック動作に応答して、手ブレ補正機能は有効化され、第２のコントロール４０５のディスプレイコンテンツは、手ブレ補正が現在の時点において有効化されていることをユーザにプロンプトしてよい。ユーザが透視歪み補正機能を有効化することを望む場合、ユーザは、第１のコントロール４０４をクリックしてよい。第２のコントロールに対するユーザのクリック動作に応答して、透視歪み補正機能は、現在の時点において有効化され、第１のコントロール４０４のディスプレイコンテンツは、透視歪み補正が現在の時点において有効化されていることをユーザにプロンプトしてよい。
ユーザが手ブレ補正機能を無効化することを望む場合、ユーザは、第２のコントロール４０５をクリックしてよい。第２のコントロールに対するユーザのクリック動作に応答して、手ブレ補正機能は、現在の時点において無効化され、第２のコントロール４０５のディスプレイコンテンツは、手ブレ補正が現在の時点において無効化されていることをユーザにプロンプトしてよい。ユーザが透視歪み補正機能を無効化することを望む場合、ユーザは、第１のコントロール４０４をクリックしてよい。このケースでは、透視歪み補正機能は無効化され、第１のコントロール４０４のディスプレイコンテンツは、透視歪み補正が現在の時点において無効化されていることをユーザにプロンプトしてよい。
長焦点撮影モードにおいて、透視歪みは明らかではなく、透視歪み補正は画像に対して実行されなくてよいことが理解されるべきである。したがって、長焦点撮影モードにおける撮影インターフェースでは、手ブレ補正を有効化することを指示するのに使用される第２のコントロールは表示されてよく、透視歪み補正を有効化することを指示するのに使用される第１のコントロールは表示されなくてよく、又はユーザが透視歪み補正を無効化したことを示すプロンプトが表示されて、透視歪み補正がデフォルトで無効化されていることが示される。このプロンプトは、透視歪み補正の有効化及び無効化の間で切り替えるためのユーザとのインタラクションのために使用することができない。例えば、図１２を参照されたい。ユーザは、カメラの長焦点撮影モードに切り替えるために、撮影インターフェースにおけるズーム比インジケーション４０３上で動作することによって、携帯電話によって使用されるズーム比を調整してよく、その結果、図１３において示されているような撮影インターフェースを表示することができる。透視歪み補正を有効化することを指示するのに使用される第１のコントロールは、図１３において示されている撮影インターフェース内に含まれなくてよい。
２．手ブレ補正を有効化することを指示するのに使用される第２のコントロール及び透視歪み補正を有効化するためにトリガするのに使用される第１のコントロールが、カメラ上の撮影パラメータ調整インターフェースにおいて表示される。
一実装では、カメラが広角撮影モード、超広角撮影モード、及び中焦点撮影モードにある場合、手ブレ補正を有効化することを指示するのに使用される第２のコントロール及び透視歪み補正を有効化するためにトリガするのに使用される第１のコントロールは、カメラ上の撮影パラメータ調整インターフェースにおいて表示されてよい。
本願のこの実施形態では、図１４を参照されたい。第１のコントロールが、図１４において示されているカメラ上の撮影インターフェース内に含まれてよい。第１のコントロールは、撮影パラメータ調整インターフェースを開くことを指示するのに使用される。ユーザは、第１のコントロールをクリックしてよく、端末デバイスは、第１のコントロールに対するユーザの第３の動作を受信してよく、第３の動作に応答して図１５において示されているように撮影パラメータ調整インターフェースを開いてよい。図１５において示されているように、手ブレ補正を有効化することを指示するのに使用される第２のコントロール及び透視歪み補正を有効化することを指示するのに使用される第１のコントロールが、撮影パラメータ調整インターフェース内に含まれる。手ブレ補正も透視歪み補正も現在の時点において有効化されていないので、第２のコントロールのディスプレイコンテンツは、手ブレ補正が現在の時点において有効化されていないことをユーザにプロンプトしてよく、第１のコントロールのディスプレイコンテンツは、透視歪み補正が現在の時点において有効化されていないことをユーザにプロンプトしてよい。図１５を参照されたい。ユーザが手ブレ補正機能を有効化することを望む場合、ユーザは、第２のコントロールをクリックしてよい。第２のコントロールに対するユーザのクリック動作に応答して、図１６において示されているインターフェースコンテンツが表示されてよい。手ブレ補正機能は現在の時点において有効化されているので、第２のコントロールのディスプレイコンテンツは、手ブレ補正が現在の時点において有効化されていることをユーザにプロンプトしてよい。ユーザが透視歪み補正機能を有効化することを望む場合、ユーザは、第１のコントロールをクリックしてよい。第２のコントロールに対するユーザのクリック動作に応答して、透視歪み補正機能は、現在の時点において有効化され、第１のコントロールのディスプレイコンテンツは、透視歪み補正が現在の時点において有効化されていることをユーザにプロンプトしてよい。
ユーザが手ブレ補正機能を無効化することを望む場合、ユーザは、第２のコントロールをクリックしてよい。第２のコントロールに対するユーザのクリック動作に応答して、手ブレ補正機能は、現在の時点において無効化され、第２のコントロールのディスプレイコンテンツは、手ブレ補正が現在の時点において無効化されていることをユーザにプロンプトしてよい。ユーザが透視歪み補正機能を無効化することを望む場合、ユーザは、第１のコントロールをクリックしてよい。このケースでは、透視歪み補正機能は無効化され、第１のコントロールのディスプレイコンテンツは、透視歪み補正が現在の時点において無効化されていることをユーザにプロンプトしてよい。
ユーザが撮影インターフェースに戻った後、手ブレ補正及び透視歪み補正を現在有効化しているか否かを示すプロンプトが、撮影インターフェースにおいて更に表示されてよいことが理解されるべきである。
一実装では、長焦点撮影モードにおいて、透視歪みは明らかではなく、透視歪み補正は画像に対して実行されなくてよい。したがって、長焦点撮影モードにおけるカメラ上の撮影パラメータ調整インターフェースでは、手ブレ補正を有効化することを指示するのに使用される第２のコントロールは表示されてよく、透視歪み補正を有効化することを指示するのに使用される第１のコントロールは表示されなくてよく、又はユーザが透視歪み補正を無効化したことを示すプロンプトが表示されて、透視歪み補正がデフォルトで無効化されていることが示される。このプロンプトは、透視歪み補正の有効化及び無効化の間で切り替えるためのユーザとのインタラクションのために使用することができない。例えば、図１７を参照されたい。透視歪み補正を有効化することを指示するのに使用される第１のコントロールは、図１７において示されている撮影パラメータ調整インターフェース内に含まれず、ユーザが透視歪み補正を無効化したことを示すプロンプトが含まれて、透視歪み補正がデフォルトで無効化されていることが示される。
３．手ブレ補正を有効化することを指示するのに使用される第２のコントロールが表示され、透視歪み補正がデフォルトで有効化されている。
一実装では、カメラが広角撮影モード、超広角撮影モード、又は中焦点撮影モードにある場合、手ブレ補正を有効化することを指示するのに使用される第２のコントロールは撮影インターフェースにおいて表示されてよく、透視歪み補正を有効化することを指示するのに使用される第１のコントロールは表示されなくてよく、又はユーザが透視歪み補正を有効化したことを示すプロンプトが表示されて、透視歪み補正がデフォルトで有効化されていることが示される。このプロンプトは、透視歪み補正の有効化及び無効化の間で切り替えるためのユーザとのインタラクションのために使用することができない。
一実装では、カメラが広角撮影モードにある場合、手ブレ補正を有効化することを指示するのに使用される第２のコントロールは、カメラ上の撮影インターフェース内に含まれてよく、透視歪み補正がデフォルトで有効化されている。
一実装では、カメラが超広角撮影モードにある場合、手ブレ補正を有効化することを指示するのに使用される第２のコントロールは、カメラ上の撮影インターフェース内に含まれてよく、透視歪み補正がデフォルトで有効化されている。
一実装では、カメラが中焦点撮影モードにある場合、手ブレ補正を有効化することを指示するのに使用される第２のコントロールは、カメラ上の撮影インターフェース内に含まれてよく、透視歪み補正がデフォルトで有効化されている。
図１８を参照されたい。手ブレ補正を有効化することを指示するのに使用される第２のコントロール４０５は、カメラ上の撮影インターフェースにおいて表示されてよく、透視歪み補正を有効化することを指示するのに使用される第１のコントロールは、表示されなくてよい。代替的には、図１９を参照されたい。ユーザが透視歪み補正を有効化したことを示すプロンプト４０４が表示されて、透視歪み補正がデフォルトで有効化されていることが示される。このプロンプト４０４は、透視歪み補正の有効化及び無効化の間で切り替えるためのユーザとのインタラクションのために使用することができない。手ブレ補正機能は現在の時点において有効化されていないので、第２のコントロールのディスプレイコンテンツは、手ブレ補正が現在の時点において有効化されていないことをユーザにプロンプトしてよい。ユーザが手ブレ補正機能を有効化することを望む場合、ユーザは、第２のコントロールをクリックしてよい。第２のコントロールに対するユーザのクリック動作に応答して、手ブレ補正機能は有効化され、第２のコントロールのディスプレイコンテンツは、手ブレ補正が現在の時点において有効化されていることをユーザにプロンプトしてよい。
４．手ブレ補正を有効化することを指示するのに使用される第２のコントロールは、カメラ上の撮影パラメータ調整インターフェースにおいて表示され、透視歪み補正はデフォルトで有効化されている。
一実装では、カメラが広角撮影モード、超広角撮影モード、又は中焦点撮影モードにある場合、手ブレ補正を有効化することを指示するのに使用される第２のコントロールはカメラ上の撮影パラメータ調整インターフェースにおいて表示されてよく、透視歪み補正を有効化することを指示するのに使用される第１のコントロールは表示されなくてよく、又はユーザが透視歪み補正を有効化したことを示すプロンプトが表示されて、透視歪み補正がデフォルトで有効化されていることが示される。このプロンプトは、透視歪み補正の有効化及び無効化の間で切り替えるためのユーザとのインタラクションのために使用することができない。
一実装では、カメラによって取得される第３の画像が取得されてよい。第３の画像は、第１の画像が取得される前に取得される画像フレームである。透視歪み補正が第３の画像に対して実行されて、第４の画像が取得され、第４の画像は、カメラ上の撮影インターフェースにおいて表示される。この実施形態では、手ブレ補正は、カメラ上で有効化されず、透視歪み補正は、デフォルトで有効化されている。このケースでは、撮影インターフェースにおいて表示される画像は、透視歪み補正が実行されるが、手ブレ補正が実行されない画像（第４の画像）である。
５．透視歪み補正を有効化することを指示するのに使用される第１のコントロールが表示され、手ブレ補正がデフォルトによって有効化されている。
一実装では、カメラが広角撮影モード、超広角撮影モード、又は中焦点撮影モードにある場合、透視歪み補正を有効化することを指示するのに使用される第１のコントロールは撮影インターフェースにおいて表示されてよく、手ブレ補正を有効化することを指示するのに使用される第２のコントロールは表示されなくてよく、又はユーザが手ブレ補正を有効化したことを示すプロンプトが表示されて、手ブレ補正がデフォルトで有効化されていることが示される。このプロンプトは、手ブレ補正の有効化及び無効化の間で切り替えるためのユーザとのインタラクションのために使用することができない。
一実装では、カメラが広角撮影モードにある場合、透視歪み補正を有効化することを指示するのに使用される第１のコントロールは、カメラ上の撮影インターフェース内に含まれてよく、手ブレ補正がデフォルトで有効化されている。
一実装では、カメラが超広角撮影モードにある場合、透視歪み補正を有効化することを指示するのに使用される第１のコントロールは、カメラ上の撮影インターフェース内に含まれてよく、手ブレ補正がデフォルトで有効化されている。
一実装では、カメラが中焦点撮影モードにある場合、透視歪み補正を有効化することを指示するのに使用される第１のコントロールは、カメラ上の撮影インターフェース内に含まれてよく、手ブレ補正がデフォルトで有効化されている。
図２０を参照されたい。透視歪み補正を有効化することを指示するのに使用される第１のコントロール４０４は、カメラ上の撮影インターフェースにおいて表示されてよく、手ブレ補正を有効化することを指示するのに使用される第２のコントロールは、表示されなくてよい。代替的には、図２１を参照されたい。ユーザが手ブレ補正を有効化したことを示すプロンプト４０５が表示されて、手ブレ補正がデフォルトで有効化されていることが示される。プロンプト４０５は、手ブレ補正の有効化及び無効化の間で切り替えるためのユーザとのインタラクションのために使用することができない。透視歪み補正は現在の時点において有効化されていないので、第１のコントロールのディスプレイコンテンツは、透視歪み補正が現在の時点において有効化されていないことをユーザにプロンプトしてよい。ユーザが透視歪み補正機能を有効化することを望む場合、ユーザは、第１のコントロールをクリックしてよい。第１のコントロールに対するユーザのクリック動作に応答して、透視歪み補正機能は有効化され、第１のコントロールのディスプレイコンテンツは、透視歪み補正が現在の時点において有効化されていることをユーザにプロンプトしてよい。
６．透視歪み補正を有効化することを指示するのに使用される第１のコントロールは、カメラ上の撮影パラメータ調整インターフェースにおいて表示され、手ブレ補正はデフォルトで有効化されている。
一実装では、カメラが広角撮影モード、超広角撮影モード、又は中焦点撮影モードにある場合、透視歪み補正を有効化することを指示するのに使用される第１のコントロールはカメラ上の撮影パラメータ調整インターフェースにおいて表示されてよく、手ブレ補正を有効化することを指示するのに使用される第２のコントロールは表示されなくてよく、又はユーザが手ブレ補正を有効化したことを示すプロンプトが表示されて、手ブレ補正がデフォルトで有効化されていることが示される。このプロンプトは、手ブレ補正の有効化及び無効化の間で切り替えるためのユーザとのインタラクションのために使用することができない。
一実装では、カメラによって取得される第４の画像が取得されてよい。第４の画像は、第１の画像が取得される前に取得される画像フレームである。手ブレ補正が第４の画像に対して実行されて、手ブレ補正の第２の出力が取得され、手ブレ補正の第２の出力によって示される画像は、カメラ上の撮影インターフェースにおいて表示される。この実施形態では、透視歪み補正がカメラ上で有効化されない場合、手ブレ補正はデフォルトで有効化されている。このケースでは、撮影インターフェースにおいて表示される画像は、手ブレ補正が実行されるが、透視歪み補正が実行されない画像（手ブレ補正の第２の出力によって示される画像）である。
７．透視歪み補正及び手ブレ補正がデフォルトで有効化されている。
一実装では、カメラが広角撮影モード、超広角撮影モード、及び中焦点撮影モードにある場合、透視歪み補正を有効化することを指示するのに使用される第１のコントロールは、撮影インターフェースにおいて表示されなくてよく、手ブレ補正を有効化することを指示するのに使用される第２のコントロールは表示されなくてよい。透視歪み補正及び手ブレ補正機能は、デフォルトで有効化されている。代替的には、ユーザが手ブレ補正を有効化したことを示すプロンプトが表示されて、手ブレ補正がデフォルトで有効化されていることが示される。このプロンプトは、手ブレ補正の有効化及び無効化の間で切り替えるためのユーザとのインタラクションのために使用することができず；ユーザが透視歪み補正を有効化したことを示すプロンプトが表示されて、透視歪み補正がデフォルトで有効化されていることが示される。このプロンプトは、透視歪み補正の有効化及び無効化の間で切り替えるためのユーザとのインタラクションのために使用することができない。
前述の説明は、撮影インターフェースが、撮影が開始される前のカメラ上の撮影インターフェースである一例を使用することによって提供される。可能な実装では、撮影インターフェースは、ビデオ記録機能が有効化される前の撮影インターフェース、又はビデオ記録機能が有効化された後の撮影インターフェースであってよい。
別の実施形態では、撮影インターフェースにおける幾つかのコントロールは、画像がコントロールによって遮蔽されることを可能な限り防止するために、携帯電話上で更に隠されてよく、それによって、ユーザの視覚体験が改善される。
例えば、ユーザが長時間撮影インターフェースにおいて動作していない場合、前述の実施形態における「第２のコントロール」及び「第１のコントロール」は、これ以上表示されなくてよい。タッチスクリーンに対するクリックのユーザの動作が検出された後、隠された「第２のコントロール」及び「第１のコントロール」が再度表示されてよい。
どのように取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得するのか、及びどのように第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得するのかについて、前述の実施形態における段階３０１及び段階３０２に関する説明を参照されたい。詳細は、本明細書において再度説明されない。
５０４：取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得し；第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得し；第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得し；取得された第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得し、ここで、第２のクロップ済み領域は、第１のクロップ済み領域及びシェイク情報に関連し、シェイク情報は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクを示す；第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得し；第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得する。
段階５０４に関する説明について、段階３０１～段階３０５に関する説明を参照されたい。詳細は、本明細書において再度説明されない。
５０５：第３の画像及び第４の画像に基づいてターゲットビデオを生成し、ターゲットビデオを表示する。
一実装では、ターゲットビデオは、第３の画像及び第４の画像に基づいて生成されてよく、ターゲットビデオは、表示される。具体的には、リアルタイムにおいて端末デバイスによって取得されたビデオストリームの任意の２つの画像フレームについて、手ブレ補正及び透視歪み補正が実行された出力画像は、前述の段階３０１～段階３０６に従って取得されてよく、次に、手ブレ補正及び透視歪み補正が実行されたビデオ（すなわち、ターゲットビデオ）が取得されてよい。例えば、第１の画像は、ビデオストリームの第ｎのフレームであってよく、第２の画像は、第（ｎ＋１）のフレームであってよい。このケースでは、第（ｎ－２）のフレーム及び第（ｎ－１）のフレームが、段階３０１～段階３０６における処理のためのそれぞれ第１の画像及び第２の画像として更に使用されてよく、第（ｎ－１）のフレーム及び第ｎのフレームが、段階３０１～段階３０６における処理のためのそれぞれ第１の画像及び第２の画像として更に使用されてよく、第（ｎ＋１）のフレーム及び第（ｎ＋２）のフレームが、段階３０１～段階３０６における処理のためのそれぞれ第１の画像及び第２の画像として更に使用されてよい。
一実装では、ターゲットビデオが取得された後、ターゲットビデオは、カメラ上の撮影インターフェースにおけるビューファインダフレームにおいて表示されてよい。
撮影インターフェースは、撮影モードにおけるプレビューインターフェースであってよく、ターゲットビデオは、撮影モードにおけるプレビュー写真であることが理解されるべきである。ユーザは、撮影インターフェースにおける撮影コントロールをクリックすることによって、又はトリガの別の方式で、撮影するためにカメラをトリガし、撮影された画像を取得してよい。
撮影インターフェースは、ビデオ記録がビデオ記録モードにおいて開始される前のプレビューインターフェースであってよく、ターゲットビデオは、ビデオ記録がビデオ記録モードにおいて開始される前のプレビュー写真であることが理解されるべきである。ユーザは、撮影インターフェースにおける撮影コントロールをクリックすることによって、又はトリガの別の方式で、記録を開始するためにカメラをトリガしてよい。
撮影インターフェースは、ビデオ記録がビデオ記録モードにおいて開始された後のプレビューインターフェースであってよく、ターゲットビデオは、ビデオ記録がビデオ記録モードにおいて開始された後のプレビュー写真であることが理解されるべきである。ユーザは、撮影インターフェースにおける撮影コントロールをクリックすることによって、又はトリガの別の方式で、記録を停止するためにカメラをトリガし、記録中に撮影されたビデオを保存してよい。
例２：ビデオ後処理
本願の実施形態に係る画像処理方法は、一例としてリアルタイム撮影のシナリオを使用することによって説明される。別の実装では、上記で説明された手ブレ補正及び透視歪み補正は、端末デバイス上のギャラリ又はクラウド側サーバ内のビデオに対して実行されてよい。
図２４ａを参照されたい。図２４ａは、本願の一実施形態に係る画像処理方法の概略フローチャートである。図２４ａにおいて示されているように、方法は、以下の段階を含む。
２４０１：アルバムに記憶されたビデオを取得し、ここで、ビデオは、第１の画像及び第２の画像を含む。
ユーザは、ギャラリアプリケーションを開始することを携帯電話に指示するために携帯電話上のホームスクリーン上（例えば、図２４ｂにおいて示されているような）のアプリケーションアイコン「ギャラリ」をクリックしてよく、携帯電話は、図２５において示されているようにアプリケーションインターフェースを表示してよい。ユーザは、選択されたビデオを長押ししてよい。端末デバイスは、ユーザの長押し動作に応答して、アルバムに記憶され、かつユーザによって選択されたビデオを取得し、図２６において示されているようにインターフェースを表示してよい。選択のためのコントロール（コントロール「選択」、コントロール「削除」、コントロール「共有」、及びコントロール「その他」を含む）がインターフェース内に含まれてよい。
２４０２：手ブレ補正機能及び透視歪み補正機能を有効化する。
ユーザは、コントロール「その他」をクリックしてよく、図２７において示されているようなインターフェースが、ユーザのクリック動作に応答して表示される。選択のためのコントロール（コントロール「手ブレ補正」及びコントロール「ビデオ歪み補正」を含む）がインターフェース内に含まれてよい。ユーザは、コントロール「手ブレ補正」及びコントロール「ビデオ歪み補正」をクリックし、図２８において示されているようにコントロール「完了」をクリックしてよい。
２４０３：第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得する。
２４０４：第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得する。
２４０５：第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得する。
２４０６：第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得し、ここで、第２のクロップ済み領域は、第１のクロップ済み領域及びシェイク情報に関連し、シェイク情報は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクを示す。
本明細書におけるシェイク情報は、端末がビデオを取得するときにリアルタイムにおいて取得及び記憶されてよいことが理解されるべきである。
２４０７：第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得する。
２４０８：第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得する。
２４０９：第３の画像及び第４の画像に基づいてターゲットビデオを生成する。
端末デバイスは、選択されたビデオに対して手ブレ補正及び透視歪み補正を実行してよい。段階２４０３～段階２４０８に関する詳細な説明について、図３に対応する実施形態における説明を参照されたい。詳細は、本明細書において再度説明されない。手ブレ補正及び透視歪み補正が完了した後、端末デバイスは、手ブレ補正及び透視歪み補正が完了していることをユーザにプロンプトするために、図２９において示されているように、インターフェースを表示してよい。
例３：ターゲット追跡
図３０を参照されたい。図３０は、本願の一実施形態において提供される画像処理方法の概略フローチャートである。図３０において示されているように、本願のこの実施形態において提供される画像処理方法は、以下の段階を含む。
３００１：取得された第１の画像におけるターゲットオブジェクトを決定して、ターゲットオブジェクトを含む第１のクロップ済み領域を取得する。
幾つかのシナリオでは、カメラは、オブジェクト追跡機能を有効化してよい。この機能は、姿勢が変更されずに留まる場合、端末デバイスが移動しているターゲットオブジェクトを含む画像を出力することを保証することができる。例えば、追跡されるオブジェクトは、人間のオブジェクトである。具体的には、カメラが広角撮影モード又は超広角撮影モードにある場合、取得された原画像のカバレッジ領域は大きく、原画像は、ターゲットの人間のオブジェクトを含む。人間のオブジェクトが位置する領域を識別することができ、原画像は、クロップ及びズームインされて、人間のオブジェクトを含むクロップ済み領域が取得される。クロップ済み領域は、原画像の一部である。人間のオブジェクトが移動し、かつカメラの撮影範囲を越えない場合、人間のオブジェクトは追跡されてよく、人間のオブジェクトが位置する領域はリアルタイムにおいて取得され、原画像は、クロップ及びズームインされて、人間のオブジェクトを含むクロップ済み領域が取得される。このようにして、姿勢が変更されずに留まる場合、端末デバイスが移動している人間のオブジェクトを含む画像を出力してもよい。
具体的には、図３１を参照されたい。コントロール「その他」が、カメラ上の撮影インターフェース内に含まれてよい。ユーザは、コントロール「その他」をクリックしてよく、ユーザのクリック動作に応答して、図３２において示されているようなアプリケーションインターフェースが表示されてよい。ターゲット追跡を有効化することをユーザに示すためのコントロールがインターフェース内に含まれてよく、ユーザは、カメラのターゲット追跡機能を有効化するためにコントロールをクリックしてよい。
上記で説明された手ブレ補正と同様に、既存の実装では、画像に対して手ブレ補正及び透視歪み補正を同時に実行するために、人間のオブジェクトを含むクロップ済み領域が原画像において確認される必要があり、透視歪み補正が原画像の全ての領域に対して実行される必要がある。このケースでは、これは、透視歪み補正が人間のオブジェクトを含むクロップ済み領域に対して実行されることと同等であり、透視歪み補正が実行されるクロップ済み領域が出力される。しかしながら、前述の方式は、以下の問題を有する：ターゲットオブジェクトが移動するとき、前者の画像フレーム及び後者の画像フレームにおける人間のオブジェクトを含むクロップ済み領域の位置は異なるので、結果として、出力されることになる２つの画像フレームにおける位置点又はピクセルに対する透視歪み補正についてのシフトは異なる。２つの隣接するフレームに対する手ブレ補正の出力は同じ又は基本的に同じコンテンツを含む画像であり、画像同士における同じオブジェクトの変換の程度は異なり、すなわち、フレーム間一貫性が失われるので、ジェロ（Ｊｅｌｌｏ）現象が生じ、ビデオ出力の品質が低下する。
３００２：第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得する。
この実施形態では、既存の実装に従って原画像の全ての領域に対して透視歪み補正を実行することとは異なり、本願のこの実施形態では、透視歪み補正が、クロップ済み領域に対して実行される。ターゲットオブジェクトが移動するので、前者の画像フレーム及び後者の画像フレームにおけるターゲットオブジェクトを含むクロップ済み領域の位置は異なり、２つの出力画像フレームにおける位置点又はピクセルに対する透視歪み補正についてのシフトは異なる。しかしながら、ターゲット識別が実行された後に決定される２つのフレームのクロップ済み領域のサイズは同じである。したがって、透視歪み補正がクロップ済み領域の各々に対して実行される場合、隣接するフレームに対して実行される透視歪み補正の程度は同じである（なぜならば、２つのフレームの各々のクロップ済み領域における各位置点又はピクセル及びクロップ済み領域の各々の中心点の間の距離は同じであるためである）。加えて、２つの隣接するフレームのクロップ済み領域は同じ又は基本的に同じコンテンツを含む画像であり、かつクロップ済み領域同士における同じオブジェクトの変換の程度は同じであり、すなわち、フレーム間一貫性が保たれるので、明らかなジェロ（Ｊｅｌｌｏ）現象は生じず、それによって、ビデオ出力の品質が改善される。
本願のこの実施形態では、同じターゲットオブジェクト（例えば、人間のオブジェクト）は、前者のフレーム及び後者のフレームのクロップ済み領域内に含まれてよい。透視歪み補正のためのオブジェクトはクロップ済み領域であるので、ターゲットオブジェクトについて、前者のフレーム及び後者のフレームにおける透視歪み補正の出力における変換されたターゲットオブジェクトの形状間の差は非常に小さい。具体的には、この差は、事前設定範囲内であってよい。この事前設定範囲は、人間の肉眼から形状差を識別することが困難であること、又は人間の肉眼から前者のフレーム及び後者のフレームの間でジェロ現象を発見することが困難であることとして理解され得る。
可能な実装では、第２のコントロールがカメラ上の撮影インターフェース内に含まれる。第２のコントロールは、透視歪み補正を有効化することを指示し；第２のコントロール上でユーザの第２の動作を受信し；第２の動作に応答してクロップ済み領域に対して透視歪み補正を実行するのに使用される。
段階３００２に関する更なる詳細な説明について、前述の実施形態における段階３０２に関する説明を参照されたい。同様の説明は、本明細書において再度説明されない。
３００３：第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得する。
段階３００３に関する詳細な説明について、前述の実施形態における段階３０３に関する説明を参照されたい。詳細は、本明細書において再度説明されない。
３００４：取得された第２の画像におけるターゲットオブジェクトを決定して、ターゲットオブジェクトを含む第２のクロップ済み領域を取得し、ここで、第２のクロップ済み領域は、ターゲット移動情報に関連し、ターゲット移動情報は、端末が第１の画像及び第２の画像を取得するプロセスにおけるターゲットオブジェクトの移動を示す。
段階３００４に関する詳細な説明について、前述の実施形態における段階３０１に関する説明を参照されたい。同様の説明は、本明細書において再度説明されない。
３００５：第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得する。
段階３００５に関する詳細な説明について、前述の実施形態における段階３０５に関する説明を参照されたい。同様の説明は、本明細書において再度説明されない。
３００６：第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得する。
３００７：第３の画像及び第４の画像に基づいてターゲットビデオを生成する。
段階３００６に関する詳細な説明について、前述の実施形態における段階３０６に関する説明を参照されたい。同様の説明は、本明細書において再度説明されない。
任意選択的な実装では、第２の画像におけるターゲットオブジェクトの位置は、第１の画像におけるターゲットオブジェクトの位置とは異なる。
可能な実装では、透視歪み補正が第１のクロップ済み領域に対して実行される前に、方法は：
端末が歪み補正条件を満たすことを検出する段階、及び歪み補正機能を有効化する段階
を更に備える。
可能な実装では、端末が歪み補正条件を満たすことを検出することは、以下のケースのうちの１つ又は複数を含むが、これらに限定されるものではない：ケース１：端末のズーム比が第１の事前設定閾値よりも低いことが検出される。
一実装では、透視歪み補正が有効化されるか否かは、端末のズーム比に基づいて決定されてよい。端末のズーム比が大きい（例えば、長焦点撮影モードの完全な又は部分的なズーム比範囲内であるか、又は中焦点撮影モードの完全な又は部分的なズーム比範囲内である）場合、端末によって取得された画像の写真における透視歪みの程度は低い。透視歪みの程度が低いことは、人間の目では端末によって取得された画像の写真におけるいずれの透視歪みもほぼ識別することができないこととして理解され得る。したがって、端末のズーム比が大きい場合、透視歪み補正は、有効化される必要はない。
可能な実装では、ズーム比がａ～１の範囲に及ぶ場合、端末は、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、第１の事前設定閾値は、１よりも高く、ａは、前面広角カメラ又は背面広角カメラの固定ズーム比であり、ａの値は、０．５～０．９の範囲に及び；又は
ズーム比が１～ｂの範囲に及ぶ場合、端末は、背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、ｂは、端末上の背面長焦点カメラの固定ズーム比又は端末の最大ズームであり、第１の事前設定閾値は、１～１５の範囲に及び、ｂの値は、３～１５の範囲に及ぶ。
ケース２：透視歪み補正機能を有効化するためのユーザの第１の有効化動作が検出される。
可能な実装では、第１の有効化動作は、端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含み、第１のコントロールは、透視歪み補正を有効化又は無効化することを指示するのに使用され、第１の動作は、透視歪み補正を有効化することを指示するのに使用される。
一実装では、透視歪み補正を有効化又は無効化することを指示するのに使用されるコントロール（本願のこの実施形態では第１のコントロールと称される）は、撮影インターフェース内に含まれてよい。ユーザは、第１のコントロール上の第１の動作を通じて透視歪み補正を有効化する、すなわち、第１のコントロール上の第１の動作を通じて透視歪み補正を有効化することをトリガしてよい。このようにして、端末は、透視歪み補正を有効化するためのユーザの第１の有効化動作を検出してよく、第１の有効化動作は、端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含む。
一実装では、透視歪み補正を有効化又は無効化することを指示するのに使用されるコントロール（本願のこの実施形態では第１のコントロールと称される）は、端末のズーム比が第１の事前設定閾値よりも低いことが検出される場合にのみ撮影インターフェースにおいて表示される。
ケース３：撮影シナリオにおいて人間の顔が識別され；
撮影シナリオにおいて人間の顔が識別され、ここで、人間の顔及び端末の間の距離が事前設定値よりも低い；又は
撮影シナリオにおいて人間の顔が識別され、ここで、撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合は、事前設定割合よりも高い。
撮影シナリオにおいて人間の顔が存在する場合、透視歪み補正に起因した人間の顔の変換の程度がより視覚的に明らかであり、かつ人間の顔及び端末の間の距離がより小さいか又は撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合がより高い場合、画像における人間の顔のサイズはより大きいので、透視歪み補正に起因した人間の顔の変換の程度は一層より視覚的に明らかであることが理解されるべきである。したがって、透視歪み補正は、前述のシナリオにおいて有効化される必要がある。この実施形態では、透視歪み補正を有効化するか否かは、撮影シナリオにおいて人間の顔に関連した前述の条件を決定することによって決定され、その結果、透視歪みが生じる撮影シナリオを正確に決定することができ、透視歪み補正が、透視歪みが生じる撮影シナリオのために実行される。透視歪みが生じていない撮影シナリオにおいて、透視歪み補正は実行されない。このようにして、画像信号が正確に処理され、電力消費が削減される。
本願のこの実施形態は、画像処理方法であって：取得された第１の画像におけるターゲットオブジェクトを決定して、ターゲットオブジェクトを含む第１のクロップ済み領域を取得する段階；第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得する段階；第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得する段階；取得された第２の画像におけるターゲットオブジェクトを決定して、ターゲットオブジェクトを含む第２のクロップ済み領域を取得する段階、ここで、第２のクロップ済み領域は、ターゲット移動情報に関連し、ターゲット移動情報は、端末が第１の画像及び第２の画像を取得するプロセスにおけるターゲットオブジェクトの移動を示す；第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得する段階；及び第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得する段階を備え、ここで、第３の画像及び第４の画像は、ビデオを生成するために使用され、第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである、画像表示方法を提供する。既存の実装に従って原画像の全ての領域に対して透視歪み補正を実行することとは異なり、本願のこの実施形態では、透視歪み補正が、クロップ済み領域に対して実行される。ターゲットオブジェクトが移動するので、前者の画像フレーム及び後者の画像フレームにおける人間のオブジェクトを含むクロップ済み領域の位置は異なり、２つの出力画像フレームにおける位置点又はピクセルに対する透視歪み補正についてのシフトは異なる。しかしながら、ターゲット識別が実行された後に決定される２つのフレームのクロップ済み領域のサイズは同じである。したがって、透視歪み補正がクロップ済み領域の各々に対して実行される場合、隣接するフレームに対して実行される透視歪み補正の程度は同じである（なぜならば、２つのフレームの各々のクロップ済み領域における各位置点又はピクセル及びクロップ済み領域の中心点の間の距離は同じであるためである）。加えて、２つの隣接するフレームのクロップ済み領域は同じ又は基本的に同じコンテンツを含む画像であり、かつ画像同士における同じオブジェクトの変換の程度は同じであり、すなわち、フレーム間一貫性が保たれるので、明らかなジェロ（Ｊｅｌｌｏ）現象は生じず、それによって、ビデオ出力の品質が改善される。
本願は、画像表示装置を更に提供する。画像表示装置は、端末デバイスであってよい。図３３を参照されたい。図３３は、本願の一実施形態に係る画像処理装置の構造の概略図である。図３３において示されているように、画像処理装置３３００は：
取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得するように構成され、取得された第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得するように更に構成された手ブレ補正モジュール３３０１を備え、ここで、第２のクロップ済み領域は、第１のクロップ済み領域及びシェイク情報に関連し、シェイク情報は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクを示し、第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである。
手ブレ補正モジュール３３０１に関する詳細な説明について、段階３０１及び段階３０４に関する説明を参照されたい。詳細は、本明細書において再度説明されない。
画像処理装置は、第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得するように構成され、第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得するように更に構成された透視歪み補正モジュール３３０２を更に備える。
透視歪み補正モジュール３３０２に関する詳細な説明について、段階３０２及び段階３０５に関する説明を参照されたい。詳細は、本明細書において再度説明されない。
画像処理装置は：第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得し；第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得し；第３の画像及び第４の画像に基づいてターゲットビデオを生成するように構成された画像生成モジュール３３０３を更に備える。
画像生成モジュール３３０３に関する詳細な説明について、段階３０３、段階３０６、及び段階３０７に関する説明を参照されたい。詳細は、本明細書において再度説明されない。
可能な実装では、第１の画像における第１のクロップ済み領域の位置に対する第２の画像における第２のクロップ済み領域の位置のオフセットの方向は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクの、像面上のシェイク方向に対して逆である。
可能な実装では、第１のクロップ済み領域は、第１の画像における第１のサブ領域を示し、第２のクロップ済み領域は、第２の画像における第２のサブ領域を示す。
第１の画像における、第１のサブ領域に対応する第１の画像コンテンツ、及び第２の画像における、第２のサブ領域に対応する第２の画像コンテンツの間の類似度は、第１の画像及び第２の画像の間の類似度よりも高い。
可能な実装では、装置は：
手ブレ補正モジュールが取得された第１の画像に対して手ブレ補正を実行する前に、端末が歪み補正条件を満たすことを検出し、歪み補正機能を有効化するように構成された第１の検出モジュール３３０４
を更に備える。
可能な実装では、端末が歪み補正条件を満たすことを検出することは：
端末のズーム比が第１の事前設定閾値よりも低いことを検出すること
を有するが、これに限定されるものではない。
可能な実装では、ズーム比がａ～１の範囲に及ぶ場合、端末は、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、第１の事前設定閾値は、１よりも高く、ａは、前面広角カメラ又は背面広角カメラの固定ズーム比であり、ａの値は、０．５～０．９の範囲に及び；又は
ズーム比が１～ｂの範囲に及ぶ場合、端末は、背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、ｂは、端末上の背面長焦点カメラの固定ズーム比又は端末の最大ズームであり、第１の事前設定閾値は、１～１５の範囲に及び、ｂの値は、３～１５の範囲に及ぶ。
可能な実装では、端末が歪み補正条件を満たすことを検出することは：
透視歪み補正機能を有効化するためのユーザの第１の有効化動作を検出すること、ここで、第１の有効化動作は、端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含み、第１のコントロールは、透視歪み補正を有効化又は無効化することを指示するのに使用され、第１の動作は、透視歪み補正を有効化することを指示するのに使用される
を有するが、これに限定されるものではない。
可能な実装では、端末が歪み補正条件を満たすことを検出することは：
撮影シナリオにおいて人間の顔を識別すること；
撮影シナリオにおいて人間の顔を識別すること、ここで、人間の顔及び端末の間の距離が事前設定値よりも低い；又は
撮影シナリオにおいて人間の顔を識別すること、ここで、撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合は、事前設定割合よりも高い
を有するが、これに限定されるものではない。
可能な実装では、装置は：
手ブレ補正モジュールが取得された第１の画像に対して手ブレ補正を実行する前に、端末が手ブレ補正条件を満たすことを検出し、手ブレ補正機能を有効化するように構成された第２の検出モジュール３３０５
を更に備える。
可能な実装では、端末が手ブレ補正条件を満たすことを検出することは：
端末のズーム比が、端末上の、最小ズーム比を有するカメラの固定ズーム比よりも高いことを検出すること
を有するが、これに限定されるものではない。
可能な実装では、端末が手ブレ補正条件を満たすことを検出することは：
手ブレ補正機能を有効化するためのユーザの第２の有効化動作を検出すること、ここで、第２の有効化動作は、端末上の撮影インターフェースにおける第２のコントロール上の第２の動作を含み、第２のコントロールは、手ブレ補正機能を有効化又は無効化することを指示するのに使用され、第２の動作は、手ブレ補正機能を有効化することを指示するのに使用される
を有するが、これに限定されるものではない。
可能な実装では、画像生成モジュールは：第１のマッピング関係及び第２のマッピング関係を取得すること、ここで、第１のマッピング関係は、第２のクロップ済み領域における各位置点及び第２の画像における対応する位置点の間のマッピング関係を示し、第２のマッピング関係は、第４のクロップ済み領域における各位置点及び第２のクロップ済み領域における対応する位置点の間のマッピング関係を示す；及び
第２の画像、第１のマッピング関係、及び第２のマッピング関係に基づいて第４の画像を取得すること
を行うように具体的に構成されている。
可能な実装では、画像生成モジュールは：
第１のマッピング関係を第２のマッピング関係に結合して、ターゲットマッピング関係を決定すること、ここで、ターゲットマッピング関係は、第４のクロップ済み領域における各位置点及び第２の画像における対応する位置点の間のマッピング関係を含む；及び
第２の画像及びターゲットマッピング関係に基づいて第４の画像を決定すること
を行うように具体的に構成されている。
可能な実装では、第１のマッピング関係は、第２のマッピング関係とは異なる。
可能な実装では、透視歪み補正モジュールは：第１のクロップ済み領域に対して光学歪み補正を実行して、補正された第１のクロップ済み領域を取得すること；及び補正された第１のクロップ済み領域に対して透視歪み補正を実行することを行うように具体的に構成されており；
画像生成モジュールは：第３のクロップ済み領域に対して光学歪み補正を実行して、補正された第３のクロップ済み領域を取得すること；及び第１の画像及び補正された第３のクロップ済み領域に基づいて第３の画像を取得することを行うように具体的に構成されており；
透視歪み補正モジュールは：第２のクロップ済み領域に対して光学歪み補正を実行して、補正された第２のクロップ済み領域を取得すること；及び補正された第２のクロップ済み領域に対して透視歪み補正を実行することを行うように具体的に構成されており；又は
画像生成モジュールは：第４のクロップ済み領域に対して光学歪み補正を実行して、補正された第４のクロップ済み領域を取得すること；及び第２の画像及び補正された第４のクロップ済み領域に基づいて第４の画像を取得することを行うように具体的に構成されている。
本願のこの実施形態は、画像処理装置を提供する。装置は、リアルタイムにおいてビデオストリームを取得するために端末によって使用される。装置は：取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得するように構成され、取得された第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得するように更に構成された手ブレ補正モジュール、ここで、第２のクロップ済み領域は、第１のクロップ済み領域及びシェイク情報に関連し、シェイク情報は、端末が第１の画像及び第２の画像を取得するプロセスにおいて生じるシェイクを示し、第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである；第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得するように構成され、第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得するように更に構成された透視歪み補正モジュール；及び第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得するように構成され、第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得し、第３の画像及び第４の画像に基づいてターゲットビデオを生成するように更に構成された画像生成モジュールを備える。加えて、２つの隣接するフレームに対する手ブレ補正の出力は同じ又は基本的に同じコンテンツを含む画像であり、かつ画像同士における同じオブジェクトの変換の程度は同じであり、すなわち、フレーム間一貫性が保たれるので、明らかなジェロ（Ｊｅｌｌｏ）現象は生じず、それによって、ビデオ表示の品質が改善される。
本願は、画像処理装置を更に提供する。画像表示装置は、端末デバイスであってよい。図３４を参照されたい。図３４は、本願の一実施形態に係る画像処理装置の構造の概略図である。図３４において示されているように、画像処理装置３４００は：
取得された第１の画像におけるターゲットオブジェクトを決定して、ターゲットオブジェクトを含む第１のクロップ済み領域を取得するように構成され、取得された第２の画像におけるターゲットオブジェクトを決定して、ターゲットオブジェクトを含む第２のクロップ済み領域を取得するように更に構成されたオブジェクト決定モジュール３４０１を備え、ここで、第２のクロップ済み領域は、ターゲット移動情報に関連し、ターゲット移動情報は、端末が第１の画像及び第２の画像を取得するプロセスにおけるターゲットオブジェクトの移動を示し、第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである。
オブジェクト決定モジュール３４０１に関する詳細な説明について、段階３００１及び段階３００４に関する説明を参照されたい。詳細は、本明細書において再度説明されない。
装置は、第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得するように構成され、第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得するように更に構成された透視歪み補正モジュール３４０２を更に備える。
透視歪み補正モジュール３４０２に関する詳細な説明について、段階３００２及び段階３００５に関する説明を参照されたい。詳細は、本明細書において再度説明されない。
装置は：第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得し；第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得し；第３の画像及び第４の画像に基づいてターゲットビデオを生成するように構成された画像生成モジュール３４０３を更に備える。
画像生成モジュール３４０３に関する詳細な説明について、段階３００３、段階３００６、及び段階３００７に関する説明を参照されたい。詳細は、本明細書において再度説明されない。
任意選択的な実装では、第２の画像におけるターゲットオブジェクトの位置は、第１の画像におけるターゲットオブジェクトの位置とは異なる。
可能な実装では、装置は：
透視歪み補正モジュールが第１のクロップ済み領域に対して透視歪み補正を実行する前に、端末が歪み補正条件を満たすことを検出し、歪み補正機能を有効化するように構成された第１の検出モジュール３４０４
を更に備える。
可能な実装では、端末が歪み補正条件を満たすことを検出することは：
端末のズーム比が第１の事前設定閾値よりも低いことを検出すること
を有するが、これに限定されるものではない。
可能な実装では、ズーム比がａ～１の範囲に及ぶ場合、端末は、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、第１の事前設定閾値は、１よりも高く、ａは、前面広角カメラ又は背面広角カメラの固定ズーム比であり、ａの値は、０．５～０．９の範囲に及び；又は
ズーム比が１～ｂの範囲に及ぶ場合、端末は、背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得し、ここで、ｂは、端末上の背面長焦点カメラの固定ズーム比又は端末の最大ズームであり、第１の事前設定閾値は、１～１５の範囲に及び、ｂの値は、３～１５の範囲に及ぶ。
可能な実装では、端末が歪み補正条件を満たすことを検出することは：
透視歪み補正機能を有効化するためのユーザの第１の有効化動作を検出すること、ここで、第１の有効化動作は、端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含み、第１のコントロールは、透視歪み補正を有効化又は無効化することを指示するのに使用され、第１の動作は、透視歪み補正を有効化することを指示するのに使用される
を有するが、これに限定されるものではない。
可能な実装では、端末が歪み補正条件を満たすことを検出することは：
撮影シナリオにおいて人間の顔を識別すること；
撮影シナリオにおいて人間の顔を識別すること、ここで、人間の顔及び端末の間の距離が事前設定値よりも低い；又は
撮影シナリオにおいて人間の顔を識別すること、ここで、撮影シナリオに対応する画像における人間の顔によって占有されるピクセルの割合は、事前設定割合よりも高い
を有するが、これに限定されるものではない。
本願のこの実施形態は、画像処理装置を提供する。装置は、リアルタイムにおいてビデオストリームを取得するために端末によって使用される。装置は：取得された第１の画像におけるターゲットオブジェクトを決定して、ターゲットオブジェクトを含む第１のクロップ済み領域を取得するように構成され、取得された第２の画像におけるターゲットオブジェクトを決定して、ターゲットオブジェクトを含む第２のクロップ済み領域を取得するように更に構成されたオブジェクト決定モジュール、ここで、第２のクロップ済み領域は、ターゲット移動情報に関連し、ターゲット移動情報は、端末が第１の画像及び第２の画像を取得するプロセスにおけるターゲットオブジェクトの移動を示し、第１の画像及び第２の画像は、端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである；第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得するように構成され、第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得するように更に構成された透視歪み補正モジュール；及び第１の画像及び第３のクロップ済み領域に基づいて第３の画像を取得するように構成され、第２の画像及び第４のクロップ済み領域に基づいて第４の画像を取得し、第３の画像及び第４の画像に基づいてターゲットビデオを生成するように更に構成された画像生成モジュールを備える。
既存の実装に従って原画像の全ての領域に対して透視歪み補正を実行することとは異なり、本願のこの実施形態では、透視歪み補正が、クロップ済み領域に対して実行される。ターゲットオブジェクトが移動するので、前者の画像フレーム及び後者の画像フレームにおける人間のオブジェクトを含むクロップ済み領域の位置は異なり、２つの出力画像フレームにおける位置点又はピクセルに対する透視歪み補正についてのシフトは異なる。しかしながら、ターゲット識別が実行された後に決定される２つのフレームのクロップ済み領域のサイズは同じである。したがって、透視歪み補正がクロップ済み領域の各々に対して実行される場合、隣接するフレームに対して実行される透視歪み補正の程度は同じである（なぜならば、２つのフレームの各々のクロップ済み領域における各位置点又はピクセル及びクロップ済み領域の中心点の間の距離は同じであるためである）。加えて、２つの隣接するフレームのクロップ済み領域は同じ又は基本的に同じコンテンツを含む画像であり、かつ画像同士における同じオブジェクトの変換の程度は同じであり、すなわち、フレーム間一貫性が保たれるので、明らかなジェロ（Ｊｅｌｌｏ）現象は生じず、それによって、ビデオ出力の品質が改善される。
本願の一実施形態に係る端末デバイスが以下で説明される。端末デバイスは、図３３又は図３４における画像処理装置であってよい。図３５を参照されたい。図３５は、本願の一実施形態に係る端末デバイスの構造の概略図である。端末デバイス３５００は、仮想現実ＶＲデバイス、携帯電話、タブレット、ラップトップコンピュータ、インテリジェントウェアラブルデバイス等として具体的に表されてよい。これは、本明細書において限定されるものではない。具体的には、端末デバイス３５００は、受信機３５０１、送信機３５０２、プロセッサ３５０３、及びメモリ３５０４を備える（端末デバイス３５００において１つ又は複数のプロセッサ３５０３が存在してよく、１つのプロセッサが図３５における一例として使用される）。プロセッサ３５０３は、アプリケーションプロセッサ３５０３１及び通信プロセッサ３５０３２を備えてよい。本願の幾つかの実施形態では、受信機３５０１、送信機３５０２、プロセッサ３５０３、及びメモリ３５０４は、バスを通じて又は別の方式で接続されてよい。
メモリ３５０４は、リードオンリメモリ及びランダムアクセスメモリを含み、プロセッサ３５０３のための命令及びデータを提供してよい。メモリ３５０４の一部は、不揮発性ランダムアクセスメモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＮＶＲＡＭ）を更に含んでよい。メモリ３５０４は、プロセッサ及び動作命令、実行可能モジュール又はデータ構造、これらのサブセット、又はこれらの拡張セットを記憶する。動作命令は、様々な動作を実装するための様々な動作命令を含んでよい。
プロセッサ３５０３は、端末デバイスの動作を制御する。特定のアプリケーションでは、端末デバイスのコンポーネントは、バスシステムを使用することによって互いに結合される。データバスに加えて、バスシステムは、電力バス、制御バス、ステータス信号バス等を更に含んでよい。しかしながら、より明確な説明のために、図における様々なタイプのバスがバスシステムと称される。
本願の前述の実施形態において開示された方法は、プロセッサ３５０３に適用されてもよいし、又はプロセッサ３５０３を使用することによって実装されてもよい。プロセッサ３５０３は、信号処理能力を有する集積回路チップであってよい。実装中、前述の方法における段階は、プロセッサ３５０３におけるハードウェア統合ロジック回路又はソフトウェアの形式の命令を使用することによって実装されてよい。プロセッサ３５０３は、汎用プロセッサ、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、マイクロプロセッサ、又はマイクロコントローラであってよく、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）又は別のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、又はディスクリートハードウェアアセンブリを更に含んでよい。プロセッサ３５０３は、本願の実施形態において開示された方法、段階、及びロジックブロック図を実装又は実行してよい。汎用プロセッサは、マイクロプロセッサであってもよいし、又は、プロセッサは、任意の従来のプロセッサ等であってもよい。本願の実施形態を参照して開示された方法における段階は、ハードウェア復号プロセッサによって実行及び完了されるか、又は復号プロセッサにおけるハードウェア及びソフトウェアモジュールの組み合わせによって実行及び完了されるものとして直接提示されてよい。ソフトウェアモジュールは、当該技術分野において成熟した記憶媒体、例えば、ランダムアクセスメモリ、フラッシュメモリ、リードオンリメモリ、プログラマブルリードオンリメモリ、電気的消去可能プログラマブルメモリ、又はレジスタに配置されてよい。記憶媒体は、メモリ３５０４に配置され、プロセッサ３５０３は、メモリ３５０４における情報を読み出し、プロセッサのハードウェアと組み合わせて前述の方法における段階を完了する。具体的には、プロセッサ３５０３は、メモリ３５０４における情報を読み出し、プロセッサ３５０３のハードウェアと組み合わせて、前述の実施形態における段階３０１～段階３０４におけるデータ処理に関連した段階及び前述の実施形態における段階３００１～段階３００４におけるデータ処理に関連した段階を完了する。
受信機３５０１は、入力デジタル又は文字情報を受信し、端末デバイスに関連した設定及び端末デバイスの機能制御に関連した信号入力を生成するように構成されてよい。送信機３５０２は、第１のインターフェースを通じて出力デジタル又は文字情報を構成されてよい。送信機３５０２は、第１のインターフェースを通じてディスクパックに命令を送信して、ディスクパックにおいてデータを変更するように更に構成されてよい。送信機３５０２は、ディスプレイデバイス、例えば、ディスプレイスクリーンを更に備えてよい。
本願の一実施形態は、コンピュータプログラム製品を更に提供する。コンピュータプログラム製品がコンピュータ上で実行されると、コンピュータは、前述の実施形態における図５ａ、図２４ａ、及び図３０に対応する実施形態において説明された画像処理方法における段階を実行するように有効化される。
本願の一実施形態は、コンピュータ可読記憶媒体を更に提供する。コンピュータ可読記憶媒体は、信号処理のためのプログラムを記憶する。プログラムがコンピュータ上で実行されると、コンピュータは、上記で説明された方法の実施形態における画像処理方法において段階を実行するように有効化される。
本願のこの実施形態において提供される画像表示装置は、具体的にはチップであってよい。チップは、処理ユニット及び通信ユニットを含む。処理ユニットは、例えば、プロセッサであってよく、通信ユニットは、例えば、入力／出力インターフェース、ピン、回路等であってよい。処理ユニットは、ストレージユニットに記憶されたコンピュータ実行可能命令を実行してよく、その結果、実行デバイスにおけるチップは、前述の実施形態において説明されたデータ処理方法を実行するか、又はトレーニングデバイスにおけるチップは、前述の実施形態において説明されたデータ処理方法を実行する。任選択的に、ストレージユニットは、チップにおけるストレージユニット、例えば、レジスタ又はキャッシュである。ストレージユニットは、代替的には、ワイヤレスアクセスデバイス内にあり、かつチップの外部であるストレージユニット、例えば、リードオンリメモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）又は静的情報及び命令を記憶することができる別のタイプの静的記憶デバイス、又はランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）であってよい。
加えて、上記で説明された装置の実施形態は一例に過ぎないことに留意されたい。別個の部分として説明されるユニットは、物理的に別個であっても又はそうでなくてもよく、ユニットとして表示される部分は、物理的なユニットであっても又はそうでなくてもよく、１つのロケーションを有してもよいし、又は複数のネットワークユニットを介して分散してもよい。モジュールの全て又は幾つかが、実施形態の解決手段の目的を達成するために実際に要求されるものとして選択され得る。加えて、本願において提供された装置の実施形態に対応する添付図面において、モジュール間の接続関係は、モジュールが具体的には１つ又は複数の通信バス又は信号ワイヤを通じて実装され得る通信接続を有することを示す。
前述の実装における説明に基づいて、当業者であれば、本願が、必要な汎用ハードウェアに加えてソフトウェアを使用することによって、又は特定用途向け集積回路、専用ＣＰＵ、専用メモリ、専用要素又はコンポーネント等を含む専用ハードウェアを使用することによって実装され得ることを明確に理解することができる。通常、コンピュータプログラムを使用することによって実装される任意の機能が、対応するハードウェアを使用することによって容易に実装され得る。加えて、同じ機能を実装するのに使用される様々なタイプの特定のハードウェア構造、例えば、アナログ回路、デジタル回路、又は専用回路が存在してよい。しかしながら、本願について、ソフトウェアプログラムの実装が、ほとんどのケースにおいてより良好な実装である。そのような理解に基づいて、本願の技術的解決手段、又は従来技術に寄与する部分が、本質的には、ソフトウェア製品の形式で具現化され得る。コンピュータソフトウェア製品は、可読記憶媒体、例えば、コンピュータ上のフロッピディスク、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、ＲＯＭ、ＲＡＭ、磁気ディスク、又は光ディスクに記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバ、ネットワークデバイス等であり得る）が本願の実施形態において説明された方法を実行することを可能にする幾つかの命令を含む。
前述の実施形態の全て又は幾つかが、ソフトウェア、ハードウェア、ファームウェア、又はこれらの任意の組み合わせを使用することによって実装されてよい。ソフトウェアが実装のために使用される場合、実施形態の全て又は幾つかが、コンピュータプログラム製品の形式で実装されてよい。
コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータ上にロード及び実行されると、本願の実施形態に係る手順又は機能が全て又は部分的に生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は別のプログラマブル装置であってよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよいし、又はコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよい。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、又はデータセンタから別のウェブサイト、コンピュータ、サーバ、又はデータセンタに、有線（例えば、同軸ケーブル、光ファイバ、又はデジタル加入者線（ＤＳＬ）を使用することによって）、又は無線（例えば、赤外線、電波、又はマイクロ波を介して）方式で送信されてよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能媒体、又は１つ又は複数の使用可能媒体を統合するデータ記憶デバイス、例えば、サーバ又はデータセンタであってよい。使用可能媒体は、磁気媒体（例えば、フロッピディスク、ハードディスク、又は磁気テープ）、光媒体（例えば、ＤＶＤ）、半導体媒体（例えば、ソリッドステートドライブ、Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ））等であってよい。
コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータ上にロード及び実行されると、本願の実施形態に係る手順又は機能が全て又は部分的に生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は別のプログラマブル装置であってよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよいし、又はコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよい。例えば、コンピュータ命令は、ウェブサイト、コンピュータ、サーバ、又はデータセンタから別のウェブサイト、コンピュータ、サーバ、又はデータセンタに、有線（例えば、同軸ケーブル、光ファイバ、又はデジタル加入者線（ＤＳＬ）を使用することによって）、又は無線（例えば、赤外線、電波、又はマイクロ波を介して）方式で送信されてよい。コンピュータ可読記憶媒体は、コンピュータによってアクセス可能な任意の使用可能媒体、又は１つ又は複数の使用可能媒体を統合するデータ記憶デバイス、例えば、サーバ又はデータセンタであってよい。使用可能媒体は、磁気媒体（例えば、フロッピディスク、ハードディスク、又は磁気テープ）、光媒体（例えば、ＤＶＤ）、半導体媒体（例えば、ソリッドステートドライブ、Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ））等であってよい。
（他の考えられる項目）
（項目１）
画像処理方法であって、前記方法は、リアルタイムにおいてビデオストリームを取得するために端末によって使用され、前記方法は：
取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得する段階；
前記第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得する段階；
前記第１の画像及び前記第３のクロップ済み領域に基づいて第３の画像を取得する段階；
取得された第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得する段階、ここで、前記第２のクロップ済み領域は、前記第１のクロップ済み領域及びシェイク情報に関連し、前記シェイク情報は、前記端末が前記第１の画像及び前記第２の画像を取得するプロセスにおいて生じるシェイクを示す；
前記第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得する段階；
前記第２の画像及び前記第４のクロップ済み領域に基づいて第４の画像を取得する段階；及び
前記第３の画像及び前記第４の画像に基づいてターゲットビデオを生成する段階
を備え、ここで、前記第１の画像及び前記第２の画像は、前記端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである、方法。
（項目２）
前記第１の画像における前記第１のクロップ済み領域の位置に対する前記第２の画像における前記第２のクロップ済み領域の位置のオフセットの方向は、前記端末が前記第１の画像及び前記第２の画像を取得する前記プロセスにおいて生じる前記シェイクの、像面上のシェイク方向に対して逆である、項目１に記載の方法。
（項目３）
前記第１のクロップ済み領域は、前記第１の画像における第１のサブ領域を示し、前記第２のクロップ済み領域は、前記第２の画像における第２のサブ領域を示し；
前記第１の画像における、前記第１のサブ領域に対応する第１の画像コンテンツ、及び前記第２の画像における、前記第２のサブ領域に対応する第２の画像コンテンツの間の類似度は、前記第１の画像及び前記第２の画像の間の類似度よりも高い、項目１又は２に記載の方法。
（項目４）
前記第１のクロップ済み領域に対して透視歪み補正を実行する前記段階の前に、前記方法は：
前記端末が歪み補正条件を満たすことを検出する段階、及び歪み補正機能を有効化する段階
を更に備える、項目１～３のいずれか１項に記載の方法。
（項目５）
前記端末が歪み補正条件を満たすことを検出する前記段階は：
前記端末のズーム比が第１の事前設定閾値よりも低いことを検出する段階
を有する、項目４に記載の方法。
（項目６）
前記ズーム比がａ～１の範囲に及ぶ場合、前記端末によって、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得する段階、ここで、前記第１の事前設定閾値は、１よりも高く、ａは、前記前面広角カメラ又は前記背面広角カメラの固定ズーム比であり、ａの値は、０．５～０．９の範囲に及ぶ；又は
前記ズーム比は、１～ｂの範囲に及ぶ場合、前記端末によって、背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得する段階、ここで、ｂは、前記端末上の背面長焦点カメラの固定ズーム比又は前記端末の最大ズームであり、前記第１の事前設定閾値は、１～１５の範囲に及び、ｂの値は、３～１５の範囲に及ぶ、項目５に記載の方法。
（項目７）
前記端末が歪み補正条件を満たすことを検出する前記段階は：
前記透視歪み補正機能を有効化するためのユーザの第１の有効化動作を検出する段階、ここで、前記第１の有効化動作は、前記端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含み、前記第１のコントロールは、透視歪み補正を有効化又は無効化することを指示するのに使用され、前記第１の動作は、透視歪み補正を有効化することを指示するのに使用される
を有する、項目４に記載の方法。
（項目８）
前記端末が歪み補正条件を満たすことを検出する前記段階は：
撮影シナリオにおいて人間の顔を識別する段階；
撮影シナリオにおいて人間の顔を識別する段階、ここで、前記人間の顔及び前記端末の間の距離が事前設定値よりも低い；又は
撮影シナリオにおいて人間の顔を識別する段階、ここで、前記撮影シナリオに対応する画像における前記人間の顔によって占有されるピクセルの割合は、事前設定割合よりも高い
を有する、項目４に記載の方法。
（項目９）
取得された第１の画像に対して手ブレ補正を実行する前記段階の前に、前記方法は：
前記端末が手ブレ補正条件を満たすことを検出する段階、及び手ブレ補正機能を有効化する段階
を更に備える、項目１～８のいずれか１項に記載の方法。
（項目１０）
前記端末が手ブレ補正条件を満たすことを検出する前記段階は：
前記端末の前記ズーム比が、前記端末上の、最小ズーム比を有するカメラの固定ズーム比よりも高いことを検出する段階
を有する、項目９に記載の方法。
（項目１１）
前記端末が手ブレ補正条件を満たすことを検出する前記段階は：
前記手ブレ補正機能を有効化するための前記ユーザの第２の有効化動作を検出する段階、ここで、前記第２の有効化動作は、前記端末上の前記撮影インターフェースにおける第２のコントロール上の第２の動作を含み、前記第２のコントロールは、前記手ブレ補正機能を有効化又は無効化することを指示するのに使用され、前記第２の動作は、前記手ブレ補正機能を有効化することを指示するのに使用される
を有する、項目１～１０のいずれか１項に記載の方法。
（項目１２）
前記第２の画像及び前記第４のクロップ済み領域に基づいて第４の画像を取得する前記段階は：
第１のマッピング関係及び第２のマッピング関係を取得する段階、ここで、前記第１のマッピング関係は、前記第２のクロップ済み領域における各位置点及び前記第２の画像における対応する位置点の間のマッピング関係を示し、前記第２のマッピング関係は、前記第４のクロップ済み領域における各位置点及び前記第２のクロップ済み領域における対応する位置点の間のマッピング関係を示す；及び
前記第２の画像、前記第１のマッピング関係、及び前記第２のマッピング関係に基づいて前記第４の画像を取得する段階
を有する、項目１～１１のいずれか１項に記載の方法。
（項目１３）
前記第２の画像、前記第１のマッピング関係、及び前記第２のマッピング関係に基づいて前記第４の画像を取得する段階は：
前記第１のマッピング関係を前記第２のマッピング関係に結合して、ターゲットマッピング関係を決定する段階、ここで、前記ターゲットマッピング関係は、前記第４のクロップ済み領域における各位置点及び前記第２の画像における対応する位置点の間のマッピング関係を含む；及び
前記第２の画像及び前記ターゲットマッピング関係に基づいて前記第４の画像を決定する段階
を含む、項目１２に記載の方法。
（項目１４）
前記第１のマッピング関係は、前記第２のマッピング関係とは異なる、項目１２又は１３に記載の方法。
（項目１５）
前記第１のクロップ済み領域に対して透視歪み補正を実行する前記段階は：前記第１のクロップ済み領域に対して光学歪み補正を実行して、補正された第１のクロップ済み領域を取得する段階；及び前記補正された第１のクロップ済み領域に対して透視歪み補正を実行する段階を有し；
前記第１の画像及び前記第３のクロップ済み領域に基づいて第３の画像を取得する前記段階は：前記第３のクロップ済み領域に対して光学歪み補正を実行して、補正された第３のクロップ済み領域を取得する段階；及び前記第１の画像及び前記補正された第３のクロップ済み領域に基づいて前記第３の画像を取得する段階を有し；
前記第２のクロップ済み領域に対して透視歪み補正を実行する前記段階は：前記第２のクロップ済み領域に対して光学歪み補正を実行して、補正された第２のクロップ済み領域を取得する段階；及び前記補正された第２のクロップ済み領域に対して透視歪み補正を実行する段階を有し；又は
前記第２の画像及び前記第４のクロップ済み領域に基づいて第４の画像を取得する前記段階は：前記第４のクロップ済み領域に対して光学歪み補正を実行して、補正された第４のクロップ済み領域を取得する段階；及び前記第２の画像及び前記補正された第４のクロップ済み領域に基づいて前記第４の画像を取得する段階を有する、項目１～１４のいずれか１項に記載の方法。
（項目１６）
画像処理装置であって、前記装置は、リアルタイムにおいてビデオストリームを取得するために端末によって使用され、前記装置は：
取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得するように構成され、取得された第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得するように更に構成された手ブレ補正モジュール、ここで、前記第２のクロップ済み領域は、前記第１のクロップ済み領域及びシェイク情報に関連し、前記シェイク情報は、前記端末が前記第１の画像及び前記第２の画像を取得するプロセスにおいて生じるシェイクを示し、前記第１の画像及び前記第２の画像は、前記端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである；
前記第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得するように構成され、前記第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得するように更に構成された透視歪み補正モジュール；及び
前記第１の画像及び前記第３のクロップ済み領域に基づいて第３の画像を取得するように構成され、前記第２の画像及び前記第４のクロップ済み領域に基づいて第４の画像を取得し、前記第３の画像及び前記第４の画像に基づいてターゲットビデオを生成するように更に構成された画像生成モジュール
を備える、装置。
（項目１７）
前記第１の画像における前記第１のクロップ済み領域の位置に対する前記第２の画像における前記第２のクロップ済み領域の位置のオフセットの方向は、前記端末が前記第１の画像及び前記第２の画像を取得する前記プロセスにおいて生じる前記シェイクの、像面上のシェイク方向に対して逆である、項目１６に記載の装置。
（項目１８）
前記第１のクロップ済み領域は、前記第１の画像における第１のサブ領域を示し、前記第２のクロップ済み領域は、前記第２の画像における第２のサブ領域を示し；
前記第１の画像における、前記第１のサブ領域に対応する第１の画像コンテンツ、及び前記第２の画像における、前記第２のサブ領域に対応する第２の画像コンテンツの間の類似度は、前記第１の画像及び前記第２の画像の間の類似度よりも高い、項目１６又は１７に記載の装置。
（項目１９）
前記装置は：
前記手ブレ補正モジュールが前記取得された第１の画像に対して手ブレ補正を実行する前に、前記端末が歪み補正条件を満たすことを検出し、歪み補正機能を有効化するように構成された第１の検出モジュール
を更に備える、項目１６～１８のいずれか１項に記載の装置。
（項目２０）
前記端末が前記歪み補正条件を満たすことを検出することは：
前記端末のズーム比が第１の事前設定閾値よりも低いことを検出すること
を有する、項目１９に記載の装置。
（項目２１）
前記ズーム比がａ～１の範囲に及ぶ場合、前記端末によって、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得すること、ここで、前記第１の事前設定閾値は、１よりも高く、ａは、前記前面広角カメラ又は前記背面広角カメラの固定ズーム比であり、ａの値は、０．５～０．９の範囲に及ぶ；又は
前記ズーム比は、１～ｂの範囲に及ぶ場合、前記端末によって、背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得すること、ここで、ｂは、前記端末上の背面長焦点カメラの固定ズーム比又は前記端末の最大ズームであり、前記第１の事前設定閾値は、１～１５の範囲に及び、ｂの値は、３～１５の範囲に及ぶ、項目２０に記載の装置。
（項目２２）
前記端末が前記歪み補正条件を満たすことを検出することは：
前記透視歪み補正機能を有効化するためのユーザの第１の有効化動作を検出すること、ここで、前記第１の有効化動作は、前記端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含み、前記第１のコントロールは、透視歪み補正を有効化又は無効化することを指示するのに使用され、前記第１の動作は、透視歪み補正を有効化することを指示するのに使用される
を有する、項目１９に記載の装置。
（項目２３）
前記端末が前記歪み補正条件を満たすことを検出することは：
撮影シナリオにおいて人間の顔を識別すること；
撮影シナリオにおいて人間の顔を識別すること、ここで、前記人間の顔及び前記端末の間の距離が事前設定値よりも低い；又は
撮影シナリオにおいて人間の顔を識別すること、ここで、前記撮影シナリオに対応する画像における前記人間の顔によって占有されるピクセルの割合は、事前設定割合よりも高い
を有する、項目１９に記載の装置。
（項目２４）
前記装置は：
前記手ブレ補正モジュールが前記取得された第１の画像に対して手ブレ補正を実行する前に、前記端末が手ブレ補正条件を満たすことを検出し、手ブレ補正機能を有効化するように構成された第２の検出モジュール
を更に備える、項目１６～２３のいずれか１項に記載の装置。
（項目２５）
前記端末が前記手ブレ補正条件を満たすことを検出することは：
前記端末の前記ズーム比が、前記端末上の、最小ズーム比を有するカメラの固定ズーム比よりも高いことを検出すること
を有する、項目２４に記載の装置。
（項目２６）
前記端末が前記手ブレ補正条件を満たすことを検出することは：
前記手ブレ補正機能を有効化するための前記ユーザの第２の有効化動作を検出すること、ここで、前記第２の有効化動作は、前記端末上の前記撮影インターフェースにおける第２のコントロール上の第２の動作を含み、前記第２のコントロールは、前記手ブレ補正機能を有効化又は無効化することを指示するのに使用され、前記第２の動作は、前記手ブレ補正機能を有効化することを指示するのに使用される
を有する、項目１６～２５のいずれか１項に記載の装置。
（項目２７）
前記画像生成モジュールは、第１のマッピング関係及び第２のマッピング関係を取得すること、ここで、前記第１のマッピング関係は、前記第２のクロップ済み領域における各位置点及び前記第２の画像における対応する位置点の間のマッピング関係を示し、前記第２のマッピング関係は、前記第４のクロップ済み領域における各位置点及び前記第２のクロップ済み領域における対応する位置点の間のマッピング関係を示す；及び
前記第２の画像、前記第１のマッピング関係、及び前記第２のマッピング関係に基づいて前記第４の画像を取得すること
を行うように具体的に構成されている、項目１６～２６のいずれか１項に記載の装置。
（項目２８）
前記画像生成モジュールは：
前記第１のマッピング関係を前記第２のマッピング関係に結合して、ターゲットマッピング関係を決定すること、ここで、前記ターゲットマッピング関係は、前記第４のクロップ済み領域における各位置点及び前記第２の画像における対応する位置点の間のマッピング関係を含む；及び
前記第２の画像及び前記ターゲットマッピング関係に基づいて前記第４の画像を決定すること
を行うように具体的に構成されている、項目２７に記載の装置。
（項目２９）
前記第１のマッピング関係は、前記第２のマッピング関係とは異なる、項目２７又は２８に記載の装置。
（項目３０）
前記透視歪み補正モジュールは：前記第１のクロップ済み領域に対して光学歪み補正を実行して、補正された第１のクロップ済み領域を取得すること；及び前記補正された第１のクロップ済み領域に対して透視歪み補正を実行することを行うように具体的に構成されており；
前記画像生成モジュールは：前記第３のクロップ済み領域に対して光学歪み補正を実行して、補正された第３のクロップ済み領域を取得すること；及び前記第１の画像及び前記補正された第３のクロップ済み領域に基づいて前記第３の画像を取得することを行うように具体的に構成されており；
前記透視歪み補正モジュールは：前記第２のクロップ済み領域に対して光学歪み補正を実行して、補正された第２のクロップ済み領域を取得すること；及び前記補正された第２のクロップ済み領域に対して透視歪み補正を実行することを行うように具体的に構成されており；又は
前記画像生成モジュールは：前記第４のクロップ済み領域に対して光学歪み補正を実行して、補正された第４のクロップ済み領域を取得すること；及び前記第２の画像及び前記補正された第４のクロップ済み領域に基づいて前記第４の画像を取得することを行うように具体的に構成されている、項目１６～２９のいずれか１項に記載の装置。
（項目３１）
画像処理デバイスであって、前記デバイスは、プロセッサ、メモリ、カメラ、及びバスを備え、
前記プロセッサ、前記メモリ、及び前記カメラは、前記バスを通じて接続され；
前記カメラは、リアルタイムにおいてビデオを取得するように構成されており；
前記メモリは、コンピュータプログラム又は命令を記憶するように構成されており；
前記プロセッサは、前記メモリに記憶された前記プログラム又は前記命令を呼び出すか又は実行するように構成されており、項目１～１５のいずれか１項に記載の方法における段階を実装するように前記カメラを呼び出すように更に構成されている、デバイス。
（項目３２）
プログラムを備えるコンピュータ可読記憶媒体であって、前記プログラムがコンピュータ上で実行されると、前記コンピュータは、項目１～１５のいずれか１項に記載の方法を実行するように有効化される、コンピュータ可読記憶媒体。
（項目３３）
命令を備えるコンピュータプログラム製品であって、前記コンピュータプログラム製品が端末上で実行されると、前記端末は、項目１～１５のいずれか１項に記載の方法を実行するように有効化される、コンピュータプログラム製品。

Claims (33)

  1. 画像処理方法であって、前記方法は、リアルタイムにおいてビデオストリームを取得するために端末によって使用され、前記方法は：
    取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得する段階；
    前記第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得する段階；
    前記第１の画像及び前記第３のクロップ済み領域に基づいて第３の画像を取得する段階；
    取得された第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得する段階、ここで、前記第２のクロップ済み領域は、前記第１のクロップ済み領域及びシェイク情報に関連し、前記シェイク情報は、前記端末が前記第１の画像及び前記第２の画像を取得するプロセスにおいて生じるシェイクを示す；
    前記第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得する段階；
    前記第２の画像及び前記第４のクロップ済み領域に基づいて第４の画像を取得する段階；及び
    前記第３の画像及び前記第４の画像に基づいてターゲットビデオを生成する段階
    を備え、ここで、前記第１の画像及び前記第２の画像は、前記端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである、方法。
  2. 前記第１の画像における前記第１のクロップ済み領域の位置に対する前記第２の画像における前記第２のクロップ済み領域の位置のオフセットの方向は、前記端末が前記第１の画像及び前記第２の画像を取得する前記プロセスにおいて生じる前記シェイクの、像面上のシェイク方向に対して逆である、請求項１に記載の方法。
  3. 前記第１のクロップ済み領域は、前記第１の画像における第１のサブ領域を示し、前記第２のクロップ済み領域は、前記第２の画像における第２のサブ領域を示し；
    前記第１の画像における、前記第１のサブ領域に対応する第１の画像コンテンツ、及び前記第２の画像における、前記第２のサブ領域に対応する第２の画像コンテンツの間の類似度は、前記第１の画像及び前記第２の画像の間の類似度よりも高い、請求項１又は２に記載の方法。
  4. 前記第１のクロップ済み領域に対して透視歪み補正を実行する前記段階の前に、前記方法は：
    前記端末が歪み補正条件を満たすことを検出する段階、及び歪み補正機能を有効化する段階
    を更に備える、請求項１～３のいずれか１項に記載の方法。
  5. 前記端末が歪み補正条件を満たすことを検出する前記段階は：
    前記端末のズーム比が第１の事前設定閾値よりも低いことを検出する段階
    を有する、請求項４に記載の方法。
  6. 前記ズーム比がａ～１の範囲に及ぶ場合、前記端末によって、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得する段階、ここで、前記第１の事前設定閾値は、１よりも高く、ａは、前記前面広角カメラ又は前記背面広角カメラの固定ズーム比であり、ａの値は、０．５～０．９の範囲に及ぶ；又は
    前記ズーム比は、１～ｂの範囲に及ぶ場合、前記端末によって、背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得する段階、ここで、ｂは、前記端末上の背面長焦点カメラの固定ズーム比又は前記端末の最大ズームであり、前記第１の事前設定閾値は、１～１５の範囲に及び、ｂの値は、３～１５の範囲に及ぶ、請求項５に記載の方法。
  7. 前記端末が歪み補正条件を満たすことを検出する前記段階は：
    前記透視歪み補正機能を有効化するためのユーザの第１の有効化動作を検出する段階、ここで、前記第１の有効化動作は、前記端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含み、前記第１のコントロールは、透視歪み補正を有効化又は無効化することを指示するのに使用され、前記第１の動作は、透視歪み補正を有効化することを指示するのに使用される
    を有する、請求項４に記載の方法。
  8. 前記端末が歪み補正条件を満たすことを検出する前記段階は：
    撮影シナリオにおいて人間の顔を識別する段階；
    撮影シナリオにおいて人間の顔を識別する段階、ここで、前記人間の顔及び前記端末の間の距離が事前設定値よりも低い；又は
    撮影シナリオにおいて人間の顔を識別する段階、ここで、前記撮影シナリオに対応する画像における前記人間の顔によって占有されるピクセルの割合は、事前設定割合よりも高い
    を有する、請求項４に記載の方法。
  9. 取得された第１の画像に対して手ブレ補正を実行する前記段階の前に、前記方法は：
    前記端末が手ブレ補正条件を満たすことを検出する段階、及び手ブレ補正機能を有効化する段階
    を更に備える、請求項１～８のいずれか１項に記載の方法。
  10. 前記端末が手ブレ補正条件を満たすことを検出する前記段階は：
    前記端末の前記ズーム比が、前記端末上の、最小ズーム比を有するカメラの固定ズーム比よりも高いことを検出する段階
    を有する、請求項９に記載の方法。
  11. 前記端末が手ブレ補正条件を満たすことを検出する前記段階は：
    前記手ブレ補正機能を有効化するための前記ユーザの第２の有効化動作を検出する段階、ここで、前記第２の有効化動作は、前記端末上の前記撮影インターフェースにおける第２のコントロール上の第２の動作を含み、前記第２のコントロールは、前記手ブレ補正機能を有効化又は無効化することを指示するのに使用され、前記第２の動作は、前記手ブレ補正機能を有効化することを指示するのに使用される
    を有する、請求項１～１０のいずれか１項に記載の方法。
  12. 前記第２の画像及び前記第４のクロップ済み領域に基づいて第４の画像を取得する前記段階は：
    第１のマッピング関係及び第２のマッピング関係を取得する段階、ここで、前記第１のマッピング関係は、前記第２のクロップ済み領域における各位置点及び前記第２の画像における対応する位置点の間のマッピング関係を示し、前記第２のマッピング関係は、前記第４のクロップ済み領域における各位置点及び前記第２のクロップ済み領域における対応する位置点の間のマッピング関係を示す；及び
    前記第２の画像、前記第１のマッピング関係、及び前記第２のマッピング関係に基づいて前記第４の画像を取得する段階
    を有する、請求項１～１１のいずれか１項に記載の方法。
  13. 前記第２の画像、前記第１のマッピング関係、及び前記第２のマッピング関係に基づいて前記第４の画像を取得する段階は：
    前記第１のマッピング関係を前記第２のマッピング関係に結合して、ターゲットマッピング関係を決定する段階、ここで、前記ターゲットマッピング関係は、前記第４のクロップ済み領域における各位置点及び前記第２の画像における対応する位置点の間のマッピング関係を含む；及び
    前記第２の画像及び前記ターゲットマッピング関係に基づいて前記第４の画像を決定する段階
    を含む、請求項１２に記載の方法。
  14. 前記第１のマッピング関係は、前記第２のマッピング関係とは異なる、請求項１２又は１３に記載の方法。
  15. 前記第１のクロップ済み領域に対して透視歪み補正を実行する前記段階は：前記第１のクロップ済み領域に対して光学歪み補正を実行して、補正された第１のクロップ済み領域を取得する段階；及び前記補正された第１のクロップ済み領域に対して透視歪み補正を実行する段階を有し；
    前記第１の画像及び前記第３のクロップ済み領域に基づいて第３の画像を取得する前記段階は：前記第３のクロップ済み領域に対して光学歪み補正を実行して、補正された第３のクロップ済み領域を取得する段階；及び前記第１の画像及び前記補正された第３のクロップ済み領域に基づいて前記第３の画像を取得する段階を有し；
    前記第２のクロップ済み領域に対して透視歪み補正を実行する前記段階は：前記第２のクロップ済み領域に対して光学歪み補正を実行して、補正された第２のクロップ済み領域を取得する段階；及び前記補正された第２のクロップ済み領域に対して透視歪み補正を実行する段階を有し；又は
    前記第２の画像及び前記第４のクロップ済み領域に基づいて第４の画像を取得する前記段階は：前記第４のクロップ済み領域に対して光学歪み補正を実行して、補正された第４のクロップ済み領域を取得する段階；及び前記第２の画像及び前記補正された第４のクロップ済み領域に基づいて前記第４の画像を取得する段階を有する、請求項１～１４のいずれか１項に記載の方法。
  16. 画像処理装置であって、前記装置は、リアルタイムにおいてビデオストリームを取得するために端末によって使用され、前記装置は：
    取得された第１の画像に対して手ブレ補正を実行して、第１のクロップ済み領域を取得するように構成され、取得された第２の画像に対して手ブレ補正を実行して、第２のクロップ済み領域を取得するように更に構成された手ブレ補正モジュール、ここで、前記第２のクロップ済み領域は、前記第１のクロップ済み領域及びシェイク情報に関連し、前記シェイク情報は、前記端末が前記第１の画像及び前記第２の画像を取得するプロセスにおいて生じるシェイクを示し、前記第１の画像及び前記第２の画像は、前記端末によって取得され、かつ時間ドメインにおいて互いに隣接する原画像のペアである；
    前記第１のクロップ済み領域に対して透視歪み補正を実行して、第３のクロップ済み領域を取得するように構成され、前記第２のクロップ済み領域に対して透視歪み補正を実行して、第４のクロップ済み領域を取得するように更に構成された透視歪み補正モジュール；及び
    前記第１の画像及び前記第３のクロップ済み領域に基づいて第３の画像を取得するように構成され、前記第２の画像及び前記第４のクロップ済み領域に基づいて第４の画像を取得し、前記第３の画像及び前記第４の画像に基づいてターゲットビデオを生成するように更に構成された画像生成モジュール
    を備える、装置。
  17. 前記第１の画像における前記第１のクロップ済み領域の位置に対する前記第２の画像における前記第２のクロップ済み領域の位置のオフセットの方向は、前記端末が前記第１の画像及び前記第２の画像を取得する前記プロセスにおいて生じる前記シェイクの、像面上のシェイク方向に対して逆である、請求項１６に記載の装置。
  18. 前記第１のクロップ済み領域は、前記第１の画像における第１のサブ領域を示し、前記第２のクロップ済み領域は、前記第２の画像における第２のサブ領域を示し；
    前記第１の画像における、前記第１のサブ領域に対応する第１の画像コンテンツ、及び前記第２の画像における、前記第２のサブ領域に対応する第２の画像コンテンツの間の類似度は、前記第１の画像及び前記第２の画像の間の類似度よりも高い、請求項１６又は１７に記載の装置。
  19. 前記装置は：
    前記手ブレ補正モジュールが前記取得された第１の画像に対して手ブレ補正を実行する前に、前記端末が歪み補正条件を満たすことを検出し、歪み補正機能を有効化するように構成された第１の検出モジュール
    を更に備える、請求項１６～１８のいずれか１項に記載の装置。
  20. 前記端末が前記歪み補正条件を満たすことを検出することは：
    前記端末のズーム比が第１の事前設定閾値よりも低いことを検出すること
    を有する、請求項１９に記載の装置。
  21. 前記ズーム比がａ～１の範囲に及ぶ場合、前記端末によって、前面広角カメラ又は背面広角カメラを使用することによってリアルタイムにおいてビデオストリームを取得すること、ここで、前記第１の事前設定閾値は、１よりも高く、ａは、前記前面広角カメラ又は前記背面広角カメラの固定ズーム比であり、ａの値は、０．５～０．９の範囲に及ぶ；又は
    前記ズーム比は、１～ｂの範囲に及ぶ場合、前記端末によって、背面メインカメラを使用することによってリアルタイムにおいてビデオストリームを取得すること、ここで、ｂは、前記端末上の背面長焦点カメラの固定ズーム比又は前記端末の最大ズームであり、前記第１の事前設定閾値は、１～１５の範囲に及び、ｂの値は、３～１５の範囲に及ぶ、請求項２０に記載の装置。
  22. 前記端末が前記歪み補正条件を満たすことを検出することは：
    前記透視歪み補正機能を有効化するためのユーザの第１の有効化動作を検出すること、ここで、前記第１の有効化動作は、前記端末上の撮影インターフェースにおける第１のコントロール上の第１の動作を含み、前記第１のコントロールは、透視歪み補正を有効化又は無効化することを指示するのに使用され、前記第１の動作は、透視歪み補正を有効化することを指示するのに使用される
    を有する、請求項１９に記載の装置。
  23. 前記端末が前記歪み補正条件を満たすことを検出することは：
    撮影シナリオにおいて人間の顔を識別すること；
    撮影シナリオにおいて人間の顔を識別すること、ここで、前記人間の顔及び前記端末の間の距離が事前設定値よりも低い；又は
    撮影シナリオにおいて人間の顔を識別すること、ここで、前記撮影シナリオに対応する画像における前記人間の顔によって占有されるピクセルの割合は、事前設定割合よりも高い
    を有する、請求項１９に記載の装置。
  24. 前記装置は：
    前記手ブレ補正モジュールが前記取得された第１の画像に対して手ブレ補正を実行する前に、前記端末が手ブレ補正条件を満たすことを検出し、手ブレ補正機能を有効化するように構成された第２の検出モジュール
    を更に備える、請求項１６～２３のいずれか１項に記載の装置。
  25. 前記端末が前記手ブレ補正条件を満たすことを検出することは：
    前記端末の前記ズーム比が、前記端末上の、最小ズーム比を有するカメラの固定ズーム比よりも高いことを検出すること
    を有する、請求項２４に記載の装置。
  26. 前記端末が前記手ブレ補正条件を満たすことを検出することは：
    前記手ブレ補正機能を有効化するための前記ユーザの第２の有効化動作を検出すること、ここで、前記第２の有効化動作は、前記端末上の前記撮影インターフェースにおける第２のコントロール上の第２の動作を含み、前記第２のコントロールは、前記手ブレ補正機能を有効化又は無効化することを指示するのに使用され、前記第２の動作は、前記手ブレ補正機能を有効化することを指示するのに使用される
    を有する、請求項１６～２５のいずれか１項に記載の装置。
  27. 前記画像生成モジュールは、第１のマッピング関係及び第２のマッピング関係を取得すること、ここで、前記第１のマッピング関係は、前記第２のクロップ済み領域における各位置点及び前記第２の画像における対応する位置点の間のマッピング関係を示し、前記第２のマッピング関係は、前記第４のクロップ済み領域における各位置点及び前記第２のクロップ済み領域における対応する位置点の間のマッピング関係を示す；及び
    前記第２の画像、前記第１のマッピング関係、及び前記第２のマッピング関係に基づいて前記第４の画像を取得すること
    を行うように具体的に構成されている、請求項１６～２６のいずれか１項に記載の装置。
  28. 前記画像生成モジュールは：
    前記第１のマッピング関係を前記第２のマッピング関係に結合して、ターゲットマッピング関係を決定すること、ここで、前記ターゲットマッピング関係は、前記第４のクロップ済み領域における各位置点及び前記第２の画像における対応する位置点の間のマッピング関係を含む；及び
    前記第２の画像及び前記ターゲットマッピング関係に基づいて前記第４の画像を決定すること
    を行うように具体的に構成されている、請求項２７に記載の装置。
  29. 前記第１のマッピング関係は、前記第２のマッピング関係とは異なる、請求項２７又は２８に記載の装置。
  30. 前記透視歪み補正モジュールは：前記第１のクロップ済み領域に対して光学歪み補正を実行して、補正された第１のクロップ済み領域を取得すること；及び前記補正された第１のクロップ済み領域に対して透視歪み補正を実行することを行うように具体的に構成されており；
    前記画像生成モジュールは：前記第３のクロップ済み領域に対して光学歪み補正を実行して、補正された第３のクロップ済み領域を取得すること；及び前記第１の画像及び前記補正された第３のクロップ済み領域に基づいて前記第３の画像を取得することを行うように具体的に構成されており；
    前記透視歪み補正モジュールは：前記第２のクロップ済み領域に対して光学歪み補正を実行して、補正された第２のクロップ済み領域を取得すること；及び前記補正された第２のクロップ済み領域に対して透視歪み補正を実行することを行うように具体的に構成されており；又は
    前記画像生成モジュールは：前記第４のクロップ済み領域に対して光学歪み補正を実行して、補正された第４のクロップ済み領域を取得すること；及び前記第２の画像及び前記補正された第４のクロップ済み領域に基づいて前記第４の画像を取得することを行うように具体的に構成されている、請求項１６～２９のいずれか１項に記載の装置。
  31. 画像処理デバイスであって、前記デバイスは、プロセッサ、メモリ、カメラ、及びバスを備え、
    前記プロセッサ、前記メモリ、及び前記カメラは、前記バスを通じて接続され；
    前記カメラは、リアルタイムにおいてビデオを取得するように構成されており；
    前記メモリは、コンピュータプログラム又は命令を記憶するように構成されており；
    前記プロセッサは、前記メモリに記憶された前記プログラム又は前記命令を呼び出すか又は実行するように構成されており、請求項１～１５のいずれか１項に記載の方法における段階を実装するように前記カメラを呼び出すように更に構成されている、デバイス。
  32. プログラムを備えるコンピュータ可読記憶媒体であって、前記プログラムがコンピュータ上で実行されると、前記コンピュータは、請求項１～１５のいずれか１項に記載の方法を実行するように有効化される、コンピュータ可読記憶媒体。
  33. 命令を備えるコンピュータプログラム製品であって、前記コンピュータプログラム製品が端末上で実行されると、前記端末は、請求項１～１５のいずれか１項に記載の方法を実行するように有効化される、コンピュータプログラム製品。
JP2023559812A 2021-03-29 2022-03-25 画像処理方法及び関連デバイス Pending JP2024513002A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110333994.9 2021-03-29
CN202110333994.9A CN115131222A (zh) 2021-03-29 2021-03-29 一种图像处理方法以及相关设备
PCT/CN2022/082980 WO2022206589A1 (zh) 2021-03-29 2022-03-25 一种图像处理方法以及相关设备

Publications (1)

Publication Number Publication Date
JP2024513002A true JP2024513002A (ja) 2024-03-21

Family

ID=83375540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023559812A Pending JP2024513002A (ja) 2021-03-29 2022-03-25 画像処理方法及び関連デバイス

Country Status (5)

Country Link
US (1) US20240031675A1 (ja)
EP (1) EP4310769A4 (ja)
JP (1) JP2024513002A (ja)
CN (1) CN115131222A (ja)
WO (1) WO2022206589A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7335463B1 (ja) * 2023-01-31 2023-08-29 セーフィー株式会社 携帯用の撮像装置、映像処理システム、映像処理方法、及び映像処理プログラム
CN116074568A (zh) * 2023-02-06 2023-05-05 北京字跳网络技术有限公司 视频弹幕的控制方法、设备及存储介质
CN118102099B (zh) * 2024-04-17 2024-07-23 江西省自然资源事业发展中心 一种自然资源监管视频拍摄防抖方法和装置
CN118474542B (zh) * 2024-07-15 2024-09-17 深圳市浩瀚卓越科技有限公司 云台方位控制方法、装置、设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005005920A (ja) * 2003-06-11 2005-01-06 Nec Viewtechnology Ltd 書画カメラ及びその動作制御方法
JP5590876B2 (ja) * 2009-12-18 2014-09-17 キヤノン株式会社 情報処理装置及びその制御方法並びに撮像装置
WO2015119207A1 (ja) * 2014-02-07 2015-08-13 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP6478504B2 (ja) * 2014-07-16 2019-03-06 キヤノン株式会社 撮像装置およびその制御方法
JP6518115B2 (ja) * 2015-04-13 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
WO2018053486A1 (en) * 2016-09-19 2018-03-22 Radlink, Inc. Composite radiographic image that corrects effects of parallax distortion
CN110830704B (zh) * 2018-08-07 2021-10-22 纳宝株式会社 旋转图像生成方法及其装置
CN112887586B (zh) * 2019-05-06 2022-05-10 苹果公司 用于捕获和管理视觉媒体的用户界面
CN111861932B (zh) * 2020-07-28 2022-05-17 RealMe重庆移动通信有限公司 图像的畸变校正方法、装置及移动终端
CN111988526B (zh) * 2020-08-27 2021-07-27 Oppo（重庆）智能科技有限公司 移动终端及图像数据处理方法
CN112529913B (zh) * 2020-12-14 2024-10-29 北京达佳互联信息技术有限公司 图像分割模型训练方法、图像处理方法及装置

Also Published As

Publication number Publication date
EP4310769A4 (en) 2024-08-28
CN115131222A (zh) 2022-09-30
EP4310769A1 (en) 2024-01-24
US20240031675A1 (en) 2024-01-25
WO2022206589A1 (zh) 2022-10-06

Similar Documents

Publication Publication Date Title
KR102724876B1 (ko) 촬영 방법 및 전자 장치
US11669242B2 (en) Screenshot method and electronic device
US11785329B2 (en) Camera switching method for terminal, and terminal
WO2020073959A1 (zh) 图像捕捉方法及电子设备
EP4304192A2 (en) Photographing method and terminal
WO2020259452A1 (zh) 一种移动终端的全屏显示方法及设备
WO2021017889A1 (zh) 一种应用于电子设备的视频通话的显示方法及相关装置
EP4064684B1 (en) Method for photography in long-focal-length scenario, and terminal
EP4199499A1 (en) Image capture method, graphical user interface, and electronic device
JP2024513002A (ja) 画像処理方法及び関連デバイス
WO2023056795A1 (zh) 快速拍照方法、电子设备及计算机可读存储介质
JP7400095B2 (ja) 表示要素の表示方法及び電子機器
WO2022001258A1 (zh) 多屏显示方法、装置、终端设备及存储介质
EP4020965A1 (en) Photography method and electronic device
WO2022143180A1 (zh) 协同显示方法、终端设备及计算机可读存储介质
WO2021204103A1 (zh) 照片预览方法、电子设备和存储介质
WO2024078275A1 (zh) 一种图像处理的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231106