JP7138769B2 - 画像処理方法、装置及びコンピュータ記憶媒体 - Google Patents

画像処理方法、装置及びコンピュータ記憶媒体 Download PDF

Info

Publication number
JP7138769B2
JP7138769B2 JP2021506036A JP2021506036A JP7138769B2 JP 7138769 B2 JP7138769 B2 JP 7138769B2 JP 2021506036 A JP2021506036 A JP 2021506036A JP 2021506036 A JP2021506036 A JP 2021506036A JP 7138769 B2 JP7138769 B2 JP 7138769B2
Authority
JP
Japan
Prior art keywords
grid control
limb
control surface
image processing
deformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021506036A
Other languages
English (en)
Other versions
JP2021518964A (ja
Inventor
▲劉▼文▲韜▼
▲錢▼晨
Original Assignee
ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド filed Critical ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Publication of JP2021518964A publication Critical patent/JP2021518964A/ja
Application granted granted Critical
Publication of JP7138769B2 publication Critical patent/JP7138769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163Partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/20Contour coding, e.g. using detection of edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Description

(関連出願の相互参照)
本願は、出願番号が201810829498.0であり、出願日が2018年7月25日である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、該中国特許出願の全ての内容が参照によって本願に組み込まれる。
本願は、画像処理技術に関し、具体的には、画像処理方法、装置及びコンピュータ記憶媒体に関する。
インターネット技術の急速な発展に伴い、様々な画像処理ツールが登場してき、例えば、「脚部リシェイプ」、「腕リシェイプ」、「腰部リシェイプ」、「臀部リシェイプ」、「肩部リシェイプ」、「頭部リシェイプ」、「胸部リシェイプ」等の「ボディリシェイプ」によって太くしたり、痩せさせたり、大きくしたり、小さくしたりして、人物の体つきをより完璧にする処理操作を、画像における目標人物に対して実行可能である。
既存の技術的課題を解決するために、本願の実施例は画像処理方法、装置及びコンピュータ記憶媒体を提供する。
上記目的を達成するために、本願の実施例の技術的解決手段は以下のように実現される。
本願の実施例は、
第1画像を取得し、前記第1画像に対してグリッド分割を行って複数のグリッド制御面を取得するステップと、
前記第1画像における目標対象を決定するステップと、
前記複数のグリッド制御面の少なくとも一部のグリッド制御面に基づいて、前記目標対象に対応する少なくとも一部の肢体領域に対して変形処理を行って、第2画像を生成するステップと、を含む画像処理方法を提供する。
本願の選択可能な一実施例では、前記第1画像における目標対象を決定する前記ステップは、
前記第1画像における目標対象の肢体検出情報を取得するステップを含み、前記肢体検出情報は肢体キーポイント情報及び/又は肢体輪郭点情報を含み、
前記肢体キーポイント情報は肢体キーポイントの座標情報を含み、
前記肢体輪郭点情報は肢体輪郭点の座標情報を含む。
本願の選択可能な一実施例では、前記複数のグリッド制御面のうちの少なくとも一部のグリッド制御面に基づいて前記目標対象に対応する少なくとも一部の肢体領域に対して変形処理を行う前記ステップは、
前記目標対象における、変形処理をしようとする少なくとも一部の肢体領域を決定し、前記少なくとも一部の肢体領域の第1肢体検出情報を取得するステップと、
前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行うステップと、を含む。
本願の選択可能な一実施例では、前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行う前記ステップは、
前記第1肢体検出情報に含まれる第1肢体キーポイント情報及び/又は第1肢体輪郭点情報に基づいて、対応する第1組のグリッド制御面を決定するステップであって、前記第1組のグリッド制御面が、少なくとも1つのグリッド制御面を含むステップと、
前記少なくとも1つのグリッド制御面に対して変形処理を行い、前記目標対象に対応する少なくとも一部の肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うステップと、を含む。
本願の選択可能な一実施例では、前記グリッド制御面は第1種のグリッド制御面であり、
前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行う前記ステップは、
前記第1肢体検出情報に対応する少なくとも1つの第1種のグリッド制御面を決定し、第1変形パラメータに基づいて、前記少なくとも1つの第1種のグリッド制御面に対して変形処理を行い、前記目標対象に対応する肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うステップを含む。
本願の選択可能な一実施例では、前記第1種のグリッド制御面は複数の第1種のグリッド制御点を含み、
第1変形パラメータに基づいて前記少なくとも1つの第1種のグリッド制御面に対して変形処理を行う前記ステップは、
第1変形パラメータに基づいて、第1種のグリッド制御面に含まれる複数の第1種のグリッド制御点のうちの少なくとも一部の第1種のグリッド制御点を移動させて、前記第1種のグリッド制御面に対して変形処理を行うステップを含み、
前記複数の第1種のグリッド制御点のうちのいずれか1つのグリッド制御点の移動によって、前記第1種のグリッド制御面の変形が実現される。
本願の選択可能な一実施例では、前記グリッド制御面は第2種のグリッド制御面であり、
前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行う前記ステップは、
前記第1肢体検出情報に対応する少なくとも1つの第2種のグリッド制御面を決定し、第2変形パラメータに基づいて前記少なくとも1つの第2種のグリッド制御面に対して変形処理を行い、前記目標対象に対応する一部の肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うステップを含む。
本願の選択可能な一実施例では、前記第2種のグリッド制御面は複数の第2種のグリッド制御点を含み、
第2変形パラメータに基づいて前記少なくとも1つの第2種のグリッド制御面に対して変形処理を行う前記ステップは、
第2変形パラメータに基づいて、第2種のグリッド制御面に含まれる複数の第2種のグリッド制御点のうちの少なくとも一部の第2種のグリッド制御点を移動させて、前記第2種のグリッド制御面に対して変形処理を行うステップを含み、
前記複数の第2種のグリッド制御点のうちのいずれか1つのグリッド制御点の移動によって、前記第2種のグリッド制御面における前記グリッド制御点に対応する領域の変形が実現される。
本願の実施例は、
第1画像を取得するように構成される取得ユニットと、
前記取得ユニットで取得された前記第1画像に対してグリッド分割を行って複数のグリッド制御面を取得するように構成されるグリッド分割ユニットと、
前記取得ユニットで取得された前記第1画像における目標対象を決定し、前記複数のグリッド制御面の少なくとも一部のグリッド制御面に基づいて、前記目標対象に対応する少なくとも一部の肢体領域に対して変形処理を行って、第2画像を生成するように構成される画像処理ユニットと、を含む画像処理装置を更に提供する。
本願の選択可能な一実施例では、前記画像処理ユニットは、前記第1画像における目標対象の肢体検出情報を取得するように構成され、前記肢体検出情報は肢体キーポイント情報及び/又は肢体輪郭点情報を含み、前記肢体キーポイント情報は肢体キーポイントの座標情報を含み、前記肢体輪郭点情報は肢体輪郭点の座標情報を含む。
本願の選択可能な一実施例では、前記画像処理ユニットは、前記目標対象における、変形処理をしようとする少なくとも一部の肢体領域を決定し、前記少なくとも一部の肢体領域の第1肢体検出情報を取得し、前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行うように構成される。
本願の選択可能な一実施例では、前記画像処理ユニットは、前記第1肢体検出情報に含まれる第1肢体キーポイント情報及び/又は第1肢体輪郭点情報に基づいて、対応する第1組のグリッド制御面を決定し、前記少なくとも1つのグリッド制御面に対して変形処理を行い、前記目標対象に対応する少なくとも一部の肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うように構成され、前記第1組のグリッド制御面が、少なくとも1つのグリッド制御面を含む。
本願の選択可能な一実施例では、前記グリッド制御面は第1種のグリッド制御面であり、
前記画像処理ユニットは、前記第1肢体検出情報に対応する少なくとも1つの第1種のグリッド制御面を決定し、第1変形パラメータに基づいて、前記少なくとも1つの第1種のグリッド制御面に対して変形処理を行い、前記目標対象に対応する肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うように構成される。
本願の選択可能な一実施例では、前記第1種のグリッド制御面は複数の第1種のグリッド制御点を含み、
前記画像処理ユニットは、第1変形パラメータに基づいて、第1種のグリッド制御面に含まれる複数の第1種のグリッド制御点のうちの少なくとも一部の第1種のグリッド制御点を移動させて、前記第1種のグリッド制御面に対して変形処理を行うように構成され、前記複数の第1種のグリッド制御点のうちのいずれか1つのグリッド制御点の移動によって、前記第1種のグリッド制御面の変形が実現される。
本願の選択可能な一実施例では、前記グリッド制御面は第2種のグリッド制御面であり、
前記画像処理ユニットは、前記第1肢体検出情報に対応する少なくとも1つの第2種のグリッド制御面を決定し、第2変形パラメータに基づいて前記少なくとも1つの第2種のグリッド制御面に対して変形処理を行い、前記目標対象に対応する一部の肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うように構成される。
本願の選択可能な一実施例では、前記第2種のグリッド制御面は複数の第2種のグリッド制御点を含み、前記画像処理ユニットは、第2変形パラメータに基づいて、第2種のグリッド制御面に含まれる複数の第2種のグリッド制御点のうちの少なくとも一部の第2種のグリッド制御点を移動させて、前記第2種のグリッド制御面に対して変形処理を行うように構成され、前記複数の第2種のグリッド制御点のうちのいずれか1つのグリッド制御点の移動によって、前記第2種のグリッド制御面における前記グリッド制御点に対応する領域の変形が実現される。
本願の実施例は、コンピュータコマンドが記憶されているコンピュータ読取可能記憶媒体であって、このコマンドがプロセッサにより実行される時に本願の実施例の前記画像処理方法のステップを実現するコンピュータ読取可能記憶媒体を更に提供する。
本願の実施例は、メモリと、プロセッサと、メモリに記憶されている、プロセッサ上で作動可能なコンピュータプログラムと、を含み、前記プロセッサが前記プログラムを実行する時に本願の実施例の前記画像処理方法のステップを実現する画像処理装置を更に提供する。
本願の実施例は、コンピュータコマンドを含むコンピュータプログラムであって、前記コンピュータコマンドがデバイスのプロセッサで作動する時に、上記本願の実施例の前記方法を実現するコンピュータプログラムを更に提供する。
本願の実施例は、画像処理方法、装置及びコンピュータ記憶媒体を提供し、第1画像を取得し、前記第1画像に対してグリッド分割を行って複数のグリッド制御面を取得するステップと、前記第1画像における目標対象を認識するステップと、前記複数のグリッド制御面の少なくとも一部のグリッド制御面に基づいて、前記目標対象に対応する少なくとも一部の肢体領域に対して変形処理を行って、第2画像を生成するステップと、を含む。本願の実施例の技術的解決手段を採用すれば、画像に基づいてグリッド分割を行って複数のグリッド制御面を取得し、グリッド制御面に基づいて目標対象の少なくとも一部の肢体領域に対して変形処理を行うことで、目標対象の肢体領域の自動的調整が実現され、ユーザによる複数回の手動操作が不要になり、ユーザの操作体験が大幅に改善された。
本願の実施例の画像処理方法のフローチャートである。 本願の実施例の画像処理装置の構成の構造模式図である。 本願の実施例の画像処理装置のハードウェア構成の構造模式図である。
以下、図面及び具体的な実施例を参照しながら本発明を更に詳細に説明する。
本願の実施例は画像処理方法を提供する。図1は本願の実施例の画像処理方法のフローチャートであり、図1に示すように、前記方法は、
第1画像を取得し、前記第1画像に対してグリッド分割を行って複数のグリッド制御面を取得するステップ101と、
前記第1画像における目標対象を決定するステップ102と、
前記複数のグリッド制御面の少なくとも一部のグリッド制御面に基づいて、前記目標対象に対応する少なくとも一部の肢体領域に対して変形処理を行って、第2画像を生成するステップ103と、を含む。
本実施例の画像処理方法は、第1画像に対して画像処理を行い、第1画像に対してグリッド分割を行って複数のグリッド制御面を取得する。一実施形態として、前記第1画像をN*M個のグリッド制御面に平均的に分割し、NとMが共にも正整数であり、NとMが同じなものであってもよいし、異なったものであってもよい。別の実施形態として、第1画像における目標対象を中心として、目標対象の所在する矩形領域に対してグリッド分割を行ってから、この矩形領域のグリッド分割粒度に基づいて矩形領域以外の背景領域に対してグリッド分割を行う。
一実施例では、グリッド制御面の数量が、第1画像における目標対象に対応する肢体領域が第1画像に占める割合に関係する。例えば、1つのグリッド制御面が目標対象の一部の肢体領域に対応してよく、例えば1つのグリッド制御面が目標対象の脚部に対応し、又は1つのグリッド制御面が目標対象の胸部と腰部に対応し、それによって目標対象の全体的変形を可能にすると共に、目標対象の局所変形に寄与する。
本実施例では、グリッド制御面を基礎的な変形単位として、目標対象に対応する少なくとも一部の肢体領域に対して処理を行い、即ち、グリッド制御面に対して変形処理を行って目標対象に対応する少なくとも一部の肢体領域の変形を実現する。
本実施例では、前記第1画像における目標対象を認識し、ここで、前記目標対象は被処理対象として、真実な人物であってもよく、画像における真実な人物と理解可能であり、他の実施形態では、仮想人物であってもよい。
本実施例では、第1画像のグリッド分割と第1画像における目標対象の認識の実行順序が本実施例における実行順序に限定されなく、第1画像における目標対象を認識してから第1画像に対してグリッド分割を行って複数のグリッド制御面を取得するようにしてもよい。
本実施例では、前記第1画像における目標対象を決定する前記ステップは、前記第1画像における目標対象の肢体検出情報を取得するステップを含み、前記肢体検出情報は肢体キーポイント情報及び/又は肢体輪郭点情報を含み、前記肢体キーポイント情報は肢体キーポイントの座標情報を含み、前記肢体輪郭点情報は肢体輪郭点の座標情報を含む。
具体的には、前記目標対象に対応する肢体領域は、頭部領域、肩部領域、胸部領域、腰部領域、腕領域、手部領域、臀部領域、脚部領域及び足部領域を含む。前記肢体検出情報は肢体キーポイント情報及び/又は肢体輪郭点情報を含み、前記肢体キーポイント情報は肢体キーポイントの座標情報を含み、前記肢体輪郭点情報は肢体輪郭点の座標情報を含む。ここで、前記肢体輪郭点は、目標対象の肢体領域の肢体輪郭を表し、即ち前記肢体輪郭点の座標情報によって目標対象の肢体輪郭縁部を形成可能である。ここで、前記肢体輪郭点は、腕輪郭点、手部輪郭点、肩部輪郭点、脚部輪郭点、足部輪郭点、腰部輪郭点、頭部輪郭点、臀部輪郭点、胸部輪郭点の中の少なくとも1種を含む。ここで、前記肢体キーポイントは目標対象の骨格を表すキーポイントであり、即ち、前記肢体キーポイントの座標情報によって肢体キーポイントを連結すれば目標対象の主要骨格を形成可能である。ここで、前記肢体キーポイントは、腕キーポイント、手部キーポイント、肩部キーポイント、脚部キーポイント、足部キーポイント、腰部キーポイント、頭部キーポイント、臀部キーポイント、胸部キーポイントの中の少なくとも1種を含む。
そのように、本実施例では、画像認識アルゴリズムによって第1画像における目標対象を認識し、更に目標対象の肢体検出情報を決定する。
本実施例では、前記複数のグリッド制御面のうちの少なくとも一部のグリッド制御面に基づいて前記目標対象に対応する少なくとも一部の肢体領域に対して変形処理を行う前記ステップは、前記目標対象における、変形処理をしようとする少なくとも一部の肢体領域を決定し、前記少なくとも一部の肢体領域の第1肢体検出情報を取得するステップと、前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行うステップと、を含む。
ここで、前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行う前記ステップは、前記第1肢体検出情報に含まれる第1肢体キーポイント情報及び/又は第1肢体輪郭点情報に基づいて、対応する第1組のグリッド制御面を決定するステップであって、前記第1組のグリッド制御面が、少なくとも1つのグリッド制御面を含むステップと、前記少なくとも1つのグリッド制御面に対して変形処理を行い、前記目標対象に対応する少なくとも一部の肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うステップと、を含む。
ここで、まず目標対象における変形処理をしようとする少なくとも一部の肢体領域を決定し、例えば変形処理をしようとするのは腰部領域、脚部領域等であってもよく、目標対象の肢体領域(即ち、目標対象の肢体領域全体)であってもよく、更に変形処理をしようとする少なくとも一部の肢体領域に基づいて第1肢体検出情報を決定し、具体的には変形処理をしようとする少なくとも一部の肢体領域の肢体キーポイントの座標情報及び/又は肢体輪郭点の座標情報を決定し、少なくとも一部の肢体領域の肢体キーポイントの座標情報及び/又は肢体輪郭点の座標情報に基づいて、この少なくとも一部の肢体領域に対応する第1組のグリッド制御面を決定し、第1組のグリッド制御面が、少なくとも1つのグリッド制御面を含み、即ち、前記少なくとも一部の肢体領域に対応する少なくとも1つのグリッド制御面を決定し、以上から理解できるように、前記少なくとも一部の肢体領域が前記少なくとも1つのグリッド制御面に対応する領域内にある。
本実施例では、グリッド制御面が初期状態で矩形となり、グリッド制御面に更に複数の仮想制御点(又は制御線)を有し、制御点(又は制御線)を移動させることでグリッド制御面を構成する各制御線の曲率を変更し、それによってグリッド制御面の変形処理を実現し、以上から理解できるように、変形処理後のグリッド制御面が曲面になる。
一実施形態として、前記グリッド制御面は第1種のグリッド制御面であり、
前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行う前記ステップは、前記第1肢体検出情報に対応する少なくとも1つの第1種のグリッド制御面を決定し、第1変形パラメータに基づいて、前記少なくとも1つの第1種のグリッド制御面に対して変形処理を行い、前記目標対象に対応する肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うステップを含む。
ここで、前記第1種のグリッド制御面は複数の第1種のグリッド制御点を含み、第1変形パラメータに基づいて前記少なくとも1つの第1種のグリッド制御面に対して変形処理を行う前記ステップは、第1変形パラメータに基づいて、第1種のグリッド制御面に含まれる複数の第1種のグリッド制御点のうちの少なくとも一部の第1種のグリッド制御点を移動させて、前記第1種のグリッド制御面に対して変形処理を行うステップを含み、前記複数の第1種のグリッド制御点のうちのいずれか1つのグリッド制御点の移動によって、前記第1種のグリッド制御面の変形が実現される。
具体的には、前記第1種のグリッド制御面は、ベジェ曲線(Bezier curve)で形成されたベジェ曲面であってよい。ベジェ曲線は複数の制御点を有してよく、以上から理解できるように、ベジェ曲面は複数のベジェ曲線で形成されてよい。任意のベジェ曲線に対応する複数の制御点のうちの少なくとも一部の制御点を移動させることでベジェ曲線の変形処理が可能になり、以上から理解できるように、複数本のベジェ曲線の制御点を移動させることで複数本のベジェ曲線で形成されたベジェ曲面に対応する肢体領域の変形処理が可能になる。ここで、ベジェ曲面の複数の制御点のうちのいずれか1つの制御点が移動した場合、ベジェ曲面の全体に対して変形を実現することができる。
ここで、目標対象の肢体領域全体の変形処理において、第1変形パラメータを参照して少なくとも1つの第1種のグリッド制御面に対して変形処理を行い、即ち第1種のグリッド制御面における、調整対象となる第1種のグリッド制御点に対して、第1種の変形パラメータによって変形処理を行うことで、目標対象の肢体領域全体を同一の変形パラメータで変形させることを実現し、例えば、肢体領域全体を全体的に20%圧縮し(「痩せる」)、ここの20%はオリジナルデータに対するものであり、以上から理解できるように、腰部の幅は変形前の腰部幅より20%圧縮され、脚部の幅は変形前の脚部幅より20%等圧縮された。
本実施形態は、ベジェ曲面によって目標対象の肢体領域全体に対して変形処理を行って、目標対象の肢体領域全体の変形を全体的に円滑にすることに適する。
別の実施形態として、前記グリッド制御面は第2種のグリッド制御面であり、
前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行う前記ステップは、前記第1肢体検出情報に対応する少なくとも1つの第2種のグリッド制御面を決定し、第2変形パラメータに基づいて前記少なくとも1つの第2種のグリッド制御面に対して変形処理を行い、前記目標対象に対応する一部の肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うステップを含む。
ここで、前記第2種のグリッド制御面は複数の第2種のグリッド制御点を含み、第2変形パラメータに基づいて前記少なくとも1つの第2種のグリッド制御面に対して変形処理を行う前記ステップは、第2変形パラメータに基づいて、第2種のグリッド制御面に含まれる複数の第2種のグリッド制御点のうちの少なくとも一部の第2種のグリッド制御点を移動させて、前記第2種のグリッド制御面に対して変形処理を行うステップを含み、前記複数の第2種のグリッド制御点のうちのいずれか1つのグリッド制御点の移動によって、前記第2種のグリッド制御面における前記グリッド制御点に対応する領域の変形が実現される。
具体的には、前記第2種のグリッド制御面はcatmull romスプライン曲線で形成されるcatmull rom曲面である。catmull romスプライン曲線は複数の制御点を有してよく、以上から理解できるように、catmull rom曲面は複数のcatmull romスプライン曲線で形成されてよい。任意のcatmull romスプライン曲線に対応する複数の制御点のうちの少なくとも一部の制御点を移動させることでcatmull romスプライン曲線の変形処理を実現し、以上から理解できるように、複数本のcatmull romスプライン曲線の制御点を移動させることで複数本のcatmull romスプライン曲線で形成されたcatmull rom曲面に対応する肢体領域の局所変形処理が実現される。
本実施例における第1種のグリッド制御面と第2種のグリッド制御面は以下の点で相違する。第1種のグリッド制御面がベジェ曲面であり、第2種のグリッド制御面がcatmull rom曲面であることを例とすると、ベジェ曲面又はcatmull rom曲面に基づく変形処理過程で、第1種のグリッド制御点がベジェ曲面を形成したベジェ曲線に存在せず、第1種のグリッド制御点を移動させることでベジェ曲線の曲率を変更し、以上から理解できるように、第1種のグリッド制御点を移動させることで対応するベジェ曲線の大範囲の曲率を変更でき、それによってベジェ曲面の全体的変形処理を実現できる。第2種のグリッド制御点がcatmull rom曲面を形成したcatmull rom曲線に存在し、第2種のグリッド制御点を移動させることで第2種のグリッド制御点のcatmull rom曲線での所在位置の曲率及び/又は位置を変更し、以上から理解できるように、第2種のグリッド制御点を移動させることで対応するcatmull rom曲線におけるある点又はこの点の近傍の曲線の曲率を変更でき、それによってcatmull rom曲面における局所領域の変形処理を実現できる。
以上から理解できるように、catmull rom曲面の変形処理によって、目標対象の一部の肢体領域の変形を実現することで、局所変形をより精確にして画像処理の効果を高めることができる。
ここで、第2変形パラメータを参照して少なくとも1つの第2種のグリッド制御面に対して変形処理を行うことによって、目標対象に対応する一部の肢体領域の変形処理を実現する。ここで、異なる肢体領域に対応する第2変形パラメータは同じであっても異なってもよく、それによって異なる肢体領域に異なる変形効果を持たせる。例えば、腰部の幅が変形前の腰部幅より20%圧縮され、脚部の幅が変形前の脚部幅より10%圧縮される。
本願の実施例では、上記第1種のグリッド制御面を採用するか、其れとも第2種のグリッド制御面を採用するかを問わず、変形処理をしようとする少なくとも一部の肢体領域及び変形処理種類(例えば、圧縮処理か、引き伸ばし処理か)に応じて、グリッド制御面における移動されるグリッド制御点を決定し、更に対応する変形パラメータによって決定されたグリッド制御点を移動させる必要がある。
一実施例において、本願の実施例の画像処理過程で基準パラメータが設定されてあり、一実施形態として、前記基準パラメータは、処理後の目標対象の肢体領域が満たすパラメータを表し、即ち、本願の実施例の画像処理手段を用いて、肢体領域を変形処理した後に、肢体領域が前記基準パラメータを満たすようになったら、肢体領域の変形処理を終了することであり、別の実施形態として、前記基準パラメータは、目標対象の肢体領域の調整割合を表し、即ち、本願の実施例の画像処理手段を用いて肢体領域を処理した後に、肢体領域の調整変化量が前記調整割合を満たすようにする。それに基づいて、本願の実施例は、この基準パラメータに基づいて変形パラメータ(第1変形パラメータ又は第2変形パラメータを含む)を決定可能である。
本願の実施例では、少なくとも一部のグリッド制御面の変形処理は、少なくとも一部の肢体領域の変形を実現すると共に、グリッド制御面に対応する少なくとも一部の肢体領域以外の少なくとも一部の背景領域の変形を実現した。
本願の実施例の技術的解決手段を採用すれば、画像に基づいてグリッド分割を行って複数のグリッド制御面を取得し、グリッド制御面に基づいて目標対象の少なくとも一部の肢体領域に対して変形処理を行うことで、目標対象の肢体領域の自動的調整が実現され、ユーザによる複数回の手動操作が不要になり、ユーザの操作体験が大幅に改善された。
本願の実施例は画像処理装置を更に提供する。図2は本願の実施例の画像処理装置の構成の構造模式図であり、図2に示すように、前記装置は、
第1画像を取得するように構成される取得ユニット21と、
前記取得ユニット21で取得された前記第1画像に対してグリッド分割を行って複数のグリッド制御面を取得するように構成されるグリッド分割ユニット22と、
前記取得ユニット21で取得された前記第1画像における目標対象を決定し、前記複数のグリッド制御面の少なくとも一部のグリッド制御面に基づいて、前記目標対象に対応する少なくとも一部の肢体領域に対して変形処理を行って、第2画像を生成するように構成される画像処理ユニット23と、を含む。
本実施例では、前記画像処理ユニット23は、前記第1画像における目標対象の肢体検出情報を取得するように構成され、前記肢体検出情報は肢体キーポイント情報及び/又は肢体輪郭点情報を含み、前記肢体キーポイント情報は肢体キーポイントの座標情報を含み、前記肢体輪郭点情報は肢体輪郭点の座標情報を含む。
本実施例では、前記画像処理ユニット23は、前記目標対象における、変形処理をしようとする少なくとも一部の肢体領域を決定し、前記少なくとも一部の肢体領域の第1肢体検出情報を取得し、前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行うように構成される。
本実施例では、前記画像処理ユニット23は、前記第1肢体検出情報に含まれる第1肢体キーポイント情報及び/又は第1肢体輪郭点情報に基づいて、対応する第1組のグリッド制御面を決定し、前記少なくとも1つのグリッド制御面に対して変形処理を行い、前記目標対象に対応する少なくとも一部の肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うように構成され、前記第1組のグリッド制御面が、少なくとも1つのグリッド制御面を含む。
一実施例では、前記グリッド制御面は第1種のグリッド制御面であり、
前記画像処理ユニット23は、前記第1肢体検出情報に対応する少なくとも1つの第1種のグリッド制御面を決定し、第1変形パラメータに基づいて、前記少なくとも1つの第1種のグリッド制御面に対して変形処理を行い、前記目標対象に対応する肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うように構成される。
ここで、前記第1種のグリッド制御面は複数の第1種のグリッド制御点を含み、
前記画像処理ユニット23は、第1変形パラメータに基づいて、第1種のグリッド制御面に含まれる複数の第1種のグリッド制御点のうちの少なくとも一部の第1種のグリッド制御点を移動させて、前記第1種のグリッド制御面に対して変形処理を行うように構成され、前記複数の第1種のグリッド制御点のうちのいずれか1つのグリッド制御点の移動によって、前記第1種のグリッド制御面の変形が実現される。
別の実施例では、前記グリッド制御面は第2種のグリッド制御面であり、
前記画像処理ユニット23は、前記第1肢体検出情報に対応する少なくとも1つの第2種のグリッド制御面を決定し、第2変形パラメータに基づいて前記少なくとも1つの第2種のグリッド制御面に対して変形処理を行い、前記目標対象に対応する一部の肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うように構成される。
ここで、前記第2種のグリッド制御面は複数の第2種のグリッド制御点を含み、
前記画像処理ユニット23は、第2変形パラメータに基づいて、第2種のグリッド制御面に含まれる複数の第2種のグリッド制御点のうちの少なくとも一部の第2種のグリッド制御点を移動させて、前記第2種のグリッド制御面に対して変形処理を行うように構成され、前記複数の第2種のグリッド制御点のうちのいずれか1つのグリッド制御点の移動によって、前記第2種のグリッド制御面における前記グリッド制御点に対応する領域の変形が実現される。
本願の実施例では、前記装置における取得ユニット21、グリッド分割ユニット22及び画像処理ユニット23は、実際に応用するに際して、いずれも中央処理装置(CPU、Central Processing Unit)、デジタル信号プロセッサ(DSP、Digital Signal Processor)、マイクロコントローラーユニット(MCU、Microcontroller Unit)又は、フィールドプログラマブルゲートアレイ(FPGA、Field-Programmable Gate Array)によって実現可能である。
本願の実施例は画像処理装置を更に提供し、図3は本願の実施例の画像処理装置のハードウェア構成の構造模式図であり、図3に示すように、画像処理装置は、メモリ32と、プロセッサ31と、メモリ32に記憶されている、プロセッサ31上で作動可能なコンピュータプログラムと、を含み、前記プロセッサ31が前記プログラムを実行する時に本願の実施例の前記のいずれか一項に記載の画像処理方法を実現する。
画像処理装置における各コンポーネントがバスシステム33によって接続されてよいことが理解可能である。バスシステム33がこれらのコンポーネントの間の接続通信を実現するためのものであることが理解可能である。バスシステム33はデータバスに加えて、更に電源バス、制御バス及び状態信号バスを含む。ただし、説明を明瞭にするために、図3において各種のバスがすべてバスシステム33とされている。
メモリ32は揮発性メモリ又は不揮発性メモリであってもよく、揮発性及び不揮発性メモリの両方を含んでもよいことが理解可能である。ここで、不揮発性メモリは、読み出し専用メモリ(ROM、Read Only Memory)、プログラマブル読み出し専用メモリ(PROM、Programmable Read-Only Memory)、消去可能プログラマブル読み出し専用メモリ(EPROM、Erasable Programmable Read-Only Memory)、電気的消去可能なプログラマブル読み出し専用メモリ(EEPROM、Electrically Erasable Programmable Read-Only Memory)、磁気ランダムアクセスメモリ(FRAM(登録商標)、ferromagnetic random access memory)、フラッシュメモリ(Flash Memory)、磁性面メモリ、光ディスク又はシーディーロム(CD-ROM、Compact Disc Read-Only Memory)であってよく、磁性面メモリは磁気ディスクメモリ又は磁気テープメモリであってよい。揮発性メモリはランダムアクセスメモリ(RAM、Random Access Memory)であってよく、外部キャッシュとして用いられる。例示的なものであり限定する意図がない説明によれば、例えば、スタティックランダムアクセスメモリ(SRAM、Static Random Access Memory)、同期スタティックランダムアクセスメモリ(SSRAM、Synchronous Static Random Access Memory)、ダイナミックランダムアクセスメモリ(DRAM、Dynamic Random Access Memory)、同期ダイナミックランダムアクセスメモリ(SDRAM、Synchronous Dynamic Random Access Memory)、ダブルデータレート同期ダイナミックランダムアクセスメモリ(DDRSDRAM、Double Data Rate Synchronous Dynamic Random Access Memory)、強化型同期ダイナミックランダムアクセスメモリ(ESDRAM、Enhanced Synchronous Dynamic Random Access Memory)、同期接続ダイナミックランダムアクセスメモリ(SLDRAM、SyncLink Dynamic Random Access Memory)、ダイレクトラムバスランダムアクセスメモリ(DRRAM(登録商標)、Direct Rambus Random Access Memory)のような多くの形のRAMが使用可能である。本願の実施例に記載のメモリ32は、これらのメモリ及び他のいかなる適切なメモリを含むが、それらに限定されない。
上記の本願の実施例で開示された方法は、プロセッサ31に用いることができ、又はプロセッサ31によって実現することができる。プロセッサ31は信号処理能力を有する集積回路チップであってよい。実施過程では、上記方法の各ステップはプロセッサ31のハードウェアの集積論理回路又はソフトウェア形態のコマンドによって完成可能である。上記プロセッサ31は共通プロセッサ、DSPまたは他のプログラマブル論理デバイス、離散ゲートまたはトランジスタ論理デバイス、離散ハードウェアコンポーネント等であってもよい。プロセッサ31は、本願の実施例で開示された各方法、ステップ及び論理ブロック図を実現又は実行することができる。共通プロセッサは、マイクロプロセッサ又はいかなる一般のプロセッサ等であってもよい。本願の実施例で開示された方法のステップによれば、ハードウェア復号プロセッサにより実行、完成し、又は復号プロセッサ中のハードウェア及びソフトウェアモジュールの組合により実行、完成するように直接体現することができる。ソフトウェアモジュールは記憶媒体にあってもよく、該記憶媒体はメモリ32に位置し、プロセッサ31はメモリ32中の情報を読み取り、そのハードウェアと組み合わせて上記方法のステップを完成する。
上記実施例で提供された画像処理装置によって画像処理を行う時に、上述したように分割した各プログラムモジュールを例にして説明したが、実用において、必要に応じて上記処理を異なるプログラムモジュールによって完了するように割り当ててもよく、即ち装置の内部構造を異なるプログラムモジュールに分割して上述した全てまたは一部の処理を完了するようにしてもよいことを説明する必要がある。なお、上記実施例で提供された画像処理装置及び画像処理方法の実施例が同じ構想によるものであり、その具体的な実施過程の詳細については方法の実施例を参照し、ここで重複説明を省略する。
例示的な実施例では、本願の実施例はさらにコンピュータ読み取り可能な記憶媒体、例えば、画像処理装置内のプロセッサ31によって実行して、前記方法の前記ステップを完了することができるコンピュータプログラムを含むメモリ32を提供する。コンピュータ読み取り可能な記憶媒体はFRAM(登録商標)、ROM、PROM、EPROM、EEPROM、Flash Memory、磁性面記憶装置、光ディスク、またはCD-ROMなどのメモリであってもよく、また上記メモリの一つまたは任意の組み合わせを含む様々な機器、例えば携帯電話、コンピュータ、タブレットデバイス、携帯情報端末などであってもよい。
本願の実施例は、コンピュータコマンドが記憶されているコンピュータ読取可能記憶媒体であって、このコマンドがプロセッサにより実行される時に本願の実施例の前記のいずれか一項に記載の画像処理方法を実現するコンピュータ読取可能記憶媒体を更に提供する。
本願の実施例は、コンピュータ読取可能コマンドを含むコンピュータプログラムであって、このコンピュータ読取可能コマンドが機器上で作動する時に、この機器におけるプロセッサが本願の上記のいずれか1つの実施例の方法のステップを実現するための実行可能コマンドを実行するコンピュータプログラムを更に提供する。
なお、本願が提供するいくつかの実施例では、開示した装置および方法は、他の形態で実現することができることを理解すべきである。以上に記載の機器の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニットまたはコンポーネントは組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した各構成要素の結合、または直接結合、または通信接続は、いくつかのインタフェース、機器またはユニットを介した間接結合または通信接続であり得、電気的、機械的または他の形態であり得る。
別々の部材として前述したユニットは物理的に分離されてもされなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよく、本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる。
また、本願の各実施例における各機能ユニットは全て一つの処理ユニットに統合されてもよいし、一つのユニットとして別々に使用されてもよいし、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形で、またはハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現され得る。
当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、携帯型記憶装置、ROM、RAM、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記各方法の実施例を含むステップを実行する。
あるいは、本願の上記統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売または使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本願の実施例の技術的解決手段は実質的にまたは従来技術に寄与する部分がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器(パーソナルコンピュータ、サーバ、またはネットワーク機器などであってもよい)に本願の各実施例の前記方法の全てまたは一部を実行させる複数の命令を含む。前記記憶媒体は、携帯型記憶装置、ROM、RAM、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。
以上で説明したのは本願の具体的な実施形態に過ぎず、本願の保護範囲がそれに限定されるものでなく、本願に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本願の保護範囲に含まれる。従って、本願の保護範囲は請求項の保護範囲に準ずるべきである。

Claims (17)

  1. 画像処理方法であって、
    第1画像を取得し、前記第1画像に対してグリッド分割を行って複数のグリッド制御面を取得するステップと、
    前記第1画像における目標対象を決定するステップと、
    前記複数のグリッド制御面の少なくとも一部のグリッド制御面に基づいて、前記目標対象に対応する少なくとも一部の肢体領域に対して変形処理を行って、第2画像を生成するステップ
    を含み、
    前記第1画像における目標対象を決定するステップは、前記第1画像における目標対象の肢体検出情報を取得するステップを含み、
    前記肢体検出情報は、肢体キーポイント情報及び/又は肢体輪郭点情報を含み、
    前記肢体キーポイント情報は、肢体キーポイントの座標情報を含み、
    前記肢体輪郭点情報は、肢体輪郭点の座標情報を含む、画像処理方法。
  2. 前記複数のグリッド制御面のうちの少なくとも一部のグリッド制御面に基づいて前記目標対象に対応する少なくとも一部の肢体領域に対して変形処理を行ステップは、
    前記目標対象における、変形処理をしようとする少なくとも一部の肢体領域を決定し、前記少なくとも一部の肢体領域の第1肢体検出情報を取得するステップと、
    前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行うステップ
    を含む請求項に記載の画像処理方法。
  3. 前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行ステップは、
    前記第1肢体検出情報に含まれる第1肢体キーポイント情報及び/又は第1肢体輪郭点情報に基づいて、対応する第1組のグリッド制御面を決定するステップであって、前記第1組のグリッド制御面が、少なくとも1つのグリッド制御面を含むステップと、
    前記少なくとも1つのグリッド制御面に対して変形処理を行い、前記目標対象に対応する少なくとも一部の肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うステップ
    を含む請求項に記載の画像処理方法。
  4. 前記グリッド制御面は第1種のグリッド制御面であり、
    前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行ステップは、
    前記第1肢体検出情報に対応する少なくとも1つの第1種のグリッド制御面を決定し、第1変形パラメータに基づいて、前記少なくとも1つの第1種のグリッド制御面に対して変形処理を行い、前記目標対象に対応する肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うステップを含む請求項又はに記載の画像処理方法。
  5. 前記第1種のグリッド制御面は複数の第1種のグリッド制御点を含み、
    第1変形パラメータに基づいて前記少なくとも1つの第1種のグリッド制御面に対して変形処理を行ステップは、
    第1変形パラメータに基づいて、第1種のグリッド制御面に含まれる複数の第1種のグリッド制御点のうちの少なくとも一部の第1種のグリッド制御点を移動させて、前記第1種のグリッド制御面に対して変形処理を行うステップを含み、
    前記複数の第1種のグリッド制御点のうちのいずれか1つのグリッド制御点の移動によって、前記第1種のグリッド制御面の変形が実現される請求項に記載の画像処理方法。
  6. 前記グリッド制御面は第2種のグリッド制御面であり、
    前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行ステップは、
    前記第1肢体検出情報に対応する少なくとも1つの第2種のグリッド制御面を決定し、第2変形パラメータに基づいて前記少なくとも1つの第2種のグリッド制御面に対して変形処理を行い、前記目標対象に対応する一部の肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うステップを含む請求項又はに記載の画像処理方法。
  7. 前記第2種のグリッド制御面は複数の第2種のグリッド制御点を含み、
    第2変形パラメータに基づいて前記少なくとも1つの第2種のグリッド制御面に対して変形処理を行ステップは、
    第2変形パラメータに基づいて、第2種のグリッド制御面に含まれる複数の第2種のグリッド制御点のうちの少なくとも一部の第2種のグリッド制御点を移動させて、前記第2種のグリッド制御面に対して変形処理を行うステップを含み、
    前記複数の第2種のグリッド制御点のうちのいずれか1つのグリッド制御点の移動によって、前記第2種のグリッド制御面における前記グリッド制御点に対応する領域の変形が実現される請求項に記載の画像処理方法。
  8. 画像処理装置であって、
    第1画像を取得するように構成される取得ユニットと、
    前記取得ユニットで取得された前記第1画像に対してグリッド分割を行って複数のグリッド制御面を取得するように構成されるグリッド分割ユニットと、
    前記取得ユニットで取得された前記第1画像における目標対象を決定し、前記複数のグリッド制御面の少なくとも一部のグリッド制御面に基づいて、前記目標対象に対応する少なくとも一部の肢体領域に対して変形処理を行って、第2画像を生成するように構成される画像処理ユニット
    を含み、
    前記画像処理ユニットは、前記第1画像における目標対象の肢体検出情報を取得するように構成され、
    前記肢体検出情報は、肢体キーポイント情報及び/又は肢体輪郭点情報を含み、
    前記肢体キーポイント情報は、肢体キーポイントの座標情報を含み、
    前記肢体輪郭点情報は、肢体輪郭点の座標情報を含む、画像処理装置。
  9. 前記画像処理ユニットは、前記目標対象における、変形処理をしようとする少なくとも一部の肢体領域を決定し、前記少なくとも一部の肢体領域の第1肢体検出情報を取得し、前記第1肢体検出情報に対応する第1組のグリッド制御面を決定し、前記第1組のグリッド制御面に対して変形処理を行うように構成される請求項に記載の画像処理装置。
  10. 前記画像処理ユニットは、前記第1肢体検出情報に含まれる第1肢体キーポイント情報及び/又は第1肢体輪郭点情報に基づいて、対応する第1組のグリッド制御面を決定し、前記少なくとも1つのグリッド制御面に対して変形処理を行い、前記目標対象に対応する少なくとも一部の肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うように構成され、前記第1組のグリッド制御面が、少なくとも1つのグリッド制御面を含む請求項に記載の画像処理装置。
  11. 前記グリッド制御面は第1種のグリッド制御面であり、
    前記画像処理ユニットは、前記第1肢体検出情報に対応する少なくとも1つの第1種のグリッド制御面を決定し、第1変形パラメータに基づいて、前記少なくとも1つの第1種のグリッド制御面に対して変形処理を行い、前記目標対象に対応する肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うように構成される請求項又は10に記載の画像処理装置。
  12. 前記第1種のグリッド制御面は複数の第1種のグリッド制御点を含み、
    前記画像処理ユニットは、第1変形パラメータに基づいて、第1種のグリッド制御面に含まれる複数の第1種のグリッド制御点のうちの少なくとも一部の第1種のグリッド制御点を移動させて、前記第1種のグリッド制御面に対して変形処理を行うように構成され、前記複数の第1種のグリッド制御点のうちのいずれか1つのグリッド制御点の移動によって、前記第1種のグリッド制御面の変形が実現される請求項11に記載の画像処理装置。
  13. 前記グリッド制御面は第2種のグリッド制御面であり、
    前記画像処理ユニットは、前記第1肢体検出情報に対応する少なくとも1つの第2種のグリッド制御面を決定し、第2変形パラメータに基づいて前記少なくとも1つの第2種のグリッド制御面に対して変形処理を行い、前記目標対象に対応する一部の肢体領域に対して圧縮又は引き伸ばしを行い、前記目標対象以外の少なくとも一部の背景領域に対して圧縮又は引き伸ばしを行うように構成される請求項又は10に記載の画像処理装置。
  14. 前記第2種のグリッド制御面は複数の第2種のグリッド制御点を含み、
    前記画像処理ユニットは、第2変形パラメータに基づいて、第2種のグリッド制御面に含まれる複数の第2種のグリッド制御点のうちの少なくとも一部の第2種のグリッド制御点を移動させて、前記第2種のグリッド制御面に対して変形処理を行うように構成され、前記複数の第2種のグリッド制御点のうちのいずれか1つのグリッド制御点の移動によって、前記第2種のグリッド制御面における前記グリッド制御点に対応する領域の変形が実現される請求項13に記載の画像処理装置。
  15. コンピュータコマンドが記憶されているコンピュータ読可能記憶媒体であって、前記コンピュータコマンドは、プロセッサによって実行されると、請求項1~7のいずれか一項に記載の画像処理方法実現するコンピュータ読可能記憶媒体。
  16. 画像処理装置であって、
    前記画像処理装置は、メモリプロセッサとを含み、前記メモリには、前記プロセッサ上で作動可能なコンピュータプログラムが記憶されており、
    前記プロセッサは、前記コンピュータプログラムを実行することにより、請求項1~7のいずれか一項に記載の画像処理方法実現する画像処理装置。
  17. コンピュータプログラムであって請求項1~7のいずれか一項に記載の画像処理方法を実行することをデバイスのプロセッサに行わせるコンピュータプログラム。
JP2021506036A 2018-07-25 2019-06-21 画像処理方法、装置及びコンピュータ記憶媒体 Active JP7138769B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810829498.0A CN110766607A (zh) 2018-07-25 2018-07-25 一种图像处理方法、装置和计算机存储介质
CN201810829498.0 2018-07-25
PCT/CN2019/092353 WO2020019915A1 (zh) 2018-07-25 2019-06-21 一种图像处理方法、装置和计算机存储介质

Publications (2)

Publication Number Publication Date
JP2021518964A JP2021518964A (ja) 2021-08-05
JP7138769B2 true JP7138769B2 (ja) 2022-09-16

Family

ID=69181302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021506036A Active JP7138769B2 (ja) 2018-07-25 2019-06-21 画像処理方法、装置及びコンピュータ記憶媒体

Country Status (6)

Country Link
US (1) US20210097268A1 (ja)
JP (1) JP7138769B2 (ja)
KR (1) KR20200133778A (ja)
CN (1) CN110766607A (ja)
SG (1) SG11202010404WA (ja)
WO (1) WO2020019915A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145084B (zh) * 2019-12-25 2023-06-16 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
AU2021292396A1 (en) 2020-06-17 2023-02-02 Affirm Medical Technologies Ii, Llc. Universal respiratory detector
CN112651931B (zh) * 2020-12-15 2024-04-26 浙江大华技术股份有限公司 建筑物变形监测方法、装置和计算机设备
CN114913549B (zh) * 2022-05-25 2023-07-07 北京百度网讯科技有限公司 图像处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010176588A (ja) 2009-01-30 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 端末装置、画像処理方法及びプログラム
JP2011259053A (ja) 2010-06-07 2011-12-22 Olympus Imaging Corp 画像処理装置および画像処理方法
CN104537608A (zh) 2014-12-31 2015-04-22 深圳市中兴移动通信有限公司 一种图像处理的方法及其装置
JP2016174323A (ja) 2015-03-18 2016-09-29 カシオ計算機株式会社 画像補正装置、画像補正方法、及びプログラム
CN107592708A (zh) 2017-10-25 2018-01-16 成都塞普奇科技有限公司 一种led用电源电路

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3463125B2 (ja) * 1993-12-24 2003-11-05 カシオ計算機株式会社 画像変形方法およびその装置
JP5240795B2 (ja) * 2010-04-30 2013-07-17 オムロン株式会社 画像変形装置、電子機器、画像変形方法、および画像変形プログラム
CN102541488B (zh) * 2010-12-09 2015-02-04 深圳华强游戏软件有限公司 一种实现投影屏幕的无缝对齐的图像处理方法及系统
CN102496140B (zh) * 2011-12-06 2013-07-31 中国科学院自动化研究所 一种基于多层嵌套笼体的实时交互式图像变形方法
CN104978707A (zh) * 2014-04-03 2015-10-14 陈鹏飞 基于轮廓线的图像变形技术
CN105989625A (zh) * 2015-02-04 2016-10-05 华为技术有限公司 数据处理的方法和装置
US9576385B2 (en) * 2015-04-02 2017-02-21 Sbitany Group LLC System and method for virtual modification of body parts
CN107590708B (zh) * 2016-07-07 2021-01-01 梁如愿 一种生成用户特定体形模型的方法和装置
US10140764B2 (en) * 2016-11-10 2018-11-27 Adobe Systems Incorporated Generating efficient, stylized mesh deformations using a plurality of input meshes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010176588A (ja) 2009-01-30 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 端末装置、画像処理方法及びプログラム
JP2011259053A (ja) 2010-06-07 2011-12-22 Olympus Imaging Corp 画像処理装置および画像処理方法
CN104537608A (zh) 2014-12-31 2015-04-22 深圳市中兴移动通信有限公司 一种图像处理的方法及其装置
JP2016174323A (ja) 2015-03-18 2016-09-29 カシオ計算機株式会社 画像補正装置、画像補正方法、及びプログラム
CN105989576A (zh) 2015-03-18 2016-10-05 卡西欧计算机株式会社 校正图像的装置及其方法
CN107592708A (zh) 2017-10-25 2018-01-16 成都塞普奇科技有限公司 一种led用电源电路

Also Published As

Publication number Publication date
CN110766607A (zh) 2020-02-07
WO2020019915A1 (zh) 2020-01-30
SG11202010404WA (en) 2020-11-27
JP2021518964A (ja) 2021-08-05
KR20200133778A (ko) 2020-11-30
US20210097268A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
JP7138769B2 (ja) 画像処理方法、装置及びコンピュータ記憶媒体
US11501407B2 (en) Method and apparatus for image processing, and computer storage medium
JP6856609B2 (ja) 畳み込みニューラルネットワークの畳み込み層における演算を実行する方法及び装置
US20200226754A1 (en) Image processing method, terminal device, and computer storage medium
JP7160925B2 (ja) 画像処理方法及び装置
US20200380250A1 (en) Image processing method and apparatus, and computer storage medium
CN110060348B (zh) 人脸图像整形方法及装置
JP2018200690A (ja) 情報処理方法及び情報処理装置
WO2021253316A1 (zh) 图像降噪模型的训练方法、装置、电子设备和存储介质
JP7475287B2 (ja) ポイントクラウドデータの処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN108830787A (zh) 图像变形的方法、装置及电子设备
JP2024004444A (ja) 3次元顔再構成モデルトレーニング、3次元顔イメージ生成方法及び装置
CN110910512B (zh) 虚拟物体自适应调整方法、装置、计算机设备和存储介质
CN114968612B (zh) 一种数据处理方法、系统及相关设备
CN112307876A (zh) 关节点检测方法及装置
JP2023521303A (ja) 畳み込みハードウェアによる特徴データに対する逆畳み込み処理方法及び装置
CN110060287B (zh) 人脸图像鼻部整形方法及装置
EP3940588A1 (en) Fingerprint image processing methods and apparatuses
CN116824090A (zh) 一种曲面重建方法及装置
US20210158590A1 (en) Facial animation retargeting using an anatomical local model
CN112102453B (zh) 一种动画模型骨骼处理方法、装置、电子设备及存储介质
CN110766603B (zh) 一种图像处理方法、装置和计算机存储介质
CN112200774A (zh) 图像识别设备
US20240143496A1 (en) Data processing method and system, and related device
CN116977383A (zh) 图像处理方法及相关设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220906

R150 Certificate of patent or registration of utility model

Ref document number: 7138769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150