JP7026825B2 - 画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents

画像処理方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP7026825B2
JP7026825B2 JP2020561756A JP2020561756A JP7026825B2 JP 7026825 B2 JP7026825 B2 JP 7026825B2 JP 2020561756 A JP2020561756 A JP 2020561756A JP 2020561756 A JP2020561756 A JP 2020561756A JP 7026825 B2 JP7026825 B2 JP 7026825B2
Authority
JP
Japan
Prior art keywords
coordinates
image
virtual
coordinate system
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020561756A
Other languages
English (en)
Other versions
JP2021520577A (ja
Inventor
▲聰▼瑶 ▲鄭▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Publication of JP2021520577A publication Critical patent/JP2021520577A/ja
Application granted granted Critical
Publication of JP7026825B2 publication Critical patent/JP7026825B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/08—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Description

＜関連出願の相互引用＞
本願は、出願番号が２０１８１１５７２６８０．９であり、出願日が２０１８年１２月２１日である中国特許出願を基に提出され、当該中国特許出願の優先権を主張し、当該中国特許出願の全文が参考として本願に組み込まれる。
本発明は、情報技術分野に関し、特に画像処理方法及び装置、電子機器並びに記憶媒体に関する。
情報技術の発展につれて、３Ｄ座標に基づくインタラクション、例えば、３Ｄビデオや３Ｄ体感ゲーム等は、現れてきている。３Ｄ座標が２Ｄ座標よりも１つの方向の座標値多いため、３Ｄ座標は、２Ｄ座標よりも、インタラクションを１次元多く持つことが可能である。
例えば、３Ｄ空間内におけるユーザの移動を採取し、前後、左右、上下等の３つの互いに垂直な方向における、ゲームキャラクタに対する制御へ変換する。２Ｄ座標を利用して制御すると、ユーザは、少なくとも２つの操作を入力する必要があるかもしれない。このように、ユーザ制御が簡素化され、ユーザ体験が向上する。
通常、このような上記３Ｄ座標に基づくインタラクションにとっては、対応する３Ｄ機器が必要である。例えば、ユーザは、３次元空間内における自分の運動を検出する３Ｄ体感機器（ウェアラブル機器）を着用する必要がある。または、３Ｄカメラを利用して３Ｄ空間内におけるユーザの移動を採取する必要もある。３Ｄ体感機器と３Ｄカメラとのどちらを利用して３Ｄ空間内におけるユーザの移動を特定しても、ハードウェアコストは、相対的に高かった。
これに鑑みて、本発明の実施例が画像処理方法及び装置、電子機器並びに記憶媒体を提供することは望ましい。
本発明の解決手段は、以下のように講じられる。
本発明は、画像処理方法を提供する。当該画像処理方法は、対象オブジェクトの２Ｄ画像を取得するステップと、前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するステップと、前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するステップと、前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するステップと、を含み、前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点であり、前記相対座標は、前記第１局所と前記第２局所との相対位置を表し、前記３Ｄ座標は、被制御機器における対象オブジェクトの座標変換を制御するために用いられる。
本発明は、画像処理装置を提供する。当該画像処理装置は、対象オブジェクトの２Ｄ画像を取得するように構成される第１取得モジュールと、前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するように構成される第２取得モジュールと、前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するように構成される第１特定モジュールと、前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するように構成される投影モジュールと、を備え、前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点であり、前記相対座標は、前記第１局所と前記第２局所との相対位置を表し、前記３Ｄ座標は、被制御機器における対象オブジェクトの座標変換を制御するために用いられる。
本発明は、電子機器を提供する。当該電子機器は、メモリと、前記メモリに接続されるプロセッサと、を備え、前記プロセッサは、前記メモリに記憶されたコンピュータ実行可能な指令を実行することにより、上記何れかの解決手段に供される画像処理方法を実施する。
本発明は、コンピュータ記憶媒体を提供する。当該コンピュータ記憶媒体には、コンピュータ実行可能な指令が記憶され、前記コンピュータ実行可能な指令がプロセッサによって実行されると、上記何れかの解決手段に供される画像処理方法は実施される。
本発明は、コンピュータプログラムを提供する。前記コンピュータプログラムがプロセッサによって実行されると、上記何れかの解決手段に供される画像処理方法は実施される。
本発明の実施例に係る技術案では、２Ｄ画像における対象オブジェクトの第１局所の第１キーポイントと第２局所の第２キーポイントとの間の相対座標を直接利用して仮想３次元空間内へ変換することで、相対座標に対応する３Ｄ座標を取得し、３Ｄ人体感知機器を用いて３Ｄ座標を採取する必要がなく、この種の３Ｄ座標を利用して被制御機器とのインタラクションを行うため、３Ｄ座標に基づいてインタラクションを行うハードウェア構造が簡素化され、ハードウェアコストが節約される。
本発明の実施例に係る第１種の画像処理方法の模式的なフローチャートである。 本発明の実施例に係る視錐台の模式図である。 本発明の実施例に係る相対座標を特定する模式的なフローチャートである。 本発明の実施例に係る第２種の画像処理方法の模式的なフローチャートである。 本発明の実施例に係る表示効果の模式図である。 本発明の実施例に係る別の表示効果の模式図である。 本発明の実施例に係る画像処理装置の構造模式図である。 本発明の実施例に係る電子機器の構造模式図である。
以下では、本発明の解決手段について、図面および具体的な実施例を組み合わせてより詳細に説明する。
図１に示すように、本実施例は、画像処理方法を提供する。当該画像処理方法は、以下のステップＳ１１０～ステップＳ１４０を含む。
ステップＳ１１０では、対象オブジェクトの２Ｄ画像を取得する。
ステップＳ１２０では、前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得する。前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点である。
ステップＳ１３０では、前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定する。前記相対座標は、前記第１局所と前記第２局所との相対位置を表す。
ステップＳ１４０では、前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得する。前記３Ｄ座標は、被制御機器が所定操作を実行するように制御するために用いられる。ここでの所定操作は、被制御機器における対象オブジェクトの座標変換を含むが、それに限定されない。
本実施例では、取得された対象オブジェクトの２Ｄ（ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌ）画像、ここでの２Ｄ画像は、何れか１つの２Ｄカメラで採取された画像を採用してもよい。例えば、普通ＲＧＢのカメラで採取されたＲＧＢ画像、または、ＹＵＶ画像を利用し、更に例えば、前記２Ｄ画像がＢＧＲＡフォーマットの２Ｄ画像であってもよい。本実施例では、被制御機器に位置する単眼カメラを利用するだけで、前記２Ｄ画像の採取を実施できる。または、当該単眼カメラは、前記被制御機器に接続されたカメラであってもよい。当該カメラの採取領域と前記被制御機器の観察領域は、少なくとも部分的に重なり合う。例えば、前記被制御機器は、スマートテレビ等のゲーム機器であり、ゲーム機器は、ディスプレイスクリーンを含み、前記ディスプレイスクリーンを視認できる領域は、前記観察領域であり、前記採取領域は、カメラで採取され得る領域である。好ましくは、前記カメラの採取領域と前記観察領域とは、重なり合う。
本実施例では、前記ステップＳ１１０において２Ｄ画像を取得することは、二次元（２Ｄ）カメラによって２Ｄ画像を採取し、または、採取機器から２Ｄ画像を受信することを含んでもよい。
前記対象オブジェクトは、人体の手部や胴体部分であってもよい。前記２Ｄ画像は、人体の手部と胴体部分とを含む結像であってもよい。例えば、前記第１局所は、前記人体の手部であり、前記第２局所は、前記胴体部分である。更に例えば、前記第１局所は、目の目玉であってもよく、前記第２局所は、目の全体であってもよい。更に例えば、前記第１局所は、人体の足部であってもよく、第２局所は、人体の胴体であってもよい。
幾つかの実施例では、前記２Ｄ画像において、前記第１局所の結像面積は、前記第２局所の前記２Ｄ画像における結像面積よりも小さい。
本実施例では、前記第一２Ｄ座標と第二２Ｄ座標は、何れも第一２Ｄ座標系における座標値であってもよい。例えば、前記第一２Ｄ座標系は、前記２Ｄ画像の所在する平面によって構成された２Ｄ座標系であってもよい。
ステップＳ１３０では、第一２Ｄ座標と第二２Ｄ座標との両方に基づいて、第１キーポイントと第２キーポイントとの相対位置を表す相対座標を特定する。その後、当該相対座標を仮想３次元空間内に投影する。当該仮想３次元空間は、プリセットの３次元空間であってもよく、当該相対座標の仮想３次元空間内における３Ｄ座標は得られる。当該３Ｄ座標は、表示インターフェースに関連する、前記３Ｄ座標に基づくインタラクションに適用可能である。
前記仮想３次元空間は、各種タイプの仮想３次元空間であってもよく、当該仮想３次元空間の座標範囲は、負の無限大から正の無限大までであってもよい。当該仮想３次元空間内には、仮想カメラが設けられてもよい。図２は、仮想カメラの視角に対応する視錐台（ｖｉｅｗ ｆｒｕｓｔｕｍ）を示す。当該仮想カメラは、本実施例において前記２Ｄ画像の物理カメラの、仮想３次元空間内におけるマッピングであってもよい。前記視錐台は、ニアクリッピングプレーン、トッププレーン、ライトプレーンおよび図２に付されていないレフトプレーン等を含んでもよい。本実施例では、前記仮想３次元空間の仮想視点は、前記ニアクリッピングプレーンに位置してもよく、例えば、前記仮想視点は、前記ニアクリッピングプレーンの中心点に位置する。図２に示す視錐台によると、第２キーポイントに対する第１キーポイントの相対座標（２Ｄ座標）を仮想３次元空間内へ変換することにより、３次元空間内における、第２キーポイントに対する前記第１キーポイントの３Ｄ（ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）座標を取得してもよい。
前記ニアクリッピングプレーンは、近裁断面フロントクリッピングプレーンとも呼称されてもよく、仮想３次元空間における仮想視点に近い平面であり、前記仮想視点の開始平面を含む。前記仮想３次元空間では、前記ニアクリッピングプレーンから遠方へ徐々に延在する。
前記３Ｄ座標に基づくインタラクションとして、対象オブジェクトの２つの時点での、仮想３次元空間内における座標変換に基づいて操作制御を行う。例えば、ゲームキャラクタの制御を例とすると、前記３Ｄ座標に基づくインタラクションは、以下のことを含む。
つまり、前後２つの時点での相対座標の、仮想３次元空間内の３つの座標軸における変化量或いは変化率に基づいて、ゲームキャラクタの、対応する３つの座標軸におけるパラメータを制御する。例えば、ゲームキャラクタの移動制御を例とすると、ゲームキャラクタは、３次元空間内で移動し、前後移動、左右移動および上下跳びを行ってもよい。胴体に対するユーザの手部の相対座標は３次元空間内へ変換された後、２つの時点での相対座標を仮想３次元空間内へ変換した座標変換量或いは変化率に基づいて、ゲームキャラクタの前後移動、左右移動および上下跳びをそれぞれ制御する。具体的に、相対座標を仮想３次元空間内のｘ軸に投影して得られた座標は、ゲームキャラクタの前後移動を制御し、相対座標を仮想３次元空間内のｙ軸に投影して得られた座標は、ゲームキャラクタの左右移動を制御し、相対座標を仮想３次元空間内のｚ軸に投影して得られた座標は、ゲームキャラクタの上下跳びを制御する。
幾つかの実施例では、表示インターフェース内の表示画像は、少なくとも背景レイヤと前景レイヤに分けられてもよく、現在の３Ｄ座標の、仮想３次元空間におけるｚ軸座標位置に基づいて、当該３Ｄ座標が背景レイヤにおける図形要素の変換若しくは対応する応答操作の実行を制御するために用いられるものであるか、それとも前景レイヤにおける図形要素の変換若しくは対応する応答操作の実行を制御するために用いられるものであるかを特定してもよい。
他の幾つかの実施例では、表示インターフェース内の表示画像は、更に、背景レイヤ、前景レイヤ、および背景レイヤと前景レイヤの間に位置する１つまたは複数の中間レイヤに分けられてもよい。同様に、現在得られた３Ｄ座標におけるｚ軸の座標値に基づいて、３Ｄ座標が作用するレイヤを特定し、３Ｄ座標のｘ軸とｙ軸とにおける座標値も考慮に入れて、３Ｄ座標が作用するのが当該レイヤにおけるどの図形要素であるかを特定することにより、３Ｄ座標の作用する図形要素の変換若しくは対応する応答操作の実行を更に制御する。
無論、上述したのが、３Ｄ座標によって、前記３Ｄ座標に基づくインタラクションを行う例示に過ぎず、具体的な実施方式が多くて、上記何れか一種に限定されない。
前記仮想３次元空間は、予め定義された１つの３次元空間であってもい。具体的に、前記２Ｄ画像を採取する採取パラメータに基づいて、仮想３次元空間を予め定義する。前記仮想３次元空間は、仮想結像面と仮想視点とを含んでもよい。前記仮想視点と前記仮想結像面との間の垂直距離は、前記採取パラメータのうちの焦点距離に基づいて特定されてもよい。幾つかの実施例では、前記仮想結像面のサイズは、被制御機器の制御プレーンのサイズに基づいて特定されてもよい。例えば、前記仮想結像面のサイズと、前記被制御機器の制御プレーンのサイズとの間には、正の相関が存在する。当該制御プレーンは、前記３Ｄ座標に基づくインタラクションを受け取る表示インターフェースのサイズに等しくなってもよい。
このように、本実施例では、相対座標を仮想３次元空間内に投影することにより、直接２Ｄカメラを使用しても、深度カメラまたは３Ｄ体感機器を利用して３Ｄ座標を取得すること、さらに前記３Ｄ座標に基づくインタラクションを行う制御効果を取得することは模擬できる。通常、２Ｄカメラのハードウェアコストが３Ｄ体感機器や３Ｄカメラよりも低いため、直接２Ｄカメラを継続使用すると、前記３Ｄ座標に基づくインタラクションのコストは明らかに低減されつつ、３Ｄ座標に基づくインタラクションも実現する。そのため、幾つかの実施例において、前記方法は、前記３Ｄ座標に基づいて被制御機器とのインタラクションを行うステップを更に含む。当該インタラクションは、ユーザと被制御機器との間のインタラクションを含んでもよい。前記３Ｄ座標がユーザの入力と見なすことで、被制御機器を制御して特定の操作を実行させ、ユーザと被制御機器との間のインタラクションを実現する。
そのため、幾つかの実施例では、前記方法は、前後２つの時点での相対座標の、仮想３次元空間内の３つの座標軸における変化量或いは変化率に基づいて、被制御機器における対象オブジェクトの座標変換を制御するステップを更に含む。
幾つかの実施例では、前記ステップＳ１２０は、前記第１キーポイントの、前記２Ｄ画像に対応する第一２Ｄ座標系内の前記第一２Ｄ座標を取得し、前記第２キーポイントの、前記第一２Ｄ座標系内の前記第二２Ｄ座標を取得することを含んでもよい。即ち、前記第一２Ｄ座標と第二２Ｄ座標は、何れも第一２Ｄ座標系に基づいて特定されたものである。
幾つかの実施例では、前記ステップＳ１３０は、前記第二２Ｄ座標に基づいて、第二２Ｄ座標系を構築することと、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することと、を含んでもよい。
具体的に、図３に示すように、前記ステップＳ１３０は、ステップＳ１３１～ステップＳ１３２を含んでもよい。
ステップＳ１３１では、前記第二２Ｄ座標に基づいて、第二２Ｄ座標系を構築する。
ステップＳ１３２では、前記第一２Ｄ座標系および第二２Ｄ座標系に基づいて、第一２Ｄ座標系から前記第二２Ｄ座標系へマッピングする変換パラメータを特定する。前記変換パラメータは、前記相対座標を特定するために用いられる。
幾つかの実施例では、前記ステップＳ１３０は、ステップＳ１３３を更に含んでもよい。
ステップＳ１３３では、前記変換パラメータに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得する。
本実施例では、前記第２局所の第２キーポイントが少なくとも２つある。例えば、前記第２キーポイントは、第２局所の結像された外輪郭点であってもよい。前記第２キーポイントの座標に基づいて１つの第二２Ｄ座標系を構築してもよい。当該第二２Ｄ座標系の原点は、複数の前記第２キーポイントを接続して形成された外輪郭の中心点であってもよい。
本発明の実施例では、前記第一２Ｄ座標系と前記第二２Ｄ座標系は、何れも境界を有する座標系である。
前記第一２Ｄ座標系と前記第二２Ｄ座標系とが特定された後、２つの２Ｄ座標系のサイズおよび／または中心座標に基づいて、第一２Ｄ座標系内の座標から第二２Ｄ座標系内へマッピングする変換パラメータを取得してもよい。
当該変換パラメータに基づいて、直接前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして前記第三２Ｄ座標を取得してもよい。例えば、当該第三２Ｄ座標は、第一２Ｄ座標を第二２Ｄ座標系にマッピングした後の座標である。
幾つかの実施例では、前記ステップＳ１３２は、
前記２Ｄ画像の第１方向での第１サイズを特定し、前記第２局所の第１方向での第２サイズを特定することと、
前記第１サイズと前記第２サイズとの比である第１比を特定することと、
前記第１比に基づいて前記変換パラメータを特定することと、を含んでもよい。
他の幾つかの実施例では、前記ステップＳ１３２は、
前記２Ｄ画像の第２方向での第３サイズを特定し、前記第２局所の第２方向での第４サイズを特定することと、
前記第３サイズと前記第４サイズとの比である第２比を特定することと、を更に含んでもよい。
前記第１比と前記第２比との両方に基づいて、前記第一２Ｄ座標系と前記第二２Ｄ座標系との間の変換パラメータを特定することと、を含んでもよい。前記第２方向は、前記第１方向に垂直となる。
例えば、前記第１比は、前記第一２Ｄ座標系と前記第二２Ｄ座標系との、第１方向における変換比であってもよく、前記第２比は、前記第一２Ｄ座標系と前記第二２Ｄ座標系との、第２方向における変換比であってもよい。
本実施例では、前記第１方向がｘ軸の所在する方向であれば、第２方向は、ｙ軸の所在する方向となり、前記第１方向がｙ軸の所在する方向であれば、第２方向は、ｘ軸の所在する方向となる。
本実施例では、前記変換パラメータは、２つの変換比を含み、この２つの変換比は、それぞれ、第１方向における第１サイズと第２サイズの比である第１比、および、第２方向における第３サイズと第４サイズの比である第２比である。
幾つかの実施例では、前記ステップＳ１３２は、
以下の関数関係を利用して前記変換パラメータを特定することを含んでもよい。
［Ｋ＝ｃａｍｗ／ｔｏｒｓｏｗ， Ｓ＝ｃａｍｈ／ｔｏｒｓｏｈ］ 式（１）
ｃａｍｗは、前記第１サイズであり、ｔｏｒｓｏｗは、前記第２サイズであり、ｃａｍｈは、前記第３サイズであり、ｔｏｒｓｏｈは、前記第４サイズであり、Ｋは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第１方向における変換パラメータであり、Ｓは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第２方向における変換パラメータである。
前記ｃａｍｗは、２Ｄ画像の第１方向における２つのエッジの間の距離である。ｃａｍｈは、２Ｄ画像の第２方向における２つのエッジの間の距離である。第１方向と第２方向とは、互いに垂直となる。
前記Ｋは、上記第１比であり、前記Ｓは、上記第２比である。幾つかの実施例では、前記変換パラメータは、前記第１比と前記第２比の他に、調整ファクタを導入してもよい。例えば、前記調整ファクタは、第１調整ファクタおよび／または第２調整ファクタを含む。前記調整ファクタは、重み付けファクタおよび／またはスケーリングファクタを含んでもよい。前記調整ファクタがスケーリングファクタであれば、前記変換パラメータは、前記第１比および／または第２比とスケーリングファクタとの積となってもよい。前記調整ファクタが重み付けファクタであれば、前記変換パラメータは、前記第１比および／または第２比と重み付けファクタとの重み付け和となってもよい。
幾つかの実施例では、前記ステップＳ１３３は、前記変換パラメータと前記第一２Ｄ座標系の中心座標とに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することを含んでもよい。前記第三２Ｄ座標は、前記第２局所に対する前記第１局所の位置をある程度示してもよい。
具体的に、前記ステップＳ１３３は、以下の関数関係を利用して前記第三２Ｄ座標を特定することを含んでもよい。
（ｘ３，ｙ３）＝（（ｘ１－ｘｔ）＊Ｋ＋ｘｉ，（ｙ１－ｙｔ）＊Ｓ＋ｙｉ） 式（２）
（ｘ３，ｙ３）は、前記第三２Ｄ座標であり、（ｘ１，ｙ１）は、前記第一２Ｄ座標であり、（ｘｔ，ｙｔ）は、前記第２局所の中心点の、前記第一２Ｄ座標系内における座標であり、（ｘ i ，ｙ i ）は、前記２Ｄ画像の中心点の、前記第一２Ｄ座標系内における座標である。
本実施例では、ｘは、第１方向における座標値を示し、ｙは、第２方向における座標値を示す。
幾つかの実施例では、前記ステップＳ１４０は、
前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得することと、
前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することと、を含んでもよい。
幾つかの実施例では、直接第三２Ｄ座標に対して投影を行うことにより、第三２Ｄ座標を仮想結像面内に投影してもよい。本実施例では、算出の容易のために、第三２Ｄ座標に対して正規化処理を行い、正規化処理された後で仮想結像面内に投影する。
本実施例では、仮想視点と仮想結像面との間の距離は、既知の距離であってもよい。
正規化処理を行う際に、２Ｄ画像のサイズに基づいて行ってもよく、ある予め定義されたサイズに基づいて特定してもよい。前記正規化処理の方式は、複数種ある。正規化処理により、異なる採取時点に採取された２Ｄ画像の第三２Ｄ座標の変化が大きすぎることに起因するデータ処理の不便は減少され、後続のデータ処理は簡素化される。
幾つかの実施例では、前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得することは、前記第２局所のサイズと前記第二２Ｄ座標系の中心座標との両方に基づいて、前記第三２Ｄ座標に対して正規化処理を行って前記第四２Ｄ座標を取得することを含む。
例えば、前記前記第２局所のサイズと前記第二２Ｄ座標系の中心座標との両方に基づいて、前記第三２Ｄ座標に対して正規化処理を行って前記第四２Ｄ座標を取得することは、下記のことを含む。
（ｘ４，ｙ４）＝［（（ｘ１－ｘｔ）＊Ｋ＋ｘｉ）／ｔｏｒｓｏｗ，（１－（（ｙ１－ｙｔ）＊Ｓ＋ｙｉ））／ｔｏｒｓｏｈ］ 式（３）
（ｘ４，ｙ４）は、前記第四２Ｄ座標であり、（ｘ１，ｙ１）は、前記第一２Ｄ座標であり、（ｘｔ，ｙｔ）は、前記第２局所の中心点の、前記第一２Ｄ座標系内における座標であり、（ｘｉ，ｙｉ）は、前記２Ｄ画像の中心点の、前記第一２Ｄ座標系内における座標である。前記２Ｄ画像は、通常、矩形をなし、ここでの２Ｄ画像の中心点は、矩形の中心点である。ｔｏｒｓｏｗは、前記２Ｄ画像の第１方向でのサイズであり、ｔｏｒｓｏｈは、前記２Ｄ画像の第２方向でのサイズであり、Ｋは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第１方向における変換パラメータであり、Ｓは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第２方向における変換パラメータであり、前記第１方向は、前記第２方向と垂直となる。
第二２Ｄ座標系の中心座標値が（０．５＊ｔｏｒｓｏｗ、０．５＊ｔｏｒｓｏｈ）であるため、前記第四２Ｄ座標の求解関数は、以下のようになってもよい。
Figure 0007026825000001
 式（４）
幾つかの実施例では、前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することは、前記第四２Ｄ座標と、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離と、スケーリング率との三者に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することを含む。具体的に、以下の関数関係を利用して前記３Ｄ座標を特定してもよい。
（ｘ４＊ｄｄｓ，ｙ４＊ｄｄｓ，ｄ） 式（５）
ｘ４は、前記第四２Ｄ座標の第１方向での座標値であり、ｙ４は、前記第四２Ｄ座標の第２方向での座標値であり、ｄｄｓは、スケーリング率であり、ｄは、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離である。
本実施例では、前記スケーリング率は、予め特定された静的値であってもよく、被採取対象（例えば、被採取ユーザ）の、カメラからの距離に基づいて動的に特定されたものであってもよい。
幾つかの実施例では、前記方法は、
前記２Ｄ画像における前記対象オブジェクトの数Ｍと、各前記対象オブジェクトの前記２Ｄ画像における２Ｄ画像領域とを特定するステップを更に含む。
前記ステップＳ１２０は、
前記２Ｄ画像領域に基づいて、各前記対象オブジェクトの前記第１キーポイントの第一２Ｄ座標と前記第２キーポイントの第二２Ｄ座標とを取得することにより、Ｍグループの前記３Ｄ座標を取得することを含んでもよい。
例えば、輪郭検出等の処理により、例えば、顔検出により、１つの２Ｄ画像に何人の制御ユーザがいることを検出することが可能であり、そして、各制御ユーザに基づいて対応する３Ｄ座標を取得する。
例えば、１つの２Ｄ画像から３つのユーザの結像が検出された場合に、３つのユーザのそれぞれの、当該２Ｄ画像内における画像領域を取得する必要があり、そして３つのユーザの手部と胴体部分とのキーポイントの２Ｄ座標に基づいて、ステップＳ１３０～ステップＳ１５０の実行により、３つのユーザのそれぞれの、仮想３次元空間内の対応する３Ｄ座標を取得できる。
幾つかの実施例では、図４に示すように、前記方法は、ステップＳ２１０～Ｓ２２０を含む。
ステップＳ２１０では、前記３Ｄ座標に基づく制御効果を第１表示領域内で表示する。
ステップＳ２２０では、前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示する。
ユーザ体験が向上し、ユーザが第１表示領域と第２表示領域との内容に応じて自分の動作を容易に修正できるように、第１表示領域に制御効果を表示し、第２表示領域に前記２Ｄ画像を表示する。
幾つかの実施例では、前記第１表示領域と前記第２表示領域は、異なるディスプレイスクリーンに対応してもよい。例えば、第１表示領域は、第１ディスプレイスクリーンに対応してもよく、第２表示領域は、第２ディスプレイスクリーンに対応してもよい。前記第１ディスプレイスクリーンと第２ディスプレイスクリーンは、並列に設置される。
他の幾つかの実施例では、前記第１表示領域と第２表示領域は、同一のディスプレイスクリーンの異なる表示領域であってもよい。前記第１表示領域と前記第２表示領域は、並列に設置される２つの表示領域であってもよい。
図５Ａに示すように、第１表示領域内には、制御効果を有する画像が表示され、第１表示領域と並列する第２表示領域内には、２Ｄ画像が表示されている。幾つかの実施例では、第２表示領域に表示された２Ｄ画像は、現在リアルタイムで採取された２Ｄ画像、または２Ｄビデオのうちの、現在リアルタイムで採取されたビデオフレームである。
幾つかの実施例では、前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示することは、
前記第一２Ｄ座標に基づいて、前記第１キーポイントの第１指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示することを含み、
および／または、
前記第二２Ｄ座標に基づいて、前記第２キーポイントの第２指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示することを含む。
幾つかの実施例では、第１指示図形は、前記第１キーポイントに重畳表示された、第１指示図形の表示によって前記第１キーポイントを強調表示できる位置である。例えば、前記第１指示図形で使用された色および／または輝度等の表示パラメータは、前記対象オブジェクトの他の部分の結像された色および／または輝度等の表示パラメータと区別付けさせる。
他の幾つかの実施例では、前記第２指示図形は、同様に前記第２キーポイントに重畳表示されている。このように、ユーザが第１指示図形および第２指示図形に基づいて自身の第１局所と第２局所との相対位置関係を視覚的に判断することは便利になり、後続の対応性の調整も可能になる。
例えば、前記第２指示図形で使用された色および／または輝度等の表示パラメータは、前記対象オブジェクトの他の部分の結像された色および／または輝度等の表示パラメータと区別付けさせる。
幾つかの実施例では、前記第１指示図形と前記第２指示図形とを区分するために、前記第１指示図形と前記第２指示図形との表示パラメータは、異なる。これにより、ユーザが視覚的な効果に基づいて簡便に区分することは便利になり、ユーザ体験も向上する。
更に他の幾つかの実施例では、前記方法は、関連指示図形を生成するステップを更に含む。
前記関連指示図形の一方端は、前記第１指示図形を指向し、前記第２関連指示図形の他方端は、前記被制御機器における被制御要素を指向する。
当該被制御要素は、被制御機器に表示されたゲーム対象またはカーソル等の被制御対象を含んでもよい。
図５Ｂに示すように、第２表示領域で表示された２Ｄ画像には、第１指示図形および／または第２指示図形が更に表示されている。第１表示領域と第２表示領域とには、関連指示図形が共同表示されている。
図６に示すように、本実施例は、画像処理装置を提供する。当該画像処理装置は、第１取得モジュール１１０、第２取得モジュール１２０、第１特定モジュール１３０および投影モジュール１４０を備える。
第１取得モジュール１１０は、対象オブジェクトの２Ｄ画像を取得するように構成される。
第２取得モジュール１２０は、前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するように構成される。前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点である。
第１特定モジュール１３０は、前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するように構成される。前記相対座標は、前記第１局所と前記第２局所との相対位置を表す。
投影モジュール１４０は、前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するように構成される。前記３Ｄ座標は、被制御機器が所定操作を実行するように制御するために用いられる。ここでの所定操作は、被制御機器における対象オブジェクトの座標変換を含むが、それに限定されない。
幾つかの実施例では、前記第１取得モジュール１１０、第２取得モジュール１２０、第１特定モジュール１３０および投影モジュール１４０は、プログラムモジュールであってもよく、前記プログラムモジュールがプロセッサによって実行されると、上記各モジュールの機能が実施できる。
他の幾つかの実施例では、前記第１取得モジュール１１０、第２取得モジュール１２０、第１特定モジュール１３０および投影モジュール１４０は、ソフトウェア・ハードウェアを組み合わせたモジュールであってもよく、当該ソフトウェア・ハードウェアを組み合わせたモジュールは、各種のプログラム可能なアレイ、例えば、複雑なプログラム可能アレイまたはフィールドプログラマブルアレイを含んでもよい。
更に他の幾つかの実施例では、前記第１取得モジュール１１０、第２取得モジュール１２０、第１特定モジュール１３０および投影モジュール１４０は、完全ハードウェアモジュールであってもよく、当該完全ハードウェアモジュールは、専用集積回路であってもよい。
幾つかの実施例では、前記第一２Ｄ座標と前記第二２Ｄ座標は、第一２Ｄ座標系内に位置する２Ｄ座標である。
幾つかの実施例では、前記第２取得モジュール１２０は、前記第１キーポイントの、前記２Ｄ画像に対応する第一２Ｄ座標系内における前記第一２Ｄ座標を取得し、前記第２キーポイントの前記第一２Ｄ座標系内における前記第二２Ｄ座標を取得するように構成される。
前記第１特定モジュール１３０は、前記第二２Ｄ座標に基づいて第二２Ｄ座標系を構築し、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得するように構成される。
他の幾つかの実施例では、前記第１特定モジュール１３０は、前記第一２Ｄ座標系および前記第二２Ｄ座標系に基づいて、第一２Ｄ座標系から前記第二２Ｄ座標系へマッピングする変換パラメータを特定し、前記変換パラメータに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得するように構成される。
幾つかの実施例では、前記第１特定モジュール１３０は、前記２Ｄ画像の第１方向での第１サイズを特定し、前記第２局所の第１方向での第２サイズを特定し、前記第１サイズと前記第２サイズとの比である第１比を特定し、前記第１比に基づいて変換パラメータを特定するように構成される。
他の幾つかの実施例では、前記第１特定モジュール１３０は、前記２Ｄ画像の第２方向での第３サイズを特定し、前記第２局所の第２方向での第４サイズを特定し、前記第３サイズと前記第４サイズとの第２比を特定し、前記第１比と前記第２比との両方に基づいて、前記第一２Ｄ座標系と前記第二２Ｄ座標系との間の変換パラメータを特定するように構成される。前記第２方向は、前記第１方向に垂直する。
幾つかの実施例では、前記第１特定モジュール１３０は、具体的に以下の関数関係を利用して前記変換パラメータを特定する。
［Ｋ＝ｃａｍｗ／ｔｏｒｓｏｗ， Ｓ＝ｃａｍｈ／ｔｏｒｓｏｈ］ 式（１）
ｃａｍｗは、前記第１サイズであり、ｔｏｒｓｏｗは、前記第２サイズであり、ｃａｍｈは、前記第３サイズであり、ｔｏｒｓｏｈは、前記第４サイズであり、Ｋは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第１方向における変換パラメータであり、Ｓは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第２方向における変換パラメータである。
幾つかの実施例では、前記第１特定モジュール１３０は、以下の関数関係を利用して前記第三２Ｄ座標を特定するように構成される。
（ｘ３，ｙ３）＝（（ｘ１－ｘｔ）＊Ｋ＋ｘｉ，（ｙ１－ｙｔ）＊Ｓ＋ｙｉ） 式（２）
（ｘ３，ｙ３）は、前記第三２Ｄ座標であり、（ｘ１，ｙ１）は、前記第一２Ｄ座標であり、（ｘｔ，ｙｔ）は、前記第２局所の中心点の、前記第一２Ｄ座標系内における座標であり、（ｘ i ，ｙ i ）は、前記２Ｄ画像の中心点の、前記第一２Ｄ座標系内における座標である。
幾つかの実施例では、前記投影モジュール１４０は、前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得し、前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定するように構成される。
幾つかの実施例では、前記投影モジュール１４０は、前記第２局所のサイズと前記第二２Ｄ座標系の中心座標との両方に基づいて、前記第三２Ｄ座標に対して正規化処理を行って前記第四２Ｄ座標を取得するように構成される。
幾つかの実施例では、前記投影モジュール１４０は、前記第四２Ｄ座標と、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離と、スケーリング率との三者に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定するように構成される。
幾つかの実施例では、前記投影モジュール１４０は、以下の関数関係に基づいて前記３Ｄ座標を特定するように構成されてもよい。
（ｘ４，ｙ４）＝［（（ｘ１－ｘｔ）＊Ｋ＋ｘｉ）／ｔｏｒｓｏｗ，（１－（（ｙ１－ｙｔ）＊Ｓ＋ｙｉ））／ｔｏｒｓｏｈ］ 式（３）
（ｘ 4 ，ｙ 4 ）は、前記第四２Ｄ座標であり、（ｘ１，ｙ１）は、前記第一２Ｄ座標であり、（ｘｔ，ｙｔ）は、前記第２局所の中心点の、前記第一２Ｄ座標系内における座標であり、（ｘｉ，ｙｉ）は、前記２Ｄ画像の中心点の、前記第一２Ｄ座標系内における座標であり、ｔｏｒｓｏｗは、前記２Ｄ画像の第１方向でのサイズであり、ｔｏｒｓｏｈは、前記２Ｄ画像の第２方向でのサイズであり、Ｋは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第１方向における変換パラメータであり、Ｓは、前記第一２Ｄ座標を第二２Ｄ座標系へマッピングする、前記第２方向における変換パラメータであり、前記第１方向は、前記第２方向と垂直となる。
幾つかの実施例では、前記投影モジュール１４０は、前記第四２Ｄ座標と、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離と、スケーリング率との三者に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定するように構成される。
更に、前記投影モジュール１４０は、以下の関数関係を利用して前記３Ｄ座標を特定するように構成されてもよい。
（ｘ４＊ｄｄｓ，ｙ４＊ｄｄｓ，ｄ） 式（５）
ｘ４は、前記第四２Ｄ座標の第１方向での座標値であり、ｙ４は、前記第四２Ｄ座標の第２方向での座標値であり、ｄｄｓは、スケーリング率であり、ｄは、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離である。
幾つかの実施例では、前記装置は、第２特定モジュールを更に備える。
第２特定モジュールは、前記２Ｄ画像における前記対象オブジェクトの数Ｍと各対象オブジェクトの前記２Ｄ画像における２Ｄ画像領域とを特定するように構成される。
前記第２取得モジュール１２０は、前記２Ｄ画像領域に基づいて、各前記対象オブジェクトの前記第１キーポイントの第一２Ｄ座標と前記第２キーポイントの第二２Ｄ座標とを取得することにより、Ｍグループの前記３Ｄ座標を取得するように構成される。
幾つかの実施例では、前記装置は、第１表示モジュールと、第２表示モジュールとを備える。
第１表示モジュールは、前記３Ｄ座標に基づく制御効果を第１表示領域内で表示するように構成される。
第２表示モジュールは、前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示するように構成される。
幾つかの実施例では、前記第２表示モジュールは、更に、前記第一２Ｄ座標に基づいて、前記第１キーポイントの第１指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示し、および／または、前記第二２Ｄ座標に基づいて、前記第２キーポイントの第２指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示するように構成される。
幾つかの実施例では、前記装置は、制御モジュールを更に備える。
制御モジュールは、前後２つの時点での相対座標の、仮想３次元空間内の３つの座標軸における変化量或いは変化率に基づいて、被制御機器における対象オブジェクトの座標変換を制御するように構成される。
以下では、上記何れかの実施例を組み合わせて１つの具体的な例示を提供する。
＜例示１＞
本例示は、画像処理方法を提供する。当該画像処理方法は、下記のことを含む。
人体姿勢キーポイントをリアルタイムで認識し、数式とアルゴリズムによって、手握りやウェアラブル機器を必要とせずに仮想環境において高精度の操作を行えることを図る。
顔部識別モデルと人体姿勢キーポイント識別モデルとを読み取って、対応するハンドルを確立すると同時に、追跡パラメータを配置する。
ビデオストリームを開き、フレームのそれぞれをＢＧＲＡフォーマットに変換し、必要に応じて反転し、データストリームをタイムスタンプの付く対象として保存する。
顔ハンドルによって現在フレームを検出して顔識別結果および顔の数を取得し、この結果を人体姿勢（ｈｕｍａｎ ｐｏｓｅ）キーポイント追跡に支援する。
現在フレームの人体姿勢を検出し、追跡ハンドルによってリアルタイムな人体キーポイントを追跡する。
人体姿勢キーポイントを得た後で手部キーポイントに位置決めさせることにより、手部の、カメラ識別画像に位置する画素点を取得する。当該手部キーポイントは、上記第１キーポイントであり、例えば、当該手部キーポイントは、具体的に手首キーポイントであってもよい。
ここでは、手部が後の操作カーソルになると仮定する。
同様な方式によって人体肩部キーポイントおよび腰部キーポイントを位置決めし、身体中心位置の画素座標を算出する。人体肩部キーポイントおよび腰部キーポイントは、胴体キーポイントであってもよく、上記実施例で言及された第２キーポイントである。
ピクチャの真中心を原点として上記座標を改めて定め、後の３次元変換に使用させる。
人体の上半身を参照として設定し、シーンと人体との相対係数を求める。
姿勢操縦システムが異なるシーンにおいても安定な挙動を維持するために、即ち、ユーザがレンズの撮影範囲中の如何なる方位に位置しても、または、レンズからどれほど離れても、同様な操縦効果を奏せるために、我々は、操作カーソルと身体中心との相対位置を使用する。
相対係数と改めて定められた手部座標、身体中心座標とにより、身体に対する手部の新座標を算出する。
新座標及び識別空間、即ち、カメラ画像サイズのＸとＹのスケーリングを保留する。
仮想３次元空間において必要な投影操作空間を生成し、観察点と操作を受けた物体との距離Ｄを算出し、Ｘ、Ｙ及びＤによって、視点座標を操作カーソルの３次元空間における座標として変換する。
仮想操作平面が存在すれば、操作カーソルの座標のｘとｙ値を取って、透視投影及びスクリーンマッピングの数式に代入して操作スクリーン空間における画素点を得る。
これは、複数のユーザによる複数のカーソルの同時操作に適用可能である。
カメラで採取された２Ｄ画像に対応する第一２Ｄ座標系において左下角が（０，０）であり、且つ右上角が（ｃａｍｗ，ｃａｍｈ）である場合に、
手部キーポイントの、２Ｄ画像に対応する第一２Ｄ座標系内の座標を（ｘ１，ｙ１）、
胴体中心点の第一２Ｄ座標系内の座標を（ｘｔ，ｙｔ）、
２Ｄ画像の中心点の、第一２Ｄ座標系内の座標を（ｘｉ，ｙｉ）としたときに、
変換パラメータは、下記のようになる。
前記変換パラメータ：
［Ｋ＝ｃａｍｗ／ｔｏｒｓｏｗ， Ｓ＝ｃａｍｈ／ｔｏｒｓｏｈ］ 式（１）
手部キーポイントを胴体に対応する第二２Ｄ座標系内へ変換する変換関数は、下記のようになってもよい。
（ｘ３，ｙ３）＝（（ｘ１－ｘｔ）＊Ｋ＋ｘｉ，（ｙ１－ｙｔ）＊Ｓ＋ｙｉ） 式（６）
カメラで採取された２Ｄ画像に対応する第一２Ｄ座標系において左下角が（０，０）であり、且つ右下角が（ｃａｍｗ，ｃａｍｈ）である場合に、
手部キーポイントを胴体に対応する第二２Ｄ座標系内へ変換する変換関数は、下記のようになってもよい。
（ｘ３，ｙ３）＝（（ｘ１－ｘｔ）＊Ｋ＋ｘｉ，（ｙｔ－ｙ１）＊Ｓ＋ｙｉ） 式（６）
纏められた後、手部キーポイントを胴体に対応する第二２Ｄ座標系内へ変換する変換関数は、下記のようになってもよい。
（ｈａｎｄ－ｔｏｒｓｏ）＊（ｃａｍ／ｔｏｒｓｅ）＋ｃａｍ－ｃｅｎｔｅｒ
ｈａｎｄは、手部キーポイントの第一２Ｄ座標系内での座標を示し、ｔｏｒｓｏは、胴体キーポイントの第一２Ｄ座標系内での座標を示し、ｃａｍ－ｃｅｎｔｅｒは、２Ｄ画像に対応する第一２Ｄ座標の中心座標である。
正規化の処理過程では、スケーリング率を導入してもよい。前記スケーリング率の取値範囲は、１～３であってもよく、更に、１．５～２であってもよい。
３次元仮想空間内では、構築された３次元仮想空間に基づいて以下の座標を取得してもよい。
仮想視点の座標は、（ｘｃ，ｙｃ，ｚｃ）であり、
仮想制御プレーンの座標は、（ｘｊ，ｙｊ，ｚｊ）であり、
ｄは、（ｘｃ，ｙｃ，ｚｃ）と（ｘｊ，ｙｊ，ｚｊ）の間の距離であってもよい。
正規化処理された後、正規化後の第四２Ｄ座標は、下記のように得られる。
（ｘ４，ｙ４）＝［（ｘ１－ｘｔ）＊ｃａｍｗ＋０．５，０．５－（ｙ１－ｙｔ）＊ｃａｍｈ］ 式（７）
仮想３次元空間内へ変換された３Ｄ座標は、下記のようになる。
Figure 0007026825000002
 式（８）。
図７に示すように、本発明の実施例は、画像処理機器を提供する。当該画像処理機器は、
情報を記憶するためのメモリと、
前記メモリに接続されるプロセッサと、を備え、前記プロセッサは、前記メモリに記憶されたコンピュータ実行可能な指令を実行することにより、上記１つまたは複数の解決手段に供される画像処理方法、例えば、図１、図３および図４に示す方法のうちの１つまたは複数を実施可能である。
当該メモリは、各種のタイプのメモリであってもよく、ランダムアクセスメモリ、読み取り専用メモリ、フラッシュメモリ等であってもよい。前記メモリは、情報記憶に適用可能であり、例えば、コンピュータ実行可能な指令等を記憶する。前記コンピュータ実行可能な指令は、各種のプログラム指令、例えば、ターゲットプログラム指令および／またはソースプログラム指令等であってもよい。
前記プロセッサは、各種タイプのプロセッサ、例えば、中央プロセッサ、マイクロプロセッサ、デジタル信号プロセッサ、プログラム可能なアレイ、デジタル信号プロセッサ、特定用途向けの集積回路または画像プロセッサ等であってもよい。
前記プロセッサは、バスを介して前記メモリに接続されてもよい。前記バスは、集積回路バス等であってもよい。
幾つかの実施例では、前記端末機器は、通信インターフェースを更に備えてもよく、当該通信インターフェースは、ネットワークインターフェース、例えば、ローカルエリアネットワークインターフェース、送受信アンテナ等を含んでもよい。前記通信インターフェースは、同様に前記プロセッサに接続され、情報の送受信に適用可能である。
幾つかの実施例では、前記画像処理機器は、カメラを更に備え、当該カメラは、２Ｄカメラであってもよく、２Ｄ画像を採取してもよい。
幾つかの実施例では、前記端末機器は、マンマシンインターフェースを更に備え、例えば、前記マンマシンインターフェースは、各種の入出力機器、例えば、キーボード、タッチスクリーン等を含んでもよい。
本発明の実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体には、コンピュータ実行可能コードが記憶され、前記コンピュータ実行可能コードが実行されると、上記１つまたは複数の解決手段に供される画像処理方法、例えば、図１、図３および図４に示す方法のうちの１つまたは複数は、実施可能である。
前記記憶媒体は、移動記憶機器、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスク等の、プログラムコードを記憶可能な各種の媒体を含む。前記記憶媒体は、非一時的記憶媒体であってもよい。
本発明の実施例は、コンピュータプログラム製品を提供する。前記プログラム製品は、コンピュータ実行可能な指令を含み、前記コンピュータ実行可能な指令が実行されると、上記何れかの実施例に供される画像処理方法、例えば、図１、図３および図４に示す方法のうちの１つまたは複数は実施可能である。
本発明に係る幾つかの実施例において、理解すべきことは、開示された機器及び方法が他の方式で実施され得る。以上で記述された機器実施例が単に例示であり、例えば、前記手段の区分が、単に１種の論理機能区分であり、実際に実施する際に他の区分方式があり得る。例えば、複数の手段若しくはユニットは、組み合わせられてもよく、或いは、別のシステムに統合されてもよく、または、幾つかの特徴が省略されてもよく、或いは実行されなくてもよい。また、表示若しくは議論された各構成部分同士間の結合、または直接結合、または通信接続は、幾つかのインターフェース、機器または手段の間接結合或いは通信接続によって実施されてもよく、電気的なもの、機械的なものまたは他の形態であってもよい。
上記分離部品として説明された手段は、物理的に離間されたものであってもよく、でなくてもよい。手段として表示された部品は、物理手段であってもよく、でなくてもよい。即ち、当該部品は、１箇所に位置してもよく、複数のネットワークセルに分散されてもよい。本実施例の目的は、実際の需要に応じて、上記部品のうちの一部または全部の手段を選択して実施可能である。
また、本発明の各実施例における各機能手段は、全部で１つの処理モジュールに統合されてもよく、各手段がそれぞれ単独で１つの手段としてもよく、２つまたは２つ以上の手段が１つの手段に統合されてもよい。上記統合手段は、ハードウェアの形態にて実施されてもよく、ハードウェアプラスソフトウェア機能手段の形態にて実施されてもよい。
当業者であれば理解できるように、上記方法実施例の全部または一部のステップを実施するには、プログラム指令に関するハードウェアにて完成可能であり、上記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、当該プログラムは、実行されるときに、上記方法実施例のステップを含む手順を実行し、上記記憶媒体は、移動記憶機器、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスクまたは光ディスク等の、プログラムコードを記憶可能な各種の媒体を含んでもよい。
上述したのが本発明の具体的な実施形態に過ぎないが、本発明の保護範囲は、それに限定されない。本技術分野に精通している如何なる技術者も本発明に記載の技術範囲内で変化または置換を容易に想到し得、それらは、本発明の保護範囲内に含まれるべきである。したがって、本発明の保護範囲は、上記請求項の保護範囲に準じるべきである。

Claims (18)

  1. 対象オブジェクトの２Ｄ画像を取得するステップと、
    前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するステップと、
    前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するステップと、
    前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するステップと、を含み、
    前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点であり、
    前記相対座標は、前記第１局所と前記第２局所との相対位置を表し、
    前記３Ｄ座標は、被制御機器における対象オブジェクトの座標変換を制御するために用いられることを特徴とする画像処理方法。
  2. 前記第一２Ｄ座標と前記第二２Ｄ座標は、第一２Ｄ座標系内に位置する２Ｄ座標であることを特徴とする請求項１に記載の画像処理方法。
  3. 前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するステップは、
    前記第二２Ｄ座標に基づいて、第二２Ｄ座標系を構築することと、
    前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することと、
    第三２Ｄ座標に基づいて前記相対座標を特定することと、を含むことを特徴とする請求項２に記載の画像処理方法。
  4. 前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することは、
    前記第一２Ｄ座標系および前記第二２Ｄ座標系に基づいて、前記第一２Ｄ座標系から前記第二２Ｄ座標系へマッピングする変換パラメータを特定し、
    前記変換パラメータに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することを含むことを特徴とする請求項３に記載の画像処理方法。
  5. 前記第一２Ｄ座標系および前記第二２Ｄ座標系に基づいて、前記第一２Ｄ座標系から前記第二２Ｄ座標系へマッピングする変換パラメータを特定することは、
    前記２Ｄ画像の第１方向での第１サイズを特定し、前記第２局所の第１方向での第２サイズを特定することと、
    前記第１サイズと前記第２サイズとの比である第１比を特定することと、
    前記第１比に基づいて前記変換パラメータを特定することと、を含むことを特徴とする請求項４に記載の画像処理方法。
  6. 前記第１比に基づいて前記変換パラメータを特定することは、
    前記２Ｄ画像の第２方向での第３サイズを特定し、前記第２局所の第２方向での第４サイズを特定することと、
    前記第３サイズと前記第４サイズとの比である第２比を特定することと、
    前記第１比と第２比との両方に基づいて、前記変換パラメータを特定することとを含み、
    前記第２方向は前記第１方向に垂直することを特徴とする請求項５に記載の画像処理方法。
  7. 前記変換パラメータに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することは、
    前記変換パラメータと前記第一２Ｄ座標系の中心座標とに基づいて、前記第一２Ｄ座標を前記第二２Ｄ座標系にマッピングして第三２Ｄ座標を取得することを含むことを特徴とする請求項４から６の何れか一項に記載の画像処理方法。
  8. 前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するステップは、
    前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得することと、
    前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することと、を含むことを特徴とする請求項３から７の何れか一項に記載の画像処理方法。
  9. 前記第三２Ｄ座標に対して正規化処理を行って第四２Ｄ座標を取得することは、
    前記第２局所のサイズと前記第二２Ｄ座標系の中心座標との両方に基づいて、前記第三２Ｄ座標に対して正規化処理を行って前記第四２Ｄ座標を取得することを含むことを特徴とする請求項８に記載の画像処理方法。
  10. 前記第四２Ｄ座標と前記仮想３次元空間内における仮想視点から仮想結像面内までの距離との両方に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することは、
    前記第四２Ｄ座標と、前記仮想３次元空間内における仮想視点から仮想結像面内までの距離と、スケーリング率との三者に基づいて、前記第１キーポイントの前記仮想３次元空間内に投影された３Ｄ座標を特定することを含むことを特徴とする請求項８または９に記載の画像処理方法。
  11. 前記画像処理方法は、
    前記対象オブジェクトの数Ｍ（Ｍは、１より大きい整数である）と各対象オブジェクトの前記２Ｄ画像における２Ｄ画像領域とを特定するステップを更に含み、
    前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するステップは、
    前記２Ｄ画像領域に基づいて、各前記対象オブジェクトの前記第１キーポイントの第一２Ｄ座標と前記第２キーポイントの第二２Ｄ座標とを取得することにより、Ｍグループの前記３Ｄ座標を取得することを含むことを特徴とする請求項１から１０の何れか一項に記載の画像処理方法。
  12. 前記３Ｄ座標に基づく制御効果を第１表示領域内で表示するステップと、
    前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示するステップと、を更に含むことを特徴とする請求項１から１１の何れか一項に記載の画像処理方法。
  13. 前記２Ｄ画像を前記第１表示領域に対応する第２表示領域内で表示するステップは、
    前記第一２Ｄ座標に基づいて、前記第１キーポイントの第１指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示すること、
    および／または、
    前記第二２Ｄ座標に基づいて、前記第２キーポイントの第２指示図形を前記第２表示領域内で表示された前記２Ｄ画像に表示すること、を含み、
    前記第１指示図形は、前記第１キーポイントに重畳表示された画像であり、前記第２指示図形は、前記第２キーポイントに重畳表示された画像であることを特徴とする請求項１２に記載の画像処理方法。
  14. 前後２つの時点での相対座標の、仮想３次元空間内の３つの座標軸における変化量或いは変化率に基づいて、被制御機器における対象オブジェクトの座標変換を制御するステップを更に含むことを特徴とする請求項１から１３の何れか一項に記載の画像処理方法。
  15. 画像処理装置であって、
    対象オブジェクトの２Ｄ画像を取得するように構成される第１取得モジュールと、
    前記２Ｄ画像に基づいて、第１キーポイントの第一２Ｄ座標と第２キーポイントの第二２Ｄ座標とを取得するように構成される第２取得モジュールと、
    前記第一２Ｄ座標および前記第二２Ｄ座標に基づいて、相対座標を特定するように構成される第１特定モジュールと、
    前記相対座標を仮想３次元空間内に投影して前記相対座標に対応する３Ｄ座標を取得するように構成される投影モジュールと、を備え、
    前記第１キーポイントは、前記対象オブジェクトの第１局所の、前記２Ｄ画像における結像点であり、前記第２キーポイントは、前記対象オブジェクトの第２局所の、前記２Ｄ画像における結像点であり、前記相対座標は、前記第１局所と前記第２局所との相対位置を表し、前記３Ｄ座標は、被制御機器における対象オブジェクトの座標変換を制御するために用いられることを特徴とする画像処理装置。
  16. 電子機器であって、
    メモリと、
    前記メモリに接続されるプロセッサと、を備え、
    前記プロセッサは、前記メモリに記憶されたコンピュータ実行可能な指令を実行することにより、請求項１から１４の何れか一項に記載の画像処理方法を実施することを特徴とする電子機器。
  17. コンピュータ実行可能な指令が記憶されるコンピュータ記憶媒体であって、
    前記コンピュータ実行可能な指令がプロセッサによって実行されると、請求項１から１４の何れか一項に記載の画像処理方法は実施されることを特徴とするコンピュータ記憶媒体。
  18. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサによって実行されると、請求項１から１４の何れか一項に記載の画像処理方法は実施されることを特徴とするコンピュータプログラム。
JP2020561756A 2018-12-21 2019-06-25 画像処理方法及び装置、電子機器並びに記憶媒体 Active JP7026825B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811572680.9 2018-12-21
CN201811572680.9A CN111353930B (zh) 2018-12-21 2018-12-21 数据处理方法及装置、电子设备及存储介质
PCT/CN2019/092866 WO2020124976A1 (zh) 2018-12-21 2019-06-25 图像处理方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
JP2021520577A JP2021520577A (ja) 2021-08-19
JP7026825B2 true JP7026825B2 (ja) 2022-02-28

Family

ID=71100233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020561756A Active JP7026825B2 (ja) 2018-12-21 2019-06-25 画像処理方法及び装置、電子機器並びに記憶媒体

Country Status (7)

Country Link
US (1) US20210012530A1 (ja)
JP (1) JP7026825B2 (ja)
KR (1) KR102461232B1 (ja)
CN (1) CN111353930B (ja)
SG (1) SG11202010312QA (ja)
TW (1) TWI701941B (ja)
WO (1) WO2020124976A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109675315B (zh) * 2018-12-27 2021-01-26 网易（杭州）网络有限公司 游戏角色模型的生成方法、装置、处理器及终端
KR20220018760A (ko) 2020-08-07 2022-02-15 삼성전자주식회사 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법
CN111985384A (zh) * 2020-08-14 2020-11-24 深圳地平线机器人科技有限公司 获取脸部关键点的3d坐标及3d脸部模型的方法和装置
CN111973984A (zh) * 2020-09-10 2020-11-24 网易（杭州）网络有限公司 虚拟场景的坐标控制方法、装置、电子设备及存储介质
US11461975B2 (en) * 2020-12-03 2022-10-04 Realsee (Beijing) Technology Co., Ltd. Method and apparatus for generating guidance among viewpoints in a scene
TWI793764B (zh) * 2021-09-14 2023-02-21 大陸商北京集創北方科技股份有限公司 屏下光學指紋鏡頭位置補償方法、屏下光學指紋採集裝置及資訊處理裝置
CN114849238B (zh) * 2022-06-02 2023-04-07 北京新唐思创教育科技有限公司 动画执行方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120275722A1 (en) 2012-06-03 2012-11-01 Tianzhi Yang Evaluating mapping between spatial point sets
CN104778720A (zh) 2015-05-07 2015-07-15 东南大学 一种基于空间不变特性的快速体积测量方法
CN106559660A (zh) 2015-09-29 2017-04-05 杭州海康威视数字技术股份有限公司 2d视频中展示目标3d信息的方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
CN101657825B (zh) * 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
US8233206B2 (en) * 2008-03-18 2012-07-31 Zebra Imaging, Inc. User interaction with holographic images
US8487871B2 (en) * 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
US9032334B2 (en) * 2011-12-21 2015-05-12 Lg Electronics Inc. Electronic device having 3-dimensional display and method of operating thereof
US20140181759A1 (en) * 2012-12-20 2014-06-26 Hyundai Motor Company Control system and method using hand gesture for vehicle
KR102068048B1 (ko) * 2013-05-13 2020-01-20 삼성전자주식회사 3차원 영상 제공 시스템 및 방법
CN104240289B (zh) * 2014-07-16 2017-05-03 崔岩 一种基于单个相机的三维数字化重建方法及系统
CN104134235B (zh) * 2014-07-25 2017-10-10 深圳超多维光电子有限公司 真实空间和虚拟空间的融合方法和融合系统
US20220036646A1 (en) * 2017-11-30 2022-02-03 Shenzhen Keya Medical Technology Corporation Methods and devices for performing three-dimensional blood vessel reconstruction using angiographic image
CN108648280B (zh) * 2018-04-25 2023-03-31 深圳市商汤科技有限公司 虚拟角色驱动方法及装置、电子设备和存储介质
CN109191507B (zh) * 2018-08-24 2019-11-05 北京字节跳动网络技术有限公司 三维人脸图像重建方法、装置和计算机可读存储介质
CN110909580B (zh) * 2018-09-18 2022-06-10 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
CN110248148B (zh) * 2018-09-25 2022-04-15 浙江大华技术股份有限公司 一种确定定位参数的方法及装置
CN111340932A (zh) * 2018-12-18 2020-06-26 富士通株式会社 图像处理方法以及信息处理设备
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120275722A1 (en) 2012-06-03 2012-11-01 Tianzhi Yang Evaluating mapping between spatial point sets
CN104778720A (zh) 2015-05-07 2015-07-15 东南大学 一种基于空间不变特性的快速体积测量方法
CN106559660A (zh) 2015-09-29 2017-04-05 杭州海康威视数字技术股份有限公司 2d视频中展示目标3d信息的方法及装置

Also Published As

Publication number Publication date
TW202025719A (zh) 2020-07-01
CN111353930B (zh) 2022-05-24
KR20200138349A (ko) 2020-12-09
CN111353930A (zh) 2020-06-30
WO2020124976A1 (zh) 2020-06-25
TWI701941B (zh) 2020-08-11
US20210012530A1 (en) 2021-01-14
JP2021520577A (ja) 2021-08-19
SG11202010312QA (en) 2020-11-27
KR102461232B1 (ko) 2022-10-28

Similar Documents

Publication Publication Date Title
JP7026825B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
KR101453815B1 (ko) 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치
WO2019242262A1 (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
US9651782B2 (en) Wearable tracking device
US9541997B2 (en) Three-dimensional user interface apparatus and three-dimensional operation method
US20130234934A1 (en) Three-Dimensional Collaboration
CN108090463B (zh) 对象控制方法、装置、存储介质和计算机设备
JPWO2014141504A1 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
CN111527468A (zh) 一种隔空交互方法、装置和设备
CN111860252A (zh) 图像处理方法、设备及存储介质
KR101256046B1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
US20190266798A1 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
JP2012238293A (ja) 入力装置
CN107145822A (zh) 偏离深度相机的用户体感交互标定的方法和系统
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
CN111813214A (zh) 虚拟内容的处理方法、装置、终端设备及存储介质
WO2015072091A1 (ja) 画像処理装置、画像処理方法及びプログラム記憶媒体
CN108401452B (zh) 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2018170678A1 (zh) 一种头戴式显示装置及其手势动作识别方法
JP5520772B2 (ja) 立体画像の表示システム及び表示方法
CN117435055A (zh) 基于空间立体显示器的手势增强眼球追踪的人机交互方法
CN114296540A (zh) 一种基于空间矩阵的人体定位追踪系统和方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220215

R150 Certificate of patent or registration of utility model

Ref document number: 7026825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150