KR20210011425A - 이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체 - Google Patents

이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체 Download PDF

Info

Publication number
KR20210011425A
KR20210011425A KR1020207036649A KR20207036649A KR20210011425A KR 20210011425 A KR20210011425 A KR 20210011425A KR 1020207036649 A KR1020207036649 A KR 1020207036649A KR 20207036649 A KR20207036649 A KR 20207036649A KR 20210011425 A KR20210011425 A KR 20210011425A
Authority
KR
South Korea
Prior art keywords
type
limb
information
connection
image
Prior art date
Application number
KR1020207036649A
Other languages
English (en)
Inventor
푸바오 셰
원타오 류
천 첸
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority claimed from PCT/CN2020/072520 external-priority patent/WO2020147791A1/zh
Publication of KR20210011425A publication Critical patent/KR20210011425A/ko

Links

Images

Classifications

    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/00201—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 개시내용의 실시예들은 이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체를 개시한다. 이미지 처리 방법은: 이미지를 획득하는 단계; 이미지에 기초하여 신체의 사지의 특징을 획득하는 단계 - 사지는 상지 및/또는 하지를 포함함 - ; 특징에 기초하여 사지의 제1 타입 움직임 정보를 결정하는 단계; 및 제1 타입 움직임 정보에 따라, 제어되는 모델의 사지가 움직이도록 제어하는 단계를 포함한다.

Description

이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체
관련 출원의 상호 참조
본 출원은 2019년 1월 18일자로 출원되고 발명의 명칭이 "IMAGE PROCESSING METHODS AND APPARATUSES, IMAGE DEVICES, AND STORAGE MEDIA"인 중국 특허 출원 제201910049830.6호, 및 2019년 4월 30일자로 출원되고 발명의 명칭이 "IMAGE PROCESSING METHODS AND APPARATUSES, IMAGE DEVICES, AND STORAGE MEDIA"인 중국 특허 출원 제201910365188.2호에 대한 우선권을 주장하며, 이들 모두는 그 전체가 본 명세서에 참조로 포함된다.
기술분야
본 출원은 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체에 관한 것이다.
정보 기술의 발달로, 사용자들은 온라인 교육, 라이브 스트리밍, 모션 감지 게임들 등을 위해 비디오 녹화를 사용할 수 있다. 모션 감지 게임은 사용자들이 게임 캐릭터들을 제어하기 위해 그의 신체의 활동 등을 검출하는 특정 모션 감지 디바이스(motion sensing device)들을 착용할 것을 요구하며, 온라인 교육 또는 라이브 스트리밍 동안, 사용자들의 얼굴, 신체 등이 네트워크에서 완전히 노출되어 사용자 프라이버시와 정보 보안 문제들 모두를 수반할 수 있다. 프라이버시 또는 보안 문제를 해결하기 위해, 모자이크 또는 다른 모드들을 사용하여 얼굴 이미지 등을 가릴 수 있다. 그러나, 이것은 비디오 효과에 영향을 미칠 수 있다.
위 내용을 고려하여, 본 출원의 실시예들은 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체를 제공할 것으로 예상된다. 전술한 목적을 달성하기 위해, 본 출원의 기술적 해결책은 다음과 같이 구현된다.
제1 양태에서, 본 개시내용은 이미지 처리 방법을 제공하고, 이 방법은: 이미지를 획득하는 단계; 이미지에 기초하여 신체의 사지(limb)의 특징을 획득하는 단계 - 사지는 상지(upper limb) 및/또는 하지(lower limb)를 포함함 - ; 특징에 기초하여 사지의 제1-타입 움직임 정보를 결정하는 단계; 및 제1-타입 움직임 정보에 따라 제어되는 모델의 사지의 움직임을 제어하는 단계를 포함한다.
위의 해결책에 기초하여, 특징에 기초하여 사지의 제1-타입 움직임 정보를 결정하는 단계는: 이미지에서 사지의 중요점(keypoint)의 위치 정보를 검출하는 단계; 및 위치 정보에 따라 제1-타입 움직임 정보를 결정하는 단계를 포함한다.
위의 해결책에 기초하여, 이 방법은: 이미지에서 신체 골격의 중요점의 위치 정보를 검출하는 단계를 추가로 포함한다. 이미지에 기초하여 신체의 사지의 특징을 획득하는 단계는: 신체 골격의 중요점의 위치 정보에 기초하여 사지의 중요점의 위치 정보를 결정하는 단계를 포함한다.
위의 해결책에 기초하여, 위치 정보에 따라 제1-타입 움직임 정보를 결정하는 단계는: 사지의 중요점의 위치 정보에 따라 이미지에서 사지의 제1 부분을 포함하는 위치 박스(position box)를 결정하는 단계; 위치 박스에 기초하여 제1 부분의 중요점의 위치 정보를 검출하는 단계; 및 제1 부분의 중요점의 위치 정보에 기초하여 제1 부분의 제1-타입 움직임 정보를 획득하는 단계를 포함한다.
위의 해결책에 기초하여, 사지의 중요점의 위치 정보에 따라 이미지에서 사지의 제1 부분을 포함하는 위치 박스를 결정하는 단계는: 손 중요점의 위치 정보에 따라 이미지에서 손을 포함하는 위치 박스를 결정하는 단계를 포함한다.
위의 해결책에 기초하여, 위치 박스에 기초하여 제1 부분의 중요점의 위치 정보를 검출하는 단계는: 위치 박스에 기초하여, 손 상의 손가락 관절에 대응하는 중요점의 위치 정보 및/또는 손가락끝에 대응하는 중요점의 위치 정보를 검출하는 단계를 포함한다.
위의 해결책에 기초하여, 제1 부분의 중요점의 위치 정보에 기초하여 제1 부분의 제1-타입 움직임 정보를 획득하는 단계는: 제1 부분의 중요점의 위치 정보에 기초하여 손의 손가락의 움직임 정보를 획득하는 단계를 포함한다.
위의 해결책에 기초하여, 특징에 기초하여 사지의 제1-타입 움직임 정보를 결정하는 단계는: 사지의 중요점의 위치 정보에 따라 사지의 제2 부분의 제1-타입 움직임 정보를 결정하는 단계를 추가로 포함한다.
위의 해결책에 기초하여, 이 방법은: 연결부에 의해 연결된 사지의 2개의 부분의 중요점들의 위치 정보에 기초하여, 연결부의 제2-타입 움직임 정보를 결정하는 단계를 추가로 포함한다.
위의 해결책에 기초하여, 이 방법은: 적어도 2개의 부분의 특징들 및 연결부의 제1 움직임 제약 조건에 따라 연결부의 제2-타입 움직임 정보를 결정하는 단계 - 적어도 2개의 부분은 연결부를 통해 연결되는 2개의 부분을 포함함 - ; 및 제2-타입 움직임 정보에 따라 제어되는 모델의 연결부의 움직임을 제어하는 단계를 추가로 포함한다.
위의 해결책에 기초하여, 제2-타입 움직임 정보에 따라 제어되는 모델의 연결부의 움직임을 제어하는 단계는: 연결부의 타입에 따라 연결부를 제어하는 제어 모드를 결정하는 단계; 및 제어 모드 및 제2-타입 움직임 정보에 따라 제어되는 모델의 연결부의 움직임을 제어하는 단계를 포함한다.
위의 해결책에 기초하여, 연결부의 타입에 따라 연결부를 제어하는 제어 모드를 결정하는 단계는: 연결부가 제1-타입 연결부인 경우, 제어 모드는 제1-타입 제어 모드인 것으로 결정하는 단계를 포함하며, 제1-타입 제어 모드는 제어되는 모델에서 제1-타입 연결부에 대응하는 연결부의 움직임을 직접 제어하기 위해 사용된다.
위의 해결책에 기초하여, 연결부의 타입에 따라 연결부를 제어하는 제어 모드를 결정하는 단계는: 연결부가 제2-타입 연결부인 경우, 제어 모드는 제2-타입 제어 모드인 것으로 결정하는 단계를 포함하며, 제2-타입 제어 모드는 제어되는 모델에서 제2-타입 연결부에 대응하는 연결부의 움직임을 간접적으로 제어하기 위해 사용되고; 간접 제어는 제어되는 모델에서 제2-타입 연결부 이외의 부분에 대응하는 부분을 제어함으로써 달성된다.
위의 해결책에 기초하여, 제어 모델 및 제2-타입 움직임 정보에 따라 제어되는 모델의 연결부의 움직임을 제어하는 단계는: 제어 모드가 제2-타입 제어 모드인 경우, 제2-타입 움직임 정보를 분해하여 견인부(drawing portion)가 연결부를 회전시키도록 견인(draw)하는 연결부의 제1-타입 회전 정보를 획득하는 단계; 제1-타입 회전 정보에 따라 견인부의 움직임 정보를 조정하는 단계; 및 조정된 견인부의 움직임 정보를 사용하여 제어되는 모델에서 견인부의 움직임을 제어함으로써 연결부의 움직임을 간접적으로 제어하는 단계를 포함한다.
위의 해결책에 기초하여, 이 방법은: 제2-타입 움직임 정보를 분해하여 견인부에 대해 회전하는 제2-타입 연결부의 제2-타입 회전 정보를 획득하는 단계; 및 제2-타입 회전 정보를 사용하여 제어되는 모델에서 견인부에 대한 연결부의 회전을 제어하는 단계를 추가로 포함한다.
위의 해결책에 기초하여, 제1-타입 연결부는 팔꿈치 및 무릎을 포함하고, 제2-타입 연결부는 손목 및 발목을 포함한다.
위의 해결책에 기초하여, 제2-타입 연결부가 손목인 경우, 손목에 대응하는 견인부는 상완(upper arm) 및/또는 팔뚝을 포함하고, 제2-타입 연결부가 발목인 경우, 발목에 대응하는 견인부는 정강이 및/또는 허벅지를 포함한다.
위의 해결책에 기초하여, 이미지에 기초하여 신체의 사지의 특징을 획득하는 단계는: 2D 이미지에 기초하여 사지의 제1 2차원(2D) 좌표를 획득하는 단계를 포함하고; 특징에 기초하여 사지의 제1-타입 움직임 정보를 결정하는 단계는: 제1 2D 좌표 및 2D 좌표로부터 3차원(3D) 좌표로의 변환 관계에 기초하여 제1 2D 좌표에 대응하는 제1 3D 좌표를 획득하는 단계를 포함한다.
위의 해결책에 기초하여, 이미지에 기초하여 신체의 사지의 특징을 획득하는 단계는: 3D 이미지에 기초하여 사지의 골격 중요점의 제2 3D 좌표를 획득하는 단계를 포함하고; 특징에 기초하여 사지의 제1-타입 움직임 정보를 결정하는 단계는: 제2 3D 좌표에 기초하여 제3 3D 좌표를 획득하는 단계를 포함한다.
위의 해결책에 기초하여, 제2 3D 좌표에 기초하여 제3 3D 좌표를 획득하는 단계는: 제2 3D 좌표에 기초하여, 3D 이미지에서 가려진 부분에 대응하는 사지의 골격 중요점의 3D 좌표를 조정하여 제3 3D 좌표를 획득하는 단계를 포함한다.
위의 해결책에 기초하여, 제1-타입 움직임 정보는 쿼터니언(quaternion)을 포함한다.
제2 양태에 따르면, 본 개시내용은 이미지 처리 장치를 제공하고, 이 장치는: 이미지를 획득하도록 구성되는 제1 획득 모듈; 이미지에 기초하여 신체의 사지의 특징을 획득하도록 구성되는 제2 획득 모듈 - 사지는 상지 및/또는 하지를 포함함 - ; 특징에 기초하여 사지의 제1-타입 움직임 정보를 결정하도록 구성되는 제1 결정 모듈; 및 제1-타입 움직임 정보에 따라 제어되는 모델의 사지의 움직임을 제어하도록 구성되는 제어 모듈을 포함한다.
제3 양태에 따르면, 본 개시내용은 이미지 디바이스를 제공하고, 이 이미지 디바이스는: 메모리; 및 메모리에 연결되고 메모리 상의 컴퓨터 실행가능 명령어들을 실행하여 전술한 기술적 해결책들 중 어느 하나에 제공된 이미지 처리 방법을 구현하도록 구성되는 프로세서를 포함한다.
제4 양태에 따르면, 본 개시내용은 비휘발성 컴퓨터 저장 매체를 제공하고, 이 컴퓨터 저장 매체는 컴퓨터 실행가능 명령어들을 저장한다. 프로세서에 의해 실행된 후에, 컴퓨터 실행가능 명령어들은 전술한 기술적 해결책들 중 어느 하나에 제공된 이미지 처리 방법을 구현할 수 있다.
본 출원의 실시예들에서 제공되는 이미지 처리 방법에 따르면, 대상(object)의 사지의 액션(action)은 이미지 취득에 의해 취득되고, 그 후 제어되는 모델의 사지의 액션이 제어된다. 이러한 방식으로, 제어되는 모델은 제어되는 모델의 사지의 액션을 제어함으로써 사용자와 같은 취득된 대상의 움직임을 시뮬레이션하여 비디오 교육, 비디오 강의, 라이브 스트리밍, 게임 제어 등을 달성할 수 있다. 동시에, 취득된 대상을 제어되는 모델로 대체함으로써 취득된 대상을 숨길 수 있어, 사용자 프라이버시를 보호하고 정보 보안을 향상시킬 수 있다.
도 1은 본 개시내용의 실시예들에 의해 제공되는 제1 이미지 처리 방법의 개략적인 흐름도이다.
도 2는 본 개시내용의 실시예들에 의해 제공되는 제1 부분의 제1-타입 움직임 정보를 검출하는 개략적인 흐름도이다.
도 3은 본 개시내용의 실시예들에 의해 제공되는 손 중요점(hand keypoint)의 개략도이다.
도 4는 본 개시내용의 실시예들에 의해 제공되는 제2 이미지 처리 방법의 개략적인 흐름도이다.
도 5a 내지 도 5c는 본 실시예들에 의해 제공되는 제어기 모델에 의해 시뮬레이션되는 취득된 사용자의 손 움직임들의 변화들의 개략도들이다.
도 6a 내지 도 6c는 본 개시내용의 실시예들에 의해 제공되는 제어기 모델에 의해 시뮬레이션되는 취득된 사용자의 몸통 움직임들의 변화들의 개략도들이다.
도 7은 본 개시내용의 실시예들에 의해 제공되는 이미지 처리 장치의 개략적인 구조도이다.
도 8a는 본 개시내용의 실시예들에 의해 제공되는 하나의 중요점의 개략도이다.
도 8b는 본 개시내용의 실시예들에 의해 제공되는 다른 중요점의 개략도이다.
도 8c는 본 개시내용의 실시예들에 의해 제공되는 제1 노드들 사이의 계층 관계의 개략도이다.
도 9는 본 개시내용의 실시예들에서 로컬 좌표계(local coordinate system)를 확립하는 개략도이다.
도 10은 본 개시내용의 실시예들에 의해 제공되는 이미지 디바이스의 개략적인 구조도이다.
본 출원의 기술적 해결책들이 본 명세서의 구체적인 실시예들 및 첨부 도면들을 참조하여 아래에서 상세히 추가로 설명된다.
도 1에 도시된 바와 같이, 본 실시예들은 다음의 단계들 S110-S140을 포함하는 이미지 처리 방법을 제공한다.
단계 S110에서, 이미지가 획득된다.
단계 S120에서, 이미지에 기초하여 신체의 사지(limb)의 특징이 획득되고, 사지는 상지 및/또는 하지를 포함한다.
단계 S130에서, 특징에 기초하여 사지의 제1-타입 움직임 정보가 결정된다.
단계 S140에서, 제1-타입 움직임 정보에 따라 제어되는 모델의 사지의 움직임이 제어된다.
본 실시예들에 의해 제공되는 이미지 처리 방법에 따르면, 이미지 처리에 의해 제어되는 모델의 움직임이 유도될 수 있다.
본 실시예들에 의해 제공되는 이미지 처리 방법은 이미지 디바이스에 적용될 수 있다. 이미지 디바이스는 이미지 처리를 수행할 수 있는 임의의 전자 디바이스, 예를 들어, 이미지 취득, 이미지 표시, 및 이미지 픽셀 재편성(image pixel reorganization)을 위한 전자 디바이스일 수 있다. 이미지 디바이스는 상이한 단말 디바이스들, 예를 들어, 이동 단말 및/또는 고정 단말을 포함하지만, 이에 제한되지 않고, 또한 이미지 서비스를 제공할 수 있는 상이한 서버들을 포함할 수 있다. 이동 단말은 휴대폰, 태블릿 컴퓨터, 또는 사용자가 휴대하기 쉬운 다른 휴대용 디바이스들을 포함하고, 사용자에 의해 착용되는 디바이스, 예를 들어, 스마트 손목밴드(smart wristband), 스마트 시계, 스마트 안경 등을 또한 포함할 수 있다. 고정 단말은 고정 데스크톱 컴퓨터 등을 포함한다.
본 실시예들에서, 단계 S110에서 획득된 이미지는 2D 이미지 또는 3D 이미지일 수 있다. 2D 이미지는 단안(monocular) 또는 양안(binocular) 카메라에 의해 취득되는 이미지, 예를 들어, 적색, 녹색, 청색(RGB) 이미지들 등을 포함할 수 있다. 이미지를 획득하는 접근법은: 이미지 디바이스의 카메라에 의해 이미지를 획득하는 것; 외부 디바이스로부터 이미지를 수신하는 것; 및 로컬 데이터베이스 또는 로컬 메모리로부터 이미지를 판독하는 것 중 어느 하나를 포함한다.
3D 이미지는 2D 이미지로부터 2D 좌표를 검출하고, 이후 2D 좌표로부터 3D 좌표로의 변환 알고리즘을 사용하여 획득될 수 있거나, 또는 3D 카메라에 의해 취득되는 이미지일 수 있다.
단계 S110에서 획득된 이미지는 하나의 프레임 이미지 또는 멀티-프레임 이미지일 수 있다. 예를 들어, 획득된 이미지가 하나의 프레임 이미지일 때, 후속하여 획득되는 움직임 정보는 초기 좌표계(카메라 좌표계라고도 할 수 있음)에 대응하는 사지에 대한 현재 이미지에서의 사지의 움직임을 반영할 수 있다. 다른 예로서, 획득된 이미지가 멀티-프레임 이미지일 때, 후속하여 획득되는 움직임 정보는 처음 몇 개의 프레임 이미지들에 대응하는 사지에 대한 현재 이미지에서의 사지의 움직임을 반영하거나, 또는 카메라 좌표계에 대응하는 사지에 대한 현재 이미지에서의 사지의 움직임을 반영할 수 있다. 획득된 이미지들의 수는 본 출원에서 제한되지 않는다.
신체의 사지는 상지 및/또는 하지를 포함할 수 있다. 단계 S130에서, 적어도 사지의 움직임의 변화를 나타내기 위해 특징에 기초하여 제1-타입 움직임 정보가 획득된다. 본 실시예들에서는, 신경망과 같은 딥 러닝 모델들을 사용하여 이미지의 특징을 검출할 수 있다.
제어되는 모델은 타겟에 대응하는 모델일 수 있다. 예를 들어, 타겟이 사람이면, 제어되는 모델은 신체 모델이고, 타겟이 동물이면, 제어되는 모델은 동물에 대응하는 신체 모델이다. 본 실시예들에서, 제어되는 모델은 타겟이 속하는 카테고리에 대한 모델이고, 미리 결정될 수 있다.
본 실시예들에서, 사용자의 신체 움직임은 단계 S110 내지 단계 S140의 실행들에 의해 제어되는 모델로 직접 전달(transfer)될 수 있다. 이러한 방식으로, 제어되는 대상의 신체 움직임은 사용자가 모션 감지 디바이스를 착용할 필요가 없을 때 카메라의 이미지 취득에 의해 편리하게 제어될 수 있다.
예를 들어, 라이브 스트리밍 또는 프레젠테이션의 프로세스 동안, 사용자가 실제 초상화를 사용하기를 원하지 않지만, 라이브 스트리밍의 효과 또는 프레젠테이션의 힘을 향상시키기 위해 그의 신체 움직임을 시뮬레이션하는 제어되는 모델을 기대한다면, 이 방법을 사용하여 사용자 프라이버시를 보호하고 사용자가 원하는 효과를 보장할 수 있다.
일부 실시예들에서, 단계 S130은: 이미지에서 사지의 중요점의 위치 정보를 검출하는 단계; 및 위치 정보에 따라 제1-타입 움직임 정보를 결정하는 단계를 포함할 수 있다.
사지의 중요점의 위치 정보는 골격 중요점의 위치 정보 및/또는 윤곽 중요점(contour keypoint)의 위치 정보를 포함하지만, 이에 제한되지 않는다. 골격 중요점의 정보는 골격의 중요점의 정보를 지칭한다. 윤곽 중요점의 위치 정보는 사지의 외측 표면의 중요점의 위치 정보를 지칭한다.
상이한 자세들을 갖는 신체의 좌표들은 기준 자세를 기준으로 변화하므로; 제1-타입 움직임 정보는 좌표들에 따라 결정될 수 있다.
본 실시예들에서, 제1-타입 움직임 정보는 중요점의 위치 정보를 검출함으로써 편리하고 신속하게 결정될 수 있고, 제어되는 모델을 이동하도록 구동하기 위한 움직임 파라미터로서 직접 취해질 수 있다.
일부 실시예들에서, 이 방법은: 이미지에서 신체 골격의 중요점의 위치 정보를 검출하는 단계를 추가로 포함하고, 이미지에서 사지의 중요점의 위치 정보를 검출하는 단계는: 신체 골격의 중요점의 위치 정보에 기초하여 사지의 중요점의 위치 정보를 결정하는 단계를 포함한다.
본 실시예들에서는, 신경망과 같은 딥 러닝 모델들을 사용함으로써 전체 신체의 신체 골격의 중요점들의 위치 정보가 먼저 획득될 수 있어, 전체 신체의 중요점들의 위치 정보의 분포에 기초하여 사지의 중요점의 위치 정보를 결정할 수 있다. 전체 신체의 중요점들의 위치 정보가 획득된 후에, 중요점들을 연결하여 골격을 획득하고, 골격 내의 뼈들 및 관절들의 상대 분포 위치에 기초하여 어떤 중요점들이 사지의 중요점들인지를 결정하여, 사지의 중요점의 위치 정보를 결정할 수 있다.
또 다른 실시예에서, 사지가 위치해 있는 위치가 먼저 신체 식별 등에 의해 식별될 수 있고, 중요점의 위치 정보는 사지가 위치해 있는 위치에 대해서만 추출된다.
일부 실시예들에서, 도 2에 도시된 바와 같이, 단계 S130은 다음의 단계들을 포함할 수 있다.
단계 S131에서, 사지의 중요점의 위치 정보에 따라 이미지에서 사지의 제1 부분을 포함하는 위치 박스가 결정된다.
단계 S132에서, 위치 박스에 기초하여 제1 부분의 중요점의 위치 정보가 검출된다.
단계 S133에서, 제1 부분의 중요점의 위치 정보에 기초하여 제1 부분의 제1-타입 움직임 정보가 획득된다.
본 실시예들에서, 사지의 움직임을 정확하게 시뮬레이션하기 위해, 사지의 움직임이 상세히 더 분해될 수 있다. 사지가 상지이면, 상지의 움직임은 상완과 하완(팔뚝이라고도 함)의 움직임을 포함할 뿐만 아니라, 더 미세한 움직임 범위를 갖는 손의 손가락의 움직임도 포함한다.
본 실시예들에서, 제1 부분은 손 또는 발일 수 있다. 획득된 위치 박스에 기초하여 제1 부분을 포함하는 이미지 영역이 이미지로부터 프레임 아웃(frame out)될 수 있다. 이미지 영역에 대해 중요점의 위치 정보가 추가로 획득된다.
예를 들어, 손가락 관절에 대응하는 중요점의 위치 정보가 손으로부터 추출된다. 손이 상이한 자세들에 있을 때, 손가락들은 상이한 상태들로 제시(present)되는데, 이는 손가락 관절의 위치 및 방향이 상이하고, 손가락 관절의 중요점들에 의해 반영될 수 있음을 의미한다.
일부 실시예들에서, 단계 S131은: 손 중요점의 위치 정보에 따라 이미지에서 손을 포함하는 위치 박스를 결정하는 단계를 포함할 수 있다. 위치 박스는 직사각형 또는 비-직사각형(non-rectangular)일 수 있다.
예를 들어, 제1 부분이 손일 때, 위치 박스는 손의 형상과 매칭되는 손-타입 박스(hand-type box)일 수 있다. 손-타입 박스는 손의 윤곽 중요점을 검출함으로써 생성될 수 있다. 다른 예로서, 손의 골격 중요점을 검출함으로써 모든 골격 중요점들을 포함하는 직사각형 경계 박스가 획득되고, 경계 박스는 규칙적인 직사각형 박스이다.
또한, 단계 S132는: 위치 박스에 기초하여, 손 상의 손가락 관절에 대응하는 중요점의 위치 정보 및/또는 손가락끝에 대응하는 중요점의 위치 정보를 검출하는 단계를 포함할 수 있다.
도 3은 손 중요점의 개략도이다. 도 3은 20개의 손 중요점, 즉, 5개의 손가락의 손가락 관절의 중요점들 및 손가락끝의 중요점들을 도시하며, 이는 각각 도 3의 중요점들(P1 내지 P20)에 대응한다.
손가락 관절의 중요점들의 결정은 제어되는 모델의 손가락 관절들의 움직임을 제어할 수 있고, 손가락끝의 중요점들의 결정은 제어되는 모델의 손가락끝의 움직임을 제어할 수 있어, 신체 전달 프로세스(body transfer process)에서 더 미세한 제어를 달성할 수 있다.
일부 실시예들에서, 단계 S130은: 위치 정보에 기초하여 손의 손가락의 움직임 정보를 획득하는 단계를 포함할 수 있다.
일부 실시예들에서, 특징에 기초하여 사지의 제1-타입 움직임 정보를 결정하는 단계는: 사지의 중요점의 위치 정보에 따라 사지의 제2 부분의 제1-타입 움직임 정보를 결정하는 단계를 추가로 포함한다.
여기서 제2 부분은 사지 상의 제1 부분 이외의 부분을 지칭한다. 예를 들어, 상지를 예로 들어, 제1 부분이 손이면, 제2 부분은 하완, 팔꿈치와 어깨 관절 사이의 상완 등을 포함한다. 제2 부분의 제1-타입 움직임 정보는 사지의 중요점의 위치 정보에 기초하여 직접 획득될 수 있다.
따라서, 본 실시예들에서는, 제어되는 모델에서 사지의 상이한 부분들을 정확하게 제어하기 위해 사지의 상이한 부분들의 특징들에 따라 상이한 모드들에 의해 상이한 부분들의 각자의 제1-타입 움직임 정보가 획득된다.
일부 실시예들에서, 이 방법은: 연결부에 의해 연결된 사지의 2개의 부분의 중요점들의 위치 정보에 기초하여, 연결부의 제2-타입 움직임 정보를 결정하는 단계를 추가로 포함한다.
일부 실시예들에서, 도 4에 도시된 바와 같이, 단계 S140은 도 1에 기초하여 다음의 단계들을 추가로 포함할 수 있다.
단계 S141에서, 적어도 2개의 부분의 특징들 및 연결부의 제1 움직임 제약 조건에 따라 연결부의 제2-타입 움직임 정보가 결정되고, 적어도 2개의 부분은 연결부를 통해 연결되는 2개의 부분을 포함한다.
단계 S142에서, 제2-타입 움직임 정보에 따라 제어되는 모델의 연결부의 움직임이 제어된다.
연결부는 2개의 다른 부분에 연결될 수 있다. 예를 들어, 사람을 예로 들어, 목, 손목, 발목 또는 허리는 2개의 부분에 연결되는 연결부이고; 사람의 상지를 예로 들어, 연결부는 하완에 손을 연결하는 손목, 하완에 상완을 연결하는 팔꿈치 등을 포함할 수 있고; 하지를 예로 들어, 연결부는 정강이에 발을 연결하는 발목 및 허벅지에 정강이를 연결하는 무릎을 포함할 수 있다.
이러한 연결부들의 움직임 정보(즉, 제2-타입 움직임 정보)는 직접 편리하게 검출되지 않을 수 있거나 어느 정도 그에 인접한 다른 부분들에 의존할 수 있다; 따라서, 제2-타입 움직임 정보는 연결부들에 연결된 다른 부분들에 따라 결정될 수 있다.
본 실시예들에서, 단계 S142는: 연결부의 타입에 따라 제어 모드를 결정하는 단계; 및 제어 모드에 기초하여 제어되는 모델에 대응하는 연결부의 움직임을 제어하는 단계를 추가로 포함한다.
예를 들어, 상완이 손까지 뻗어 있는 방향을 샤프트(shaft)로 하여, 손목의 측방 회전(lateral rotation)이 상완의 회전에 의해 야기된다. 다른 예로서, 정강이가 뻗어 있는 방향을 샤프트로 하여, 발목의 측방 회전이 또한 정강이에 의해 직접 구동된다.
일부 다른 실시예들에서, 연결부의 타입에 따라 연결부를 제어하는 제어 모드를 결정하는 단계는: 연결부가 제1-타입 연결부인 경우, 제어 모드는 제1-타입 제어 모드인 것으로 결정하는 단계를 포함하며, 제1-타입 제어 모드는 제어되는 모델에서 제1-타입 연결부에 대응하는 연결부의 움직임을 직접 제어하기 위해 사용된다.
본 실시예들에서, 제1-타입 연결부는 스스로(itself) 회전하며, 회전을 위해 다른 부분들에 의해 구동되지 않는다.
제2-타입 연결부는 연결부들에서 제1-타입 연결부 이외의 연결부이고, 제2-타입 연결부의 회전은 다른 부분들의 견인에 의해 생성된 회전을 포함한다.
일부 실시예들에서, 연결부의 타입에 따라 연결부를 제어하는 제어 모드를 결정하는 단계는: 연결부가 제2-타입 연결부인 경우, 제어 모드는 제2-타입 제어 모드인 것으로 결정하는 단계를 포함하며, 제2-타입 제어 모드는 제어되는 모델에서 제2-타입 연결부에 대응하는 연결부의 움직임을 간접적으로 제어하기 위해 사용되고; 간접 제어는 제어되는 모델에서 제2-타입 연결부 이외의 부분에 대응하는 부분을 제어함으로써 달성된다.
제2-타입 연결부 이외의 부분은: 제2-타입 연결부에 직접적으로 연결되는 부분 또는 제2-타입 연결부에 간접적으로 연결되는 부분을 포함하지만, 이에 제한되지 않는다. 예를 들어, 손목이 측방으로 회전할 때, 상지 전체가 움직일 수 있고, 어깨와 팔꿈치 둘 다가 회전한다. 이러한 방식으로, 팔꿈치의 회전은 어깨 및/또는 팔꿈치의 측방 회전을 제어함으로써 간접적으로 제어된다.
일부 실시예들에서, 제어 모드 및 제2-타입 움직임 정보에 따라 제어되는 모델의 연결부의 움직임을 제어하는 단계는: 제어 모드가 제2-타입 제어 모드인 경우, 제2-타입 움직임 정보를 분해하여 견인부(drawing portion)가 연결부를 회전시키도록 견인(draw)하는 연결부의 제1-타입 회전 정보를 획득하는 단계; 제1-타입 회전 정보에 따라 견인부의 움직임 정보를 조정하는 단계; 및 조정된 견인부의 움직임 정보를 사용하여 제어되는 모델에서 견인부의 움직임을 제어함으로써 연결부의 움직임을 간접적으로 제어하는 단계를 포함한다.
본 실시예들에서, 제1-타입 회전 정보는 제2-타입 연결부의 움직임에 의해 생성되는 회전 정보가 아니라, 제2-타입 연결부가 제2-타입 연결부에 연결되는 다른 부분들(즉, 견인부)의 움직임들에 의해 야기될 때 생성되는 타겟의 특정 기준점(예를 들어, 인체의 중심)에 대한 제2-타입 연결부의 움직임 정보이다.
본 실시예들에서, 견인부는 제2-타입 연결부에 직접 연결되는 부분이다. 제2-타입 연결부로서 손목을 예로 들면, 견인부는 손목 위의 팔뚝에서 어깨까지일 수 있다. 제2-타입 연결부로서 발목을 예로 들면, 견인부는 발목 위의 정강이에서 허벅지까지일 수 있다.
예를 들어, 어깨 및 팔꿈치에서 손목으로의 직선 방향을 따르는 손목의 측방 회전은 어깨 또는 팔꿈치에 의해 구동되는 회전일 수 있다. 그러나, 움직임 정보 검출 동안, 측방 회전은 손목의 움직임에 의해 야기된다. 이러한 방식으로, 손목의 측방 회전은 본질적으로 팔꿈치 또는 어깨에 할당되어야 한다. 이러한 전달 할당(transfer of assignment)을 통해, 팔꿈치 또는 어깨의 움직임 정보가 조정될 수 있고, 조정된 움직임 정보를 사용하여 제어되는 모델에서 팔꿈치 또는 어깨의 움직임이 제어된다. 이러한 방식으로, 팔꿈치 또는 어깨에 대응하는 측방 회전은 이미지의 관점에서 제어되는 모델의 손목에 의해 반영되어, 제어되는 모델에 의한 타겟의 움직임의 정확한 시뮬레이션을 달성한다.
일부 실시예들에서, 이 방법은: 제2-타입 움직임 정보를 분해하여 견인부에 대해 회전하는 제2-타입 연결부의 제2-타입 회전 정보를 획득하는 단계; 및 제2-타입 회전 정보를 사용하여 제어되는 모델에서 견인부에 대한 연결부의 회전을 제어하는 단계를 추가로 포함한다.
본 실시예들에서, 미리 결정된 자세에 대한 제2-타입 연결부의 움직임 정보가 제2-타입 연결부의 특징, 예를 들어, 2D 좌표 또는 3D 좌표에 따라 먼저 학습될 수 있다. 움직임 정보는, 회전 정보를 포함하지만 이에 제한되지 않는, 제2-타입 움직임 정보라고 한다.
제1-타입 회전 정보는 이미지의 특징에 따라 정보 모델에 의해 직접 획득되는 정보일 수 있고, 여기서 정보 모델은 회전 정보를 추출하며, 제2-타입 회전 정보는 제1-타입 회전 정보를 조정함으로써 획득되는 회전 정보이다. 일부 실시예들에서, 제1-타입 연결부는 팔꿈치 및 무릎을 포함하고, 제2-타입 연결부는 손목 및 발목을 포함한다.
일부 다른 실시예들에서, 제2-타입 연결부가 손목인 경우, 손목에 대응하는 견인부는 상완 및/또는 팔뚝을 포함하고, 제2-타입 연결부가 발목인 경우, 발목에 대응하는 견인부는 정강이 및/또는 허벅지를 포함한다.
일부 실시예들에서, 제1-타입 연결부는 머리를 몸통에 연결하는 목을 포함한다.
또 다른 실시예들에서, 적어도 2개의 부분의 특징들 및 연결부의 제1 움직임 제약 조건에 따라 연결부의 제2-타입 움직임 정보를 결정하는 단계는: 적어도 2개의 부분의 특징들에 따라 적어도 2개의 부분의 배향 정보(orientation information)를 결정하는 단계; 적어도 2개의 부분의 배향 정보에 따라 연결부의 후보 배향 정보를 결정하는 단계; 및 후보 배향 정보 및 제1 움직임 제약 조건에 따라 연결부의 제2-타입 움직임 정보를 결정하는 단계를 포함한다.
일부 실시예들에서, 적어도 2개의 부분의 배향 정보에 따라 연결부의 후보 배향 정보를 결정하는 단계는: 적어도 2개의 부분의 배향 정보에 따라 연결부의 제1 후보 배향 및 제2 후보 배향을 결정하는 단계를 포함한다.
2개의 부분의 배향 정보 사이에 2개의 끼인각이 형성될 수 있다. 본 실시예들에서, 제1 움직임 제약 조건을 충족하는 끼인각은 제2-타입 움직임 정보로서 취해진다.
예를 들어, 얼굴의 배향과 몸통의 배향 사이에 2개의 끼인각이 형성된다. 2개의 끼인각의 합은 180도이다. 2개의 끼인각이 각각 제1 끼인각 및 제2 끼인각이고, 얼굴을 몸통에 연결하는 목의 제1 움직임 제약 조건이 -90도 내지 90도의 범위에 있는 것으로 가정하면, 90도를 초과하는 각도는 제1 움직임 제약 조건에 따라 배제된다. 이러한 방식으로, 제어되는 모델에 의한 타겟 움직임의 시뮬레이션 동안, 회전각이 시계 방향 또는 반시계 방향으로 90도를 초과하는, 예를 들어, 120도 또는 180도인, 비정상 상황들의 발생을 감소시킬 수 있다.
예를 들어, 목을 예로 들어, 얼굴이 오른쪽을 향하면, 목의 대응하는 배향은 오른쪽으로 90도 또는 왼쪽으로 270도일 수 있다. 그러나, 인체의 생리적 구조에 따르면, 왼쪽으로 270도 회전하여 목이 오른쪽을 향하도록 인체의 목의 배향을 변경하는 것은 불가능하다. 이 경우, 목의 배향은 오른쪽으로 90도이고 왼쪽으로 270도이며, 이들 모두 후보 배향 정보이다. 목의 배향 정보는 제1 움직임 제약 조건에 따라 추가로 결정될 필요가 있다. 본 예에서, 목의 오른쪽으로 90도가 목의 타겟 배향 정보이고, 목의 오른쪽으로 90도에 따라, 목의 현재 제2-타입 움직임 정보는 오른쪽으로 90도 회전하고 있다고 결정된다.
일부 실시예들에서, 후보 배향 정보 및 제1 움직임 제약 조건에 따라 연결부의 제2-타입 움직임 정보를 결정하는 단계는: 제1 후보 배향 정보 및 제2 후보 배향 정보로부터 배향 변경 제약 범위(orientation change constraint range) 내의 타겟 배향 정보를 선택하는 단계; 및 타겟 배향 정보에 따라 제2-타입 움직임 정보를 결정하는 단계를 포함한다.
여기서 타겟 배향 정보는 제1 움직임 제약 조건을 충족하는 정보를 지칭한다.
일부 실시예들에서, 적어도 2개의 부분의 특징들에 따라 적어도 2개의 부분의 배향 정보를 결정하는 단계는: 적어도 2개의 부분 각각의 제1 중요점 및 제2 중요점을 획득하는 단계; 적어도 2개의 부분 각각의 제1 기준점을 획득하는 단계 - 제1 기준점은 타겟 내의 미리 결정된 중요점임 - ; 제1 중요점 및 제1 기준점에 기초하여 제1 벡터를 생성하고 제2 중요점 및 제1 기준점에 기초하여 제2 벡터를 생성하는 단계; 및 제1 벡터 및 제2 벡터에 기초하여 적어도 2개의 부분 각각의 배향 정보를 결정하는 단계를 포함한다.
2개의 부분 중 제1 부분이 인체의 어깨인 경우, 제1 부분의 제1 기준점은 타겟의 허리 중요점 또는 두 가랑이(two crotches)의 중요점들의 중간점일 수 있다. 2개의 부분 중 제2 부분이 얼굴인 경우, 제2 부분의 제1 기준점은 얼굴에 연결된 목과 어깨의 연결점일 수 있다.
일부 실시예들에서, 2개의 벡터에 기초하여 적어도 2개의 부분 각각의 배향 정보를 결정하는 단계는: 하나의 부분의 제1 벡터와 제2 벡터에 대해 외적(cross product)을 수행하여 그 부분이 위치하는 평면의 법선 벡터를 획득하는 단계; 및 법선 벡터를 그 부분의 배향 정보로서 취하는 단계를 포함한다.
법선 벡터가 결정되면, 그 부분이 위치하는 평면의 배향이 또한 결정된다.
일부 실시예들에서, 적어도 2개의 부분의 움직임 정보에 기초하여 연결부의 움직임 정보를 결정하는 단계는: 제2 기준점에 대한 연결부의 제3 3D 좌표를 획득하는 단계; 및 제3 3D 좌표에 따라 연결부의 절대 회전 정보를 획득하는 단계를 포함한다. 연결부의 움직임 정보에 따라 제어되는 모델의 연결부의 움직임을 제어하는 단계는: 절대 회전 정보에 기초하여 제어되는 모델의 연결부의 움직임을 제어하는 단계를 포함한다.
일부 실시예들에서, 제2 기준점은 타겟의 부분의 중요점들 중 하나일 수 있다. 타겟으로서 사람을 예로 들면, 제2 기준점은 제1-타입 연결부에 연결되는 부분의 중요점일 수 있다. 예를 들어, 목을 예로 들면, 제2 기준점은 목에 연결되는 어깨의 중요점일 수 있다.
일부 다른 실시예들에서, 제2 기준점은 제1 기준점과 동일할 수 있다. 예를 들어, 제1 기준점과 제2 기준점은 둘 다 인체의 루트 노드(root node)일 수 있고, 인체의 루트 노드는 인체의 가랑이들의 2개의 중요점의 연결선의 중간점일 수 있다. 루트 노드는 도 8a에 도시된 중요점 0을 포함하지만 이에 제한되지 않는다. 도 8a는 인체의 골격의 개략도이고, 0 내지 16으로 라벨링된 총 17개의 골격 중요점을 포함한다.
일부 다른 실시예들에서, 절대 회전 정보에 기초하여 제어되는 모델의 연결부의 움직임을 제어하는 단계는: 타겟 내의 다수의 연결부들 사이의 견인 계층 관계(drawing hierarchical relation)에 따라 절대 회전 정보를 분해하여 상대 회전 정보를 획득하는 단계; 및 상대 회전 정보에 기초하여 제어되는 모델의 연결부의 움직임을 제어하는 단계를 추가로 포함한다.
일부 실시예들에서, 절대 회전 정보에 기초하여 제어되는 모델의 연결부의 움직임을 제어하는 단계는: 제2 제약 조건에 따라 상대 회전 정보를 정정하는 단계를 추가로 포함한다. 상대 회전 정보에 기초하여 제어되는 모델의 연결부의 움직임을 제어하는 단계는: 정정된 상대 회전 정보에 기초하여 제어되는 모델의 연결부의 움직임을 제어하는 단계를 포함한다.
일부 실시예들에서, 제2 움직임 제약 조건은: 연결부의 회전가능 각도를 포함한다.
일부 실시예들에서, 이 방법은: 제2-타입 움직임 정보에 대해 자세 결함 정정(posture defect correction)을 수행하여 정정된 제2-타입 움직임 정보를 획득하는 단계를 추가로 포함한다. 제2-타입 움직임 정보에 따라 제어되는 모델의 연결부의 움직임을 제어하는 단계는: 정정된 제2-타입 움직임 정보를 사용하여 제어되는 모델의 연결부의 움직임을 제어하는 단계를 포함한다.
예를 들어, 일부 사용자들은 일관되지 않은 체형들(inconsistent body shapes) 및 조율되지 않은 보행(uncoordinated walking)과 같은 문제들을 가질 수 있다. 제어되는 모델이 이상한 액션들을 직접 모방하는 경우를 감소시키기 위해, 본 실시예들에서는, 제2-타입 움직임 정보에 대해 자세 결함 정정을 수행하여 정정된 제2-타입 움직임 정보를 획득할 수 있다.
도 5a, 도 5b 및 도 5c에 도시된 바와 같이, 좌측 상단 모서리에 있는 작은 이미지는 취득된 이미지이고, 우측 하단 모서리에 있는 이미지는 인체의 제어되는 모델이다. 사용자의 손이 움직이고 있다. 도 5a로부터 도 5b로, 그리고 나서 도 5b로부터 도 5c로, 사용자의 손이 계속 움직이고 있고, 제어되는 모델의 손도 또한 그에 따라 계속 움직이고 있다. 사용자의 손 움직임들은 주먹 만들기(fist)로부터, 손바닥 펴기(palm extension), 그리고 집게 손가락 펴기(index finger extension)로 순차적으로 변경되고, 제어되는 모델의 손 움직임들은 사용자의 제스처들을 주먹 만들기로부터, 손바닥 펴기, 그리고 집게 손가락 펴기로 모방한다.
도 6a, 도 6b 및 도 6c에 도시된 바와 같이, 좌측 상단 모서리에 있는 작은 이미지는 취득된 이미지이고, 우측 하단 모서리에 있는 이미지는 인체의 제어되는 모델이다. 도 6a로부터 도 6c로, 사용자는 이미지의 오른쪽으로 걷고, 이미지의 왼쪽으로 걷고, 최종적으로 똑바로 서 있으며, 제어되는 모델은 또한 사용자의 발 움직임들을 모방한다.
일부 실시예들에서, 단계 S120은: 2D 이미지에 기초하여 사지의 제1 2D 좌표를 획득하는 단계를 포함할 수 있다. 단계 S130은: 제1 2D 좌표 및 2D 좌표로부터 3D 좌표로의 변환 관계에 기초하여 제1 2D 좌표에 대응하는 제1 3D 좌표를 획득하는 단계를 포함할 수 있다.
2D 좌표는 평면 좌표계에서의 좌표이고, 3D 좌표는 3D 좌표계에서의 좌표이다. 2D 좌표는 평면에서의 중요점의 좌표를 표현할 수 있고, 3D 좌표는 차원 공간에서의 좌표를 표현한다.
변환 관계는 상이한 타입들의 미리 설정된 변환 함수들일 수 있다. 예를 들어, 이미지 취득 모듈의 위치를 가상 시점(virtual viewpoint)으로서 취하면, 취득 타겟과 이미지 취득 모듈이 미리 결정된 거리에 있을 때 대응하는 가상 3D 공간이 설정되고, 2D 좌표를 3D 공간에 투영하여 제1 2D 좌표에 대응하는 제1 3D 좌표를 획득한다.
일부 다른 실시예들에서, 단계 S120은: 3D 이미지에 기초하여 사지의 골격 중요점의 제2 3D 좌표를 획득하는 단계를 포함할 수 있다. 단계 S130은: 제2 3D 좌표에 기초하여 제3 3D 좌표를 획득하는 단계를 포함할 수 있다.
예를 들어, 단계 S110에서 획득된 3D 이미지는: 2D 이미지 및 이에 대응하는 깊이 이미지를 포함하고, 여기서 2D 이미지는 xoy 평면에서 골격 중요점의 좌표 값을 제공할 수 있고, 깊이 이미지에서의 깊이 값은 z-축 상의 골격 중요점의 좌표를 제공할 수 있다. z-축은 xoy 평면에 수직이다.
제2 3D 좌표에 기초하여 3D 이미지에서 가려진 부분에 대응하는 사지의 골격 중요점의 3D 좌표를 조정하여 제3 3D 좌표를 획득한다.
또한, 제2 3D 좌표에 기초하여 제3 3D 좌표를 획득하는 단계는: 제2 3D 좌표에 기초하여, 3D 이미지에서 가려진 부분에 대응하는 사지의 골격 중요점의 3D 좌표를 조정하여 제3 3D 좌표를 획득하는 단계를 포함한다.
예를 들어, 사용자가 이미지 취득 모듈을 측방으로 향한다; 깊이 이미지에서 양 다리의 무릎의 위치의 깊이 값은 동일하다. 이 경우, 이미지 취득 모듈에 더 가까운 무릎은 이미지 취득 모듈로부터 상대적으로 먼 무릎을 가린다. 가림(shielding)에 의해 야기되는 깊이 이미지에서의 3D 좌표의 부정확한 추출의 문제를 감소시키기 위해, 제1-타입 움직임 정보를 더 정확하게 표현하기 위한 3D 좌표가 딥 러닝 모델, 머신 러닝 모델 등을 사용하여 골격 중요점의 3D 좌표를 조정함으로써 획득될 수 있다.
일부 실시예들에서, 제1-타입 움직임 정보는 쿼터니언을 포함한다.
제2-타입 부분의 공간 위치 및/또는 상이한 방향들에서의 그의 회전들은 쿼터니언을 사용하여 정밀하게 표현될 수 있다. 쿼터니언에 더하여, 제1-타입 움직임 정보는 또한 오일러(Euler) 좌표, 라그랑지(Lagrange) 좌표, 및 다른 좌표들에 의해 표현될 수 있다.
도 7에 도시된 바와 같이, 본 실시예들은 이미지 처리 장치를 제공하며, 이 이미지 처리 장치는: 이미지를 획득하도록 구성되는 제1 획득 모듈(110); 이미지에 기초하여 신체의 사지의 특징을 획득하도록 구성되는 제2 획득 모듈(120) - 사지는 상지 및/또는 하지를 포함함 - ; 특징에 기초하여 사지의 제1-타입 움직임 정보를 결정하도록 구성되는 제1 결정 모듈(130); 및 제1-타입 움직임 정보에 따라 제어되는 모델의 사지의 움직임을 제어하도록 구성되는 제어 모듈(140)을 포함한다.
일부 실시예들에서, 제1 획득 모듈(110), 제2 획득 모듈(120), 제1 결정 모듈(130), 및 제어 모듈(140)은 프로그램 모듈들일 수 있다. 프로그램 모듈들이 프로세서에 의해 실행된 후에, 이미지의 획득, 사지의 특징의 결정, 제1-타입 움직임 정보의 결정, 및 제어되는 모델의 움직임의 제어가 수행될 수 있다.
일부 다른 실시예들에서, 제1 획득 모듈(110), 제2 획득 모듈(120), 제1 결정 모듈(130), 및 제어 모듈(140)은 소프트 및 하드 조합 모듈들일 수 있고, 소프트 및 하드 조합 모듈들은 상이한 프로그램가능 어레이들을 포함할 수 있다. 프로그램가능 어레이들은 필드-프로그램가능 어레이들(field-programmable arrays) 또는 복합 프로그램가능 어레이들(complex programmable arrays)을 포함하지만, 이에 제한되지 않는다.
또 다른 실시예들에서, 제1 획득 모듈(110), 제2 획득 모듈(120), 제1 결정 모듈(130), 및 제어 모듈(140)은 순수 하드웨어 모듈들일 수 있고, 순수 하드웨어 모듈들은 주문형 집적 회로들(application-specific integrated circuits)을 포함하지만, 이에 제한되지 않는다.
일부 실시예들에서, 제1 결정 모듈(130)은 이미지에서 사지의 중요점의 위치 정보를 검출하고; 위치 정보에 따라 제1-타입 움직임 정보를 결정하도록 구체적으로 구성된다.
일부 실시예들에서, 이 장치는: 이미지에서 신체 골격의 중요점의 위치 정보를 검출하도록 구성되는 검출 모듈을 추가로 포함하고, 제2 획득 모듈(120)은 신체 골격의 중요점의 위치 정보에 기초하여 사지의 중요점의 위치 정보를 결정하도록 구체적으로 구성된다.
일부 실시예들에서, 제1 결정 모듈(130)은 사지의 중요점의 위치 정보에 따라 이미지에서 사지의 제1 부분을 포함하는 위치 박스를 결정하고; 위치 박스에 기초하여 제1 부분의 중요점의 위치 정보를 검출하고; 제1 부분의 중요점의 위치 정보에 기초하여 제1 부분의 제1-타입 움직임 정보를 획득하도록 구체적으로 구성된다.
일부 실시예들에서, 제1 결정 모듈(130)은 손 중요점의 위치 정보에 따라 이미지에서 손을 포함하는 위치 박스를 결정하도록 구체적으로 구성된다.
일부 실시예들에서, 제1 결정 모듈(130)은, 위치 박스에 기초하여, 손 상의 손가락 관절에 대응하는 중요점의 위치 정보 및/또는 손가락끝에 대응하는 중요점의 위치 정보를 검출하도록 추가로 구성된다.
일부 실시예들에서, 제1 결정 모듈(130)은 제1 부분의 중요점의 위치 정보에 기초하여 손의 손가락의 움직임 정보를 획득하도록 추가로 구성된다.
일부 실시예들에서, 제1 결정 모듈(130)은 사지의 중요점의 위치 정보에 따라 사지의 제2 부분의 제1-타입 움직임 정보를 결정하도록 추가로 구성된다.
일부 실시예들에서, 이 장치는: 연결부에 의해 연결된 사지의 2개의 부분의 중요점들의 위치 정보에 기초하여, 연결부의 제2-타입 움직임 정보를 결정하도록 구성되는 제2 결정 모듈을 추가로 포함한다.
일부 실시예들에서, 이 장치는: 적어도 2개의 부분의 특징들 및 연결부의 제1 움직임 제약 조건에 따라 적어도 2개의 부분의 연결부의 제2-타입 움직임 정보를 결정하고; 제2-타입 움직임 정보에 따라 제어되는 모델의 연결부의 움직임을 제어하도록 구성되는 연결부 제어 모듈을 추가로 포함한다.
일부 실시예들에서, 연결부 제어 모듈은 연결부의 타입에 따라 연결부를 제어하는 제어 모드를 결정하고; 제어 모드 및 제2-타입 움직임 정보에 따라 제어되는 모델의 연결부의 움직임을 제어하도록 추가로 구성된다.
일부 실시예들에서, 연결부 제어 모듈은, 연결부가 제1-타입 연결부인 경우, 제어 모드는 제1-타입 제어 모드인 것으로 결정하도록 추가로 구성되며, 제1-타입 제어 모드는 제어되는 모델에서 제1-타입 연결부에 대응하는 연결부의 움직임을 직접 제어하기 위해 사용된다.
일부 실시예들에서, 연결부 제어 모듈은, 연결부가 제2-타입 연결부인 경우, 제어 모드는 제2-타입 제어 모드인 것으로 결정하도록 추가로 구성되며, 제2-타입 제어 모드는 제어되는 모델에서 제2-타입 연결부에 대응하는 연결부의 움직임을 간접적으로 제어하기 위해 사용되고; 간접 제어는 제어되는 모델에서 제2-타입 연결부 이외의 부분에 대응하는 부분을 제어함으로써 달성된다.
일부 실시예들에서, 연결부 제어 모듈은, 제어 모드가 제2-타입 제어 모드인 경우, 제2-타입 움직임 정보를 분해하여 견인부가 연결부를 회전시키도록 견인하는 연결부의 제1-타입 회전 정보를 획득하고; 제1-타입 회전 정보에 따라 견인부의 움직임 정보를 조정하고; 조정된 견인부의 움직임 정보를 사용하여 제어되는 모델에서 견인부의 움직임을 제어함으로써 연결부의 움직임을 간접적으로 제어하도록 추가로 구성된다.
일부 실시예들에서, 연결부 제어 모듈은 제2-타입 움직임 정보를 분해하여 견인부에 대해 회전하는 제2-타입 연결부의 제2-타입 회전 정보를 획득하고; 제2-타입 회전 정보를 사용하여 제어되는 모델에서 견인부에 대한 연결부의 회전을 제어하도록 추가로 구성된다.
일부 실시예들에서, 제1-타입 연결부는 팔꿈치 및 무릎을 포함하고, 제2-타입 연결부는 손목 및 발목을 포함한다.
일부 실시예들에서, 제2-타입 연결부가 손목인 경우, 손목에 대응하는 견인부는 상완 및/또는 팔뚝을 포함하고/포함하거나, 제2-타입 연결부가 발목인 경우, 발목에 대응하는 견인부는 허벅지 또는 정강이를 포함한다.
일부 실시예들에서, 제2 획득 모듈(120)은 2D 이미지에 기초하여 사지의 제1 2D 좌표를 획득하도록 구체적으로 구성되고, 제1 결정 모듈(130)은 제1 2D 좌표 및 2D 좌표로부터 3D 좌표로의 변환 관계에 기초하여 제1 2D 좌표에 대응하는 제1 3D 좌표를 획득하도록 구성된다.
일부 실시예들에서, 제2 획득 모듈(120)은 3D 이미지에 기초하여 사지의 골격 중요점의 제2 3D 좌표를 획득하도록 구체적으로 구성되고, 제1 결정 모듈(130)은 제2 3D 좌표에 기초하여 제3 3D 좌표를 획득하도록 구체적으로 구성된다.
일부 실시예들에서, 제1 결정 모듈(130)은 제2 3D 좌표에 기초하여, 3D 이미지에서 가려진 부분에 대응하는 사지의 골격 중요점의 3D 좌표를 조정하여 제3 3D 좌표를 획득하도록 구체적으로 구성된다.
일부 실시예들에서, 제1-타입 움직임 정보는 쿼터니언을 포함한다.
전술한 실시예들 중 임의의 것을 조합함으로써, 다음의 구체적인 예들이 다음과 같이 제공된다:
예 1
본 예는: 카메라에 의해 사진들을 취득하고, 각각의 사진에 대해 먼저 이미지를 검출한 다음, 인체의 손 및 손목의 중요점들을 검출하고, 중요점들에 따라 손의 위치 박스를 결정하고, 신체 골격의 14개의 중요점 및 63개의 윤곽점(contour point)을 획득하고, 중요점들을 검출한 후 손의 위치를 학습하고, 손 박스(hand box)를 계산하는 것을 포함하는 이미지 처리 방법을 제공한다. 여기서 손 박스는 위치 박스에 대응한다.
일반적으로, 손 박스는 손목을 포함하지 않는다. 그러나, 위치가 기울어진 경우와 같은 일부 경우들에, 손목의 일부가 포함될 수 있다. 손목의 중요점은 손이 팔에 연결되는 위치에서의 중심점과 동등할 수 있다. 인체의 중요점 및 손의 중요점이 획득된 후에, 점들의 2D 좌표를 기존의 신경망에 입력하여 그 점들의 3D 좌표를 계산할 수 있다. 네트워크에서 2D 점이 입력되고 3D 점이 출력된다. 골격 중요점의 3D 좌표가 획득된 후에, 가상 모델을 직접 구동하는 것은 불가능하다. 골격의 각도 파라미터를 계산하는 것이 추가로 요구된다. 예를 들어, 팔이 구부러지는 각도가 팔의 3개의 중요점의 위치에 따라 계산될 수 있고, 그 후 아바타 모델(Avatar model)과 같은 제어되는 모델에 할당된다. 이러한 방식으로, 사람들이 액션들을 행할 때, 아바타 모델은 동일한 액션들을 행한다. 각도를 표현하기 위한 공통 도구인 쿼터니언이 아바타 모델에 할당될 수 있다.
3D 경우에, 깊이 정보, 즉, z-축의 깊이 값이 비행 시간(Time of Flight, TOF) 정보(TOF 정보는 깊이 정보의 원래 정보임)에 따라 획득될 수 있다. 2D 이미지의 이미지 좌표계, 즉, xoy 평면, 및 z-축 상의 깊이 값이 3D 좌표계로 변경된다. 2D 이미지로부터 변환된 3D 이미지에서 일부 3D 좌표점들은 가려질 수 있다. 가려진 점들은 신경망과 같은 딥 모델(deep model)들에 의한 학습 후에 완전해질 수 있다. 네트워크 학습 후에, 완전한 신체 골격이 획득될 수 있다. 2D RGB 이미지들은 깊이 인지(depth perception)를 갖지 않기 때문에 TOF를 사용한 후에 효과가 더 양호하며, 깊이 정보가 이용가능한 후에 입력 정보가 더 강해지므로, 정밀도를 향상시킬 수 있다.
본 예에서, 제어되는 모델은 게임 장면에서의 게임 캐릭터, 온라인 교육 장면에서의 온라인 교육 비디오의 교사 모델, 또는 가상 스트리머 장면에서의 가상 스트리머일 수 있다. 요약하면, 제어되는 모델은 애플리케이션 장면에 따라 결정된다. 제어되는 모델의 모델 및/또는 외관은 상이한 애플리케이션 장면들에 따라 상이하다.
예를 들어, 전통적인 수학, 물리학 및 다른 강의 장면들에서, 교사 모델의 옷은 정장과 같이 비교적 격식을 차린 것일 수 있다. 다른 예로서, 요가 또는 체조와 같은 스포츠 교육 장면들의 경우, 제어되는 모델은 스포츠웨어를 입고 있을 수 있다.
예 2
본 예는 이미지 처리 방법을 제공한다. 이 방법은 다음의 단계들: 타겟을 포함하는 이미지를 취득하는 단계 - 타겟은 인체를 포함하지만, 이에 제한되지 않음 - ; 및 인체의 몸통 중요점 및 사지 중요점을 검출하는 단계 - 몸통 중요점 및/또는 사지 중요점 둘 다는 3D 좌표에 의해 표현되는 3D 중요점들일 수 있음 - 를 포함한다. 3D 좌표는 2D 이미지로부터 2D 좌표를 검출하고, 이후 2D 좌표로부터 3D 좌표로의 변환 알고리즘을 사용하여 획득될 수 있거나, 또는 3D 카메라에 의해 취득되는 3D 이미지로부터 추출될 수 있다. 사지 중요점은 상지 중요점 및/또는 하지 중요점을 포함할 수 있다. 손을 예로 들면, 상지 중요점의 손 중요점은 손목 관절 중요점, 손가락-손바닥 관절 중요점(finger-palm joint keypoint), 손가락 관절 중요점, 및 손가락끝 중요점을 포함하지만, 이에 제한되지 않는다. 이들 점들의 위치는 손과 손가락들의 움직임들을 반영할 수 있다. 몸통 중요점은 몸통의 움직임을 표현하기 위한 쿼터니언으로 변환된다. 쿼터니언은 몸통 쿼터니언이라고 불릴 수 있다. 사지 중요점은 사지의 움직임을 표현하기 위한 쿼터니언으로 변환된다. 메타데이터는 사지 쿼터니언이라고 불릴 수 있다. 몸통 쿼터니언은 제어되는 모델의 몸통이 움직이도록 제어하기 위해 사용되고, 사지 쿼터니언은 제어되는 모델의 사지가 움직이도록 제어하기 위해 사용된다.
몸통 중요점 및 사지 중요점은 14개의 중요점 또는 17개의 중요점을 포함할 수 있다. 도 8a는 17개의 중요점을 도시한다.
본 예에서, 제어되는 모델은 게임 장면에서의 게임 캐릭터, 온라인 교육 장면에서의 온라인 교육 비디오의 교사 모델, 또는 가상 스트리머 장면에서의 가상 스트리머일 수 있다. 요약하면, 제어되는 모델은 애플리케이션 장면에 따라 결정된다. 제어되는 모델의 모델 및/또는 외관은 상이한 애플리케이션 장면들에 따라 상이하다.
예를 들어, 전통적인 수학, 물리학 및 다른 강의 장면들에서, 교사 모델의 옷은 정장과 같이 비교적 격식을 차린 것일 수 있다. 다른 예로서, 요가 또는 체조와 같은 스포츠 교육 장면들의 경우, 제어되는 모델은 스포츠웨어를 입고 있을 수 있다.
예 3
본 예는 이미지 처리 방법을 제공한다. 이 방법은 다음의 단계들: 타겟을 포함하는 이미지를 취득하는 단계 - 타겟은 인체일 수 있음 - ; 이미지에 따라 3D 공간에서 타겟의 3D 자세를 획득하는 단계 - 3D 자세는 인체의 골격 중요점의 3D 좌표에 의해 표현될 수 있음 - ; 카메라 좌표계에서 인체의 관절의 절대 회전 파라미터를 획득하는 단계 - 절대 회전 위치는 카메라 좌표계의 좌표에 따라 계산될 수 있음 - ; 좌표에 따라 관절의 좌표 방향을 획득하는 단계; 및 계층 관계에 따라 관절의 상대 회전 파라미터를 결정하는 단계를 포함한다. 상대 파라미터를 결정하는 단계는: 인체에 대한 관절 중요점의 루트 노드의 위치를 결정하는 단계를 구체적으로 포함하며, 상대 회전 파라미터는 쿼터니언을 표현하기 위해 사용될 수 있다. 여기서 계층 관계는 관절들 사이의 견인 관계일 수 있다. 예를 들어, 팔꿈치 관절의 움직임은 손목 관절의 움직임을 어느 정도 야기하고, 어깨 관절의 움직임은 팔꿈치 관절의 움직임을 또한 야기하며, 기타등등이다. 계층 관계는 인체의 관절에 따라 미리 결정될 수 있다. 쿼터니언은 제어되는 모델의 회전을 제어하기 위해 사용된다.
예를 들어, 계층 관계를 예로 들면, 제1 레벨은 골반이고; 제2 레벨은 허리이고; 제3 레벨은 허벅지(예를 들어, 왼쪽 허벅지 및 오른쪽 허벅지)이고; 제4 레벨은 정강이(예를 들어, 왼쪽 정강이 및 오른쪽 정강이)이고; 제5 레벨은 발이다.
다른 예로서, 다른 계층 관계는 다음과 같다: 제1 레벨은 가슴이고; 제2 레벨은 목이고; 제3 레벨은 머리이다.
또한, 예를 들어, 또 다른 계층 관계는 다음과 같다: 제1 레벨은 어깨에 대응하는 쇄골이고; 제2 레벨은 상완이고; 제3 레벨은 팔뚝(하완이라고도 함)이고; 제4 레벨은 손이다.
계층 관계는 제1 레벨로부터 제5 레벨로 순차적으로 감소한다. 상위 레벨에서의 부분의 움직임은 하위 레벨에서의 부분의 움직임에 영향을 미친다. 따라서, 견인부의 레벨은 연결부의 레벨보다 높다.
제2-타입 움직임 정보를 결정할 때, 먼저, 상이한 레벨들에서의 부분들의 중요점들의 움직임 정보가 획득되고, 그 후, 상위 레벨에서의 부분의 중요점에 대한 하위 레벨에서의 부분의 중요점의 움직임 정보(즉, 상대 회전 정보)가 결정된다.
예를 들어, 쿼터니언이 움직임 정보를 표현하기 위해 사용되는 경우, 상대 회전 정보는 아래 공식 (1)에 의해 표현될 수 있다: 카메라 좌표계에 대한 각각의 중요점의 회전 쿼터니언들은
Figure pct00001
이고, 이어서 부모 중요점(parent keypoint)에 대한 각각의 중요점의 회전 쿼터니언 qi가 계산된다.
Figure pct00002
(1)
부모 중요점 parent(i)은 현재 중요점 i의 이전 레벨의 중요점(previous level of keypoint)이다.
Figure pct00003
는 카메라 좌표계에 대한 현재 중요점 i의 회전 쿼터니언이다.
Figure pct00004
는 이전 레벨의 중요점의 역 회전 파라미터(inverse rotation parameter)이다. 예를 들어,
Figure pct00005
는 이전 레벨의 중요점의 회전 파라미터이고, 그의 회전 각도는 90도이고,
Figure pct00006
의 회전 각도는 -90도이다.
쿼터니언을 사용하여 제어되는 모델의 관절들의 움직임을 제어하는 것은: qi를 사용하여 제어되는 모델의 관절들의 움직임을 제어하는 것을 포함할 수 있다.
다른 이미지 처리 방법은: 쿼터니언을 제1 오일러 각으로 변환하는 단계; 제1 오일러 각을 변환하여 제약 조건 내에서 제2 오일러 각을 획득하는 단계 - 제약 조건은 제1 오일러 각을 제한하기 위해 사용될 수 있음 - ; 및 제2 오일러 각에 대응하는 쿼터니언을 획득하고, 그 다음에 쿼터니언을 사용하여 제어되는 모델의 회전을 제어하는 단계를 추가로 포함한다. 제2 오일러 각에 대응하는 쿼터니언을 획득하는 것은 제2 오일러 각을 쿼터니언으로 직접 변환할 수 있다.
인체를 예로 들면, 17개의 관절의 중요점들은 인체 검출에 의해 검출될 수 있다. 또한, 왼손 및 오른손에 대응하는 2개의 중요점도 설정된다; 따라서, 총 19개의 중요점이 존재한다. 도 8a는 17개의 중요점의 골격의 개략도이다. 도 8b는 19개의 중요점의 골격의 개략도이다. 도 8a는 도 8b에 도시된 뼈들에 대해 형성된 개략도이다. 도 8b에 도시된 뼈들은 19개의 중요점, 즉, 골반, 허리, 왼쪽 허벅지, 왼쪽 정강이, 왼쪽 발; 오른쪽 허벅지, 오른쪽 정강이, 오른쪽 발, 가슴, 목, 머리, 왼쪽 쇄골, 오른쪽 쇄골, 오른쪽 상완, 오른쪽 팔뚝, 오른쪽 손, 왼쪽 상완, 왼쪽 팔뚝, 및 왼쪽 손에 대응할 수 있다.
먼저, 이미지 좌표계에서의 17개의 중요점의 좌표들은 이미지에서 인체의 관절들의 중요점들을 검출함으로써 획득될 수 있으며, 구체적으로는 다음과 같다:
Figure pct00007
.
Figure pct00008
은 i번째 중요점의 좌표일 수 있고, i의 값들은 0 내지 16이다.
각자의 로컬 좌표계들에서의 19개의 관절의 중요점들의 좌표들은 다음과 같이 정의된다:
Figure pct00009
, 여기서 pi는 로컬 좌표계에서의 노드 i의 3D 좌표를 나타내고, 일반적으로 원래 모델이 보유한(carried) 고정된 값이고, 수정 또는 전달될 필요가 없으며; qi는 쿼터니언이고, 그의 부모 노드 좌표계에서 노드 i에 의해 제어되는 뼈의 회전을 나타내며, 이는 또한 현재 노드의 로컬 좌표계 및 부모 노드의 로컬 좌표계의 회전으로서 간주될 수 있다.
관절들에 대응하는 중요점들의 쿼터니언들을 계산하는 프로세스는 다음과 같다: 각각의 노드의 로컬 좌표계의 좌표 축 방향을 결정하고; 각각의 뼈에 대해 자식 노드가 부모 노드를 가리키는 방향을 x-축으로서 취하고; 하나의 노드에 연결된 2개의 뼈가 위치해 있는 평면의 수직 방향을 z-축으로서 취하고; 회전 축이 결정될 수 없는 경우, 인체가 향하는 방향을 y-축으로서 취한다. 도 9는 노드 A가 위치해 있는 로컬 좌표계의 개략도이다.
본 예에서는, 설명을 위해 왼손 좌표계(left-hand coordinate system)가 사용되고, 특정 구현에서는 오른손 좌표계(right-hand coordinate system)도 사용될 수 있다.
Figure pct00010
표에서 (i-j)는 i가 j를 가리키는 벡터를 나타내고, x는 외적을 나타낸다. 예를 들어, (1-7)은 제1 중요점이 제7 중요점을 가리키는 벡터를 나타낸다.
위의 표에서, 노드들 8, 15, 11, 및 18은 손과 발의 4개의 노드이다. 4개의 노드의 쿼터니언들은 특정 자세들이 사용될 때에만 결정될 수 있다; 따라서, 4개의 노드는 이 표에 포함되지 않는다. 또한, 위의 표에서, 19개의 점의 뼈 노드들의 번호들은 도 8c에 도시되어 있고, 17개의 골격 점의 중요점들의 번호들은 도 8a에 도시되어 있다.
제1 오일러 각을 계산하는 프로세스는 다음과 같다: 관절 점들의 로컬 회전 쿼터니언 qi를 계산한 후에, 먼저, 그것을 오일러 각으로 변환하고 - 여기서 x-y-z의 순서가 디폴트로 사용됨 - ;
qi=(q0,q1,q2,q3)를 설정하며, 여기서 q0은 실수이고; q1, q2, q3은 모두 허수이다. 그러므로, 오일러 각의 계산 공식들 (2) 내지 (4)는 다음과 같다:
Figure pct00011
(2)
Figure pct00012
및 Y의 값 범위는 -1 내지 1임 (3)
Figure pct00013
(4)
X는 제1 방향에서의 오일러 각이고; Y는 제2 방향에서의 오일러 각이고; Z는 제3 방향에서의 오일러 각이다. 제1 방향, 제2 방향 및 제3 방향 중 임의의 2개는 서로 수직이다.
그러면, (X, Y, Z)의 3개의 각도가 제한될 수 있다. 각도들이 범위를 초과하는 경우, 각도들은 경계값들 내에서 정의되어 조정된 제2 오일러 각들 (X', Y', Z')을 획득하고, 새로운 로컬 좌표계의 회전 쿼터니언 qi'이 회복(restore)된다.
다른 이미지 처리 방법은: 제2 오일러 각들에 대해 자세 최적화 조정(posture optimization adjustment)을 수행하는 단계, 예를 들어, 제2 오일러 각들의 일부를 미리 설정된 규칙에 기초하여 자세 최적화가 수행된 오일러 각들로 조정하여 제3 오일러 각들을 획득하는 단계를 추가로 포함한다. 따라서, 제2 오일러 각에 대응하는 쿼터니언을 획득하는 것은: 제3 오일러 각을 제어되는 모델을 제어하는 쿼터니언으로 변환하는 것을 포함할 수 있다.
또 다른 이미지 처리 방법은: 제2 오일러 각을 쿼터니언으로 변환한 후에, 변환된 메타데이터에 대해 자세 최적화를 수행하는 단계, 예를 들어, 미리 설정된 규칙에 기초하여 조정하여 조정된 쿼터니언을 획득하는 단계, 및 최종적으로 조정된 쿼터니언에 따라 제어되는 모델을 제어하는 단계를 추가로 포함한다.
일부 실시예들에서, 제2 오일러 각 또는 제2 오일러 각으로부터의 변환에 의해 획득되는 쿼터니언은 미리 설정된 규칙에 기초하여 조정될 수 있거나, 또는 딥 러닝 모델에 의해 최적화 및 조정될 수 있다. 매우 다양한 구현 모드들이 있으며, 이는 본 출원에서 제한되지 않는다.
또한, 다른 이미지 처리 방법은 전처리를 추가로 포함할 수 있다. 예를 들어, 제어되는 모델의 가랑이 및/또는 어깨의 폭은 인체의 전체적인 자세를 교정하기 위해 취득된 인체의 크기에 따라 수정된다. 똑바로 서고 배를 곧게 펴기 위해 인체의 서 있는 자세를 교정할 수 있다. 일부 사람들은 일어설 때 그들의 복부를 들어올리며, 복부 들어올림 교정(stomach lifting correction)은 제어되는 모델이 사용자의 복부 들어올림을 시뮬레이션하지 않게 만든다. 일부 사람들은 일어설 때 몸을 구부리며, 구부림 교정(hunch correction)은 제어되는 모델이 사용자의 구부림 움직임 등을 시뮬레이션하지 않게 만든다.
예 4
본 예는 이미지 처리 방법을 제공하며, 이 이미지 처리 방법은 다음의 단계들: 타겟을 포함하는 이미지를 획득하는 단계 - 타겟은 인체, 인간 상지, 또는 인간 하지 중 적어도 하나를 포함할 수 있음 - ; 이미지 좌표계에서의 타겟 관절의 위치 정보에 따라 타겟 관절의 좌표계를 획득하는 단계; 이미지 좌표계에서의 사지의 일부의 위치 정보에 따라 타겟 관절이 움직이게 하는 사지의 일부의 좌표계를 획득하는 단계; 타겟 관절의 좌표계와 사지의 일부의 좌표계에 기초하여 사지의 일부에 대한 타겟 관절의 회전을 결정하여, 타겟 관절의 자기-회전 파라미터(self-rotation parameter) 및 사지의 일부에 의해 야기되는 회전 파라미터를 포함하는 회전 파라미터를 획득하는 단계; 제1 각도 제한을 사용함으로써 사지의 일부에 의해 야기되는 회전 파라미터를 제한하여 최종적인 견인 회전 파라미터를 획득하는 단계; 최종적인 견인 회전 파라미터에 따라 사지의 일부의 회전 파라미터를 조정하는 단계; 제1 사지의 좌표계 및 사지의 일부의 정정된 회전 파라미터에 따라 상대 회전 파라미터를 획득하는 단계; 상대 회전 파라미터에 대해 제2 각도 제한을 수행하여 제한된 상대 회전 파라미터를 획득하는 단계; 제한된 회전 파라미터에 따라 쿼터니언을 획득하는 단계; 및 쿼터니언에 따라 제어되는 모델의 타겟 관절의 움직임을 제어하는 단계를 포함한다.
예를 들어, 인간 상지가 처리될 때, 이미지 좌표계에서의 손의 좌표계가 획득되고, 하완의 좌표계와 상완의 좌표계가 또한 획득된다. 이 경우, 타겟 관절은 손목 관절이다. 하완에 대한 손의 회전은 자기-회전 및 야기된 회전(caused rotation)으로 분해된다. 야기된 회전은 하완으로 전달되고, 구체적으로, 야기된 회전은 대응하는 방향에서의 하완의 회전에 할당된다. 하완의 제1 각도 제한을 사용하여 하완의 최대 회전을 제한하고, 이어서 정정된 하완에 대한 손의 회전을 결정하여 상대 회전 파라미터를 획득한다. 상대 회전 파라미터에 대해 제2 각도 제한을 수행하여 하완에 대한 손의 회전을 획득한다.
인간 하지가 처리될 때, 이미지 좌표계에서의 발의 좌표계가 획득되고, 정강이의 좌표계와 허벅지의 좌표계가 또한 획득된다. 이 경우에, 타겟 관절은 발목 관절이다. 정강이에 대한 발의 회전은 자기-회전 및 야기된 회전으로 분해된다. 야기된 회전은 정강이로 전달되고, 구체적으로, 야기된 회전은 대응하는 방향에서의 정강이의 회전에 할당된다. 정강이의 제1 각도 제한을 사용하여 정강이의 최대 회전을 제한하고, 이어서 정정된 정강이에 대한 발의 회전을 결정하여 상대 회전 파라미터를 획득한다. 상대 회전 파라미터에 대해 제2 각도 제한을 수행하여 정강이에 대한 발의 회전을 획득한다.
도 10에 도시된 바와 같이, 본 출원의 실시예들은 이미지 디바이스를 제공하고, 이 이미지 디바이스는: 정보를 저장하도록 구성되는 메모리(1030); 및 메모리(1030)에 연결되고 메모리(1030) 상에 저장된 컴퓨터 실행가능 명령어들을 실행하여 전술한 기술적 해결책들 중 하나 이상에 의해 제공되는 이미지 처리 방법, 예를 들어, 도 1, 도 2 및/또는 도 4에 도시된 이미지 처리 방법을 구현하도록 구성되는 프로세서(1020)를 포함한다.
메모리(1030)는 랜덤 액세스 메모리, 판독 전용 메모리, 및 플래시 메모리와 같은 다양한 타입들의 메모리일 수 있다. 메모리(1030)는 정보를 저장하도록, 예를 들어, 컴퓨터 실행가능 명령어들 등을 저장하도록 구성될 수 있다. 컴퓨터 실행가능 명령어들은 다양한 프로그램 명령어들, 예를 들어, 타겟 프로그램 명령어 및/또는 소스 프로그램 명령어일 수 있다.
프로세서(1020)는 다양한 타입들의 프로세서들, 예를 들어, 중앙 처리 유닛, 마이크로프로세서, 디지털 신호 프로세서, 프로그램가능 어레이, 디지털 신호 프로세서, 주문형 집적 회로, 이미지 프로세서 등일 수 있다.
프로세서(1020)는 버스에 의해 메모리(1030)에 연결될 수 있다. 버스는 집적 회로 버스 등일 수 있다.
일부 실시예들에서, 단말 디바이스는: 통신 인터페이스(1040)를 추가로 포함할 수 있다. 통신 인터페이스(1040)는 네트워크 인터페이스, 예를 들어, 로컬 영역 네트워크 인터페이스, 송수신기 안테나 등을 포함할 수 있다. 통신 인터페이스(1040)는 또한 프로세서(1020)에 연결되고, 정보를 전송 및 수신하도록 구성될 수 있다.
일부 실시예들에서, 단말 디바이스는 인간-컴퓨터 상호작용 인터페이스(1050)를 추가로 포함한다. 예를 들어, 인간-컴퓨터 상호작용 인터페이스(1050)는 키보드 및 터치 스크린과 같은 다양한 입력 및 출력 디바이스들을 포함할 수 있다.
일부 실시예들에서, 이미지 디바이스는: 상이한 프롬프트들, 취득된 얼굴 이미지들 및/또는 인터페이스들을 디스플레이할 수 있는 디스플레이(1010)를 추가로 포함한다.
본 출원의 실시예들은 비휘발성 컴퓨터 저장 매체를 제공한다. 컴퓨터 저장 매체는 컴퓨터 실행가능 코드들을 저장한다. 컴퓨터 실행가능 코드들이 실행된 후에, 전술한 기술적 해결책들 중 하나 이상에 의해 제공되는 이미지 처리 방법, 예를 들어, 도 1, 도 2, 및/또는 도 4에 도시된 이미지 처리 방법들이 구현될 수 있다.
위에 설명된 디바이스 실시예들은 예시적인 것에 불과하다. 예를 들어, 유닛 분할은 단순히 논리적 기능 분할이고 실제로는 다른 분할 방식들로 구현될 수 있다. 예를 들어, 복수의 유닛 또는 컴포넌트가 조합되거나 다른 시스템에 통합될 수 있거나, 또는 일부 특징이 무시되거나 수행되지 않을 수 있다. 또한, 디스플레이된 또는 논의된 컴포넌트들의 부분들 사이의 상호 결합들 또는 직접 결합들 또는 통신 연결들은 일부 포트들에 의해 구현될 수 있다. 디바이스들 또는 유닛들 간의 간접 결합 또는 통신 연결은 전기적, 기계적, 또는 다른 형태로 될 수 있다.
별개의 컴포넌트들로서 설명된 유닛들은 물리적으로 별개일 수 있거나 그렇지 않을 수 있고, 유닛들로서 디스플레이된 컴포넌트들은 물리적 유닛일 수 있거나 그렇지 않을 수 있는데, 즉, 한 위치에 위치할 수 있거나, 복수의 네트워크 유닛들 상에 분산될 수 있다. 유닛들의 일부 또는 전부는 실시예들의 해결책의 목적을 달성하기 위한 실제의 필요성에 따라 선택될 수도 있다.
그에 부가하여, 본 출원의 실시예들에서의 기능적 유닛들은 모두가 하나의 처리 모듈에 통합될 수 있거나, 유닛들 각각이 각각 독립적인 유닛의 역할을 할 수 있거나, 2개 이상의 유닛이 하나의 유닛으로 통합되고, 통합된 유닛이 하드웨어의 형태로 구현될 수 있거나, 하드웨어 및 소프트웨어 기능 유닛의 형태로 또한 구현될 수 있다.
본 기술분야의 통상의 기술자는 전술한 방법 실시예들을 구현하기 위한 모든 또는 일부 단계가 관련 하드웨어에 명령하여 프로그램에 의해 달성될 수 있다는 것; 전술한 프로그램은 컴퓨터 판독가능 저장 매체에 저장될 수 있다는 것; 프로그램이 실행될 때, 전술한 방법 실시예들을 포함하는 단계들이 수행된다는 것을 이해할 수 있다. 게다가, 전술한 저장 매체는 모바일 저장 디바이스, ROM(Read-Only Memory), RAM, 자기 디스크, 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
위의 설명들은 본 출원의 특정 구현들일 뿐이다. 그러나, 본 출원의 보호 범위는 이에 제한되지 않는다. 본 출원에 의해 개시되는 기술적 범위 내에서, 본 기술분야의 통상의 기술자에 의해 용이하게 생각될 수 있는 임의의 변형 또는 치환은 모두 본 출원의 보호 범위 내에 속해야 한다. 따라서, 본 출원의 보호 범위는 첨부된 청구항들의 보호 범위에 의해 결정되어야 한다.

Claims (44)

  1. 이미지 처리 방법으로서,
    이미지를 획득하는 단계;
    상기 이미지에 기초하여 신체의 사지(limb)의 특징을 획득하는 단계 - 상기 사지는 상지(upper limb) 및/또는 하지(lower limb)를 포함함 - ;
    상기 특징에 기초하여 상기 사지의 제1-타입 움직임 정보를 결정하는 단계; 및
    상기 제1-타입 움직임 정보에 따라 제어되는 모델의 상기 사지의 움직임을 제어하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 특징에 기초하여 상기 사지의 제1-타입 움직임 정보를 결정하는 단계는:
    상기 이미지에서 상기 사지의 중요점(keypoint)의 위치 정보를 검출하는 단계; 및
    상기 위치 정보에 따라 상기 제1-타입 움직임 정보를 결정하는 단계
    를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 이미지에서 신체 골격(body skeleton)의 중요점의 위치 정보를 검출하는 단계를 추가로 포함하고;
    상기 이미지에 기초하여 상기 신체의 사지의 특징을 획득하는 단계는:
    상기 신체 골격의 중요점의 위치 정보에 기초하여 상기 사지의 중요점의 위치 정보를 결정하는 단계를 포함하는, 방법.
  4. 제3항에 있어서, 상기 위치 정보에 따라 상기 제1-타입 움직임 정보를 결정하는 단계는:
    상기 사지의 중요점의 위치 정보에 따라 상기 이미지에서 상기 사지의 제1 부분을 포함하는 위치 박스(position box)를 결정하는 단계;
    상기 위치 박스에 기초하여 상기 제1 부분의 중요점의 위치 정보를 검출하는 단계; 및
    상기 제1 부분의 중요점의 위치 정보에 기초하여 상기 제1 부분의 제1-타입 움직임 정보를 획득하는 단계
    를 포함하는, 방법.
  5. 제4항에 있어서, 상기 사지의 중요점의 위치 정보에 따라 상기 이미지에서 상기 사지의 제1 부분을 포함하는 위치 박스를 결정하는 단계는:
    손 중요점(hand keypoint)의 위치 정보에 따라 상기 이미지에서 손을 포함하는 위치 박스를 결정하는 단계를 포함하는, 방법.
  6. 제5항에 있어서, 상기 위치 박스에 기초하여 상기 제1 부분의 중요점의 위치 정보를 검출하는 단계는:
    상기 위치 박스에 기초하여, 상기 손 상의 손가락 관절에 대응하는 중요점의 위치 정보 및/또는 손가락끝에 대응하는 중요점의 위치 정보를 검출하는 단계를 포함하는, 방법.
  7. 제4항 내지 제6항 중 어느 한 항에 있어서, 상기 제1 부분의 중요점의 위치 정보에 기초하여 상기 제1 부분의 제1-타입 움직임 정보를 획득하는 단계는:
    상기 제1 부분의 중요점의 위치 정보에 기초하여 상기 손의 손가락의 움직임 정보를 획득하는 단계를 포함하는, 방법.
  8. 제3항 내지 제7항 중 어느 한 항에 있어서, 상기 특징에 기초하여 상기 사지의 제1-타입 움직임 정보를 결정하는 단계는:
    상기 사지의 중요점의 위치 정보에 따라 상기 사지의 제2 부분의 제1-타입 움직임 정보를 결정하는 단계를 추가로 포함하는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    연결부를 통해 연결된 상기 사지의 2개의 부분의 중요점들의 위치 정보에 기초하여, 상기 연결부의 제2-타입 움직임 정보를 결정하는 단계를 추가로 포함하는, 방법.
  10. 제9항에 있어서,
    적어도 2개의 부분의 특징들 및 상기 연결부의 제1 움직임 제약 조건에 따라 상기 연결부의 제2-타입 움직임 정보를 결정하는 단계 - 상기 적어도 2개의 부분은 상기 연결부를 통해 연결되는 2개의 부분을 포함함 - ; 및
    상기 제2-타입 움직임 정보에 따라 상기 제어되는 모델의 상기 연결부의 움직임을 제어하는 단계
    를 추가로 포함하는, 방법.
  11. 제10항에 있어서, 상기 제2-타입 움직임 정보에 따라 상기 제어되는 모델의 상기 연결부의 움직임을 제어하는 단계는:
    상기 연결부의 타입에 따라 상기 연결부를 제어하는 제어 모드(control mode)를 결정하는 단계; 및
    상기 제어 모드 및 상기 제2-타입 움직임 정보에 따라 상기 제어되는 모델의 상기 연결부의 움직임을 제어하는 단계
    를 포함하는, 방법.
  12. 제11항에 있어서, 상기 연결부의 타입에 따라 상기 연결부를 제어하는 제어 모드를 결정하는 단계는:
    상기 연결부가 제1-타입 연결부인 것에 응답하여, 상기 제어 모드는 제1-타입 제어 모드인 것으로 결정하는 단계를 포함하며, 상기 제1-타입 제어 모드는 상기 제어되는 모델에서 상기 제1-타입 연결부에 대응하는 연결부의 움직임을 직접 제어하기 위해 사용되는, 방법.
  13. 제11항에 있어서, 상기 연결부의 타입에 따라 상기 연결부를 제어하는 제어 모드를 결정하는 단계는:
    상기 연결부가 제2-타입 연결부인 것에 응답하여, 상기 제어 모드는 제2-타입 제어 모드인 것으로 결정하는 단계를 포함하며, 상기 제2-타입 제어 모드는 상기 제어되는 모델에서 상기 제2-타입 연결부에 대응하는 연결부의 움직임을 간접적으로 제어하기 위해 사용되고, 간접 제어는 상기 제어되는 모델에서 상기 제2-타입 연결부 이외의 부분에 대응하는 부분을 제어함으로써 달성되는, 방법.
  14. 제13항에 있어서, 상기 제어 모드 및 상기 제2-타입 움직임 정보에 따라 상기 제어되는 모델의 상기 연결부의 움직임을 제어하는 단계는:
    상기 제어 모드가 상기 제2-타입 제어 모드인 것에 응답하여, 상기 제2-타입 움직임 정보를 분해하여 견인부(drawing portion)가 상기 연결부를 회전시키도록 견인(draw)하는 상기 연결부의 제1-타입 회전 정보를 획득하는 단계;
    상기 제1-타입 회전 정보에 따라 상기 견인부의 움직임 정보를 조정하는 단계; 및
    상기 조정된 견인부의 움직임 정보를 사용하여 상기 제어되는 모델에서 상기 견인부의 움직임을 제어함으로써 상기 연결부의 움직임을 간접적으로 제어하는 단계
    를 포함하는, 방법.
  15. 제14항에 있어서,
    상기 제2-타입 움직임 정보를 분해하여 상기 견인부에 대해 회전하는 상기 제2-타입 연결부의 제2-타입 회전 정보를 획득하는 단계; 및
    상기 제2-타입 회전 정보를 사용하여 상기 제어되는 모델에서 상기 견인부에 대한 상기 연결부의 회전을 제어하는 단계
    를 추가로 포함하는, 방법.
  16. 제13항 내지 제15항 중 어느 한 항에 있어서,
    상기 제1-타입 연결부는 팔꿈치 및 무릎을 포함하고;
    상기 제2-타입 연결부는 손목 및 발목을 포함하는, 방법.
  17. 제13항 내지 제16항 중 어느 한 항에 있어서,
    상기 제2-타입 연결부가 손목인 것에 응답하여, 상기 손목에 대응하는 견인부는 상완 및/또는 팔뚝을 포함하고;
    상기 제2-타입 연결부가 발목인 것에 응답하여, 상기 발목에 대응하는 견인부는 정강이 및/또는 허벅지를 포함하는, 방법.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 이미지에 기초하여 상기 신체의 사지의 특징을 획득하는 단계는: 2D 이미지에 기초하여 상기 사지의 제1 2차원(2D) 좌표를 획득하는 단계를 포함하고;
    상기 특징에 기초하여 상기 사지의 제1-타입 움직임 정보를 결정하는 단계는: 상기 제1 2D 좌표 및 2D 좌표로부터 3차원(3D) 좌표로의 변환 관계에 기초하여 상기 제1 2D 좌표에 대응하는 제1 3D 좌표를 획득하는 단계를 포함하는, 방법.
  19. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 이미지에 기초하여 상기 신체의 사지의 특징을 획득하는 단계는: 3D 이미지에 기초하여 상기 사지의 골격 중요점의 제2 3D 좌표를 획득하는 단계를 포함하고;
    상기 특징에 기초하여 상기 사지의 제1-타입 움직임 정보를 결정하는 단계는: 상기 제2 3D 좌표에 기초하여 제3 3D 좌표를 획득하는 단계를 포함하는, 방법.
  20. 제19항에 있어서, 상기 제2 3D 좌표에 기초하여 제3 3D 좌표를 획득하는 단계는:
    상기 제2 3D 좌표에 기초하여, 상기 3D 이미지에서 가려진 부분(occluded portion)에 대응하는 상기 사지의 골격 중요점의 3D 좌표를 조정하여 상기 제3 3D 좌표를 획득하는 단계를 포함하는, 방법.
  21. 제1항 내지 제20항 중 어느 한 항에 있어서, 상기 제1-타입 움직임 정보는 쿼터니언(quaternion)을 포함하는, 방법.
  22. 이미지 처리 장치로서,
    이미지를 획득하도록 구성되는 제1 획득 모듈;
    상기 이미지에 기초하여 신체의 사지의 특징을 획득하도록 구성되는 제2 획득 모듈 - 상기 사지는 상지 및/또는 하지를 포함함 - ;
    상기 특징에 기초하여 상기 사지의 제1-타입 움직임 정보를 결정하도록 구성되는 제1 결정 모듈; 및
    상기 제1-타입 움직임 정보에 따라 제어되는 모델의 상기 사지의 움직임을 제어하도록 구성되는 제어 모듈
    을 포함하는, 장치.
  23. 제22항에 있어서, 상기 제1 결정 모듈은:
    상기 이미지에서 상기 사지의 중요점의 위치 정보를 검출하고;
    상기 위치 정보에 따라 상기 제1-타입 움직임 정보를 결정하도록 추가로 구성되는, 장치.
  24. 제23항에 있어서,
    상기 이미지에서 신체 골격의 중요점의 위치 정보를 검출하도록 구성되는 검출 모듈을 추가로 포함하고;
    상기 제2 획득 모듈은 상기 신체 골격의 중요점의 위치 정보에 기초하여 상기 사지의 중요점의 위치 정보를 결정하도록 추가로 구성되는, 장치.
  25. 제24항에 있어서, 상기 제1 결정 모듈은:
    상기 사지의 중요점의 위치 정보에 따라 상기 이미지에서 상기 사지의 제1 부분을 포함하는 위치 박스를 결정하고;
    상기 위치 박스에 기초하여 상기 제1 부분의 중요점의 위치 정보를 검출하고;
    상기 제1 부분의 중요점의 위치 정보에 기초하여 상기 제1 부분의 제1-타입 움직임 정보를 획득하도록 추가로 구성되는, 장치.
  26. 제25항에 있어서, 상기 제1 결정 모듈은 손 중요점의 위치 정보에 따라 상기 이미지에서 손을 포함하는 위치 박스를 결정하도록 추가로 구성되는, 장치.
  27. 제26항에 있어서, 상기 제1 결정 모듈은, 상기 위치 박스에 기초하여, 상기 손 상의 손가락 관절에 대응하는 중요점의 위치 정보 및/또는 손가락끝에 대응하는 중요점의 위치 정보를 검출하도록 추가로 구성되는, 장치.
  28. 제25항 내지 제27항 중 어느 한 항에 있어서, 상기 제1 결정 모듈은 상기 제1 부분의 중요점의 위치 정보에 기초하여 상기 손의 손가락의 움직임 정보를 획득하도록 추가로 구성되는, 장치.
  29. 제24항 내지 제28항 중 어느 한 항에 있어서, 상기 제1 결정 모듈은 상기 사지의 중요점의 위치 정보에 따라 상기 사지의 제2 부분의 제1-타입 움직임 정보를 결정하도록 추가로 구성되는, 장치.
  30. 제22항 내지 제29항 중 어느 한 항에 있어서,
    연결부를 통해 연결된 상기 사지의 2개의 부분의 중요점들의 위치 정보에 기초하여, 상기 연결부의 제2-타입 움직임 정보를 결정하도록 구성되는 제2 결정 모듈을 추가로 포함하는, 장치.
  31. 제30항에 있어서,
    적어도 2개의 부분의 특징들 및 상기 연결부의 제1 움직임 제약 조건에 따라 상기 적어도 2개의 부분의 상기 연결부의 제2-타입 움직임 정보를 결정하고;
    상기 제2-타입 움직임 정보에 따라 상기 제어되는 모델의 상기 연결부의 움직임을 제어
    하도록 구성되는 연결부 제어 모듈을 추가로 포함하는, 장치.
  32. 제31항에 있어서, 상기 연결부 제어 모듈은:
    상기 연결부의 타입에 따라 상기 연결부를 제어하는 제어 모드를 결정하고;
    상기 제어 모드 및 상기 제2-타입 움직임 정보에 따라 상기 제어되는 모델의 상기 연결부의 움직임을 제어하도록 추가로 구성되는, 장치.
  33. 제31항에 있어서, 상기 연결부 제어 모듈은:
    상기 연결부가 제1-타입 연결부인 것에 응답하여, 상기 제어 모드는 제1-타입 제어 모드인 것으로 결정하도록 추가로 구성되며, 상기 제1-타입 제어 모드는 상기 제어되는 모델에서 상기 제1-타입 연결부에 대응하는 연결부의 움직임을 직접 제어하기 위해 사용되는, 장치.
  34. 제31항에 있어서, 상기 연결부 제어 모듈은:
    상기 연결부가 제2-타입 연결부인 것에 응답하여, 상기 제어 모드는 제2-타입 제어 모드인 것으로 결정하도록 추가로 구성되며, 상기 제2-타입 제어 모드는 상기 제어되는 모델에서 상기 제2-타입 연결부에 대응하는 연결부의 움직임을 간접적으로 제어하기 위해 사용되고, 간접 제어는 상기 제어되는 모델에서 상기 제2-타입 연결부 이외의 부분에 대응하는 부분을 제어함으로써 달성되는, 장치.
  35. 제34항에 있어서, 상기 연결부 제어 모듈은:
    상기 제어 모드가 상기 제2-타입 제어 모드인 것에 응답하여, 상기 제2-타입 움직임 정보를 분해하여 견인부가 상기 연결부를 회전시키도록 견인하는 상기 연결부의 제1-타입 회전 정보를 획득하고;
    상기 제1-타입 회전 정보에 따라 상기 견인부의 움직임 정보를 조정하고;
    상기 조정된 견인부의 움직임 정보를 사용하여 상기 제어되는 모델에서 상기 견인부의 움직임을 제어함으로써 상기 연결부의 움직임을 간접적으로 제어하도록 추가로 구성되는, 장치.
  36. 제35항에 있어서, 상기 연결부 제어 모듈은:
    상기 제2-타입 움직임 정보를 분해하여 상기 견인부에 대해 회전하는 상기 제2-타입 연결부의 제2-타입 회전 정보를 획득하고;
    상기 제2-타입 회전 정보를 사용하여 상기 제어되는 모델에서 상기 견인부에 대한 상기 연결부의 회전을 제어하도록 추가로 구성되는, 장치.
  37. 제34항 내지 제36항 중 어느 한 항에 있어서,
    상기 제1-타입 연결부는 팔꿈치 및 무릎을 포함하고;
    상기 제2-타입 연결부는 손목 및 발목을 포함하는, 장치.
  38. 제34항 내지 제37항 중 어느 한 항에 있어서,
    상기 제2-타입 연결부가 손목인 것에 응답하여, 상기 손목에 대응하는 견인부는 상완 및/또는 팔뚝을 포함하고;
    상기 제2-타입 연결부가 발목인 것에 응답하여, 상기 발목에 대응하는 견인부는 정강이 및/또는 허벅지를 포함하는, 장치.
  39. 제22항 내지 제38항 중 어느 한 항에 있어서,
    상기 제2 획득 모듈은 2D 이미지에 기초하여 상기 사지의 제1 2D 좌표를 획득하도록 추가로 구성되고;
    상기 제1 결정 모듈은 상기 제1 2D 좌표 및 2D 좌표로부터 3D 좌표로의 변환 관계에 기초하여 상기 제1 2D 좌표에 대응하는 제1 3D 좌표를 획득하도록 구성되는, 장치.
  40. 제22항 내지 제39항 중 어느 한 항에 있어서, 상기 제2 획득 모듈은 3D 이미지에 기초하여 상기 사지의 골격 중요점의 제2 3D 좌표를 획득하도록 추가로 구성되고;
    상기 제1 결정 모듈은 상기 제2 3D 좌표에 기초하여 제3 3D 좌표를 획득하도록 추가로 구성되는, 장치.
  41. 제40항에 있어서, 상기 제1 결정 모듈은:
    상기 제2 3D 좌표에 기초하여, 상기 3D 이미지에서 가려진 부분(occluded portion)에 대응하는 상기 사지의 골격 중요점의 3D 좌표를 조정하여 상기 제3 3D 좌표를 획득하도록 추가로 구성되는, 장치.
  42. 제22항 내지 제41항 중 어느 한 항에 있어서, 상기 제1-타입 움직임 정보는 쿼터니언을 포함하는, 장치.
  43. 이미지 디바이스로서,
    메모리; 및
    상기 메모리에 결합되고, 상기 메모리 상에 위치한 컴퓨터 실행가능 명령어들을 실행하여 제1항 내지 제21항 중 어느 한 항에 따른 방법을 구현하도록 구성되는 프로세서
    를 포함하는 이미지 디바이스.
  44. 제1항 내지 제21항 중 어느 한 항에 따른 방법을 구현하기 위해 프로세서에 의해 실행되는 컴퓨터 실행가능 명령어들을 저장하는 비휘발성 컴퓨터 저장 매체.
KR1020207036649A 2019-01-18 2020-01-16 이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체 KR20210011425A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201910049830.6 2019-01-18
CN201910049830 2019-01-18
CN201910365188.2A CN111460875B (zh) 2019-01-18 2019-04-30 图像处理方法及装置、图像设备及存储介质
CN201910365188.2 2019-04-30
PCT/CN2020/072520 WO2020147791A1 (zh) 2019-01-18 2020-01-16 图像处理方法及装置、图像设备及存储介质

Publications (1)

Publication Number Publication Date
KR20210011425A true KR20210011425A (ko) 2021-02-01

Family

ID=71679913

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020207036649A KR20210011425A (ko) 2019-01-18 2020-01-16 이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체
KR1020207036647A KR20210011424A (ko) 2019-01-18 2020-01-16 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체
KR1020207036619A KR20210011985A (ko) 2019-01-18 2020-01-16 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체
KR1020207036612A KR20210011984A (ko) 2019-01-18 2020-01-16 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020207036647A KR20210011424A (ko) 2019-01-18 2020-01-16 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체
KR1020207036619A KR20210011985A (ko) 2019-01-18 2020-01-16 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체
KR1020207036612A KR20210011984A (ko) 2019-01-18 2020-01-16 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체

Country Status (6)

Country Link
US (5) US11538207B2 (ko)
JP (4) JP7109585B2 (ko)
KR (4) KR20210011425A (ko)
CN (7) CN111460871B (ko)
SG (5) SG11202010399VA (ko)
WO (1) WO2020181900A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113471A1 (ko) * 2021-12-15 2023-06-22 삼성전자 주식회사 복수의 카메라를 이용하여 촬영된 객체의 3차원 골격 데이터를 획득하는 전자 장치 및 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110910393B (zh) * 2018-09-18 2023-03-24 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
US11610414B1 (en) * 2019-03-04 2023-03-21 Apple Inc. Temporal and geometric consistency in physical setting understanding
US10902618B2 (en) * 2019-06-14 2021-01-26 Electronic Arts Inc. Universal body movement translation and character rendering system
CA3154216A1 (en) 2019-10-11 2021-04-15 Beyeonics Surgical Ltd. System and method for improved electronic assisted medical procedures
KR102610840B1 (ko) * 2019-12-19 2023-12-07 한국전자통신연구원 사용자 모션 자동 인식 시스템 및 그 방법
CN111105348A (zh) * 2019-12-25 2020-05-05 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
US11504625B2 (en) 2020-02-14 2022-11-22 Electronic Arts Inc. Color blindness diagnostic system
US11232621B2 (en) 2020-04-06 2022-01-25 Electronic Arts Inc. Enhanced animation generation based on conditional modeling
US11648480B2 (en) 2020-04-06 2023-05-16 Electronic Arts Inc. Enhanced pose generation based on generative modeling
CN111881838B (zh) * 2020-07-29 2023-09-26 清华大学 具有隐私保护功能的运动障碍评估录像分析方法及设备
US11410366B2 (en) * 2020-09-18 2022-08-09 Unity Technologies Sf Systems and methods for generating a skull surface for computer animation
CN114333228B (zh) * 2020-09-30 2023-12-08 北京君正集成电路股份有限公司 一种婴儿的智能视频看护方法
CN112165630B (zh) * 2020-10-16 2022-11-15 广州虎牙科技有限公司 图像渲染方法、装置、电子设备及存储介质
CN112932468A (zh) * 2021-01-26 2021-06-11 京东方科技集团股份有限公司 一种肌肉运动能力的监测系统以及监测方法
US11887232B2 (en) 2021-06-10 2024-01-30 Electronic Arts Inc. Enhanced system for generation of facial models and animation
US20230177881A1 (en) * 2021-07-06 2023-06-08 KinTrans, Inc. Automatic body movement recognition and association system including smoothing, segmentation, similarity, pooling, and dynamic modeling
CN118160315A (zh) * 2021-11-04 2024-06-07 索尼集团公司 分发装置、分发方法和程序
CN114115544B (zh) * 2021-11-30 2024-01-05 杭州海康威视数字技术股份有限公司 人机交互方法、三维显示设备及存储介质
CN117315201A (zh) * 2022-06-20 2023-12-29 香港教育大学 用于在虚拟世界中动画化化身的系统
CN115564689A (zh) * 2022-10-08 2023-01-03 上海宇勘科技有限公司 一种基于按块处理技术的人工智能图像处理方法及系统

Family Cites Families (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4561066A (en) 1983-06-20 1985-12-24 Gti Corporation Cross product calculator with normalized output
JPH0816820A (ja) * 1994-04-25 1996-01-19 Fujitsu Ltd ３次元アニメーション作成装置
US6657628B1 (en) 1999-11-24 2003-12-02 Fuji Xerox Co., Ltd. Method and apparatus for specification, control and modulation of social primitives in animated characters
JP2002024807A (ja) * 2000-07-07 2002-01-25 National Institute Of Advanced Industrial & Technology 物体運動追跡手法及び記録媒体
JP4077622B2 (ja) 2001-11-15 2008-04-16 独立行政法人科学技術振興機構 ３次元人物動画像生成システム
US7215828B2 (en) * 2002-02-13 2007-05-08 Eastman Kodak Company Method and system for determining image orientation
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US20160098095A1 (en) 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
JP2007004732A (ja) * 2005-06-27 2007-01-11 Matsushita Electric Ind Co Ltd 画像生成装置及び画像生成方法
US7869646B2 (en) 2005-12-01 2011-01-11 Electronics And Telecommunications Research Institute Method for estimating three-dimensional position of human joint using sphere projecting technique
US7859540B2 (en) 2005-12-22 2010-12-28 Honda Motor Co., Ltd. Reconstruction, retargetting, tracking, and estimation of motion for articulated systems
JP4148281B2 (ja) * 2006-06-19 2008-09-10 ソニー株式会社 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
JP5076744B2 (ja) * 2007-08-30 2012-11-21 セイコーエプソン株式会社 画像処理装置
JP5229910B2 (ja) * 2008-08-08 2013-07-03 株式会社メイクソフトウェア 画像処理装置、画像出力装置、画像処理方法及びコンピュータプログラム
US8253801B2 (en) 2008-12-17 2012-08-28 Sony Computer Entertainment Inc. Correcting angle error in a tracking system
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8682028B2 (en) 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
CN101930284B (zh) * 2009-06-23 2014-04-09 腾讯科技（深圳）有限公司 一种实现视频和虚拟网络场景交互的方法、装置和系统
KR101616926B1 (ko) * 2009-09-22 2016-05-02 삼성전자주식회사 영상 처리 장치 및 방법
WO2011045768A2 (en) 2009-10-15 2011-04-21 Yeda Research And Development Co. Ltd. Animation of photo-images via fitting of combined models
RU2534892C2 (ru) 2010-04-08 2014-12-10 Самсунг Электроникс Ко., Лтд. Устройство и способ для захвата безмаркерных движений человека
US9177409B2 (en) 2010-04-29 2015-11-03 Naturalmotion Ltd Animating a virtual object within a virtual world
US8437506B2 (en) * 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
TWI534756B (zh) 2011-04-29 2016-05-21 國立成功大學 運動編碼影像及生成模組、影像處理模組及運動展示模組
AU2011203028B1 (en) * 2011-06-22 2012-03-08 Microsoft Technology Licensing, Llc Fully automatic dynamic articulated model calibration
US9134127B2 (en) * 2011-06-24 2015-09-15 Trimble Navigation Limited Determining tilt angle and tilt direction using image processing
US10319133B1 (en) 2011-11-13 2019-06-11 Pixar Posing animation hierarchies with dynamic posing roots
KR101849373B1 (ko) 2012-01-31 2018-04-17 한국전자통신연구원 인체의 관절구조를 추정하기 위한 장치 및 방법
US9747495B2 (en) 2012-03-06 2017-08-29 Adobe Systems Incorporated Systems and methods for creating and distributing modifiable animated video messages
CN102824176B (zh) 2012-09-24 2014-06-04 南通大学 一种基于Kinect传感器的上肢关节活动度测量方法
US9696867B2 (en) 2013-01-15 2017-07-04 Leap Motion, Inc. Dynamic user interactions for display control and identifying dominant gestures
TWI475495B (zh) * 2013-02-04 2015-03-01 Wistron Corp 圖像的識別方法、電子裝置與電腦程式產品
CN104103090A (zh) * 2013-04-03 2014-10-15 北京三星通信技术研究有限公司 图像处理方法、个性化人体显示方法及其图像处理系统
CN103268158B (zh) * 2013-05-21 2017-09-08 上海速盟信息技术有限公司 一种模拟重力传感数据的方法、装置及一种电子设备
JP6136926B2 (ja) * 2013-06-13 2017-05-31 ソニー株式会社 情報処理装置、記憶媒体および情報処理方法
JP2015061579A (ja) * 2013-07-01 2015-04-02 株式会社東芝 動作情報処理装置
JP6433149B2 (ja) 2013-07-30 2018-12-05 キヤノン株式会社 姿勢推定装置、姿勢推定方法およびプログラム
JP6049202B2 (ja) * 2013-10-25 2016-12-21 富士フイルム株式会社 画像処理装置、方法、及びプログラム
US9600887B2 (en) * 2013-12-09 2017-03-21 Intel Corporation Techniques for disparity estimation using camera arrays for high dynamic range imaging
JP6091407B2 (ja) 2013-12-18 2017-03-08 三菱電機株式会社 ジェスチャ登録装置
KR101700817B1 (ko) 2014-01-10 2017-02-13 한국전자통신연구원 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
JP6353660B2 (ja) * 2014-02-06 2018-07-04 日本放送協会 手話単語分類情報生成装置およびそのプログラム
JP6311372B2 (ja) * 2014-03-13 2018-04-18 オムロン株式会社 画像処理装置および画像処理方法
CA2926861C (en) * 2014-05-21 2017-03-07 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
US10426372B2 (en) * 2014-07-23 2019-10-01 Sony Corporation Image registration system with non-rigid registration and method of operation thereof
CN107077750A (zh) * 2014-12-11 2017-08-18 英特尔公司 化身选择机制
US9939887B2 (en) 2015-03-09 2018-04-10 Ventana 3D, Llc Avatar control system
CN104700433B (zh) 2015-03-24 2016-04-27 中国人民解放军国防科学技术大学 一种基于视觉的实时人体全身体运动捕捉方法及其系统
US10022628B1 (en) 2015-03-31 2018-07-17 Electronic Arts Inc. System for feature-based motion adaptation
CN104866101B (zh) * 2015-05-27 2018-04-27 世优（北京）科技有限公司 虚拟对象的实时互动控制方法及装置
US10430867B2 (en) * 2015-08-07 2019-10-01 SelfieStyler, Inc. Virtual garment carousel
DE102015215513A1 (de) * 2015-08-13 2017-02-16 Avl List Gmbh System zur Überwachung einer technischen Vorrichtung
CN106991367B (zh) * 2016-01-21 2019-03-19 腾讯科技（深圳）有限公司 确定人脸转动角度的方法和装置
JP2017138915A (ja) 2016-02-05 2017-08-10 株式会社バンダイナムコエンターテインメント 画像生成システム及びプログラム
US9460557B1 (en) 2016-03-07 2016-10-04 Bao Tran Systems and methods for footwear fitting
JP6723061B2 (ja) 2016-04-15 2020-07-15 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
CN106023288B (zh) * 2016-05-18 2019-11-15 浙江大学 一种基于图像的动态替身构造方法
CN106251396B (zh) * 2016-07-29 2021-08-13 迈吉客科技（北京）有限公司 三维模型的实时控制方法和系统
CN106296778B (zh) * 2016-07-29 2019-11-15 网易（杭州）网络有限公司 虚拟对象运动控制方法与装置
WO2018053349A1 (en) * 2016-09-16 2018-03-22 Verb Surgical Inc. Robotic arms
WO2018069981A1 (ja) * 2016-10-11 2018-04-19 富士通株式会社 運動認識装置、運動認識プログラムおよび運動認識方法
CN108229239B (zh) 2016-12-09 2020-07-10 武汉斗鱼网络科技有限公司 一种图像处理的方法及装置
KR101867991B1 (ko) 2016-12-13 2018-06-20 한국과학기술원 다관절 오브젝트의 모션 에디팅 방법 및 장치
CN106920274B (zh) * 2017-01-20 2020-09-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
JP2018119833A (ja) 2017-01-24 2018-08-02 キヤノン株式会社 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
JP2018169720A (ja) 2017-03-29 2018-11-01 富士通株式会社 動き検出システム
CN107272884A (zh) * 2017-05-09 2017-10-20 聂懋远 一种基于虚拟现实技术的控制方法及其控制系统
CN107154069B (zh) * 2017-05-11 2021-02-02 上海微漫网络科技有限公司 一种基于虚拟角色的数据处理方法及系统
CN107220933B (zh) * 2017-05-11 2021-09-21 上海联影医疗科技股份有限公司 一种参考线确定方法和系统
CN108876879B (zh) * 2017-05-12 2022-06-14 腾讯科技（深圳）有限公司 人脸动画实现的方法、装置、计算机设备及存储介质
WO2018207388A1 (ja) 2017-05-12 2018-11-15 ブレイン株式会社 モーションキャプチャに関するプログラム、装置および方法
US10379613B2 (en) 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
CN107578462A (zh) * 2017-09-12 2018-01-12 北京城市系统工程研究中心 一种基于实时运动捕捉的骨骼动画数据处理方法
CN108205654B (zh) * 2017-09-30 2021-06-04 北京市商汤科技开发有限公司 一种基于视频的动作检测方法及装置
CN108229332B (zh) 2017-12-08 2020-02-14 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
CN107958479A (zh) * 2017-12-26 2018-04-24 南京开为网络科技有限公司 一种移动端3d人脸增强现实实现方法
CN108062783A (zh) * 2018-01-12 2018-05-22 北京蜜枝科技有限公司 面部动画映射系统及方法
CN108227931A (zh) * 2018-01-23 2018-06-29 北京市商汤科技开发有限公司 用于控制虚拟人物的方法、设备、系统、程序和存储介质
CN108357595B (zh) * 2018-01-26 2020-11-20 浙江大学 一种基于模型的自平衡无人驾驶自行车及其模型驱动的控制方法
CN108305321B (zh) * 2018-02-11 2022-09-30 牧星天佑(北京)科技文化发展有限公司 一种基于双目彩色成像系统的立体人手3d骨架模型实时重建方法和装置
CN108364254B (zh) 2018-03-20 2021-07-23 北京奇虎科技有限公司 图像处理方法、装置及电子设备
JP6973258B2 (ja) * 2018-04-13 2021-11-24 オムロン株式会社 画像解析装置、方法およびプログラム
CN108427942A (zh) * 2018-04-22 2018-08-21 广州麦仑信息科技有限公司 一种基于深度学习的手掌检测与关键点定位方法
CN108648280B (zh) * 2018-04-25 2023-03-31 深圳市商汤科技有限公司 虚拟角色驱动方法及装置、电子设备和存储介质
CN108829232B (zh) * 2018-04-26 2021-07-23 深圳市同维通信技术有限公司 基于深度学习的人体骨骼关节点三维坐标的获取方法
CN108830783B (zh) * 2018-05-31 2021-07-02 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108765272B (zh) * 2018-05-31 2022-07-08 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN108830784A (zh) * 2018-05-31 2018-11-16 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108830200A (zh) * 2018-05-31 2018-11-16 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108765274A (zh) * 2018-05-31 2018-11-06 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN109035415B (zh) 2018-07-03 2023-05-16 百度在线网络技术（北京）有限公司 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN109117726A (zh) * 2018-07-10 2019-01-01 深圳超多维科技有限公司 一种识别认证方法、装置、系统及存储介质
WO2020016963A1 (ja) * 2018-07-18 2020-01-23 日本電気株式会社 情報処理装置、制御方法、及びプログラム
CN109101901B (zh) * 2018-07-23 2020-10-27 北京旷视科技有限公司 人体动作识别及其神经网络生成方法、装置和电子设备
CN109146769A (zh) * 2018-07-24 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN109146629B (zh) * 2018-08-16 2020-11-27 连云港伍江数码科技有限公司 目标对象的锁定方法、装置、计算机设备和存储介质
CN109242789A (zh) * 2018-08-21 2019-01-18 成都旷视金智科技有限公司 图像处理方法、图像处理装置及存储介质
CN109191593A (zh) * 2018-08-27 2019-01-11 百度在线网络技术（北京）有限公司 虚拟三维模型的运动控制方法、装置及设备
CN109325450A (zh) 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US10832472B2 (en) * 2018-10-22 2020-11-10 The Hong Kong Polytechnic University Method and/or system for reconstructing from images a personalized 3D human body model and thereof
CN109376671B (zh) * 2018-10-30 2022-06-21 北京市商汤科技开发有限公司 图像处理方法、电子设备及计算机可读介质
CN115631305A (zh) 2018-12-29 2023-01-20 深圳市瑞立视多媒体科技有限公司 一种虚拟人物的骨骼模型的驱动方法、插件及终端设备
CN110139115B (zh) 2019-04-30 2020-06-09 广州虎牙信息科技有限公司 基于关键点的虚拟形象姿态控制方法、装置及电子设备
CN110688008A (zh) 2019-09-27 2020-01-14 贵州小爱机器人科技有限公司 虚拟形象交互方法和装置
CN110889382A (zh) 2019-11-29 2020-03-17 深圳市商汤科技有限公司 虚拟形象渲染方法及装置、电子设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023113471A1 (ko) * 2021-12-15 2023-06-22 삼성전자 주식회사 복수의 카메라를 이용하여 촬영된 객체의 3차원 골격 데이터를 획득하는 전자 장치 및 방법

Also Published As

Publication number Publication date
CN111460875A (zh) 2020-07-28
KR20210011984A (ko) 2021-02-02
SG11202011600QA (en) 2020-12-30
SG11202011599UA (en) 2020-12-30
US11468612B2 (en) 2022-10-11
US20210035344A1 (en) 2021-02-04
CN111460870A (zh) 2020-07-28
JP7001841B2 (ja) 2022-01-20
CN111460874A (zh) 2020-07-28
JP7061694B2 (ja) 2022-04-28
CN111460871B (zh) 2023-12-22
US20210074005A1 (en) 2021-03-11
CN114399826A (zh) 2022-04-26
SG11202011595QA (en) 2020-12-30
CN111460873A (zh) 2020-07-28
KR20210011985A (ko) 2021-02-02
JP2021524113A (ja) 2021-09-09
US20210074004A1 (en) 2021-03-11
JP7109585B2 (ja) 2022-07-29
CN111460872A (zh) 2020-07-28
US20210074003A1 (en) 2021-03-11
US11538207B2 (en) 2022-12-27
JP2021518023A (ja) 2021-07-29
CN111460875B (zh) 2022-03-01
CN111460871A (zh) 2020-07-28
KR20210011424A (ko) 2021-02-01
WO2020181900A1 (zh) 2020-09-17
US11741629B2 (en) 2023-08-29
CN111460872B (zh) 2024-04-16
JP2021525431A (ja) 2021-09-24
CN111460873B (zh) 2024-06-11
SG11202011596WA (en) 2020-12-30
SG11202010399VA (en) 2020-11-27
JP2021518960A (ja) 2021-08-05
US20210074006A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
US11741629B2 (en) Controlling display of model derived from captured image
Qiao et al. Real-time human gesture grading based on OpenPose
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
Gültepe et al. Real-time virtual fitting with body measurement and motion smoothing
US20210349529A1 (en) Avatar tracking and rendering in virtual reality
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
EP4307233A1 (en) Data processing method and apparatus, and electronic device and computer-readable storage medium
WO2020147796A1 (zh) 图像处理方法及装置、图像设备及存储介质
WO2020147791A1 (zh) 图像处理方法及装置、图像设备及存储介质
CN110147737B (zh) 用于生成视频的方法、装置、设备和存储介质
CN114022645A (zh) 虚拟教师系统的动作驱动方法、装置、设备及存储介质
CN114049468A (zh) 一种展示方法、装置、设备及存储介质
WO2020147797A1 (zh) 图像处理方法及装置、图像设备及存储介质
Jatesiktat et al. Personalized markerless upper-body tracking with a depth camera and wrist-worn inertial measurement units
CN113902845A (zh) 一种动作视频生成方法、装置、电子设备和可读存储介质
WO2020147794A1 (zh) 图像处理方法及装置、图像设备及存储介质
Cha et al. Mobile. Egocentric human body motion reconstruction using only eyeglasses-mounted cameras and a few body-worn inertial sensors
Payandeh et al. Experimental Study of a Deep‐Learning RGB‐D Tracker for Virtual Remote Human Model Reconstruction
JP2021099666A (ja) 学習モデルの生成方法
CN113569775B (zh) 一种基于单目rgb输入的移动端实时3d人体动作捕捉方法及系统、电子设备、存储介质
US20230290101A1 (en) Data processing method and apparatus, electronic device, and computer-readable storage medium
Su et al. Estimating human pose with both physical and physiological constraints
CN115560750A (zh) 人体姿态确定方法、装置、设备及存储介质
CN117275089A (zh) 一种单目摄像头的人物识别方法、装置、设备及存储介质
Zhu Efficient and robust photo-based methods for precise shape and pose modeling of human subjects

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application