KR20210011984A - 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체 - Google Patents
이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체 Download PDFInfo
- Publication number
- KR20210011984A KR20210011984A KR1020207036612A KR20207036612A KR20210011984A KR 20210011984 A KR20210011984 A KR 20210011984A KR 1020207036612 A KR1020207036612 A KR 1020207036612A KR 20207036612 A KR20207036612 A KR 20207036612A KR 20210011984 A KR20210011984 A KR 20210011984A
- Authority
- KR
- South Korea
- Prior art keywords
- rotation information
- nodes
- node
- child node
- coordinate system
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 230000033001 locomotion Effects 0.000 claims abstract description 81
- 238000000034 method Methods 0.000 claims description 62
- 230000007547 defect Effects 0.000 claims description 49
- 238000012937 correction Methods 0.000 claims description 36
- 230000037237 body shape Effects 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 12
- 210000001364 upper extremity Anatomy 0.000 claims description 11
- 206010061159 Foot deformity Diseases 0.000 claims description 10
- 210000003141 lower extremity Anatomy 0.000 claims description 9
- 208000004067 Flatfoot Diseases 0.000 claims description 6
- 230000005477 standard model Effects 0.000 claims description 6
- 208000010300 Genu Varum Diseases 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000003447 ipsilateral effect Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims 11
- 210000003414 extremity Anatomy 0.000 description 29
- 239000013598 vector Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 210000000245 forearm Anatomy 0.000 description 15
- 210000001624 hip Anatomy 0.000 description 14
- 210000000988 bone and bone Anatomy 0.000 description 12
- 210000002683 foot Anatomy 0.000 description 11
- 210000000707 wrist Anatomy 0.000 description 11
- 210000001503 joint Anatomy 0.000 description 8
- 210000003857 wrist joint Anatomy 0.000 description 7
- 210000002310 elbow joint Anatomy 0.000 description 6
- 210000000689 upper leg Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000007480 spreading Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 230000001144 postural effect Effects 0.000 description 3
- 210000002832 shoulder Anatomy 0.000 description 3
- 210000003423 ankle Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000003109 clavicle Anatomy 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001145 finger joint Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 210000000811 metacarpophalangeal joint Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003371 toe Anatomy 0.000 description 1
Images
Classifications
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
본 개시내용의 실시예들은 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체를 개시한다. 이 이미지 처리 방법은: 이미지를 획득하는 단계; 타겟의 다수의 노드들 각각의 제1 회전 정보를 획득하는 단계; 상기 노드들과 다수의 제1 회전 정보들 간의 계층 관계에 따라 상기 타겟의 다수의 노드들에서 부모 노드에 대한 각각의 자식 노드의 제2 회전 정보를 결정하는 단계; 및 다수의 제2 회전 정보들에 기초하여 상기 다수의 노드들에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하는 단계를 포함한다.
Description
관련 출원의 상호 참조
본 출원은 2019년 1월 18일자로 출원되고 발명의 명칭이 "IMAGE PROCESSING METHOD AND APPARATUS, IMAGE DEVICE, AND STORAGE MEDIUM"인 중국 특허 출원 제201910049830.6호, 및 2019년 4월 30일자로 출원되고 발명의 명칭이 "IMAGE PROCESSING METHOD AND APPARATUS, IMAGE DEVICE, AND STORAGE MEDIUM"인 중국 특허 출원 제201910363858.7호에 대한 우선권을 주장하고, 이들 모두는 그 전체가 인용에 의해 본 명세서에 포함된다.
본 개시내용은 정보 기술들의 분야에 관한 것으로, 특히, 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체에 관한 것이다.
정보 기술들의 발달로, 사용자들은 비디오 녹화를 통해 온라인 교육 및 웹캐스팅을 수행할 수 있고, 체감형 게임들 등이 가능하게 된다. 그러나, 일부 경우들에서, 예를 들어, 체감형 게임들은 사용자들이 게임 캐릭터들을 제어하기 위해 그들 자신의 사지 등의 활동들을 검출하기 위해 특수 체감형 디바이스들을 착용할 것을 요구한다. 게다가, 온라인 교육 또는 웹캐스팅을 수행할 때, 사용자의 얼굴 또는 사지는 네트워크에 완전히 노출된다. 한편으로, 이는 사용자 프라이버시 문제들을 수반할 수 있고, 다른 한편으로, 이는 정보 보안 문제들을 또한 수반할 수 있다. 프라이버시 또는 보안 문제를 해결하기 위해, 얼굴 이미지들은 모자이크들 등에 의해 가려질 수 있는데, 이는 비디오 효과에 영향을 미칠 수 있다.
이와 관련하여, 본 개시내용의 실시예들은 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체를 제공한다.
제1 양태에서, 본 개시내용은 이미지 처리 방법을 제공하고, 이 방법은:
이미지를 획득하는 단계; 상기 이미지에 기초하여 타겟의 다수의 노드들 각각의 제1 회전 정보를 획득하는 단계; 상기 노드들과 다수의 제1 회전 정보들 간의 계층 관계에 따라 상기 타겟의 다수의 노드들 중 부모 노드에 대한 각각의 자식 노드의 제2 회전 정보를 결정하는 단계; 및 다수의 제2 회전 정보들에 기초하여 상기 다수의 노드들에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하는 단계를 포함한다.
전술한 해결책에 기초하여, 상기 이미지들에 기초하여 상기 타겟의 다수의 노드들 각각의 제1 회전 정보를 획득하는 단계는: 상기 이미지에 기초하여 카메라 좌표계에서의 상기 타겟의 다수의 노드들 각각의 제1 회전 정보를 획득하는 단계를 포함한다.
전술한 해결책에 기초하여, 상기 노드들과 다수의 제1 회전 정보들 간의 계층 관계에 따라 상기 타겟의 다수의 노드들 중 부모 노드에 대한 각각의 자식 노드의 제2 회전 정보를 결정하는 단계는: 상기 다수의 노드들 각각에 대해, 해당 노드를 자식 노드로서 간주하는 단계; 및 상기 계층 관계 및 다수의 제1 회전 정보들에 따라 상기 자식 노드의 부모 노드가 위치하는 국부 좌표계에 대하여 상기 자식 노드가 위치하는 국부 좌표계에서의 제2 회전 정보를 결정하는 단계를 포함한다.
전술한 해결책에 기초하여, 이 방법은: 상기 다수의 노드들 각각에 대해, 상기 계층 관계에 따라 해당 노드가 위치하는 국부 좌표계를 결정하는 단계를 추가로 포함한다.
전술한 해결책에 기초하여, 상기 계층 관계에 따라 해당 노드가 위치하는 국부 좌표계를 결정하는 단계는: 해당 노드를 자식 노드로서 간주하는 단계; 상기 계층 관계에 따라 상기 자식 노드가 상기 자식 노드의 부모 노드를 가리키는 방향을 상기 국부 좌표계의 제1 방향으로서 간주하는 단계; 상기 자식 노드 및 상기 자식 노드에 연결된 2개의 노드가 위치하는 평면의 수직 방향을 상기 국부 좌표계의 제2 방향으로서 간주하는 단계; 및 상기 타겟의 미리 결정된 부분의 배향을 상기 국부 좌표계의 제3 방향으로서 간주하는 단계를 포함한다.
전술한 해결책에 기초하여, 상기 이미지들에 기초하여 상기 카메라 좌표계에서의 상기 타겟의 다수의 노드들 각각의 제1 회전 정보를 획득하는 단계는: 상기 이미지에 기초하여 상기 카메라 좌표계에서의 상기 타겟의 다수의 노드들 각각의 제1 쿼터니언을 획득하는 단계를 포함한다.
전술한 해결책에 기초하여, 상기 노드들과 다수의 제1 회전 정보들 간의 계층 관계에 따라 상기 타겟의 다수의 노드들 중 부모 노드에 대한 각각의 자식 노드의 제2 회전 정보를 결정하는 단계는: 상기 다수의 노드들 각각을 자식 노드로서 간주하고 상기 계층 관계에 따라 상기 자식 노드의 부모 노드를 결정하는 단계; 및 각각의 자식 노드에 대해, 상기 카메라 좌표계에서의 상기 자식 노드의 부모 노드의 제1 쿼터니언 및 상기 카메라 좌표계에서의 상기 자식 노드의 제1 쿼터니언에 기초하여 상기 부모 노드에 대한 상기 자식 노드의 제2 쿼터니언을 결정하는 단계를 포함한다.
전술한 해결책에 기초하여, 다수의 제2 회전 정보들에 기초하여 상기 다수의 노드들에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하는 단계는: 각각의 제2 회전 정보에 대해, 상기 제2 회전 정보가 제약 조건을 충족시키는지를 결정하는 단계; 및 상기 제2 회전 정보가 상기 제약 조건을 충족시킨다면, 상기 제2 회전 정보에 따라 상기 제2 회전 정보와 연관된 자식 노드에 대응하는 피제어 모델에서의 노드의 움직임을 제어하는 단계를 포함한다.
전술한 해결책에 기초하여, 각각의 제2 회전 정보에 대해, 상기 제2 회전 정보가 제약 조건을 충족시키는지를 결정하는 단계는: 상기 제2 회전 정보를 미리 결정된 타입을 갖는 좌표계에서의 제1 각도로 변환하는 단계; 상기 제1 각도가 미리 설정된 각도 범위 내에 있는지를 결정하는 단계; 및 상기 제1 각도가 상기 미리 설정된 각도 범위 내에 있다면, 상기 제2 회전 정보가 상기 제약 조건을 충족시킨다고 결정하는 단계를 포함한다.
전술한 해결책에 기초하여, 이 방법은: 상기 제1 각도가 상기 미리 설정된 각도 범위 밖에 있다면 상기 제2 회전 정보가 제약 조건을 충족시키지 않는다고 결정하는 단계를 추가로 포함한다.
전술한 해결책에 기초하여, 이 방법은: 상기 제2 회전 정보가 상기 제약 조건을 충족시키지 않는다면 상기 제2 회전 정보를 정정하여 제3 회전 정보를 획득하는 단계; 및 상기 제3 회전 정보에 따라 상기 제2 회전 정보와 연관된 자식 노드에 대응하는 피제어 모델에서의 노드의 움직임을 제어하는 단계를 추가로 포함한다.
전술한 해결책에 기초하여, 상기 제2 회전 정보가 상기 제약 조건을 충족시키지 않는다면 상기 제2 회전 정보를 정정하여 제3 회전 정보를 획득하는 단계는: 상기 제2 회전 정보에 대응하는 상기 제1 각도가 상기 미리 설정된 각도 범위 밖에 있다면, 미리 설정된 각도에 따라 상기 제1 각도를 정정하여 제2 각도를 획득하는 단계; 및 상기 제2 각도에 따라 상기 제3 회전 정보를 획득하는 단계를 포함한다.
전술한 해결책에 기초하여, 상기 미리 결정된 타입을 갖는 좌표계는 오일러 좌표계이다.
전술한 해결책에 기초하여, 다수의 제2 회전 정보들에 기초하여 상기 다수의 노드들에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하는 단계는: 다수의 제2 회전 정보들 또는 다수의 제2 회전 정보들로부터 생성된 다수의 제3 회전 정보들에 대해 자세 결함 정정을 수행하여 다수의 정정된 제4 회전 정보를 각각 획득하는 단계; 및 다수의 제4 회전 정보들을 이용하여 상기 다수의 노드들에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하는 단계를 포함한다.
전술한 해결책에 기초하여, 상기 자세 결함 정정은 다음 중 적어도 하나를 포함한다: 상지 및 하지의 동측성 결함(ipsilateral defect); 오다리(bowleg) 움직임 결함; 평발(splayfoot) 움직임 결함; 또는 내번족(pigeon-toe) 움직임 결함.
전술한 해결책에 기초하여, 이 방법은: 타겟의 신체 형태와 표준 신체 형태 사이의 차이 정보에 따라 자세 결함 정정 파라미터를 획득하는 단계를 추가로 포함하고, 여기서 상기 자세 결함 정정 파라미터는 상기 제2 회전 정보 또는 상기 제3 회전 정보를 정정하기 위해 사용된다.
전술한 해결책에 기초하여, 이 방법은: 타겟의 신체 형태와 표준 신체 형태 사이의 차이 정보에 따라 자세 결함 정정 파라미터를 획득하는 단계를 추가로 포함하고, 여기서 상기 자세 결함 정정 파라미터는 다수의 제2 회전 정보들 또는 상기 다수의 제3 회전 정보들을 정정하기 위해 사용된다.
제2 양태에서, 본 개시내용은 이미지 처리 장치를 제공하고, 이 장치는:
이미지를 획득하도록 구성된 제1 획득 모듈; 상기 이미지에 기초하여 타겟의 다수의 노드들 각각의 제1 회전 정보를 획득하도록 구성된 제2 획득 모듈; 상기 노드들과 다수의 제1 회전 정보들 간의 계층 관계에 따라 상기 타겟의 다수의 노드들 중 부모 노드에 대한 각각의 자식 노드의 제2 회전 정보를 결정하도록 구성된 제1 결정 모듈; 및 다수의 제2 회전 정보들에 기초하여 상기 다수의 노드들에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하도록 구성된 제어 모듈을 포함한다.
제3 양태에서, 본 개시내용은 이미지 디바이스를 제공하고, 이 디바이스는:
메모리, 및 상기 메모리에 연결되고, 상기 메모리 상에 저장된 컴퓨터 실행가능 명령어들을 실행하여 전술한 것들 중 어느 하나에 따른 이미지 처리 방법을 구현하도록 구성된 프로세서를 포함한다.
제4 양태에서, 본 개시내용은 컴퓨터 실행가능 명령어들이 저장되어 있는 비휘발성 컴퓨터 저장 매체를 제공하고, 여기서 상기 컴퓨터 실행가능 명령어들이 프로세서에 의해 실행된 후에, 전술한 것들 중 어느 하나에 따른 이미지 처리 방법이 구현될 수 있다.
본 개시내용의 실시예들에 의해 제공되는 기술적 해결책에서는, 획득된 이미지에 의해 타겟의 다수의 노드들 각각의 제1 회전 정보 및 제2 회전 정보가 획득되고, 그 후 다수의 노드들에 대응하는 피제어 모델에서의 노드들이 다수의 제2 회전 정보들에 의해 제어된다. 이러한 방식으로, 타겟을 포함하는 이미지가 더 이상 직접 출력되지 않지만, 피제어 모델을 이용하여 움직임에 대해 타겟을 시뮬레이션하고, 따라서 온라인 교육, 게임 제어 및 라이브 스트리밍 등 동안 네트워크에 대한 타겟의 직접 노출을 피하고, 이로써 사용자의 프라이버시를 유지한다. 또한, 피제어 모델의 움직임을 제어할 때, 부모 노드들과 자식 노드들 간의 계층 관계에 기초하여 제1 회전 정보로부터 제2 회전 정보로의 변환이 구현되며, 따라서 피제어 모델이 타겟을 정확하게 시뮬레이션할 수 있고, 이로써 양호한 제어 효과가 제공된다.
도 1은 본 개시내용의 실시예들에 의해 제공되는 제1 이미지 처리 방법의 개략적인 흐름도이다.
도 2는 본 개시내용의 실시예들에 의해 제공되는 노드들 간의 제1 계층 관계의 개략도이다.
도 3a 내지 도 3c는 본 개시내용의 실시예들에 의해 제공되는 취득된 사용자의 손 움직임의 변화들을 시뮬레이션하는 피제어 모델의 개략도들이다.
도 4a 내지 도 4c는 본 개시내용의 실시예들에 의해 제공되는 취득된 사용자의 몸통 움직임의 변화들을 시뮬레이션하는 피제어 모델의 개략도들이다.
도 5a 내지 도 5c는 본 개시내용의 실시예들에 의해 제공되는 취득된 사용자의 발 움직임의 변화들을 시뮬레이션하는 피제어 모델의 개략도들이다.
도 6은 본 개시내용의 실시예들에 의해 제공되는 이미지 처리 장치의 개략적인 구조도이다.
도 7a는 본 개시내용의 실시예들에 의해 제공되는 인체 골격에 포함된 노드들의 개략도이다.
도 7b는 본 개시내용의 실시예들에 의해 제공되는 다른 인체 골격에 포함된 노드들의 개략도이다.
도 8a는 본 개시내용의 실시예들에 의해 제공되는 제1 방향을 결정하는 것에 대한 개략도이다.
도 8b는 본 개시내용의 실시예들에 의해 제공되는 제2 방향을 결정하는 것에 대한 개략도이다.
도 8c는 본 개시내용의 실시예들에 의해 제공되는 손목 노드가 위치하는 국부 좌표계의 개략도이다.
도 9는 본 개시내용의 실시예들에 의해 제공되는 인체에 포함된 노드들의 3차원 좌표계의 개략도이다.
도 10은 본 개시내용의 실시예들에 의해 제공되는 이미지 디바이스의 개략적인 구조도이다.
도 2는 본 개시내용의 실시예들에 의해 제공되는 노드들 간의 제1 계층 관계의 개략도이다.
도 3a 내지 도 3c는 본 개시내용의 실시예들에 의해 제공되는 취득된 사용자의 손 움직임의 변화들을 시뮬레이션하는 피제어 모델의 개략도들이다.
도 4a 내지 도 4c는 본 개시내용의 실시예들에 의해 제공되는 취득된 사용자의 몸통 움직임의 변화들을 시뮬레이션하는 피제어 모델의 개략도들이다.
도 5a 내지 도 5c는 본 개시내용의 실시예들에 의해 제공되는 취득된 사용자의 발 움직임의 변화들을 시뮬레이션하는 피제어 모델의 개략도들이다.
도 6은 본 개시내용의 실시예들에 의해 제공되는 이미지 처리 장치의 개략적인 구조도이다.
도 7a는 본 개시내용의 실시예들에 의해 제공되는 인체 골격에 포함된 노드들의 개략도이다.
도 7b는 본 개시내용의 실시예들에 의해 제공되는 다른 인체 골격에 포함된 노드들의 개략도이다.
도 8a는 본 개시내용의 실시예들에 의해 제공되는 제1 방향을 결정하는 것에 대한 개략도이다.
도 8b는 본 개시내용의 실시예들에 의해 제공되는 제2 방향을 결정하는 것에 대한 개략도이다.
도 8c는 본 개시내용의 실시예들에 의해 제공되는 손목 노드가 위치하는 국부 좌표계의 개략도이다.
도 9는 본 개시내용의 실시예들에 의해 제공되는 인체에 포함된 노드들의 3차원 좌표계의 개략도이다.
도 10은 본 개시내용의 실시예들에 의해 제공되는 이미지 디바이스의 개략적인 구조도이다.
설명의 특정 실시예들 및 첨부 도면들을 참조하여 본 개시내용의 기술적 해결책들이 아래에 상세히 추가로 설명된다.
도 1에 도시된 바와 같이, 실시예들은 다음의 단계들을 포함하는 이미지 처리 방법을 제공한다.
단계 S110에서, 이미지가 획득된다.
단계 S120에서, 상기 이미지에 기초하여 타겟의 다수의 노드들 각각의 제1 회전 정보가 획득된다.
단계 S130에서, 상기 노드들과 다수의 제1 회전 정보들 간의 계층 관계에 따라 상기 타겟의 다수의 노드들 중 부모 노드에 대한 각각의 자식 노드의 제2 회전 정보가 결정된다.
단계 S140에서, 다수의 제2 회전 정보들에 기초하여 상기 다수의 노드들에 대응하는 피제어 모델에서의 노드들의 움직임들이 제어된다.
실시예들에서 제공되는 이미지 처리 방법에 따르면, 이미지 처리를 통해 피제어 모델의 움직임이 구동될 수 있다. 실시예들에서 제공되는 이미지 처리 방법은 이미지 디바이스에 적용될 수 있고, 이미지 디바이스는 이미지 처리를 수행할 수 있는 다양한 전자 디바이스들, 예를 들어, 이미지 취득, 이미지 디스플레이, 및 이미지 픽셀 재구성을 수행하여 이미지를 생성하는 전자 디바이스들일 수 있다. 이미지 디바이스는 다양한 단말 디바이스들, 예를 들어, 모바일 단말들 및/또는 고정 단말들을 포함하지만, 이에 제한되지 않고, 이미지 서비스를 제공할 수 있는 다양한 이미지 서버들을 또한 포함할 수 있다. 모바일 단말들은 사용자가 쉽게 휴대할 수 있는 모바일 폰들 또는 태블릿 컴퓨터들과 같은 휴대용 디바이스들을 포함하고, 스마트 팔찌들, 스마트 시계들, 또는 스마트 안경들과 같은, 사용자들에 의해 착용되는 디바이스들을 또한 포함할 수 있다. 고정 단말은 고정 데스크톱 컴퓨터 등을 포함한다.
실시예들에서, 단계 S110에서 획득된 이미지는 2차원(2D로서 축약됨) 이미지 또는 3차원(3D로서 축약됨) 이미지일 수 있다.
2D 이미지는 RGB(Red-Green-Blue) 이미지와 같은 단안(monocular) 또는 다안(multiocular) 카메라에 의해 취득된 이미지를 포함할 수 있다. 이미지를 획득하는 접근법은: 이미지 디바이스 자체의 카메라를 이용하여 이미지를 취득하는 것; 및/또는, 외부 디바이스로부터 이미지를 수신하는 것; 및/또는, 로컬 데이터베이스 또는 로컬 메모리로부터 이미지를 판독하는 것을 포함할 수 있다.
3D 이미지는 2D 이미지로부터 2D 좌표들을 검출한 다음 2D 좌표들로부터 3D 좌표들로의 변환 알고리즘을 이용하여 획득된 3D 이미지일 수 있거나, 3D 이미지는 3D 카메라에 의해 취득된 이미지일 수 있다.
단계 S120은: 이미지에 대해 검출을 수행하여 타겟에 포함된 미리 결정된 노드들의 제1 회전 정보를 획득하는 것을 포함할 수 있다. 타겟이 사람이면, 미리 결정된 노드들은 인체 노드들일 수 있거나, 인체 노드들로 제한되지 않을 수 있다.
예를 들어, 타겟이 사람인 것을 예로 들어, 타겟의 노드들은 다음 중 적어도 2개를 포함할 수 있다: 머리 노드, 목 노드, 어깨 노드, 팔꿈치 노드, 손목 노드, 허리 노드, 허벅지 노드, 무릎 노드, 발목 노드, 및/또는 발등 노드 등.
일부 다른 실시예들에서, 타겟은 사람으로 제한되지 않고, 동물들과 같은, 움직일 수 있는 다양한 살아있는 유기체들, 또는 비생명체들을 또한 포함할 수 있다.
타겟의 다수의 노드들의 제1 회전 정보는 타겟의 국부 및/또는 전체 회전 정보를 반영하도록 조합될 수 있다.
제1 회전 정보는 타겟 내의 기준점에 대한 노드의 회전 각도, 기준 위치에 대한 노드의 회전 각도, 타겟 내의 기준점에 대한 노드의 위치 정보, 및/또는 기준 위치에 대한 노드의 위치 정보 등을 포함하지만, 이에 제한되지 않는다.
실시예들에서, 신경망과 같은 딥 러닝 모델에 의해 이미지에 대해 검출을 수행하여 제1 회전 정보 및/또는 제2 회전 정보를 획득할 수 있다.
피제어 모델은 타겟에 대응하는 모델일 수 있다. 예를 들어, 타겟이 사람이면, 피제어 모델은 인체 모델이고; 타겟이 동물이면, 피제어 모델은 대응하는 동물의 신체 모델이고; 타겟이 차량이면, 피제어 모델은 차량의 모델일 수 있다.
실시예들에서, 피제어 모델은 타겟의 카테고리에 대한 모델이다. 모델은 미리 결정될 수 있고, 추가로 다수의 스타일들일 수 있다. 피제어 모델의 스타일은 사용자 지시에 기초하여 결정될 수 있고, 피제어 모델의 스타일은 다양한, 예를 들어, 실제 사람이 시뮬레이션되는 라이브-액션 스타일, 애니메이션 스타일, 인터넷 유명인사 스타일, 상이한 기질을 갖는 스타일, 및 게임 스타일일 수 있다. 상이한 기질을 갖는 스타일들은 문학 스타일 또는 록 스타일일 수 있다. 게임 스타일에서, 피제어 모델은 게임 중의 캐릭터일 수 있다.
예를 들어, 온라인 교육 과정에서, 일부 교사들은 그들의 얼굴들 및 신체들을 노출시키는 것을 주저하고, 이것들이 프라이버시라고 생각한다. 비디오를 직접 녹화하는 것은 반드시 교사의 얼굴 및 신체가 노출되게 한다. 실시예들에서, 이미지 취득 등을 통해 교사의 움직임의 이미지가 획득될 수 있고, 그 후 특징 추출 및 제1 회전 정보의 획득을 통해 가상 피제어 모델의 움직임이 제어될 수 있다. 이러한 방식으로, 한편으로, 교사 자신의 사지 움직임을 통해, 피제어 모델이 교사의 움직임을 시뮬레이션하여 교육을 위한 사지 움직임을 완성할 수 있다; 다른 한편으로, 피제어 모델의 움직임을 이용하여 교육이 수행되고, 교사의 얼굴 및 신체가 교육 비디오에서 직접 노출될 필요가 없고, 이로써 교사의 프라이버시가 보호된다.
다른 예로, 도로 모니터링 비디오에 관련하여, 차량의 비디오가 직접 취득되고, 비디오가 네트워크에 노출되면, 일부 특정 사용자들의 차량들의 모든 정보가 노출될 수 있지만, 모니터링이 수행되지 않는다면, 교통 사고가 발생할 때 책임을 결정하는 것이 가능하지 않을 수 있다. 실시예들에서의 방법이 사용된다면, 차량 모델에 의해 실제 차량 움직임이 시뮬레이션되어 모니터링 비디오가 획득되고, 차량의 번호판 정보 및/또는 차량의 전체 외부 윤곽이 모니터링 비디오에 유지되고, 차량의 브랜드, 모델, 색상, 및 노화 상태(ageing condition)가 숨겨질 수 있고, 이로써 사용자 프라이버시가 보호된다.
일부 실시예들에서, 단계 S130은: 계층 관계 및 다수의 제1 회전 정보들에 따라 부모 노드가 위치하는 국부 좌표계에 대하여 각각의 자식 노드가 위치하는 국부 좌표계에서의 제2 회전 정보를 결정하는 것을 포함한다.
실시예들에서, 타겟의 다수의 노드들은 계층적이고, 계층 관계는 노드들 간의 구동 관계에 의해 결정된다. 예를 들어, 타겟이 사람이고 노드들이 인체에서 관절들이라고 가정하면, 노드들 간에 특정 구동 관계가 존재하고, 구동 관계는 계층 관계에 기초하여 결정될 수 있다. 예를 들어, 팔꿈치 관절들의 특정 움직임들은 손목 관절의 움직임들을 구동할 수 있다. 계층 관계는: 일부 노드들이 다른 노드들의 부모 또는 자식 노드들이라는 점에서 반영된다.
따라서, 실시예들에서, 계층 관계 및 다수의 제1 회전 정보들에 따라, 부모 노드보다 더 많은 또는 더 적은 각각의 자식 노드의 회전의 정보가 획득되고, 그 후 제2 회전 정보가 획득된다. 예를 들어, 팔꿈치 관절과 함께 회전하는 것에 더하여, 손목 관절 자체는 다른 회전들을 가지고, 팔꿈치 관절보다 더 많은 손목의 회전의 정보가 제2 회전 정보이다.
그에 따라, 단계 S130에서, 계층 관계 및 다수의 제1 회전 정보들에 기초하여 타겟의 다수의 노드들 중 부모 노드에 대한 각각의 자식 노드의 순 회전 정보(즉, 제2 회전 정보)가 획득될 수 있고, 여기서 제2 회전 정보는 자식 노드에 대응하는 피제어 모델에서의 노드의 움직임을 제어하기 위해 사용된다. 이러한 방식으로, 피제어 모델에서의 대응하는 노드들의 움직임들은 이미지 내의 타겟의 노드들 간의 계층 관계를 따르며, 따라서 피제어 모델이 이미지 내의 타겟의 움직임을 정확하게 시뮬레이션할 수 있다.
루트 노드, 즉, 부모 노드가 없는 노드에 대해, 그의 제2 회전 정보는 그의 제1 회전 정보와 일치할 수 있다는 점에 유의해야 한다. 예를 들어, 인체에 대해, 루트 노드는 골반일 수 있다.
구체적으로, 이 방법은: 계층 관계에 따라 각각의 노드가 위치하는 국부 좌표계를 결정하는 단계를 추가로 포함한다.
실시예들에서, 상이한 노드들은 그들 자신의 국부 좌표계들을 갖는다. 국부 좌표계는 계층 관계에 기초하여 결정되고, 국부 좌표계는: 부모 노드에 대한 자식 노드에 대해 확립된 좌표계, 그의 자식 노드에 대한 부모 노드에 대해 확립된 좌표계, 및 타겟 내의 기준 노드에 대한 노드에 대해 확립된 좌표계를 포함하지만, 이에 제한되지 않는다. 예를 들어, 타겟이 사람인 것을 예로 들어, 기준 노드는 인체의 허리 노드 또는 엉덩이 노드 등일 수 있다.
일 예에서, 하나의 자식 노드에 대해, 계층 관계에 따라 자식 노드가 위치하는 국부 좌표계를 결정하는 단계는: 계층 관계에 따라 자식 노드가 부모 노드를 가리키는 방향을 국부 좌표계의 제1 방향으로서 간주하는 단계; 상기 자식 노드 및 상기 자식 노드에 연결된 2개의 노드가 위치하는 평면의 수직 방향을 상기 국부 좌표계의 제2 방향으로서 간주하는 단계; 및 상기 타겟의 미리 결정된 부분의 배향을 상기 국부 좌표계의 제3 방향으로서 간주하는 단계를 포함한다.
이 예에서, 노드들의 국부 좌표계들은 모두 3D 좌표계들이다. 3D 좌표계에 대해 3개의 축의 방향들이 결정될 필요가 있다. 3개의 축은 전역 좌표계에서 계산된다. 3개의 축의 방향들은 전역 공간 내의 벡터들로서 간주될 수 있고, 3개의 방향은 서로 직교한다. 국부 좌표계를 결정함으로써, 각각의 노드의 회전 정보를 계산하는 것이 더 편리하다.
이 예에서, 자식 노드가 부모 노드를 가리키는 방향은 계층 관계에 따라 국부 좌표계의 제1 방향으로서 간주된다. 예를 들어, 손목 관절이 팔꿈치 관절을 가리키는 방향이 3D 좌표계의 제1 방향이다. 그러한 국부 좌표계가 확립되고, 부모 노드와 자식 노드 간의 상대적인 위치 관계가 또한 고려되기 때문에, 3D 좌표계에서의 자식 노드의 좌표들은 부모 노드에 대한 자식 노드의 제2 회전 정보를 표현할 수 있다.
자식 노드에 연결된 2개의 노드는 부모 노드를 포함한다. 예를 들어, 자식 노드가 손목 노드이면, 손목 노드의 부모 노드는 팔꿈치 노드를 포함할 수 있고; 손 노드는 손목 노드의 자식 노드이고; 3개의 지점, 즉, 손목 노드, 팔꿈치 노드, 및 손 노드는 평면을 형성하고, 평면의 수직 방향은 제2 방향이다.
제2 방향을 획득하기 위한 특정 방법은 다음과 같을 수 있다: 자식 노드 및 자식 노드에 연결된 2개의 노드 중의 제1 노드가 벡터 I를 형성하고; 자식 노드 및 자식 노드에 연결된 2개의 노드 중의 제2 노드가 벡터 II를 형성하고; 벡터 I와 벡터 II를 교차-곱하여 2개의 벡터의 법선 벡터를 획득하고, 여기서 법선 벡터의 방향이 제2 방향이다.
도 8a를 참조하면, 노드 A가 노드 B의 자식 노드이면, 제1 방향은 도 8a에 도시된 바와 같이 노드 A가 노드 B를 가리키는 방향 x이다.
도 8b를 참조하면, 제2 방향은 노드 A에 연결된 2개의 뼈가 위치하는 평면의 수직 방향일 수 있다. 특정 결정 접근법은: 노드 A와 노드 C를 연결하여 벡터를 형성하는 것; 노드 A와 노드 B를 연결하여 다른 벡터를 형성하는 것; 및 2개의 벡터를 교차-곱하여 2개의 벡터의 법선 벡터를 획득하는 것을 포함할 수 있고, 여기서 법선 벡터의 방향이 제2 방향 y이다. 도 8b에서 방향 z는 인체 몸통의 배향, 즉, 제3 방향일 수 있다. 일부 실시예들에서, 제3 방향은 또한 인간 얼굴의 배향일 수 있다.
다른 예에서, 국부 좌표계를 결정하기 위한 방법은 도 8c에 도시된 바와 같을 수 있다. 노드 B는 손목 노드이고, z는 손목으로부터 전완으로의 벡터 I와 손목으로부터 손으로의 벡터 II를 교차-곱함으로써 획득된 법선 벡터이다.
도 9는 인체에서 상이한 노드들(관절들)의 3D 좌표계들을 확립하는 것의 효과들의 개략도이다.
게다가, 자식 노드가 상이한 회전 방향들을 가질 수 있고, 상이한 회전 방향들 중에서 최대 회전 각도를 갖는 방향이 전술한 3D 좌표계의 제2 방향으로서 간주된다. 예를 들어, 어깨, 손목, 발목, 허리, 또는 목은 다수의 방향들로 회전될 수 있지만, 상이한 방향들에서의 최대 회전 각도들은 상이하다. 실시예들에서, 자식 노드에 대해 선택가능한 최대 각도를 갖는 방향이 국부 좌표계의 제2 방향으로서 직접 사용된다.
실시예들에서, 3D 좌표계의 다른 방향은 타겟의 배향과 관련된다. 실시예들에서, 타겟은 다수의 부분들을 포함할 수 있고, 실시예들에서, 전체 타겟의 배향은 타겟의 하나 이상의 부분의 배향으로 대체될 수 있다. 예를 들어, 타겟이 사람이면, 타겟의 배향은 인간 얼굴의 배향일 수 있거나, 인체 몸통의 배향일 수 있다. 실시예들에서, 인체 몸통의 배향이 타겟의 배향으로서 선택된다.
일부 실시예들에서, 단계 S120은: 이미지에 기초하여 카메라 좌표계에서의 타겟의 다수의 노드들 각각의 제1 쿼터니언을 획득하는 것을 포함한다.
실시예들에서, 제1 회전 정보는 카메라 좌표계에 기초하여 결정될 수 있다. 일 예에서, 제1 회전 정보는 회전 정보를 표현하기에 편리한 데이터 포맷인 쿼터니언에 의해 표현된다. 다른 예에서, 제1 회전 정보는 또한 다양한 좌표계들에서의 좌표 값들, 예를 들어, 오일러 좌표계에서의 좌표 값들 및/또는 라그랑주 좌표계에서의 좌표 값들에 의해 표현될 수 있다. 실시예들에서, 상이한 쿼터니언들을 구별하기 위해, 이미지에 대응하는 카메라 좌표계로부터 직접 추출된 타겟의 노드의 쿼터니언을 제1 쿼터니언이라고 부른다. 여기서 "제1"은 특정 의미를 갖지 않고, 구별을 위해 사용된다.
또한, 단계 S130은: 타겟의 다수의 노드들 각각에 대해, 계층 관계에 따라 해당 노드가 자식 노드로서 간주될 때 노드의 부모 노드를 결정하는 것; 및 카메라 좌표계에서의 부모 노드의 제1 쿼터니언 및 카메라 좌표계에서의 자식 노드의 제1 쿼터니언에 기초하여 부모 노드에 대한 자식 노드의 제2 쿼터니언을 결정하는 것을 포함할 수 있다.
상이한 타겟들의 노드들 간의 계층 관계들은 미리 결정될 수 있는데, 예를 들어, 타겟이 사람이면, 전자 디바이스는 인체의 노드들 간의 계층 관계를 미리 알 수 있다. 도 2에 도시된 바와 같이, 인체의 노드들 간의 계층 관계는 다음과 같을 수 있다. 예를 들어, 허리 노드 1은 골반 노드 0의 자식 노드이고; 왼쪽 허벅지 노드 9는 허리 노드 1의 자식 노드이고; 왼쪽 하퇴 노드 10은 왼쪽 허벅지 노드 9의 자식 노드이고; 왼쪽 발 노드 11은 왼쪽 하퇴 노드 10의 자식 노드이다. 오른쪽 허벅지 노드 16은 허리 노드 1의 자식 노드이고; 오른쪽 하퇴 노드 17은 오른쪽 허벅지 노드 16의 자식 노드이고; 오른쪽 발 노드 18은 오른쪽 하퇴 노드 17의 자식 노드이다. 가슴 노드 2는 허리 노드 1의 자식 노드이고; 목 노드 3은 가슴 노드 2의 자식 노드이고; 머리 노드 4는 목 노드 3의 자식 노드이다. 왼쪽 상완 노드 6은 왼쪽 쇄골 노드 5의 자식 노드이고; 왼쪽 전완 노드 7은 왼쪽 상완 노드 6의 자식 노드이고; 왼쪽 손 노드 8은 왼쪽 전완 노드 7의 자식 노드이다. 오른쪽 상완 노드 13은 오른쪽 쇄골 노드 12의 자식 노드이고; 오른쪽 전완 노드 14는 오른쪽 상완 노드 13의 자식 노드이고; 오른쪽 손 노드 15는 오른쪽 전완 노드 14의 자식 노드이다.
계층 관계를 획득한 후에, 카메라 좌표계에서의 각각의 노드의 제1 쿼터니언에 기초하여, 부모 노드에 대한 자식 노드의 제2 회전 정보가 변환에 의해 획득될 수 있다. 예를 들어, 자식 노드의 제1 쿼터니언과 부모 노드의 제1 쿼터니언 간의 차이가 제2 회전 정보일 수 있다.
일부 실시예들에서, 이 방법은: 각각의 제2 회전 정보에 대해, 해당 제2 회전 정보가 제약 조건을 충족시키는지를 결정하는 단계를 추가로 포함하고; 단계 S140은: 상기 제2 회전 정보가 상기 제약 조건을 충족시킨다면, 상기 제2 회전 정보에 따라 상기 제2 회전 정보와 연관된 자식 노드에 대응하는 피제어 모델에서의 노드의 움직임을 제어하는 것을 포함할 수 있다.
일 예에서, 노드가 타겟에서 최대 회전 각도를 갖고, 이 회전 각도가 위의 제약 조건 중 하나일 수 있다.
예를 들어, 인체의 목을 예로 들어, 목은 인체 몸통에 대하여 왼쪽 및/또는 오른쪽으로 180 또는 270도가 아니라 90도만큼만 회전될 수 있고, 왼쪽 또는 오른쪽으로의 최대 회전 각도가 제약 조건의 경계 각도이다.
각각의 제2 회전 정보에 대해, 해당 제2 회전 정보가 제약 조건을 충족시키는지를 결정하는 단계는: 제2 회전 정보에 의해 지시되는 대응하는 자식 노드의 회전 방향이 자식 노드가 회전될 수 있는 방향인지를 결정하는 단계; 제2 회전 정보에 의해 지시되는 회전 각도가 대응하는 회전 방향에서의 자식 노드의 최대 각도를 초과하지 않는지를 결정하는 단계; 및 제2 회전 정보에 의해 지시되는 자식 노드의 회전 방향이 자식 노드가 회전될 수 있는 방향이면, 그리고 제2 회전 정보에 의해 지시되는 자식 노드의 회전 각도가 대응하는 회전 방향에서의 자식 노드의 최대 각도를 초과하지 않는다면, 제2 회전 정보가 제약 조건을 충족시킨다고 결정하는 단계를 포함한다.
단계 S140에서, 제약 조건을 충족시키는 제2 회전 정보를 이용하여 피제어 모델에서의 대응하는 노드의 회전이 직접 제어될 수 있다.
또 일부 다른 실시예들에서, 이 방법은: 제2 회전 정보에 의해 지시되는 대응하는 자식 노드의 회전 방향이 자식 노드가 회전될 수 없는 방향이면, 회전 방향에서의 회전 정보가 제2 회전 정보로부터 제거되고; 그리고/또는 제2 회전 정보에 의해 지시되는 자식 노드의 회전 각도가 대응하는 회전 방향에서의 자식 노드의 최대 각도를 초과한다면, 제2 회전 정보에서 회전 방향에서의 회전 각도는 최대 각도로 대체된다는 것을 추가로 포함한다. 이러한 방식으로, 정정된 제2 회전 정보가 획득된다. 정정된 제2 회전 정보는 제약 조건을 충족시킨다.
단계 S140에서, 제약 조건을 충족시키는 정정된 제2 회전 정보에 따라 피제어 모델에서의 대응하는 노드의 회전이 제어될 수 있다.
일 예에서, 제2 회전 정보에 대해, 제2 회전 정보가 제약 조건을 충족시키는지를 결정하는 단계는: 상기 제2 회전 정보를 미리 결정된 타입을 갖는 좌표계에서의 제1 각도로 변환하는 단계; 상기 제1 각도가 미리 설정된 각도 범위 내에 있는지를 결정하는 단계; 및 상기 제1 각도가 상기 미리 설정된 각도 범위 내에 있다면, 상기 제2 회전 정보가 상기 제약 조건을 충족시킨다고 결정하는 단계를 포함한다.
여기서 상기 각도가 상기 미리 설정된 각도 범위 내에 있는지를 결정하는 것은 상기 제2 회전 정보가 제약 조건을 충족시키는지를 결정하는 방식이고, 특정 구현은 미리 결정된 좌표계에서의 좌표 값들이 미리 결정된 범위 내에 있는지를 결정하는 것일 수 있다.
요컨대, 제2 회전 정보가 제약 조건을 충족시키는지를 결정하는 많은 방식들이 존재하며, 이는 위의 것들 중 어느 하나로 제한되지 않는다.
또한, 이 방법은: 상기 제1 각도가 상기 미리 설정된 각도 범위 밖에 있다면 상기 제2 회전 정보가 제약 조건을 충족시키지 않는다고 결정하는 단계를 추가로 포함한다.
또 추가로, 제2 회전 정보가 제약 조건을 충족시키지 않는다면 제2 회전 정보를 정정하여 제3 회전 정보를 획득한다. 여기서 제3 회전 정보는 제약 조건을 충족시키는 전술한 정정된 제2 회전 정보이다.
따라서, 단계 S140은: 다수의 제3 회전 정보들에 따라 다수의 노드들에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하는 것을 포함할 수 있다.
상기 제2 회전 정보가 상기 제약 조건을 충족시키지 않는다면 상기 제2 회전 정보를 정정하여 제3 회전 정보를 획득하는 단계는: 상기 제2 회전 정보에 대응하는 상기 제1 각도가 상기 미리 설정된 각도 범위 밖에 있다면, 미리 설정된 각도에 따라 상기 제1 각도를 정정하여 제2 각도를 획득하는 단계; 및 상기 제2 각도에 따라 상기 제3 회전 정보를 획득하는 단계를 포함한다.
실시예들에서, 제2 각도는 노드가 대응하는 회전 방향에서 회전될 수 있는 최대 각도를 포함할 수 있지만, 이에 제한되지 않는다.
예를 들어, 얼굴의 배향과 몸통의 배향 사이에 2개의 끼인 각이 형성되고, 2개의 끼인 각의 합은 180도이다. 2개의 끼인 각은 각각 각도 1 및 각도 2라고 가정한다. 얼굴과 몸통을 연결하는 목에 대한 제약 조건은: -90도 내지 90도이고, 90도를 초과하는 각도들은 제약 조건으로부터 배제된다. 이러한 방식으로, 피제어 모델이 타겟의 움직임을 시뮬레이션하는 과정에서, 회전 각도가 시계방향 또는 반시계방향으로 90도를 초과하는, 예를 들어, 120도 및 180도인 비정상 상황들을 감소시키는 것이 가능하다. 제약 조건은 2개의 극한 각도에 대응하고, 하나는 -90도이고 다른 하나는 90도이다. 회전 각도가 -90 내지 90도의 범위를 초과한다면, 검출된 회전 각도는 제약 조건에 의해 정의되는 최대 각도로 수정된다. 예를 들어, 90도를 초과하는 회전 각도(예를 들어, 위의 120도 또는 180도)가 검출된다면, 검출된 회전 각도는 검출된 회전 각도에 더 가까운 극한 각도, 예를 들어, 90도로 수정된다.
일부 실시예들에서, 단계 S140은: 다수의 제2 회전 정보들 또는 다수의 제2 회전 정보들로부터 생성된 다수의 제3 회전 정보들에 대해 자세 결함 정정을 수행하여 다수의 정정된 제4 회전 정보를 각각 획득하는 단계; 및 다수의 제4 회전 정보들을 이용하여 상기 다수의 노드들에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하는 단계를 포함한다.
일부 실시예들에서, 타겟 자체는 움직임에서 특정 결함을 가지며, 그러한 결함을 자세 결함이라고 부른다. 피제어 모델의 움직임을 더 조정되게 하기 위해, 제2 회전 정보 및/또는 제3 회전 정보에 대해 자세 결함 정정을 수행하여 정정된 제4 회전 정보를 획득할 수 있고, 피제어 모델을 제어할 때 자세 결함이 극복된 정정된 제4 회전 정보가 사용된다.
일부 실시예들에서, 자세 결함 정정은 다음 중 적어도 하나를 포함한다: 상지 및 하지의 동측성 결함(ipsilateral defect); 오다리(bowleg) 움직임 결함; 평발(splayfoot) 움직임 결함; 또는 내번족(pigeon-toe) 움직임 결함.
일부 실시예들에서, 이 방법은: 타겟의 신체 형태와 표준 신체 형태 간의 차이 정보에 따라 자세 결함 정정 파라미터를 획득하는 단계를 추가로 포함하고, 여기서 상기 자세 결함 정정 파라미터는 상기 제2 회전 정보 또는 상기 제3 회전 정보를 정정하기 위해 사용된다.
예를 들어, 타겟을 포함하는 이미지를 이용하여 피제어 모델을 제어하기 전에, 타겟의 신체 형태를 먼저 검출하고, 그 후 검출된 신체 형태를 표준 신체 형태와 비교하여 차이 정보를 획득하고; 차이 정보를 통해 자세 결함 정정을 수행한다.
미리 결정된 자세를 유지하는 것에 관한 프롬프트가 디스플레이 인터페이스 상에 출력되고, 사용자는 프롬프트를 본 후에 미리 결정된 자세를 유지하여, 이미지 디바이스가 미리 결정된 자세를 유지하는 사용자의 이미지를 취득할 수 있게 한다. 그 후, 이미지 검출을 통해 사용자에 의해 유지된 미리 결정된 자세가 충분히 표준인지를 결정하여 차이 정보를 획득한다.
예를 들어, 일부 사람들은 평발이지만, 정상적인 표준 기립 자세는 발가락과 발의 뒤꿈치 사이의 연결선들이 평행한 것이어야 한다. 타겟의 특징들에 대응하는 제2 회전 정보 또는 제3 회전 정보를 획득한 후에, 피제어 모델을 제어할 때 신체 형태에서의 그러한 비표준의 정정(즉, 자세 결함 정정)이 고려될 수 있다.
일부 다른 실시예들에서, 이 방법은: 타겟의 상이한 부분들 간의 비례 관계에 따라 표준 모델의 상이한 부분들의 비율들을 정정하여 정정된 피제어 모델을 획득하는 단계를 추가로 포함한다.
상이한 타겟들의 부분들 간의 비례 관계들에 있어서 차이들이 있을 수 있다. 예를 들어, 사람을 예로 들어, 전문 모델의 다리 길이 대 머리 길이의 비율은 보통 사람의 비율보다 크다. 다른 예로, 일부 사람들은 엉덩이가 풍만하고, 그들의 양쪽 엉덩이 사이의 거리가 보통 사람보다 클 수 있다.
표준 모델은 대량의 인체 데이터에 기초하여 획득되는 평균 값 모델일 수 있다. 피제어 모델이 타겟의 움직임을 더 정확하게 시뮬레이션하게 하기 위해, 실시예들에서, 타겟의 상이한 부분들 간의 비례 관계에 따라 표준 모델의 상이한 부분들의 비율들을 정정하여 정정된 피제어 모델을 획득한다. 예를 들어, 타겟이 사람인 것을 예로 들어, 정정된 부분들은 엉덩이들 및/또는 다리들을 포함하지만, 이들로 제한되지 않는다.
도 3a, 도 3b, 및 도 3c에 도시된 바와 같이, 이미지의 왼쪽 상단 모서리에 있는 작은 이미지는 취득된 이미지이고, 오른쪽 하단 모서리에 있는 것이 인체의 피제어 모델이다. 사용자의 손이 움직인다. 도 3a로부터 도 3b로 그런 다음 도 3b로부터 도 3c로, 사용자의 손이 움직이고, 피제어 모델의 손도 그 움직임을 따른다. 사용자의 손 움직임이 도 3a 내지 도 3c에서 주먹 쥐기로부터 손바닥 펴기로 그런 다음 집게 손가락 펴기로 순차적으로 변화하고, 피제어 모델은 사용자의 제스처를 시뮬레이션하여 주먹 쥐기로부터 손바닥 펴기로 그런 다음 집게 손가락 펴기로 변화한다.
도 4a, 도 4b, 및 도 4c에 도시된 바와 같이, 이미지의 왼쪽 상단 모서리에 있는 작은 이미지는 취득된 이미지이고, 오른쪽 하단 모서리에 있는 것이 인체의 피제어 모델이다. 사용자의 몸통이 움직인다. 도 4a로부터 도 4b로 그런 다음 도 4b로부터 도 4c로, 사용자의 몸통이 움직이고, 피제어 모델의 몸통도 그 움직임을 따른다. 도 4a로부터 도 4c로, 사용자는 엉덩이를 이미지의 오른쪽을 향해 기울이는 것으로부터 엉덩이를 이미지의 왼쪽을 향해 기울이는 것으로 그런 다음 최종적으로 똑바로 서 있는 것으로 변화하고, 피제어 모델도 사용자의 몸통 움직임을 시뮬레이션한다.
도 5a, 도 5b, 및 도 5c에 도시된 바와 같이, 이미지의 왼쪽 상단 모서리에 있는 작은 이미지는 취득된 이미지이고, 오른쪽 하단 모서리에 있는 것이 인체의 피제어 모델이다. 도 5a로부터 도 5c로, 사용자는 이미지의 오른쪽으로 한 걸음 내딛고, 이미지의 왼쪽으로 한 걸음 내딛고, 최종적으로 똑바로 서 있고, 피제어 모델도 사용자의 발 움직임을 시뮬레이션한다.
또한, 도 4a 내지 도 4c에서, 피제어 모델은 사용자의 표정 변화도 시뮬레이션한다.
도 6에 도시된 바와 같이, 실시예들은 다음의 모듈들을 포함하는 이미지 처리 장치를 제공한다:
제1 획득 모듈(110)은 이미지를 획득하도록 구성된다.
제2 획득 모듈(120)은 상기 이미지에 기초하여 타겟의 다수의 노드들 각각의 제1 회전 정보를 획득하도록 구성된다.
제1 결정 모듈(130)은 상기 노드들과 다수의 제1 회전 정보들 간의 계층 관계에 따라 상기 타겟의 다수의 노드들 중 부모 노드에 대한 각각의 자식 노드의 제2 회전 정보를 결정하도록 구성된다.
제어 모듈(140)은 다수의 제2 회전 정보들에 기초하여 상기 다수의 노드들에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하도록 구성된다.
일부 실시예들에서, 제1 획득 모듈(110), 제2 획득 모듈(120), 제1 결정 모듈(130), 및 제어 모듈(140)은 프로그램 모듈들일 수 있다. 프로세서에 의해 실행된 후에, 프로그램 모듈들은 대응하는 기능들을 구현한다.
일부 다른 실시예들에서, 제1 획득 모듈(110), 제2 획득 모듈(120), 제1 결정 모듈(130), 및 제어 모듈(140)은 소프트웨어 및 하드웨어 조합된 모듈들일 수 있고, 소프트웨어 및 하드웨어 조합된 모듈들은 프로그래머블 어레이들을 포함하지만, 이들로 제한되지 않는다. 프로그래머블 어레이들은 복합 프로그래머블 어레이들 또는 필드 프로그래머블 어레이들을 포함하지만, 이들로 제한되지 않는다.
또 일부 다른 실시예들에서, 제1 획득 모듈(110), 제2 획득 모듈(120), 제1 결정 모듈(130), 및 제어 모듈(140)은 순수 하드웨어 모듈들일 수 있고, 순수 하드웨어 모듈들은 주문형 집적 회로들을 포함하지만, 이들로 제한되지 않는다.
일부 실시예들에서, 상기 제1 획득 모듈(110)은 상기 이미지에 기초하여 카메라 좌표계에서의 타겟의 다수의 노드들 각각의 제1 회전 정보를 획득하도록 구체적으로 구성된다.
일부 실시예들에서, 상기 제1 결정 모듈(130)은: 다수의 노드들 각각에 대해, 해당 노드를 자식 노드로서 간주하고; 계층 관계 및 다수의 제1 회전 정보들에 따라 상기 자식 노드의 부모 노드가 위치하는 국부 좌표계에 대하여 상기 자식 노드가 위치하는 국부 좌표계에서의 제2 회전 정보를 결정하도록 구체적으로 구성된다.
일부 실시예들에서, 이 장치는: 상기 다수의 노드들 각각에 대해, 상기 계층 관계에 따라 해당 노드가 위치하는 국부 좌표계를 결정하도록 구성된 제2 결정 모듈을 추가로 포함한다.
일부 실시예들에서, 상기 제2 결정 모듈은: 해당 노드를 자식 노드로서 간주하고; 상기 계층 관계에 따라 상기 자식 노드가 상기 자식 노드의 부모 노드를 가리키는 방향을 상기 국부 좌표계의 제1 방향으로서 간주하고; 상기 자식 노드 및 상기 자식 노드에 연결된 2개의 노드가 위치하는 평면의 수직 방향을 상기 국부 좌표계의 제2 방향으로서 간주하고; 상기 타겟의 미리 결정된 부분의 배향을 상기 국부 좌표계의 제3 방향으로서 간주하도록 구체적으로 구성된다.
일부 실시예들에서, 상기 제2 획득 모듈(120)은 상기 이미지에 기초하여 카메라 좌표계에서의 타겟의 다수의 노드들 각각의 제1 쿼터니언을 획득하도록 구체적으로 구성된다.
일부 실시예들에서, 상기 제1 결정 모듈(130)은: 다수의 노드들 각각을 자식 노드로서 간주하고 상기 계층 관계에 따라 상기 자식 노드의 부모 노드를 결정하고; 각각의 자식 노드에 대해, 상기 카메라 좌표계에서의 자식 노드의 부모 노드의 제1 쿼터니언 및 상기 카메라 좌표계에서의 자식 노드의 제1 쿼터니언에 기초하여 상기 부모 노드에 대한 상기 자식 노드의 제2 쿼터니언을 결정하도록 구체적으로 구성된다.
일부 실시예들에서, 이 장치는: 각각의 제2 회전 정보에 대해, 해당 제2 회전 정보가 제약 조건을 충족시키는지를 결정하도록 구성된 제3 결정 모듈을 추가로 포함하고; 상기 제어 모듈(140)은: 상기 제2 회전 정보가 상기 제약 조건을 충족시킨다면, 상기 제2 회전 정보에 따라 상기 제2 회전 정보와 연관된 자식 노드에 대응하는 피제어 모델에서의 노드의 움직임을 제어하도록 구체적으로 구성된다.
일부 실시예들에서, 상기 제3 결정 모듈은: 상기 제2 회전 정보를 미리 결정된 타입을 갖는 좌표계에서의 제1 각도로 변환하고; 상기 제1 각도가 미리 설정된 각도 범위 내에 있는지를 결정하고; 상기 제1 각도가 상기 미리 설정된 각도 범위 내에 있다면, 상기 제2 회전 정보가 상기 제약 조건을 충족시킨다고 결정하도록 구체적으로 구성된다.
일부 실시예들에서, 이 장치는: 상기 제1 각도가 미리 설정된 각도 범위 밖에 있다면 상기 제2 회전 정보가 제약 조건을 충족시키지 않는다고 결정하도록 구성된 추가 결정 모듈을 추가로 포함한다.
일부 실시예들에서, 이 장치는: 상기 제2 회전 정보가 제약 조건을 충족시키지 않는다면 상기 제2 회전 정보를 정정하여 제3 회전 정보를 획득하도록 구성된 제1 정정 모듈을 추가로 포함하고; 상기 제어 모듈(140)은 상기 제3 회전 정보에 따라 상기 제2 회전 정보와 연관된 자식 노드에 대응하는 피제어 모델에서의 노드의 움직임을 제어하도록 추가로 구성된다.
일부 실시예들에서, 상기 정정 모듈은: 상기 제2 회전 정보에 대응하는 상기 제1 각도가 상기 미리 설정된 각도 범위 밖에 있다면, 미리 설정된 각도에 따라 상기 제1 각도를 정정하여 제2 각도를 획득하고; 상기 제2 각도에 따라 상기 제3 회전 정보를 획득하도록 구체적으로 구성된다.
일부 실시예들에서, 상기 미리 결정된 타입을 갖는 좌표계는 오일러 좌표계이다.
일부 실시예들에서, 상기 제어 모듈(140)은: 다수의 제2 회전 정보들 또는 다수의 제2 회전 정보들로부터 생성된 다수의 제3 회전 정보들에 대해 자세 결함 정정을 수행하여 다수의 정정된 제4 회전 정보를 각각 획득하고; 다수의 제4 회전 정보들을 이용하여 상기 다수의 노드들에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하도록 구체적으로 구성된다.
일부 실시예들에서, 자세 결함 정정은 다음 중 적어도 하나를 포함한다: 상지 및 하지의 동측성 결함(ipsilateral defect); 오다리(bowleg) 움직임 결함; 평발(splayfoot) 움직임 결함; 또는 내번족(pigeon-toe) 움직임 결함.
일부 실시예들에서, 이 장치는: 타겟의 신체 형태와 표준 신체 형태 간의 차이 정보에 따라 자세 결함 정정 파라미터를 획득하도록 구성된 제3 획득 모듈을 추가로 포함하고, 여기서 상기 자세 결함 정정 파라미터는 다수의 제2 회전 정보들 또는 상기 다수의 제3 회전 정보들을 정정하기 위해 사용된다.
일부 실시예들에서, 이 장치는: 타겟의 상이한 부분들 간의 비례 관계에 따라 표준 모델의 상이한 부분들의 비율들을 정정하여 정정된 피제어 모델을 획득하도록 구성된 제2 정정 모듈을 추가로 포함한다.
전술한 실시예들 중 임의의 것을 조합함으로써, 몇몇 특정 예들이 다음과 같이 제공된다.
예 1
이 예는 이미지 처리 방법을 제공하고, 그 단계들은 다음과 같다. 이미지가 취득되고, 여기서 상기 이미지는 타겟을 포함하고, 상기 타겟은 인체를 포함하지만 이에 제한되지 않는다; 상기 인체의 얼굴 노드들이 검출되고, 여기서 상기 얼굴 노드들은 상기 인간 얼굴의 표면 상의 윤곽 노드들일 수 있다; 상기 인체의 몸통 노드들 및/또는 사지 노드들이 검출되고, 여기서 상기 몸통 노드들 및/또는 상기 사지 노드들은 여기서 모두 3D 노드들일 수 있고 3D 좌표들에 의해 표현되고, 상기 3D 좌표들은 2D 이미지로부터 2D 좌표들을 검출한 다음 상기 2D 좌표들로부터 3D 좌표들로의 변환 알고리즘을 이용하여 획득된 3D 좌표들일 수 있거나, 상기 3D 좌표들은 3D 카메라에 의해 취득된 3D 이미지로부터 추출된 3D 좌표들일 수 있다.
여기서 상기 사지 노드들은: 상지 노드들 및/또는 하지 노드들을 포함할 수 있다. 예를 들어, 손을 예로 들어, 상지 노드들의 손 노드들은 손목 관절 노드, 중수지(metacarpophalangeal) 관절 노드들, 손가락 관절 노드들, 및 손가락 끝 노드들을 포함하지만, 이들로 제한되지 않는다. 이들 노드의 위치들은 손과 손가락들의 움직임들을 반영할 수 있다.
얼굴 노드들에 따라 인간 얼굴의 메시 정보가 생성된다. 메시 정보에 따라 타겟의 현재 표정에 대응하는 표정 베이스(expression basis)가 선택되고, 표정 베이스에 따라 피제어 모델의 표정이 제어되고; 각각의 표정 베이스에 대응하는 피제어 모델의 표정 강도는 메시 정보에 의해 반영된 강도 계수에 따라 제어된다.
몸통 노드들 및/또는 사지 노드들에 따라 쿼터니언들이 변환된다. 몸통 노드들에 대응하는 쿼터니언들에 따라 피제어 모델의 몸통 움직임이 제어되고; 그리고/또는 사지 노드들에 대응하는 쿼터니언들에 따라 피제어 모델의 사지 움직임이 제어된다.
예를 들어, 얼굴 노드들은 106개의 노드를 포함할 수 있다. 몸통 노드들 및/또는 사지 노드들은, 구체적으로 도 7a 및 도 7b에 도시된 바와 같이, 14개의 노드 또는 17개의 노드를 포함할 수 있다. 도 7a는 14개의 골격 노드를 포함하는 개략도이다. 도 7b는 17개의 골격 노드를 포함하는 개략도이다.
도 7b는 도 7a에 도시된 14개의 노드에 기초하여 생성된 17개의 노드를 포함하는 개략도이다. 도 7b의 17개의 노드는 도 7a에 도시된 노드에 상당하고, 노드 0, 노드 7, 및 노드 9가 추가되어 있다. 노드 9의 2D 좌표들은 노드 8 및 노드 10의 2D 좌표들에 기초하여 미리 결정될 수 있다; 노드 7의 2D 좌표들은 노드 8의 2D 좌표들 및 노드 0의 2D 좌표들에 따라 결정될 수 있다. 노드 0은 본 개시내용의 실시예들에 의해 제공되는 기준점일 수 있고, 이 기준점은 전술한 제1 기준점 및/또는 제2 기준점의 역할을 할 수 있다.
이 예에서, 피제어 모델은 게임 시나리오에서의 게임 캐릭터, 온라인 교육 시나리오에서의 온라인 교육 비디오 내의 교사 모델, 또는 가상 웹캐스팅 시나리오에서의 가상 앵커일 수 있다. 요컨대, 피제어 모델은 응용 시나리오에 따라 결정된다. 피제어 모델의 모델 및/또는 외관은 상이한 응용 시나리오들에서 상이하다.
예를 들어, 수학, 물리학 등과 같은 종래의 플랫폼 교육 시나리오에서, 교사 모델의 옷은 정장과 같은 비교적 격식을 차린 것일 수 있다. 다른 예로, 요가 또는 체조와 같은 스포츠 교육 시나리오에서, 피제어 모델의 옷은 스포츠웨어일 수 있다.
예 2
이 예는 이미지 처리 방법을 제공하고, 그 단계들은 다음과 같다. 이미지가 취득되고, 여기서 상기 이미지는 타겟을 포함하고, 상기 타겟은 인체를 포함하지만 이에 제한되지 않는다. 인체의 몸통 키 포인트들 및/또는 사지 키 포인트들이 검출되고, 여기서 몸통 키 포인트들 및/또는 사지 키 포인트들은 여기서 모두 3D 키 포인트들일 수 있고 3D 좌표들에 의해 표현된다. 3D 좌표들은 2D 이미지로부터 2D 좌표들을 검출한 다음 2D 좌표들로부터 3D 좌표들로의 변환 알고리즘을 이용하여 획득된 3D 좌표들일 수 있다. 또는 3D 좌표들은 3D 카메라에 의해 취득된 3D 이미지로부터 추출된 3D 좌표들일 수 있다. 여기서 사지 키 포인트들은: 상지 키 포인트들 및/또는 하지 키 포인트들을 포함할 수 있다. 손을 예로 들어, 상지 키 포인트들의 손 키 포인트들은 손목 관절 키 포인트, 중수지 관절 키 포인트들, 손가락 관절 키 포인트들, 및 손가락 끝 키 포인트들을 포함하지만, 이들로 제한되지 않는다. 이들 키 포인트들의 위치들은 손과 손가락들의 움직임들을 반영할 수 있다. 몸통 노드들은 몸통 움직임을 표현하는 쿼터니언들로 변환되고, 여기서 이 쿼터니언들은 몸통 쿼터니언들이라고 불릴 수 있다; 사지 노드들은 사지 움직임을 표현하는 쿼터니언들로 변환되고, 여기서 이 쿼터니언은 사지 쿼터니언들이라고 불릴 수 있다. 피제어 모델의 몸통 움직임이 몸통 쿼터니언들에 의해 제어된다; 피제어 모델의 사지 움직임이 사지 쿼터니언들에 의해 제어된다.
몸통 노드들 및 사지 노드들은, 구체적으로 도 7a 및 도 7b에 도시된 바와 같이, 14개의 노드 또는 17개의 노드를 포함할 수 있다.
이 예에서, 피제어 모델은 게임 시나리오에서의 게임 캐릭터, 온라인 교육 시나리오에서의 온라인 교육 비디오 내의 교사 모델, 또는 가상 웹캐스팅 시나리오에서의 가상 앵커일 수 있다. 요컨대, 피제어 모델은 응용 시나리오에 따라 결정된다. 피제어 모델의 모델 및/또는 외관은 상이한 응용 시나리오들에서 상이하다.
예를 들어, 수학, 물리학 등과 같은 종래의 플랫폼 교육 시나리오에서, 교사 모델의 옷은 정장과 같은 비교적 격식을 차린 것일 수 있다. 다른 예로, 요가 또는 체조와 같은 스포츠 교육 시나리오에서, 피제어 모델의 옷은 스포츠웨어일 수 있다.
예 3
이 예는 이미지 처리 방법을 제공하고, 그 단계들은 다음과 같다. 이미지가 획득되고, 여기서 상기 이미지는 타겟을 포함하고, 상기 타겟은 인체일 수 있다. 상기 이미지에 따라 3D 공간에서의 타겟의 3D 자세가 획득되고, 여기서 상기 3D 자세는 상기 인체의 골격 노드들의 3D 좌표들에 의해 표현될 수 있다. 카메라 좌표계에서의 인체의 관절들의 절대 회전 정보가 획득되고, 여기서 절대 회전 위치들은 카메라 좌표계에서의 좌표들에 의해 결정될 수 있다. 상기 좌표들에 따라 관절의 좌표 방향들이 획득된다. 관절들의 상대 회전 파라미터들이 계층 관계에 따라 결정된다. 상대 파라미터를 결정하는 것은: 인체의 루트 노드에 대한 관절들의 키 포인트의 위치들을 결정하는 것을 구체적으로 포함할 수 있다. 상대 회전 파라미터들은 쿼터니언들에 의해 표현될 수 있다. 여기서 계층 관계는 관절들 간의 구동 관계일 수 있다. 예를 들어, 팔꿈치 관절의 움직임은 손목 관절의 움직임을 어느 정도 구동할 수 있고, 어깨 관절의 움직임도 팔꿈치 관절의 움직임을 구동할 수 있고, 등등이다. 계층 관계는 또한 인체의 관절들에 따라 미리 결정될 수 있다. 피제어 모델의 회전은 쿼터니언들에 의해 제어된다.
추가의 이미지 처리 방법은: 상기 쿼터니언들을 제1 오일러 각도들로 변환하는 단계; 상기 제1 오일러 각도들을 변환하여 제약 조건 내의 제2 오일러 각도들을 획득하는 단계 - 상기 제약 조건은 상기 제1 오일러 각도들을 제한하기 위해 사용될 수 있음 -; 및 상기 제2 오일러 각도들에 대응하는 쿼터니언들을 획득하고, 그 후 상기 쿼터니언들을 이용하여 상기 피제어 모델의 회전을 제어하는 단계를 추가로 포함한다. 상기 제2 오일러 각도들에 대응하는 쿼터니언들을 획득하는 것은 상기 제2 오일러 각도들을 쿼터니언들로 직접 변환하는 것을 포함할 수 있다.
다른 추가의 이미지 처리 방법은: 상기 제2 오일러 각도들에 대해 자세 최적화 조정을 수행하는 단계, 예를 들어, 미리 설정된 규칙에 기초하여 상기 제2 오일러 각도들의 일부를 자세-최적화된 오일러 각도들로 조정하여 제3 오일러 각도들을 획득하는 단계를 추가로 포함한다. 그 후, 상기 제2 오일러 각도들에 대응하는 쿼터니언들을 획득하는 것은: 상기 제3 오일러 각도를 상기 피제어 모델을 제어하기 위한 쿼터니언들로 변환하는 것을 포함할 수 있다.
또 다른 추가의 이미지 처리 방법은: 상기 제2 오일러 각도들을 쿼터니언들로 변환한 후에, 상기 변환 후에 획득된 쿼터니언들에 대해 자세 최적화 처리를 수행하는 단계, 예를 들어, 미리 설정된 규칙에 기초하여 조정을 수행하여 조정된 쿼터니언들을 획득하고 최종적으로 조정된 쿼터니언들에 따라 상기 피제어 모델을 제어하는 단계를 추가로 포함한다.
일부 실시예들에서, 상기 제2 오일러 각도들 또는 상기 제2 오일러 각도들로부터 변환에 의해 획득된 쿼터니언들은 미리 설정된 규칙에 기초하여 조정될 수 있거나, 또는 딥 러닝 모델에 의해 자동으로 최적화 및 조정될 수 있다. 다양한 특정 구현들이 존재하고, 이는 본 출원에서 제한되지 않는다.
또한, 또 다른 이미지 처리 방법은 전-처리를 추가로 포함한다. 예를 들어, 취득된 인체의 크기에 따라, 피제어 모델의 엉덩이 폭 및/또는 어깨 폭이 인체의 전체적인 자세를 정정하도록 수정된다. 인체의 기립 자세에 대해 똑바로 서기 정정 및 배 내밀기 정정이 수행될 수 있다. 일부 사람들은 서 있을 때 자신의 배를 내밀 수 있고, 배 내밀기 정정은 피제어 모델이 사용자의 배 내밀기 동작을 시뮬레이션하지 않게 할 수 있다. 일부 사람들은 서 있을 때 구부정할 수 있고, 구부정함 정정은 피제어 모델이 사용자의 구부정한 동작 등을 시뮬레이션하지 않게 할 수 있다.
예 4
이 예는 이미지 처리 방법을 제공하고, 그 단계들은 다음과 같다. 이미지가 획득되고, 여기서 상기 이미지는 타겟을 포함하고, 상기 타겟은 인체, 인체 상지, 또는 인체 하지 중 적어도 하나를 포함할 수 있다. 이미지 좌표계에서의 타겟 관절의 위치 정보에 따라 타겟 관절의 좌표계가 획득된다. 이미지 좌표계에서의 사지 부분의 위치 정보에 따라, 움직일 타겟 관절을 구동할 수 있는 사지 부분의 좌표계가 획득된다. 타겟 관절의 좌표계 및 사지 부분의 좌표계에 기초하여 사지 부분에 대한 타겟 관절의 회전을 결정하여, 회전 정보를 획득하고, 여기서 회전 정보는 타겟 관절의 자기-회전 파라미터 및 사지 부분에 의해 구동되는 회전의 정보를 포함한다. 사지 부분에 의해 구동되는 회전의 정보를 제1 각도 제한에 의해 제한하여 최종 구동 회전 파라미터를 획득한다. 최종 구동 회전 정보에 따라 사지 부분의 회전 정보가 정정된다. 사지 부분의 좌표계 및 사지 부분의 정정된 회전 정보에 따라 상대 회전 정보가 획득된다. 상대 회전 정보에 대해 제2 각도 제한을 수행하여 제한된 상대 회전 정보를 획득한다. 제한된 회전 정보에 기초하여 쿼터니언이 획득된다. 쿼터니언에 따라 피제어 모델의 타겟 관절의 움직임이 제어된다.
예를 들어, 인체 상지가 처리된다면, 이미지 좌표계에서의 손의 좌표계가 획득되고, 전완의 좌표계 및 상완의 좌표계가 획득된다. 이 경우, 타겟 관절은 손목 관절이다. 전완에 대한 손의 회전은 자기-회전 및 구동 회전으로 분해된다. 구동 회전은 전완으로 전달되는데, 구체적으로는, 예를 들어, 구동 회전은 대응하는 방향에서의 전완의 회전에 할당되고; 전완의 최대 회전은 전완의 제1 각도 제한에 의해 제한된다. 그 후, 정정된 전완에 대한 손의 회전을 결정하여 상대 회전 파라미터를 획득한다. 상대 회전 파라미터에 대해 제2 각도 제한을 수행하여 전완에 대한 손의 회전을 획득한다.
인체 하지가 처리된다면, 이미지 좌표계에서의 발의 좌표계가 획득되고 하퇴의 좌표계 및 허벅지의 좌표계가 획득된다. 이 경우, 타겟 관절은 발목 관절이다. 하퇴에 대한 발의 회전은 자기-회전 및 구동 회전으로 분해된다. 구동 회전은 하퇴에 전달되는데, 구체적으로는, 예를 들어, 구동 회전은 대응하는 방향에서의 하퇴의 회전에 할당되고; 하퇴의 최대 회전은 하퇴의 제1 각도 제한에 의해 제한된다. 그 후, 정정된 하퇴에 대한 발의 회전을 결정하여 상대 회전 파라미터를 획득한다. 상대 회전 파라미터에 대해 제2 각도 제한을 수행하여 하퇴에 대한 발의 회전을 획득한다.
예 5
이 예는 인체 골격의 쿼터니언들을 구체적으로 계산하기 위한 방법을 제공한다.
각각의 뼈가 자기-회전 가능하기 때문에, 인체 골격의 정보는 쿼터니언들보다 적다는 점에 유의해야 한다. 도 8a에 도시된 바와 같이, A와 B는 뼈의 시작과 끝을 표현하는, 공간 내의 2개의 노드이다. 그러나, 공간 내의 이 뼈의 자세는 결정될 수 없고, 따라서, 각각의 뼈의 국부 좌표계가 정의된다. 도 8b에 도시된 바와 같이, 국부 좌표계를 결정한 후에, 공간 내의 뼈의 자세가 결정된다.
먼저, 이미지에서 인체의 관절들의 키 포인트들을 검출함으로써 이미지 좌표계에서 17개의 키 포인트의 좌표들을 획득하여 인체 골격을 획득할 수 있는데, 이는 
로서 정의된다. 총 17개의 3D 좌표가 존재하고, 각각의 점에 의해 표현되는 의미는 도 2에 도시된 바와 같다. 도 2에서, 2개의 노드, 즉 노드 8 및 노드 15가 왼쪽 및 오른쪽 손들에 대응하는 위치들에 추가로 제공된다는 점에 유의해야 한다.
3D 애니메이션 캐릭터(즉, 위의 피제어 모델)를 구동하기 위해서는, 이것들을 아는 것만으로 충분하지 않고, 이 인체 골격을 3DMAX 표준에서의 인체 골격으로 이전(migrate)시킬 필요가 있다. 피제어 모델의 인체 골격은 국부 회전 정보의 쿼터니언들, 및 국부 뼈 길이들을 포함한다. 뼈 길이들은 국부 좌표계에서의 종점 좌표들에 의해 표현된다. 피제어 모델의 뼈 길이들은 일반적으로 설정되기 때문에, 국부 회전 정보를 표현하는 쿼터니언들의 계산만이 고려된다.
도 2에 도시된 바와 같이, 피제어 모델의 골격은 19개의 노드를 가지며, 
로서 정의된다. 
는 국부 좌표계에서의 노드 i의 3D 좌표들을 지시하고, 일반적으로 원래 모델이 지니는 고정 값이고, 수정되거나 이전될 필요가 없다. 
는 쿼터니언이고, 부모 노드의 좌표계에서의 노드 i에 의해 제어되는 뼈의 회전을 지시하고, 또한 현재 노드의 국부 좌표계 및 부모 노드의 국부 좌표계의 회전으로서 간주될 수 있다.
손과 발을 제어하는 4개의 노드 8, 15, 11 및 18)를 제외하고, 다른 노드들은 기존의 인체 골격 및 인간의 선험 지식을 이용하여 계산될 수 있다.
계산을 용이하게 하기 위해, 먼저 카메라 좌표계에 대한 각각의 노드의 회전 쿼터니언이 계산되고: 
, 그 후 부모 노드에 대한 각각의 노드의 회전 쿼터니언이 계산된다:
부모 키 포인트 
는 현재 키 포인트 i의 상위 계층에서의 키 포인트이고, 
는 카메라 좌표계에 대한 현재 키 포인트 i의 회전 쿼터니언이고, 
는 상위 계층에서의 키 포인트의 역 회전 파라미터이다. 예를 들어, 
는 상위 계층에서의 키 포인트의 회전 파라미터이고, 회전 각도는 90도이고; 그러면, 
의 회전 각도는 -90도이다.
각각의 관절의 쿼터니언을 계산하기 위해서는, 각각의 노드의 국부 좌표계의 좌표 축들의 방향들이 결정될 필요가 있다. 일반성을 잃지 않고, 다음이 규정된다: 각각의 뼈에 대해, 자식 노드가 부모 노드를 가리키는 방향은 x-축이고; 뼈의 회전 각도를 최대화하는 회전축은 z-축으로 간주되고; 회전축이 결정될 수 없다면, 인체를 향하는 방향이 y-축으로 간주된다. 도 9에 도시된 바와 같이, 17개의 골격은 피제어 모델의 19개의 노드를 결정한다. 각각의 노드의 국부 좌표계가 다음의 표에 나타내어져 있다.
(i-j)는 i로부터 j로의 벡터를 지시하고, x는 교차-곱셈을 지시한다. 예를 들어, (1-7)은 노드 1로부터 노드 7로의 벡터를 지시한다.
위의 표에서, 노드들(8, 15, 11, 및 18)은 손과 발의 4개의 노드이다. 4개의 노드의 쿼터니언들의 계산은 특정 자세를 이용하여 결정될 필요가 있기 때문에, 이 표는 4개의 키 포인트를 포함하지 않는다. 또한, 위의 표에서, 19-노드 골격의 노드 번호들은 도 2에서 볼 수 있고, 17-노드 골격의 노드 번호들은 도 7b에서 볼 수 있다.
도 10에 도시된 바와 같이, 본 출원의 실시예들은 이미지 디바이스를 제공하고, 이 이미지 디바이스는: 정보를 저장하도록 구성된 메모리(1002); 및 메모리(1002)에 연결되고, 메모리(1002) 상에 저장된 컴퓨터 실행가능 명령어들을 실행하여, 전술한 기술적 해결책들 중 하나 이상에 의해 제공되는 이미지 처리 방법, 예를 들어, 도 1에 도시된 이미지 처리 방법을 구현하도록 구성된 프로세서(1001)를 포함한다.
메모리(1002)는 랜덤 액세스 메모리, 판독-전용 메모리(ROM), 및 플래시 메모리와 같은 다양한 타입들의 메모리들일 수 있다. 메모리(1002)는 정보 저장, 예를 들어, 컴퓨터 실행가능 명령어들 등을 저장하기 위해 사용될 수 있다. 컴퓨터 실행가능 명령어들은 타겟 프로그램 명령어들 및/또는 소스 프로그램 명령어들과 같은 다양한 프로그램 명령어들일 수 있다.
프로세서(1001)는 중앙 처리 유닛, 마이크로프로세서, 디지털 신호 프로세서, 프로그래머블 어레이, 디지털 신호 프로세서, 주문형 집적 회로, 또는 그래픽 처리 유닛과 같은 다양한 타입들의 프로세서들일 수 있다.
프로세서(1001)는 버스를 통해 메모리(1002)에 연결될 수 있다. 버스는 집적 회로 버스 등일 수 있다.
일부 실시예들에서, 단말 디바이스는: 통신 인터페이스(1003)를 추가로 포함할 수 있고, 통신 인터페이스(1003)는: 근거리 네트워크 인터페이스 및 트랜시버 안테나와 같은 네트워크 인터페이스를 포함할 수 있다. 통신 인터페이스는 또한 프로세서(1001)에 연결되고 정보 송신 및 수신을 위해 사용될 수 있다.
일부 실시예들에서, 단말 디바이스는 인간-컴퓨터 상호작용 인터페이스(1005)를 추가로 포함한다. 예를 들어, 인간-컴퓨터 상호작용 인터페이스(1005)는 키보드 및 터치 스크린과 같은 다양한 입력/출력 디바이스들을 포함할 수 있다.
일부 실시예들에서, 이미지 디바이스는: 다양한 프롬프트들, 취득된 얼굴 이미지들, 및/또는 다양한 인터페이스들을 디스플레이할 수 있는 디스플레이(1004)를 추가로 포함한다.
본 출원의 실시예들은 비휘발성 컴퓨터 저장 매체를 제공한다. 컴퓨터 저장 매체는 컴퓨터 실행가능 코드를 저장한다. 컴퓨터 실행가능 코드가 실행된 후에, 전술한 기술적 해결책들 중 하나 이상에 의해 제공되는 이미지 처리 방법, 예를 들어, 도 1에 도시된 이미지 처리 방법이 구현될 수 있다.
본 출원에서 제공되는 몇몇 실시예들에서의 개시된 디바이스 및 방법은 다른 방식들로 구현될 수 있다는 점을 이해해야 한다. 위에 설명된 디바이스 실시예들은 예시적인 것에 불과하다. 예를 들어, 유닛 분할은 논리적 기능 분할에 불과하고 실제로는 다른 분할 방식들로 구현될 수 있다. 예를 들어, 복수의 유닛 또는 컴포넌트가 다른 시스템으로 조합 또는 통합되거나, 일부 특징들이 무시되거나 수행되지 않을 수 있다. 또한, 디스플레이 또는 논의된 컴포넌트들 간의 상호 결합들 또는 직접 결합들 또는 통신 연결들은 일부 인터페이스들에 의해 구현될 수 있다. 디바이스들 또는 유닛들 간의 간접 결합들 또는 통신 연결들은 전기적, 기계적, 또는 다른 형태일 수 있다.
별개의 컴포넌트들로서 설명된 유닛들은 물리적으로 별개일 수 있거나 아닐 수 있고, 유닛들로서 디스플레이된 컴포넌트들은 물리적 유닛이거나 아닐 수도 있는데, 즉, 한 위치에 위치할 수 있거나, 또는 복수의 네트워크 유닛 상에 분산될 수 있다. 실시예들의 해결책의 목적을 달성하기 위해 실제 필요에 따라 유닛들의 일부 또는 전부가 선택될 수 있다.
또한, 본 개시내용의 실시예들에서의 기능 유닛들은 모두가 하나의 처리 모듈에 통합될 수 있거나, 유닛들 각각이 각각 독립적인 유닛의 역할을 할 수 있거나, 2개 이상의 유닛이 하나의 유닛으로 통합되고, 통합된 유닛이 하드웨어의 형태로 구현될 수 있거나, 또는 하드웨어 및 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.
본 기술분야의 통상의 기술자는 전술한 방법 실시예들을 구현하기 위한 모든 또는 일부 단계가 관련 하드웨어에 명령하는 것에 의해 프로그램에 의해 완성될 수 있다는 것; 전술한 프로그램이 컴퓨터 판독가능 저장 매체 내에 저장될 수 있다는 것; 프로그램이 실행될 때, 전술한 방법 실시예들을 포함하는 단계들이 수행된다는 것을 이해할 수 있다. 게다가, 전술한 비휘발성 저장 매체는, 모바일 저장 디바이스, ROM, 자기 디스크, 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
위의 설명들은 단지 본 개시내용의 특정 구현들이다. 그러나, 본 개시내용의 보호 범위는 이로 제한되지 않는다. 본 개시내용에 의해 개시된 기술적 범위 내에서, 본 기술분야의 통상의 기술자에 의해 쉽게 생각될 수 있는 임의의 변화 또는 치환은 모두 본 개시내용의 보호 범위 내에 속해야 한다. 따라서, 본 개시내용의 보호 범위는 청구항들의 보호 범위에 의해 결정되어야 한다.
Claims (36)
- 이미지 처리 방법으로서,
이미지를 획득하는 단계;
상기 이미지에 기초하여 타겟의 복수의 노드 각각의 제1 회전 정보를 획득하는 단계;
상기 노드들과 복수의 상기 제1 회전 정보 간의 계층 관계에 따라, 상기 타겟의 복수의 노드 중 부모 노드에 대한 각각의 자식 노드의 제2 회전 정보를 결정하는 단계; 및
복수의 상기 제2 회전 정보에 기초하여 상기 복수의 노드에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하는 단계를 포함하는, 방법. - 제1항에 있어서,
상기 이미지에 기초하여 상기 타겟의 복수의 노드 각각의 제1 회전 정보를 획득하는 단계는:
상기 이미지에 기초하여 카메라 좌표계에서의 상기 타겟의 복수의 노드 각각의 제1 회전 정보를 획득하는 단계를 포함하는, 방법. - 제2항에 있어서,
상기 노드들과 상기 복수의 제1 회전 정보 간의 계층 관계에 따라, 상기 타겟의 복수의 노드 중 부모 노드에 대한 각각의 자식 노드의 제2 회전 정보를 결정하는 단계는:
상기 복수의 노드 각각에 대해,
해당 노드를 자식 노드로서 간주하는 단계; 및
상기 계층 관계 및 상기 복수의 제1 회전 정보에 따라, 상기 자식 노드의 부모 노드가 위치하는 국부 좌표계에 대하여 상기 자식 노드가 위치하는 국부 좌표계에서의 상기 제2 회전 정보를 결정하는 단계를 포함하는, 방법. - 제3항에 있어서,
상기 복수의 노드 각각에 대해, 상기 계층 관계에 따라 상기 노드가 위치하는 국부 좌표계를 결정하는 단계를 추가로 포함하는, 방법. - 제4항에 있어서,
상기 계층 관계에 따라 상기 노드가 위치하는 국부 좌표계를 결정하는 단계는:
해당 노드를 자식 노드로서 간주하는 단계;
상기 계층 관계에 따라 상기 자식 노드가 상기 자식 노드의 부모 노드를 가리키는 방향을 상기 국부 좌표계의 제1 방향으로서 간주하는 단계;
상기 자식 노드 및 상기 자식 노드에 연결된 2개의 노드가 위치하는 평면의 수직 방향을 상기 국부 좌표계의 제2 방향으로서 간주하는 단계; 및
상기 타겟의 미리 결정된 부분의 배향을 상기 국부 좌표계의 제3 방향으로서 간주하는 단계를 포함하는, 방법. - 제2항 내지 제5항 중 어느 한 항에 있어서,
상기 이미지에 기초하여 카메라 좌표계에서의 상기 타겟의 복수의 노드 각각의 제1 회전 정보를 획득하는 단계는:
상기 이미지에 기초하여 카메라 좌표계에서의 상기 타겟의 복수의 노드 각각의 제1 쿼터니언을 획득하는 단계를 포함하는, 방법. - 제2항 내지 제6항 중 어느 한 항에 있어서,
상기 노드들과 상기 복수의 제1 회전 정보 간의 계층 관계에 따라, 상기 타겟의 복수의 노드 중 부모 노드에 대한 각각의 자식 노드의 제2 회전 정보를 결정하는 단계는:
상기 복수의 노드 각각을 자식 노드로서 간주하고 상기 계층 관계에 따라 상기 자식 노드의 부모 노드를 결정하는 단계; 및
각각의 자식 노드에 대해, 상기 카메라 좌표계에서의 상기 자식 노드의 부모 노드의 제1 쿼터니언 및 상기 카메라 좌표계에서의 상기 자식 노드의 제1 쿼터니언에 기초하여 상기 자식 노드의 부모 노드에 대한 상기 자식 노드의 제2 쿼터니언을 결정하는 단계를 포함하는, 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 복수의 제2 회전 정보에 기초하여 상기 복수의 노드에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하는 단계는:
각각의 제2 회전 정보에 대해, 상기 제2 회전 정보가 제약 조건을 충족시키는지를 결정하는 단계; 및
상기 제2 회전 정보가 상기 제약 조건을 충족시키는 것에 응답하여, 상기 제2 회전 정보에 따라, 상기 제2 회전 정보와 연관된 자식 노드에 대응하는 피제어 모델에서의 노드의 움직임을 제어하는 단계를 포함하는, 방법. - 제8항에 있어서,
각각의 제2 회전 정보에 대해, 상기 제2 회전 정보가 제약 조건을 충족시키는지를 결정하는 단계는:
상기 제2 회전 정보를 미리 결정된 타입을 갖는 좌표계에서의 제1 각도로 변환하는 단계;
상기 제1 각도가 미리 설정된 각도 범위 내에 있는지를 결정하는 단계; 및
상기 제1 각도가 상기 미리 설정된 각도 범위 내에 있는 것에 응답하여, 상기 제2 회전 정보가 상기 제약 조건을 충족시킨다고 결정하는 단계를 포함하는, 방법. - 제9항에 있어서,
상기 제1 각도가 상기 미리 설정된 각도 범위 밖에 있는 것에 응답하여 상기 제2 회전 정보가 상기 제약 조건을 충족시키지 않는다고 결정하는 단계를 추가로 포함하는, 방법. - 제8항 내지 제10항 중 어느 한 항에 있어서,
상기 제2 회전 정보가 상기 제약 조건을 충족시키지 않는 것에 응답하여,
상기 제2 회전 정보를 정정하여, 제3 회전 정보를 획득하는 단계; 및
상기 제3 회전 정보에 따라, 상기 제2 회전 정보와 연관된 자식 노드에 대응하는 피제어 모델에서의 노드의 움직임을 제어하는 단계를 추가로 포함하는, 방법. - 제11항에 있어서,
상기 제2 회전 정보가 상기 제약 조건을 충족시키지 않는 것에 응답하여, 상기 제2 회전 정보를 정정하여, 상기 제3 회전 정보를 획득하는 단계는:
상기 제2 회전 정보에 대응하는 제1 각도가 미리 설정된 각도 범위 밖에 있는 것에 응답하여, 상기 미리 설정된 각도에 따라 상기 제1 각도를 정정하여, 제2 각도를 획득하는 단계; 및
상기 제2 각도에 따라 상기 제3 회전 정보를 획득하는 단계를 포함하는, 방법. - 제9항 내지 제12항 중 어느 한 항에 있어서,
상기 미리 결정된 타입을 갖는 좌표계는 오일러 좌표계인, 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 복수의 제2 회전 정보에 기초하여 상기 복수의 노드에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하는 단계는:
상기 복수의 제2 회전 정보에 대해 또는 상기 복수의 제2 회전 정보에 의해 생성된 복수의 제3 회전 정보에 대해 자세 결함 정정을 수행하여, 복수의 정정된 제4 회전 정보를 각각 획득하는 단계; 및
복수의 상기 제4 회전 정보를 이용하여 상기 복수의 노드에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하는 단계를 포함하는, 방법. - 제14항에 있어서,
상기 자세 결함 정정은:
상지 및 하지의 동측성 결함(ipsilateral defect);
오다리(bowleg) 움직임 결함;
평발(splayfoot) 움직임 결함; 또는
내번족(pigeon-toe) 움직임 결함 중 적어도 하나를 포함하는, 방법. - 제14항 또는 제15항에 있어서,
상기 타겟의 신체 형태와 표준 신체 형태 간의 차이 정보에 따라 자세 결함 정정 파라미터를 획득하는 단계를 추가로 포함하고, 상기 자세 결함 정정 파라미터는 상기 복수의 제2 회전 정보 또는 상기 복수의 제3 회전 정보를 정정하기 위해 사용되는, 방법. - 제1항 내지 제16항 중 어느 한 항에 있어서,
상기 타겟의 상이한 부분들 간의 비례 관계에 따라 표준 모델의 상이한 부분들의 비율들을 정정하여, 정정된 피제어 모델을 획득하는 단계를 추가로 포함하는, 방법. - 이미지 처리 장치로서,
이미지를 획득하도록 구성된 제1 획득 모듈;
상기 이미지에 기초하여 타겟의 복수의 노드 각각의 제1 회전 정보를 획득하도록 구성된 제2 획득 모듈;
상기 노드들과 복수의 상기 제1 회전 정보 간의 계층 관계에 따라, 상기 타겟의 복수의 노드 중 부모 노드에 대한 각각의 자식 노드의 제2 회전 정보를 결정하도록 구성된 제1 결정 모듈; 및
복수의 상기 제2 회전 정보에 기초하여 상기 복수의 노드에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하도록 구성된 제어 모듈을 포함하는, 장치. - 제18항에 있어서,
상기 제1 획득 모듈은 상기 이미지에 기초하여 카메라 좌표계에서의 상기 타겟의 복수의 노드 각각의 제1 회전 정보를 획득하도록 추가로 구성되는, 장치. - 제19항에 있어서,
상기 제1 결정 모듈은:
상기 복수의 노드 각각에 대해,
해당 노드를 자식 노드로서 간주하고;
상기 계층 관계 및 상기 복수의 제1 회전 정보에 따라, 상기 자식 노드의 부모 노드가 위치하는 국부 좌표계에 대하여 상기 자식 노드가 위치하는 국부 좌표계에서의 상기 제2 회전 정보를 결정하도록 추가로 구성되는, 장치. - 제20항에 있어서,
상기 복수의 노드 각각에 대해, 상기 계층 관계에 따라 상기 노드가 위치하는 국부 좌표계를 결정하도록 구성된 제2 결정 모듈을 추가로 포함하는, 장치. - 제21항에 있어서,
상기 제2 결정 모듈은:
해당 노드를 자식 노드로서 간주하고;
상기 계층 관계에 따라 상기 자식 노드가 상기 자식 노드의 부모 노드를 가리키는 방향을 상기 국부 좌표계의 제1 방향으로서 간주하고;
상기 자식 노드 및 상기 자식 노드에 연결된 2개의 노드가 위치하는 평면의 수직 방향을 상기 국부 좌표계의 제2 방향으로서 간주하고;
상기 타겟의 미리 결정된 부분의 배향을 상기 국부 좌표계의 제3 방향으로서 간주하도록 추가로 구성되는, 장치. - 제19항 내지 제22항 중 어느 한 항에 있어서,
상기 제2 획득 모듈은 상기 이미지에 기초하여 카메라 좌표계에서의 상기 타겟의 복수의 노드 각각의 제1 쿼터니언을 획득하도록 추가로 구성되는, 장치. - 제19항 내지 제23항 중 어느 한 항에 있어서,
상기 제1 결정 유닛은:
상기 복수의 노드 각각을 자식 노드로서 간주하고 상기 계층 관계에 따라 상기 자식 노드의 부모 노드를 결정하고;
각각의 자식 노드에 대해, 상기 카메라 좌표계에서의 상기 자식 노드의 부모 노드의 제1 쿼터니언 및 상기 카메라 좌표계에서의 상기 자식 노드의 제1 쿼터니언에 기초하여 상기 자식 노드의 부모 노드에 대한 상기 자식 노드의 제2 쿼터니언을 결정하도록 추가로 구성되는, 장치. - 제18항 내지 제24항 중 어느 한 항에 있어서,
각각의 제2 회전 정보에 대해, 해당 제2 회전 정보가 제약 조건을 충족시키는지를 결정하도록 구성된 제3 결정 모듈을 추가로 포함하고;
상기 제어 모듈은: 상기 제2 회전 정보가 상기 제약 조건을 충족시키는 것에 응답하여, 상기 제2 회전 정보에 따라, 상기 제2 회전 정보와 연관된 자식 노드에 대응하는 피제어 모델에서의 노드의 움직임을 제어하도록 추가로 구성되는, 장치. - 제25항에 있어서,
상기 제3 결정 모듈은:
상기 제2 회전 정보를 미리 결정된 타입을 갖는 좌표계에서의 제1 각도로 변환하고;
상기 제1 각도가 미리 설정된 각도 범위 내에 있는지를 결정하고;
상기 제1 각도가 상기 미리 설정된 각도 범위 내에 있는 것에 응답하여, 상기 제2 회전 정보가 상기 제약 조건을 충족시킨다고 결정하도록 추가로 구성되는, 장치. - 제26항에 있어서,
상기 제1 각도가 상기 미리 설정된 각도 범위 밖에 있는 것에 응답하여 상기 제2 회전 정보가 상기 제약 조건을 충족시키지 않는다고 결정하도록 구성된 제4 결정 모듈을 추가로 포함하는, 장치. - 제25항 내지 제27항 중 어느 한 항에 있어서,
상기 제2 회전 정보가 상기 제약 조건을 충족시키지 않는 것에 응답하여, 상기 제2 회전 정보를 정정하여, 제3 회전 정보를 획득하도록 구성된 제1 정정 모듈을 추가로 포함하고;
상기 제어 모듈은, 상기 제3 회전 정보에 따라, 상기 제2 회전 정보와 연관된 자식 노드에 대응하는 피제어 모델에서의 노드의 움직임을 제어하도록 추가로 구성되는, 장치. - 제28항에 있어서,
상기 정정 모듈은:
상기 제2 회전 정보에 대응하는 제1 각도가 미리 설정된 각도 범위 밖에 있는 것에 응답하여, 상기 미리 설정된 각도에 따라 상기 제1 각도를 정정하여, 제2 각도를 획득하고;
상기 제2 각도에 따라 상기 제3 회전 정보를 획득하도록 추가로 구성되는, 장치. - 제26항 내지 제29항 중 어느 한 항에 있어서,
상기 미리 결정된 타입을 갖는 좌표계는 오일러 좌표계인, 장치. - 제18항 내지 제20항 중 어느 한 항에 있어서,
상기 제어 모듈은:
상기 복수의 제2 회전 정보에 대해 또는 상기 복수의 제2 회전 정보에 의해 생성된 복수의 제3 회전 정보에 대해 자세 결함 정정을 수행하여, 복수의 정정된 제4 회전 정보를 각각 획득하고;
복수의 상기 제4 회전 정보를 이용하여 상기 복수의 노드에 대응하는 피제어 모델에서의 노드들의 움직임들을 제어하도록 추가로 구성되는, 장치. - 제31항에 있어서,
상기 자세 결함 정정은:
상지 및 하지의 동측성 결함(ipsilateral defect);
오다리(bowleg) 움직임 결함;
평발(splayfoot) 움직임 결함; 또는
내번족(pigeon-toe) 움직임 결함 중 적어도 하나를 포함하는, 장치. - 제31항 또는 제32항에 있어서,
상기 타겟의 신체 형태와 표준 신체 형태 간의 차이 정보에 따라 자세 결함 정정 파라미터를 획득하도록 구성된 제3 획득 모듈을 추가로 포함하고, 상기 자세 결함 정정 파라미터는 상기 복수의 제2 회전 정보 또는 상기 복수의 제3 회전 정보를 정정하기 위해 사용되는, 장치. - 제18항 내지 제33항 중 어느 한 항에 있어서,
상기 타겟의 상이한 부분들 간의 비례 관계에 따라 표준 모델의 상이한 부분들의 비율들을 정정하여, 정정된 피제어 모델을 획득하도록 구성된 제2 정정 모듈을 추가로 포함하는, 장치. - 이미지 디바이스로서,
메모리; 및
상기 메모리에 결합되고, 상기 메모리 상에 저장된 컴퓨터 실행가능 명령어들을 실행하여 제1항 내지 제17항 중 어느 한 항에 의해 제공되는 방법을 구현하도록 구성된 프로세서를 포함하는, 이미지 디바이스. - 제1항 내지 제17항 중 어느 한 항에 의해 제공되는 방법을 구현하기 위해 프로세서에 의해 실행되는 컴퓨터 실행가능 명령어들을 저장하는 비휘발성 컴퓨터 저장 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910049830.6 | 2019-01-18 | ||
| CN201910049830 | 2019-01-18 | ||
| CN201910363858.7 | 2019-04-30 | ||
| CN201910363858.7A CN111460874A (zh) | 2019-01-18 | 2019-04-30 | 图像处理方法及装置、图像设备及存储介质 |
| PCT/CN2020/072550 WO2020147797A1 (zh) | 2019-01-18 | 2020-01-16 | 图像处理方法及装置、图像设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210011984A true KR20210011984A (ko) | 2021-02-02 |
Family
ID=71679913
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207036619A KR20210011985A (ko) | 2019-01-18 | 2020-01-16 | 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체 |
| KR1020207036612A KR20210011984A (ko) | 2019-01-18 | 2020-01-16 | 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체 |
| KR1020207036647A KR20210011424A (ko) | 2019-01-18 | 2020-01-16 | 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체 |
| KR1020207036649A KR20210011425A (ko) | 2019-01-18 | 2020-01-16 | 이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207036619A KR20210011985A (ko) | 2019-01-18 | 2020-01-16 | 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207036647A KR20210011424A (ko) | 2019-01-18 | 2020-01-16 | 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체 |
| KR1020207036649A KR20210011425A (ko) | 2019-01-18 | 2020-01-16 | 이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체 |
Country Status (6)
| Country | Link |
|---|---|
| US (5) | US11538207B2 (ko) |
| JP (4) | JP7109585B2 (ko) |
| KR (4) | KR20210011985A (ko) |
| CN (7) | CN111460871B (ko) |
| SG (5) | SG11202010399VA (ko) |
| WO (1) | WO2020181900A1 (ko) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910393B (zh) * | 2018-09-18 | 2023-03-24 | 北京市商汤科技开发有限公司 | 数据处理方法及装置、电子设备及存储介质 |
| US11610414B1 (en) * | 2019-03-04 | 2023-03-21 | Apple Inc. | Temporal and geometric consistency in physical setting understanding |
| US10902618B2 (en) * | 2019-06-14 | 2021-01-26 | Electronic Arts Inc. | Universal body movement translation and character rendering system |
| EP4042374A4 (en) * | 2019-10-11 | 2024-01-03 | Beyeonics Surgical Ltd | SYSTEM AND METHOD FOR ELECTRONICALLY ASSISTED MEDICAL PROCEDURES |
| KR102610840B1 (ko) * | 2019-12-19 | 2023-12-07 | 한국전자통신연구원 | 사용자 모션 자동 인식 시스템 및 그 방법 |
| CN111105348A (zh) * | 2019-12-25 | 2020-05-05 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
| US11504625B2 (en) | 2020-02-14 | 2022-11-22 | Electronic Arts Inc. | Color blindness diagnostic system |
| US11648480B2 (en) | 2020-04-06 | 2023-05-16 | Electronic Arts Inc. | Enhanced pose generation based on generative modeling |
| US11232621B2 (en) | 2020-04-06 | 2022-01-25 | Electronic Arts Inc. | Enhanced animation generation based on conditional modeling |
| CN111881838B (zh) * | 2020-07-29 | 2023-09-26 | 清华大学 | 具有隐私保护功能的运动障碍评估录像分析方法及设备 |
| US11403801B2 (en) | 2020-09-18 | 2022-08-02 | Unity Technologies Sf | Systems and methods for building a pseudo-muscle topology of a live actor in computer animation |
| CN114333228B (zh) * | 2020-09-30 | 2023-12-08 | 北京君正集成电路股份有限公司 | 一种婴儿的智能视频看护方法 |
| CN112165630B (zh) * | 2020-10-16 | 2022-11-15 | 广州虎牙科技有限公司 | 图像渲染方法、装置、电子设备及存储介质 |
| CN112932468A (zh) * | 2021-01-26 | 2021-06-11 | 京东方科技集团股份有限公司 | 一种肌肉运动能力的监测系统以及监测方法 |
| US11887232B2 (en) | 2021-06-10 | 2024-01-30 | Electronic Arts Inc. | Enhanced system for generation of facial models and animation |
| US20230177881A1 (en) * | 2021-07-06 | 2023-06-08 | KinTrans, Inc. | Automatic body movement recognition and association system including smoothing, segmentation, similarity, pooling, and dynamic modeling |
| WO2023079987A1 (ja) * | 2021-11-04 | 2023-05-11 | ソニーグループ株式会社 | 配信装置、配信方法、およびプログラム |
| CN114115544B (zh) * | 2021-11-30 | 2024-01-05 | 杭州海康威视数字技术股份有限公司 | 人机交互方法、三维显示设备及存储介质 |
| KR20230090852A (ko) * | 2021-12-15 | 2023-06-22 | 삼성전자주식회사 | 복수의 카메라를 이용하여 촬영된 손의 3차원 골격 데이터를 획득하는 전자 장치 및 방법 |
| CN117315201A (zh) * | 2022-06-20 | 2023-12-29 | 香港教育大学 | 用于在虚拟世界中动画化化身的系统 |
| CN115564689A (zh) * | 2022-10-08 | 2023-01-03 | 上海宇勘科技有限公司 | 一种基于按块处理技术的人工智能图像处理方法及系统 |
Family Cites Families (106)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4561066A (en) | 1983-06-20 | 1985-12-24 | Gti Corporation | Cross product calculator with normalized output |
| JPH0816820A (ja) * | 1994-04-25 | 1996-01-19 | Fujitsu Ltd | ３次元アニメーション作成装置 |
| US6657628B1 (en) | 1999-11-24 | 2003-12-02 | Fuji Xerox Co., Ltd. | Method and apparatus for specification, control and modulation of social primitives in animated characters |
| JP2002024807A (ja) * | 2000-07-07 | 2002-01-25 | National Institute Of Advanced Industrial & Technology | 物体運動追跡手法及び記録媒体 |
| JP4077622B2 (ja) * | 2001-11-15 | 2008-04-16 | 独立行政法人科学技術振興機構 | ３次元人物動画像生成システム |
| US7215828B2 (en) * | 2002-02-13 | 2007-05-08 | Eastman Kodak Company | Method and system for determining image orientation |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US20160098095A1 (en) | 2004-01-30 | 2016-04-07 | Electronic Scripting Products, Inc. | Deriving Input from Six Degrees of Freedom Interfaces |
| JP2007004732A (ja) * | 2005-06-27 | 2007-01-11 | Matsushita Electric Ind Co Ltd | 画像生成装置及び画像生成方法 |
| US7869646B2 (en) | 2005-12-01 | 2011-01-11 | Electronics And Telecommunications Research Institute | Method for estimating three-dimensional position of human joint using sphere projecting technique |
| US7859540B2 (en) | 2005-12-22 | 2010-12-28 | Honda Motor Co., Ltd. | Reconstruction, retargetting, tracking, and estimation of motion for articulated systems |
| JP4148281B2 (ja) | 2006-06-19 | 2008-09-10 | ソニー株式会社 | モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム |
| JP5076744B2 (ja) * | 2007-08-30 | 2012-11-21 | セイコーエプソン株式会社 | 画像処理装置 |
| JP5229910B2 (ja) | 2008-08-08 | 2013-07-03 | 株式会社メイクソフトウェア | 画像処理装置、画像出力装置、画像処理方法及びコンピュータプログラム |
| US8253801B2 (en) | 2008-12-17 | 2012-08-28 | Sony Computer Entertainment Inc. | Correcting angle error in a tracking system |
| US8588465B2 (en) * | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
| US8267781B2 (en) * | 2009-01-30 | 2012-09-18 | Microsoft Corporation | Visual target tracking |
| US8682028B2 (en) | 2009-01-30 | 2014-03-25 | Microsoft Corporation | Visual target tracking |
| CN101930284B (zh) * | 2009-06-23 | 2014-04-09 | 腾讯科技（深圳）有限公司 | 一种实现视频和虚拟网络场景交互的方法、装置和系统 |
| KR101616926B1 (ko) * | 2009-09-22 | 2016-05-02 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| US9240067B2 (en) | 2009-10-15 | 2016-01-19 | Yeda Research & Development Co. Ltd. | Animation of photo-images via fitting of combined models |
| RU2534892C2 (ru) | 2010-04-08 | 2014-12-10 | Самсунг Электроникс Ко., Лтд. | Устройство и способ для захвата безмаркерных движений человека |
| US9177409B2 (en) | 2010-04-29 | 2015-11-03 | Naturalmotion Ltd | Animating a virtual object within a virtual world |
| US8437506B2 (en) * | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
| TWI534756B (zh) * | 2011-04-29 | 2016-05-21 | 國立成功大學 | 運動編碼影像及生成模組、影像處理模組及運動展示模組 |
| AU2011203028B1 (en) * | 2011-06-22 | 2012-03-08 | Microsoft Technology Licensing, Llc | Fully automatic dynamic articulated model calibration |
| US9134127B2 (en) * | 2011-06-24 | 2015-09-15 | Trimble Navigation Limited | Determining tilt angle and tilt direction using image processing |
| US10319133B1 (en) | 2011-11-13 | 2019-06-11 | Pixar | Posing animation hierarchies with dynamic posing roots |
| KR101849373B1 (ko) | 2012-01-31 | 2018-04-17 | 한국전자통신연구원 | 인체의 관절구조를 추정하기 위한 장치 및 방법 |
| US9747495B2 (en) | 2012-03-06 | 2017-08-29 | Adobe Systems Incorporated | Systems and methods for creating and distributing modifiable animated video messages |
| CN102824176B (zh) | 2012-09-24 | 2014-06-04 | 南通大学 | 一种基于Kinect传感器的上肢关节活动度测量方法 |
| US10042510B2 (en) | 2013-01-15 | 2018-08-07 | Leap Motion, Inc. | Dynamic user interactions for display control and measuring degree of completeness of user gestures |
| TWI475495B (zh) * | 2013-02-04 | 2015-03-01 | Wistron Corp | 圖像的識別方法、電子裝置與電腦程式產品 |
| CN104103090A (zh) * | 2013-04-03 | 2014-10-15 | 北京三星通信技术研究有限公司 | 图像处理方法、个性化人体显示方法及其图像处理系统 |
| CN103268158B (zh) * | 2013-05-21 | 2017-09-08 | 上海速盟信息技术有限公司 | 一种模拟重力传感数据的方法、装置及一种电子设备 |
| JP6136926B2 (ja) * | 2013-06-13 | 2017-05-31 | ソニー株式会社 | 情報処理装置、記憶媒体および情報処理方法 |
| JP2015061579A (ja) * | 2013-07-01 | 2015-04-02 | 株式会社東芝 | 動作情報処理装置 |
| JP6433149B2 (ja) | 2013-07-30 | 2018-12-05 | キヤノン株式会社 | 姿勢推定装置、姿勢推定方法およびプログラム |
| JP6049202B2 (ja) * | 2013-10-25 | 2016-12-21 | 富士フイルム株式会社 | 画像処理装置、方法、及びプログラム |
| US9600887B2 (en) * | 2013-12-09 | 2017-03-21 | Intel Corporation | Techniques for disparity estimation using camera arrays for high dynamic range imaging |
| JP6091407B2 (ja) * | 2013-12-18 | 2017-03-08 | 三菱電機株式会社 | ジェスチャ登録装置 |
| KR101700817B1 (ko) | 2014-01-10 | 2017-02-13 | 한국전자통신연구원 | 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법 |
| JP6353660B2 (ja) * | 2014-02-06 | 2018-07-04 | 日本放送協会 | 手話単語分類情報生成装置およびそのプログラム |
| JP6311372B2 (ja) * | 2014-03-13 | 2018-04-18 | オムロン株式会社 | 画像処理装置および画像処理方法 |
| US10504231B2 (en) * | 2014-05-21 | 2019-12-10 | Millennium Three Technologies, Inc. | Fiducial marker patterns, their automatic detection in images, and applications thereof |
| US10426372B2 (en) * | 2014-07-23 | 2019-10-01 | Sony Corporation | Image registration system with non-rigid registration and method of operation thereof |
| CN107077750A (zh) * | 2014-12-11 | 2017-08-18 | 英特尔公司 | 化身选择机制 |
| WO2016145129A1 (en) | 2015-03-09 | 2016-09-15 | Ventana 3D, Llc | Avatar control system |
| CN104700433B (zh) | 2015-03-24 | 2016-04-27 | 中国人民解放军国防科学技术大学 | 一种基于视觉的实时人体全身体运动捕捉方法及其系统 |
| US10022628B1 (en) | 2015-03-31 | 2018-07-17 | Electronic Arts Inc. | System for feature-based motion adaptation |
| CN104866101B (zh) * | 2015-05-27 | 2018-04-27 | 世优（北京）科技有限公司 | 虚拟对象的实时互动控制方法及装置 |
| US10430867B2 (en) * | 2015-08-07 | 2019-10-01 | SelfieStyler, Inc. | Virtual garment carousel |
| DE102015215513A1 (de) * | 2015-08-13 | 2017-02-16 | Avl List Gmbh | System zur Überwachung einer technischen Vorrichtung |
| CN106991367B (zh) * | 2016-01-21 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 确定人脸转动角度的方法和装置 |
| JP2017138915A (ja) * | 2016-02-05 | 2017-08-10 | 株式会社バンダイナムコエンターテインメント | 画像生成システム及びプログラム |
| US9460557B1 (en) | 2016-03-07 | 2016-10-04 | Bao Tran | Systems and methods for footwear fitting |
| JP6723061B2 (ja) | 2016-04-15 | 2020-07-15 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
| CN106023288B (zh) * | 2016-05-18 | 2019-11-15 | 浙江大学 | 一种基于图像的动态替身构造方法 |
| CN106251396B (zh) * | 2016-07-29 | 2021-08-13 | 迈吉客科技（北京）有限公司 | 三维模型的实时控制方法和系统 |
| CN106296778B (zh) * | 2016-07-29 | 2019-11-15 | 网易（杭州）网络有限公司 | 虚拟对象运动控制方法与装置 |
| KR102257827B1 (ko) * | 2016-09-16 | 2021-05-31 | 버브 서지컬 인크. | 로봇 아암 |
| WO2018069981A1 (ja) * | 2016-10-11 | 2018-04-19 | 富士通株式会社 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
| CN108229239B (zh) | 2016-12-09 | 2020-07-10 | 武汉斗鱼网络科技有限公司 | 一种图像处理的方法及装置 |
| KR101867991B1 (ko) | 2016-12-13 | 2018-06-20 | 한국과학기술원 | 다관절 오브젝트의 모션 에디팅 방법 및 장치 |
| CN106920274B (zh) * | 2017-01-20 | 2020-09-04 | 南京开为网络科技有限公司 | 移动端2d关键点快速转换为3d融合变形的人脸建模方法 |
| JP2018119833A (ja) | 2017-01-24 | 2018-08-02 | キヤノン株式会社 | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 |
| JP2018169720A (ja) * | 2017-03-29 | 2018-11-01 | 富士通株式会社 | 動き検出システム |
| CN107272884A (zh) * | 2017-05-09 | 2017-10-20 | 聂懋远 | 一种基于虚拟现实技术的控制方法及其控制系统 |
| CN107154069B (zh) * | 2017-05-11 | 2021-02-02 | 上海微漫网络科技有限公司 | 一种基于虚拟角色的数据处理方法及系统 |
| CN107220933B (zh) * | 2017-05-11 | 2021-09-21 | 上海联影医疗科技股份有限公司 | 一种参考线确定方法和系统 |
| WO2018207388A1 (ja) | 2017-05-12 | 2018-11-15 | ブレイン株式会社 | モーションキャプチャに関するプログラム、装置および方法 |
| CN108876879B (zh) * | 2017-05-12 | 2022-06-14 | 腾讯科技（深圳）有限公司 | 人脸动画实现的方法、装置、计算机设备及存储介质 |
| US10379613B2 (en) | 2017-05-16 | 2019-08-13 | Finch Technologies Ltd. | Tracking arm movements to generate inputs for computer systems |
| CN107578462A (zh) * | 2017-09-12 | 2018-01-12 | 北京城市系统工程研究中心 | 一种基于实时运动捕捉的骨骼动画数据处理方法 |
| CN108205654B (zh) * | 2017-09-30 | 2021-06-04 | 北京市商汤科技开发有限公司 | 一种基于视频的动作检测方法及装置 |
| CN108229332B (zh) * | 2017-12-08 | 2020-02-14 | 华为技术有限公司 | 骨骼姿态确定方法、装置及计算机可读存储介质 |
| CN107958479A (zh) * | 2017-12-26 | 2018-04-24 | 南京开为网络科技有限公司 | 一种移动端3d人脸增强现实实现方法 |
| CN108062783A (zh) * | 2018-01-12 | 2018-05-22 | 北京蜜枝科技有限公司 | 面部动画映射系统及方法 |
| CN108227931A (zh) * | 2018-01-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 用于控制虚拟人物的方法、设备、系统、程序和存储介质 |
| CN108357595B (zh) * | 2018-01-26 | 2020-11-20 | 浙江大学 | 一种基于模型的自平衡无人驾驶自行车及其模型驱动的控制方法 |
| CN108305321B (zh) * | 2018-02-11 | 2022-09-30 | 牧星天佑(北京)科技文化发展有限公司 | 一种基于双目彩色成像系统的立体人手3d骨架模型实时重建方法和装置 |
| CN108364254B (zh) | 2018-03-20 | 2021-07-23 | 北京奇虎科技有限公司 | 图像处理方法、装置及电子设备 |
| JP6973258B2 (ja) * | 2018-04-13 | 2021-11-24 | オムロン株式会社 | 画像解析装置、方法およびプログラム |
| CN108427942A (zh) * | 2018-04-22 | 2018-08-21 | 广州麦仑信息科技有限公司 | 一种基于深度学习的手掌检测与关键点定位方法 |
| CN108648280B (zh) * | 2018-04-25 | 2023-03-31 | 深圳市商汤科技有限公司 | 虚拟角色驱动方法及装置、电子设备和存储介质 |
| CN108829232B (zh) * | 2018-04-26 | 2021-07-23 | 深圳市同维通信技术有限公司 | 基于深度学习的人体骨骼关节点三维坐标的获取方法 |
| CN108830784A (zh) * | 2018-05-31 | 2018-11-16 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和计算机存储介质 |
| CN108830200A (zh) * | 2018-05-31 | 2018-11-16 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和计算机存储介质 |
| CN108830783B (zh) * | 2018-05-31 | 2021-07-02 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和计算机存储介质 |
| CN108765274A (zh) * | 2018-05-31 | 2018-11-06 | 北京市商汤科技开发有限公司 | 一种图像处理方法、装置和计算机存储介质 |
| CN108765272B (zh) * | 2018-05-31 | 2022-07-08 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN109035415B (zh) | 2018-07-03 | 2023-05-16 | 百度在线网络技术（北京）有限公司 | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 |
| CN109117726A (zh) * | 2018-07-10 | 2019-01-01 | 深圳超多维科技有限公司 | 一种识别认证方法、装置、系统及存储介质 |
| WO2020016963A1 (ja) * | 2018-07-18 | 2020-01-23 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| CN109101901B (zh) * | 2018-07-23 | 2020-10-27 | 北京旷视科技有限公司 | 人体动作识别及其神经网络生成方法、装置和电子设备 |
| CN109146769A (zh) * | 2018-07-24 | 2019-01-04 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
| CN109146629B (zh) * | 2018-08-16 | 2020-11-27 | 连云港伍江数码科技有限公司 | 目标对象的锁定方法、装置、计算机设备和存储介质 |
| CN109242789A (zh) * | 2018-08-21 | 2019-01-18 | 成都旷视金智科技有限公司 | 图像处理方法、图像处理装置及存储介质 |
| CN109191593A (zh) * | 2018-08-27 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 虚拟三维模型的运动控制方法、装置及设备 |
| CN109325450A (zh) | 2018-09-25 | 2019-02-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| US10832472B2 (en) * | 2018-10-22 | 2020-11-10 | The Hong Kong Polytechnic University | Method and/or system for reconstructing from images a personalized 3D human body model and thereof |
| CN109376671B (zh) * | 2018-10-30 | 2022-06-21 | 北京市商汤科技开发有限公司 | 图像处理方法、电子设备及计算机可读介质 |
| CN115631305A (zh) | 2018-12-29 | 2023-01-20 | 深圳市瑞立视多媒体科技有限公司 | 一种虚拟人物的骨骼模型的驱动方法、插件及终端设备 |
| CN110139115B (zh) | 2019-04-30 | 2020-06-09 | 广州虎牙信息科技有限公司 | 基于关键点的虚拟形象姿态控制方法、装置及电子设备 |
| CN110688008A (zh) | 2019-09-27 | 2020-01-14 | 贵州小爱机器人科技有限公司 | 虚拟形象交互方法和装置 |
| CN110889382A (zh) | 2019-11-29 | 2020-03-17 | 深圳市商汤科技有限公司 | 虚拟形象渲染方法及装置、电子设备和存储介质 |
-
2019
- 2019-03-14 CN CN201910193649.2A patent/CN111460871B/zh active Active
- 2019-03-14 CN CN201910191918.1A patent/CN111460870A/zh active Pending
- 2019-04-30 CN CN202210210775.6A patent/CN114399826A/zh active Pending
- 2019-04-30 CN CN201910365188.2A patent/CN111460875B/zh active Active
- 2019-04-30 CN CN201910363433.6A patent/CN111460873A/zh active Pending
- 2019-04-30 CN CN201910363858.7A patent/CN111460874A/zh active Pending
- 2019-04-30 CN CN201910362107.3A patent/CN111460872B/zh active Active
- 2019-12-31 WO PCT/CN2019/130970 patent/WO2020181900A1/zh active Application Filing
- 2019-12-31 SG SG11202010399VA patent/SG11202010399VA/en unknown
- 2019-12-31 JP JP2020558530A patent/JP7109585B2/ja active Active
-
2020
- 2020-01-16 KR KR1020207036619A patent/KR20210011985A/ko not_active Application Discontinuation
- 2020-01-16 JP JP2020559380A patent/JP7001841B2/ja active Active
- 2020-01-16 SG SG11202011600QA patent/SG11202011600QA/en unknown
- 2020-01-16 KR KR1020207036612A patent/KR20210011984A/ko not_active Application Discontinuation
- 2020-01-16 SG SG11202011595QA patent/SG11202011595QA/en unknown
- 2020-01-16 KR KR1020207036647A patent/KR20210011424A/ko not_active Application Discontinuation
- 2020-01-16 SG SG11202011596WA patent/SG11202011596WA/en unknown
- 2020-01-16 JP JP2020565269A patent/JP7061694B2/ja active Active
- 2020-01-16 SG SG11202011599UA patent/SG11202011599UA/en unknown
- 2020-01-16 KR KR1020207036649A patent/KR20210011425A/ko not_active Application Discontinuation
- 2020-01-16 JP JP2020567116A patent/JP2021525431A/ja active Pending
- 2020-10-19 US US17/073,769 patent/US11538207B2/en active Active
- 2020-11-23 US US17/102,364 patent/US20210074005A1/en not_active Abandoned
- 2020-11-23 US US17/102,373 patent/US11468612B2/en active Active
- 2020-11-23 US US17/102,331 patent/US20210074004A1/en not_active Abandoned
- 2020-11-23 US US17/102,305 patent/US11741629B2/en active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210011984A (ko) | 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체 | |
| US10593106B2 (en) | Three-dimensional model generating system, three-dimensional model generating method, and program | |
| Gültepe et al. | Real-time virtual fitting with body measurement and motion smoothing | |
| KR20220110453A (ko) | 입력 영상에 포함된 객체의 3차원 포즈를 추정하기 위한 데이터를 생성하는 방법 및 장치와 3차원 포즈 추정을 위한 추론 모델 | |
| WO2020147796A1 (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
| CN106843507A (zh) | 一种虚拟现实多人互动的方法及系统 | |
| WO2020147791A1 (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| CN110020600A (zh) | 生成用于训练人脸对齐模型的数据集的方法 | |
| KR102436906B1 (ko) | 대상자의 보행 패턴을 식별하는 방법 및 이를 수행하는 전자 장치 | |
| US20130069939A1 (en) | Character image processing apparatus and method for footskate cleanup in real time animation | |
| WO2020147797A1 (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| Wang et al. | Real-time control of 3D virtual human motion using a depth-sensing camera for agricultural machinery training | |
| WO2020147794A1 (zh) | 图像处理方法及装置、图像设备及存储介质 | |
| KR20220120731A (ko) | 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치 | |
| JP2021099666A (ja) | 学習モデルの生成方法 | |
| EP4303824A1 (en) | System and method for monitoring a body pose of a user | |
| KR102510048B1 (ko) | 운동 동작에 따른 증강현실 데이터를 출력하는 전자 장치의 제어 방법 | |
| US20240135581A1 (en) | Three dimensional hand pose estimator | |
| CN115560750A (zh) | 人体姿态确定方法、装置、设备及存储介质 | |
| CN114821791A (zh) | 一种图像三维动作信息的捕捉方法和系统 | |
| CN117275089A (zh) | 一种单目摄像头的人物识别方法、装置、设备及存储介质 | |
| Hendry | Markerless pose tracking of a human subject. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |