KR20160115959A - 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템 - Google Patents

파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20160115959A
KR20160115959A KR1020167023651A KR20167023651A KR20160115959A KR 20160115959 A KR20160115959 A KR 20160115959A KR 1020167023651 A KR1020167023651 A KR 1020167023651A KR 20167023651 A KR20167023651 A KR 20167023651A KR 20160115959 A KR20160115959 A KR 20160115959A
Authority
KR
South Korea
Prior art keywords
mesh
avatar
avatar mesh
personalized
generating
Prior art date
Application number
KR1020167023651A
Other languages
English (en)
Other versions
KR101833364B1 (ko
Inventor
카이 마
테렌스 첸
비베크 쿠마르 싱
야오-젠 창
미하엘 벨즈
그레체고로츠 소자
Original Assignee
지멘스 헬스케어 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 헬스케어 게엠베하 filed Critical 지멘스 헬스케어 게엠베하
Publication of KR20160115959A publication Critical patent/KR20160115959A/ko
Application granted granted Critical
Publication of KR101833364B1 publication Critical patent/KR101833364B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 사람의 3D 개인화된 메시를 생성하기 위한 방법 및 장치가 개시된다. 대상의 깊이 카메라 이미지는 3D 포인트 클라우드로 컨버팅된다. 복수의 해부학적 랜드마크들이 3D 포인트 클라우드에서 검출된다. 검출된 해부학적 랜드마크들에 기초하여 템플레이트 메시를 3D 포인트 클라우드에 대해 정렬함으로써 3D 아바타 메시가 초기화된다. 트레이닝된 파라메트릭 변형가능 모델(PDM)을 이용하여 3D 아바타 메시를 최적화함으로써 대상의 개인화된 3D 아바타 메시가 생성된다. 최적화는 대상이 착용한 의복 및 대상이 놓여 있는 테이블의 존재를 고려하는 제약들에 종속된다.

Description

파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR CONSTRUCTING PERSONALIZED AVATARS USING A PARAMETERIZED DEFORMABLE MESH}
[0001] 본 출원은, 2014년 1월 28일 출원된 가출원 번호 제 61/932,441호를 우선권으로 주장하는, 2015년 1월 26일 출원된 미국 특허 출원 번호 제 14/604,829호를 우선권으로 주장하며, 이의 개시내용은 인용에 의해 그 전체가 본원에 포함된다.
[0002] 본 발명은 인간 대상(human subject)의 개인화된 아바타(personalized avatar)를 구성하는 것에 관한 것으로, 더 구체적으로는 깊이 센서(depth sensor)를 이용하여 획득된 단일 이미지(single image)로부터 인간 대상의 3D 메시 모델(3D mesh model)을 구성하는 것에 관한 것이다.
[0003] 깊이 센서(depth sensor)들은 RGB(Red, Green, Blue)(적색, 녹색, 청색) 데이터(data)와 같은 통상의 이미지 정보(image information)와 함께 깊이 정보를 제공하는 카메라(camera)들이다. 깊이 카메라는 구조화된 광 기반 카메라(이를테면, 마이크로소프트 키넥트(Microsoft Kinect) 또는 아수스 액션(ASUS Xtion)), 스테레오 카메라(stereo camera), 또는 비행시간 카메라(time of flight camera)(이를테면, 크리에이티브 TOF 카메라(Creative TOF camera))일 수 있다. 깊이 카메라로부터 획득된 이미지 데이터는 통상적으로 RGB-D(RGB + Depth)(RGB + 깊이) 데이터를 나타내며, RGB-D 데이터는 통상적으로, 각각의 픽셀(pixel)이 RGB 값을 갖는 RGB 이미지 및 각각의 픽셀의 값이 카메라로부터의 픽셀의 깊이 또는 거리에 대응하는 깊이 이미지를 포함한다. 키넥트의 출현으로, RGB-D 데이터로부터 인간 몸체 골격을 추정하기 위한 다양한 접근방식들이 제안되었다. 그러나, 이러한 접근방식들은 통상적으로, 사람의 메시를 획득하기 위해 다수의 센서들 또는 비디오 시퀀스(video sequence)들을 요구한다.
[0004] SCAPE는 Draomir Anguelov 등에 의해 "SCAPE: Shape Completion and Animation of People"(ACM Trans. Graph, Vol. 24 (2005), pp. 408-416)에서 설명되는 인간 몸체 모델링(modeling)을 위한 방법이다. SCAPE는 컴팩트(compact)한 방식으로 인간 몸체 형상 및 포즈(pose) 변형들을 모델링(model)하는 그것의 능력으로 인해 폭넓게 이용된다. 많은 상관된 포즈 및 형상 파라미터(parameter)들에 대한 복합적 함수를 학습하는 대신에, SCAPE는 모델을 디커플링(decouple)하고, 상이한 포즈들을 갖는 한 명의 사람으로부터 포즈 변형 모델을 학습하고, 그 다음으로, 하나의 포즈를 갖는 상이한 사람들로부터 형상 변형 모델을 학습한다. 그러나, SCAPE는 피부가 덮인 대상(skin clad subject)들에만 적용되며, 클로징 변형(closing variation)들 및 센서 잡음을 정확하게 처리하지 않는다.
[0005] 본 발명은 깊이 카메라를 이용하여 획득된 이미지로부터의 사람의 3D 메시의 자동적 생성을 위한 방법 및 시스템(system)을 제공한다. 본 발명의 실시예들은, 깊이 카메라 센서로부터의 단일 스냅샷(snapshot)으로부터, 심지어 몸체의 부분 뷰(partial view)로부터 사람의 상세한 메시를 재구성한다. 본 발명의 실시예들은 정확한 포즈 및 몸체 형상을 획득하기 위해, 의복(clothing)을 입고 있는 상태의 사람의 몸체 형상 추정을 제공하고, 센서 잡음 통계 모델링(sensor noise statistics modeling)을 제공한다. 본 발명의 실시예들은 환자의 3D 메시를 생성하고, 의료 이미징 스캔 계획(medical imaging scan planning)을 위해 그 3D 메시를 활용한다.
[0001] 본 발명의 일 실시예에서, 대상의 깊이 카메라 이미지는 3D 포인트 클라우드(3D point cloud)로 컨버팅된다(converted). 복수의 해부학적 랜드마크(anatomical landmark)들이 3D 포인트 클라우드에서 검출된다. 검출된 해부학적 랜드마크들에 기초하여 템플레이트 메시(template mesh)를 3D 포인트 클라우드에 대해 정렬함으로써 3D 아바타 메시(3D avatar mesh)가 초기화된다. 트레이닝된(trained) 파라메트릭 변형가능 모델(PDM; parametric deformable model)을 이용하여 3D 아바타 메시를 최적화함으로써, 대상의 개인화된 3D 아바타 메시가 생성된다.
[0002] 본 발명의 이러한 및 다른 이점들은 다음의 상세한 설명 및 첨부 도면들을 참조하여 당업자들에게 명백해질 것이다.
[0003] 도 1은 포인트 클라우드 및 다각형 메시를 이용하여 표면을 표현하는 예를 예시하고;
[0004] 도 2는 트레이닝된 포즈 변형 모델로부터 획득된 포즈 변형들의 예들을 예시하고;
[0005] 도 3은 트레이닝된 형상 변형 모델을 이용하여 획득된 형상 변형들의 예들을 예시하고;
[0006] 도 4는 상이한 포즈들을 갖는 합성형 메시 인스턴스(synthetic mesh instance)들을 예시하고;
[0007] 도 5는 상이한 몸체 형상들을 갖는 합성형 메시 인스턴스들을 예시하고;
[0008] 도 6은 템플레이트 메시 모델의 예를 예시하고;
[0009] 도 7은 본 발명의 실시예에 따라 환자에 대한 개인화된 3D 아바타 메시 모델을 생성하는 방법을 예시하고;
[0010] 도 8은 CT 스캐너(CT scanner) 상에 장착된 깊이 카메라 센서의 예를 도시하고;
[0011] 도 9는 트레이닝된 PDM을 이용하여 RGB-D 이미지 데이터로부터 개인화된 아바타 메시를 생성하는 예시적 결과들을 예시하고; 그리고
[0012] 도 10은 본 발명을 구현할 수 있는 컴퓨터(computer)의 고수준 블록도(high-level block diagram)이다.
[0013] 본 발명은 깊이 카메라를 이용하여 획득된 이미지로부터 사람의 개인화된 3D 메시의 자동적 생성을 위한 방법 및 시스템에 관한 것이다. 본 발명의 실시예들은 개인화된 메시 생성 방법의 시각적 이해를 제공하기 위해 본원에서 설명된다. 디지털 이미지(digital image)는 종종 하나 또는 그 초과의 대상물(object)들(또는 형상들)의 디지털 표현들로 구성된다. 대상물의 디지털 표현은 종종 본원에서 대상물들을 식별 및 조작하는 측면들에서 설명된다. 이러한 조작들은 컴퓨터 시스템의 메모리(memory) 또는 다른 회로/하드웨어(hardware)에서 달성되는 가상 조작들이다. 따라서, 본 발명의 실시예들이 컴퓨터 시스템 내에 저장된 데이터를 이용하여 컴퓨터 시스템 내에서 수행될 수 있음이 이해될 것이다.
[0014] 본 발명의 실시예들은 마이크로소프트 키넥트 깊이 카메라와 같은 깊이 카메라로부터 획득된 RGB-D 이미지 데이터로부터 사람의 형상뿐만 아니라 상세한 몸체 포즈를 추정하는, 사람의 개인화된 3D 메시 모델을 생성한다. 사람의 이러한 개인화된 3D 메시 모델은 본원에서 아바타(avatar)로 지칭된다. 다수의 센서들의 비디오 시퀀스들로부터 개인화된 메시를 획득하는 다른 접근방식들과 달리, 본 발명의 실시예들은, 사람의 부분 뷰를 캡쳐(capture)하고 몸체 의복(body clothing)을 처리하는 깊이 카메라로부터의 단일 스냅샷으로부터 개인화된 메시를 생성한다. 본 발명의 실시예들은, 정확한 몸체 포즈 및 형상을 획득하기 위해, 심지어 몸체의 부분 뷰로부터의 상세한 몸체 형상(메시)의 재구성, 임의의 깊이 카메라 센서로부터의 단일 스냅샷으로부터의 몸체 형상 추정, 의복을 입고 있는 상태의 사람의 몸체 형상 추정, 및 적절한 센서 잡음 통계 모델링을 제공한다.
[0015] 사람의 개인화된 3D 메시를 생성하기 위해, 본 발명의 실시예들은 인간 골격 모델을 사람의 깊이 이미지 데이터에 피팅(fit)하기 위하여 모델 기반 접근방식을 이용한다. 그 다음으로, 오프라인 트레이닝 단계(offline training phase)에서 학습되는 상세한 파라미터화된 변형가능 메시(PDM; parameterized deformable mesh)를 초기화하기 위해, 추정된 포즈 골격(pose skeleton)이 이용된다. 그 다음으로, PDM은 몸체 포즈 및 형상을 섭동(perturbing)함으로써 입력 깊이 데이터를 피팅하도록 최적화된다. SCAPE 모델과 비교하여, 중요한 차이는 PDM을 깊이 데이터에 피팅하기 위한 샘플링 기반 최적화 절차(sampling based optimization procedure)이다. 피부가 덮인 대상(skin clad subject)에 따른 데이터에만 적용되는 SCAPE 모델과 달리, 본 발명의 실시예들은 대상의 의복 변화들을 처리하기 위해 이러한 샘플링 기반 접근방식을 활용한다. 게다가, 샘플링 기반 접근방식은 또한, 본 발명의 실시예들이, 센서 잡음으로 인한 바이어스 도입(bias introduce)을 처리하는 것을 가능하게 한다.
[0016] 본 발명의 실시예들은 컴퓨터 토모그래피(CT; computed tomography) 또는 양전자 방출 토모그래피(PET; positron emission tomography) 스캐너들을 이용한 환자 스캐닝(patient scanning)을 위한 작업흐름에서 이용될 수 있다. CT 또는 PET 스캐너들을 이용한 환자 스캐닝을 위한 통상의 작업흐름에서, 방사선사/기술자는 먼저, 프로파일 뷰포인트(profile viewpoint)로부터 환자 윤곽을 관찰함으로써 스캔 영역의 환자 등각점(patient iso-center)을 개략적으로 추정하고, 그 다음으로, 환자 등각점을 레이저 투사(laser projection)에 의해 일반적으로 반사되는 스캐너 갠트리 중심(scanner gantry center)과 정렬한다. 정렬이 완벽하게 수행되면, 최상의 이미징 품질(best imaging quality)이 달성될 것이다. 그러나, 방사선사/기술자에 의해 행해진 현재의 정렬은 부정확하고 일치되지 않는다. 본 발명의 실시예들은 환자를 정확하게 피팅하는 개인화된 3D 아바타 메시를 생성하기 위해 이용될 수 있으며, 개인화된 3D 아바타 메시는 스캔 영역의 등각점을 계산하기 위해 추가로 이용될 것이다. 방사선사/기술자에 의해 이용되는 종래의 작업흐름과 비교하여, 이는 등각점의 더 정확하고 일치된 추정을 제공할 수 있다. 추가하여, CT 또는 PET 스캐너들을 이용한 환자 스캐닝을 위한 통상의 작업흐름에서, 방사선사가 필요한 스캔 영역을 결정하는 것을 돕기 위해 스캐너를 이용하여 토포그램(topogram)(x-선(x-ray)) 이미지가 먼저 생성된다. 본 발명의 실시예들은 깊이 카메라를 이용하여 획득된 스냅샷으로부터 환자를 정확하게 피팅하는 개인화된 3D 아바타 메시를 생성하기 위해 이용될 수 있으며, 개인화된 3D 아바타 메시는 스캔 영역을 결정하기 위하여 환자의 몸체에서 장기(organ)들의 포지션(position)을 예측하기 위해 토포그램 대신에 이용될 수 있다. 이는 장기에 대한 스캔 범위의 더 정확한 추정을 제공하고, 방사선에 대한 환자의 노출을 감소시킬 수 있다.
[0017] 컴퓨터 그래픽스(computer graphics)에서, 3D 대상물 형상들은 일반적으로 3차원(three-dimensional)(3D) 표면들 X에 의해 표현된다. 3D 표면을 표현하기 위한 2개의 대중적인 방식들은, (표면을 포인트 샘플링함으로써 생성되는) 포인트 클라우드를 이용하는 것 및 (표면의 다각형 근사(polygonal approximation)에 의해 생성되는) 다각형 메시를 이용하는 것이다. 포인트 클라우드는 일반적으로, 대상물 표면의 센서 판독치들의 집합으로서 뷰잉되며(viewed), 여기서 클라우드의 각각의 엘리먼트(element)는 표면 포인트의 3D 좌표를 표현한다. 포인트 클라우드들이 특히 복잡한 표면들에 대해 다른 모델들보다 더 계산적으로 관리가능할 수 있지만, 포인트 클라우드는 표면 연결성의 토폴로지(topology)를 포함하는, 표면 연속성에 관한 정보를 폐기한다. 표면 X의 포인트 클라우드는
Figure pct00001
로서 표기될 수 있다. 이는 마이크로소프트 키넥트 깊이 카메라와 같은 3D 포착 디바이스(3D acquisition device)들로부터 획득된 데이터를 표현하는 공통의 방식이다.
[0018] 다각형 메시는 대상물의 형상을 정의하는 정점들 및 에지(edge)들의 집합이다. 표면 X의 다각형 메시는
Figure pct00002
로서 표기될 수 있으며, 여기서
Figure pct00003
는 정점들을 표현하고,
Figure pct00004
는 현재의 다각형의 에지들을 정의하는 정점 인덱스(index)들을 포함한다. 삼각형들이 메시의 다각형들로서 공통적으로 이용되며, 각각의 삼각형
Figure pct00005
는 3개의 정점들
Figure pct00006
및 3개의 에지들
Figure pct00007
을 이용하여 표현된다. 본 발명은 삼각형들을 이용한 다각형 메시들로 제한되는 것이 아니라, 4면체들과 같은 다른 다각형들이 또한 다각형 메시에서 이용될 수 있음이 이해되어야 한다. 도 1은 포인트 클라우드 및 다각형 메시를 이용하여 표면을 표현하는 예를 예시한다. 도 1에 도시된 바와 같이, 인간 몸체 표면(100)은 포인트 클라우드(102) 및 다각형 메시(104)를 이용하여 표현된다.
[0019] 본 발명의 실시예들은 환자에 대한 개인화된 아바타 모델을 생성하기 위해 인간 몸체의 학습된 파라메트릭 변형가능 모델(PDM; parametric deformable model)을 활용한다. PDM은 전체 인간 몸체 변형을 2개의 개별 변형들, 즉, 포즈 변형 및 형상 변형으로 분할하며, 여기서 포즈 변형은 강성(rigid) 및 비-강성(non-rigid) 변형들로 추가로 분할될 수 있다. 유리한 구현에 따르면, 인간 몸체는 삼각형들의 세트(set)를 포함하는 다각형 메시를 이용하여 표현될 수 있다. 그러므로, 인간 몸체를 표현하는 임의의 주어진 메시
Figure pct00008
의 삼각형들
Figure pct00009
은 일부 변형들을 가진 템플레이트 메시
Figure pct00010
의 삼각형들로서 표현될 수 있다. 템플레이트 메시의 삼각형들은
Figure pct00011
로서 표기되며, 각각의 삼각형의 2개의 에지들은
Figure pct00012
으로 표기된다. 따라서,
Figure pct00013
의 삼각형들은 아래와 같이 표현될 수 있으며:
Figure pct00014
여기서,
Figure pct00015
는 동일한 몸체 부분
Figure pct00016
에 속하는 삼각형들 모두에 대해 동일한 값을 갖는 강성 회전이고,
Figure pct00017
는 형상 변형 행렬(shape deformation matrix)이고, 그리고
Figure pct00018
는 포즈 변형 행렬(pose deformation matrix)이다.
[0020] 트레이닝 데이터의 세트로부터 포즈 변형 모델을 학습하기 위해, 각각의 삼각형
Figure pct00019
에 대한 회귀(regression)가 학습되고, 이는 그것의 2개의 최근접 관절들의 비틀림(twist)들의 함수
Figure pct00020
로써 포즈 변형 행렬 Q를 추정한다:
Figure pct00021
위의 식에서,
Figure pct00022
는 강성 회전 행렬 R로부터 계산될 수 있다. Q가 주어지면, 회귀 파라미터
Figure pct00023
가 용이하게 계산될 수 있다. 그러나, 각각의 삼각형에 대한 비-강성 변형 행렬 Q는 알려지지 않는다. 따라서, 삼각형들 각각에 대한 변형 행렬들은, 변형된 템플레이트 메시와 평활도 제약(smoothness constraint)을 받는 트레이닝 메시 데이터 사이의 거리를 최소화하는 최적화 문제를 해결함으로써, 해결된다. 이러한 최적화 문제는 아래와 같이 표현될 수 있으며:
Figure pct00024
여기서, 제 1 항은 변형된 템플레이트 메시와 트레이닝 메시 데이터 사이의 거리를 최소화하고, 제 2 항은 동일한 몸체 부분에 속하는 인접한 삼각형들에서의 유사한 변형들을 선호하는 평활도 제약이다.
Figure pct00025
는 평활도 제약을 튜닝(tune)하기 위해 이용될 수 있는 가중치이고,
Figure pct00026
는, 인접한 삼각형들이 동일한 몸체 부분에 속할 때 단위 행렬(identity matrix)
Figure pct00027
과 동등하고, 인접한 삼각형들이 동일한 몸체 부분에 속하지 않을 때 0과 동일하다.
[0021] 포즈 변형 모델의 트레이닝 후에, 메시 모델은, 상이한 값들을 갖는 강성 회전 행렬 R을 초기화함으로써 상이한 몸체 포즈들을 형성하도록 조작될 수 있다. 도 2는 트레이닝된 포즈 변형 모델로부터 획득된 포즈 변형들의 예들을 예시한다. 도 2에 도시된 바와 같이, 이미지(202)는 트레이닝된 포즈 변형 모델을 이용하여 획득된 운전하는 포즈를 도시하고, 이미지(204)는 템플레이트 포즈를 도시하고, 이미지(206)는 트레이닝된 포즈 변형 모델을 이용하여 획득된 걷는 포즈를 도시한다. 도 2의 포즈 변형들은 상이한 포즈들을 갖는 200개의 트레이닝 인스턴스(training instance)들을 이용하여 트레이닝된 포즈 변형 모델을 이용하여 획득되었다.
[0022] 트레이닝 데이터의 세트로부터 형상 변형을 학습하기 위해, 고유공간(eigenspace)들의 작은 세트의 선형 결합으로서 형상 변형 행렬들을 모델링하기 위하여, 주성분 분석(PCA; principle component analysis)이 이용된다:
Figure pct00028
식(4)에서, F는 PCA 계수 β의 함수이고, μ는 평균 벡터(mean vector)이고, U는 PCA 차원 감소를 행할 때의 데이터의 고유벡터(eigenvector)이다. 포즈 추정과 유사하게, 각각의 삼각형에 대한 형상 변형 행렬 S는 알려지지 않는다. 다시, 변형된 템플레이트 메시와 평활도 제약을 받는 트레이닝 메시 데이터 사이의 거리를 최소화하는 최적화 문제가 행렬 S를 추정하기 위해 이용되며:
Figure pct00029
여기서, 제 1 항은 변형된 템플레이트 메시와 트레이닝 메시 데이터 사이의 거리를 최소화하고, 제 2 항은 인접한 삼각형들에서의 유사한 형상 변형들을 선호하는 평활도 제약이다.
[0023] 일단 PCA 파라미터들(즉, 고유벡터들의 세트)이 획득되면, 메시 모델은 β를 섭동(perturbing)함으로써 상이한 몸체 형상들(장신 대 단신, 저체중 대 과체중, 튼튼함 대 빈약함 등)을 형성하기 위해 조작될 수 있다. 도 3은 트레이닝된 형상 변형 모델을 이용하여 획득된 형상 변형들의 예들을 예시한다. 도 3의 형상 변형들은 제 1 주성분 (β)의 방향을 따르는 PDM 형상 변형에 의해 획득된다. 도 3에 도시된 바와 같이, 이미지(302)는 트레이닝된 형상 변형 모델을 이용하여 획득된 저체중 몸체 형상의 극단적 경우를 도시하고, 이미지(304)는 템플레이트 메시를 도시하고, 이미지(306)는 트레이닝된 형상 변형 모델을 이용하여 획득된 과체중 몸체 형상의 극단적 경우를 도시한다. 도 3의 형상 변형들은 상이한 몸체 형상들을 갖는 200개의 트레이닝 인스턴스들을 이용하여 트레이닝된 형상 변형 모델을 이용하여 획득되었다.
[0024] PDM을 위해 포즈 변형 모델 및 형상 변형 모델을 트레이닝(train)하기 위한 트레이닝 프로세스(training process)는 많은 수의 3D 메시 트레이닝 예들을 요구한다. 실제 인간 모델들로부터 이러한 데이터세트(dataset)를 구축하는 것은 하나의 타당한 솔루션(solution)이지만, 고비용이며 시간 소모적이다. 실제 인간 모델들로부터 트레이닝 데이터세트를 구축하는 것은 상이한 뷰잉 각도(viewing angle)들로부터 각각의 사람을 캡쳐(capture)하는 고정밀 레이저 스캐너를 요구한다. 그 다음으로, 부분 뷰들로부터 각각의 사람에 대한 전체 몸체 모델을 구성하기 위해 등록 알고리즘(registration algorithm)이 적용될 필요가 있다. 추가하여, 구멍들을 채우는 것, 잡음들을 제거하는 것, 및 표면들을 평활화하는 것은 또한, 엄청난 인간 수고들을 요구할 수 있다.
[0025] 본 발명의 유리한 실시예에서, 합성형 인간 모델들이 PDM을 트레이닝(train)하기 위해 이용될 수 있다. 실제 인간 모델들을 이용하는 것과 비교하여, 3D 상업적 소프트웨어(3D commercial software)로부터의 합성형 인간 모델들은 생성하기가 훨씬 더 단순하고 더 신속하다. 예시적 구현에서, POSER로 지칭되는 3D 애니메이션 소프트웨어(3D animation software)는 트레이닝 데이터세트를 파퓰레이팅(populate)하기 위해 합성형 인간 모델들을 생성하는데 이용될 수 있다. POSER는 인간들의 3D 다각형 메시들의 애니메이션 및 포징(posing)을 위해 이용될 수 있는 3D 렌더링 소프트웨어(3D rendering software)이다. 이러한 소프트웨어에는 관절 및 형상 파라미터들의 큰 자유를 갖는 사전-구축 인간 모델들의 라이브러리(library)가 부속된다. 파이썬 프로그래밍 인터페이스(Python programming interface)와 함께, POSER는 약 1시간 내에 상이한 포즈들 및 형상들을 갖는 수천 개의 3D 인간 메시 인스턴스들을 생성할 수 있다. POSER를 이용하는 것의 다른 이점은, 동일한 메시 템플레이트로부터 비롯되는 메시 인스턴스들 모두가 완전히 라벨링되고(labeled) 등록된다는 것이다. 예컨대, 각각의 메시 인스턴스의 정점들의 수는 템플레이트 메시와 동일하고, 메시가 어떤 종류의 포즈를 형성하더라도 정점 순서가 동일하게 유지된다. 그러나, 트레이닝 데이터세트를 위해 메시들을 생성하기 위하여 POSER를 이용하는 것에 따른 2개의 쟁점들이 존재한다. 첫 번째로, 데이터 생성은 단지 일부 초기 사용자 입력으로 완전히 자율이어서, 실제 사람에 대해 비현실적인 일부 포즈들이 생성될 수 있다. 따라서, POSER를 이용하여 생성된 메시들을 검사하여 비현실적인 메시들을 수동으로 제거할 필요가 있을 수 있다. 두 번째로, POSER 그 자체는 인간 몸체의 중력 영향을 시뮬레이팅(simulate)하지 않아서, 서있는 포즈를 한 사람은 누워 있는 포즈의 사람과 동일한 몸체 형상을 갖는다. 도 4는 POSER를 이용하여 생성된 상이한 포즈들의 메시 인스턴스들(402, 404, 및 406)을 예시한다. 도 5는 POSER를 이용하여 생성된 상이한 몸체 형상들을 갖는 메시 인스턴스들(502, 504, 및 506)을 예시한다.
[0026] 원래의 SCAPE 작업에서, 포즈 변형 모델은 다양한 포즈들의 동일한 인간 대상의 상이한 메시 인스턴스들을 이용하여 트레이닝되는 반면, 형상 변형 모델은 중립적 포즈의 많은 대상들로부터의 메시 인스턴스들을 이용하여 트레이닝된다. 그러나, 형상 및 포즈 변형의 이러한 디커플링(decoupling)은 문제들을 초래할 수 있다. 예컨대, 포즈 트레이닝 데이터를 위한 인간 대상이 남성인 경우, 주어진 여성 대상에 대한 포즈 및 형상 추정은 정확하지 않을 것이다. 본 발명의 유리한 실시예에 따르면, 본 발명자들은 테스트 대상(test subject)의 성별이 알려진다는 강한 선험(prior)을 가져서, 이러한 디커플링은 문제가 아니다. 유리한 구현에 따르면, 2개의 개별 포즈 변형 모델들(남성 및 여성)이 트레이닝되며, 환자의 알려진 성별에 따라 환자에 대한 개인화된 아바타 메시를 생성할 때, 트레이닝된 포즈 변형 모델들 중 적절한 모델이 적용된다.
[0027] 모든 트레이닝 메시 인스턴스들 중에서, 균형잡힌(예컨대, 평균 또는 중간) 몸체 크기 및 중립 포즈를 갖는 사람이 템플레이트 메시로서 선택된다. 템플레이트 메시의 전체 몸체는 복수의 상이한 몸체 부분들로 분할되고, 템플레이트 메시 상의 복수의 관절 랜드마크들이 수동으로 선택된다. 예시적 구현에 따르면, 템플레이트 메시는 18개의 몸체 부분들로 분할될 수 있고, 템플레이트 메시 상의 16개의 포인트들이 관절 랜드마크들로서 선택된다. 이러한 예시적 구현에서, 18개의 몸체 부분들(및 그 몸체 부분들을 식별하기 위해 이용되는 인덱스들)은 다음과 같다: 좌측 및 우측 발(0, 1), 좌측 및 우측 하부 다리(lower leg)(2,3), 좌측 및 우측 상부 다리(upper leg)(4,5), 골반(6), 좌측 및 우측 손(7,8), 좌측 및 우측 전완(forearm)(9,10), 좌측 및 우측 상완(upper arm)(11,12), 복부(13), 흉부(14), 좌측 및 우측 어깨(15, 16), 및 머리(17). 관절 랜드마크들은 다양한 관절들의 위치들 및 다른 중요한 해부학적 위치들에 대응한다. 예시적인 구현에서, 16개의 관절 랜드마크들(및 그 랜드마크들을 식별하는 인덱스들)은 다음과 같다: 좌측 및 우측 발목(0, 1), 좌측 및 우측 무릎(2,3), 좌측 및 우측 허리(4,5), 서혜부(groin)(6), 좌측 및 우측 손목(7,8), 좌측 및 우측 팔꿈치(9,10), 좌측 및 우측 어깨 상부(11,12), 흉부 중심(13), 머리 하부(14), 및 머리 상부(15). 도 6은 템플레이트 메시 모델의 예를 예시한다. 도 6에 도시된 바와 같이, 템플레이트 메시 모델(600)은 18개의 몸체 부분들(좌측 및 우측 발, 좌측 및 우측 하부 다리, 좌측 및 우측 상부 다리, 골반, 좌측 및 우측 손, 좌측 및 우측 전완, 좌측 및 우측 상완, 복부, 흉부, 좌측 및 우측 어깨, 및 머리)로 분할되고, 16개의 관절 랜드마크들(좌측 및 우측 발목, 좌측 및 우측 무릎, 좌측 및 우측 허리, 서혜부, 좌측 및 우측 손목, 좌측 및 우측 팔꿈치, 좌측 및 우측 어깨 상부, 흉부 중심, 머리 하부, 및 머리 상부)로 주석이 달린다.
[0028] 도 7은 본 발명의 실시예에 따라 환자에 대한 개인화된 3D 아바타 메시 모델을 생성하는 방법을 예시한다. 도 7의 방법은 CT 스캔 또는 PET 스캔과 같은, 환자의 의료 이미지 데이터를 포착하기 위한 스캔을 계획하기 위해 스캐닝 계획 절차의 부분으로서 이용될 수 있다. 도 7의 방법은 환자가 테이블(table) 상에 누워 있다는 지식, 및 환자가 의복, 방사선 프로텍터(radiation protector), 담요들, 베개들 등으로 덮여있다는 지식과 같은 선험(prior)들을 활용하며, 이러한 선험들에 대응하는 제약들을 환자에 대한 3D 아바타 메시 모델의 생성에 적용한다. 도 7을 참조하면, 단계(702)에서, 환자의 RGB-D 이미지 데이터가 깊이 카메라로부터 수신된다. 예시적 실시예에서, RGB-D 이미지 데이터는 깊이 카메라로부터의 단일 스냅샷에서 획득될 수 있다. 깊이 카메라는 구조화된 광 기반 카메라(이를테면, 마이크로소프트 키넥트 또는 아수스 액션), 스테레오 카메라, 또는 비행시간 카메라(이를테면, 크리에이티브 TOF 카메라)일 수 있다. RGB-D(RGB + Depth)(RGB + 깊이) 이미지 데이터는, 각각의 픽셀이 RGB 값을 갖는 RGB 이미지 및 각각의 픽셀의 값이 카메라로부터의 픽셀의 깊이 또는 거리에 대응하는 깊이 이미지를 포함한다. 의료 이미지 포착을 위해 환자가 테이블 상에 있는 것을 가정하면, 깊이 카메라가 테이블 상의 환자의 방해받지 않는 뷰(unobstructed view)를 갖도록, 깊이 카메라가 적절하게 장착되어야 한다. 예컨대, 깊이 카메라는 테이블 위의 천장 상에 또는 의료 이미지 스캐너 상에 장착될 수 있다. 도 8은 CT 스캐너(804) 상에 장착된 깊이 카메라 센서(802)의 예를 도시한다. RGB-D 이미지 데이터는 깊이 카메라로부터 직접적으로 수신될 수 있거나, 또는 환자의 이전에 포착된 RGB-D 이미지 데이터를 로딩(loading)함으로써 수신될 수 있다.
[0029] 도 7을 다시 참조하면, 단계(704)에서, RGB-D 이미지 데이터는 3D 포인트 클라우드로 컨버팅된다(converted). 특히, RGB 이미지의 각각의 픽셀을 3D 위치에 맵핑(map)하기 위해 RGB-D 이미지 데이터의 깊이 이미지가 이용되어, 환자를 표현하는 3D 포인트 클라우드가 초래된다.
[0030] 단계(706)에서, 해부학적 랜드마크들이 3D 포인트 클라우드에서 검출된다. 특히, 템플레이트 메시에서 선택된 관절 랜드마크들 각각이 3D 포인트 클라우드에서 검출된다. 관절 랜드마크들은 주석이 달린 트레이닝 데이터에 기초하여 트레이닝된, 트레이닝된 머신 학습 기반 분류기(trained machine learning based classifier)들을 이용하여 3D 포인트 클라우드에서 검출될 수 있다. 예컨대, 각각의 확률 부스팅 트리(PBT; probabilistic boosting tree) 분류기가 관절 랜드마크들 각각에 대해 트레이닝될 수 있고, 각각의 관절 랜드마크는 각각의 트레이닝된 PBT 분류기를 이용하여 3D 포인트 클라우드를 스캐닝(scanning)함으로써 검출될 수 있다. 랜드마크들의 상대적 위치들이 랜드마크 검출에서 활용될 수 있는 것이 또한 가능하다. 예컨대, 관절 랜드마크들 각각에 대해 트레이닝된 분류기들이 랜드마크들의 상대적 위치들을 고려하기 위해 차별적 해부학적 네트워크(DAN; discriminative anatomical network)에 연결될 수 있거나, 또는 검출된 각각의 랜드마크가 후속 랜드마크들에 대한 탐색 범위를 좁히는 것을 도울 수 있는 경우, 트레이닝된 분류기들은 미리 결정된 순서로 3D 포인트 클라우드에 적용될 수 있다. 다른 가능한 구현에서, PBT 분류기들은 복수의 몸체 부분들(예컨대, 머리, 몸통, 골반)을 검출하도록 트레이닝될 수 있고, 검출된 몸체 부분들은 관절 랜드마크들을 검출하기 위해 이용되는 PBT 분류기들에 대한 탐색 범위를 제약하기 위해 이용될 수 있다.
[0031] 단계(708)에서, 템플레이트 메시 모델은 검출된 해부학적 랜드마크들을 이용하여 3D 포인트 클라우드에서 초기화된다. 위에서 설명된 바와 같이, 템플레이트 메시 모델은 균형잡힌(예컨대, 평균 또는 중간) 몸체 크기 및 중립 포즈를 갖는 트레이닝 데이터세트의 메시들로부터 선택된 메시이다. 템플레이트 메시 모델은 복수의 몸체 부분들로 분할되고, 템플레이트 메시 상의 복수의 관절 랜드마크들 각각에 대한 대응하는 위치가 저장된다. 템플레이트 메시는, 3D 포인트 클라우드의 관절 랜드마크들의 검출된 위치들과 템플레이트 메시의 관절 랜드마크들의 대응하는 위치들 사이의 오류(error)를 최소화하는, 3D 포인트 클라우드로의 템플레이트 메시의 강성 변환을 계산함으로써 3D 포인트 클라우드에서 초기화된다. 이러한 강성 변환이 제공되며, 초기 강성 회전 행렬 R은, 템플레이트 메시에 적용될 때, 초기화된 아바타 메시 모델을 초래한다.
[0032] 단계(710)에서, 트레이닝된 파라메트릭 변형가능 모델(PDM; parametric deformable model)을 이용하여 3D 포인트 클라우드를 피팅하기 위해 템플레이트 메시를 변형시킴으로써, 개인화된 아바타 메시가 생성된다. 위에서 설명된 바와 같이, PDM은 트레이닝 데이터로부터의 포즈 변형 모델 및 형상 변형 모델을 트레이닝시킴으로써 오프라인(offline)으로 트레이닝된다. 단계(710)에서, 트레이닝된 PDM은 데이터 완료 태스크(task)에 직접적으로 적용된다. 3D 포인트 클라우드 및 관절 랜드마크들이 주어지면, PDM은 현실적인 완전 3D 메시 출력을 생성할 수 있으며, 현실적인 완전 3D 메시 출력은 목적 함수(objective function)를 최소화함으로써 부분 데이터와 일치되며:
Figure pct00030
여기서,
Figure pct00031
는 강성 회전 행렬이고,
Figure pct00032
는 트레이닝된 형상 변형 모델이고,
Figure pct00033
는 트레이닝된 포즈 변형 모델이고,
Figure pct00034
는 템플레이트 메시의 삼각형의 에지들을 나타내고,
Figure pct00035
는 추정된 아바타 메시 모델의 정점들을 나타내고, 그리고 L은 아바타 정점
Figure pct00036
과 3D 포인트 클라우드 Z의 대응하는 포인트
Figure pct00037
사이의 대응성(correspondence)들의 세트이다. 이러한 목적 함수의 제 1 항은 학습된 PDM 모델과 일치될 메시 출력을 정의하고, 제 2 항은 입력 포인트 클라우드를 최상으로 피팅하는 세트를 찾기 위해 최적화를 조절한다. 2개의 항들의 중요성을 밸런싱(balance)하기 위해, 가중 항
Figure pct00038
가 적용된다.
[0033] 본 발명의 실시예들에서 활용되는 PDM과 SCAPE 사이의 하나의 중요한 차이는 식(6)에서의 다른 가중 항
Figure pct00039
의 추가이다. 원래의 SCAPE 작업에서, 입력 데이터가 레이저 스캔(laser scan)으로부터 비롯되어서, 각각의 포인트가 동일하게 가중될 수 있다. 그러나, 도 7의 방법에서, 입력은 깊이 카메라 센서로부터 비롯되고, 여기서, 데이터 정확도는 깊이 카메라 센서와 각각의 포인트 사이의 실제 거리에 의해 영향받을 수 있다. 따라서, 본 발명자들은 3D 포인트 클라우드에서의 포인트들의 정확도에 대한 깊이 카메라로부터의 거리의 영향들을 시뮬레이팅(simulate)하기 위해 잡음 모델을 생성하였다. 잡음 모델은 깊이 카메라로부터의 각각의 관절 랜드마크의 거리에 기초하여 각각의 등록된 포인트(예컨대, 각각의 관절 랜드마크)에 대해
Figure pct00040
의 상이한 값을 생성한다.
[0034] 식(6)에는, 최적화될 3개의 파라미터 세트들(R, Y, 및 β)이 존재한다. 이는 표준 비-선형 및 비-볼록 최적화 문제를 형성한다. 차선의 솔루션으로 수렴될 가능성을 회피하기 위해, 본 발명의 실시예들은 3개의 파라미터들을 최적화하기 위하여 반복적 프로세스를 활용한다. 특히, 파라미터들의 3개의 세트들은 개별적으로 처리되어, 다른 2개의 세트들은 고정된 채로 유지되면서, 한 번에 3개의 세트들 중 단지 하나의 세트만이 최적화된다. 본 발명의 유리한 실시예에 따르면, 3-단계 최적화가 아래와 같이 수행될 수 있다:
(1) S 및 Y는 고정된 채로, R을 최적화하고, 그 다음으로, 그에 따라,
Figure pct00041
및 Q를 업데이트(update)하고;
(2) R 및 S는 고정된 채로, Y를 최적화하고; 그리고
(3) R, Q, 및 Y는 고정된 채로 S를 최적화함.
[0035] 3-단계 최적화 절차의 단계(1)에서, 형상 변형 S 및 추정된 아바타 메시 모델의 정점들 Y는 고정된 채로, 식(6)을 이용하여 강성 회전 행렬 R이 최적화된다. 이는 추정된 아바타 메시 모델의 각각의 삼각형에 대해
Figure pct00042
의 업데이트된(updated) 값을 초래하고, 각각의 삼각형에 대한 포즈 변형 Q는 트레이닝된 포즈 변형 모델
Figure pct00043
을 이용하여 업데이트된
Figure pct00044
에 기초하여 업데이트된다. 따라서, 최적화 절차의 단계(1)는 추정된 아바타 모델의 포즈를 최적화한다. 3-단계 최적화 절차의 단계(2)에서, 형상 변형 S 및 강성 회전 행렬 R(및 포즈 변형)은 고정된 채로, 추정된 아바타 메시의 정점들 Y의 위치들이 식(6)을 이용하여 최적화된다. 이 단계는 3D 포인트 클라우드를 더 양호하게 매칭(match)하기 위해 정점들 Y의 위치들을 조정하는 미세-튜닝(fine-tuning) 단계이다. 최적화 절차의 단계(3)에서, 강성 회전 행렬 R, 포즈 변형 Q, 및 추정된 아바타 메시의 정점들 Y는 고정된 채로, 식(6)을 이용하여 형상 변형 S가 최적화된다. 특히, 식(6)의 목적 함수를 최소화하는 트레이닝된 변형 모델
Figure pct00045
을 이용하여 계산된 형상 변형을 찾기 위해, 제 1 주성분 β가 조정된다. 따라서, 3-단계 최적화 절차는 첫 번째로, 최적의 포즈 변형을 찾고, 그 다음으로, 추정된 아바타 모델의 정점들의 미세-튜닝 조정들을 수행하고, 그 다음으로, 최적의 형상 변형을 찾는다. 이러한 3-단계 최적화 절차는 여러 번 반복될 수 있다. 예컨대, 3-단계 최적화 절차는 미리 결정된 횟수로 반복될 수 있거나 또는 그것이 수렴될 때까지 반복될 수 있다.
[0036] 식(6)의 제 2 항은 3D 포인트 클라우드와 3D 메시 모델 상의 랜드마크들 사이의 대응성들을 찾는 것을 요구한다. 도 7의 방법에서, 본 발명자들은 첫 번째로, 3D 포인트 클라우드의 검출된 관절 랜드마크들에 기초하여 초기 R을 추정한다(단계(708)). 그 다음으로, 앞서의 3-단계 최적화 절차는 현재 추정된 메시 모델
Figure pct00046
을 얻기 위해 여러 번 반복되며, 여기서 대응성들을 찾기 위해 단지 관절 랜드마크들만이 이용된다. 예컨대, 대응성들을 찾기 위해 단지 관절 랜드마크들만을 이용하는 3-단계 최적화 절차는 미리 결정된 횟수들만큼 반복될 수 있거나, 또는 그것이 수렴될 때까지 반복될 수 있다. 그 다음에, 3D 포인트 클라우드와 현재의 3D 메시 모델
Figure pct00047
사이의 전체 등록(full registration)을 획득하기 위해, 반복적 최근접 포인트 알고리즘(Iterative Closest Point algorithm)에 기초하는 등록 알고리즘이 수행될 수 있다. 일단 3D 포인트 클라우드와 현재의 3D 메시 모델
Figure pct00048
사이의 등록이 수행되면, 미리 결정된 임계치보다 더 큰 거리
Figure pct00049
를 갖는 현재의 3D 메시 모델과 3D 포인트 클라우드의 포인트들의 대응하는 쌍들 사이의 대응성들이 제거된다. 그 다음으로, 나머지 대응성들은 새로운 강성 회전 행렬 R을 추정하기 위해 이용되며, 3-단계 최적화 절차가 반복된다. 이러한 최적화-등록 프로세스는 수렴 때까지 반복된다.
[0037] 트레이닝된 PDM을 이용한 부분적 데이터 완성에 대해 위에서 설명된 최적화 절차는 환자의 실제 포즈 및 형상에 근접하게 피팅되는 타당한 3D 아바타를 생성한다. 그러나, 환자에 의해 착용된 의복의 영향으로 인해 시스템 정확도가 방해받을 수 있다. 템플레이트 아바타는, 모두 탈의한 시나리오(naked scenario)에서 PSOER로부터 생성되지만, 3D 포인트 클라우드는 통상적으로 의복들을 착용하고 있는 실제 환자로부터 캡쳐되기(captured) 때문에, 아바타 메시 표면과 3D 포인트 클라우드 사이의 차이들을 최소화하는 식(6)을 해결하는 것은 오류들을 초래할 가능성이 있을 것이다. 이러한 상황은 특히, 환자가 헐거운 옷들을 착용하고 있을 때 극심하다. 본 발명의 유리한 실시예에서, 의복 영향을 처리하는 새로운 최적화 방법이 활용된다.
[0038] 환자에 의해 착용된 의복의 영향을 처리하기 위해, 본 발명의 실시예들은, 모두가 어느 정도까지 입력 3D 포인트 클라우드 아래에 있는 정점들을 갖는 3D 아바타 메시 모델을 탐색한다. 이를 위해, 의복 제약
Figure pct00050
이 아래와 같이 정의될 수 있으며:
Figure pct00051
여기서, L은 아바타 정점
Figure pct00052
과 3D 포인트 클라우드의 대응하는 포인트
Figure pct00053
사이의 대응성들의 세트이고,
Figure pct00054
은 포인트
Figure pct00055
의 법선이다.
Figure pct00056
일 때, 아바타 메시는 3D 포인트 클라우드 아래에 있다. 항
Figure pct00057
은, 아바타 메시가 의복 영역 내의 입력 3D 포인트 클라우드의 충분히 아래에 놓이는 한편, 아바타는 비-의복 영역(non-clothing region)의 입력 3D 포인트 클라우드와 오버랩(overlap)함을 보장한다.
Figure pct00058
의 값은 아래의 식에 의해 결정되며:
Figure pct00059
여기서,
Figure pct00060
는 아바타 정점
Figure pct00061
가 비-의복 영역에 속할 확률을 표현한다. 확률
Figure pct00062
는, 그라운드 트루스 트레이닝 데이터(ground truth training data)로부터 통계적으로 학습되는 트레이닝된 확률 모델을 이용하여 계산된다. 임계치
Figure pct00063
는 의복의 두께를 포함한, 아바타 표면과 의복 표면 사이의 최대 거리를 표현한다. 단지 의복에 대해서만이 아니라, 환자를 덮고 있는 임의의 것, 이를테면, 방사선 프로텍터, 담요들, 베개들 등에 대해서도 의복 제약이 적용될 수 있음이 이해될 것이다. 무엇이 환자를 덮고 있는지가 선험(prior)으로서 알려질 수 있기 때문에, 상이한 환자 덮개(covering)들(예컨대, 의복, 방사선 프로텍터, 담요 등)에 대해 상이한 확률 모델들이 트레이닝될 수 있고, 임계치
Figure pct00064
는 무엇이 환자를 덮고 있는지에 기초하여 조정될 수 있다.
[0039] 유리한 실시예에서, 입력 3D 포인트 클라우드 데이터가, 테이블 상에 누워 있는 환자로부터 수집된 RGB-D 이미지 데이터로부터 생성되기 때문에, 아바타 메시의 모든 정점들이 테이블 위에 있어야 함을 특정하기 위해, 본원에서 테이블 제약으로 지칭되는 다른 제약
Figure pct00065
이 활용될 수 있다. 특히, 본 발명자들은 아래의 식을 최소화하는 것을 시도하며:
Figure pct00066
여기서,
Figure pct00067
는 아바타 정점
Figure pct00068
의 z-축 값(테이블의 표면에 수직함)이고,
Figure pct00069
은 현재의 테이블 높이(현재의 테이블 높이는 알려짐)이고, 항
Figure pct00070
은 아바타 메시가 테이블의 충분히 위에 놓여 있음을 보장한다.
[0040] 위의 식들은 많은 솔루션들을 갖는다. 타당하게 변형되는 아바타 메시를 달성하기 위해, 솔루션은 평활화 항을 이용하여 정규화될 수 있고, 이는 아래 식을 최소화하며:
Figure pct00071
여기서,
Figure pct00072
는 새로운 아바타 메시의 정점들을 나타내고,
Figure pct00073
는 현재의 아바타 메시의 정점들을 나타내고,
Figure pct00074
는 정점
Figure pct00075
에 인접한 정점들의 세트이다. 이러한 정규화는, 그것의 이웃하는 정점들의 평균 변형과 유사한 정점의 변형을 선호한다.
[0041] 본 발명의 실시예에 따르면, 위에서 설명된 제약들은 다음 식을 최소화하는 최적화 함수를 획득하기 위해 결합될 수 있으며:
Figure pct00076
여기서, 제 1 항은 식(6)의 제 1 항과 동일하고, 제 2 항은 식(7)에서 정의된 의복 제약
Figure pct00077
이고, 제 3 항은 식(9)에서 정의된 테이블 제약
Figure pct00078
이고, 그리고 제 4 항은 식(10)에서 정의된 평활화 제약
Figure pct00079
이다. 식(11)의 비용 함수는 파라미터 세트들(R, Y, 및 β)을 최적화하기 위해 식(6)에서 표현된 비용 함수 대신에 이용될 수 있다. 특히, 식(11)의 비용 함수를 최소화하기 위해 최적의 파라미터들을 찾기 위하여, 위에서 설명된 반복되는 최적화-등록 프로세스(반복되는 3-단계 최적화 절차를 포함함)가 이용될 수 있다. 이러한 절차는 수렴 때까지 반복되어, 환자에 대한 3D 개인화된 아바타 메시가 초래된다.
[0042] 도 7을 다시 참조하면, 단계(712)에서, 환자에 대한 3D 개인화된 아바타 메시가 출력된다. 예컨대, 3D 개인화된 아바타 메시는, 3D 개인화된 아바타 메시를 컴퓨터 시스템(computer system)의 디스플레이 스크린(display screen) 상에 디스플레잉(displaying)함으로써 출력될 수 있다.
[0043] 단계(714)에서, 환자의 3D 개인화된 아바타 메시는 의료 이미징 스캔 계획을 위해 이용된다. 일 구현에서, 3D 개인화된 아바타 메시는 환자의 장기들의 위치들의 예측을 제공할 수 있다. 예컨대, 장기들의 아틀라스(atlas)가 환자에 대한 3D 개인화된 아바타 메시와 정렬되고, 환자 몸체 상에 중첩될 수 있다. 이는, 의료 이미징(예컨대, CT 또는 PET) 스캔을 위해 특정 장기의 스캔 영역을 특정하는데 있어서 오퍼레이터(operator)를 도울 수 있다. 환자의 3D 개인화된 아바타 메시는 CT 또는 PET 스캔을 계획하기 위해 토포그래피 스캔(topography scan) 대신에 이용될 수 있다. 현재의 작업흐름에서, 중력 중심(center gravity), 이른바 등각점의 이미지 영역들에 대해 최상의 CT 스캔 품질이 예상될 것이다. 3D 아바타 메시가 환자에 정확하게 피팅되기 때문에, 스캔의 등각점이 또한, 최소의 오류로 3D 아바타 메시로부터 추정될 수 있으며, 그에 따라, 고품질의 CT 스캔 이미지들을 생성하는 것을 돕는다.
[0044] 도 9는 트레이닝된 PDM을 이용하여 RGB-D 이미지 데이터로부터 개인화된 아바타 메시를 생성한 예시적 결과들을 예시한다. 도 9에 도시된 바와 같이, 이미지(a)는 RGB 이미지를 도시하고, 이미지(b)는 대응하는 깊이 이미지를 도시한다. 이미지(c)는 테이블 위로부터 확인될 수 있는 바와 같은 3D 포인트 클라우드로서 재-투사된 RGB-D 이미지 데이터를 도시한다. 이미지(d)는 검출된 관절 랜드마크들에 대한 PDM 초기화를 도시한다. 이미지(e)는 4번의 최적화 반복들 후에 추정된 3D 아바타 메시를 도시하고, 그리고 이미지(f)는 PDM을 이용하여 획득된 최종적인 개인화된 3D 아바타 메시를 도시한다.
[0045] 사람의 3D 개인화된 아바타 메시를 생성하기 위한 앞서-설명된 방법들은 잘-알려진 컴퓨터 프로세서(computer processor)들, 메모리 유닛(memory unit)들, 저장 디바이스(storage device)들, 컴퓨터 소프트웨어(computer software) 및 다른 컴포넌트(component)들을 이용하여 컴퓨터 상에서 구현될 수 있다. 이러한 컴퓨터의 고수준 블록도가 도 10에 예시된다. 컴퓨터(1002)는 프로세서(1004)를 포함하며, 프로세서(1004)는 컴퓨터(1002)의 전체적인 동작을 정의하는 컴퓨터 프로그램 명령(computer program instruction)들을 실행시킴으로써 이러한 동작을 제어한다. 컴퓨터 프로그램 명령들은 저장 디바이스(1012)(예컨대, 자기 디스크(magnetic disk))에 저장되고 그리고 컴퓨터 프로그램 명령들의 실행이 요구되는 경우 메모리(1010)에 로딩될(loaded) 수 있다. 따라서, 도 7의 방법의 단계들은 메모리(1010) 및/또는 저장소(1012)에 저장된 컴퓨터 프로그램 명령들에 의해 정의되고 그리고 컴퓨터 프로그램 명령들을 실행하는 프로세서(1004)에 의해 제어될 수 있다. 깊이 카메라(1020)는 RGB-D 이미지 데이터를 컴퓨터(1002)에 입력하기 위해 컴퓨터(1002)에 연결될 수 있다. 깊이 카메라(1020) 및 컴퓨터(1002)는 직접적으로 연결될 수 있거나, 또는 네트워크(network) 또는 다른 무선 통신 프로토콜(wireless communication protocol)을 통해 무선으로 통신할 수 있다. CT 스캐닝 디바이스(CT scanning device)와 같은 의료 이미지 포착 디바이스(도시되지 않음)는 또한, 의료 이미지 데이터를 컴퓨터(1002)에 입력하기 위해 컴퓨터(1002)에 연결될 수 있다. 의료 이미지 포착 디바이스 및 컴퓨터(1002)를 하나의 디바이스로 구현하는 것이 또한 가능하다. 컴퓨터(1002)는 또한 네트워크를 통해 다른 디바이스들과 통신하기 위해 하나 또는 그 초과의 네트워크 인터페이스(network interface)들(1006)을 포함한다. 컴퓨터(1002)는 또한 컴퓨터(1002)와의 사용자 상호작용을 가능하게 하는 다른 입력/출력 디바이스들(1008)(예컨대, 디스플레이(display), 키보드(keyboard), 마우스(mouse), 스피커(speaker)들, 버튼(button)들 등)을 포함한다. 이러한 입력/출력 디바이스들(1008)은 이미지 포착 디바이스(1020)로부터 수신된 볼륨(volume)들에 주석을 달기 위해 주석첨부 도구(annotation tool)로서 컴퓨터 프로그램들의 세트와 함께 이용될 수 있다. 당업자는, 실제 컴퓨터의 구현이 다른 컴포넌트들을 또한 포함할 수 있고, 그리고 도 10이 예시적 목적들을 위해 이러한 컴퓨터의 컴포넌트들 중 일부의 고수준의 표현임을 인식할 것이다.
[0046] 전술한 상세한 설명은 모든 관점에서 제한적인 것이 아니라 예시적이고 대표적인 것으로서 이해될 것이며, 본원에서 개시되는 본 발명의 범위는 상세한 설명으로부터 결정되는 것이 아니라, 특허법에 의해 허용되는 최대 범위에 따라 해석되는 청구항들로부터 결정될 것이다. 본원에서 도시되고 설명되는 실시예들은 단지 본 발명의 원리들의 예시이며 본 발명의 범위 및 사상으로부터 벗어남이 없이 다양한 변형들이 당업자들에 의해 구현될 수 있음이 이해될 것이다. 당업자들은 본 발명의 범위 및 사상으로부터 벗어남이 없이 다양한 다른 특징 결합들을 구현할 수 있다.

Claims (50)

  1. 의료 이미징 스캔 계획(medical imaging scan planning)을 위해 깊이 카메라 이미지(depth camera image)로부터 인간 대상(human subject)의 개인화된 3D 아바타 메시(personalized 3D avatar mesh)를 생성하는 방법으로서,
    대상의 깊이 카메라 이미지를 3D 포인트 클라우드(3D point cloud)로 컨버팅(converting)하는 단계;
    상기 3D 포인트 클라우드에서 복수의 해부학적 랜드마크(anatomical landmark)들을 검출하는 단계;
    검출된 해부학적 랜드마크들에 기초하여 템플레이트 메시(template mesh)를 상기 3D 포인트 클라우드에 대해 정렬함으로써 3D 아바타 메시를 초기화하는 단계; 및
    트레이닝된(trained) 파라메트릭 변형가능 모델(PDM; parametric deformable model)을 이용하여 상기 3D 아바타 메시를 최적화함으로써 상기 대상의 개인화된 3D 아바타 메시를 생성하는 단계를 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  2. 제 1 항에 있어서,
    상기 깊이 카메라 이미지는 적색, 녹색, 청색(RGB; red, green, blue) 이미지 및 깊이 이미지를 포함하고, 그리고
    상기 대상의 깊이 카메라 이미지를 3D 포인트 클라우드로 컨버팅하는 단계는,
    상기 RGB 이미지의 복수의 픽셀(pixel)들 각각에 대해, 상기 깊이 이미지의 대응하는 깊이 값에 기초하여 픽셀을 상기 3D 포인트 클라우드의 위치에 맵핑(mapping)하는 단계를 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  3. 제 1 항에 있어서,
    상기 3D 포인트 클라우드에서 복수의 해부학적 랜드마크들을 검출하는 단계는,
    상기 3D 포인트 클라우드에서의 상기 대상의 관절(joint)들의 위치들에 대응하는 복수의 관절 랜드마크(joint landmark)들을 검출하는 단계를 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  4. 제 1 항에 있어서,
    상기 3D 포인트 클라우드에서 복수의 해부학적 랜드마크들을 검출하는 단계는,
    각각의 트레이닝된 분류기(trained classifier)를 이용하여 상기 복수의 해부학적 랜드마크들 각각을 검출하는 단계를 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  5. 제 1 항에 있어서,
    상기 트레이닝된 PDM은 트레이닝된 포즈 변형 모델(trained pose deformation model) 및 트레이닝된 형상 변형 모델(trained shape deformation model)을 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  6. 제 5 항에 있어서,
    상기 트레이닝된 PDM은 복수의 트레이닝 인스턴스(training instance)들에 기초하여 트레이닝되고, 그리고
    상기 복수의 트레이닝 인스턴스들은 3D 렌더링 소프트웨어(3D rendering software)를 이용하여 생성된 복수의 포즈들 및 몸체 형상들을 갖는 복수의 합성형 인간 메시(synthetic human mesh)들을 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  7. 제 1 항에 있어서,
    상기 트레이닝된 파라메트릭 변형가능 모델(PDM; parametric deformable model)을 이용하여 상기 3D 아바타 메시를 최적화함으로써 상기 대상의 개인화된 3D 아바타 메시를 생성하는 단계는,
    비용 함수를 최소화하기 위해 상기 3D 아바타 메시의 포즈 및 형상 그리고 상기 3D 아바타 메시의 정점들의 위치들을 제어하는, 상기 트레이닝된 PDM의 파라미터(parameter)들을 최적화하는 단계를 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  8. 제 7 항에 있어서,
    상기 비용 함수는 의복 제약(clothing constraint)을 포함하고, 상기 의복 제약은 상기 최적화로 하여금, 상기 3D 포인트 클라우드의 대응하는 포인트들 아래의 의복 영역(clothing region)에서 상기 3D 아바타의 정점들을 이동시키게 하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  9. 제 8 항에 있어서,
    상기 의복 제약은, 상기 3D 아바타 메시의 각각의 정점에 대해 계산된, 상기 정점이 비-의복 영역(non-clothing region)에 있을 확률에 기초하고, 그리고 각각의 정점에 대한 확률은 트레이닝된 확률 모델을 이용하여 계산되는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  10. 제 7 항에 있어서,
    상기 비용 함수는 테이블 제약(table constraint)을 포함하고, 상기 테이블 제약은 상기 최적화로 하여금, 상기 대상이 놓여 있는 테이블 위에서 상기 3D 아바타의 정점들을 이동시키게 하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  11. 제 7 항에 있어서,
    상기 비용 함수는 평활도 제약(smoothness constraint)을 포함하고, 상기 평활도 제약은 상기 3D 아바타 메시의 정점에 대한 이웃 정점들의 평균 변형과 상이한, 상기 3D 아바타 메시의 정점의 변형들을 페널라이징(penalize)하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  12. 제 7 항에 있어서,
    최소화될 상기 비용 함수는,
    Figure pct00080
    이고,
    여기서,
    Figure pct00081
    는 강성 회전 행렬(rigid rotation matrix)이고,
    Figure pct00082
    는 트레이닝된 형상 변형 모델이고,
    Figure pct00083
    는 트레이닝된 포즈 변형 모델이고,
    Figure pct00084
    는 상기 템플레이트 메시의 삼각형의 에지(edge)들을 나타내고,
    Figure pct00085
    는 추정된 아바타 메시 모델의 정점들을 나타내고, L은 아바타 정점
    Figure pct00086
    과 상기 3D 포인트 클라우드의 대응하는 포인트
    Figure pct00087
    사이의 대응성(correspondence)들의 세트(set)이고,
    Figure pct00088
    는 의복 제약이고,
    Figure pct00089
    는 테이블 제약이고, 그리고
    Figure pct00090
    는 평활도 제약인,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  13. 제 12 항에 있어서,
    Figure pct00091
    이고,
    여기서,
    Figure pct00092
    는 상기 포인트
    Figure pct00093
    의 법선이고,
    Figure pct00094
    인 경우에, 상기 아바타 메시의 정점은 상기 3D 포인트 클라우드 아래에 있고,
    Figure pct00095
    은
    Figure pct00096
    에 의해 결정되고, 여기서
    Figure pct00097
    이고,
    Figure pct00098
    는 트레이닝된 확률 모델을 이용하여 계산된, 상기 3D 아바타 메시의 정점
    Figure pct00099
    이 비-의복 영역에 속할 확률을 표현하고, 그리고
    Figure pct00100
    는 의복의 두께를 포함한, 아바타 표면과 의복 표면 사이의 최대 거리를 표현하는 임계치인,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  14. 제 12 항에 있어서,
    Figure pct00101
    이고,
    여기서,
    Figure pct00102
    는 아바타 정점
    Figure pct00103
    의 z-축 값이고,
    Figure pct00104
    는 현재의 테이블 높이이고, 그리고
    Figure pct00105
    은 상기 아바타 메시가 상기 테이블의 충분히 위에 놓임을 보장하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  15. 제 12 항에 있어서,
    Figure pct00106
    이고,
    여기서,
    Figure pct00107
    는 새로운 아바타 메시의 정점들을 나타내고,
    Figure pct00108
    는 현재의 아바타 메시의 정점들을 나타내고, 그리고
    Figure pct00109
    는 정점
    Figure pct00110
    에 인접한 정점들의 세트인,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  16. 제 1 항에 있어서,
    상기 트레이닝된 파라메트릭 변형가능 모델(PDM; parametric deformable model)을 이용하여 상기 3D 아바타 메시를 최적화함으로써 상기 대상의 개인화된 3D 아바타 메시를 생성하는 단계는,
    (a) 상기 3D 포인트 클라우드에서 검출된 상기 해부학적 랜드마크들과 상기 3D 아바타 메시의 대응하는 해부학적 랜드마크들 사이의 대응성들을 초기에 포함한 대응성들의 세트에 기초하는 상기 PDM을 이용하여 상기 3D 아바타 메시를 최적화함으로써 현재의 3D 아바타 메시를 생성하는 단계;
    (b) 상기 현재의 3D 아바타 메시와 상기 3D 포인트 클라우드 사이의 전체 등록(full registration)을 수행하는 단계;
    (c) 상기 3D 아바타 메시의 정점과 상기 3D 포인트 클라우드의 대응하는 포인트 사이의 거리가 임계치보다 더 큰 대응성들을 상기 대응성들의 세트로부터 제거하는 단계;
    (d) 상기 대응성들의 세트의 나머지 대응성들에 기초하여 상기 현재의 3D 아바타 메시를 상기 3D 포인트 클라우드에 대해 재정렬하는 단계; 및
    (e) 상기 현재의 3D 아바타 메시가 수렴될 때까지, 상기 단계 (a) 내지 단계 (d)를 반복하는 단계를 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  17. 제 16 항에 있어서,
    상기 3D 포인트 클라우드에서 검출된 상기 해부학적 랜드마크들과 상기 3D 아바타 메시의 대응하는 해부학적 랜드마크들 사이의 대응성들을 초기에 포함한 대응성들의 세트에 기초하는 상기 PDM을 이용하여 상기 3D 아바타 메시를 최적화함으로써 현재의 3D 아바타 메시를 생성하는 단계는,
    상기 템플레이트 메시의 형상 변형 및 상기 현재의 3D 아바타 메시의 정점들을 고정된 채로 유지하면서, 상기 현재의 3D 아바타 메시에 대한 최적의 포즈를 초래하는 상기 템플레이트 메시의 포즈 변형을 결정하기 위해 강성 회전 행렬을 최적화하는 단계;
    상기 강성 회전 행렬 및 상기 템플레이트 메시의 형상 변형을 고정된 채로 유지하면서, 상기 3D 포인트 클라우드에 기초하여 정점들의 위치들을 미세 튜닝(fine tune)하기 위해 상기 현재의 3D 메시의 정점들의 위치들을 최적화하는 단계; 및
    상기 강성 회전 행렬, 상기 포즈 변형, 및 상기 현재의 3D 아바타 메시의 정점들을 고정된 채로 유지하면서, 상기 현재의 3D 아바타 메시에 대한 최적의 형상을 초래하는 형상 변형을 결정하기 위해 상기 템플레이트 메시의 형상 변형을 최적화하는 단계를 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  18. 제 17 항에 있어서,
    상기 3D 포인트 클라우드에서 검출된 상기 해부학적 랜드마크들과 상기 3D 아바타 메시의 대응하는 해부학적 랜드마크들 사이의 대응성들을 초기에 포함한 대응성들의 세트에 기초하는 상기 PDM을 이용하여 상기 3D 아바타 메시를 최적화함으로써 현재의 3D 아바타 메시를 생성하는 단계는,
    복수의 반복들 동안 상기 강성 회전 행렬의 최적화, 상기 현재의 3D 아바타 메시의 정점들의 위치들의 최적화, 및 상기 형상 변형의 최적화를 반복하는 단계를 더 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  19. 제 1 항에 있어서,
    상기 대상의 상기 개인화된 3D 아바타 메시에 기초하여 의료 이미지 포착을 위한 스캔 계획(scan plan)을 결정하는 단계를 더 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  20. 제 19 항에 있어서,
    상기 대상의 상기 개인화된 3D 아바타 메시에 기초하여 의료 이미지 포착을 위한 스캔 계획을 결정하는 단계는,
    상기 대상의 상기 3D-아바타 메시를 이용하여 환자 등각점(iso-center)을 검출하는 단계; 및
    상기 환자 등각점에 기초하여 상기 의료 이미지 포착을 위한 스캔 계획을 결정하는 단계를 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  21. 제 19 항에 있어서,
    상기 대상의 상기 개인화된 3D 아바타 메시에 기초하여 의료 이미지 포착을 위한 스캔 계획을 결정하는 단계는,
    상기 대상의 상기 3D-아바타 메시에 기초하여 상기 대상의 적어도 하나의 장기(organ)의 위치를 검출하는 단계; 및
    상기 적어도 하나의 장기의 위치에 기초하여 상기 의료 이미지 포착을 위한 스캔 계획을 결정하는 단계를 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 인간 대상의 개인화된 3D 아바타 메시를 생성하는 방법.
  22. 의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치로서,
    대상의 깊이 카메라 이미지를 3D 포인트 클라우드로 컨버팅하기 위한 수단;
    상기 3D 포인트 클라우드에서 복수의 해부학적 랜드마크들을 검출하기 위한 수단;
    검출된 해부학적 랜드마크들에 기초하여 템플레이트 메시를 상기 3D 포인트 클라우드에 대해 정렬함으로써 3D 아바타 메시를 초기화하기 위한 수단; 및
    트레이닝된 파라메트릭 변형가능 모델(PDM; parametric deformable model)을 이용하여 상기 3D 아바타 메시를 최적화함으로써 상기 대상의 개인화된 3D 아바타 메시를 생성하기 위한 수단을 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  23. 제 22 항에 있어서,
    상기 3D 포인트 클라우드에서 복수의 해부학적 랜드마크들을 검출하기 위한 수단은,
    상기 3D 포인트 클라우드에서의 상기 대상의 관절들의 위치들에 대응하는 복수의 관절 랜드마크들을 검출하기 위한 수단을 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  24. 제 22 항에 있어서,
    상기 트레이닝된 PDM은 트레이닝된 포즈 변형 모델 및 트레이닝된 형상 변형 모델을 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  25. 제 22 항에 있어서,
    상기 트레이닝된 파라메트릭 변형가능 모델(PDM; parametric deformable model)을 이용하여 상기 3D 아바타 메시를 최적화함으로써 상기 대상의 개인화된 3D 아바타 메시를 생성하기 위한 수단은,
    비용 함수를 최소화하기 위해 상기 3D 아바타 메시의 포즈 및 형상 그리고 상기 3D 아바타 메시의 정점들의 위치들을 제어하는 상기 트레이닝된 PDM의 파라미터들을 최적화하기 위한 수단을 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  26. 제 25 항에 있어서,
    상기 비용 함수는 의복 제약을 포함하고, 상기 의복 제약은 상기 최적화로 하여금, 상기 3D 포인트 클라우드의 대응하는 포인트들 아래의 의복 영역에서 상기 3D 아바타의 정점들을 이동시키게 하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  27. 제 26 항에 있어서,
    상기 의복 제약은, 상기 3D 아바타 메시의 각각의 정점에 대해 계산된, 상기 정점이 비-의복 영역에 있을 확률에 기초하고, 그리고 각각의 정점에 대한 확률은 트레이닝된 확률 모델을 이용하여 계산되는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  28. 제 25 항에 있어서,
    상기 비용 함수는 테이블 제약을 포함하고, 상기 테이블 제약은 상기 최적화로 하여금, 상기 대상이 놓여 있는 테이블 위에서 상기 3D 아바타의 정점들을 이동시키게 하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  29. 제 25 항에 있어서,
    상기 비용 함수는 평활도 제약을 포함하고, 상기 평활도 제약은 상기 3D 아바타 메시의 정점에 대한 이웃 정점들의 평균 변형과 상이한, 상기 3D 아바타 메시의 정점의 변형들을 페널라이징하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  30. 제 22 항에 있어서,
    상기 트레이닝된 파라메트릭 변형가능 모델(PDM; parametric deformable model)을 이용하여 상기 3D 아바타 메시를 최적화함으로써 상기 대상의 개인화된 3D 아바타 메시를 생성하기 위한 수단은,
    상기 3D 포인트 클라우드에서 검출된 상기 해부학적 랜드마크들과 상기 3D 아바타 메시의 대응하는 해부학적 랜드마크들 사이의 대응성들을 초기에 포함한 대응성들의 세트에 기초하는 상기 PDM을 이용하여 상기 3D 아바타 메시를 최적화함으로써 현재의 3D 아바타 메시를 생성하기 위한 수단;
    상기 현재의 3D 아바타 메시와 상기 3D 포인트 클라우드 사이의 전체 등록을 수행하기 위한 수단;
    상기 3D 아바타 메시의 정점과 상기 3D 포인트 클라우드의 대응하는 포인트 사이의 거리가 임계치보다 더 큰 대응성들을 상기 대응성들의 세트로부터 제거하기 위한 수단; 및
    상기 대응성들의 세트의 나머지 대응성들에 기초하여 상기 현재의 3D 아바타 메시를 상기 3D 포인트 클라우드에 대해 재정렬하기 위한 수단을 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  31. 제 30 항에 있어서,
    상기 3D 포인트 클라우드에서 검출된 상기 해부학적 랜드마크들과 상기 3D 아바타 메시의 대응하는 해부학적 랜드마크들 사이의 대응성들을 초기에 포함한 대응성들의 세트에 기초하는 상기 PDM을 이용하여 상기 3D 아바타 메시를 최적화함으로써 현재의 3D 아바타 메시를 생성하기 위한 수단은,
    상기 템플레이트 메시의 형상 변형 및 상기 현재의 3D 아바타 메시의 정점들을 고정된 채로 유지하면서, 상기 현재의 3D 아바타 메시에 대한 최적의 포즈를 초래하는 상기 템플레이트 메시의 포즈 변형을 결정하기 위해 강성 회전 행렬을 최적화하기 위한 수단;
    상기 강성 회전 행렬 및 상기 템플레이트 메시의 형상 변형을 고정된 채로 유지하면서, 상기 3D 포인트 클라우드에 기초하여 정점들의 위치들을 미세 튜닝하기 위해 상기 현재의 3D 메시의 정점들의 위치들을 최적화하기 위한 수단; 및
    상기 강성 회전 행렬, 상기 포즈 변형, 및 상기 현재의 3D 아바타 메시의 정점들을 고정된 채로 유지하면서, 상기 현재의 3D 아바타 메시에 대한 최적의 형상을 초래하는 형상 변형을 결정하기 위해 상기 템플레이트 메시의 형상 변형을 최적화하기 위한 수단을 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  32. 제 22 항에 있어서,
    상기 대상의 상기 개인화된 3D 아바타 메시에 기초하여 의료 이미지 포착을 위한 스캔 계획을 결정하기 위한 수단을 더 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  33. 제 32 항에 있어서,
    상기 대상의 상기 개인화된 3D 아바타 메시에 기초하여 의료 이미지 포착을 위한 스캔 계획을 결정하기 위한 수단은,
    상기 대상의 상기 3D-아바타 메시를 이용하여 환자 등각점을 검출하기 위한 수단; 및
    상기 환자 등각점에 기초하여 상기 의료 이미지 포착을 위한 스캔 계획을 결정하기 위한 수단을 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  34. 제 19 항에 있어서,
    상기 대상의 상기 개인화된 3D 아바타 메시에 기초하여 의료 이미지 포착을 위한 스캔 계획을 결정하기 위한 수단은,
    상기 대상의 상기 3D-아바타 메시에 기초하여 상기 대상의 적어도 하나의 장기의 위치를 검출하기 위한 수단; 및
    상기 적어도 하나의 장기의 위치에 기초하여 상기 의료 이미지 포착을 위한 스캔 계획을 결정하기 위한 수단을 포함하는,
    의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 장치.
  35. 의료 이미징 스캔 계획을 위해 깊이 카메라 이미지로부터 대상의 개인화된 3D 아바타 메시를 생성하기 위한 컴퓨터 프로그램 명령(computer program instruction)들을 저장하는 비-일시적 컴퓨터 판독가능 매체(computer readable medium)로서,
    상기 컴퓨터 프로그램 명령들은 프로세서(processor)에 의해 실행될 때, 상기 프로세서로 하여금 동작들을 수행하게 하며,
    상기 동작들은,
    대상의 깊이 카메라 이미지를 3D 포인트 클라우드로 컨버팅하는 동작;
    상기 3D 포인트 클라우드에서 복수의 해부학적 랜드마크들을 검출하는 동작;
    검출된 해부학적 랜드마크들에 기초하여 템플레이트 메시를 상기 3D 포인트 클라우드에 대해 정렬함으로써 3D 아바타 메시를 초기화하는 동작; 및
    트레이닝된 파라메트릭 변형가능 모델(PDM; parametric deformable model)을 이용하여 상기 3D 아바타 메시를 최적화함으로써 상기 대상의 개인화된 3D 아바타 메시를 생성하는 동작을 포함하는,
    비-일시적 컴퓨터 판독가능 매체.
  36. 제 35 항에 있어서,
    상기 깊이 카메라 이미지는 적색, 녹색, 청색(RGB; red, green, blue) 이미지 및 깊이 이미지를 포함하고,
    상기 대상의 깊이 카메라 이미지를 3D 포인트 클라우드로 컨버팅하는 동작은,
    상기 RGB 이미지의 복수의 픽셀들 각각에 대해, 상기 깊이 이미지의 대응하는 깊이 값에 기초하여 픽셀을 상기 3D 포인트 클라우드의 위치에 맵핑하는 동작을 포함하는,
    비-일시적 컴퓨터 판독가능 매체.
  37. 제 35 항에 있어서,
    상기 3D 포인트 클라우드에서 복수의 해부학적 랜드마크들을 검출하는 동작은,
    상기 3D 포인트 클라우드에서의 상기 대상의 관절들의 위치들에 대응하는 복수의 관절 랜드마크들을 검출하는 동작을 포함하는,
    비-일시적 컴퓨터 판독가능 매체.
  38. 제 35 항에 있어서,
    상기 3D 포인트 클라우드에서 복수의 해부학적 랜드마크들을 검출하는 동작은,
    각각의 트레이닝된 분류기를 이용하여 상기 복수의 해부학적 랜드마크들 각각을 검출하는 동작을 포함하는,
    비-일시적 컴퓨터 판독가능 매체.
  39. 제 35 항에 있어서,
    상기 트레이닝된 PDM은 트레이닝된 포즈 변형 모델 및 트레이닝된 형상 변형 모델을 포함하는,
    비-일시적 컴퓨터 판독가능 매체.
  40. 제 35 항에 있어서,
    상기 트레이닝된 파라메트릭 변형가능 모델(PDM; parametric deformable model)을 이용하여 상기 3D 아바타 메시를 최적화함으로써 상기 대상의 개인화된 3D 아바타 메시를 생성하는 동작은,
    비용 함수를 최소화하기 위해 상기 3D 아바타 메시의 포즈 및 형상 그리고 상기 3D 아바타 메시의 정점들의 위치들을 제어하는, 상기 트레이닝된 PDM의 파라미터들을 최적화하는 동작을 포함하는,
    비-일시적 컴퓨터 판독가능 매체.
  41. 제 40 항에 있어서,
    상기 비용 함수는 의복 제약을 포함하고, 상기 의복 제약은 상기 최적화로 하여금, 상기 3D 포인트 클라우드의 대응하는 포인트들 아래의 의복 영역에서 상기 3D 아바타의 정점들을 이동시키게 하는,
    비-일시적 컴퓨터 판독가능 매체.
  42. 제 41 항에 있어서,
    상기 의복 제약은, 상기 3D 아바타 메시의 각각의 정점에 대해 계산된, 상기 정점이 비-의복 영역에 있을 확률에 기초하고, 그리고 각각의 정점에 대한 확률은 트레이닝된 확률 모델을 이용하여 계산되는,
    비-일시적 컴퓨터 판독가능 매체.
  43. 제 40 항에 있어서,
    상기 비용 함수는 테이블 제약을 포함하고, 상기 테이블 제약은 상기 최적화로 하여금, 상기 대상이 놓여 있는 테이블 위에서 상기 3D 아바타의 정점들을 이동시키게 하는,
    비-일시적 컴퓨터 판독가능 매체.
  44. 제 40 항에 있어서,
    상기 비용 함수는 평활도 제약을 포함하고, 상기 평활도 제약은 상기 3D 아바타 메시의 정점에 대한 이웃 정점들의 평균 변형과 상이한, 상기 3D 아바타 메시의 정점의 변형들을 페널라이징하는,
    비-일시적 컴퓨터 판독가능 매체.
  45. 제 35 항에 있어서,
    상기 트레이닝된 파라메트릭 변형가능 모델(PDM; parametric deformable model)을 이용하여 상기 3D 아바타 메시를 최적화함으로써 상기 대상의 개인화된 3D 아바타 메시를 생성하는 동작은,
    (a) 상기 3D 포인트 클라우드에서 검출된 상기 해부학적 랜드마크들과 상기 3D 아바타 메시의 대응하는 해부학적 랜드마크들 사이의 대응성들을 초기에 포함한 대응성들의 세트에 기초하는 상기 PDM을 이용하여 상기 3D 아바타 메시를 최적화함으로써 현재의 3D 아바타 메시를 생성하는 동작;
    (b) 상기 현재의 3D 아바타 메시와 상기 3D 포인트 클라우드 사이의 전체 등록을 수행하는 동작;
    (c) 상기 3D 아바타 메시의 정점과 상기 3D 포인트 클라우드의 대응하는 포인트 사이의 거리가 임계치보다 더 큰 대응성들을 상기 대응성들의 세트로부터 제거하는 동작;
    (d) 상기 대응성들의 세트의 나머지 대응성들에 기초하여 상기 현재의 3D 아바타 메시를 상기 3D 포인트 클라우드에 대해 재정렬하는 동작; 및
    (e) 상기 현재의 3D 아바타 메시가 수렴될 때까지, 상기 동작 (a) 내지 동작 (d)를 반복하는 동작을 포함하는,
    비-일시적 컴퓨터 판독가능 매체.
  46. 제 45 항에 있어서,
    상기 3D 포인트 클라우드에서 검출된 상기 해부학적 랜드마크들과 상기 3D 아바타 메시의 대응하는 해부학적 랜드마크들 사이의 대응성들을 초기에 포함한 대응성들의 세트에 기초하는 상기 PDM을 이용하여 상기 3D 아바타 메시를 최적화함으로써 현재의 3D 아바타 메시를 생성하는 동작은,
    상기 템플레이트 메시의 형상 변형 및 상기 현재의 3D 아바타 메시의 정점들을 고정된 채로 유지하면서, 상기 현재의 3D 아바타 메시에 대한 최적의 포즈를 초래하는 상기 템플레이트 메시의 포즈 변형을 결정하기 위해 강성 회전 행렬을 최적화하는 동작;
    상기 강성 회전 행렬 및 상기 템플레이트 메시의 형상 변형을 고정된 채로 유지하면서, 상기 3D 포인트 클라우드에 기초하여 정점들의 위치들을 미세 튜닝하기 위해 상기 현재의 3D 메시의 정점들의 위치들을 최적화하는 동작; 및
    상기 강성 회전 행렬, 상기 포즈 변형, 및 상기 현재의 3D 아바타 메시의 정점들을 고정된 채로 유지하면서, 상기 현재의 3D 아바타 메시에 대한 최적의 형상을 초래하는 형상 변형을 결정하기 위해 상기 템플레이트 메시의 형상 변형을 최적화하는 동작을 포함하는,
    비-일시적 컴퓨터 판독가능 매체.
  47. 제 46 항에 있어서,
    상기 3D 포인트 클라우드에서 검출된 상기 해부학적 랜드마크들과 상기 3D 아바타 메시의 대응하는 해부학적 랜드마크들 사이의 대응성들을 초기에 포함한 대응성들의 세트에 기초하는 상기 PDM을 이용하여 상기 3D 아바타 메시를 최적화함으로써 현재의 3D 아바타 메시를 생성하는 동작은,
    복수의 반복들 동안 상기 강성 회전 행렬의 최적화, 상기 현재의 3D 아바타 메시의 정점들의 위치들의 최적화, 및 상기 형상 변형의 최적화를 반복하는 동작을 더 포함하는,
    비-일시적 컴퓨터 판독가능 매체.
  48. 제 35 항에 있어서,
    상기 동작들은,
    상기 대상의 상기 개인화된 3D 아바타 메시에 기초하여 의료 이미지 포착을 위한 스캔 계획을 결정하는 동작을 더 포함하는,
    비-일시적 컴퓨터 판독가능 매체.
  49. 제 48 항에 있어서,
    상기 대상의 상기 개인화된 3D 아바타 메시에 기초하여 의료 이미지 포착을 위한 스캔 계획을 결정하는 동작은,
    상기 대상의 상기 3D-아바타 메시를 이용하여 환자 등각점을 검출하는 동작; 및
    상기 환자 등각점에 기초하여 상기 의료 이미지 포착을 위한 스캔 계획을 결정하는 동작을 포함하는,
    비-일시적 컴퓨터 판독가능 매체.
  50. 제 48 항에 있어서,
    상기 대상의 상기 개인화된 3D 아바타 메시에 기초하여 의료 이미지 포착을 위한 스캔 계획을 결정하는 동작은,
    상기 대상의 상기 3D-아바타 메시에 기초하여 상기 대상의 적어도 하나의 장기의 위치를 검출하는 동작; 및
    상기 적어도 하나의 장기의 위치에 기초하여 상기 의료 이미지 포착을 위한 스캔 계획을 결정하는 동작을 포함하는,
    비-일시적 컴퓨터 판독가능 매체.
KR1020167023651A 2014-01-28 2015-01-27 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템 KR101833364B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461932441P 2014-01-28 2014-01-28
US61/932,441 2014-01-28
US14/604,829 US9524582B2 (en) 2014-01-28 2015-01-26 Method and system for constructing personalized avatars using a parameterized deformable mesh
US14/604,829 2015-01-26
PCT/US2015/013013 WO2015116563A1 (en) 2014-01-28 2015-01-27 Method and system for constructing personalized avatars using a parameterized deformable mesh

Publications (2)

Publication Number Publication Date
KR20160115959A true KR20160115959A (ko) 2016-10-06
KR101833364B1 KR101833364B1 (ko) 2018-02-28

Family

ID=53679531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167023651A KR101833364B1 (ko) 2014-01-28 2015-01-27 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템

Country Status (5)

Country Link
US (1) US9524582B2 (ko)
EP (1) EP3100236B1 (ko)
KR (1) KR101833364B1 (ko)
CN (1) CN106164978B (ko)
WO (1) WO2015116563A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190045013A (ko) * 2017-10-23 2019-05-02 삼성전자주식회사 가상 오브젝트 생성 방법 및 장치
KR20200115231A (ko) * 2019-03-27 2020-10-07 일렉트로닉 아트 아이엔씨. 이미지 또는 비디오 데이터로부터의 가상 캐릭터 생성
KR20210090456A (ko) * 2020-01-10 2021-07-20 (주)내스타일 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템
KR20210121628A (ko) 2020-03-31 2021-10-08 주식회사 만도 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템
US11276216B2 (en) 2019-03-27 2022-03-15 Electronic Arts Inc. Virtual animal character generation from image or video data
US11369880B2 (en) 2016-03-08 2022-06-28 Electronic Arts Inc. Dynamic difficulty adjustment
US11413539B2 (en) 2017-02-28 2022-08-16 Electronic Arts Inc. Realtime dynamic modification and optimization of gameplay parameters within a video game application
US11458399B2 (en) 2016-12-30 2022-10-04 Electronic Arts Inc. Systems and methods for automatically measuring a video game difficulty
US11532172B2 (en) 2018-06-13 2022-12-20 Electronic Arts Inc. Enhanced training of machine learning systems based on automatically generated realistic gameplay information

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2811463B1 (en) 2013-06-04 2018-11-21 Dassault Systèmes Designing a 3d modeled object with 2d views
US10314357B2 (en) 2013-10-18 2019-06-11 Vf Corporation Anatomy shading for garments
US20150106993A1 (en) 2013-10-18 2015-04-23 The Regents Of The University Of California Anatomy shading for garments
EP2874118B1 (en) 2013-11-18 2017-08-02 Dassault Systèmes Computing camera parameters
DE102014210051A1 (de) * 2014-05-27 2015-12-03 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zur Bestimmung einer Oberflächentopographie eines Körpers
US9911220B2 (en) * 2014-07-28 2018-03-06 Adobe Systes Incorporated Automatically determining correspondences between three-dimensional models
US10430551B2 (en) 2014-11-06 2019-10-01 Siemens Healthcare Gmbh Scan data retrieval with depth sensor data
EP3032495B1 (en) 2014-12-10 2019-11-13 Dassault Systèmes Texturing a 3d modeled object
US10515259B2 (en) * 2015-02-26 2019-12-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining 3D object poses and landmark points using surface patches
US10474927B2 (en) * 2015-09-03 2019-11-12 Stc. Unm Accelerated precomputation of reduced deformable models
EP3188033B1 (en) * 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object
DE102016200225B4 (de) 2016-01-12 2017-10-19 Siemens Healthcare Gmbh Perspektivisches Darstellen eines virtuellen Szenebestandteils
USD802256S1 (en) 2016-01-29 2017-11-14 V.F. Corporation Pant with anatomy enhancing pockets
US10127717B2 (en) * 2016-02-16 2018-11-13 Ohzone, Inc. System for 3D Clothing Model Creation
US10593106B2 (en) 2016-02-16 2020-03-17 Rakuten, Inc. Three-dimensional model generating system, three-dimensional model generating method, and program
CN108701493A (zh) * 2016-02-29 2018-10-23 皇家飞利浦有限公司 用于验证医学图像的图像相关信息的设备、系统和方法
AU2017260525B2 (en) * 2016-05-04 2022-06-30 Styku Llc Method and system for body scanning and display of biometric data
US9898858B2 (en) * 2016-05-18 2018-02-20 Siemens Healthcare Gmbh Human body representation with non-rigid parts in an imaging system
US10215858B1 (en) * 2016-06-30 2019-02-26 Google Llc Detection of rigid shaped objects
US10327487B2 (en) * 2016-07-19 2019-06-25 Vf Corporation Body-enhancing garment and garment design
US20180014590A1 (en) 2016-07-18 2018-01-18 Vf Corporation Body-enhancing garment and garment construction
EP3293705B1 (en) 2016-09-12 2022-11-16 Dassault Systèmes 3d reconstruction of a real object from a depth map
CN108310677B (zh) * 2017-01-11 2020-02-28 南京中硼联康医疗科技有限公司 基于医学影像数据的平滑几何模型建立方法
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
WO2018146558A2 (en) 2017-02-07 2018-08-16 Mindmaze Holding Sa Systems, methods and apparatuses for stereo vision and tracking
US10546415B2 (en) * 2017-02-07 2020-01-28 Siemens Healthcare Gmbh Point cloud proxy for physically-based volume rendering
US11367198B2 (en) * 2017-02-07 2022-06-21 Mindmaze Holding Sa Systems, methods, and apparatuses for tracking a body or portions thereof
US10182771B2 (en) 2017-02-10 2019-01-22 Siemens Healthcare Gmbh Method and system for dose-optimized computed tomography scanning of a target organ
US10867181B2 (en) * 2017-02-20 2020-12-15 Pcms Holdings, Inc. Dynamically presenting augmented reality information for reducing peak cognitive demand
US10635930B2 (en) * 2017-02-24 2020-04-28 Siemens Healthcare Gmbh Patient position control for scanning
US10595039B2 (en) 2017-03-31 2020-03-17 Nvidia Corporation System and method for content and motion controlled action video generation
US10507002B2 (en) 2017-05-23 2019-12-17 Siemens Healthcare Gmbh X-ray system and method for standing subject
CN110476186B (zh) * 2017-06-07 2020-12-29 谷歌有限责任公司 高速高保真面部跟踪
US10425629B2 (en) * 2017-06-28 2019-09-24 Siemens Healthcare Gmbh System for dense registration of two-dimensional depth images
US10186038B1 (en) 2017-07-18 2019-01-22 Siemens Healthcare Gmbh Segmentation and representation network for pose discrimination
US10732284B2 (en) 2017-07-28 2020-08-04 The Boeing Company Live metrology of an object during manufacturing or other operations
US10438408B2 (en) 2017-07-28 2019-10-08 The Boeing Company Resolution adaptive mesh for performing 3-D metrology of an object
US10354444B2 (en) 2017-07-28 2019-07-16 The Boeing Company Resolution adaptive mesh that is generated using an intermediate implicit representation of a point cloud
US10470825B2 (en) * 2017-08-16 2019-11-12 Synaptive Medical (Barbados) Inc. Method, system and apparatus for surface rendering using medical imaging data
EP3688720A1 (en) * 2017-10-31 2020-08-05 Swanson, James Martin Systems and methods to estimate human length
EP3483839A1 (en) * 2017-11-08 2019-05-15 Siemens Healthcare GmbH Dynamic generation of a medical scene model
CN107798726B (zh) * 2017-11-14 2021-07-20 刘芳圃 三维漫画的制作方法和装置
EP3503113B1 (de) 2017-12-22 2024-02-21 Siemens Healthineers AG Cloudbasierte mr-bildgebung
US10962355B2 (en) * 2017-12-25 2021-03-30 Htc Corporation 3D model reconstruction method, electronic device, and non-transitory computer readable storage medium thereof
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
US10748034B2 (en) * 2018-01-10 2020-08-18 Siemens Healthcare Gmbh Method and system for learning to obtain medical scans of patients
CN111837392A (zh) * 2018-01-19 2020-10-27 交互数字Vc控股公司 处理点云
CN108319786B (zh) * 2018-02-05 2021-08-10 湖南省忘不了服饰有限公司 一种机织物下摆卷边缝制工艺参数的智能制定方法
CA3089316A1 (en) * 2018-02-27 2019-09-06 Magic Leap, Inc. Matching meshes for virtual avatars
US10925565B2 (en) 2018-04-11 2021-02-23 Siemens Healthcare Gmbh Machine-learning based contrast agent administration
CN108895979B (zh) * 2018-05-10 2020-04-07 西安电子科技大学 线段编码的结构光深度获取方法
FI20185517A1 (en) 2018-06-06 2019-12-07 Nomo Tech Oy Measurement of surface distances on human bodies
HK1253750A2 (zh) * 2018-07-04 2019-06-28 Bun Kwai 用於將3d掃描對象轉換為化身的方法和裝置
KR102545980B1 (ko) 2018-07-19 2023-06-21 액티브 서지컬, 인크. 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법
WO2020023788A1 (en) * 2018-07-27 2020-01-30 Magic Leap, Inc. Pose space dimensionality reduction for pose space deformation of a virtual character
US20200051257A1 (en) * 2018-08-08 2020-02-13 Siemens Medical Solutions Usa, Inc. Scan alignment based on patient-based surface in medical diagnostic ultrasound imaging
FR3085521A1 (fr) * 2018-09-04 2020-03-06 Exsens Procede ameliore de creation d’une representation tridimensionnelle virtuelle du buste d’une personne
US10621788B1 (en) 2018-09-25 2020-04-14 Sony Corporation Reconstructing three-dimensional (3D) human body model based on depth points-to-3D human body model surface distance
US10799206B2 (en) 2018-09-28 2020-10-13 General Electric Company System and method for calibrating an imaging system
US11475630B2 (en) 2018-10-17 2022-10-18 Midea Group Co., Ltd. System and method for generating acupuncture points on reconstructed 3D human body model for physical therapy
US11367239B2 (en) 2018-11-09 2022-06-21 Samsung Electronics Co., Ltd. Textured neural avatars
US10984609B2 (en) * 2018-11-21 2021-04-20 Electronics And Telecommunications Research Institute Apparatus and method for generating 3D avatar
KR102655987B1 (ko) * 2018-11-21 2024-04-11 한국전자통신연구원 3차원 아바타 생성 장치 및 방법
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
EP3671660A1 (en) * 2018-12-20 2020-06-24 Dassault Systèmes Designing a 3d modeled object via user-interaction
EP3671557A1 (en) * 2018-12-20 2020-06-24 RaySearch Laboratories AB Data augmentation
CN109859306A (zh) * 2018-12-24 2019-06-07 青岛红创众投科技发展有限公司 一种基于机器学习的从照片中提取人体模型的方法
CN113906479A (zh) * 2018-12-28 2022-01-07 艾科缇弗外科公司 从局部深度图生成合成三维成像
US11703373B2 (en) 2019-02-25 2023-07-18 Siemens Healthcare Gmbh Patient weight estimation from surface data using a patient model
US10891744B1 (en) 2019-03-13 2021-01-12 Argo AI, LLC Determining the kinetic state of a body using LiDAR point cloud registration with importance sampling
US11282180B1 (en) 2019-04-24 2022-03-22 Apple Inc. Object detection with position, pose, and shape estimation
EP3751524A1 (en) * 2019-06-13 2020-12-16 RaySearch Laboratories AB Method, computer program product and computer system for providing an approximate image
CN112085846A (zh) 2019-06-14 2020-12-15 通用电气精准医疗有限责任公司 用于在成像系统中生成对象3d点云的方法和系统
CN112102223B (zh) * 2019-06-18 2024-05-14 通用电气精准医疗有限责任公司 用于自动设置扫描范围的方法和系统
US11430168B2 (en) * 2019-08-16 2022-08-30 Samsung Electronics Co., Ltd. Method and apparatus for rigging 3D scanned human models
US11592820B2 (en) 2019-09-13 2023-02-28 The Boeing Company Obstacle detection and vehicle navigation using resolution-adaptive fusion of point clouds
US10820307B2 (en) * 2019-10-31 2020-10-27 Zebra Technologies Corporation Systems and methods for automatic camera installation guidance (CIG)
US11317884B2 (en) 2019-12-20 2022-05-03 GE Precision Healthcare LLC Methods and systems for mammography and biopsy workflow optimization
US11276166B2 (en) 2019-12-30 2022-03-15 GE Precision Healthcare LLC Systems and methods for patient structure estimation during medical imaging
US11547323B2 (en) * 2020-02-14 2023-01-10 Siemens Healthcare Gmbh Patient model estimation from camera stream in medicine
CN111402397B (zh) * 2020-02-28 2022-07-29 清华大学 基于无监督数据的tof深度数据优化方法及装置
US11734849B2 (en) 2020-03-10 2023-08-22 Siemens Healthcare Gmbh Estimating patient biographic data parameters
US11284850B2 (en) 2020-03-13 2022-03-29 Siemens Healthcare Gmbh Reduced interaction CT scanning
CN112017296B (zh) * 2020-09-01 2024-02-23 上海融军科技有限公司 基于rimd变形成分的人体网格变形方法及系统
US20220319114A1 (en) * 2021-04-01 2022-10-06 Sony Group Corporation Automatic blending of human facial expression and full-body poses for dynamic digital human model creation using integrated photo-video volumetric capture system and mesh-tracking
US20220375621A1 (en) * 2021-05-23 2022-11-24 Innovision LLC Digital twin
CN113742809B (zh) * 2021-11-04 2022-02-11 山东神力索具有限公司 索具网格的调整方法、装置以及电子设备
US11810256B2 (en) * 2021-11-11 2023-11-07 Qualcomm Incorporated Image modification techniques
KR20230089228A (ko) 2021-12-13 2023-06-20 주식회사 케이티 점군 데이터 증강장치 및 점군 데이터 증강방법
CN114913149B (zh) * 2022-05-11 2023-03-10 盐城工学院 一种基于ct影像的头部可变形统计图谱构建方法
CN117315196A (zh) * 2023-10-08 2023-12-29 广州中望龙腾软件股份有限公司 一种模型的构建方法、装置、设备和存储介质

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020067362A1 (en) 1998-11-06 2002-06-06 Agostino Nocera Luciano Pasquale Method and system generating an avatar animation transform using a neutral face image
US6993193B2 (en) * 2002-03-26 2006-01-31 Agilent Technologies, Inc. Method and system of object classification employing dimension reduction
US20050168460A1 (en) * 2002-04-04 2005-08-04 Anshuman Razdan Three-dimensional digital library system
US7239321B2 (en) * 2003-08-26 2007-07-03 Speech Graphics, Inc. Static and dynamic 3-D human face reconstruction
US20080019575A1 (en) * 2006-07-20 2008-01-24 Anthony Scalise Digital image cropping using a blended map
WO2008087629A2 (en) * 2007-01-16 2008-07-24 Simbionix Ltd. Preoperative surgical simulation
US20110115798A1 (en) * 2007-05-10 2011-05-19 Nayar Shree K Methods and systems for creating speech-enabled avatars
GB2450757A (en) 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
AU2009281762A1 (en) * 2008-08-15 2010-02-18 Brown University Method and apparatus for estimating body shape
WO2010144405A2 (en) * 2009-06-08 2010-12-16 Surgivision, Inc. Mri-guided surgical systems with proximity alerts
EP2442718B1 (en) * 2009-06-16 2018-04-25 MRI Interventions, Inc. Mri-guided devices and mri-guided interventional systems that can track and generate dynamic visualizations of the devices in near real time
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
WO2013189058A1 (en) 2012-06-21 2013-12-27 Microsoft Corporation Avatar construction using depth camera
US20110298897A1 (en) * 2010-06-08 2011-12-08 Iva Sareen System and method for 3d virtual try-on of apparel on an avatar
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US9734637B2 (en) 2010-12-06 2017-08-15 Microsoft Technology Licensing, Llc Semantic rigging of avatars
US20140043329A1 (en) * 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment
US20120314031A1 (en) * 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9344707B2 (en) * 2011-06-29 2016-05-17 Microsoft Technology Licensing, Llc Probabilistic and constraint based articulated model fitting
CN103765479A (zh) 2011-08-09 2014-04-30 英特尔公司 基于图像的多视点3d脸部生成
US20130237842A1 (en) * 2012-03-06 2013-09-12 Spectrascience, Inc. Determining condition of tissue using spectral analysis
US8885904B2 (en) * 2012-04-19 2014-11-11 General Electric Company Systems and methods for landmark correction in magnetic resonance imaging
US9418475B2 (en) * 2012-04-25 2016-08-16 University Of Southern California 3D body modeling from one or more depth cameras in the presence of articulated motion
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
CN102800103B (zh) * 2012-06-18 2015-02-18 清华大学 基于多视角的深度相机的无标记动作捕捉方法及装置
US9536338B2 (en) * 2012-07-31 2017-01-03 Microsoft Technology Licensing, Llc Animating objects using the human body
US8867786B2 (en) * 2012-10-31 2014-10-21 Microsoft Corporation Scenario-specific body-part tracking
US8929600B2 (en) * 2012-12-19 2015-01-06 Microsoft Corporation Action recognition based on depth maps
US9639748B2 (en) * 2013-05-20 2017-05-02 Mitsubishi Electric Research Laboratories, Inc. Method for detecting persons using 1D depths and 2D texture
EP3004909B1 (en) * 2013-06-07 2020-08-26 Koninklijke Philips N.V. Visual pre-scan patient information for magnetic resonance protocol
GB2515343B (en) * 2013-06-21 2018-02-07 Toshiba Res Europe Limited Methods and systems for generating a three dimensional representation of a subject
US9508197B2 (en) * 2013-11-01 2016-11-29 Microsoft Technology Licensing, Llc Generating an avatar from real time image data
US9300901B2 (en) * 2013-12-04 2016-03-29 Disney Enterprises, Inc. Augmenting physical appearance using illumination

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11369880B2 (en) 2016-03-08 2022-06-28 Electronic Arts Inc. Dynamic difficulty adjustment
US11458399B2 (en) 2016-12-30 2022-10-04 Electronic Arts Inc. Systems and methods for automatically measuring a video game difficulty
US11413539B2 (en) 2017-02-28 2022-08-16 Electronic Arts Inc. Realtime dynamic modification and optimization of gameplay parameters within a video game application
KR20190045013A (ko) * 2017-10-23 2019-05-02 삼성전자주식회사 가상 오브젝트 생성 방법 및 장치
US11532172B2 (en) 2018-06-13 2022-12-20 Electronic Arts Inc. Enhanced training of machine learning systems based on automatically generated realistic gameplay information
KR20200115231A (ko) * 2019-03-27 2020-10-07 일렉트로닉 아트 아이엔씨. 이미지 또는 비디오 데이터로부터의 가상 캐릭터 생성
US11276216B2 (en) 2019-03-27 2022-03-15 Electronic Arts Inc. Virtual animal character generation from image or video data
US11406899B2 (en) 2019-03-27 2022-08-09 Electronic Arts Inc. Virtual character generation from image or video data
KR20210090456A (ko) * 2020-01-10 2021-07-20 (주)내스타일 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템
KR20210121628A (ko) 2020-03-31 2021-10-08 주식회사 만도 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템

Also Published As

Publication number Publication date
CN106164978B (zh) 2019-11-01
EP3100236B1 (en) 2019-07-10
KR101833364B1 (ko) 2018-02-28
US20150213646A1 (en) 2015-07-30
US9524582B2 (en) 2016-12-20
CN106164978A (zh) 2016-11-23
EP3100236A1 (en) 2016-12-07
WO2015116563A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
KR101833364B1 (ko) 파라미터화된 변형가능 메시를 이용하여 개인화된 아바타들을 구성하기 위한 방법 및 시스템
US10507002B2 (en) X-ray system and method for standing subject
US11576645B2 (en) Systems and methods for scanning a patient in an imaging system
CN108475439B (zh) 三维模型生成系统、三维模型生成方法和记录介质
Stoll et al. Fast articulated motion tracking using a sums of gaussians body model
US10692214B2 (en) Method and apparatus to generate and track standardized anatomical regions automatically
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
US11335456B2 (en) Sensing device for medical facilities
US11576578B2 (en) Systems and methods for scanning a patient in an imaging system
CN108369736A (zh) 用于根据2d/2.5d术中图像数据计算切除的组织体积的方法和系统
US20180330496A1 (en) Generation Of Personalized Surface Data
KR20200092489A (ko) 딥러닝을 이용한 3차원 전신 골격 모델 생성 장치 및 방법
US20230222680A1 (en) System and method for mobile 3d scanning and measurement
US11461914B2 (en) Measuring surface distances on human bodies
CN115272582A (zh) 身体建模的系统和方法
Singh et al. Estimating a patient surface model for optimizing the medical scanning workflow
US11948250B2 (en) Multi-view patient model construction
US20240177326A1 (en) Systems and methods for human model recovery
Sargent et al. Cross modality registration of video and magnetic tracker data for 3D appearance and structure modeling
JP5904976B2 (ja) ３次元データ処理装置、３次元データ処理方法及びプログラム
WO2023162223A1 (ja) 学習プログラム、生成プログラム、学習方法および生成方法
KR20230051374A (ko) 폐 질환 경과 추적을 위한 정보 제공 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant