KR20190109455A - 사람의 3차원 가상 표현을 생성하기 위한 방법 - Google Patents

사람의 3차원 가상 표현을 생성하기 위한 방법 Download PDF

Info

Publication number
KR20190109455A
KR20190109455A KR1020197023977A KR20197023977A KR20190109455A KR 20190109455 A KR20190109455 A KR 20190109455A KR 1020197023977 A KR1020197023977 A KR 1020197023977A KR 20197023977 A KR20197023977 A KR 20197023977A KR 20190109455 A KR20190109455 A KR 20190109455A
Authority
KR
South Korea
Prior art keywords
cabin
person
image
mesh
generating
Prior art date
Application number
KR1020197023977A
Other languages
English (en)
Inventor
카림 토우발
Original Assignee
마이 에고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이 에고 filed Critical 마이 에고
Publication of KR20190109455A publication Critical patent/KR20190109455A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

사람의 3차원 가상 표현을 생성하기 위한 방법은 a) 이미징 캐빈에서 기준 포지션에 위치된 사람의 복수의 이미지들을 획득하는 단계, 및 b) 사진 측량에 의해, 상기 실제 사람의 크루드 메시를 계산하는 단계를 포함한다. 복수의 이미지들을 획득하는 단계는, 접근 도어가 제공된 폐쇄된 난형-형상 캐빈의 내측 표면에 걸쳐 분포된 이미지 센서들로부터 유래하는 일련의 적어도 24개의 동시 이미지들을 레코딩하는 것으로 구성되고, 상기 이미지 센서들은 상기 캐빈의 대칭 축에 대하여 균일한 방식으로 분포된다.

Description

사람의 3차원 가상 표현을 생성하기 위한 방법
본 발명은 가상 현실(virtual reality)의 분야에 관한 것으로, 더 구체적으로, 사람의 일련의 이미지들로부터 그리고 사진 측량(photogrammetry) 기법들을 사용하여 3차원 실사(photorealistic) 디지털 표현들(digital representations)을 생성하는 것에 관한 것이다.
3D 바디 스캐닝(3D 바디 스캔 또는 전체 3D 스캔이라고 또한 호칭됨)은, 종종 3D 바디 스캐너라고 호칭되는 장비를 사용하여 대상의 신체를 스캔하는 것을 가능하게 한다.
사진이 사람의 이미지를 2차원으로 포착하는 것처럼, 3D 스캐너는 신체의 형상을 3차원으로 레코딩한다. 결과는 3D 파일(3D 모델이라고 또한 호칭됨)이며, 그 3D 파일은 컴퓨터에 저장될 수 있거나 또는 컴퓨터 상에서 수정될 수 있고, 생산을 위해 3D 프린터로 전송되는 것이 가능할 수 있다.
인체의 3D 스캐닝을 주로 사용하는 섹터들은 정지된 또는 애니메이팅되는 아바타를 생성하거나, 또는, 예컨대, 사람들의 현실적인 피규어들을 제조하기 위한 게임, 의학 및 패션이다.
3D 바디 스캐닝에 대해 2개의 기술들이 주로 사용된다: 기존 사진들로부터의 3D 볼륨들의 재구성을 사용하는 사진 측량(photogrammetry); 및 투영되는 광의 변형에 기초하는 구조화된 광, 이것은, 거리를 계산하는 것을 가능하게 함으로써 신체의 포인트들의 포지션을 계산하는 것을 가능하게 한다.
본 발명은 사진 측량에 의한 프로세싱을 구현하는 솔루션들의 제1 패밀리의 일부이다.
인체의 3차원 표현을 획득하기 위한 솔루션을 설명하는 유럽 특허 제EP1322911호가 종래 기술로 알려져 있다. 촬영에 사용되는 이미지 센서는 신체에 부착된 부가적인 광 패턴 프로젝터들에 의해 보완되며, 신체 상에 포인트들 및 라인들과 같은 간단한 기하학적 구조들을 투영한다. 뷰파인더 이미지 없이 볼 수 있는 이러한 구조들은, 사진 측량 평가를 위해 요구되는 다수의 중첩된 개별 이미지들을 찍을 때, 이미지 센서의 수동 배향 및 신체로부터의 정확한 거리에 이미지 센서를 포지셔닝하는 것을 용이하게 한다. 이러한 수동으로 미리 결정된 배향은, 이미지 처리 프로세스들에 의한 이미지들의 개별 쌍들에 대한 사진 측량 마크들의 자동 할당을 용이하게 하고, 이러한 자동화된 할당이 더 안전하게 수행될 수 있게 한다. 본 발명의 바람직한 실시예에서, 프로젝터들은 실제 촬영 동안 스위치 오프된다.
미리 결정된 배열로 배열된, 베이스, 및 상기 베이스에 연결될 수 있는 복수의 이미지 센서들을 포함하는, 환자의 신체의 스킨의 적어도 하나의 이미지를 포착하기 위한 스킨 표면 이미징 시스템을 설명하는 미국 특허 출원 제US2012206587호가 또한 알려져 있다. 각각의 이미지 센서는 신체의 미리 결정된 영역의 이미지를 포착한다. 이들 센서들은 일련의 이미지들을 제공한다. 프로세싱 유닛은 상기 이미지 센서들과 통신하여:
(i) 상기 이미지 센서들로부터 유래하는 이미지들의 세트를 수집하고;
(ii) 상기 이미지들의 세트를 분석하고; (iii) 상기 환자의 신체 스킨과 연관된 개인 데이터를 레코딩한다.
국제 특허 출원 제WO2012110828호는, 적은 수의 측정들 및 단일 사진으로부터 생성된 사람의 가상 신체 모델을 하나 이상의 옷 이미지들과 조합하여 생성하기 위한 방법을 설명한다. 가상 바디 모델은 사용자의 신체의 사실적인 표현을 제공하고, 옷들, 헤어 스타일들, 메이크-업 및/또는 다른 액세서리들의 실사 조정 시각화들을 시각화하기 위해 사용된다. 가상 옷들은 여러 각도들에서 찍은 실제 옷들의 사진들에 기초하는 층들로부터 생성된다. 부가하여, 가상 신체 모델은, 예컨대, 채널들, 친구들, 및 패션 엔티티들로부터의 옷들, 메이크-업, 및 헤어에 대한 수동 및 자동 추천들의 다수의 실시예들에서 사용된다. 가상 신체 모델은, 예컨대, 시각화 및 스타일 코멘트들을 위해 공유될 수 있다. 부가하여, 이는 또한, 사용자들이, 선물들 등으로 적합할 수 있는, 다른 사용자들에게 맞는 옷을 구매할 수 있게 하기 위해 사용된다. 구현은 또한, 판매자의 신체 형상 및 사이즈가 사용자의 신체 형상 및 사이즈와 유사하다는 것을 알면서 옷이 구매될 수 있는 피어-투-피어 온-라인 판매에도 사용될 수 있다.
종래 기술 솔루션들의 단점들
종래 기술 솔루션들은 완전히 만족스럽지는 않다.
일부 솔루션은 대상 주위를 이동하는 이동 이미지 센서를 사용한다. 이미지 획득 페이즈(image acquisition phase) 동안 대상이 이동하는 경우, 사진 측량 프로세싱이 중단된다.
다른 솔루션들은, 마커들 또는 구조화된 영역들의 사용을 요구하며, 이는 대상 준비 단계를 요구하고, 실사 이미지가 획득될 수 없게 한다.
또 다른 솔루션들은 이미지 센서들로부터의 이미지들의 획득을 제공하지만, 자연 광에서의 단일 획득을 통해 만족스러운 품질을 제공하지는 않는다.
본 발명에 의해 제공되는 솔루션
이러한 결점들을 개선하기 위해, 본 발명은, 본 발명의 가장 넓은 의미로, 사람의 3차원 가상 표현을 생성하기 위한 방법에 관한 것이며, 그 방법은:
a) 이미징 캐빈(cabin)에서 기준 포지션(reference position)에 위치된 사람의 복수의 이미지들을 획득하는 단계;
b) 사진 측량에 의해, 상기 실제 사람의 크루드 메시(crude mesh)를 계산하는 단계를 포함하며,
상기 복수의 이미지들을 획득하는 단계는, 접근 도어가 제공된 폐쇄된 난형-형상 캐빈의 내측 표면에 걸쳐 분포된 이미지 센서들로부터 유래하는 일련의 적어도 80개의 동시 이미지들, 그리고 바람직하게는 적어도 100개의 동시 이미지들을 레코딩하는 것으로 구성되고, 상기 이미지 센서들은 상기 캐빈의 대칭 축에 대하여 균일한 방식으로 분포되는 것을 특징으로 한다.
본 특허의 목적들을 위해, "이미지 센서"는 자연 광에서 이미지들을 촬영하기 위한 광학기들이 구비된 스틸 이미지 센서를 의미한다.
바람직한 "기준 포지션"은, 사람이 바람직하게 똑바른 자세를 가지며, 신체로부터 팔들이 약간 떨어져 있고, 손가락들이 약간 떨어져 있고, 발들이 또한 미리 정의된 거리로(유리하게는 캐빈의 플로어 상의 마크들만큼) 서로 떨어져 있으며, 눈들은 수평선 쪽을 향하고, 얼굴 표정은 중립적으로 있는 포지션일 것이다.
최소의 수, 즉 적어도 80개의 센서들을 사용하여 난형-형상 캐빈에서 기준 포지션에 위치된 사람의 이미지들의 동시 획득을 제공함으로써, 캐빈에 위치된 사람의 정밀하고 완전한 재구성된 이미지가 생성될 수 있다.
기준 포지션에 있는 사람의 이미지의 재구성의 정확도에 기여하는 것에 부가하여, 캐빈의 난형 형상은 또한, 센서들의 최적의 포지셔닝 및 배향을 보장하며, 그 센서들은 사람의 키 및 체격에 관계없이 사람을 직접적으로 향한다. 바람직하게, 이미지 센서들의 감광성 표면은 25x25 밀리미터보다 더 작다. 적어도 80개의 그렇게 치수가 설정된 센서들을 사용하는 것은 캐빈의 볼륨을 최적화하고, 그에 따라, 캐빈의 최적의 사이즈를 달성하는 이점을 갖는다.
바람직하게, 상기 캐빈의 내측 표면은 비-반복적 콘트라스트 패턴들을 가지며, 방법은, 사람이 존재하지 않는 캐빈의 이미지들의 세션을 획득하는 것으로 구성된 적어도 하나의 교정하는 단계를 포함하고, 사진 측량하는 단계는, 캐빈에 사람이 존재할 시 획득된 이미지와 동일한 이미지 센서에 대응하는 교정 이미지를 감산함으로써, ID 이미지를 계산하는 단계를 포함한다.
유리하게, 사진 측량하는 단계는, 클로즈-컷 이미지들(IDi) 각각에서, 특성 포인트들(PCij)을 추출하고, 특성 포인트들(PCij) 각각의 좌표들을 레코딩함으로써, 3D 포인트들의 클라우드를 생성하는 단계; 및 그렇게 식별된 특성 포인트들(PCij)로부터 크루드 메시를 구축하고, 엔빌로프 텍스처를 계산하는 단계를 포함한다.
대안 솔루션에 따르면, 3D 메시 및 텍스처링은 부가적인 스무딩 처리를 받는다.
다른 대안 솔루션에 따르면, 방법은, 모델 메시(MM) 상에서 이전에 식별된 특이 포인트들에 대응하는, 크루드 메시 상에서 결정될 중요한 부분들에 대응하는 폴리곤들의 서브세트들에 대응하는 관심 영역들의 그룹들로 구성된 모델 메시(MM)와 상기 크루드 메시를 병합하는 것, 그리고 이어서, 크루드 메시(MBI) 상의 연관된 특이 포인트의 포지션과 각각의 특이 포인트를 로컬로 매칭하기 위해 모델 메시(MM)를 변형시키고, 모델 메시(MM)의 특성 포인트들 각각의 포지션을 재계산하는 것으로 구성된 처리를 적용하는 것으로 구성된 부가적인 단계를 포함한다.
유리하게, 상기 크루드 메시를 표준화 메시로 변환시키는 단계는, 특성화 규칙과 디지털 라벨을 연관시키는 테이블 형태의 관심 포인트들의 라이브러리에 레코딩된 엘리먼트들의 인식을 위한 프로세싱에 의한, 상기 크루드 메시 상의 인체의 복수의 특성 포인트들의 자동 식별을 포함한다.
본 발명은 또한, 접근 도어를 갖는 폐쇄 구조로 구성된 이미지 촬영 캐빈에 관한 것이며, 그 이미지 촬영 캐빈은, 캐빈의 내부 쪽으로 배향된 복수의 이미지 센서들을 포함하며, 상기 캐빈은 적어도 80개의 이미지 센서들, 그리고 바람직하게는 100개의 이미지 센서들을 갖는 난형 내측 형상을 갖고, 그 이미지 센서들은 상기 캐빈의 대칭 축에 대하여 균일한 방식으로 상기 난형 형상의 내측 표면에 걸쳐 분포되는 것을 특징으로 한다.
바람직하게, 캐빈은 2 m 내지 5 m, 그리고 바람직하게는 2 m 미만의 최대 중간 단면을 갖는다.
본 발명은 첨부 도면들을 참조하면서, 본 발명의 다음의 상세한 설명을 읽을 때 더 잘 이해될 것이며, 그 상세한 설명은 비 제한적인 예시적 실시예에 관한 것이다.
도 1은 사진 측량에 의한 획득을 위한 캐빈의 개략도이다.
도 2는 본 발명을 구현하기 위한 시스템의 하드웨어 아키텍처의 개략도이다.
사람의 크루드 메시(crude mesh)를 획득하기 위한 시스템
본 발명의 구현은 실제 사람의 이미지들을 획득하는 제1 단계를 수반한다.
이러한 목적을 위해, 캐빈은 사람을 둘러싸는 대체로 난형-형상의 엔빌로프(ovoid-shaped envelope) 상에 위치된 이미지 센서들(20)의 그룹을 포함한다.
캐빈의 높이는 약 250 센티미터이고, 최대 내경은 약 200 센티미터이다.
캐빈은 난형 벽(1)으로 구성되며, 그 난형 벽(1)은 원형 단면을 갖고, 도어(2)를 통해 개방되고, 그 상부 부분(3)에서 반구형 캡에 의해 연장되고, 그 하부 부분에서 플로어(4)에 의해 폐쇄된다.
따라서, 캐빈은 회전 표면을 정의하며, 그 회전 표면의 생성원은 이미지 시퀀스가 생성되고 있는 사람을 둘러싸는 곡선 섹션을 갖는다.
이러한 표면은 촬영 필드들의 중첩들을 형성하기 위해 균등하게 분포된 이미지 센서들(20)을 지지한다. 이미지 센서들(20)은 지지부 및 사람에 대하여 정지되어 있다.
설명된 예에서, 캐빈은 약 10개의 횡 단층들(6 내지 16)로 분할된 260개의 이미지 센서들(20)을 갖는다. 2개의 단층들 사이의 간격은 변화되며, 2개의 연속 단층들 사이의 간격은 상부 단층들(6 내지 10) 또는 하부 단층들(13 내지 16)의 경우보다 중간 단층들(11 내지 13)의 경우에 더 크다. 이미지 센서들은 고화질(8MB) 센서들이다.
이미지 센서들(20)의 수는, 도어 및 플로어에 대응하는 표면들을 제외하고, 캐빈의 내측 표면에 걸쳐 균등하게 분포되어 100개 초과인 것이 바람직하다.
도어(2)에 의해 커팅된 층들(10 내지 16)은, 도어(2)를 제외하고, 일정 각도로 균등하게 분포된 20개의 이미지 센서들을 갖는다.
단층들(8 및 9)은 도어의 부재로 인해 다수, 예컨대 24개의 이미지 센서들(20)을 갖는다. 더 작은 반경을 갖는 단층들(6 및 7)은 더 적은 수의 이미지 센서들(20)을 갖는다.
이미지 센서들(20)이 반드시 동일한 경도(longitude) 상에 정렬되어 있을 필요는 없으며, 단층마다 변화되는 각도 분포는 촬영들의 중첩 영역들을 증가시킬 수 있게 한다.
각각의 이미지 센서(20)는 통신 수단 및 컴퓨터를 포함하는 로컬 전자 회로에 연결되며, 그 컴퓨터는 다음의 것을 제어하는 프로그램을 실행한다:
- 연관된 이미지 센서의 활성화 및 비활성화.
- 선택적으로, 로컬 메모리로의 획득된 이미지들의 레코딩, 및 연관된 이미지 센서로부터의 이미지들의 버퍼링.
- 이미지 센서의 광학 파라미터들, 이를테면 애퍼처, 감도, 화이트 밸런스, 해상도, 컬러 밸런스, 촬영 시간 등. 이러한 체크는 모든 이미지 센서들(20)에 공통적인 서버로부터의 데이터뿐만 아니라, 연관된 이미지 센서에 의해 포착된 로컬 데이터에 기초한다.
- 로컬 이미지 센서와 연관된 시각 또는 가청 경보의 활성화.
- 원격 서버로의 실제-시간 이미지들 또는 로컬로 레코딩된 이미지들의 송신.
캐빈은 전용 서버를 가지며, 그 전용 서버는 이미지 센서들 각각의 로컬 맵들과 통신하는 수단을 포함하고, 라우터 기능들을 수행하고, 원격 서버로부터의 데이터에 기초하여 이미지 센서들(20)을 제어한다.
캐빈은 또한, 전방위 및 균일한 조명을 제공하기 위해 캐빈의 내측 표면에 걸쳐 분포된 광 소스들을 갖는다.
본 예에서, 광 소스들은, 도어(2)를 제외하고, 각을 이루어 그리고 균등하게 분포되고, 캐빈의 경도들에 따라 배열된 LED들(21, 22)의 8개의 스트립들에 의해 묘사되어 구성된다.
광 소스들은 전용 서버에 의해 선택적으로 제어된다.
선택적으로, 캐빈의 내측 표면은, 이미지의 배경을 분석함으로써 이미지 센서가 위치될 수 있게 하는 비-반복적인 각도 기하학적 콘트라스트 패턴들을 갖는 균일한 배경을 갖는다.
선택적으로, 캐빈은, 이미지 획득 시퀀스 동안 외부 오퍼레이터에게 사람의 포지션의 이미지를 송신하기 위해, 정면에서 사람을 볼 수 있게 하는, 넓은 촬영 필드를 갖는 부가적인 이미지 센서를 갖는다.
캐빈은 또한, 음성 명령들을 브로드캐스팅하기 위해 헤드 주위에 각을 이루어 분포된 라우드스피커들(41, 42)을 갖는다.
전자 아키텍처
도 2는 전자 아키텍처의 도면을 더 상세히 도시한다.
설비는 캐빈 내의 전용 서버(31)와 통신하는 중앙 컴퓨터(30)를 포함한다. 전용 서버(31)는 캐빈에서 로컬 전자 회로들(32 내지 35)과 로컬로 통신한다. 로컬 전자 회로들(32 내지 35) 각각은, 예컨대, 약 5 메가픽셀의 해상도, 및 f/2.8의 공칭 애퍼처, 고정 초점 거리, 및 42°H 촬영 필드를 갖는 이미지 센서(20)를 갖는다.
부가하여, 시설은 네트워크 충돌들을 방지하기 위해 캐빈에 네트워크 스위치들을 포함한다.
기능적 아키텍처
다음의 설명은 다음의 주요 단계들로 구성된 본 발명의 예시적인 실시예에 관한 것이다:
- 캐빈에서 사람의 이미지를 획득하고, 주 프로세싱을 수행하는 컴퓨터에 전송하는 것.
- 사진 측량.
- 실사 볼륨의 생성을 위한 제1 스무딩 대안.
- 토폴로지(topology)를 재계산하기 위한 제2 대안.
- 아바타의 생성.
주기적으로, 어떠한 사람도 존재하지 않는 빈 캐빈의 교정이 캐빈의 구조화된 표면의 이미지들의 시퀀스를 획득함으로써 수행된다. 이러한 교정은, 캐빈의 내측 표면 상의 비-반복적 패턴들을 분석함으로써 이미지 센서들(20) 각각의 실제 포지셔닝을 재계산하고, 사람의 존재 시에 획득되는 이미지로부터, 어떠한 사람도 존재하지 않는 동일한 영역의 이미지를 감산하는 것으로 구성되는 추가적인 프로세싱을 위해, 배경 영역 내의 이미지 센서들 각각에 대해 레코딩하는 것을 가능하게 한다.
사람의 이미지의 획득
사람이 캐빈에 위치될 때, 다음의 처리들의 시퀀스가 제어된다.
시각 또는 가청 경보가 사람에게 촬영 시퀀스가 시작된 것을 나타내어, 시퀀스 경보의 종료 시까지 사람이 움직이지 않는 상태로 유지되게 촉구한다.
전형적으로, 촬영 시퀀스의 지속기간은 1초 미만이다.
선택적으로, 적외선 깊이 센서, 이를테면 3D 깊이 이미지 센서가 캐빈 내의 사람의 포지션을 제어하며, 사람이 정확한 포지션에 있을 때 이미지 획득 시퀀스를 자동적으로 트리거링하고, 그렇지 않으면, 사람의 포지션이 공칭 포지션과 일치하는 것을 센서가 검출할 때까지, 포지셔닝 에러들에 관하여 사람에게 알리는 음성 커맨드들, 이를테면 "팔을 약간 올리세요" 또는 "머리를 똑바로 세우세요" 또는 "오른쪽으로 틀어 주세요"를 트리거링한다.
전용 서버(31)는 캐빈 조명을 제어하며, 사람의 포지셔닝 페이즈 동안 광 레벨을 낮추고, 이어서, 이미지 획득 페이즈 동안 광 레벨을 증가시키고, 이어서, 이미지 획득 페이즈의 완료 시에 다시 광 레벨을 낮춘다. 전용 서버(31)는 이미지 페이즈 동안 사람이 움직이지 않는 상태로 유지하는 것을 돕기 위해 이들 페이즈들 각각과 연관된 음향 효과들을 동기적으로 제어할 수 있고, 프로세스를 모니터링할 수 있다.
전용 서버(31)는, 이미지 획득 페이즈 동안, 로컬 전자 회로들(32 내지 35)에 활성화 커맨드를 송신함으로써 모든 이미지 센서들(20)의 동시 활성화를 제어하고, 이어서, 전용 서버(31) 또는 원격 컴퓨터로의 로컬로 레코딩된 데이터의 전송을 제어한다. 이러한 전송은 동시에 이루어질 수 있거나 또는 이용가능 대역폭을 최적화하기 위해 지연될 수 있다.
사진 측량
이미지 센서들(20)로부터 유래하는 모든 디지털 이미지들, 예컨대, 캐빈에 위치된 사람에 대해 동시에 획득된 260개의 디지털 이미지들에 사진 측량의 단계가 적용된다.
프로세싱은 이미지들(Ii) 각각을 사전 프로세싱하는 제1 단계를 포함한다(설명되는 예에서 i는 1 내지 260임):
- 획득된 이미지(Ii)와 교정 페이즈 동안 레코딩된 동일한 영역의 배경 이미지(IFi)를 감산함으로써, 클로즈-컷 이미지(IDi)를 생성하고, 이미지들(Ii, IDi)의 쌍을 레코딩하는 단계.
- 이미지들(Ii) 각각에 대해 좌표들(Xi, Yi, Zi; Ai, Bi, Ci, Di)을 계산하고(X, Y, Z는 캐빈 참조 프레임(cabin reference frame) 내의 이미지 센서의 좌표들에 대응하고, A, B, C는 캐빈 참조 프레임 내의 이미지 센서의 각도 배향(오일러 각)에 대응하며, D는 각도들(ABC)에 의해 미리 정의된 축 상의 이미지 센서의 배향에 대응하는 이진 파라미터임), 이미지들(Ii, IDi)의 쌍들 각각에 대해, 그렇게 계산된 좌표들을 레코딩하는 단계. 이러한 계산은, 예컨대, IGN의 MicMac(상표명들) 또는 VisualSFM(상표명) 소프트웨어에 의해 수행된다.
- 클로즈-컷 이미지들(IDi) 각각으로부터 특성 포인트들(PCij)을 추출하고, 특성 포인트들(PCij) 각각의 좌표들을 레코딩함으로써, 3D 포인트들의 클라우드를 생성하는 단계.
- 그렇게 식별된 특성 포인트들(PCij)로부터 크루드 메시를 구성하고, 엔빌로프 텍스처를 계산하는 단계.
이러한 단계의 결과는 3D 메시 및 연관된 텍스처이다.
오리지널 사람의 크루드 메시에 대응하는 3D 메시(MBI)는 3D 기하형상의 묘사를 포함하는 교환 파일 포맷인 공통 포맷, 예컨대 OBJ로 세이브된다.
텍스처는 PNG 이미지 포맷으로 세이브된다.
실사 볼륨을 획득하기 위한 제1 스무딩 대안
제1 응용(application)에 대해, 그렇게 계산된 3D 메시 및 텍스처링은 부가적인 스무딩 처리를 받는다.
이러한 처리는, PCL1,m과 노멀
Figure pct00001
의 조합으로서 스무딩된 메시를 레코딩하기 위해, 특성 포인트들(PCij) 각각에 적용된 로컬 평균 계산에 의해 해상도를 감소시키고, 이들 특성 포인트들(PCij) 각각에 노멀 배향을 할당함으로써, 닐(nil) 메시 사이즈 레벨을 갖는 스무딩되지 않은 3D 메시에서 노이즈를 제거하는 것으로 구성된다.
이러한 프로세싱은 3D 메시 수정 소프트웨어, 이를테면 AUTOCAD(상표명)를 사용하여 수행된다.
이러한 프로세싱의 결과는 획득 페이즈 동안 이미지가 획득된 사람에 대응하는 실사 3D 볼륨이다.
엔빌로핑 텍스처는 의도된 용도(예컨대, 3D 프린팅)에 대해 적응된 해상도를 갖는다.
프로세싱 결과는 전송 포맷, 예컨대 OBJ 포맷으로 레코딩된다.
제2 대안: 아바타 토폴로지의 생성의 재계산
다른 응용은 사진 측량의 단계 동안 획득된 3D 메시로부터 3D 아바타를 생성하는 것으로 구성된다.
이 목적을 위해, 중요한 부분들에 대응하는 폴리곤들의 서브세트들에 대응하는 관심 영역들의 그룹들, 예컨대, 입, 손가락, 흉부, 팔에 대응하는 폴리곤들의 그룹으로 구성되고, OBJ 포맷으로 레코딩된 모델 메시(MM)가 사용된다. 각각의 중요한 서브그룹은, 아바타를 생성할 때의 특정 처리들(예컨대, "드레싱" 처리)에 대응하는 식별자, 그리고 가능하게는 마커들과 연관된다. 동일한 폴리곤이 여러 서브그룹들에 속할 수 있다.
모델 메시(MM)는, 예컨대, 표준 남성 모델(MM)로부터 근육 남성의 모델(MMD)을 생성하기 위해, 동일한 폴리곤들 및 식별자들의 서브세트들을 유지하지만 일부 폴리곤들을 로컬로 변형시켜서, 변형 모델(MMD)을 계산함으로써 선택적으로 프로세싱될 수 있다.
크루드 메시(MBI)로부터의 선택된 모델(MM)에 대응하는 아바타를 생성하기 위해, 리토폴로지 계산이 수행된다.
이러한 계산은 모델 메시(MM)의 대응하는 특성 포인트들과 매칭될 크루드 메시(MBI)의 특성 포인트들의 식별을 요구한다.
이 목적을 위해, 모델 메시(MM) 상에서 이전에 식별된 특이 포인트들, 예컨대 눈의 코너, 입의 코너, 손가락 끝들 등이 크루드 메시 상에서 결정된다.
이어서, 크루드 메시(MBI) 상의 연관된 특이 포인트의 포지션과 각각의 특이 포인트를 로컬로 매칭시키기 위해 모델 메시(MM)를 변형시키고, 3D 모핑 소프트웨어에 의해 모델 메시(MM)의 특성 포인트들 각각의 포지션을 재계산하는 것으로 구성된 처리가 적용된다.
이러한 처리의 결과는 오리지널 사람의 모폴로지에 대한 모델의 적응에 대응하는, OBJ 포맷으로 레코딩된 메시(MMI)이다.
이러한 메시(MMI)는 완전한 애니메이션 골격을 생성하기 위해 사용된다.
이러한 골격은, 디지털 골격의 관절들에 대응하는, 메시 상의 제어 포인트들 및 메시(MMI), 및 이들 제어 포인트들과 골격의 관절 포인트들의 연관으로부터 생성된다.
이어서, 위에서-언급된 서브그룹들을 고려하여, 그렇게 생성된 아바타 상에, 엘리먼트들의 라이브러리로부터의 부가적인 엘리먼트들(치아, 혀, 안와 등)이 포지셔닝된다.
이어서, 애니메이팅될 대상의 스킨의 부분과 각각의 특성 포인트를 연관시키기 위해 스키닝 프로세스가 적용되지만, 스킨의 주어진 부분은 정밀한 가중치에 따라 여러 뼈대들과 연관될 수 있고, 이 정보는 수치 파일로 레코딩된다.
응용들
본 발명은, 실제 물리적인 사람의 크루드 메시(MBI)와 병합된 참조 모델들(MM)에 기초하여, 사람의 이상적인 신체, 즉, 근육이 더 많은 신체 및/또는 더 날씬한 신체를 설계하기 위해 피트니스와 같은 다양한 응용들을 위한 3차원 실사 표현들을 생성하는 것을 가능하게 한다. 이러한 표현은 가까운 장래에 그 사람의 아바타처럼 보이게 하기 위해, 커스터마이징된 트레이닝 프로그램을 행하도록 코치에게 보여질 수 있다.
실사 표현들의 주기적인 획득은 달성된 진도 및 목표에 도달하기 위해 요구되는 노력을 체크하는 것을 가능하게 한다.
이는 사용자로 하여금 그 또는 그녀의 신체를 "스컬프팅(sculpt)"하기 위한 가시적이고 측정 가능한 목표를 세팅할 수 있게 한다.
응용들은 또한, 수술 후 결과를 시각화하고, 그 결과를 외과 의사와의 상담을 위한 지원으로서 사용하기 위해 성형 수술 분야에 관련된다.
이는 사전에 의사 앞에서 결과에 대한 판정이 이루어질 수 있게 한다.
다른 응용은, 구매 전에 옷들을 가상으로 입어 보기 위해, 디자이너의 콜렉션을 자신의 아바타에게 입히고 자신이 퍼레이드하는 것을 볼 수 있고, 입은 옷들의 모든 세부사항들(사이즈들, 필요한 변경들, 컬러들 등)을 관찰하기 위해 확대할 수 있는 가능성을 제공함으로써, 기성복들의 분야(구매 전 온라인 피팅)에 관련된다.

Claims (10)

  1. 사람의 3차원 가상 표현을 생성하기 위한 방법으로서,
    (a) 이미징 캐빈(cabin)에서 기준 포지션에 위치된 사람의 복수의 이미지들을 획득하는 단계; 및
    (b) 사진 측량(photogrammetry)에 의해, 실제 사람의 크루드 메시(crude mesh)를 계산하는 단계;
    를 포함하며,
    상기 복수의 이미지들을 획득하는 단계는, 접근 도어가 제공된 폐쇄된 난형-형상 캐빈의 내측 표면에 걸쳐 분포된 이미지 센서들로부터 유래하는 일련의 적어도 80개의 동시 이미지들을 레코딩하는 것으로 구성되고, 상기 이미지 센서들은 상기 캐빈의 대칭 축에 대하여 균일한 방식으로 분포되는 것을 특징으로 하는,
    사람의 3차원 가상 표현을 생성하기 위한 방법.
  2. 제1항에 있어서,
    상기 이미지 센서들의 감광성 표면은 25x25 밀리미터보다 더 작은 사이즈를 갖는 것을 특징으로 하는,
    사람의 3차원 가상 표현을 생성하기 위한 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 캐빈의 내측 표면은 비-반복적 콘트라스트 패턴들을 가지며,
    상기 방법은,
    사람이 존재하지 않는 상기 캐빈의 이미지들의 세션을 획득하는 것으로 구성된 적어도 하나의 교정하는 단계를 포함하고,
    상기 사진 측량하는 단계는, 상기 캐빈에 사람이 존재할 시 획득된 이미지와 동일한 이미지 센서에 대응하는 교정 이미지를 감산함으로써, ID 이미지를 계산하는 단계를 포함하는 것을 특징으로 하는,
    사람의 3차원 가상 표현을 생성하기 위한 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 사진 측량하는 단계는, 클로즈-컷 이미지들(IDi) 각각에서, 특성 포인트들(PCij)을 추출하고, 상기 특성 포인트들(PCij) 각각의 좌표들을 레코딩함으로써, 3D 포인트들의 클라우드를 생성하는 단계; 및
    그렇게 식별된 특성 포인트들(PCij)로부터 상기 크루드 메시를 구축하고, 엔빌로프 텍스처를 계산하는 단계;
    를 포함하는 것을 특징으로 하는,
    사람의 3차원 가상 표현을 생성하기 위한 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    3D 메시 및 텍스처링은 부가적인 스무딩 처리를 받는 것을 특징으로 하는,
    사람의 3차원 가상 표현을 생성하기 위한 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    모델 메시(MM) 상에서 이전에 식별된 특이 포인트들에 대응하는, 상기 크루드 메시 상에서 결정될 중요한 부분들에 대응하는 폴리곤들의 서브세트들에 대응하는 관심 영역들의 그룹들로 구성된 상기 모델 메시(MM)와 상기 크루드 메시를 병합하는 것, 그리고 이어서,
    상기 크루드 메시(MBI) 상의 연관된 특이 포인트의 포지션과 각각의 특이 포인트를 로컬로 매칭하기 위해 상기 모델 메시(MM)를 변형시키고, 상기 모델 메시(MM)의 특성 포인트들 각각의 포지션을 재계산하는 것으로 구성된 처리를 적용하는 것
    으로 구성된 부가적인 단계를 포함하는 것을 특징으로 하는,
    사람의 3차원 가상 표현을 생성하기 위한 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    특성화 규칙과 디지털 라벨을 연관시키는 테이블 형태의 관심 포인트들의 라이브러리에 레코딩된 엘리먼트들의 인식을 위한 프로세싱에 의해, 상기 크루드 메시 상의 인체의 복수의 특성 포인트들의 자동 식별을 포함하는, 상기 크루드 메시를 표준화 메시로 변환시키는 단계를 포함하는 것을 특징으로 하는,
    사람의 3차원 가상 표현을 생성하기 위한 방법.
  8. 접근 도어를 갖는 폐쇄 구조로 구성된 이미지 촬영 캐빈으로서,
    상기 캐빈의 내부 쪽으로 배향된 복수의 이미지 센서들을 포함하며,
    상기 캐빈은 적어도 80개의 이미지 센서들을 갖는 난형 내측 형상을 갖고, 상기 적어도 80개의 이미지 센서들은 상기 캐빈의 대칭 축에 대하여 균일한 방식으로 상기 난형 형상의 내측 표면에 걸쳐 분포되는 것을 특징으로 하는,
    접근 도어를 갖는 폐쇄 구조로 구성된 이미지 촬영 캐빈.
  9. 제8항에 있어서,
    상기 이미지 센서들에는 25x25 밀리미터보다 더 작은 센서들이 구비되는 것을 특징으로 하는,
    접근 도어를 갖는 폐쇄 구조로 구성된 이미지 촬영 캐빈.
  10. 제8항 또는 제9항에 있어서,
    2 m 내지 5 m, 그리고 바람직하게는 2 m 미만의 최대 중간 단면을 갖는 것을 특징으로 하는,
    접근 도어를 갖는 폐쇄 구조로 구성된 이미지 촬영 캐빈.
KR1020197023977A 2017-01-17 2018-01-17 사람의 3차원 가상 표현을 생성하기 위한 방법 KR20190109455A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1750342 2017-01-17
FR1750342A FR3061979B1 (fr) 2017-01-17 2017-01-17 Procede de creation d'une representation tridimensionnelle virtuelle d'une personne
PCT/FR2018/050114 WO2018134521A1 (fr) 2017-01-17 2018-01-17 Procede de creation d'une representation tridimensionnelle virtuelle d'une personne

Publications (1)

Publication Number Publication Date
KR20190109455A true KR20190109455A (ko) 2019-09-25

Family

ID=59381331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197023977A KR20190109455A (ko) 2017-01-17 2018-01-17 사람의 3차원 가상 표현을 생성하기 위한 방법

Country Status (8)

Country Link
US (1) US20190371059A1 (ko)
EP (1) EP3571666A1 (ko)
JP (1) JP2020505712A (ko)
KR (1) KR20190109455A (ko)
CN (1) CN110291560A (ko)
FR (1) FR3061979B1 (ko)
RU (1) RU2019124087A (ko)
WO (1) WO2018134521A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3085521A1 (fr) 2018-09-04 2020-03-06 Exsens Procede ameliore de creation d’une representation tridimensionnelle virtuelle du buste d’une personne
US10824055B1 (en) * 2018-09-24 2020-11-03 Amazon Technologies, Inc. Modular imaging system
US10957118B2 (en) 2019-03-18 2021-03-23 International Business Machines Corporation Terahertz sensors and photogrammetry applications
CN110991319B (zh) * 2019-11-29 2021-10-19 广州市百果园信息技术有限公司 手部关键点检测方法、手势识别方法及相关装置
WO2021155070A1 (en) * 2020-01-28 2021-08-05 Historyit, Inc. Lightbox for digital preservation
IT202100006881A1 (it) * 2021-03-22 2022-09-22 Beyondshape S R L Sistema per l’acquisizione di immagini e la ricostruzione digitale tridimensionale delle forme anatomiche umane e suo metodo di utilizzo

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9626825D0 (en) * 1996-12-24 1997-02-12 Crampton Stephen J Avatar kiosk
DE10049926A1 (de) 2000-10-07 2002-04-11 Robert Massen Kamera zur kostengünstigen Erfassung der Raumform von Körpern
US7161490B2 (en) * 2001-06-27 2007-01-09 Koninklijke Philips Electronics, N.V. Seating device for avoiding ergonomic problems
US7143639B2 (en) * 2004-06-07 2006-12-05 Acushnet Company Launch monitor
US20120206587A1 (en) 2009-12-04 2012-08-16 Orscan Technologies Ltd System and method for scanning a human body
GB201102794D0 (en) 2011-02-17 2011-03-30 Metail Ltd Online retail system
ITTO20111150A1 (it) * 2011-12-14 2013-06-15 Univ Degli Studi Genova Rappresentazione stereoscopica tridimensionale perfezionata di oggetti virtuali per un osservatore in movimento
US20150306824A1 (en) * 2014-04-25 2015-10-29 Rememborines Inc. System, apparatus and method, for producing a three dimensional printed figurine
GB2535742A (en) * 2015-02-25 2016-08-31 Score Group Plc A three dimensional scanning apparatus and method

Also Published As

Publication number Publication date
WO2018134521A1 (fr) 2018-07-26
EP3571666A1 (fr) 2019-11-27
CN110291560A (zh) 2019-09-27
RU2019124087A3 (ko) 2021-05-21
FR3061979A1 (fr) 2018-07-20
US20190371059A1 (en) 2019-12-05
JP2020505712A (ja) 2020-02-20
FR3061979B1 (fr) 2020-07-31
RU2019124087A (ru) 2021-02-19

Similar Documents

Publication Publication Date Title
KR20190109455A (ko) 사람의 3차원 가상 표현을 생성하기 위한 방법
US10684467B2 (en) Image processing for head mounted display devices
US9348950B2 (en) Perceptually guided capture and stylization of 3D human figures
US8571698B2 (en) Simple techniques for three-dimensional modeling
Achenbach et al. Fast generation of realistic virtual humans
CN105556508B (zh) 虚拟镜子的装置、系统和方法
CN109219835A (zh) 三维打印的定制可穿戴物件的生成
US8446410B2 (en) Apparatus for generating volumetric image and matching color textured external surface
JP6302132B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR101757642B1 (ko) 3d 얼굴 모델링 장치 및 방법
US20140043328A1 (en) Reference Object for Three-Dimensional Modeling
CN108416832B (zh) 媒体信息的显示方法、装置和存储介质
KR20130020717A (ko) 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
WO2008145952A1 (en) Apparatus and method of body characterisation
WO2014081394A1 (en) Method, apparatus and system for virtual clothes modelling
JP2013190974A (ja) 情報処理装置および情報処理方法、ならびに、プログラム
KR102506352B1 (ko) 전자상거래를 위한 3d 인체 측정 데이터 기반의 디지털 트윈 아바타 제공 시스템
JP2011113421A (ja) ３次元モデリングシステム
KR102466408B1 (ko) 스타일링 장치 및 이의 구동 방법
JP2003090714A (ja) 画像処理装置、及び画像処理プログラム
JP6775669B2 (ja) 情報処理装置
JP5419777B2 (ja) 顔画像合成装置
KR102534778B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
US20210342926A1 (en) Visualization of garments on a body model of a human
JP6545847B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application