KR20200136930A

KR20200136930A - 디지털 장면을 생성하기 위한 방법, 시스템, 제조품 및 장치

Info

Publication number: KR20200136930A
Application number: KR1020207028158A
Authority: KR
Inventors: 케빈 리; 안톤 슈마토프; 조나단 번; 데이비드 몰로니
Original assignee: 모비디어스 리미티드
Priority date: 2018-03-30
Filing date: 2019-03-28
Publication date: 2020-12-08
Also published as: CN112074843A; US11900649B2; US20230007970A1; DE112019001702T5; US11393228B2; US20210027044A1; WO2019185852A3; EP3776333A2; WO2019185852A2

Abstract

디지털 장면을 생성하기 위한 방법, 시스템, 제조품 및 장치가 개시된다. 레이블링된 모델들을 생성하기 위한 예시적인 장치는, 입력 이미지의 3차원(3D) 모델을 생성하기 위한 맵 작성기와, 제1 그룹화 분류 타입에 대응하는 3D 모델의 제1 구역을 식별하기 위한 그룹화 분류기와, 제1 구역에 대응하는 다량의 플레이스홀더 인간 모델을 생성하기 위한 인간 모델 작성기와, 다량의 플레이스홀더 인간 모델을 제1 구역의 각각의 좌표 위치에 할당하기 위한 좌표 엔진 ― 각각의 좌표 위치는 제1 그룹화 분류 타입에 기초하여 할당됨 ― 과, 다량의 플레이스홀더 인간 모델의 각각의 모델에 애스펙트 타입과 연관되는 특성을 할당하기 위한 모델 특성 변경기와, 할당된 특성을 다량의 플레이스홀더 인간 모델의 각각의 모델에 대한 레이블 데이터로서 연계시키기 위한 주석 달기 매니저를 포함한다.

Description

디지털 장면을 생성하기 위한 방법, 시스템, 제조품 및 장치

[관련 출원]

본원은 2018년 3월 30일자로 출원된 미국 가특허출원 제62/650,722호에 대한 우선권을 주장한다. 이로써, 미국 가특허출원 제62/650,722호는 전부 본 명세서에 참조로 포함된다. 이로써, 미국 가특허출원 제62/650,722호에 대한 우선권이 주장된다.

[기술분야]

본 개시물은 일반적으로 네트워크 트레이닝에 관한 것으로, 특히, 디지털 장면을 생성하기 위한 방법, 시스템, 제조품 및 장치에 관한 것이다.

근래에, 장면의 분석을 돕기 위해 신경망이 활용되고 있다. 일부 실시예에 있어서, 신경망은 군중 행동(crowd behavior)과 관련된 패턴과 같은 새로운 패턴을 식별 및/또는 분류하는 데 도움이 된다.

도 1은 레이블링된 인간 모델이 있는 디지털 장면을 생성하기 위한 예시적인 디지털 장면 생성기의 개략도이다.
도 2는 도 1의 예시적인 디지털 장면 생성기에 의해 분석되는 예시적인 구역 맵의 개략도이다.
도 3 내지 도 7은 레이블링된 인간 모델이 있는 디지털 장면을 생성하기 위해 도 1의 예시적인 디지털 장면 생성기를 구현하도록 실행될 수 있는 기계 판독 가능 명령어를 나타내는 흐름도이다.
도 8은 도 1의 예시적인 디지털 장면 생성기를 구현하기 위해 도 3 내지 도 7의 명령어를 실행하도록 구성되는 예시적인 처리 플랫폼의 블록도이다.
도면들은 실척으로 되어 있지 않다. 일반적으로, 동일한 참조 번호들은 도면(들) 및 수반되는 상세한 설명 전반에서 동일 또는 유사한 부분을 지칭하는 데 사용될 것이다.
"제1(first)", "제2(second)", "제3(third)" 등의 설명어는 본 명세서에서 별도로 참조될 수 있는 여러 요소 또는 컴포넌트를 식별하는 경우에 사용된다. 그 사용의 맥락에 기초하여 달리 명시되거나 이해되지 않는 한, 이러한 설명어는 시간 면에서 우선순위나 순서의 의미에 귀속되게 하려는 것이 아니고, 개시된 실시예들에 대한 용이한 이해를 위해 단지 여러 요소 또는 컴포넌트를 별도로 참조하기 위한 레이블로만 사용된다. 일부 실시예들에 있어서, 발명을 실시하기 위한 구체적인 내용 부분에서는 설명어 "제1"이 어떤 요소를 참조하는 데 사용될 수 있지만, 청구범위에서는 "제2" 또는 "제3"과 같은 다른 설명어로 동 요소를 참조할 수 있다. 이러한 경우에는, 이러한 설명어가 단지 여러 요소 또는 컴포넌트에 대한 용이한 참조를 위해서만 사용되는 것이라는 점을 이해해야 한다.

군중 추정(crowd estimation)은 컴퓨터 비전(computer vision) 용례, 로봇 공학(robotics) 용례 및 보안 감시(security surveillance) 용례를 포함하는 폭넓은 응용 범위를 갖는다. 컴퓨터 비전 기술 및 딥 러닝 기술은 대규모 군중 추정을 가능하게 했지만, 이러한 기술은 높은 품질의, 주석이 달린(레이블링된) 공개적으로 이용 가능한 데이터세트의 부족으로 인해 발전하지 못하고 있다. 군중 카운팅(crowd counting), 군중 세분화(crowd segmentation) 및 군중 추적(crowd tracking)과 관련된 작업은 컨볼루션 신경망(CNN) 기술로 지원될 수 있지만, 이러한 기술은 원활한 수행을 위해 대량의 레이블링된 데이터를 필요로 한다. 공공 장소에 배치된 많은 카메라가 많은 수의 사람이 있는 장면의 이미지(예컨대, 고해상도 이미지)를 취득하지만, 이러한 이미지는 하나 이상의 머신 러닝 작업(예컨대, CNN 기술을 수반하는 작업)을 돕기 위해 지루한 레이블링 작업을 필요로 한다. 부가적으로, 해당 공개적으로 이용 가능한 장면 내의 사람들이 레이블링되었다고 해도, 일부 개인 정보 보호법은 사적 및/또는 공적 용도로 실제 영상을 배포하는 것을 금지한다. 예를 들면, 감시 카메라(예컨대, 폐쇄 캡션 텔레비전(CCTV))로부터 캡처된 군중 비디오는 일반 개인 정보 보호법(General Data Protection Regulation (GDPR)) 법률의 관점에서 공적 용도로 배포되는 경우가 거의 없으며, 이 법률에 의하면, 배포 형태는 이미지에 개인 정보가 캡처된 개개인에게 요구된다.

모든 개인 정보 보호 규정을 충족하고 지루한 레이블링 작업이 발생한 군중 데이터를 이용할 수 있을 경우, 이러한 군중 데이터는 특정 장면으로 제한되는 것이 일반적이다. 달리 말하면, 군중에 대하여 머신 러닝 분석을 수행하는 다양한 장면을 쉽게 이용할 수 없기 때문에, 군중 연구 관리자들의 유연성이 제한된다. 더욱이, 군중 레이블링 작업은 인간의 이질적인 팀들에 의해 수행되는 것이 일반적이다. 통상, 인간 기반의 레이블링 작업은 성향, 부정확성 및 피로에 영향을 받는다. 또한, 다수의 서로 다른 인간 주석자들로 인해 레이블링된 데이터 내에서의 불일치가 초래되고, 이는 지상 검증자료 신뢰도 문제로 이어질 수 있다.

본 명세서에 개시된 실시예들은, 부분적으로, 군중 이해 기술 및 머신 러닝 작업을 가속화할 목적으로 군중을 포함하는 사실적인(photo-realistic) 확장 가능한 레이블링된 합성 군중 및/또는 합성 이미지를 생성한다. 일부 실시예들에 있어서는, 장면 재구성된 환경에서 인간 모델들이 생성된다. 인간 모델들은 디자인 요건(예컨대, 성별의 수량 및 타입, 걷기, 달리기, 안면 방향, 의복 타입 등)을 충족하도록 맞춤화되며, 상응하는 레이블링 특성들은 인간 주석자 참여 없이 각각의 인간 모델에 계속 유지되거나 및/또는 그렇지 않으면 인간 모델과 연관된다. 일부 실시예들에 있어서, 장면 재구성된 환경은 항공 드론 측량에 의해 캡처되는 영상으로 생성되고, 이어서 군중이 원본 이미지와 합성되어 사실적인 데이터를 생성한다.

도 1은 레이블링된 인간 모델이 있는 디지털 장면을 생성할 수 있게 하는 예시적인 디지털 장면 생성기(102)의 개략도이다. 도 1의 예시된 실시예에 있어서, 디지털 장면 생성기(102)는 예시적인 맵 작성기(map builder)(104), 예시적인 인간 모델 작성기(106), 및 예시적인 좌표 엔진(108)을 포함한다. 도 1의 예시적인 좌표 엔진(108)은 예시적인 구역 선택기(110) 및 예시적인 그룹화 분류기(112)를 포함한다. 예시적인 디지털 장면 생성기(102)는 예시적인 메타데이터 매니저(116) 및 예시적인 모델 특성 변경기(118)를 포함하는 예시적인 모델 애스펙트 매니저(114)를 또한 포함한다. 예시적인 디지털 장면 생성기(102)는 예시적인 이미지 데이터 결정기(128), 예시적인 프로파일 조정기(130), 예시적인 음영 조정기(132), 예시적인 피사계 심도 조정기(134), 및 예시적인 노이즈 조정기(136)를 포함하는 예시적인 포토리얼리즘 조정기(126)를 또한 포함한다. 예시적인 디지털 장면 생성기(102)는 예시적인 주석 달기 매니저(138) 및 예시적인 변환 엔진(140)을 또한 포함한다. 이 실시예에 있어서, 맵 작성기(104)는 맵 작성을 위한 수단을 구현한다. 맵 작성을 위한 수단은 부가적으로 또는 대안으로서 맵 작성 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 인간 모델 작성기(106)는 인간 모델 작성을 위한 수단을 구현한다. 인간 모델 작성을 위한 수단은 부가적으로 또는 대안으로서 인간 모델 작성 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 좌표 엔진(108)은 좌표 할당을 위한 수단을 수단을 구현한다. 좌표 할당을 위한 수단은 부가적으로 또는 대안으로서 좌표 할당 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 구역 선택기(110)는 구역 선택을 위한 수단을 구현한다. 구역 선택을 위한 수단은 부가적으로 또는 대안으로서 구역 선택 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 그룹화 분류기(112)는 그룹화를 위한 수단을 구현한다. 그룹화를 위한 수단은 부가적으로 또는 대안으로서 그룹화 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 모델 애스펙트 매니저(114)는 애스펙트 변경을 위한 수단을 구현한다. 애스펙트 변경을 위한 수단은 부가적으로 또는 대안으로서 애스펙트 변경 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 메타데이터 매니저(116)는 메타데이터를 관리하기 위한 수단을 구현한다. 메타데이터를 관리하기 위한 수단은 부가적으로 또는 대안으로서 메타데이터 관리 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 모델 특성 변경기(118)는 모델 특성 변경을 위한 수단을 구현한다. 모델 특성 변경을 위한 수단은 부가적으로 또는 대안으로서 모델 특성 변경 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 포토리얼리즘 조정기(126)는 포토리얼리즘 조정을 위한 수단을 구현한다. 포토리얼리즘 조정을 위한 수단은 부가적으로 또는 대안으로서 포토리얼리즘 조정 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 이미지 데이터 결정기(128)는 이미지 데이터 결정을 위한 수단을 구현한다. 이미지 데이터 결정을 위한 수단은 부가적으로 또는 대안으로서 이미지 데이터 결정 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 프로파일 조정기(130)는 프로파일 조정을 위한 수단을 구현한다. 프로파일 조정을 위한 수단은 부가적으로 또는 대안으로서 프로파일 조정 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 음영 조정기(132)는 음영 조정을 위한 수단을 구현한다. 음영 조정을 위한 수단은 부가적으로 또는 대안으로서 음영 조정 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 피사계 심도 조정기(134)는 피사계 심도 조정을 위한 수단을 구현한다. 피사계 심도 조정을 위한 수단은 부가적으로 또는 대안으로서 피사계 심도 조정 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 노이즈 조정기(136)는 노이즈 조정을 위한 수단을 구현한다. 노이즈 조정을 위한 수단은 부가적으로 또는 대안으로서 노이즈 조정 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 주석 달기 매니저(138)는 주석 달기를 위한 수단을 구현한다. 주석 달기를 위한 수단은 부가적으로 또는 대안으로서 주석 달기 수단에 의해 구현될 수 있다. 이 실시예에 있어서, 변환 엔진(140)은 변환을 위한 수단을 구현한다. 변환을 위한 수단은 부가적으로 또는 대안으로서 변환 수단에 의해 구현될 수 있다.

동작에 있어서, 예시적인 맵 작성기(104)는 입력 이미지로부터 모델을 생성한다. 예시적인 입력 이미지를 배경 장면이라고 하는 경우도 있다. 입력 이미지는 관심 장면의 비디오 영상으로부터의 하나 이상의 이미지(예컨대, 공원, 학교 교정 등)와 같이, 상이한 각도들 및/또는 시점들로부터의 하나 이상의 이미지(예컨대, 입체적인 이미지)를 포함할 수 있다. 이러한 비디오 영상은, 하나 이상의 모션 방법론 기술을 통해 3차원(3D) 모델이 (예컨대, 3D 메시로서) 구성된, 항공 드론 데이터 캡처에서 비롯될 수 있다. 3D 모델은 관심 장면의 좌표 맵핑 참조를 허용하고, 여기서 좌표 맵핑은 관심 장면의 하나 이상의 객체들 사이의 거리 정보(예컨대, 도로의 길이, 건물의 높이, 녹지 공간의 면적 등)를 측정, 계산 및/또는 식별하는 능력을 제공한다. 예시적인 맵 작성기(104)에 의해 생성되는 예시적인 3D 모델이 관심 장면의 하나 이상의 이미지에 기초하지만, 3D 모델(예컨대, 3D 메시)은 하나 이상의 객체 파일 포맷을 포함하고 지리위치 지점 클라우드(geolocated point cloud)로 표현된다. 일부 실시예에 있어서, 생성된 지점 클라우드는 도로 경계, 건물 경계 등을 나타내는 좌표 지점들과 같은, 관심 장면의 상이한 애스펙트들의 별개의 지리위치 좌표 지점들을 포함한다. 일부 실시예들에 있어서, 3D 객체 파일 포맷은 Blender®, Cycles Rendered® 등과 같은 하나 이상의 렌더링 애플리케이션에 의해 지원된다. 이렇게, 지리위치 지점 클라우드에는 통상적으로 머신 러닝 및/또는 트레이닝에 적합한 포토리얼리즘 특성과 연관된 셰이딩(shading), 컬러링(coloring) 및/또는 그 밖의 형상화(imagery)가 포함되지 않을 수 있다. 본 명세서에 개시되는 실시예들은, 아래에서 더 자세하게 설명되는 바와 같이, 인간 모델을 3D 모델에 삽입하여, 머신 러닝에 적합한 방식으로 하나 이상의 포토리얼리즘 특성을 개선하고, 관심 장면(예컨대, 원래 캡처된 이미지(들))을 3D 모델에 오버레이한다.

일부 실시예들에 있어서, 관심 장면으로부터 캡처된 이미지는 특정한 태양 위치(예컨대, 실외인 경우)에 대하여 고유한 조명 조건 또는 태양 위치가 전혀 없는 조명 조건을 포함한다. 이러한 실시예들에 있어서, 캡처된 이미지는 관심 장면 내의 하나 이상의 객체에 대한 음영(예컨대, 건물에 의해 야기되는 음영, 나무에 의해 야기되는 음영, 차량에 의해 야기되는 음영 등)을 또한 포함할 수 있다. 아래에서 더 자세하게 설명되는 바와 같이, 머신 러닝을 위한 포토리얼리즘의 정도를 개선하려는 노력으로, 본 명세서에 개시된 실시예들은 원래의 관심 장면과 연관되는 조명 조건과 일치하는 방식으로 인간 모델을 3D 모델에 삽입한다.

예시적인 맵 작성기(104)는 (예컨대, 사용자로부터의) 3D 모델 입력을 검색하여 인간 모델을 관심 장면에 삽입하게 한다. 일부 실시예들에 있어서, 맵 작성기(104)는 상이한 거리 제약들을 받는 인간 모델들의 배치를 포함하는 관심 장면의 상이한 구역들을 나타내는 구역 정보를 검색한다. 맵/모델 입력은 3D 모델의 특정 영역/구역을 특정 컬러로 채색, 강조표시 및/또는 식별하는 형태의 3D 모델에 대한 사용자 입력에서 비롯될 수 있으며, 여기서 각각의 컬러는 인간 모델 특성 타입(예컨대, 특정 그룹화 분류 타입)을 나타낸다. 예를 들어, 3D 맵의 일부 구역들은 제1 그룹화 분류에 대응하지만(예컨대, 특정 구역이 제1 그룹화 분류에 대응하는 특정 컬러로 채색됨), 다른 구역들은 제2 그룹화 분류에 대응한다. 일부 실시예들에 있어서, 맵 작성기(104)는 각각의 구역에 삽입될 특정 수량의 인간 모델(예컨대, 잔디밭 피크닉과 연관되는 제1 구역에는 상대적으로 적은 수량의 인간 모델을 삽입하고, 콘서트와 연관되는 제2 구역에는 상대적으로 많은 수량의 인간 모델을 삽입하는 등)과 함께 그러한 맵 입력 구역의 세부사항을 취득한다. 예시적인 제1 그룹화 분류는 제1 구역에 삽입될 인간 모델들이 해당 구역의 인접 인간 모델들과 관계가 있는 상호-의존적 배치 그룹화 타입을 포함한다. 상호-의존적 배치 그룹화 타입 분류의 실시예들에는 (예컨대, 관심 장면의 녹지 공간 구역에서) 피크닉을 하는 사람들의 그룹, 콘서트를 관람하는 사람들의 그룹, 퍼레이드에서 행진하는 사람들의 그룹 등이 포함된다. 상이한 그룹화 분류 타입들(예컨대, 상호-의존적 배치 그룹화 타입)은 피크닉, 콘서트, 퍼레이드 등의 도중에 상대적으로 서로 가까운 인접 멤버들과 같이, 해당 구역에 있는 인접 멤버들 사이의 상이한 임계 거리들을 포함한다. 대안으로서, 독립적 배치 그룹화 타입은 인접 인간 모델들과 관계가 없는 구역(예컨대, 제2 구역)에 삽입될 인간 모델들을 나타낸다. 예를 들어, 보도를 따라 걷고 있거나 공원 벤치에 홀로 앉아 있는 사람들(3D 모델에서 인간 모델들로 표현됨)은 해당 특정 구역에서 그들과 인접할 수 있는 다른 사람들과 조화롭게 행동하고 있지 않다. 이렇게, 독립적 그룹화 타입과 연관되는 인접 인간 모델들 사이의 상대적인 거리는 상기와 같이 상호-의존적 그룹화 타입의 인간 모델들 사이에서 관찰되는 거리보다 클 수 있다.

도 2는 인간 모델 배치에 관한 입력 및/또는 명령어를 검색, 수신 및/또는 취득할 경우 예시적인 맵 작성기(104)에 의해 분석되는 예시적인 구역 맵(200)이다. 도 2의 예시된 실시예에 있어서, 구역 맵(200)은 제1 녹지 공간 영역(202), 제2 녹지 공간 영역(204), 및 보행로(206)를 포함한다. 예시적인 보행로(206)는 독립적 그룹화 분류와 연관되는 구역을 나타내는 제1 관심 영역(ROI)(208)을 포함한다. 예시적인 제1 ROI(208)는 예시적인 구역 맵(200)에 대한 이전 사용자의 채색 작업에 의해 식별되었을 수 있다. 이렇게, 제1 ROI(208)에 인간 모델들을 배치하는 것은 그들 사이의 제1 거리 임계값을 나타낸다. 인간 모델들의 이러한 제1 거리 임계 배치는 일하러 가는, 공부하러 가는 등의 개개인과 같이, 서로 독립적으로 행동하는 개별적인 사람들을 보다 정확하게 나타낸다. 일부 실시예들에 있어서, 독립적 그룹화 분류와 연관되는 인간 모델들을 배치하는 것은 예시적인 보행로(206)에 평행한 자세 방향과 같이, 예상 이동 방향과 연관되는 자세 방향을 또한 나타내게 된다. 일부 인간 모델들은 보행로(206)를 따라 상이한 방향들로 움직이는 사람들을 표현하기 위해 하나 이상의 인접 인간 모델들과 180도 반대되는 자세를 보일 수 있다.

도 2의 예시된 실시예에 있어서, 제2 녹지 공간 영역(204)은 상호-의존적 그룹화 분류와 연관되는 구역을 나타내는 제2 ROI(210)를 포함한다. 이렇게, 제2 ROI(210)에 위치해 있는 인간 모델들은 그들 사이의 제2 거리 임계값을 나타낸다. 인간 모델들의 이러한 제2 거리 임계 배치는 콘서트에 참석한, 피크닉을 하는, 또는 퍼레이드에서 행진하는 사람들과 같이, 어느 정도 상호작용을 하는 사람들의 그룹을 보다 정확하게 나타낸다. 통상적으로, 이러한 사람들은, 특히 매우 붐비는 콘서트, 퍼레이드 등에 있어서는 그들 사이의 거리가 상대적으로 작을 것이다. 일부 실시예들에 있어서, 상호-의존적 그룹화 분류와 연관되는 인간 모델들을 배치하는 것은 비슷한 초점(예컨대, 콘서트 동안 무대의 중심), 또는 일반적으로 원형 대형의 사람들(예컨대, 피크닉 동안 서로 대면해 있는 사람들)의 그룹의 중심에 있는 초점을 향하는 자세 방향을 또한 나타내게 된다. 본 명세서에 개시되는 실시예들에 의하면, 이러한 원하는 구역들, 특정 그룹화 분류 및/또는 특정 자세의 세부사항을 획득할 수 있다. 예시적인 구역 맵(200)으로부터 이렇게 획득한 정보를 사용하면, 인간 모델 배치가 보다 현실적인 방식으로 수행되고, 그에 따라 하나 이상의 머신 러닝 트레이닝 동작이 개선된다.

예시적인 구역 선택기(110)는 3D 모델(예컨대, 도 2의 예시적인 구역 맵(200))로부터 특정 관심 구역을 선택하고, 예시적인 인간 모델 작성기(106)는 선택된 구역에 대한 목표 수량에 기초하여 다수의 플레이스홀더 인간 모델을 생성한다. 본 명세서에서 사용되는 바와 같은 플레이스홀더 인간 모델은 특정한 애스펙트 타입의 특성을 포함하도록 아직 맞춤화되지 않은 인간 모델을 나타낸다. 일부 실시예들에 있어서, 플레이스홀더 인간 모델은 관심 장면의 3D 모델(예컨대, 3D 메시)의 각각의 좌표 위치에 배치된 인간 모델들의 좌표 위치를 포함하고, 이러한 플레이스홀더 인간 모델에는 애스펙트 특성이 결여된다. 일부 실시예들에 있어서, 인간 모델들의 각각의 좌표 위치는 포토리얼리즘의 정도를 개선하기 위해 무작위로 선택된다. 본 명세서에서 사용되는 바와 같은 애스펙트 타입은 인간 모델의 특정한 특성 그룹화를 나타낸다. 예시적인 애스펙트 타입은 인종 애스펙트, 성별 애스펙트, 연령 애스펙트, 신장 애스펙트, 근육 애스펙트, 체중 애스펙트, 자세 애스펙트, 움직임-타입 애스펙트(예컨대, 걷기, 달리기, 앉기 등), 또는 의복 애스펙트를 포함하지만, 이들로 제한되는 것은 아니다. 본 명세서에서 사용되는 바와 같은 특성은 특정한 애스펙트 세부사항을 나타낸다. 예를 들어, 성별 애스펙트의 특성은 여성 성별 또는 남성 성별을 포함할 수 있지만, 이들로 제한되는 것은 아니다. 연령 애스펙트의 예시적인 특성은 인간 모델의 연령의 정수값을 포함할 수 있고, 자세 애스펙트의 예시적인 특성은 방향, 서 있는 자세, 앉아 있는 자세, 걷는 자세 또는 달리는 자세를 포함하지만, 이들로 제한되는 것은 아니다.

예시적인 그룹화 분류기(112)는 선택된 관심 구역(예컨대, 예시적인 구역 맵(200)으로부터의 구역)이 상호-의존적 그룹화 분류와 연관되는지를 판정한다. 연관될 경우, 예시적인 좌표 엔진(108)은 각각의 플레이스홀더 휴먼 모델들을 그룹화 분류 타입의 제약에 대응하는 3D 모델의 각각의 좌표 위치에 할당한다. 일부 실시예들에 있어서, 좌표 엔진(108)은 인간 모델을 상응하는 좌표 위치에 할당하는 한편, 기준 초점에 기초하여 인간 모델의 안면 방향을 정렬한다. 예를 들면, 상호-의존적 배치 그룹화 분류에 대응하는 다수의 인간 모델이 콘서트를 관람하는 것을 시뮬레이션할 경우, 예시적인 좌표 엔진(108)은 기준 관심 초점(예컨대, 예시적인 3D 모델에서 무대의 중심)을 향하는 각각의 인간 모델의 방향을 확립한다. 일부 실시예들에 있어서, 좌표 엔진(108)은 안면 방향(예컨대, 방위)이 외관상 지나치게 균일 및/또는 인위적이지 않도록 각각의 배치된 인간 모델에 변동 인자를 적용한다. 일부 실시예들에 있어서, 좌표 엔진(108)은 난수 생성기에 의해 결정되는 바와 같은 임계 방향 +/- x 도 내에서 각각의 인간 모델을 배열한다. 선택된 관심 구역의 모든 플레이스홀더 인간 모델들이 3D 모델의 상응하는 좌표 위치들에 할당되었을 경우, 예시적인 구역 선택기(110)는 예시적인 3D 모델이 인간 모델 배치를 위해 아직 처리되지 않은 하나 이상의 추가적인 관심 구역을 포함하는지의 여부를 판정한다. 추가적인 구역들 및/또는 인간 모델들이 3D 모델에 위치될 경우, 전술한 프로세스가 그에 상응하여 반복된다. 일부 실시예들에 있어서, 콘서트에서 대표할 다수의 사람들, 피크닉에서 대표할 다수의 사람들, 또는 보도/거리를 걷는 것을 대표할 다수의 사람들과 같은 사용자 입력 정보에 기초하여 다량의 인간 모델이 3D 모델에 배치된다.

예시적인 3D 모델이 상응하는 좌표 위치들에 대한 인간 모델들의 할당을 포함한 후에, 예시적인 모델 애스펙트 매니저(114)는 특성들을 인간 모델들에 할당한다. 예시적인 모델 애스펙트 매니저(114)는 3D 모델로부터 인간 모델을 선택하고, 예시적인 메타데이터 매니저(116)는 선택된 인간 모델과 연관되는 메타데이터를 추출한다. 예를 들어, 각각의 인간 모델과 연관되는 메타데이터는 그룹화 분류 타입(예컨대, 상호-의존적, 독립적), 활동 타입(예컨대, 콘서트 관람, 일하러 가기), 어느 구역에 인간 모델이 연관되는지 등을 포함할 수 있지만, 이들로 제한되는 것은 아니다. 예시적인 인간 모델들은 상응하는 그룹화 분류 타입과 연관되는 특정 메타데이터를 가질 수 있지만, 본 명세서에 개시된 실시예들에 의해 추가적인 메타데이터가 머신 러닝 활동을 지원하는 레이블 정보로서 기능하도록 추가된다. 예시적인 모델 특성 변경기(118)는 후보 모델 애스펙트 타입을 선택한다. 전술한 바와 같이, 애스펙트 타입은 인종 애스펙트, 성별 애스펙트, 연령 애스펙트, 신장 애스펙트, 근육 애스펙트, 체중 애스펙트, 자세 애스펙트, 움직임-타입 애스펙트(예컨대, 걷기, 달리기, 앉기 등), 또는 의복 애스펙트를 포함할 수 있지만, 이들로 제한되는 것은 아니다.

예시적인 모델 특성 변경기(118)는 선택된 애스펙트 타입의 특성을 할당하고(예컨대, 애스펙트 타입 "성별(gender)"로부터 "남성(male)"이 선택됨), 예시적인 메타데이터 매니저(116)는 특성값(예컨대, "남성")을 선택된 인간 모델에 대한 메타데이터로서 추가, 연계 및/또는 저장한다(예컨대, 인간 모델은 데이터 구조 내에 저장될 수 있음). 일부 실시예들에 있어서, 예시적인 모델 특성 변경기(118)는 난수 생성기를 이용하여 각각의 관심 애스펙트 타입으로부터 특성을 무작위로 선택한다. 또 다른 실시예들에 있어서, 각각의 후보 특성은 남성 대 여성 특성, 바지 대 반바지 특성, 안면 모발 대 비-안면 모발 특성 등과 같이, 통상적으로 상호 배타적인 것으로 간주되는 공동-특성들과 쌍을 이룰 수 있다. 따라서, 예시적인 메타데이터 매니저(116)는 확률적인 방식으로 표현되는 각각의 특정한 특성에 대한 동등한 기회를 제공한다. 이렇게, 동종의 특성 선택에 의해 야기되는 편향 또는 왜곡을 제거함으로써 머신 러닝 트레이닝을 위한 포토리얼리즘이 향상된다. 예시적인 모델 특성 변경기(118)는 선택된 인간 모델에 대하여 고려될 하나 이상의 추가적인 관심 애스펙트 타입이 존재하는지의 여부를 판정하고, 존재하면, 유사한 방식으로 다음 미개척 애스펙트 타입을 선택한다. 가능한 모든 애스펙트 타입이 인간 모델에 할당되는 상응하는 특성을 가질 경우, 예시적인 모델 애스펙트 매니저(114)는 특성 할당을 위한 다음 인간 모델을 선택한다.

예시적인 3D 모델은 특정한 지리적 좌표에서 그곳에 위치된 다수의 합성적으로 생성된 인간 모델을 갖지만, 본 명세서에 개시된 실시예들은 인간 모델에 추가적인 변경을 적용하여 포토리얼리즘의 정도를 개선한다. 예시적인 포토리얼리즘 조정기(126)는 3D 모델 및/또는 그 안의 인간 모델들에 대한 하나 이상의 변화를 호출한다. 예시적인 이미지 데이터 결정기(128)는 항공 드론 촬영 작업으로 획득한 임의의 수의 이미지를 포함할 수 있는 관심 장면과 연관되는 특성을 검색, 수신 및/또는 취득한다. 일부 실시예들에 있어서, 이미지 데이터 결정기(128)는 관심 장면을 담당하는 카메라(들)와 연관되는 프러스트럼(frustrum; 절두원추) 설정을 검색한다. 일부 실시예들에 있어서, 이미지 데이터 결정기(128)는 이미지(들)가 촬영되었을 때의 태양의 각각의 위치, 실내의 조명의 위치 등과 같이, 관심 장면의 각각의 이미지와 연관되는 조명 정보를 검색한다. 일반적으로, 조명의 광원 위치와 관련되는 정보는 해당 인간 모델들의 음영이 원본 이미지(들)를 촬영할 때 카메라(들)에 의해 캡처되는 음영(예컨대, 건물, 나무 등의 음영)에 대하여 일관되도록 인간 모델들에 대한 현실적인 음영의 생성에 도움이 된다.

예시적인 프로파일 조정기(130)는 소스 카메라 각도 정보에 기초하여 인간 모델 프로파일을 조정한다. 예를 들면, 본 명세서에 개시된 실시예들은 인간 모델들이 장면 객체들(예컨대, 나무, 건물 등)과 일관되게 보이도록 소스 카메라 각도 정보에 기초하여 인간 모델들의 좌표 스케일링을 조정한다. 예시적인 음영 조정기(132)는 원래 캡처된 관심 장면 이미지의 음영 특성에 기초하여 인간 모델에 음영을 적용한다. 통상적으로, 관심 장면의 캡처된 이미지가 하루 중 특정 시간에 촬영되기 때문에, 조명 조건에 따라 장면 내 객체들의 음영에 변화가 생긴다. 따라서, 본 명세서에 개시된 실시예들은 장면의 객체들에서 나타나는 음영과 일치하는 방식으로 인간 모델에 음영을 적용한다. 예시적인 피사계 심도 조정기(134)는 장면의 원하는 초점에 기초하여 각각의 인간 모델의 피사계 심도 특성을 조정한다. 예시적인 노이즈 조정기(136)는 포토리얼리즘을 개선하려는 노력으로 노이즈를 적용한다. 일부 실시예들에 있어서, 하나 이상의 군중은 더욱 사실적인 이미지를 생성하기 위해 흐린 초점이 나타나도록 조정된다. 일부 실시예들에 있어서, 합성 렌더링 프로세스의 결과로서 발생하는 매끄러운 에지를 제거하기 위해 특정 인간 모델의 위에 노이즈 조정기(136)로 픽실레이션(pixilation)을 적용한다.

예시적인 맵 작성기(104)는 관심 장면의 원본 이미지를 3D 모델(3D 메시) 위에 오버레이하여 합성 이미지를 생성한다. 결과적으로, 관심 장면의 실제 이미지가 3D 모델의 렌더링 와이어프레임/메시 데이터 대신 사용되기 때문에 합성 이미지의 포토리얼리즘의 정도가 향상된다. 그러나, 합성 이미지에서는 이제, (a) 관심 장면으로부터의 실제 이미지가 (b) 특성 메타데이터 및 3D 좌표 정보(예컨대, x-축선, y-축선, z-축선, 투영-뷰 데이터, 모델-뷰 데이터)를 갖는 인간 모델에 오버레이되지만, 머신 러닝 동작에서는 연관된 레이블 정보를 갖는 2차원(2D) 좌표 정보가 필요하다. 일부 실시예들에 있어서, 맵 작성기(104)는 모든 인간 이미지 및/또는 인간 안면이 시뮬레이션된다는 것을 식별하기 위해 합성 이미지에 워터마크를 적용한다. 이러한 워터마킹은 이미지가 개인 정보 보호와 관련된 하나 이상의 관할 법률/규칙(예컨대, 일반 개인 정보 보호법(General Data Protection Regulation (GDPR)) - 규정(Regulation) (EU) 2016/679)을 위반할 우려를 사전에 억제할 수 있다.

본 명세서에 개시된 실시예들은 픽셀 레벨의 정확도로 주석 달기 작업을 수행하기 위해 확장 가능한 기술을 가능하게 한다. 합성 인간 모델 데이터(예컨대, 예시적인 인간 모델 작성기(106)에 의해 생성된 인간 모델) 및 3D 모델을 사용하는 적어도 하나의 장점은 장면 내의 모든 객체의 위치 및 차원 정보에 대한 접근이다. 2D 공간에 있는 각각의 캐릭터 모델의 픽셀 좌표는 이미지 상으로의 렌더링(예컨대, 3D 투영)시에 취득된다. 예시적인 변환 엔진(140)에 의해 예시적인 방정식 1과 일치하는 방식으로 예시적인 변환이 수행된다.

P' = P * M(x, y, z, 1)'

방정식 1.

예시된 방정식 1의 실시예에 있어서, P 및 M은 제각기 투영 및 모델-뷰 매트릭스를 나타낸다. 포인트 P'는 렌더링된 합성 맵/이미지 상으로 (예시적인 변환 엔진(140)에 의해) 다시 맵핑될 수 있도록 정규화된다. 카메라 파라미터들은 예시적인 DJI Phantom 3 드론 카메라와 같은 산업 표준 카메라에서 발견되는 사양과 유사하게 모델링된다. 이러한 이미지는 94 도 시야각 및 20 mm 센서를 사용하여 모델로부터 렌더링된다. 모델들의 다양한 높이의 관점에서, 주석이 달리는 지점은 예시적인 변환 엔진(140)에 의해 관심 물체의 중심으로 설정된다. 각각의 렌더링된 인간 모델의 경우, 수반되는 픽셀 좌표는 벡터 형태(U, V 형태, 여기서, U는 수평 2D 차원을 반영하고 V는 수직 2D 차원을 반영함)로 예시적인 변환 엔진(140)에 의해 제공되고, 예를 들어, 텍스트 파일에 기록된다.

달리 말하면, 예시적인 주석 달기 매니저(138)는 예시적인 모델 애스펙트 매니저(114)를 호출하여 3D 모델(예컨대, 합성 이미지)로부터 인간 모델을 선택하고, 예시적인 좌표 엔진(108)은 3D 좌표 정보를 추출한다. 예시적인 변환 엔진(140)은, 전술한 바와 같이 예시적인 방정식 1과 일치하는 방식으로, 3D 좌표 정보를 2D 좌표 표현으로 변환한다. 예시적인 메타데이터 매니저(116)는 상이한 애스펙트 타입, 활동 타입 및/또는 그룹화 분류 정보의 특성을 포함하는 메타데이터를 레이블 데이터로서 2D 좌표 정보에 임베드한다. 예시적인 변환 엔진(140)은 인간 모델을 합성 이미지 상의 2D 좌표(예컨대, U, V 및 특성 레이블 정보)에 맵핑한다. 이 프로세스는 후속 머신 러닝 동작들이 관심 장면을 고려하여 진행할 수 있도록 합성 이미지 상의 임의의 수의 인간 모델들에 대하여 반복된다.

도 1의 디지털 장면 생성기(102)를 구현하는 예시적인 방식이 도 1 및 도 2에 예시되지만, 도 1에 예시된 요소들, 프로세스들 및/또는 장치들 중 하나 이상은 임의의 다른 방식으로 결합, 분할, 재배열, 생략, 제거 및/또는 구현될 수 있다. 또한, 도 1의 예시적인 맵 작성기(104), 예시적인 인간 모델 작성기(106), 예시적인 좌표 엔진(108), 예시적인 구역 선택기(110), 예시적인 그룹화 분류기(112), 예시적인 모델 애스펙트 매니저(114), 예시적인 메타데이터 매니저(116), 예시적인 모델 특성 변경기(118), 예시적인 포토리얼리즘 조정기(126), 예시적인 이미지 데이터 결정기(128), 예시적인 프로파일 조정기(130), 예시적인 음영 조정기(132), 예시적인 피사계 심도 조정기(134), 예시적인 노이즈 생성기(136), 예시적인 주석 달기 매니저(138), 예시적인 변환 엔진(140) 및/또는, 보다 일반적으로, 예시적인 디지털 장면 생성기(102)는 하드웨어로, 소프트웨어로, 펌웨어로 및/또는 하드웨어, 소프트웨어 및/또는 펌웨어의 임의의 조합으로 구현될 수 있다. 따라서, 예를 들어, 도 1의 예시적인 맵 작성기(104), 예시적인 인간 모델 작성기(106), 예시적인 좌표 엔진(108), 예시적인 구역 선택기(110), 예시적인 그룹화 분류기(112), 예시적인 모델 애스펙트 매니저(114), 예시적인 메타데이터 매니저(116), 예시적인 모델 특성 변경기(118), 예시적인 포토리얼리즘 조정기(126), 예시적인 이미지 데이터 결정기(128), 예시적인 프로파일 조정기(130), 예시적인 음영 조정기(132), 예시적인 피사계 심도 조정기(134), 예시적인 노이즈 생성기(136), 예시적인 주석 달기 매니저(138), 예시적인 변환 엔진(140) 및/또는, 보다 일반적으로, 예시적인 디지털 장면 생성기(102)의 어느 하나는 하나 이상의 아날로그 또는 디지털 회로(들), 로직 회로, 프로그램 가능 프로세서(들), 프로그램 가능 컨트롤러(들), 그래픽 처리 장치(들)(GPU(s)), 디지털 신호 프로세서(들)(DSP(s)), 주문형 반도체(들)(ASIC(s)), 프로그램 가능 로직 장치(들)(PLD(s)) 및/또는 필드 프로그램 가능 로직 장치(들)(FPLD(s))로 구현될 수 있다. 순전히 소프트웨어 및/또는 펌웨어 구현예를 커버하기 위해 본 특허의 장치 또는 시스템 청구항들 중 어느 것을 숙독할 때, 도 1의 예시적인 맵 작성기(104), 예시적인 인간 모델 작성기(106), 예시적인 좌표 엔진(108), 예시적인 구역 선택기(110), 예시적인 그룹화 분류기(112), 예시적인 모델 애스펙트 매니저(114), 예시적인 메타데이터 매니저(116), 예시적인 모델 특성 변경기(118), 예시적인 포토리얼리즘 조정기(126), 예시적인 이미지 데이터 결정기(128), 예시적인 프로파일 조정기(130), 예시적인 음영 조정기(132), 예시적인 피사계 심도 조정기(134), 예시적인 노이즈 생성기(136), 예시적인 주석 달기 매니저(138), 예시적인 변환 엔진(140) 및/또는, 보다 일반적으로, 예시적인 디지털 장면 생성기(102) 중 적어도 하나는, 이로써, 소프트웨어 및/또는 펌웨어를 포함하는 메모리, 디지털 다기능 디스크(DVD), 콤팩트 디스크(CD), 블루레이(Blu-ray) 디스크 등과 같은 비일시적인 컴퓨터 판독 가능 저장 장치 또는 저장 디스크를 포함하도록 명확하게 정의된다. 또한, 도 1의 예시적인 디지털 장면 생성기(102)는 도 1 및/또는 도 2에 예시된 것들에 더하여, 또는 대신하여, 하나 이상의 요소, 프로세스 및/또는 장치를 포함할 수 있거나 및/또는 임의의 또는 모든 예시된 요소들, 프로세스들 및 장치들 중 하나 이상을 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, 그 변형을 포함하는 문구 "통신하는(in communication)"은 직접 통신 및/또는 하나 이상의 중개 컴포넌트를 통한 간접 통신을 포함하고, 직접적인 물리적(예컨대, 유선) 통신 및/또는 지속적인 통신을 요구하지 않고, 오히려 주기적 간격, 예정된 간격, 비주기적 간격, 및/또는 일회성 이벤트로 선택적인 통신을 부가적으로 포함한다.

도 1의 디지털 장면 생성기(102)를 구현하기 위한 예시적인 하드웨어 로직, 기계 판독 가능 명령어, 하드웨어 구현 상태 기계, 및/또는 이들의 임의의 조합을 나타내는 흐름도가 도 3 내지 도 7에 도시된다. 기계 판독 가능 명령어는 도 8과 관련하여 후술되는 예시적인 프로세서 플랫폼(800)에 도시된 프로세서(812)와 같은 컴퓨터 프로세서에 의한 실행을 위한 하나 이상의 실행 가능 프로그램 또는 실행 가능 프로그램의 일부(들)일 수 있다. 프로그램(들)은 프로세서(812)와 연관되는 CD-ROM, 플로피 디스크, 하드 드라이브, DVD, 블루레이 디스크, 또는 메모리와 같은 비일시적인 컴퓨터 판독 가능 저장 매체에 저장되는 소프트웨어로 구체화될 수 있지만, 전체 프로그램(들) 및/또는 그 일부는 대안으로서 프로세서(812) 이외의 장치에 의해 실행될 수 있거나 및/또는 펌웨어 또는 전용 하드웨어로 구체화될 수 있다. 또한, 예시적인 프로그램(들)이 도 3 내지 도 7에 예시된 흐름도를 참조하여 설명되지만, 예시적인 디지털 장면 생성기(102)를 구현하는 다수의 다른 방법이 대안으로서 사용될 수 있다. 예를 들어, 블록들의 실행 순서가 변경될 수 있거나, 및/또는 설명된 블록들 중 일부가 변경, 제거, 또는 조합될 수 있다. 부가적으로 또는 대안으로서, 임의의 또는 모든 블록은 소프트웨어 또는 펌웨어를 실행하지 않고 상응하는 동작을 수행하도록 구성되는 하나 이상의 하드웨어 회로(예컨대, 개별 및/또는 통합 아날로그 및/또는 디지털 회로, FPGA, ASIC, 비교기, 연산-증폭기(op-amp), 로직 회로 등)에 의해 구현될 수 있다.

본 명세서에서 설명되는 기계 판독 가능 명령어는 압축된 포맷, 암호화된 포맷, 단편화된 포맷, 패키징된 포맷 등의 하나 이상의 포맷으로 저장될 수 있다. 본 명세서에서 설명되는 바와 같은 기계 판독 가능 명령어는 기계 실행 가능 명령어를 생성, 제조, 및/또는 제작하는 데 이용될 수 있는 데이터(예컨대, 명령어의 일부, 코드, 코드의 표현 등)로서 저장될 수 있다. 예를 들어, 기계 판독 가능 명령어는 단편화되어 하나 이상의 저장 장치 및/또는 컴퓨팅 장치(예컨대, 서버)에 저장될 수 있다. 기계 판독 가능 명령어는 컴퓨팅 장치 및/또는 다른 기계가 직접 판독 및/또는 실행할 수 있게 하기 위해 설치, 수정, 적응, 업데이팅, 결합, 보충, 구성, 복호, 압축 해제, 언패킹, 분산, 재할당 등을 하나 이상 필요로 할 수 있다. 예를 들어, 기계 판독 가능 명령어들은 별도의 컴퓨팅 장치들에 개별적으로 압축, 암호화, 및 저장된 여러 부분에 저장될 수 있고, 해당 부분은 복호, 압축 해제, 및 결합시에 본 명세서에서 설명된 바와 같은 프로그램을 구현하는 실행 가능 명령어 세트를 형성한다. 다른 실시예에 있어서, 기계 판독 가능 명령어는 컴퓨터에 의해 판독될 수 있는 상태로 저장될 수 있지만, 해당 명령어를 특정 컴퓨팅 장치 또는 다른 장치에서 실행하기 위해 라이브러리(예컨대, 동적 링크 라이브러리(DLL)), 소프트웨어 개발 키트(SDK), 응용 프로그래밍 인터페이스(API) 등의 추가를 필요로 한다. 다른 실시예에 있어서, 기계 판독 가능 명령어 및/또는 상응하는 프로그램(들)이 전체적으로 또는 부분적으로 실행될 수 있기 전에 기계 판독 가능 명령어를 구성(예컨대, 설정 저장, 데이터 입력, 네트워크 어드레스 기록 등)할 필요가 있다. 따라서, 개시된 기계 판독 가능 명령어 및/또는 상응하는 프로그램(들)은 저장시 또는 그렇지 않으면 휴지시 또는 운반시의 기계 판독 가능 명령어 및/또는 프로그램(들)의 특정한 포맷 또는 상태에 관계없이 그러한 기계 판독 가능 명령어 및/또는 프로그램(들)을 포함하도록 의도된다.

전술한 바와 같이, 도 3 내지 도 7의 예시적인 프로세스는 임의의 지속기간 동안(예컨대, 연장된 기간 동안, 영구적으로, 잠시동안, 일시적으로 버퍼링하는 동안, 및/또는 정보의 캐싱 동안) 정보가 저장되는 하드 디스크 드라이브, 플래시 메모리, 리드-온리 메모리, 콤팩트 디스크, 디지털 다기능 디스크, 캐시, 랜덤-액세스 메모리 및/또는 임의의 다른 저장 장치 또는 저장 디스크와 같은 비일시적인 컴퓨터 및/또는 기계 판독 가능 매체에 저장되는 실행 가능 명령어(예컨대, 컴퓨터 및/또는 기계 판독 가능 명령어)를 사용해서 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, 비일시적인 컴퓨터 판독 가능 매체라는 용어는 임의의 타입의 컴퓨터 판독 가능 저장 장치 및/또는 저장 디스크를 포함하고 전파 신호를 배제하고 전송 매체를 배제하도록 명확하게 정의된다.

용어 "포함하는(including)" 및 "포함하는(comprising)"(및 그 모든 형태 및 시제)은 본 명세서에서 개방형 용어로 사용된다. 따라서, 청구항이 전제부로서 또는 임의의 종류의 청구항 기재 내에서 "포함한다(include)" 또는 "포함한다(comprise)"의 임의의 형태(예컨대, 포함한다(comprises), 포함한다(includes), 포함하는(comprising), 포함하는(including), 갖는(having) 등)를 이용할 때마다, 추가적인 요소, 용어 등이 상응하는 청구항 또는 기재의 범위를 벗어나지 않고 존재할 수 있다는 점을 이해해야 한다. 본 명세서에서 사용되는 바와 같이, "적어도(at least)"라는 문구가 예를 들어, 청구항의 전제부에서 전환어로서 사용될 경우, 이는 "포함하는(comprising)" 및 "포함하는(including)"이라는 용어가 개방형인 것과 동일하게 개방형이다. 예를 들어, A, B, 및/또는 C와 같은 형태에서 사용되는 경우의 "및/또는(and/or)"이라는 용어는 (1) A 단독, (2) B 단독, (3) C 단독, (4) A와 B, (5) A와 C, (6) B와 C, 및 (7) A와 B와 C 처럼 A, B, C의 임의의 조합 또는 서브세트를 의미한다. 구조, 컴포넌트, 아이템, 객체 및/또는 사물을 설명하는 맥락에서 본 명세서에서 사용되는 바와 같이, "A 및 B 중 적어도 하나(at least one of A and B)"라는 문구는 (1) 적어도 하나의 A, (2) 적어도 하나의 B, 및 (3) 적어도 하나의 A 및 적어도 하나의 B 중 어느 것을 포함하는 구현을 의미하기 위한 것이다. 유사하게, 구조, 컴포넌트, 아이템, 객체 및/또는 사물을 설명하는 맥락에서 본 명세서에서 사용되는 바와 같이, "A 또는 B 중 적어도 하나(at least one of A or B)"라는 문구는 (1) 적어도 하나의 A, (2) 적어도 하나의 B, 및 (3) 적어도 하나의 A 및 적어도 하나의 B 중 어느 것을 포함하는 구현을 의미하기 위한 것이다. 프로세스, 명령어, 동작, 활동 및/또는 단계의 수행 또는 실행을 설명하는 맥락에서 본 명세서에서 사용되는 바와 같이, "A 및 B 중 적어도 하나(at least one of A and B)"라는 문구는 (1) 적어도 하나의 A, (2) 적어도 하나의 B, 및 (3) 적어도 하나의 A 및 적어도 하나의 B 중 어느 것을 포함하는 구현을 의미하기 위한 것이다. 유사하게, 프로세스, 명령어, 동작, 활동 및/또는 단계의 수행 또는 실행을 설명하는 맥락에서 본 명세서에서 사용되는 바와 같이, "A 또는 B 중 적어도 하나(at least one of A or B)"라는 문구는 (1) 적어도 하나의 A, (2) 적어도 하나의 B, 및 (3) 적어도 하나의 A 및 적어도 하나의 B 중 어느 것을 포함하는 구현을 의미하기 위한 것이다.

도 3의 프로그램(300)은 예시적인 맵 작성기(104)가 획득된 관심 이미지로부터 3D 모델을 생성하는 블록(302)을 포함한다. 예시적인 맵 작성기(104)는 인간 모델 배치에 관한 생성된 3D 모델과 연관되는 입력 데이터를 검색, 수신 및/또는 취득한다(블록 304). 전술한 바와 같이, 생성된 3D 모델(예컨대, 3D 메시 와이어프레임)의 하나 이상의 채색된 영역은 플레이스홀더 인간 모델에 대한 특정 그룹화 분류를 결정하기 위해 예시적인 맵 작성기(104)에 의해 식별된다. 이러한 그룹화 분류는, 일부 실시예들에 있어서, 구역 단위로 구성된다.

예시적인 좌표 엔진(108)은 인간 모델(하나 이상의 애스펙트 특성과 아직 연관되지 않은 후보 인간 모델)에 좌표를 할당한다(블록 306). 그러나, 다수의 인간 모델이 3D 모델에 추가된 후에(블록 306), 예시적인 모델 애스펙트 매니저(114)가 해당 인간 모델들에 특성을 할당한다(블록 308). 예시적인 포토리얼리즘 조정기(126)는 인간 모델에 하나 이상의 포토리얼리즘 조정을 적용하고(블록 310), 예시적인 맵 작성기(104)는 원래 획득한 이미지(들)를 3D 모델에 오버레이하여 관심 장면의 합성 맵/이미지를 생성한다(블록 312). 그 각각의 할당된 좌표에서 합성 맵 상의 인간 모델을 이용하여, 예시적인 주석 달기 매니저(138)가 인간 모델에 주석을 단다(블록 314).

도 4는 인간 모델에 좌표를 할당하는 예시적인 좌표 엔진(108)의 추가적인 세부사항을 예시한다(블록 306). 도 4의 예시된 실시예에 있어서, 예시적인 구역 선택기(110)는 3D 맵(예컨대, 도 2의 예시적인 구역 맵(200))으로부터 관심 구역들 중 하나를 선택한다(블록 402). 선택된 구역의 타입에 기초하여, 예시적인 인간 모델 작성기(106)는 선택된 구역과 연관되는 목표 수량을 기초로 플레이스홀더 인간 모델을 생성한다(블록 404). 전술한 바와 같이, 하나 이상의 특성(예컨대, 속성)이 보다 현실적인 방식(예컨대, 현실적인 군중 다양성을 개선하기 위해 통계적 무작위성을 적용)으로 선택될 수 있도록, 이러한 특성이 결여되는 방식으로 예시적인 인간 모델 작성기(106)에 의해 후보 인간 모델이 생성된다. 예시적인 그룹화 분류기(112)는 선택된 구역 및 상응하는 플레이스홀더 인간 모델이 상호-의존적 배치 그룹화 분류와 연관되는지의 여부를 판정한다(블록 406). 연관되면, 예시적인 좌표 엔진(108)이 상호-의존적 배치 그룹화 분류에 대응하는 방식으로 3D 모델의 좌표 위치에 인간 모델들 중 하나를 할당한다(블록 408). 예시적인 그룹화 분류기(112)는 상호-의존적 배치 그룹화 분류를 위한 모든 플레이스홀더 인간 모델이 상응하는 위치에 할당되었는지의 여부를 판정하고, 할당되지 않았으면(블록 410), 인간 모델 작성기(106)가 다음 플레이스홀더 인간 모델을 선택한다(블록 412). 이어서, 제어가 블록(408)으로 복귀한다.

예시적인 그룹화 분류기(112)가, 선택된 구역이 상호-의존적 배치 그룹화 분류와 연관되지 않는다고 결정하는 경우에는(블록 406),예시적인 좌표 엔진(108)이 독립적 배치 그룹화 분류에 대응하는 3D 모델의 상응하는 좌표 위치에 인간 모델들 중 하나를 할당한다(블록 414). 예시적인 그룹화 분류기(112)는 독립적 배치 그룹화 분류와 연관되는 모든 플레이스홀더 인간 모델이 할당되었는지의 여부를 판정하고(블록 416), 할당되지 않았으면, 인간 모델 작성기(106)가 다음 플레이스홀더 인간 모델을 선택한다(블록 418). 선택된 플레이스홀더 인간 모델을 독립적 배치 그룹화 분류에 기초하여 상응하는 좌표 위치에 할당하기 위해 제어가 블록(414)으로 복귀한다. 모든 후보 플레이스홀더 인간 모델이 처리되었을 경우(블록 410 및 블록 416 참조), 예시적인 구역 선택기(110)는 3D 모델의 모든 구역이 처리되었는지의 여부를 판정한다(블록 420). 처리되지 않았으면, 다른 관심 구역을 선택하기 위해 제어가 블록(402)으로 복귀한다.

도 5는 인간 모델에 특성을 할당하기 위한 예시적인 모델 애스펙트 매니저(114)에 의한 작업과 연관되는 추가적인 세부사항을 예시한다(블록 308). 도 5의 예시된 실시예에 있어서, 예시적인 모델 애스펙트 매니저(114)는 3D 맵으로부터 배치된 후보 인간 모델들 중 하나를 선택한다(블록 502). 예시적인 메타데이터 매니저(116)는 선택된 인간 모델과 연관되는 임의의 가용 메타데이터를 추출하고(블록 504), 모델 특성 변경기(118)는 후보 모델 애스펙트 타입을 선택한다(블록 506). 전술한 바와 같이, 각각의 관심 애스펙트 타입은 인간 모델을 정의하는 임의의 수의 상응하는 특성을 가질 수 있다. 모델 특성 변경기(118)는 선택된 관심 애스펙트 타입의 특성을 인간 모델에 할당한다(블록 508). 일부 실시예들에 있어서, 인간 모델의 다양한 특성이 군중 다양화 기대치와 더욱 유사한 정도의 변동을 나타내도록 특성 할당이 난수 생성기의 도움으로 수행된다. 예시적인 메타데이터 매니저(116)는 할당된 특성을 선택된 인간 모델과 연관되는 메타데이터에 추가하고(블록 510), 예시적인 모델 특성 변경기(118)는 선택된 인간 모델에 특성을 할당할 때 고려되어야 할 추가적인 관심 애스펙트 타입이 존재하는지의 여부를 판정한다(블록 512). 존재하면, 제어가 블록(506)으로 복귀하고, 그렇지 않으면, 예시적인 모델 애스펙트 매니저(114)는 특성이 할당되어야 하는 추가적인 인간 모델이 존재하는지의 여부를 판정한다(블록 514). 존재하면, 제어가 블록(502)으로 복귀하고, 그렇지 않으면, 도 5의 예시적인 프로그램(308)이 도 3의 블록(310)으로 복귀한다.

도 6은 포토리얼리즘 특성을 인간 모델 및/또는 3D 모델에 적용하기 위한 예시적인 포토리얼리즘 조정기(126)에 의한 작업에 대응하는 추가적인 세부사항을 포함한다(블록 310). 도 6의 예시된 실시예에 있어서, 예시적인 이미지 데이터 결정기(128)는 관심 장면의 원본 이미지(들)와 연관되는 이미지 특성을 검색한다(블록 602). 예시적인 프로파일 조정기(130)는 검색된 이미지 특성의 카메라 각도 정보에 기초하여 인간 모델의 프로파일 설정(들)을 조정한다(블록 604). 예시적인 음영 조정기(132)는 조명 조건 정보(만약에 있다면)에 기초하여 음영을 인간 모델에 적용한다(블록 606). 일부 실시예들에 있어서, 조명 조건 정보는 관심 장면의 원본 이미지가 촬영되었을 때의 태양의 위치에 대응하고, 그에 따라 예시적인 음영 조정기(132)에 의한 적절한 음영 생성/조정이 허용된다. 예시적인 피사계 심도 조정기(134)는, 예를 들어, 카메라 초점 정보에 기초하여 인간 모델의 피사계 심도 특성을 조정하고(블록 608), 예시적인 노이즈 조정기(136)는 다양한 노이즈 아티팩트를 인간 모델에 적용하여 포토리얼리즘의 정도를 개선한다(블록 610). 이어서, 예시적인 맵 작성기(104)가 원래 캡처된 이미지(들)를 3D 모델에 오버레이하는 도 3의 블록(312)으로 제어가 복귀한다.

도 7은 인간 모델에 주석을 달기 위한 예시적인 주석 달기 매니저(138)의 작업에 대응하는 추가적인 세부사항을 예시한다(블록 314). 도 7의 예시된 실시예에 있어서, 예시적인 모델 애스펙트 매니저(114)는 3D 모델/맵으로부터 인간 모델들 중 하나를 선택한다(블록 702). 전술한 바와 같이, 모든 삽입된 인간 모델은 이제, 좌표 정보(예컨대, 데카르트 x, y, z 좌표, 회전 위치 좌표) 및 특성 정보(예컨대, 상이한 애스펙트 타입들과 연관되는 특정한 특성)와 연관된다. 예시적인 좌표 엔진(108)은 이러한 3D 좌표 정보를 추출하고(블록 704), 예시적인 변환 엔진(140)은 3D 위치 좌표를 2D 좌표로 변환한다(블록 706). 전술한 바와 같이, 예시적인 변환 엔진(140)은 예시적인 방정식 1과 일치하는 방식으로 3D 좌표를 정규화할 수 있다. 3D 인간 모델의 인간 모델들과 사전에 연관된 임의의 메타데이터(예컨대, 특성 데이터)는 예시적인 메타데이터 매니저(116)에 의해 2D 위치 좌표에 임베드되고(블록 708), 이는 머신 러닝 목적의 레이블 데이터로서 사용될 수 있다. 부가적으로, 예시적인 변환 엔진(140)은 2D 위치 좌표를 참조하여 인간 모델을 합성 맵에 맵핑한다(블록 710). 예시적인 모델 애스펙트 매니저(114)는 3D 맵에 추가적인 인간 모델이 존재하는지의 여부를 판정하고(블록 712), 존재하면, 2D 변환에 이용 가능한 다음 인간 모델을 선택하기 위해 제어가 블록(702)으로 복귀한다.

도 8은 도 2의 디지털 장면 생성기(102)를 구현하기 위해 실행하도록 구성된 예시적인 프로세서 플랫폼(800)의 블록도이다. 프로세서 플랫폼(800)은, 예를 들어, 서버, 개인용 컴퓨터, 워크스테이션, 자가 학습 기계(예컨대, 신경망), 모바일 장치(예컨대, 셀 폰, 스마트 폰, iPad??와 같은 태블릿), 개인용 정보 단말기(PDA), 인터넷 어플라이언스, 게임용 콘솔, 개인용 비디오 레코더, 셋톱 박스, 헤드세트 또는 그 밖의 웨어러블 장치, 또는 임의의 다른 타입의 컴퓨팅 장치일 수 있다.

예시된 실시예의 프로세서 플랫폼(800)은 프로세서(812)를 포함한다. 예시된 실시예의 프로세서(812)는 하드웨어이다. 예를 들어, 프로세서(812)는 하나 이상의 집적 회로, 로직 회로, 마이크로프로세서, GPU, DSP, 또는 임의의 바람직한 제품군 또는 제조자로부터의 컨트롤러에 의해 구현될 수 있다. 하드웨어 프로세서는 반도체 기반(예컨대, 실리콘 기반) 장치일 수 있다. 이 실시예에 있어서, 프로세서는 예시적인 맵 작성기(104), 예시적인 인간 모델 작성기(106), 예시적인 좌표 엔진(108), 예시적인 구역 선택기(110), 예시적인 그룹화 분류기(112), 예시적인 모델 애스펙트 매니저(114), 예시적인 메타데이터 매니저(116), 예시적인 모델 특성 변경기(118), 예시적인 포토리얼리즘 조정기(126), 예시적인 이미지 데이터 결정기(128), 예시적인 프로파일 조정기(130), 예시적인 음영 조정기(132), 예시적인 피사계 심도 조정기(134), 예시적인 노이즈 조정기(136), 예시적인 주석 달기 매니저(138), 예시적인 변환 엔진, 및 예시적인 디지털 장면 생성기(102)를 구현한다.

예시된 실시예의 프로세서(812)는 로컬 메모리(813)(예컨대, 캐시)를 포함한다. 예시된 실시예의 프로세서(812)는 버스(818)를 통해 휘발성 메모리(814) 및 비휘발성 메모리(816)를 포함하는 메인 메모리와 통신한다. 휘발성 메모리(814)는 SDRAM(Synchronous Dynamic Random Access Memory), DRAM(Dynamic Random Access Memory), RDRAM®(RAMBUS® Dynamic Random Access Memory) 및/또는 임의의 다른 타입의 랜덤 액세스 메모리 장치에 의해 구현될 수 있다. 비휘발성 메모리(816)는 플래시 메모리 및/또는 임의의 다른 바람직한 타입의 메모리 장치에 의해 구현될 수 있다. 메인 메모리(814, 816)에의 액세스는 메모리 컨트롤러에 의해 제어된다.

예시된 실시예의 프로세서 플랫폼(800)은 인터페이스 회로(820)를 또한 포함한다. 인터페이스 회로(820)는 이더넷(Ethernet) 인터페이스, USB(universal serial bus), 블루투스(Bluetooth®) 인터페이스, NFC(near field communication) 인터페이스, 및/또는 PCI 익스프레스 인터페이스와 같은 임의의 타입의 인터페이스 표준에 의해 구현될 수 있다.

예시된 실시예에 있어서, 하나 이상의 입력 장치(822)는 인터페이스 회로(820)에 연결된다. 입력 장치(들)(822)는 사용자가 데이터 및/또는 커맨드를 프로세서(812)에 입력할 수 있게 한다. 입력 장치(들)는, 예를 들어, 오디오 센서, 마이크로폰, 카메라(스틸 또는 비디오), 키보드, 버튼, 마우스, 터치스크린, 트랙-패드, 트랙볼, 이소포인트(isopoint) 및/또는 음성 인식 시스템에 의해 구현될 수 있다.

하나 이상의 출력 장치(824)가 또한 예시된 실시예의 인터페이스 회로(820)에 연결된다. 출력 장치(824)는, 예를 들어, 디스플레이 장치(예컨대, LED(light emitting diode), OLED(organic light emitting diode), LCD(liquid crystal display), CRT(cathode ray tube display), IPS(in-place switching) 디스플레이, 터치스크린 등), 촉각 출력 장치, 프린터 및/또는 스피커에 의해 구현될 수 있다. 따라서, 예시된 실시예의 인터페이스 회로(820)는, 통상적으로 그래픽 드라이버 카드, 그래픽 드라이버 칩 및/또는 그래픽 드라이버 프로세서를 포함한다.

예시된 실시예의 인터페이스 회로(820)는 네트워크(826)를 통한 외부 기계(예컨대, 임의의 종류의 컴퓨팅 장치)와의 데이터 교환을 용이하게 하기 위해 송신기, 수신기, 트랜시버, 모뎀, 가정용 게이트웨이, 무선 액세스 포인트, 및/또는 네트워크 인터페이스와 같은 통신 장치를 또한 포함한다. 통신은, 예를 들어, 이더넷(Ethernet) 접속, DSL(digital subscriber line) 접속, 전화 회선 접속, 동축 케이블 시스템, 위성 시스템, 현장(line-of-site) 무선 시스템, 셀룰러 전화 시스템 등을 통해 이루어질 수 있다.

예시된 실시예의 프로세서 플랫폼(800)은 소프트웨어 및/또는 데이터를 저장하기 위한 하나 이상의 대용량 기억 장치(828)를 또한 포함한다. 이러한 대용량 기억 장치(828)는 플로피 디스크 드라이브, 하드 드라이브 디스크, 콤팩트 디스크 드라이브, 블루레이(Blu-ray) 디스크 드라이브, 복수 배열 독립 디스크(RAID) 시스템, 및 DVD(digital versatile disk) 드라이브를 예로서 포함한다.

도 3 내지 도 7의 기계 실행 가능 명령어(832)는 대용량 기억 장치(828)에, 휘발성 메모리(814)에, 비휘발성 메모리(816)에, 및/또는 CD 또는 DVD와 같은 착탈식의 비일시적인 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.

전술한 내용으로부터, 머신 러닝 목적의 대량의 군중 데이터를 모으려고 할 때 통상적으로 공개 소스(예컨대, CCTV 카메라)로부터 획득한 이미지 데이터와 연관되는 개인 정보 보호 문제를 회피한 예시적인 방법, 장치 및 제조품이 개시되었음을 이해할 것이다. 부가적으로, 본 명세서에 개시된 실시예들은 머신 러닝 트레이닝 동작에 의해 사용 아이템에 주석을 달거나 및/또는 레이블링할 때 인간 재량에 의해 야기되는 오류를 방지한다.

디지털 장면을 생성하기 위한 예시적인 방법, 장치, 시스템, 및 제조품이 본 명세서에 개시된다. 추가 실시예들 및 그 조합은 다음을 포함한다:

실시예 1은 레이블링된 모델들을 생성하기 위한 장치를 포함하고, 해당 장치는, 입력 이미지의 3차원(3D) 모델을 생성하기 위한 맵 작성기, 제1 그룹화 분류 타입에 대응하는 3D 모델의 제1 구역을 식별하기 위한 그룹화 분류기, 제1 구역에 대응하는 다량의 플레이스홀더 인간 모델을 생성하기 위한 인간 모델 작성기, 다량의 플레이스홀더 인간 모델을 제1 구역의 각각의 좌표 위치에 할당― 각각의 좌표 위치는 제1 그룹화 분류 타입에 기초하여 할당됨 ―하기 위한 좌표 엔진, 다량의 플레이스홀더 인간 모델의 각각의 모델에 애스펙트 타입과 연관되는 특성을 할당하기 위한 모델 특성 변경기, 및 할당된 특성을 다량의 플레이스홀더 인간 모델의 각각의 모델에 대한 레이블 데이터로서 연계시키기 위한 주석 달기 매니저를 포함한다.

실시예 2는 실시예 1에서 정의된 바와 같은 장치를 포함하고, 맵 작성기는 좌표 지점들로 이루어진 지리위치 지점 클라우드를 입력 이미지의 3D 모델로서 생성하기 위한 것이다.

실시예 3은 실시예 1에서 정의된 바와 같은 장치를 포함하고, 그룹화 분류기는 제1 구역의 컬러에 기초하여 3D 모델의 채색된 영역을 해석― 컬러는 제1 그룹화 분류 타입을 나타냄 ―하기 위한 것이다.

실시예 4는 실시예 1에서 정의된 바와 같은 장치를 포함하고, 제1 그룹화 분류 타입은 제1 구역에서의 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제1 임계 거리에 대응한다.

실시예 5는 실시예 4에서 정의된 바와 같은 장치를 포함하고, 그룹화 분류기는 제2 그룹화 분류 타입에 대응하는 3D 모델의 제2 구역을 식별― 제2 그룹화 분류 타입은 제2 구역에서의 제2의 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제2 임계 거리에 대응함 ―하기 위한 것이다.

실시예 6은 실시예 1에서 정의된 바와 같은 장치를 포함하고, 좌표 엔진은 애스펙트 타입과 연관되는 특성이 결여되는 방식으로 다량의 플레이스홀더 인간 모델을 할당하기 위한 것이다.

실시예 7은 실시예 1에서 정의된 바와 같은 장치를 포함하고, 좌표 엔진은 제1 그룹화 분류 타입에 기초하여 플레이스홀더 인간 모델들의 각각의 모델에 방위를 할당하기 위한 것이다.

실시예 8은, 실행시에, 적어도 하나의 프로세서로 하여금, 입력 이미지의 3차원(3D) 모델을 생성하고, 제1 그룹화 분류 타입에 대응하는 3D 모델의 제1 구역을 식별하고, 제1 구역에 대응하는 다량의 플레이스홀더 인간 모델을 생성하고, 다량의 플레이스홀더 인간 모델을 제1 구역의 각각의 좌표 위치에 할당― 각각의 좌표 위치는 제1 그룹화 분류 타입에 기초하여 할당됨 ―하고, 다량의 플레이스홀더 인간 모델의 각각의 모델에 애스펙트 타입과 연관되는 특성을 할당하고, 할당된 특성을 다량의 플레이스홀더 인간 모델의 각각의 모델에 대한 레이블 데이터로서 연계시키게 하는 컴퓨터 판독 가능 명령어를 포함하는 비일시적인 컴퓨터 판독 가능 매체를 포함한다.

실시예 9는 실시예 8에서 정의된 바와 같은 컴퓨터 판독 가능 매체를 포함하고, 명령어는, 실행시에, 적어도 하나의 프로세서로 하여금, 좌표 지점들로 이루어진 지리위치 지점 클라우드를 입력 이미지의 3D 모델로서 생성하게 한다.

실시예 10은 실시예 8에서 정의된 바와 같은 컴퓨터 판독 가능 매체를 포함하고, 명령어는, 실행시에, 적어도 하나의 프로세서로 하여금, 제1 구역의 컬러에 기초하여 3D 모델의 채색된 영역을 해석― 컬러는 제1 그룹화 분류 타입을 나타냄 ―하게 한다.

실시예 11은 실시예 8에서 정의된 바와 같은 컴퓨터 판독 가능 매체를 포함하고, 명령어는, 실행시에, 적어도 하나의 프로세서로 하여금, 제1 그룹화 분류 타입에 기초하여 제1 구역에서의 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제1 임계 거리를 할당하게 한다.

실시예 12는 실시예 11에서 정의된 바와 같은 컴퓨터 판독 가능 매체를 포함하고, 명령어는, 실행시에, 적어도 하나의 프로세서로 하여금, 제2 그룹화 분류 타입에 대응하는 3D 모델의 제2 구역을 식별― 제2 그룹화 분류 타입은 제2 구역에서의 제2의 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제2 임계 거리에 대응함 ―하게 한다.

실시예 13은 실시예 8에서 정의된 바와 같은 컴퓨터 판독 가능 매체를 포함하고, 명령어는, 실행시에, 적어도 하나의 프로세서로 하여금, 애스펙트 타입과 연관되는 특성이 결여되는 방식으로 다량의 플레이스홀더 인간 모델을 할당하게 한다.

실시예 14는 실시예 8에서 정의된 바와 같은 컴퓨터 판독 가능 매체를 포함하고, 명령어는, 실행시에, 적어도 하나의 프로세서로 하여금, 제1 그룹화 분류 타입에 기초하여 플레이스홀더 인간 모델들의 각각의 모델에 방위를 할당하게 한다.

실시예 15는 레이블링된 모델들을 생성하기 위한 컴퓨터 구현 방법을 포함하고, 해당 방법은, 적어도 하나의 프로세서로 명령어를 실행함으로써, 입력 이미지의 3차원(3D) 모델을 생성하는 단계, 적어도 하나의 프로세서로 명령어를 실행함으로써, 제1 그룹화 분류 타입에 대응하는 3D 모델의 제1 구역을 식별하는 단계, 적어도 하나의 프로세서로 명령어를 실행함으로써, 제1 구역에 대응하는 다량의 플레이스홀더 인간 모델을 생성하는 단계, 적어도 하나의 프로세서로 명령어를 실행함으로써, 다량의 플레이스홀더 인간 모델을 제1 구역의 각각의 좌표 위치에 할당― 각각의 좌표 위치는 제1 그룹화 분류 타입에 기초하여 할당됨 ―하는 단계, 적어도 하나의 프로세서로 명령어를 실행함으로써, 다량의 플레이스홀더 인간 모델의 각각의 모델에 애스펙트 타입과 연관되는 특성을 할당하는 단계, 적어도 하나의 프로세서로 명령어를 실행함으로써, 할당된 특성을 다량의 플레이스홀더 인간 모델의 각각의 모델에 대한 레이블 데이터로서 연계시키는 단계를 포함한다.

실시예 16은 실시예 15에서 정의된 바와 같은 방법을 포함하고, 해당 방법은, 좌표 지점들로 이루어진 지리위치 지점 클라우드를 입력 이미지의 3D 모델로서 생성하는 단계를 더 포함한다.

실시예 17은 실시예 15에서 정의된 바와 같은 방법을 포함하고, 해당 방법은, 제1 구역의 컬러에 기초하여 3D 모델의 채색된 영역을 해석― 컬러는 제1 그룹화 분류 타입을 나타냄 ―하는 단계를 더 포함한다.

실시예 18은 실시예 15에서 정의된 바와 같은 방법을 포함하고, 제1 그룹화 분류 타입은 제1 구역에서의 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제1 임계 거리에 대응한다.

실시예 19는 실시예 18에서 정의된 바와 같은 방법을 포함하고, 해당 방법은, 제2 그룹화 분류 타입에 대응하는 3D 모델의 제2 구역을 식별― 제2 그룹화 분류 타입은 제2 구역에서의 제2의 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제2 임계 거리에 대응함 ―하는 단계를 더 포함한다.

실시예 20은 실시예 15에서 정의된 바와 같은 방법을 포함하고, 해당 방법은, 애스펙트 타입과 연관되는 특성이 결여되는 방식으로 다량의 플레이스홀더 인간 모델을 할당하는 단계를 더 포함한다.

실시예 21은 실시예 15에서 정의된 바와 같은 방법을 포함하고, 해당 방법은, 제1 그룹화 분류 타입에 기초하여 플레이스홀더 인간 모델들의 각각의 모델에 방위를 할당하는 단계를 더 포함한다.

실시예 22는 레이블링된 모델들을 생성하기 위한 장치를 포함하고, 해당 장치는, 입력 이미지의 3차원(3D) 모델을 생성하기 위한 맵 작성 수단, 제1 그룹화 분류 타입에 대응하는 3D 모델의 제1 구역을 식별하기 위한 그룹화 수단, 제1 구역에 대응하는 다량의 플레이스홀더 인간 모델을 생성하기 위한 인간 모델 작성 수단, 다량의 플레이스홀더 인간 모델을 제1 구역의 각각의 좌표 위치에 할당― 각각의 좌표 위치는 제1 그룹화 분류 타입에 기초하여 할당됨 ―하기 위한 좌표 할당 수단, 다량의 플레이스홀더 인간 모델의 각각의 모델에 애스펙트 타입과 연관되는 특성을 할당하기 위한 모델 특성 변경 수단, 및 할당된 특성을 다량의 플레이스홀더 인간 모델의 각각의 모델에 대한 레이블 데이터로서 연계시키기 위한 주석 달기 수단을 포함한다.

실시예 23은 실시예 22에서 정의된 바와 같은 장치를 포함하고, 맵 작성 수단은 좌표 지점들로 이루어진 지리위치 지점 클라우드를 입력 이미지의 3D 모델로서 생성하기 위한 수단이다.

실시예 24는 실시예 22에서 정의된 바와 같은 장치를 포함하고, 그룹화 수단은 제1 구역의 컬러에 기초하여 3D 모델의 채색된 영역을 해석― 컬러는 제1 그룹화 분류 타입을 나타냄 ―하기 위한 수단이다.

실시예 25는 실시예 22에서 정의된 바와 같은 장치를 포함하고, 제1 그룹화 분류 타입은 제1 구역에서의 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제1 임계 거리에 대응한다.

실시예 26은 실시예 25에서 정의된 바와 같은 장치를 포함하고, 그룹화 수단은 제2 그룹화 분류 타입에 대응하는 3D 모델의 제2 구역을 식별― 제2 그룹화 분류 타입은 제2 구역에서의 제2의 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제2 임계 거리에 대응함 ―하기 위한 수단이다.

실시예 27은 실시예 22에서 정의된 바와 같은 장치를 포함하고, 좌표 할당 수단은 애스펙트 타입과 연관되는 특성이 결여되는 방식으로 다량의 플레이스홀더 인간 모델을 할당하기 위한 수단이다.

실시예 28은 실시예 22에서 정의된 바와 같은 장치를 포함하고, 좌표 할당 수단은 제1 그룹화 분류 타입에 기초하여 플레이스홀더 인간 모델들의 각각의 모델에 방위를 할당하기 위한 수단이다.

특정한 예시적인 방법, 장치 및 제조품이 본 명세서에 개시되었지만, 본 특허의 보호 범위는 이들로 제한되지 않는다. 반대로, 본 특허는 본 특허의 청구항들의 범위 내에 정당하게 속하는 모든 방법, 장치 및 제조품을 포함한다.

Claims

레이블링된 모델들(labelled models)을 생성하기 위한 장치로서,
입력 이미지의 3차원(3D) 모델을 생성하기 위한 맵 작성기(map builder)와,
제1 그룹화 분류 타입에 대응하는 상기 3D 모델의 제1 구역을 식별하기 위한 그룹화 분류기와,
상기 제1 구역에 대응하는 다량의 플레이스홀더 인간 모델을 생성하기 위한 인간 모델 작성기와,
상기 다량의 플레이스홀더 인간 모델을 상기 제1 구역의 각각의 좌표 위치에 할당하기 위한 좌표 엔진 ― 상기 각각의 좌표 위치는 상기 제1 그룹화 분류 타입에 기초하여 할당됨 ― 과,
상기 다량의 플레이스홀더 인간 모델의 각각의 모델에 애스펙트 타입(aspect type)과 연관되는 특성을 할당하기 위한 모델 특성 변경기와,
상기 할당된 특성을 상기 다량의 플레이스홀더 인간 모델의 각각의 모델에 대한 레이블 데이터로서 연계시키기 위한 주석 달기 매니저(annotation manager)를 포함하는
장치.
제1항에 있어서,
상기 맵 작성기는 좌표 지점들로 이루어진 지리위치 지점 클라우드(geolocated point cloud)를 상기 입력 이미지의 3D 모델로서 생성하기 위한 것인
장치.
제1항에 있어서,
상기 그룹화 분류기는 상기 제1 구역의 컬러에 기초하여 상기 3D 모델의 채색된 영역을 해석하기 위한 것이고, 상기 컬러는 상기 제1 그룹화 분류 타입을 나타내는
장치.
제1항에 있어서,
상기 제1 그룹화 분류 타입은 상기 제1 구역에서의 상기 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제1 임계 거리에 대응하는
장치.
제4항에 있어서,
상기 그룹화 분류기는 제2 그룹화 분류 타입에 대응하는 상기 3D 모델의 제2 구역을 식별하기 위한 것이고, 상기 제2 그룹화 분류 타입은 상기 제2 구역에서의 제2의 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제2 임계 거리에 대응하는
장치.
제1항에 있어서,
상기 좌표 엔진은 상기 애스펙트 타입과 연관되는 특성이 결여되는 방식으로 상기 다량의 플레이스홀더 인간 모델을 할당하기 위한 것인
장치.
제1항에 있어서,
상기 좌표 엔진은 상기 제1 그룹화 분류 타입에 기초하여 상기 플레이스홀더 인간 모델들의 각각의 모델에 방위를 할당하기 위한 것인
장치.
컴퓨터 판독 가능 명령어를 포함하는 비일시적 컴퓨터 판독 가능 매체로서,
상기 명령어는, 실행시에, 적어도 하나의 프로세서로 하여금,
입력 이미지의 3차원(3D) 모델을 생성하게 하고,
제1 그룹화 분류 타입에 대응하는 상기 3D 모델의 제1 구역을 식별하게 하고,
상기 제1 구역에 대응하는 다량의 플레이스홀더 인간 모델을 생성하게 하고,
상기 다량의 플레이스홀더 인간 모델을 상기 제1 구역의 각각의 좌표 위치에 할당하게 하고 ― 상기 각각의 좌표 위치는 상기 제1 그룹화 분류 타입에 기초하여 할당됨 ―,
상기 다량의 플레이스홀더 인간 모델의 각각의 모델에 애스펙트 타입과 연관되는 특성을 할당하게 하고,
상기 할당된 특성을 상기 다량의 플레이스홀더 인간 모델의 각각의 모델에 대한 레이블 데이터로서 연계시키게 하는
컴퓨터 판독 가능 매체.
제8항에 있어서,
상기 명령어는, 실행시에, 상기 적어도 하나의 프로세서로 하여금, 좌표 지점들로 이루어진 지리위치 지점 클라우드를 상기 입력 이미지의 3D 모델로서 생성하게 하는
컴퓨터 판독 가능 매체.
제8항에 있어서,
상기 명령어는, 실행시에, 상기 적어도 하나의 프로세서로 하여금, 상기 제1 구역의 컬러에 기초하여 상기 3D 모델의 채색된 영역을 해석하게 하고, 상기 컬러는 상기 제1 그룹화 분류 타입을 나타내는
컴퓨터 판독 가능 매체.
제8항에 있어서,
상기 명령어는, 실행시에, 상기 적어도 하나의 프로세서로 하여금, 상기 제1 그룹화 분류 타입에 기초하여 상기 제1 구역에서의 상기 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제1 임계 거리를 할당하게 하는
컴퓨터 판독 가능 매체.
제11항에 있어서,
상기 명령어는, 실행시에, 상기 적어도 하나의 프로세서로 하여금, 제2 그룹화 분류 타입에 대응하는 상기 3D 모델의 제2 구역을 식별하게 하고, 상기 제2 그룹화 분류 타입은 상기 제2 구역에서의 제2의 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제2 임계 거리에 대응하는
컴퓨터 판독 가능 매체.
제8항에 있어서,
상기 명령어는, 실행시에, 상기 적어도 하나의 프로세서로 하여금, 상기 애스펙트 타입과 연관되는 특성이 결여되는 방식으로 상기 다량의 플레이스홀더 인간 모델을 할당하게 하는
컴퓨터 판독 가능 매체.
제8항에 있어서,
상기 명령어는, 실행시에, 상기 적어도 하나의 프로세서로 하여금, 상기 제1 그룹화 분류 타입에 기초하여 상기 플레이스홀더 인간 모델들의 각각의 모델에 방위를 할당하게 하는
컴퓨터 판독 가능 매체.
레이블링된 모델들을 생성하기 위한 컴퓨터 구현 방법으로서,
적어도 하나의 프로세서로 명령어를 실행함으로써, 입력 이미지의 3차원(3D) 모델을 생성하는 단계와,
상기 적어도 하나의 프로세서로 명령어를 실행함으로써, 제1 그룹화 분류 타입에 대응하는 상기 3D 모델의 제1 구역을 식별하는 단계와,
상기 적어도 하나의 프로세서로 명령어를 실행함으로써, 상기 제1 구역에 대응하는 다량의 플레이스홀더 인간 모델을 생성하는 단계와,
상기 적어도 하나의 프로세서로 명령어를 실행함으로써, 상기 다량의 플레이스홀더 인간 모델을 상기 제1 구역의 각각의 좌표 위치에 할당하는 단계 ― 상기 각각의 좌표 위치는 상기 제1 그룹화 분류 타입에 기초하여 할당됨 ― 와,
상기 적어도 하나의 프로세서로 명령어를 실행함으로써, 상기 다량의 플레이스홀더 인간 모델의 각각의 모델에 애스펙트 타입과 연관되는 특성을 할당하는 단계와,
상기 적어도 하나의 프로세서로 명령어를 실행함으로써, 상기 할당된 특성을 상기 다량의 플레이스홀더 인간 모델의 각각의 모델에 대한 레이블 데이터로서 연계시키는 단계를 포함하는
방법.
제15항에 있어서,
좌표 지점들로 이루어진 지리위치 지점 클라우드를 상기 입력 이미지의 3D 모델로서 생성하는 단계를 더 포함하는
방법.
제15항에 있어서,
상기 제1 구역의 컬러에 기초하여 상기 3D 모델의 채색된 영역을 해석하는 단계를 더 포함하되, 상기 컬러는 상기 제1 그룹화 분류 타입을 나타내는
방법.
제15항에 있어서,
상기 제1 그룹화 분류 타입은 상기 제1 구역에서의 상기 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제1 임계 거리에 대응하는
방법.
제18항에 있어서,
제2 그룹화 분류 타입에 대응하는 상기 3D 모델의 제2 구역을 식별하는 단계를 더 포함하되, 상기 제2 그룹화 분류 타입은 상기 제2 구역에서의 제2의 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제2 임계 거리에 대응하는
방법.
제15항에 있어서,
상기 애스펙트 타입과 연관되는 특성이 결여되는 방식으로 상기 다량의 플레이스홀더 인간 모델을 할당하는 단계를 더 포함하는
방법.
제15항에 있어서,
상기 제1 그룹화 분류 타입에 기초하여 상기 플레이스홀더 인간 모델들의 각각의 모델에 방위를 할당하는 단계를 더 포함하는
방법.
레이블링된 모델들을 생성하기 위한 장치로서,
입력 이미지의 3차원(3D) 모델을 생성하기 위한 맵 작성 수단과,
제1 그룹화 분류 타입에 대응하는 상기 3D 모델의 제1 구역을 식별하기 위한 그룹화 수단과,
상기 제1 구역에 대응하는 다량의 플레이스홀더 인간 모델을 생성하기 위한 인간 모델 작성 수단과,
상기 다량의 플레이스홀더 인간 모델을 상기 제1 구역의 각각의 좌표 위치에 할당하기 위한 좌표 할당 수단 ― 상기 각각의 좌표 위치는 상기 제1 그룹화 분류 타입에 기초하여 할당됨 ― 과,
상기 다량의 플레이스홀더 인간 모델의 각각의 모델에 애스펙트 타입과 연관되는 특성을 할당하기 위한 모델 특성 변경 수단과,
상기 할당된 특성을 상기 다량의 플레이스홀더 인간 모델의 각각의 모델에 대한 레이블 데이터로서 연계시키기 위한 주석 달기 수단을 포함하는
장치.
제22항에 있어서,
상기 맵 작성 수단은 좌표 지점들로 이루어진 지리위치 지점 클라우드를 상기 입력 이미지의 3D 모델로서 생성하기 위한 수단인
장치.
제22항에 있어서,
상기 그룹화 수단은 상기 제1 구역의 컬러에 기초하여 상기 3D 모델의 채색된 영역을 해석하기 위한 수단이고, 상기 컬러는 상기 제1 그룹화 분류 타입을 나타내는
장치.
제22항에 있어서,
상기 제1 그룹화 분류 타입은 상기 제1 구역에서의 상기 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제1 임계 거리에 대응하는
장치.
제25항에 있어서,
상기 그룹화 수단은 제2 그룹화 분류 타입에 대응하는 상기 3D 모델의 제2 구역을 식별하기 위한 수단이고, 상기 제2 그룹화 분류 타입은 상기 제2 구역에서의 제2의 다량의 플레이스홀더 인간 모델의 각각의 모델들 사이의 제2 임계 거리에 대응하는
장치.
제22항에 있어서,
상기 좌표 할당 수단은 상기 애스펙트 타입과 연관되는 특성이 결여되는 방식으로 상기 다량의 플레이스홀더 인간 모델을 할당하기 위한 수단인
장치.
제22항에 있어서,
상기 좌표 할당 수단은 상기 제1 그룹화 분류 타입에 기초하여 상기 플레이스홀더 인간 모델들의 각각의 모델에 방위를 할당하기 위한 수단인
장치.