KR102291162B1 - 인공 지능 학습용 가상 데이터 생성 장치 및 방법 - Google Patents

인공 지능 학습용 가상 데이터 생성 장치 및 방법 Download PDF

Info

Publication number
KR102291162B1
KR102291162B1 KR1020200165968A KR20200165968A KR102291162B1 KR 102291162 B1 KR102291162 B1 KR 102291162B1 KR 1020200165968 A KR1020200165968 A KR 1020200165968A KR 20200165968 A KR20200165968 A KR 20200165968A KR 102291162 B1 KR102291162 B1 KR 102291162B1
Authority
KR
South Korea
Prior art keywords
copy
generating
effect
image
unit
Prior art date
Application number
KR1020200165968A
Other languages
English (en)
Inventor
최우식
김태규
박준영
Original Assignee
주식회사 딥노이드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥노이드 filed Critical 주식회사 딥노이드
Priority to KR1020200165968A priority Critical patent/KR102291162B1/ko
Application granted granted Critical
Publication of KR102291162B1 publication Critical patent/KR102291162B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

생성 장치가 제공된다. 상기 생성 장치는 타겟 물체의 3차원 데이터를 획득하는 획득부; 상기 3차원 데이터를 이용해서 3차원의 가상 공간에 상기 타겟 물체의 복사본을 생성하는 배치부;를 포함할 수 있다.

Description

인공 지능 학습용 가상 데이터 생성 장치 및 방법{Apparatus and method for generating virtual data for artificial intelligence learning}
본 발명은 인공 지능 학습에 사용되는 데이터를 가상으로 생성하는 장치 및 방법에 관한 것이다.
인공지능이 제대로 동작하기 위해서는 학습을 위한 다양한 물품의 이미지를 필요로 한다. 그러나, 실제로 학습에 필요한 데이터를 취득하기 위해서는 많은 인력 및 시간적인 소모를 요구하는 것이 대부분이다.
한국공개특허공보 제2019-0106861호에는 사용자의 개입이 없어도 높은 라벨을 갖는 학습 데이터를 생성하는 기술이 나타나 있다.
한국공개특허공보 제2019-0106861호
본 발명은 타겟 물체를 3차원 스캔한 데이터를 이용해서 기계 학습용 데이터를 생성할 수 있는 생성 장치 및 방법을 제공하기 위한 것이다.
본 발명의 생성 장치는 타겟 물체의 3차원 데이터를 획득하는 획득부; 상기 3차원 데이터를 이용해서 3차원의 가상 공간에 상기 타겟 물체의 복사본을 생성하는 배치부;를 포함할 수 있다.
본 발명의 생성 방법은 타겟 물체의 3차원 데이터를 획득하는 획득 단계; 상기 3차원 데이터를 이용해서 3차원의 가상 공간에 상기 타겟 물체의 복사본을 생성하는 배치 단계; 상기 가상 공간에 생성된 상기 복사본을 실사 이미지화하는 구현 단계;를 포함할 수 있다.
본 발명의 생성 장치는 실제와 매우 비슷한 이미지를 실사 렌더링할 수 있으며, 해당 이미지는 기계 학습용 데이터로 활용될 수 있다. 이를 통해, 기계 학습용 데이터를 구축하는데 소요되는 인력 및 시간적 소모량이 대폭 단축된 데이터 취득 환경이 제공될 수 있다.
본 발명에 따르면, 원하는 학습용 이미지를 취득할 필요가 있을 때마다 해당 물품을 촬영할 필요가 없다. 대신, 사전에 3D 스캐너로부터 얻은 3차원 데이터를 이용하여 실사 렌더링(photorealistic rendering) 기술 기반의 실제와 유사한 학습용 이미지를 생성해두고, 필요할 때마다 이용함으로써 생산성을 높이고자 한다.
본 발명에 따르면, 인공지능 학습용 이미지 생성이 자동화되고, 이론상 무한대의 학습용 데이터가 제공될 수 있다.
본 발명에 따르면, 3차원 가상 공간에 배치된 복사본의 재질, 광원 효과, 타겟 물체의 주변 배경을 다양하게 변경할 수 있다. 이에 따라, 타겟 물체뿐만 아니라 주변 환경도 학습 요소로 하는 학습 데이터를 효과적으로 생성할 수 있다.
도 1은 본 발명의 생성 장치를 나타낸 개략도이다.
도 2는 본 발명의 학습 데이터 생성 과정을 나타낸 개략도이다.
도 3은 구현부의 동작을 나타낸 개략도이다.
도 4는 생성부의 동작을 나타낸 개략도이다.
도 5는 본 발명의 생성 장치에 의해 실사 렌더링된 복사본의 2차원 평면 이미지를 나타낸 사진이다.
도 6은 본 발명의 생성 방법을 나타낸 흐름도이다.
도 7은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
도 1은 본 발명의 생성 장치(100)를 나타낸 개략도이다. 도 2는 본 발명의 학습 데이터 생성 과정을 나타낸 개략도이다.
학습 데이터 생성 과정은 타겟 물체(90)를 3차원 스캔해서 3차원 데이터를 수집하는 단계를 포함할 수 있다(S 510).
3차원 스캐너(10)를 통해 수집된 3차원 데이터는 데이터베이스에 저장될 수 있다(S 520).
데이터베이스에 종류별로 분류되어 저장된 3차원 데이터는 기계 학습 시스템의 요청에 의해 적절한 종류로 추출될 수 있다.
추출된 3차원 데이터는 해당 타겟 물체(90)가 실제의 공간에 배치된 것과 유사한 환경을 갖도록 가공될 필요가 있다. 이때, 실제의 공간에 배치된 것과 유사한 환경을 갖도록 3차원 데이터를 가공하는데 본 발명의 생성 장치(100)가 사용될 수 있다(S 530).
본 발명의 생성 장치(100)에서 가공된 실사 이미지는 기계 학습 시스템의 학습 데이터 또는 입력 데이터로 제공될 수 있다(S 540).
도 1에 도시된 생성 장치(100)는 획득부(110), 배치부(130), 구현부(150), 생성부(170)를 포함할 수 있다.
획득부(110)는 타겟 물체(90)의 3차원 데이터를 획득할 수 있다.
일 예로, 획득부(110)는 타겟 물체(90)를 3차원 스캔하는 스캐너(10)를 포함하거나, 해당 스캐너(10)로부터 3차원 데이터를 입수하는 통신 수단을 포함할 수 있다.
배치부(130)는 3차원 데이터를 이용해서 3차원의 가상 공간(70)에 타겟 물체(90)의 복사본(80)을 생성하고 배치할 수 있다. 타겟 물체(90)의 3차원 데이터에 해당하는 복사본(80)은 타겟 물체(90)와 동일한 외형을 가질 수 있다.
배치부(130)에서 이루어지는 가상 공간(70)에 대한 복사본(80)의 배치는 실제로는 소프트웨어적으로 구현된 가상 공간(70)에 대해 수행되는 복사본(80)의 파싱 작업을 통해 수행될 수 있다.
3차원 스캐너(10)를 통해 획득된 3차원 데이터는 표면의 질감, 주변의 광선 효과 등이 배제된 순수한 기하학적 형상 정보를 포함할 수 있다. 기하학적 형상 정보만을 갖는 복사본(80)은 기계 학습(머신 러닝)의 입력 데이터로 활용되기에는 부족한 점이 있다.
기계 학습용 데이터는 실제와 유사할수록 좋다. 광선 효과, 질감 등이 표현되는 실제의 타겟 물체(90)를 모의하기 위해 구현부(150)는 복사본(80)을 실사 이미지로 렌더링(실사 렌더링, photorealistic rendering)할 수 있다.
구현부(150)는 현실의 타겟 물체(90)의 이미지를 추종하는 광원(79) 효과, 현실의 타겟 물체(90)의 이미지를 추종하는 복사본(80) 표면의 매질 반사 효과, 가상 공간(70)의 전역 조명 효과 중 적어도 하나를 복사본(80)에 적용해서 실사 이미지를 생성할 수 있다. 또한, 구현부(150)는 기계 학습의 입력 데이터로 실사 이미지를 제공할 수 있다.
광원(79) 효과는 실내에서의 광선 효과, 실외에서의 햇빛 효과, 밤의 달빛 효과와 같이 현실에서 자연적으로 생성되는 빛으로 인해 달라지는 타겟 물체(90)의 표면 이미지를 나타낼 수 있다.
본 발명의 생성 장치(100)는 가상 공간(70)에 다양한 광원(79)을 배치할 수 있다. 따라서, 구현부(150)는 다양한 광원(79) 효과를 복사본(80)에 부가할 수 있다. 이때의 광원(79) 효과가 실제와 거의 동일하게 발생되도록 다양한 알고리즘이 사용될 수 있다.
매질 반사 효과는 복사본(80)의 재질에 따라 달라지는 표면 반사도로 인한 외부 광선의 반사 효과를 나타낼 수 있다. 예를 들어, 유리 재질의 경우, 투과된 빛으로 인해 복사면에 가려진 배경이 일부 보이는 등의 효과가 발생될 수 있다. 구현부(150)는 복사본(80)의 재질을 다양하게 변경하고, 그에 맞춰 매질 반사 효과를 현실적으로 부여할 수 있다.
비금속 재질의 경우, 구현부(150)는 램버시안 반사(lambertian)를 이용할 수 있다. 물체 표면을 중심으로 반구형의 균등 분포 함수가 모델링될 수 있다.
금속 재질의 경우, 구현부(150)는 빛이 금속체에 들어올 때 튕겨져 나가는 방향의 벡터를 계산할 수 있다.
유리 등의 투명 재질(투영체)의 경우, 구현부(150)는 투영체에 의한 굴절률을 스넬(Snell) 법칙으로 획득할 수 있다. 또한, 구현부(150)는 투영체에 대한 반사 및 투과 계수를 슐릭 근사(Schlick approximation)하여 획득할 수 있다. 구현부(150)는 굴절률, 반사, 투과 계수를 이용해서 빛이 투영체에 들어올 때 나가는 방향의 벡터를 산출할 수 있다.
구현부(150)는 실사 렌더링을 위해 안티 앨리어싱(Anti-Aliasing)할 수 있다. 픽셀의 컬러를 결정하는 빛의 샘플 수가 적으면 소위 계단 현상과 같은 노이즈가 발생될 수 있다. 구현부(150)는 현재 픽셀 위치를 기준으로 샘플 수마다 시작 지점을 다르게 설정하고, 최종 픽셀값을 평균하여 사용할 수 있다. 이를 통해 노이즈가 제거되는 안티 앨리어싱이 구현될 수 있다.
주변 광을 더해줌으로써 전역 조명 효과가 활성화될 수 있다. 광원(79) 효과를 유발하는 광원(79)이 작아서 정상적으로 렌더링되지 않고 까맣게 표현되는 부분에 대해 직접 광 효과가 적용될 수 있다.
광원(79) 효과에 대해 자세하게 살펴본다.
도 3은 구현부(150)의 동작을 나타낸 개략도이다. 도 3에서 구현부(150)는 광선 추적법(ray tracing)을 이용해서 광원(79) 효과를 구현할 수 있다.
광원(79) 효과는 셀 수 없을 정도로 많은 광선에 의해 형성되며, 현실적으로 광원(79) 효과를 분석하기 위해 모든 광선을 분석하는 것은 어렵다. 일부의 광선만을 분석하면서도 현실과 동일한 광원(79) 효과를 획득하기 위한 방안이 마련될 수 있다.
생성부(170)는 복사본(80)을 촬영하거나 캡쳐해서 2차원 평면 이미지(50)를 생성할 수 있다. 생성부(170)에는 소프트웨어로 구현되는 가상 카메라(60)가 마련될 수 있다. 가상 카메라(60)는 설정 자세로 복사본(80)을 촬영하거나 캡쳐할 수 있다. 설정 자세는 복사본(80)을 중심으로 하는 카메라의 위치, 해당 위치에서 카메라의 광축이 향하는 방향 또는 각도를 포함할 수 있다.
이때, 가상 카메라(60)가 촬영하는 복사본(80)의 이미지는 광원(79)으로부터 방사된 광선 p가 복사본(80)에서 반사 또는 투영된 후 가상 카메라(60)로 유입된 것을 촬영한 것이다. 다시 말해, 광원(79), 복사본(80), 가상 카메라(60)의 순서대로 움직인 광선 p를 통해 가상 카메라(60)는 복사본(80)의 모습을 촬영하거나 캡쳐할 수 있다.
배치부(130)에 의해 가상 공간(70)에 복사본(80)이 파싱되면, 구현부(150)는 가상 공간(70)의 전체 밝기를 조절하며, 생성부(170)는 가상 카메라(60) 관련 파라메터를 조절할 수 있다.
연산량을 줄이기 위해, 구현부(150)는 가상 카메라(60) 관련 파라메터를 이용해서 광선 추적 렌더링을 수행할 수 있다. 이때, 가상 카메라(60) 관련 파라메터는 가상 카메라(60)의 자세 정보를 포함할 수 있다.
구현부(150)는 가상 공간(70)에 형성된 광원(79)으로부터 복사본(80)에 도달하는 광선의 광 경로를 역으로 추적하여 복사본(80)을 경유하는 타겟 광 경로를 생성할 수 있다. 구현부(150)는 가상 카메라(60)로 들어온 광선만을 역추적해서 광원(79) 효과를 분석할 수 있다. 다시 말해, 구현부(150)는 광원(79)으로부터 방사된 빛 중에서 가상 카메라(60)로 들어오지 못한 빛(광선)은 철저하게 배제하고, 가상 카메라(60)로 유입된 광선 p만을 분석해서 복사본(80)에 의한 타겟 광 경로를 생성할 수 있다.
구현부(150)는 타겟 광 경로를 이용해서 2차원 평면 이미지(50)를 형성하는 각 픽셀의 음영을 결정할 수 있다.
생성부(170)는 광선 추적 렌더링이 수행된 2차원 평면 이미지(50)를 추출할 수 있다. 구체적으로, 생성부(170)는 구현부(150)에 의해 결정된 음영이 부가된 2차원 평면 이미지(50)를 촬영하거나 캡쳐할 수 있다. 이렇게 획득된 2차원 평면 이미지(50)가 기계 학습용 데이터로 제공될 수 있다. 해당 2차원 평면 이미지(50)는 실제 현장에서 타겟 물체(90)를 사진으로 촬영한 모습을 추종할 수 있다. 이때의 추종은 형상뿐만 아니라, 광원(79) 효과 등의 다양한 환경 효과를 추가로 포함할 수 있다.
생성 장치(100)는 한 번의 3차원 스캔만으로 다양한 환경 조건을 변화시키면서 타겟 물체(90)(실제로는 복사본(80))의 데이터를 취득할 수 있다. 이때의 환경 조건의 변화는 조명의 변화, 매질의 변화, 카메라의 자세 변화, 물체의 자세 변화(물체의 위치 및 각도 포함) 등을 포함할 수 있다.
본 발명에 따르면, 3차원 데이터베이스의 구축, 2차원 평면 이미지(50)의 취득 과정이 자동화될 수 있다. 이를 통해, 데이터 선취의 병목이 완화되고, 윈도우 배치 스크립트(windows batch script)를 이용한 렌더링 자동화가 실현될 수 있다.
도 4는 생성부(170)의 동작을 나타낸 개략도이다.
복수의 학습 데이터를 제공하기 위해, 생성부(170)는 구현부(150)에 의해 실사 렌더링된 이미지를 복수로 획득할 수 있다. 이때, 각 이미지는 생성부(170)에 의해 가상 카메라(60)의 촬영 위치 cp가 무작위로 변경될 때마다 획득될 수 있다. 구현부(150)는 가상 카메라(60)의 촬영 위치 cp의 변경으로 인해 자세 정보가 변경될 때마다, 변경된 가상 카메라(60)의 자세 정보에 기초하여 복사본(80)의 광원(79) 효과 등을 새롭게 계산하고 적용할 수 있다.
도 5는 본 발명의 생성 장치(100)에 의해 실사 렌더링된 복사본(80)의 2차원 평면 이미지(50)를 나타낸 사진이다.
도 5의 복사본(80)은 샴푸통을 나타낼 수 있다.
도 5의 (a)에 도시된 제1 이미지 i1과 같이 샴푸통의 정면을 촬영하는 위치에서의 광원(79) 효과는 도 5의 (b)에 도시된 제2 이미지 i2와 같이 샴푸통의 측면을 촬영하는 위치에서의 광원(79) 효과와 다를 수 있다. 구현부(150)는 가상 카메라(60)의 위치를 기준으로 광원(79) 효과를 실제와 동일하게 계산하고 2차원 평면 이미지(50)로 나타낼 수 있다.
도 6은 본 발명의 생성 방법을 나타낸 흐름도이다.
도 6의 생성 방법은 도 1에 도시된 생성 장치(100)에 의해 수행될 수 있다.
타겟 물체(90)의 3차원 데이터를 획득하는 획득 단계(S 531)가 수행될 수 있다. 획득부(110)에 의해 수행되는 동작일 수 있다.
3차원 데이터를 이용해서 3차원의 가상 공간(70)에 타겟 물체(90)의 복사본(80)을 생성하는 배치 단계(S 532)가 수행될 수 있다. 배치부(130)에 의해 수행되는 동작으로 가상 공간(70) 역시 타겟 물체(90)와 함께 실사화 렌더링의 대상에 포함될 수 있다.
가상 공간(70)에 생성된 복사본(80)을 실사 이미지화하는 구현 단계(S 533)가 수행될 수 있다.
실사 이미지화된 복사본(80)의 2차원 평면 이미지(50)를 생성하는 생성 단계(S 534)가 수행될 수 있다. 생성부(170)에 의해 수행되는 동작으로, 생성부(170)는 구현부(150)에 의해 실사 렌더링된 복사본(80)을 대상으로 2차원 평면 이미지(50)를 획득할 수 있다.
구현 단계(S 533)는 생성 단계(S 534) 전에 복사본(80)의 2차원 평면 이미지(50)를 생성하는 가상 카메라(60)의 자세 정보를 획득할 수 있다.
구현 단계(S 533)는 자세 정보를 갖는 가상 카메라(60)에 한하여 실제의 광원(79) 효과가 부여된 실사 이미지를 생성할 수 있다.
구현 단계(S 533)는 구현부(150)에 의해 수행되는 동작으로 연산량을 줄이기 위해, 구현부(150)는 가상 공간(70)에 배치된 가상 카메라(60)로 입사되는 광선을 역추적하는 방법을 이용해서 현실의 공원 효과를 복사본(80)에 부여하는 동시에 연산량을 최소화할 수 있다. 구현부(150)는 생성부(170)로부터 가상 카메라(60)의 자세 정보를 획득할 수 있다.
도 7은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 7의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 생성 장치(100) 등) 일 수 있다.
도 7의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10...스캐너 50...2차원 평면 이미지
60...가상 카메라 70...가상 공간
79...광원 80...복사본
90...타겟 물체 100...생성 장치
110...획득부 130...배치부
150...구현부 170...생성부

Claims (6)

  1. 타겟 물체의 3차원 데이터를 획득하는 획득부;
    상기 3차원 데이터를 이용해서 3차원의 가상 공간에 상기 타겟 물체의 복사본을 생성하는 배치부;
    상기 복사본을 실사 이미지로 렌더링하는 구현부;를 포함하고,
    상기 구현부는 현실의 상기 타겟 물체의 이미지를 추종하는 광원 효과 및 상기 복사본 표면의 매질 반사 효과를 함께 상기 복사본에 적용해서 상기 실사 이미지를 생성하며,
    상기 광원 효과는 실내에서의 광선 효과, 실외에서의 햇빛 효과, 밤의 달빛 효과 중 적어도 하나를 포함하고,
    상기 매질 반사 효과는 상기 복사본의 재질에 따라 달라지는 표면 반사도로 인한 외부 광선의 반사 효과를 포함하며,
    상기 구현부는 기계 학습의 입력 데이터로 상기 실사 이미지를 제공하고,
    상기 복사본이 비금속 재질인 경우, 상기 구현부는 램버시안 반사(lambertian)를 이용하여 상기 복사본 표면의 매질 반사 효과를 상기 복사본에 적용하고,
    상기 복사본이 금속 재질인 경우, 상기 구현부는 빛이 상기 금속 재질의 금속체에 들어올 때 튕겨져 나가는 방향의 벡터를 계산한 결과를 이용하여 상기 복사본 표면의 매질 반사 효과를 상기 복사본에 적용하며,
    상기 복사본이 투명 재질인 경우, 상기 구현부는 상기 투명 재질의 투영체에 의한 굴절률을 스넬(Snell) 법칙으로 획득하고, 상기 투영체에 대한 반사 및 투과 계수를 슐릭 근사(Schlick approximation)하여 획득하며,
    상기 구현부는 상기 굴절률, 상기 반사 및 상기 투과 계수를 이용해서 빛이 상기 투영체에 들어올 때 나가는 방향의 벡터를 산출한 결과를 이용하여 상기 복사본 표면의 매질 반사 효과를 상기 복사본에 적용하는 생성 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 복사본을 촬영하거나 캡쳐해서 2차원 평면 이미지를 생성하는 생성부가 마련되고,
    상기 구현부는 상기 가상 공간에 형성된 광원으로부터 상기 복사본에 도달하는 광선의 광 경로를 역으로 추적하여 상기 복사본을 경유하는 타겟 광 경로를 생성하며,
    상기 구현부는 상기 타겟 광 경로를 이용해서 상기 2차원 평면 이미지를 형성하는 각 픽셀의 음영을 결정하고,
    상기 생성부는 상기 구현부에 의해 결정된 음영이 부가된 상기 2차원 평면 이미지를 촬영하거나 캡쳐하는 생성 장치.
  4. 제1항에 있어서,
    상기 복사본을 촬영하거나 캡쳐해서 2차원 평면 이미지를 생성하는 생성부가 마련되고,
    상기 배치부에 의해 상기 가상 공간에 상기 복사본이 파싱되면, 상기 구현부는 상기 가상 공간의 전체 밝기를 조절하며, 상기 생성부는 가상 카메라 관련 파라메타를 조절하고,
    상기 구현부는 상기 가상 카메라 관련 파라메타를 이용해서 광선 추적 렌더링을 수행하며,
    상기 생성부는 상기 광선 추적 렌더링이 수행된 2차원 평면 이미지를 추출하는 생성 장치.
  5. 생성 장치에 의해 수행되는 생성 방법에 있어서,
    타겟 물체의 3차원 데이터를 획득하는 획득 단계;
    상기 3차원 데이터를 이용해서 3차원의 가상 공간에 상기 타겟 물체의 복사본을 생성하는 배치 단계;
    상기 가상 공간에 생성된 상기 복사본을 실사 이미지화하는 구현 단계;를 포함하고,
    상기 구현 단계는,
    현실의 상기 타겟 물체의 이미지를 추종하는 광원 효과 및 상기 복사본 표면의 매질 반사 효과를 함께 상기 복사본에 적용해서 상기 실사 이미지를 생성하며,
    상기 광원 효과는 실내에서의 광선 효과, 실외에서의 햇빛 효과, 밤의 달빛 효과 중 적어도 하나를 포함하고,
    상기 매질 반사 효과는 상기 복사본의 재질에 따라 달라지는 표면 반사도로 인한 외부 광선의 반사 효과를 포함하며,
    상기 복사본이 비금속 재질인 경우, 램버시안 반사(lambertian)를 이용하여 상기 복사본 표면의 매질 반사 효과를 상기 복사본에 적용하고,
    상기 복사본이 금속 재질인 경우, 빛이 상기 금속 재질의 금속체에 들어올 때 튕겨져 나가는 방향의 벡터를 계산한 결과를 이용하여 상기 복사본 표면의 매질 반사 효과를 상기 복사본에 적용하며,
    상기 복사본이 투명 재질인 경우, 상기 투명 재질의 투영체에 의한 굴절률을 스넬(Snell) 법칙으로 획득하고, 상기 투영체에 대한 반사 및 투과 계수를 슐릭 근사(Schlick approximation)하여 획득하며, 상기 굴절률, 상기 반사 및 상기 투과 계수를 이용해서 빛이 상기 투영체에 들어올 때 나가는 방향의 벡터를 산출한 결과를 이용하여 상기 복사본 표면의 매질 반사 효과를 상기 복사본에 적용하는 생성 방법.
  6. 제5항에 있어서,
    상기 실사 이미지화된 상기 복사본의 2차원 평면 이미지를 생성하는 생성 단계가 마련되고,
    상기 구현 단계는 상기 생성 단계 전에 상기 복사본의 2차원 평면 이미지를 생성하는 가상 카메라의 자세 정보를 획득하며,
    상기 구현 단계는 상기 자세 정보를 갖는 가상 카메라에 한하여 실제의 광원 효과가 부여된 실사 이미지를 생성하는 생성 방법.
KR1020200165968A 2020-12-01 2020-12-01 인공 지능 학습용 가상 데이터 생성 장치 및 방법 KR102291162B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200165968A KR102291162B1 (ko) 2020-12-01 2020-12-01 인공 지능 학습용 가상 데이터 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200165968A KR102291162B1 (ko) 2020-12-01 2020-12-01 인공 지능 학습용 가상 데이터 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102291162B1 true KR102291162B1 (ko) 2021-08-20

Family

ID=77466531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200165968A KR102291162B1 (ko) 2020-12-01 2020-12-01 인공 지능 학습용 가상 데이터 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102291162B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102445556B1 (ko) * 2021-06-10 2022-09-21 주식회사 에이투마인드 가상 데이터를 생성하는 방법 및 장치
KR20240052467A (ko) 2022-10-14 2024-04-23 주식회사 이엘피케이뉴 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170074413A (ko) * 2015-12-22 2017-06-30 연세대학교 산학협력단 3d 모델을 활용한 2d 영상 학습 데이터 생성 시스템 및 그 생성방법
KR20190106861A (ko) 2019-08-27 2019-09-18 엘지전자 주식회사 학습 데이터를 생성하는 인공 지능 장치, 인공 지능 서버 및 그 방법
KR20190110227A (ko) * 2018-03-20 2019-09-30 한국전자통신연구원 동작 인식을 위한 가상 학습 데이터를 생성하는 방법 및 장치
KR20200055841A (ko) * 2018-11-12 2020-05-22 한국전자통신연구원 기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법
JP2020109620A (ja) * 2018-12-28 2020-07-16 インテル コーポレイション クラウドに基づくリアルタイム光線追跡

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170074413A (ko) * 2015-12-22 2017-06-30 연세대학교 산학협력단 3d 모델을 활용한 2d 영상 학습 데이터 생성 시스템 및 그 생성방법
KR20190110227A (ko) * 2018-03-20 2019-09-30 한국전자통신연구원 동작 인식을 위한 가상 학습 데이터를 생성하는 방법 및 장치
KR20200055841A (ko) * 2018-11-12 2020-05-22 한국전자통신연구원 기계 학습을 위한 학습 데이터 셋 생성 장치 및 방법
JP2020109620A (ja) * 2018-12-28 2020-07-16 インテル コーポレイション クラウドに基づくリアルタイム光線追跡
KR20190106861A (ko) 2019-08-27 2019-09-18 엘지전자 주식회사 학습 데이터를 생성하는 인공 지능 장치, 인공 지능 서버 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102445556B1 (ko) * 2021-06-10 2022-09-21 주식회사 에이투마인드 가상 데이터를 생성하는 방법 및 장치
KR20240052467A (ko) 2022-10-14 2024-04-23 주식회사 이엘피케이뉴 딥러닝 비행 테스트용 시뮬레이터와 비행 테스트용 시뮬레이터를 이용한 비행체 트래킹 시스템 및 객체 트래킹 방법

Similar Documents

Publication Publication Date Title
US11182961B2 (en) Method and system for representing a virtual object in a view of a real environment
CA3074547C (en) On-set facial performance capture and transfer to a three-dimensional computer-generated model
US11671717B2 (en) Camera systems for motion capture
CN108510583B (zh) 人脸图像的生成方法和人脸图像的生成装置
US20170059305A1 (en) Active illumination for enhanced depth map generation
KR102291162B1 (ko) 인공 지능 학습용 가상 데이터 생성 장치 및 방법
CN112819941B (zh) 渲染水体面的方法、装置、设备和计算机可读存储介质
CN114972617A (zh) 一种基于可导渲染的场景光照与反射建模方法
EP2933781A2 (en) Method and system for representing a virtual object in a view of a real environment
CN112784621A (zh) 图像显示方法及设备
CN110889426A (zh) 三维表达体生成系统
CN116958492B (zh) 一种基于NeRf重建三维底座场景渲染的VR编辑方法
KR20200042781A (ko) 입체 모델 생성 방법 및 장치
Mittal Neural Radiance Fields: Past, Present, and Future
CN116758208A (zh) 全局光照渲染方法、装置、存储介质及电子设备
CN109446945A (zh) 三维模型处理方法和装置、电子设备、计算机可读存储介质
JP5865092B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP4204760A1 (en) Systems and methods of 3d object reconstruction using a neural network
CN115981467B (zh) 一种图像合成参数确定方法、图像合成方法及装置
CN112487893B (zh) 一种三维目标识别方法及系统
KR102559691B1 (ko) 뉴럴 렌더링 기반 형상 색상 통합 3d 메시 복원 방법 및 장치
US20230090732A1 (en) System and method for real-time ray tracing in a 3d environment
CN117876564A (zh) 图像处理方法及相关设备

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant