KR20170074413A - 3d 모델을 활용한 2d 영상 학습 데이터 생성 시스템 및 그 생성방법 - Google Patents

Abstract

본 발명은 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템 및 그 생성방법에 관한 것으로, 영상 빅 데이터를 확보하지 못한 다른 산업 분야로 인공지능 분야의 혁신을 확산시킬 수 있는 데이터 획득 및 처리 기술에 관한 것이다. 즉, 본 발명은 특정 산업 분야에서 필요로 하는 인지 대상, 사물(object)들을 3D 모델로 생성하고 다양한 조건으로 렌더링하여 2D 영상들을 생성하고, 생성된 2D 영상을 머신 러닝 또는 빅데이터 기술 등으로 학습, 분석 및 처리함으로써, 영상 처리 및 정보 기술분야 등에서 시장성 및 파급력 있는 시스템 및 방법을 제공한다.

Description

3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템 및 그 생성방법{2D IMAGE DATA GENERATION SYSTEM USING OF 3D MODEL, AND THEREOF METHOD}

본 발명은 2D 영상 데이터 생성 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 영상 패턴 인식 시스템의 학습을 위한 3차원 모델 활용 2차원 영상 학습 데이터를 생성하는 시스템 및 그 생성방법에 관한 것이다.

현재 빅 데이터 분석 및 인공지능 기술(특히 머신 러닝 중 특히 딥 러닝 관련 연구)이 급진전하는 시대에서 데이터의 확보는 필수 불가결한 조건이다. 특히, 영상정보 관련 분야를 예를 들면, 빅 데이터를 확보한 기업들(예: 구글, 페이스북 등)에서 딥 러닝 등 최신 인공지능 기술을 연구하고 활용하고 있다.

영상 빅 데이터는 인공지능 기술들의 학습 데이터(training data)로 활용되어 컴퓨터 시스템의 인지, 추론 능력 등을 학습하게 된다. 현재 이러한 인공지능 기술들은 음성 인식, 영상 인식, 문자 해석 등의 분야에 인간의 능력에 근접하거나 오히려 넘어서는 성능을 보여주고 있다. 높은 인지 성능으로 인해 해당 기술은 현재 수많은 서비스직의 대체를 가져오는 혁신적인 영향력을 발휘할 것으로 인식되고 있다.

그러나 소셜네트워크 등으로 빅 데이터를 확보할 수 있었던 기업 혹은 분야가 아닌 다른 산업 분야들은 충분한 양의 학습 데이터가 없어서 최신 기술을 적용하기 어렵다는 문제가 있다.

대한민국 등록특허공보 제10-1556601호(등록일자: 2015년09월23일) 대한민국 등록특허공보 제10-0511210호(등록일자: 2005년08월23일)

본 발명에 따른 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템 및 그 생성방법은 다음과 같은 해결과제를 가진다.

첫째, 본 발명은 3D 모델을 다양한 렌더링 조건 및 이들의 조합을 통해 수많은 2D 영상 데이터를 생성할 수 있는 시스템 및 방법을 제공하고자 함이다.

둘째, 본 발명은 다양한 산업분야 또는 교육분야 등에서 요구되는 영상 패턴 인식 시스템의 학습을 위한 2D 영상 데이터를 효율적으로 빠르고 정확하게 획득할 수 있는 시스템 및 방법을 제공하고자 함이다.

본 발명의 해결과제는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하고자 하는 본 발명의 제1 특징은 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템으로서, 학습하고자 하는 대상체에 대한 3D 영상 모델을 구축하는 3D 모델 생성부; 생성된 3D 영상 모델을 가상의 촬영조건, 대상체 조건 및 환경조건 중 적어도 어느 하나의 조건을 설정하는 렌더링 조건 설정부; 설정된 렌더링 조건에 따라 3D 모델을 렌더링하여 2D 영상 데이터를 생성하는 2D 영상 데이터 생성부; 및 2D 영상 데이터를 영상 패턴 인식 학습 과정(learning process)을 통해 학습하는 데이터 학습부를 포함한다.

여기서, 상기 3D 모델 생성부는, 3차원 모델링 소프트웨어를 이용하여 대상체에 대한 3D 영상 모델을 구축하는 것이 바람직하고, 촬영조건은, 카메라의 촬영거리, 촬영위치, 촬영각 및 카메라의 촬영프로파일 중 적어도 어느 하나의 조건인 것이 바람직하며, 카메라의 촬영거리는 대상체로부터 촬영시 떨어진 거리인 것이 바람직하다.

또한, 카메라의 촬영위치는, 촬영시 대상체를 중심으로 3차원 상의 카메라 위치인 것이 바람직하고, 카메라의 촬영각은, 촬영시 대상체로부터 특정 거리에 위치한 카메라의 대상체에 대한 투사각인 것이 바람직하다.

더하여, 카메라 촬영 프로파일은, 카메라의 렌즈, 촛점거리, 색상필터, 촬영효과 중 적어도 하나를 포함하는 것이 바람직하고, 대상체 조건은, 대상체의 색, 질감, 형태 및 특정 대상체와의 중첩 조건 중 적어도 어느 하나인 것이 바람직하며, 상기 환경조건은, 대상체의 배경에 대한 색, 질감, 영상, 기후환경 및 노이즈 중 적어도 어느 하나인 것이 바람직하다.

또한, 렌더링 조건 설정부는, 미리 설정된 원하는 획득개수의 영상을 생성하도록 설정조건을 랜덤하게 조합하여 조건을 설정하는 것이 바람직하다.

본 발명의 제2 특징은 3D 모델을 활용한 2D 영상 학습 데이터 생성방법에 관한 것으로, 상술한 2D 영상 학습 데이터 생성 시스템을 이용하여, (a) D 모델 생성부가 학습하고자 하는 대상체에 대한 3D 영상 모델을 구축하는 단계; (b) 렌더링 조건 설정부가 생성된 3D 영상 모델을 가상의 촬영조건, 대상체 조건 및 환경조건 중 적어도 어느 하나의 조건을 설정하는 단계; (c) 2D 영상 데이터 생성부가 설정된 렌더링 조건에 따라 상기 3D 모델을 렌더링하여 2D 영상 데이터를 생성하는 단계; 및 (d) 생성된 2D 영상 데이터를 영상 패턴 인식 학습 과정(learning process)을 통해 학습하는 단계를 포함한다.

여기서, 상기 (c) 단계는, (c1) 2D 영상 데이터 생성부가 설정된 렌더링 조건에 따라 상기 3D 모델을 렌더링하여 2D 영상 데이터를 생성하는 단계; 및 (c2) 2D 영상 데이터 생성부가 파일 분산시스템, 병렬 데이터 처리기법 및 빅 테이블 기법을 이용하여 생성된 2D 영상 데이터를 빅데이터로 변환하는 단계를 포함하는 것이 바람직하다.

또한, 상기 (c) 단계는, 렌더링 조건 설정부가 미리 설정된 원하는 획득개수의 영상를 생성하도록 설정된 렌더링 조건을 랜덤하게 조합하여 설정된 조건에 따라 3D 모델을 렌더링하여 2차원 영상 빅데이터를 생성하는 단계인 것이 바람직하고, 상기 (d) 단계는, 생성된 2D 영상 데이터를 머신 러닝(Machine Learning) 기술을 이용하여 학습하는 단계인 것이 바람직하다.

그리고, 본 발명이 제3 특징은, 하드웨어와 결합되어 상술한 3D 모델을 활용한 2D 영상 학습 데이터 생성방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램을 그 특징으로 한다.

본 발명에 따른 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템 및 그 생성방법은 다음과 같은 효과를 가진다.

첫째, 본 발명은 특정 산업 분야에서 필요로 하는 인지 대상, 사물(object)들을 3D 모델로 생성하고, 3D 모델에 현실성 있게 다양한 효과들을 부가하여 2D 영상 데이터를 생성해내어 실제 빅 데이터와 같은 효과를 확보할 수 시스템 및 방법을 제공한다.

둘째, 본 발명은 3D 모델을 다양한 렌더링 조건 및 이들의 조합을 통해 수많은 데이터를 생성하고, 생성된 데이터를 머신 러닝 기술을 학습시키는데 이용하여, 인공 지능이 학습한 내용을 바탕으로 인지, 추론, 판단하여 처리함으로써, 다양한 산업분야 또는 교육분야 등에서 필요한 데이터를 효율적으로 빠르고 정확하게 처리 및 획득할 수 있는 시스템 및 방법을 제공한다.

셋째, 본 발명은 영상 빅 데이터를 확보하지 못한 다른 산업 분야로 인공지능 분야의 혁신을 확산시킬 수 있는 잠재력을 지닌 기술을 제공한다.

넷째, 본 발명은 특히 영상 정보 처리 분야에서의 시장성 및 파급력이 매우 큰 영상 처리 및 데이터 확보 기술을 제공한다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템을 블록 구성을 나타낸 도면이다.
도 2는 도 1의 시스템을 이용하는 2D 영상 학습 데이터 생성방법의 흐름을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 2D 영상 학습 데이터 생성 시스템 및 방법에서 렌더링 조건의 다양한 예를 나타낸 모식도이다.
도 4는 본 발명의 실시예에 따라 3D 모델을 2D 영상 학습 데이터를 생성하는 예를 나타내는 모식도이다.

본 발명의 추가적인 목적들, 특징들 및 장점들은 다음의 상세한 설명 및 첨부도면으로부터 보다 명료하게 이해될 수 있다.

본 발명의 상세한 설명에 앞서, 본 발명은 다양한 변경을 도모할 수 있고, 여러 가지 실시 예를 가질 수 있는바, 아래에서 설명되고 도면에 도시된 예시들은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도는 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "...부", "...유닛", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

이하에서 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템을 블록 구성을 나타낸 도면이고, 도 2는 도 1의 시스템을 이용하는 2D 영상 학습 데이터 생성방법의 흐름을 나타낸 도면이다.

도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 2D 영상 학습 데이터 생성 시스템은, 학습하고자 하는 대상체에 대한 3D 영상 모델을 구축하는 3D 모델 생성부(100); 생성된 3D 영상 모델을 가상의 촬영조건, 대상체 조건 및 환경조건 중 적어도 어느 하나의 조건을 설정하는 렌더링 조건 설정부(200); 설정된 렌더링 조건에 따라 3D 모델을 렌더링하여 2D 영상 데이터를 생성하는 2D 영상 데이터 생성부(300); 및 생성된 2D 영상 데이터를 영상 패턴 인식 학습 과정(learning process)을 통해 학습하는 데이터 학습부(400)를 포함하여 구성된다.

그리고, 도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 2D 영상 학습 데이터 생성방법은, 상술한 시스템을 이용하여, (a) 학습하고자 하는 대상체의 3D 영상 모델을 구축하는 하고, (b) 생성된 3D 영상 모델을 가상의 촬영조건, 대상체 조건 및 환경조건 중 적어도 어느 하나의 조건을 설정하하고, (c) 설정된 렌더링 조건에 따라 상기 3D 모델을 렌더링하여 2D 영상 데이터를 생성하고, (d) 생성된 2D 영상 데이터를 딥 러닝 등의 머신 러닝 기술을 이용하여 2D 영상 데이터를 인공지능이 학습하는 단계를 포함하는 것을 특징으로 한다.

이와 같이, 본 발명의 실시예에 따른 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템 및 방법은, 영상 빅 데이터를 확보하지 못한 다른 산업 분야로 인공지능 분야의 혁신을 확산시킬 수 있는 데이터 획득 및 처리 기술로서, 특정 산업 분야에서 필요로 하는 인지 대상, 사물(object)들을 3D 모델로 생성하고 다양한 조건으로 렌더링하여 2D 영상들을 생성하고, 생성된 2D 영상을 머신 러닝 또는 빅 데이터 기술 등으로 학습, 분석 및 처리함으로써, 영상 처리 및 정보 기술분야 등에서 시장성 및 파급력 있는 시스템 및 방법을 제공한다.

여기서, 3D 모델 생성부(100)는 특정한 사물 또는 대상체(object)를 3D 모델로 생성하는 장치로서, 3D 모델링 소프트웨어를 이용하여 사물의 3D 모델을 생성하는 3D 모델링 장치 또는 시스템이다.

3D 모델링 장치는 초기 건축분야에서는 컴퓨터가 자동제도를 위한 측면에서 주로 이용되었으며 이는 설계작업에서 도면작성에 소요되는 시간과 노력을 CAD 시스템을 이용하여 감소시키고, 컴퓨터의 활용이 설계자의 의사결정을 위한 도구로서 보다는 도면작성의 자동화에 더 적절하다고 인지되었기 때문이다. 그러나 컴퓨터 및 프로그램 방식의 발달은 고급기종의 CAD 시스템을 출현시켰으며 더불어 CAD 시스템을 이용한 설계에 대한 인식이 자동 도면작성뿐만 아니라 설계과정에서의 대안 분석 및 평가 도구로서의 활용성이 되었다는 점에서 건축물을 3차원 형상으로 나타내고 조작하는 3D 모델링 시스템이 개발되어 사용되고 있다.

그러므로, 본 발명의 실시예에서는 사물의 3D 모델을 대량의 2D 영상 데이터로 변환하고, 이 데이터를 머신 러닝(Machine learning) 기술의 2D 영상 학습 데이터로 활용하는 장치라는 점에서, 종래의 다양한 3D 모델링 시스템을 이용하여 사용자가 원하는 사물을 손쉽고 빠르게 3D 모델링 작업을 수행하여 획득할 수 있게 된다.

3D 모델링 작업은 3D 모델링 시스템을 통해 사용자가 직접 디자인 작업을 형성하여 수행하여 3D 모델을 생성하거나 기존의 3D 모델을 사용하는 것도 가능하며, 3D 스캔장치에 의해 자동적으로 획득하는 방법도 가능하다. 또한, 3D 모델은 실제 사물과 형태적으로 유사하지만, 동일한 질감 또는 색감을 갖는 동일체보다, 형태적으로 동일 또는 유사한 원형(prototype)에 가까운 3차원 형상의 모델이다.

렌더링 조건 설정부(200)는, 렌더링 장치에 의한 렌더링 수행전에 생성된 3D 모델을 2차원 영상 데이터를 변환하기 위한 조건을 설정하는 장치이다. 여기서 렌더링은 일반적으로 평면인 2D 영상에 형태·위치·조명 등 외부의 정보에 따라 다르게 나타나는 그림자·색상·농도 등을 고려하면서 실감나는 3차원 영상을 만들어내는 과정 또는 그러한 기법을 일컫는 것으로, 평면적으로 보이는 대상체에 그림자나 농도의 변화 등을 주어 입체감이 들게 함으로써 사실감을 추가하는 컴퓨터 그래픽상의 과정을 의미하지만, 본 발명의 실시예에서는 그 역과정으로서, 3D 모델을 통해 2D 영상으로 렌더링하는 과정을 의미한다. 즉, 렌더링 조건 설정부(200)는 3D 모델을 2D 영상 데이터로 변환 또는 생성하기 전에 촬영조건, 대상체 조건 및 환경조건 등의 다양한 외부조건을 설정하는 장치이다.

2D 영상 데이터 생성부(300)는 앞서 렌더링 조건 설정부(200)에서 설정된 조건에 따라 2D 영상 데이터를 생성하는 렌더링 장치이다. 즉, 생성된 3D 모델에 카메라에 다양한 조건을 설정하고, 3D 모델에 다양한 조건을 설정하고, 3D 모델의 배경에 다양한 조건을 설정하여 렌더링한 후의 결과인 2D 영상 데이터를 획득하는 장치이다.

데이터 학습부(400)는 2D 영상 데이터 생성부(300)에서 생성된 데이터를 빅데이터 기술이나 머신 러닝 기술에 의해 학습하는 과정을 수행하는 장치로서, 생성된 수 많은 2D 영상 데이터를 머신 러닝 기술을 활용해 인공지능을 학습시키고, 빅데이터 기술에 의해 처리되어 사용자가 필요로 하는 인지 및 해석 시스템을 확보하는 장치이다.

여기서, 빅데이터란 과거 아날로그 환경에서 생성되던 데이터에 비하면 그 규모가 방대하고, 생성 주기도 짧고, 형태도 수치 데이터뿐 아니라 문자와 영상 데이터를 포함하는 대규모 데이터를 말한다. 이와 같은 빅데이터를 분석하고 처리하는 장치를 빅데이터 서버 또는 빅데이터 장치라고 하는데, 빅데이터 서버는 네트워크 통신이 가능한 컴퓨팅 장치 또는 그 그룹으로, 대용량의 데이터를 분산 및 병렬 처리할 수 있는 하둡 클러스터 그룹으로 형성된다. 즉, 다수의 NoSQL 데이터 베이스와, 마스터 노드 및 다수의 슬래이브 노드로 구성된 하둡(Hadoop) 형식의 클러스터로 구성되고, 빅데이터 서버는 엘라스틱서치(Elasticsearch) 검색 엔진이 탑재되어 대용량 데이터의 검색기능이 강화될 수 있다.

본 발명의 실시예에 적용되는 2D 영상 데이터 생성부(300)는 일반적인 빅데이터 서버와는 달리 네트워크 통신을 이용하여 수많은 데이터를 분석하고 처리하는 장치와 달리, 3D 모델 생성부(100)에서 생성된 수많은 빅데이터를 분산 및 병렬처리 형식으로 분석하고 처리하는 장치로서, 종래의 빅데이터 시스템의 구성을 사용할 수 있다.

이와 같이 본 발명의 실시예에서는 종래의 빅데이터 분석 시스템과 같이, 네트워크상 수많은 데이터를 취합하여 분석 및 처리하는 것이 아니라, 적어도 하나의 3D 모델을 통해 다양한 렌더링 조건을 설정과 이를 조합하여 수많은 데이터를 생성하고, 생성된 데이터를 빅데이터 시스템을 분석함으로써, 빅데이터 기술의 장점을 살릴 수 있는 시스템 및 방법을 제안한다.

그리고, 데이터 학습부(400)는 2D 영상 데이터 생성부(300)에서 생성된 수많은 데이터를 영상 패턴 인식 학습 과정(learning process)으로서, 머신 러닝(machine learning) 기술을 이용하여 인공지능을 학습시키는 기술을 이용하여 사용자에게 최적화된 데이터 및 정보를 제공하게 된다.

여기서, 머신 러닝(machine learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 할 수 있다.

즉, 딥 러닝(deep learning) 또는 머신 러닝(machine learning)은 컴퓨터가 사람처럼 생각하고 배울 수 있도록 하는 인공지능(AI) 기술로서, 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시킨다. 또한, 머신 러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지·추론·판단할 수 있게 됨으로써, 음성·이미지 인식과 사진 분석 등에 광범위하게 활용된다.

그러므로, 본 발명의 실시예에서 2D 영상 데이터 생성부(300)에서 3D 모델을 다양한 렌더링 조건 및 이들의 조합을 통해 수많은 데이터를 생성하고, 생성된 데이터를 바탕으로 머신 러닝 기술을 이용하여 인지, 추론, 판단하여 처리함으로써, 다양한 산업분야 또는 교육분야 등에서 필요한 데이터를 효율적으로 빠르고 정확하게 획득할 수 있는 시스템 및 방법을 제공할 수 있게 된다.

상술한 본 발명의 실시예에 따른 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템의 구성으로서, 3D 모델 생성부(100), 렌더링 조건 설정부(200), 2D 영상 데이터 생성부(300) 및 데이터 학습부(400)는 하나의 컴퓨팅 장치 또는 시스템으로 구성될 수 있을 뿐만 아니라, 각 구성요소가 독립적인 컴퓨팅 장치 또는 시스템으로 연결되어 구성될 수 있음은 물론이다.

도 3은 본 발명의 실시예에 따른 2D 영상 학습 데이터 생성 시스템 및 방법에서 렌더링 조건의 다양한 예를 나타낸 모식도이고, 도 4는 본 발명의 실시예에 따라 3D 모델을 2D 영상 학습 데이터를 생성하는 예를 나타내는 모식도이다.

도 3 및 도 4에 나타낸 바와 같이, 본 발명의 실시예에 적용되는 렌더링 조건 설정부(200)는 다양한 렌더링 조건을 설정함으로써, 사용자 인식 대상이 존재하는 특성에 따라 적절한 영상 생성방식을 선택하고 조건들을 추가 또는 제한하여 2D 영상들을 생성할 수 있다.

이하에서, 인식하고자 하는 대상이 컵일 경우를 예를 들어 표현하였다.

1. 촬영조건(촬영시점 및 촬영 위치를 달리하는 방법들)(도 3 참조)

촬영조건은 렌더링 조건 중 하나로서 카메라의 촬영위치, 촬영각 및 카메라 촬영 프로파일을 포함하는 조건으로, 아래에 예시된 바와 같다. 이 외에도 가상의 카메라가 대상체를 촬영하여 2D 이미지를 생성하는 경우의 촬영조건이면 모두 가능하다.

1) 대상체로부터 카메라와 거리 r(구의 중심)을 고정하고 수평면에 대하여 카메라를 회전(0~180도 사이의 값으로 1회 이동 시 회전 각도를 지정)(렌더링 조건)하면서 영상을 생성하는 방법

2) 대상체로부터 카메라와 거리 r(구의 중심)을 고정하고 수직면에 대하여 카메라를 회전(0~180도 사이의 값으로 1회 이동 시 회전 각도를 지정)(렌더링 조건)하면서 영상을 생성하는 방법

3) 대상체로부터 카메라와 거리 r(구의 중심)을 고정하고 수평면 또는 수직면의 이동범위를 한정하는 방법

4) 대상체로부터 카메라와의 거리 r을 변경시켜 가며 대상체(object)의 영상을 생성하는 방법

5) 대상체로부터 카메라와의 거리 r이 고정되어 있을 때 카메라를 좌우 상하로 기울여 가며 대상체의 영상을 생성하는 방법

6) 카메라 렌즈 종류에 따른 영상 주변부 또는 중심부 왜곡효과를 인공적으로 생성하는 방법

7) 카메라 렌즈 종류에 따른 영상 내 대상체(object) 주변부 또는 중심부 왜곡효과를 인공적으로 생성하는 방법

8) 카메라의 초점 거리를 변환하였을 때 나타나는 포커싱(focusing) 효과를 인위적으로 주어 영상 선명도, 및 흐림 효과를 주는 방법

9) 카메라의 다양한 프로파일을 적용하여 영상의 색감을 변경시키는 방법

2. 대상체 조건(object condition)

대상체는 학습하고자 하는 사물 또는 대상체의 상태를 변화시키기 위한 조건을 말하는 것으로, 대상체의 색, 질감, 형태 및 특정 물체와의 중첩 조건 등 다양한 조선을 설정할 수 있다. 아래에서 예시된 바와 같다.

1) 인식하고자 하는 대상체(object)에 특정한 형태(연기, 원형의 띠, 철조망, 막대기, 사각형, 원, 사람, 차, 나무, 나뭇가지, 덤불 등)의 모양을 가진 사물을 중첩을 시켜 영상을 생성하는 방법

2) 인공적으로 영상 내의 사물 모양을 일정 수준으로 변형시켜 영상을 생성하는 방법. 직선을 곡선으로 하는 경우, 원모양을 타원으로 하는 경우와 같이 경계선을 불규칙하게 일그러뜨리는 방법

3) 대상체에 그림자 효과를 주어 영상를 생성하는 방법

3. 환경조건

환경조건은 학습하고자 하는 대상체의 배경 등의 주변 환경을 변화시키는 조건을 말하는 것으로, 배경 이미지, 색, 기후 조건 등 다양한 요소로 조건을 설정할 수 있다. 아래에 예시된 바와 같다.

1) 특정한 색영역(RGV, HSV, HIS, Lab, Luv, black and white, grayscale)등으로 변환시켜 영상을 생성하는 방법. 또는 특정한 색영역에서 몇 개의 색 공간만을 활용하여 영상을 생성하는 방법

2) 인식하고자 하는 대상체((object) 뒤의 배경을 인공적으로 합성하는 방법: 단일 색 배경, 자연 배경(바다, 강, 풀밭, 황무지 산, 하늘, 도시, 집, 도로, 빌딩, 공항 등)

3) 인공적인 노이즈(흙먼지, Gaussian random noise)를 입혀 영상을 생성하는 방법.

4) 비, 눈, 흐림, 맑음과 같은 기상조건을 인위적으로 설정하여 광원 효과를 달리하여 영상을 생성하는 방법.

도 4는 상술한 렌더링 조건을 통하여 3D 모델을 2D 영상 학습 데이터로 생성하는 모식도로서, 한옥의 3D 모델을 구축하고, 다양한 렌더링 조건(촬영조건, 대상체조건, 환경조건 등)을 설정하여 2D 영상 데이터를 생성하고, 생성된 2D 영상 데이터를 머신 러닝 기술로 학습시켜 사용자가 원하는 2D 영상 학습 데이터가 생성되는 것을 예시하고 있다.

이처럼, 본 발명은 3D 모델에 상술한 다양한 렌더링 조건을 설정하거나 이들 조건을 조합하여 수많은 2D 영상 데이터를 생성하게 된다. 그리고, 렌더링 조건 설정부(200)에서 사용자가 원하는 영상의 개수가 미리 설정되어 있는 경우, 상기 조건들을 랜덤하게 조합한 2D 영상 데이터를 생성할 수 있다. 그 외에도 렌더링 조건은 사용자가 원하는 무수히 많은 조건들을 설정함으로써, 다양한 효과를 선택하여 2D 영상의 빅 데이터를 생성할 수 있게 된다.

또한, 본 발명은 상술한 바와 같이, 3D 모델로부터 확보된 2D 영상들을 영상 패턴 인식 시스템의 학습 과정(learning process)에서 학습 데이터(training data)로 활용하는 등의 머신 러닝 기술을 이용하여 실제 영상 또는 영상 내 사물 또는 환경을 인식(detection, classification, approximation, clustering)하는 데 활용 가능한 시스템 및 방법을 제공한다.

본 명세서에서 설명되는 실시 예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시 예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 3D 모델 생성부 200: 렌더링 조건 설정부
300: 2D 영상 데이터 생성부 400: 데이터 학습부

Claims (15)

1. 학습하고자 하는 대상체에 대한 3D 영상 모델을 구축하는 3D 모델 생성부;
   생성된 3D 영상 모델을 가상의 촬영조건, 대상체 조건 및 환경조건 중 적어도 어느 하나의 조건을 설정하는 렌더링 조건 설정부;
   설정된 렌더링 조건에 따라 3D 모델을 렌더링하여 2D 영상 데이터를 생성하는 2D 영상 데이터 생성부; 및
   2D 영상 데이터를 영상 패턴 인식 학습 과정(learning process)을 통해 학습하는 데이터 학습부를 포함하는 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템.
2. 청구항 1에 있어서,
   상기 3D 모델 생성부는,
   3차원 모델링 소프트웨어를 이용하여 대상체에 대한 3D 영상 모델을 구축하는 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템.
3. 청구항 1에 있어서,
   촬영조건은,
   카메라의 촬영거리, 촬영위치, 촬영각 및 카메라의 촬영프로파일 중 적어도 어느 하나의 조건인 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템.
4. 청구항 3에 있어서,
   카메라의 촬영거리는 대상체로부터 촬영시 떨어진 거리인 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템.
5. 청구항 3에 있어서,
   카메라의 촬영위치는,
   촬영시 대상체를 중심으로 3차원 상의 카메라 위치인 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템.
6. 청구항 3에 있어서,
   카메라의 촬영각은,
   촬영시 대상체로부터 특정 거리에 위치한 카메라의 대상체에 대한 투사각인 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템.
7. 청구항 3에 있어서,
   카메라 촬영 프로파일은,
   카메라의 렌즈, 촛점거리, 색상필터, 촬영효과 중 적어도 하나를 포함하는 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템.
8. 청구항 3에 있어서,
   대상체 조건은,
   대상체의 색, 질감, 형태 및 특정 대상체와의 중첩 조건 중 적어도 어느 하나인 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템.
9. 청구항 3에 있어서,
   상기 환경조건은,
   대상체의 배경에 대한 색, 질감, 영상, 기후환경 및 노이즈 중 적어도 어느 하나인 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템.
10. 청구항 1에 있어서,
    렌더링 조건 설정부는,
    미리 설정된 원하는 획득개수의 영상을 생성하도록 설정조건을 랜덤하게 조합하여 조건을 설정하는 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성 시스템.
11. 청구항 1의 2D 영상 학습 데이터 생성 시스템을 이용하여,
    (a) D 모델 생성부가 학습하고자 하는 대상체에 대한 3D 영상 모델을 구축하는 단계;
    (b) 렌더링 조건 설정부가 생성된 3D 영상 모델을 가상의 촬영조건, 대상체 조건 및 환경조건 중 적어도 어느 하나의 조건을 설정하는 단계;
    (c) 2D 영상 데이터 생성부가 설정된 렌더링 조건에 따라 상기 3D 모델을 렌더링하여 2D 영상 데이터를 생성하는 단계; 및
    (d) 생성된 2D 영상 데이터를 영상 패턴 인식 학습 과정(learning process)을 통해 학습하는 단계를 포함하는 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성방법.
12. 청구항 11에 있어서,
    상기 (c) 단계는,
    (c1) 2D 영상 데이터 생성부가 설정된 렌더링 조건에 따라 상기 3D 모델을 렌더링하여 2D 영상 데이터를 생성하는 단계; 및
    (c2) 2D 영상 데이터 생성부가 파일 분산시스템, 병렬 데이터 처리기법 및 빅 테이블 기법을 이용하여 생성된 2D 영상 데이터를 빅데이터로 변환하는 단계를 포함하는 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성방법.
13. 청구항 11에 있어서,
    상기 (c) 단계는,
    렌더링 조건 설정부가 미리 설정된 원하는 획득개수의 영상를 생성하도록 설정된 렌더링 조건을 랜덤하게 조합하여 설정된 조건에 따라 3D 모델을 렌더링하여 2차원 영상 빅데이터를 생성하는 단계인 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성방법.
14. 청구항 11에 있어서,
    상기 (d) 단계는,
    생성된 2D 영상 데이터를 머신 러닝(Machine Learning) 기술을 이용하여 학습하는 단계인 것을 특징으로 하는 3D 모델을 활용한 2D 영상 학습 데이터 생성방법.
15. 하드웨어와 결합되어 청구항 11의 3D 모델을 활용한 2D 영상 학습 데이터 생성방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램.
    

Images