KR102145220B1

KR102145220B1 - 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법 및 장치

Info

Publication number: KR102145220B1
Application number: KR1020190017008A
Authority: KR
Inventors: 이록규; 박지혁; 강민석; 김현기
Original assignee: 엔에이치엔 주식회사
Priority date: 2019-02-14
Filing date: 2019-02-14
Publication date: 2020-08-18

Abstract

본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 이미지 변환서버에서 딥러닝을 활용한 2차원 이미지의 3차원 이미지화 서비스를 제공하는 방법으로서, 원본 이미지를 획득하는 단계; 상기 원본 이미지에서 오브젝트 영역과 배경 영역을 분리하는 단계; 상기 오브젝트 중 메인 오브젝트를 결정하는 단계; 상기 결정된 메인 오브젝트의 영역을 유효 값으로 설정한 메인 오브젝트 이미지와 상기 메인 오브젝트 영역 외의 영역을 유효 값으로 설정한 백그라운드 이미지를 획득하는 단계; 상기 백그라운드 이미지의 면벡터 방향을 변환한 입체 베이스 이미지를 획득하는 단계; 상기 입체 베이스 이미지와 상기 메인 오브젝트 이미지를 합성하여 3차원 이미지를 생성하는 단계; 및 상기 생성된 3차원 이미지를 출력하는 단계를 포함한다.

Description

딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법 및 장치 {METHOD AND APPARATUS FOR CONVERT TWO-DIMENSIONAL IMAGE TO THREE-DIMENSIONAL IMAGE UTILIZING DEEP LEARNING}

본 발명은 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법에 관한 것이다.

보다 상세하게는, 딥러닝 뉴럴 네트워크와 이미지 처리 기술을 활용하여 2차원 이미지를 3차원 이미지화하는 방법에 관한 것이다.

스마트폰, 태블릿 PC, PDA(Personal Digital Assistant) 등과 같은 사용자 단말의 이용이 대중화되고 정보 처리 기술이 발달함에 따라 사용자 단말을 이용하여 이미지 또는 동영상을 촬영하고, 촬영한 영상을 사용자의 요구에 맞게 편집하는 영상 편집 기술에 대한 연구가 활발하게 진행되고 있는 추세이다.

특히, 이미지 편집을 상업적으로 이용하는 분야 중 하나는 2차원(2D, Two-dimensional) 이미지를 3차원(3D, Three-dimensional) 이미지로 변환해주는 2차원 이미지 기반의 3차원 이미지 생성 분야이다.

이를 위한 다양한 알고리즘들이 개발되고 있으나, 2차원 이미지에서의 메인 오브젝트(Object)를 효과적으로 강조해주는 3차원 이미지를 생성하는데 미흡함이 있어 이를 해결하기 위한 기술의 개발이 요구되고 있다.

한편, 3차원 이미지를 생성하는 알고리즘 중 하나로, 영상의 일부를 추출하여 분리한 후 분리한 영상의 일부를 다른 영상과 합성하여 새로운 영상을 생성하는 이미지 매팅기법이 사용될 수 있다.

이러한 이미지 매팅 기법에 따른 3차원 이미지 생성 알고리즘을 구현하기 위해서는, 이미지에서 특정 오브젝트가 차지하는 영역만을 분리하기 위한 트라이맵(trimap)을 필요로 하는데, 트라이 맵을 생성하기 위해서는 이러한 오브젝트 영역, 오브젝트가 아닌 영역, 그리고 경계 영역까지 사용자가 일일이 선택하여 지정해주어야 하는 단점이 있다.

이러한 문제점을 극복하기 위하여, 최근에 딥러닝을 통한 이미지 편집 기술이 활발하게 시도되고 있으며, 이미지 편집 기술에서 주목을 받고 있는 2차원 이미지 기반의 3차원 이미지 생성 분야에서도, 이미지 처리 과정에서 딥러닝을 활용하기 위한 기술 개발이 요구되고 있다.

10-1829733 B

본 발명은, 딥러닝 뉴럴 네트워크와 이미지 처리 기술을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은, 2차원 이미지의 오브젝트를 2차원 이미지의 배경과 대비하여 효과적으로 강조하는 3차원 이미지를 제공하는데 그 목적이 있다.

또한, 본 발명은, 딥러닝 뉴럴 네트워크를 이용하여 2차원 이미지의 오브젝트와 배경을 분리하고, 분리된 오브젝트와 배경을 기반으로 이미지 처리를 수행하여 3차원 이미지를 생성하고자 한다.

다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

이때, 상기 원본 이미지에서 오브젝트 영역과 배경 영역을 분리하는 단계는, 상기 획득된 원본 이미지를 이미지 딥러닝 뉴럴 네트워크를 통해 시맨틱 세그멘테이션하여 상기 오브젝트 영역과 상기 배경 영역을 분리하는 단계를 포함하고, 상기 이미지 딥러닝 뉴럴 네트워크는, 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network), R-CNN(Regions with CNN features), Fast R-CNN, Faster R-CNN 및 Mask R-CNN 중 적어도 하나의 딥러닝 뉴럴 네트워크를 포함한다.

또한, 상기 메인 오브젝트를 결정하는 단계는, 소정의 기준을 기반으로 상기 메인 오브젝트를 자동으로 설정하는 단계 또는 상기 자동으로 설정된 메인 오브젝트가 복수일 경우, 상기 메인 오브젝트를 선택하는 사용자 인터페이스를 제공하는 단계를 포함한다.

또한, 상기 백그라운드 이미지에서 비유효 값을 가지는 메인 오브젝트 영역에 대한 픽셀의 명도를 변환하여 상기 메인 오브젝트의 그림자를 생성하는 단계를 더 포함한다.

또한, 상기 메인 오브젝트의 그림자를 생성하는 단계는, 상기 백그라운드 이미지의 상기 메인 오브젝트 영역의 픽셀 상에 소정의 투명도를 가지는 그림자 이미지를 중첩하여 상기 픽셀 명도 변환을 수행하는 단계를 포함한다.

또한, 상기 백그라운드 이미지의 면벡터 방향을 변환한 입체 베이스 이미지를 획득하는 단계는, 상기 백그라운드 이미지를 아핀 변형을 기반으로 변환하여 입체 베이스 이미지를 생성하는 단계를 포함한다.

또한, 상기 메인 오브젝트 이미지의 마스크를 획득하고, 상기 획득된 마스크를 평균화 필터 및 안티-에일리어싱 필터 중 적어도 어느 하나의 필터를 이용하여 리파인 엣지 처리하는 단계를 더 포함한다.

또한, 상기 입체 베이스 이미지와 상기 메인 오브젝트 이미지를 합성하여 3차원 이미지를 생성하는 단계는, 상기 이미지 처리된 메인 오브젝트 이미지와 백그라운드 이미지를 상기 마스크에 기초하여 알파 블렌딩 방법으로 합성하는 단계를 포함한다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 단말에서 이미지 변환 서버를 통해 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스를 제공하는 방법으로서, 상기 3차원 이미지로 변환할 2차원 이미지를 결정하는 단계; 상기 2차원 이미지를 상기 이미지 변환 서버에 송신하는 단계; 상기 이미지 변환 서버로부터 상기 2차원 이미지를 변환한 3차원 이미지를 수신하는 단계; 및 상기 3차원 이미지를 출력하는 단계를 포함하고, 상기 3차원 이미지는, 상기 2차원 이미지에서 메인 오브젝트를 제외한 백그라운드 이미지의 면벡터 방향이 변환된 입체 베이스 이미지와, 상기 메인 오브젝트 이미지가 합성된 이미지이다.

이때, 상기 백그라운드 이미지의 면백터 방향을 변환한 입체 베이스 이미지는, 상기 백그라운드 이미지를 아핀 변형을 기반으로 변환하여 생성된 이미지이다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 2차원 이미지를 딥러닝을 통해 3차원 이미지로 변환하는 기능을 제공하는 장치로서, 복수의 이미지와, 상기 2차원 이미지를 상기 3차원 이미지로 변환하는 어플리케이션을 저장하는 저장부; 상기 이미지를 출력하는 디스플레이부; 및 상기 어플리케이션을 독출하여 상기 2차원 이미지를 상기 3차원 이미지로 변환하는 제어부를 포함하고, 상기 제어부는, 상기 복수의 이미지에서 상기 2차원 이미지를 결정하고, 상기 결정된 2차원 이미지를 오브젝트 디텍션하여 메인 오브젝트를 결정하며, 상기 2차원 이미지에서 상기 메인 오브젝트의 영역을 비유효 영역으로 설정한 백그라운드 이미지를 생성하고, 상기 생성된 백그라운드 이미지의 방향을 변환하여 입체 베이스 이미지를 획득하며, 상기 획득된 입체 베이스 이미지와 상기 메인 오브젝트 이미지를 합성하여 3차원 이미지를 생성하고, 상기 생성된 3차원 이미지를 상기 디스플레이부를 통해 출력하도록 제어한다.

이때, 상기 제어부는, 상기 2차원 이미지를 이미지 딥러닝 뉴럴 네트워크를 통해 시맨틱 세그멘테이션하여 상기 메인 오브젝트의 영역과 나머지 배경 영역을 분리하도록 제어하며, 상기 이미지 딥러닝 뉴럴 네트워크는, 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network), R-CNN(Regions with CNN features), Fast R-CNN, Faster R-CNN 및 Mask R-CNN 중 적어도 하나의 딥러닝 뉴럴 네트워크를 포함한다.

또한, 상기 제어부는, 상기 백그라운드 이미지에서 비유효 값을 가지는 메인 오브젝트 영역에 대한 픽셀의 명도를 변환하여 상기 메인 오브젝트의 그림자를 생성하도록 제어한다.

또한, 상기 제어부는, 상기 백그라운드 이미지의 상기 메인 오브젝트 영역의 픽셀 상에 소정의 투명도를 가지는 그림자 이미지를 중첩하여 상기 픽셀 명도 변환을 수행하도록 제어한다.

또한, 상기 제어부는, 상기 백그라운드 이미지를 아핀 변형을 기반으로 변환하여 입체 베이스 이미지를 생성하도록 제어한다.

또한, 상기 제어부는, 상기 메인 오브젝트 이미지의 마스크를 획득하고, 상기 획득된 마스크를 평균화 필터 및 안티-에일리어싱 필터 중 적어도 어느 하나의 필터를 이용하여 리파인 엣지 처리하도록 제어한다.

또한, 상기 제어부는, 상기 필터를 통해 리파인 엣지 처리된 메인 오브젝트 이미지와 상기 백그라운드 이미지를 상기 마스크에 기초하여 알파 블렌딩 방법으로 합성하여 상기 3차원 이미지를 생성하도록 제어한다.

본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 딥러닝 뉴럴 네트워크를 이용하여 2차원 이미지의 오브젝트와 배경을 분리하고, 분리된 오브젝트와 배경을 기반으로 이미지 처리를 수행하여 3차원 이미지를 생성해 출력함으로써, 단조로운 2차원 이미지를 생동감 있는 3차원 이미지로 제공할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 딥러닝 뉴럴 네트워크를 활용하여 2차원 이미지를 3차원 이미지화하여 제공함으로써, 오브젝트 영역, 오브젝트가 아닌 영역 및/또는 경계 영역을 사용자가 일일이 설정하지 않고도, 인공지능에 기초한 빠르고 효율적인 자동화 데이터 처리를 할 수 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 이미지 상의 메인 오브젝트를 자동으로 설정하거나, 메인 오브젝트를 사용자가 선택할 수 있도록 하는 인터페이스를 제공함으로써, 상황에 따라 적합한 방식으로 메인 오브젝트를 설정하는 효율적인 3차원 이미지를 생성 방법을 제공할 수 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 2차원 이미지의 오브젝트를 2차원 이미지의 배경과 대비하여 효과적으로 강조하는 3차원 이미지를 생성함으로써, 이미지 상의 주요한 오브젝트를 집중적 · 효과적으로 인식하게 할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 이미지를 출력하는 각 픽셀의 명도를 조절할 수 있는 채널을 부여함으로써, 이미지 상의 오브젝트와 배경이 보다 자연스럽게 어우러지는 3차원 이미지를 생성할 수 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 아핀 변형(Affine Transform) 기술을 기반으로 이미지 처리를 수행하여, 2차원 이미지의 3차원 이미지화를 간단한 프로세스를 통해 효과적으로 구현할 수 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 평균화 필터(Averaging filter) 및/또는 안티-에일리어싱 필터(Anti-aliasing filter)를 기반으로 이미지 처리를 수행하여, 3차원 이미지에서의 오브젝트와 배경 간의 경계 잡음을 최소화할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 알파 블렌딩(Alpha Blending) 방법을 기반으로 이미지 처리를 수행하여, 보다 자연스럽고 완성도 높은 3차원 이미지를 생성할 수 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 다양한 형태의 단말을 통해 2차원 이미지를 3차원 이미지로 변환해주는 서비스를 제공함으로써, 사용자가 2차원 이미지를 기반으로 3차원 이미지를 생성하는 고도화된 이미지 편집 기술을 쉽게 접하고 구현할 수 있는 효과가 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.

도 1은 본 발명의 실시예에 따른 2차원 이미지를 기반으로 3차원 이미지를 생성하는 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 단말의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 이미지 변환 서버의 내부 블록도이다.
도 4는 본 발명의 실시예에 따른 2차원 이미지를 기반으로 3차원 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 획득된 이미지의 일례이다.
도 6은 본 발명의 실시예에 따른 의미론적 세분화(Semantic Segmentation) 기술로 오브젝트와 배경을 분리하는 모습의 일례이다.
도 7은 본 발명의 실시예에 따른 배경 이미지에서 메인 오브젝트 영역의 픽셀 명도를 변환하는 모습의 일례이다.
도 8은 본 발명의 실시예에 따른 아핀 변형(Affine Transform)을 통해 배경 이미지의 방향을 전환하는 일례이다.
도 9는 본 발명의 실시예에 따른 아핀 변형(Affine Transform)을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 평균화 필터(Averaging filter)를 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 3차원 입체 이미지를 생성하는 방법을 설명하기 위한 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 2차원 이미지를 기반으로 3차원 이미지를 생성하는 시스템의 개념도이다.

도 1을 참조하면, 본 발명의 실시예에서 딥러닝을 활용하여 2차원(2D, Two-dimensional) 이미지를 3차원(3D, Three-dimensional) 이미지로 변환하는 방법 및 시스템은, 단말(100), 이미지 변환 서버(200) 및 딥러닝 서버(300)를 포함할 수 있다.

여기서, 본 발명의 실시예에서의 2차원 이미지란, 3차원 이미지로 변환되기 이전의 원본 이미지를 의미한다.

그리고 본 발명의 실시예에서의 3차원 이미지란, 이하에서 기술되는 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법에 따라 가공된 이미지를 의미한다. 다만, 실시예에서의 3차원 이미지는, 2차원 원본 이미지에 입체 효과를 부여한 이미지로서 단말(100)의 평면 디스플레이를 통해 출력되므로 2차원적 이미지로 표시되며, 입체 효과가 부여된 2차원 이미지로도 정의될 수 있다.

여기서, 도 1의 각 구성요소는, 네트워크(Network)를 통해 연결될 수 있다. 네트워크는 단말(100), 이미지 변환 서버(200) 및 딥러닝 서버(300) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

이하, 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 시스템을 구성하는 각 구성요소에 대하여 상세히 설명하기로 한다.

- 단말

먼저, 본 발명의 실시예에서 단말(100)은, 3차원 이미지화할 대상이 되는 2차원 이미지를 획득해 저장할 수 있고, 상기 2차원 이미지를 기반으로 생성된 3차원 이미지를 획득하여 출력할 수 있다.

자세히, 단말(100)은, 사용자의 입력에 따라 카메라를 통해 실시간 촬영된 이미지 및/또는 저장부에 기록된 복수의 이미지를 기반으로 2차원 이미지를 획득할 수 있고, 획득된 2차원 이미지를 외부의 서버(예컨대, 이미지 변환 서버(200), 딥러닝 서버(300) 등)로 송신할 수 있다.

또한, 단말(100)은, 2차원 이미지를 송신한 외부의 서버로부터 생성된 3차원 이미지를 수신하여 디스플레이할 수 있다.

다른 실시예에서, 단말(100)은 2차원 이미지를 3차원 이미지로 변환하는 데이터 처리의 주체가 될 수 있다.

즉, 2차원 이미지를 3차원 이미지로 변환하는 데이터 처리의 수행 단계들의 적어도 일부는 단말(100)에서 수행될 수 있고, 나머지 데이터 처리는 이미지 변환 서버(200) 또는/및 딥러닝 서버(300)에서 수행될 수 있다.

이하 단말(100)은, 2차원 이미지를 획득하고 이미지 변환 서버(200)로 송신한 후 변환된 3차원 이미지를 수신하는 실시예를 중심으로 설명하나, 단말(100)이 이미지 변환 데이터 처리의 주체가 되는 실시예 또한 본 발명에 포함된다.

한편, 본 발명의 실시예에서 이러한 단말(100)은, 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스를 수행하기 위한 프로그램이 설치된 휴대용 단말인 스마트 폰, 디지털방송용 단말기, 휴대폰, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 웨어러블 디바이스(wearable device) 및 스마트 글라스(smart glass) 등을 포함할 수 있다.

또한, 단말(100)은, 고정형 단말인 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스를 제공하기 위한 프로그램이 설치된 장치를 더 포함할 수 있다.

이하에서, 단말(100)은, 휴대형 단말로 한정하여 설명하나, 고정형 단말에서도 본 발명이 적용될 수 있음은 당연할 것이다.

이하, 첨부된 도면을 참조하여 단말(100)을 이루는 각 구성 요소에 대해 상세히 설명하고자 한다.

도 2는 본 발명의 실시예에 따른 단말(100)의 내부 블록도이다.

도 2를 참조하면, 단말(100)은, 통신부(110), 카메라(120), 입력부(130), 디스플레이부(140), 터치스크린(135: touch screen), 저장부(150) 및 제어부(160)를 포함할 수 있다.

먼저, 통신부(110)는, 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스를 제공하기 위한 각종 데이터 및/또는 정보 등을 송수신할 수 있다.

실시예에서, 통신부(110)는, 타유저의 단말(100), 이미지 변환 서버(200) 및/또는 딥러닝 서버(300)와 통신하여 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스와 관련된 데이터(예컨대, 2차원 이미지 등)를 송수신할 수 있다.

또한, 통신부(110)는, 획득된 이미지를 외부 프린터로 전송하여 오프라인 출력물로 프린팅하도록 보조할 수 있다.

이러한 통신부(110)는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다.

다음으로, 카메라(120)는, 사용자의 입력에 따라 촬영을 수행하여 이미지를 획득할 수 있고, 이미지를 획득한 단말(100)은, 획득된 이미지를 디스플레이부(140)를 통해 출력할 수 있고, 저장부(150)에 기록할 수 있다.

또한, 카메라(120)는, 단말(100)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 단말(100)의 외부에 배치되어 외부 시점에서 진료 과정을 촬영할 수도 있다.

단말(100)의 외부에 카메라(120)가 배치된 경우, 카메라(120)는, 통신부(110)를 통해 제어부(160)로 촬영한 이미지를 송신할 수 있다.

그리고 이러한 카메라(120)는, 이미지 센서와 영상 처리 모듈을 포함할 수 있다.

자세히, 카메라(120)는, 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상(즉, 이미지) 또는 동영상을 처리할 수 있다.

또한, 카메라(120)는, 영상 처리 모듈을 이용하여 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 제어부(160)에 전달할 수도 있다.

다음으로, 입력부(130)는, 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스와 관련된 사용자의 입력을 감지할 수 있다.

실시예로, 입력부(130)는, 3차원 이미지화할 2차원 이미지를 선택하는 사용자의 입력, 메인 오브젝트(Main Object)를 선택하는 인터페이스를 통한 사용자의 입력 등을 감지할 수 있다.

다음으로, 디스플레이부(140)는, 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스와 관련된 다양한 정보를 그래픽 이미지를 출력할 수 있다.

이러한 디스플레이부(140)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

또한, 상기 입력부(130) 및 상기 디스플레이부(140)가 결합되어 터치스크린(135)으로 구현될 수 있다.

다음으로, 저장부(150)는, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스를 제공하는 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.

이러한 저장부(150)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 저장부(150)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.

마지막으로, 제어부(160)는, 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스를 제공하기 위하여 전술한 각 구성요소의 전반적인 동작을 컨트롤할 수 있다.

이러한 제어부(160)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

다만, 도 2에 도시된 구성요소들은 단말(100)을 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 단말(100)은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

- 이미지 변환 서버

다음으로, 본 발명의 실시예에서 이미지 변환 서버(200)는, 단말(100)로부터 2차원 이미지를 수신할 수 있고, 수신된 2차원 이미지에 기초하여 3차원 이미지를 생성할 수 있다.

실시예에서, 2차원 이미지를 3차원 이미지로 변환하는 데이터 처리는 이미지 변환 서버(200)에서 이루어진다고 기술하나, 단말(100)에서 직접 이미지 변환을 수행하는 다른 실시예도 본 발명에 포함될 수 있다.

자세히, 이미지 변환 서버(200)는, 수신된 2차원 이미지를 딥러닝 및/또는 각종 이미지 처리 기술을 통해 가공하여 3차원 이미지를 생성할 수 있고, 생성된 3차원 이미지를 단말(100)로 송신하여 제공할 수 있다.

도 3을 참조하면, 이러한 이미지 변환 서버(200)는, 데이터 송수신부(210), 데이터 처리부(220) 및 데이터베이스(230)를 포함할 수 있다.

먼저, 데이터 송수신부(210)는, 단말(100) 및/또는 외부 서버와 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스를 제공하기 위한 각종 데이터를 네트워크를 통해 주고받을 수 있다.

다음으로, 데이터 처리부(220)는, 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스를 제공하기 위한 일련의 데이터 처리를 수행할 수 있다.

자세히, 실시예에서 데이터 처리부(220)는, 이미지 딥러닝 뉴럴 네트워크(Image Deep Running Neural Network)와 연동하여 수신된 이미지에 기반한 딥러닝을 수행할 수 있다.

이때, 실시예에 따라서 이미지 딥러닝 뉴럴 네트워크는, 이미지 변환 서버(200)에 직접 설치되거나, 이미지 변환 서버(200)와는 별개의 장치에 설치될 수 있으며, 이미지 딥러닝 뉴럴 네트워크가 설치된 장치는 이미지를 수신하여 딥러닝을 수행할 수 있다.

이하, 본 발명의 실시예에서는, 이미지 딥러닝 뉴럴 네트워크가 이미지 변환 서버(200)와는 별개의 외부 장치인 딥러닝 서버(300)에 설치되어 딥러닝을 수행하는 실시예를 기준으로 설명한다.

또한, 실시예에서 데이터 처리부(220)는, 픽셀 명도 변환, 아핀 변형(Affine Transform), 평균화 필터(Averaging filter), 안티-에일리어싱 필터(Anti-aliasing filter) 및 알파 블렌딩(Alpha Blending) 처리 중 적어도 하나 이상의 이미지 처리 를 수행할 수 있다.

데이터 처리부(220)에서 수행하는 다양한 이미지 처리 기술에 대한 자세한 설명은, 이하에서 기술되는 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법의 상세한 설명에서 기술하기로 한다.

또한, 이러한 데이터 처리부(220)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

마지막으로, 데이터베이스(230)는, 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스와 관련된 각종 데이터를 저장할 수 있다.

이러한 데이터베이스(230)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 데이터베이스(230)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.

- 딥러닝 서버

한편, 본 발명의 실시예에서 딥러닝 서버(300)는, 별도의 클라우드 서버나 컴퓨팅 장치를 포함하여 딥러닝 뉴럴 네트워크 및/또는 기타 알고리즘을 통해 이미지 딥러닝(Image Deep Learning)을 수행할 수 있다.

자세히, 딥러닝 서버(300)는, 단말(100) 및/또는 이미지 변환 서버(200)로부터 2차원 이미지의 3차원 이미지화를 위한 각종 데이터를 수신할 수 있고, 수신된 데이터를 이미지 딥러닝 뉴럴 네트워크에 입력하여 출력 데이터를 생성할 수 있다.

그리고 딥러닝 서버(300)는, 생성된 출력 데이터를 단말(100) 및/또는 이미지 변환 서버(200)로 송신할 수 있다.

즉, 딥러닝 서버(300)는, 2차원 이미지를 3차원 이미지로 변환하기 위해 필요한 일부 데이터 처리를 이미지 딥러닝 뉴럴 네트워크를 통해 수행함으로써, 인공지능 기반의 데이터 처리를 통해 2차원 이미지의 3차원 이미지화 서비스를 구현할 수 있다.

또한, 본 발명의 실시예에서 딥러닝 서버(300)는, 이미지 딥러닝 뉴럴 네트워크를 통해 시맨틱 세그멘테이션(Semantic segmentation)을 수행할 수 있다.

즉, 딥러닝 서버(300)는, 수신된 이미지를 이미지 딥러닝 뉴럴 네트워크에 입력하여 시맨틱 세그멘테이션(Semantic segmentation)을 수행할 수 있고, 시맨틱 세그멘테이션(Semantic segmentation)이 적용된 이미지를 출력 데이터로 제공할 수 있다.

이때, 본 발명의 실시예에 따른 이미지 딥러닝 뉴럴 네트워크는, 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network), R-CNN(Regions with CNN features), Fast R-CNN, Faster R-CNN 및 Mask R-CNN 중 적어도 하나 이상일 수 있다.

다만, 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network)가 실시예에 따른 시맨틱 세그멘테이션(Semantic segmentation)을 수행하는데 효과적이므로, 이하의 설명에서는, 이미지 딥러닝 뉴럴 네트워크를 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network)에 한정하여 설명하기로 한다.

한편, 실시예에 따라서 딥러닝 서버(300)는, 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스를 제공하는 서버에 직접 설치되거나, 사용자의 단말(100) 내에 장착되어 실행하는 시스템일 수 있다.

다만, 빅데이터를 보다 효과적으로 처리하기 위해서는 이미지 변환 서버(200) 및/또는 단말(100)과 별도의 장치로서 동작하는 것이 가장 바람직하므로, 이하 본 발명의 실시예에서 딥러닝 서버(300)는, 이미지 변환 서버(200) 및/또는 단말(100)로부터 데이터를 수신하고 수신된 데이터를 기반으로 이미지 딥러닝을 수행하는 실시예에 한정하여 설명한다.

또한, 이러한 딥러닝 서버(300)는, 데이터를 송수신하는 데이터 통신부, 데이터를 처리하는 프로세서 및 이미지 딥러닝을 수행하기 위해 구축된 이미지 딥러닝 뉴럴 네트워크로 구성된 구동 프로그램이 저장된 메모리를 포함할 수 있다.

이때, 프로세서는, 상기 이미지 딥러닝 구동 프로그램을 메모리로부터 독출할 수 있고, 독출된 이미지 딥러닝 구동 프로그램 상에 구축된 뉴럴 네트워크 시스템에 따라서 이미지 딥러닝을 수행하게 된다.

실시예에 따라서 딥러닝 서버(300)는, 전체 유닛들을 제어하는 메인 프로세서와, 이미지 딥러닝에 따라 뉴럴 네트워크 구동 시 필요한 대용량의 연산을 처리하는 복수의 그래픽 프로세서(Graphics Processing Unit, GPU)를 포함하도록 구성될 수 있다.

- 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법

이하, 첨부된 도면을 참조하여 딥러닝을 활용해 2차원 이미지를 3차원 이미지로 변환하는 방법을 상세히 설명하고자 한다.

도 4는 본 발명의 실시예에 따른 2차원 이미지를 기반으로 3차원 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.

도 4를 참조하면, 먼저 단말(100)은, 3차원 이미지로 변환할 원본 이미지를 결정할 수 있다. (S101)

자세히, 단말(100)은, 딥러닝을 활용하여 3차원 이미지로 변환할 원본 이미지가 되는 2차원 이미지를 사용자 선택에 따라서 결정할 수 있다.

자세히, 단말(100)은, 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환해주는 어플리케이션이 설치된 단말(100)일 수 있으며, 설치된 어플리케이션에 갤러리에 저장된 이미지 중 사용자에 선택된 이미지가 입력되어 변환된 원본 이미지로 결정될 수 있다.

또한, 단말(100)은, 웹 브라우저를 통해 이미지 변환 서비스를 제공하는 이미지 변환 서비스 제공서버(200)에 접속하여, 사용자가 선택한 원본 이미지를 업로드하는 방식으로 3차원 이미지로 변환할 원본 이미지를 결정할 수 있다.

도 5를 참조하면, 획득된 원본 이미지는, RGB 픽셀(Pixel)로 표현되는 2차원 이미지일 수 있다.

이러한 원본 이미지는, 카메라(120)를 통해 실시간으로 촬영된 2차원 이미지 및/또는 저장부(150)에 기록된 복수의 이미지 중 사용자가 선택한 2차원 이미지일 수 있다.

이러한 원본 이미지를 획득한 단말(100)은, 획득된 원본 이미지를 이미지 변환 서버(200)로 송신할 수 있다.

다른 실시예에서는, 단말(100)의 제어부(160)가 저장부(150)에 저장된 어플리케이션을 독출한 후 직접 이미지 변환에 필요한 이미지 편집 처리를 수행하여 원본 이미지를 3차원 이미지로 변환할 수 있다.

또 다른 실시예에서는, 단말(100)의 제어부(160)와, 이미지 변환 서비스 제공서버(200)의 데이터 처리부가 이미지 편집의 적어도 일부를 서로 데이터를 교환하며 처리하여, 3차원 이미지를 생성할수도 있다.

이하, 실시예에서는 이미지 변환 서버(200)의 데이터 처리부에서 2차원 이미지를 3차원 이미지로 변환하는 데이터 처리를 수행하는 것으로 설명하나, 단말(100)의 제어부(160)에서도 이 중 적어도 일부의 데이터 처리를 수행할 수 있음은 당연할 것이다.

다음으로, 단말(100)로부터 원본 이미지를 수신한 이미지 변환 서버(200)는, 수신된 원본 이미지를 딥러닝 서버(300)로 송신할 수 있다. (S103)

자세히, 이미지 변환 서버(200)는, 데이터베이스(230)에 저장된 딥러닝 서버(300)와의 연동을 위한 프로그램을 동작할 수 있고, 이를 통해 딥러닝 서버(300)와 데이터 송수신을 수행할 수 있다.

그리고 이미지 변환 서버(200)는, 딥러닝 서버(300)와의 데이터 송수신을 통해 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 서비스를 제공할 수 있다.

이상의 설명에서는, 단말(100)에서 획득된 원본 이미지를 이미지 변환 서버(200)로 송신하고, 단말(100)로부터 원본 이미지를 수신한 이미지 변환 서버(200)가 수신된 원본 이미지를 딥러닝 서버(300)로 송신하며, 이미지 변환 서버(200)로부터 원본 이미지를 수신한 딥러닝 서버(300)가 이미지 딥러닝을 수행하는 것으로 설명하나, 단말(100)에서 딥러닝 서버(300)로 원본 이미지를 송신하고, 단말(100)로부터 원본 이미지를 수신한 딥러닝 서버(300)가 이미지 변환 서버(200)로 딥러닝 처리된 이미지를 송신하는 등의 다양한 실시예가 가능할 것이다.

계속해서, 이미지 변환 서버(200)로부터 원본 이미지를 수신한 딥러닝 서버(300)는, 수신된 원본 이미지의 오브젝트(1: Object)와 백그라운드(2: Background)를 분리하는 이미지 딥러닝을 수행할 수 있다. (S105)

여기서, 오브젝트란, 원본 이미지에 포함된 객체들을 의미한다. 그리고 백그라운드(2)란, 원본 이미지 상에서 오브젝트(1)를 제외한 나머지 배경 영역이다.

자세히 도 6을 참조하면, 딥러닝 서버(300)는, 원본 이미지의 오브젝트(1)와 백그라운드(2)를 분리할 수 있는 시맨틱 세그멘테이션(Semantic segmentation)을 위한 이미지 딥러닝을 수행할 수 있다.

이때, 시맨틱 세그멘테이션(Semantic segmentation)이란, 이미지 및/또는 영상에서 오브젝트(1)가 차지하는 영역의 임계값(Threshold)이나 엣지(Edge)를 찾아 백그라운드(2)와 분리하는 이미지 처리이다.

보다 상세히, 딥러닝 서버(300)는, 수신된 원본 이미지를 기반으로 이러한 시맨틱 세그멘테이션(Semantic segmentation)을 수행하기 위하여, 시맨틱 세그멘테이션(Semantic segmentation)을 효과적으로 수행할 수 있는 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network)를 통해 이미지 딥러닝을 수행할 수 있다.

즉, 딥러닝 서버(300)는, 수신된 원본 이미지를 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network)에 입력 데이터로 입력할 수 있고, 입력 데이터를 수신한 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network)는, 수신된 입력 데이터를 기반으로 이미지 딥러닝을 수행하여 시맨틱 세그멘테이션(Semantic segmentation)이 수행된 이미지를 출력할 수 있다.

그리고 딥러닝 서버(300)는, 획득된 이미지를 이미지 변환 서버(200)로 송신할 수 있다.

이와 같이, 딥러닝 서버(300)는, 이미지 딥러닝 뉴럴 네트워크를 통해 이미지 상에 의미 있는 영역인 오브젝트(1)를 백그라운드(2)와 효과적으로 분리할 수 있다.

다음으로, 딥러닝 서버(300)로부터 이미지 딥러닝을 통해 시맨틱 세그멘테이션(Semantic segmentation) 처리된 이미지를 수신한 이미지 변환 서버(200)는, 수신된 이미지를 기반으로 적어도 하나 이상의 메인 오브젝트(1)(Main Object)를 결정할 수 있다. (S107)

여기서, 메인 오브젝트(1)란, 원본 이미지 상에서 의미 있는 영역으로 판별되어 배경과 분류된 적어도 하나 이상의 오브젝트(1) 중, 소정의 기준(예컨대, 오브젝트(1)의 크기, 거리 및/또는 비율 등)에 의하여 주요한 물체라고 판단된 오브젝트(1)일 수 있다.

또한, 메인 오브젝트(1)는, 원본 이미지 상에 존재하는 적어도 하나 이상의 오브젝트(1) 중, 사용자 인터페이스를 통해 사용자가 선택한 오브젝트(1)일 수 있다.

즉, 이미지 변환 서버(200)는, 시맨틱 세그멘테이션(Semantic segmentation) 처리된 이미지를 기반으로 복수의 오브젝트(1)가 추출된 경우, 복수의 오브젝트(1)에서 소정의 기준을 만족하는 적어도 하나 이상의 오브젝트(1)를 메인 오브젝트(1)로 자동으로 결정할 수 있다.

또한, 다른 실시예에서, 복수의 오브젝트(1)가 검출된 경우에 사용자에게 복수의 오브젝트(1) 중 메인 오브젝트(1)에 대한 선택하도록 하여, 메인 오브젝트(1)를 결정할 수 있다.

여기서, 이미지 변환 서버(200)는, 사용자에게 메인 오브젝트(1) 선택을 요구할 경우, 시맨틱 세그멘테이션(Semantic segmentation) 처리된 이미지에 대한 정보를 단말(100)로 송신할 수 있고, 해당 이미지에 대한 정보를 수신한 단말(100)은, 상기 이미지의 메인 오브젝트(1)를 선택할 수 있는 메인 오브젝트(1) 선택 인터페이스를 제공할 수 있다.

이때, 단말(100)은, 메인 오브젝트(1) 선택 인터페이스를 통하여 복수의 오브젝트(1)를 메인 오브젝트(1)로 설정할 수 있는 기능을 제공할 수도 있다.

그리고 단말(100)은, 메인 오브젝트(1) 선택 인터페이스를 통해 생성된 메인 오브젝트(1) 선택정보를 이미지 변환 서버(200)로 송신할 수 있으며, 이미지 변환 서버(200)는, 수신된 메인 오브젝트(1) 선택정보를 기반으로 메인 오브젝트(1)를 설정할 수 있다.

이와 같이, 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 이미지 상의 메인 오브젝트(1)를 자동으로 설정하거나, 메인 오브젝트(1)를 사용자가 선택할 수 있도록 하는 인터페이스를 제공함으로써, 상황에 따라 적합한 방식으로 메인 오브젝트(1)를 설정하는 효율적인 3차원 이미지를 생성 방법을 제공할 수 있다.

다음으로, 메인 오브젝트(1)를 설정한 이미지 변환 서버(200)는, 설정된 메인 오브젝트(1) 정보를 기반으로 메인 오브젝트 이미지와 백그라운드 이미지를 획득할 수 있다. (S109)

여기서, 메인 오브젝트 이미지란, 설정된 메인 오브젝트(1)를 나타내는 픽셀들만 유효한 값을 가지는 이미지로서, 수신된 이미지에서 메인 오브젝트(1)만을 추출한 이미지일 수 있다.

예를 들어, 메인 오브젝트 이미지는, 수신된 이미지에서 메인 오브젝트(1)의 픽셀을 유효 픽셀로 정의하고, 그 외의 배경 픽셀들은 비유효 픽셀로 처리된 이미지일 수 있다.

또한, 백그라운드 이미지란, 수신된 이미지 자체이거나, 수신된 이미지에서 메인 오브젝트(1) 영역을 제외한 배경 영역의 픽셀만 유효한 값을 가지는 이미지일 수 있다.

예를 들어, 백그라운드 이미지는, 수신된 이미지 자체이거나, 수신된 이미지에서 메인 오브젝트(1) 픽셀을 비유효 픽셀로, 그 외의 배경 픽셀들은 유효 픽셀로 처리된 이미지일 수 있다.

계속해서, 도 7을 참조하면, 메인 오브젝트 이미지와 백그라운드 이미지를 획득한 이미지 변환 서버(200)는, 획득된 백그라운드 이미지에서 메인 오브젝트(1) 영역의 픽셀 값을 조절하여 메인 오브젝트(1)에 대한 그림자 효과를 구현할 수 있다.

예를 들어, 이미지 변환 서버(200)는, 백그라운드 이미지의 메인 오브젝트(1) 영역 픽셀의 RGB 값을 모두 0으로 설정하여 메인 오브젝트(1) 영역을 검정색으로 표시하여, 이후 메인 오브젝트 이미지 결합 시 메인 오브젝트(1)에 대한 그림자이미지로 사용할 수 있다.

다만, 오브젝트(1)그림자 이미지의 픽셀들이 완전한 검정색일 경우, 자연스러운 그림자 효과가 구현되기 어려울 수 있다.

그러므로 이미지 변환 서버(200)는, 자연스러운 그림자 이미지 생성을 위해, 획득된 백그라운드 이미지에서 메인 오브젝트(1) 영역의 픽셀의 명도를 변환할 수 있다. (S111)

자세히, 이미지 변환 서버(200)는, 메인 오브젝트(1)에 대한 그림자 효과를 보다 자연스럽게 구현하기 위하여, 백그라운드 이미지 상의 메인 오브젝트(1) 영역 픽셀 명도를 조절할 수 있다.

보다 상세히, 이미지 변환 서버(200)는, 백그라운드 이미지에서 메인 오브젝트(1) 영역을 표시하는 각각의 픽셀에 명도 채널을 부여할 수 있다.

그리고 이미지 변환 서버(200)는, 각 픽셀에 부여된 명도 채널의 값을 기반으로 각 픽셀 RGB 값의 명도를 조절하여 사실감 있는 그림자 표현을 구현할 수 있다.

예를 들어, 각 픽셀에 부여된 명도 채널이 float형일 경우, 명도 채널의 유효 범위는 [0,1]일 수 있다.

이때, '명도 채널의 값=0' 일 경우, 해당 픽셀의 RGB 값은 가장 낮은 명도 값을 가지게 되어 검정색으로 표시될 수 있다. 이러한 경우, 자연스러운 그림자 표현이 어려울 수 있다.

또한, '명도 채널의 값=1' 일 경우, 해당 픽셀의 RGB 값은 가장 높은 명도 값을 가지게 되어 흰색으로 표시될 수 있고, 이러한 경우에 그림자 표현이 구현되지 않을 수 있다.

한편, '0<명도 채널의 값<0.5' 일 경우, 해당 픽셀 RGB 값의 명도가 적절하게 조절되어 자연스러운 그림자 표현이 구현될 수 있다.

이와 같이, 이미지 변환 서버(200)는, 백그라운드 이미지 상의 메인 오브젝트(1) 영역의 각 픽셀에 명도 채널을 부여하고, 부여된 명도 채널을 상황에 따라 적절하게 조절하여 자연스러운 그림자 효과를 구현할 수 있다.

다른 실시예에서, 이미지 변환 서버(200)는, 메인 오브젝트(1) 영역 상에 회색이며 소정의 투명도를 가지는 그림자 이미지를 중첩시켜, 메인 오브젝트 이미지에 대한 그림자를 생성할 수도 있다.

다음으로, 백그라운드 이미지오브젝트(1)그림자를 생성한 이미지 변환 서버(200)는, 백그라운드 이미지의 방향을 변환하여 입체 베이스 이미지를 생성할 수 있다. (S113)

여기서, 입체 베이스 이미지란, 백그라운드 이미지기존 백그라운드 이미지에서 방향이 변환된 이미지를 의미한다.

자세히, 입체 베이스 이미지는, 백그라운드 이미지의 면벡터와 다른 가상의 면벡터를 가지는 이미지일 수 있다.

실시예에서, 입체 베이스 이미지는, 백그라운드 이미지의 각 픽셀들의 좌표를 소정의 규칙에 따라 변환하여, 백그라운드 이미지의 면벡터가 변경된 것처럼 표현된 이미지를 의미할 수 있다.

예를들어, 도 8을 참조하면, 이미지 변환 서버(200)는, 아핀 변형(Affine Transform)을 통하여 백그라운드 이미지의 면백터 방향을 변환할 수 있고, 이를 통해 2차원 이미지를 3차원 이미지화하기 위한 입체 효과의 기반이 되는 입체 베이스 이미지를 생성할 수 있다.

이때, 아핀 변형(Affine Transform)이란, 직선은 직선으로 보내고 점들 사이의 거리의 비는 보존하는 변환으로서, 이미지 및/또는 영상을 회전하거나 평행사변형으로 투시할 때 사용되는 변환 방법이다.

자세히 도 9를 참조하면, 아핀 변형(Affine Transform)은, 아래의 식을 만족할 수 있다.

[수학식 1]에서, X는 백그라운드 이미지의 x 좌표, Y는 백그라운드 이미지의 y 좌표, 3x3 행렬식은 아핀 변형(Affine Transform)을 수행하기 위한 변환계수로 구성된 매트릭스(Matrix)이다.

즉, 이미지 변환 서버(200)는, 백그라운드 이미지의 각 좌표 값과 아핀 변형(Affine Transform) 매트릭스를 기반으로 상기 [수학식 1]을 통해 백그라운드 이미지의 면백터 방향을 변환하여 입체 효과를 가지는 입체 베이스 이미지를 생성할 수 있다.

예를 들어, 이미지 변환 서버(200)는, 직사각형 형태의 백그라운드 이미지를 평행사변형 형태로 변환하여 입체 베이스 이미지를 생성할 수 있다.

자세히 도 9를 더 참조하면, 이미지 변환 서버(200)는, 아핀 변형(Affine Transform)을 통하여 백그라운드 이미지의 기 좌표 (X, Y)=(0, 0)을 (X', Y')=(X+cols/5, Y)로 변환할 수 있다. 또한, 백그라운드 이미지의 기 좌표 (X, Y)=(cols/2, 0)을 (X', Y')=(X+cols/5, Y)로 변환할 수 있으며, 백그라운드 이미지의 기 좌표 (X, Y)=(0, rows-1)을 (X', Y')=(X, Y)로 변환할 수 있다.

이와 같이, 이미지 변환 서버(200)는, 아핀 변형(Affine Transform)을 이용하여 백그라운드 이미지에 입체 효과를 부여하는 이미지 처리를 수행함으로써, 2차원 이미지의 3차원 이미지화를 간단한 프로세스를 통해 효과적으로 구현할 수 있다.

한편, 이미지 변환 서버(200)는, 획득된 메인 오브젝트 이미지에 대하여 경계를 부드럽게 처리하는 리파인 엣지(Refine Edge) 처리를 수행할 수 있다. (S115)

자세히, 이미지 변환 서버(200)는, 메인 오브젝트 이미지를 백그라운드 이미지와 보다 자연스럽게 합성시키기 위하여, 메인 오브젝트 이미지의 메인 오브젝트(1) 경계선을 평균화 필터(Averaging filter) 및/또는 안티-에일리어싱 필터(Anti-aliasing filter)를 이용해 리파인 엣지(Refine Edge) 처리할 수 있다.

실시예로, 도 10을 참조하면, 이미지 변환 서버(200)는, 메인 오브젝트 이미지를 <5x5 averaging filter>에 통과시켜 메인 오브젝트(1)의 경계선이 부드럽게 처리된 메인 오브젝트 이미지를 생성할 수 있다.

다른 실시예에서, 이미지 변환 서버(200)는, 이미지 상에 발생할 수 있는 픽셀 왜곡 현상인 에일리어싱(Aliasing)을 해결해주는 안티-에일리어싱 필터(Anti-aliasing filter)에 메인 오브젝트 이미지를 통과시켜, 메인 오브젝트(1) 경계선 상에 발생할 수 있는 픽셀 튐 현상을 리파인 엣지(Refine Edge) 처리한 메인 오브젝트 이미지를 생성할 수도 있다.

예를 들어, 평균화 필터(Averaging filter) 및/또는 안티-에일리어싱 필터(Anti-aliasing filter)는, 메인 오브젝트(1)를 표시하는 픽셀들의 불투명도(a)를 0이고, 배경을 표시하는 픽셀들의 불투명도(a)를 1로 처리된 마스크오브젝트 이미지에서, '메인 오브젝트(1) 경계 픽셀들의 불투명도(a)를 (z)=0<z<1' 로 변환하는 필터일 수 있다. 여기서, 불투명도 알파 값의 유효 범위는 0~1 사이로 정의한다.

이와 같이, 이미지 변환 서버(200)는, 평균화 필터(Averaging filter) 및/또는 안티-에일리어싱 필터(Anti-aliasing filter)를 기반으로 메인 오브젝트 이미지를 처리하여, 추후 메인 오브젝트 이미지와 백그라운드 이미지 합성 시에 메인 오브젝트(1)와 백그라운드(2) 간의 경계 잡음이 최소화되게 할 수 있다.

다음으로, 입체 베이스 이미지와 리파인 엣지(Refine Edge) 처리된 메인 오브젝트 이미지를 생성한 이미지 변환 서버(200)는, 생성된 입체 베이스 이미지와 리파인 엣지(Refine Edge) 처리된 메인 오브젝트 이미지를 합성하여 3차원 이미지를 생성할 수 있다. (S117)

여기서, 3차원 이미지란, 기존의 원본 이미지에 본 발명의 실시예에 따른 각종 이미지 처리를 수행하여 생성된 이미지로서, 3차원 입체 효과를 가지는 이미지를 의미한다.

이때, 3차원 이미지는, 각종 이미지 처리를 통해 부여된 3차원 입체 효과로 인하여, 이미지의 메인 오브젝트(1)가 입체적으로 강조되는 이미지일 수 있다.

즉, 본 발명의 실시예에 따라 생성된 3차원 이미지는, 메인 오브젝트(1)를 배경과 대비하여 효과적으로 강조함으로써, 이미지 상의 주요한 오브젝트(1)를 집중적 · 효과적으로 인식하게 할 수 있는 효과가 있다.

다시 돌아와서, 자세히 도 11을 참조하면, 이미지 변환 서버(200)는, 처리된 메인 오브젝트 이미지의 메인 오브젝트(1) 영역과, 입체 베이스 이미지를 알파 블렌딩(Alpha Blending) 방법으로 합성할 수 있다.

여기서, 알파 블렌딩(Alpha Blending)이란, 이미지를 합성할 때 이미지 간의 투명도를 조절하기 위하여, 각 이미지를 표현하는 픽셀들의 색상표현 값 'RGB'에 'a(알파)'라는 새로운 값을 할당하고, 할당된 a(알파) 값이 적용된 배경 이미지의 RGB 값과 그 위에 합성되는 이미지의 RGB 값을 혼합하는 방법을 말한다.

실시예로, 이미지 변환 서버(200)는, 입체 베이스 이미지와 처리된 메인 오브젝트 이미지의 RGB 픽셀 체계에 불투명도(a) 채널(이하, 알파(a)채널)을 새롭게 할당할 수 있다.

그리고 이미지 변환 서버(200)는, 각 알파(a)채널에 소정의 값을 부여할 수 있고, 부여된 알파(a)채널 값이 적용된 입체 베이스 이미지와 처리된 메인 오브젝트 이미지의 RGB 값을 혼합하는 방식으로 이미지 합성을 수행할 수 있다.

오브젝트 이미지 '알파(a)채널 값=0' 일 경우, 처리된 메인 오브젝트 이미지는 가장 낮은 불투명도를 가진다. 즉, 처리된 메인 오브젝트 이미지는 투명한 상태로 설정되며, 입체 베이스 이미지와 합성된 경우에 입체 베이스 이미지만 표시될 수 있다.

또한, '알파(a)채널 값=0.5' 일 경우, 처리된 메인 오브젝트 이미지는 반투명한 상태로 설정되며, 입체 베이스 이미지와 합성할 시, 입체 베이스 이미지 상에 처리된 메인 오브젝트 이미지가 반투명한 상태로 표시될 수 있다.

또한, '알파(a)채널 값=1' 일 경우, 처리된 메인 오브젝트(1)는 가장 높은 불투명도를 가지며, 입체 베이스 이미지와 합성될 경우, 입체 베이스 이미지 상에 처리된 메인 오브젝트 이미지만 선명한 상태로 표시될 수 있다.

즉, 이미지 변환 서버(200)는, 알파 블렌딩(Alpha Blending) 방법을 이용해 이미지 합성을 수행하여, 합성 시 각 이미지의 불투명도(a)까지 세밀하게 조정하는 디테일한 이미지 합성을 수행할 수 있다.

이와 같이, 이미지 변환 서버(200)는, 경계선이 부드럽게 처리된 메인 오브젝트(1) 영역과, 메인 오브젝트(1)에 대한 그림자 효과를 포함하는 입체 베이스 이미지를 알파 블렌딩(Alpha Blending) 방법을 통해 합성함으로써, 보다 자연스럽고 완성도 높은 3차원 입체 이미지를 생성할 수 있다.

계속해서, 3차원 이미지를 생성한 이미지 변환 서버(200)는, 생성된 3차원 이미지를 단말(100)로 송신할 수 있다.

그리고 이미지 변환 서버(200)로부터 3차원 이미지를 수신한 단말(100)은, 수신된 3차원 이미지를 출력할 수 있다. (S119)

자세히, 단말(100)은, 수신된 3차원 이미지를 디스플레이부(140)를 통해 그래픽 이미지로 출력하여 사용자에게 제공할 수 있다.

이와 같이, 단말(100)은, 2차원 이미지를 기반으로 3차원 이미지를 생성하는 고도화된 이미지 편집 기술을 사용자가 손쉽게 구현 가능하도록 보조할 수 있다.

이상, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 딥러닝 뉴럴 네트워크를 이용하여 2차원 이미지의 오브젝트(1)와 배경을 분리하고, 분리된 오브젝트(1)와 배경을 기반으로 이미지 처리를 수행하여 3차원 이미지를 생성해 출력함으로써, 단조로운 2차원 이미지를 생동감 있는 3차원 이미지로 제공할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 딥러닝 뉴럴 네트워크를 활용하여 2차원 이미지를 3차원 이미지화하여 제공함으로써, 오브젝트(1) 영역, 오브젝트(1)가 아닌 영역 및/또는 경계 영역을 사용자가 일일이 설정하지 않고도, 인공지능에 기초한 빠르고 효율적인 자동화 데이터 처리를 할 수 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 이미지 상의 메인 오브젝트(1)를 자동으로 설정하거나, 메인 오브젝트(1)를 사용자가 선택할 수 있도록 하는 인터페이스를 제공함으로써, 상황에 따라 적합한 방식으로 메인 오브젝트(1)를 설정하는 효율적인 3차원 이미지를 생성 방법을 제공할 수 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 2차원 이미지의 오브젝트(1)를 2차원 이미지의 배경과 대비하여 효과적으로 강조하는 3차원 이미지를 생성함으로써, 이미지 상의 주요한 오브젝트(1)를 집중적 · 효과적으로 인식하게 할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 이미지를 출력하는 각 픽셀의 명도를 조절할 수 있는 채널을 부여함으로써, 이미지 상의 오브젝트(1)와 배경이 보다 자연스럽게 어우러지는 3차원 이미지를 생성할 수 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 평균화 필터(Averaging filter) 및/또는 안티-에일리어싱 필터(Anti-aliasing filter)를 기반으로 이미지 처리를 수행하여, 3차원 이미지에서의 오브젝트(1)와 배경 간의 경계 잡음을 최소화할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법은, 다양한 형태의 단말(100)을 통해 2차원 이미지를 3차원 이미지로 변환해주는 서비스를 제공함으로써, 사용자가 2차원 이미지를 기반으로 3차원 이미지를 생성하는 고도화된 이미지 편집 기술을 쉽게 접하고 구현할 수 있는 효과가 있다.

또한, 이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims

이미지 변환서버에서 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법으로서,
원본 이미지를 획득하는 단계;
이미지 딥러닝 뉴럴 네트워크를 통해 상기 원본 이미지에서 오브젝트 영역과 배경 영역을 분리하는 단계;
상기 오브젝트 중 메인 오브젝트를 결정하는 단계;
상기 결정된 메인 오브젝트의 영역을 유효 값으로 설정한 메인 오브젝트 이미지와 상기 메인 오브젝트 영역 외의 영역을 유효 값으로 설정한 백그라운드 이미지를 획득하는 단계;
상기 백그라운드 이미지의 면벡터 방향을 변환한 입체 베이스 이미지를 획득하는 단계;
상기 입체 베이스 이미지와 상기 메인 오브젝트 이미지를 합성하여 3차원 이미지를 생성하는 단계; 및
상기 생성된 3차원 이미지를 출력하는 단계를 포함하고,
상기 백그라운드 이미지에서 비유효 픽셀로 처리된 메인 오브젝트 영역에 대한 픽셀의 명도를 변환하여 상기 메인 오브젝트의 그림자를 생성하는 단계를 더 포함하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법.
제 1 항에 있어서,
상기 원본 이미지에서 오브젝트 영역과 배경 영역을 분리하는 단계는,
상기 획득된 원본 이미지를 상기 이미지 딥러닝 뉴럴 네트워크를 통해 시맨틱 세그멘테이션하여 상기 오브젝트 영역과 상기 배경 영역을 분리하는 단계를 포함하고,
상기 이미지 딥러닝 뉴럴 네트워크는, 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network), R-CNN(Regions with CNN features), Fast R-CNN, Faster R-CNN 및 Mask R-CNN 중 적어도 하나의 딥러닝 뉴럴 네트워크를 포함하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법.
제 1 항에 있어서,
상기 메인 오브젝트를 결정하는 단계는,
소정의 기준을 기반으로 상기 메인 오브젝트를 자동으로 설정하는 단계 또는
상기 자동으로 설정된 메인 오브젝트가 복수일 경우, 상기 메인 오브젝트를 선택하는 사용자 인터페이스를 제공하는 단계를 포함하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법.
삭제
제 1 항에 있어서,
상기 메인 오브젝트의 그림자를 생성하는 단계는,
상기 백그라운드 이미지의 상기 메인 오브젝트 영역의 픽셀 상에 소정의 투명도를 가지는 그림자 이미지를 중첩하여 상기 픽셀 명도 변환을 수행하는 단계를 포함하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법.
제 5 항에 있어서,
상기 백그라운드 이미지의 면벡터 방향을 변환한 입체 베이스 이미지를 획득하는 단계는,
상기 백그라운드 이미지를 아핀 변형을 기반으로 변환하여 입체 베이스 이미지를 생성하는 단계를 포함하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법.
제 6 항에 있어서,
상기 메인 오브젝트 이미지의 마스크를 획득하고, 상기 획득된 마스크를 평균화 필터 및 안티-에일리어싱 필터 중 적어도 어느 하나의 필터를 이용하여 리파인 엣지 처리하는 단계를 더 포함하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법.
제 7 항에 있어서,
상기 입체 베이스 이미지와 상기 메인 오브젝트 이미지를 합성하여 3차원 이미지를 생성하는 단계는,
상기 리파인 엣지 처리된 메인 오브젝트 이미지와 상기 입체 베이스 이미지를 상기 마스크에 기초하여 알파 블렌딩 방법으로 합성하는 단계를 포함하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법.
단말에서 이미지 변환 서버를 통해 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법으로서, 상기 3차원 이미지로 변환할 2차원 이미지를 결정하는 단계;
상기 2차원 이미지를 상기 이미지 변환 서버에 송신하는 단계;
상기 이미지 변환 서버로부터 상기 2차원 이미지를 변환한 3차원 이미지를 수신하는 단계; 및
상기 3차원 이미지를 출력하는 단계를 포함하고,
상기 3차원 이미지는,
이미지 딥러닝 뉴럴 네트워크를 통해 상기 2차원 이미지에서 메인 오브젝트를 분리하고, 상기 메인 오브젝트를 제외한 백그라운드 이미지의 면벡터 방향이 변환된 입체 베이스 이미지와, 상기 메인 오브젝트 이미지가 합성된 이미지이며,
상기 백그라운드 이미지에서 비유효 픽셀로 처리된 메인 오브젝트 영역에 대한 픽셀의 명도를 변환하여 상기 메인 오브젝트의 그림자를 생성하는 단계를 더 포함하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법.
제 9 항에 있어서,
상기 백그라운드 이미지의 면백터 방향을 변환한 입체 베이스 이미지는,
상기 백그라운드 이미지를 아핀 변형을 기반으로 변환하여 생성된 이미지인
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법.
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 기능을 제공하는 장치로서,
복수의 이미지와, 상기 2차원 이미지를 상기 3차원 이미지로 변환하는 어플리케이션을 저장하는 저장부;
상기 3차원 이미지를 출력하는 디스플레이부; 및
상기 어플리케이션을 독출하여 상기 2차원 이미지를 상기 3차원 이미지로 변환하는 제어부를 포함하고,
상기 제어부는,
상기 복수의 이미지에서 상기 2차원 이미지를 결정하고,
상기 결정된 2차원 이미지를 이미지 딥러닝 뉴럴 네트워크를 통해 오브젝트 디텍션하여 메인 오브젝트를 결정하며,
상기 2차원 이미지에서 상기 메인 오브젝트의 영역을 비유효 영역으로 설정한 백그라운드 이미지를 생성하고,
상기 생성된 백그라운드 이미지의 방향을 변환하여 입체 베이스 이미지를 획득하며,
상기 획득된 입체 베이스 이미지와 상기 메인 오브젝트 이미지를 합성하여 3차원 이미지를 생성하고,
상기 생성된 3차원 이미지를 상기 디스플레이부를 통해 출력하도록 제어하고,
상기 제어부는,
상기 백그라운드 이미지에서 비유효 픽셀로 처리된 메인 오브젝트 영역에 대한 픽셀의 명도를 변환하여 상기 메인 오브젝트의 그림자를 생성하도록 제어하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 장치.
제 11 항에 있어서,
상기 제어부는,
상기 2차원 이미지를 상기 이미지 딥러닝 뉴럴 네트워크를 통해 시맨틱 세그멘테이션하여 상기 메인 오브젝트의 영역과 나머지 배경 영역을 분리하도록 제어하며,
상기 이미지 딥러닝 뉴럴 네트워크는, 콘벌루션 뉴럴 네트워크(CNN, Convolution Neural Network), R-CNN(Regions with CNN features), Fast R-CNN, Faster R-CNN 및 Mask R-CNN 중 적어도 하나의 딥러닝 뉴럴 네트워크를 포함하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 장치.
삭제
제 11 항에 있어서,
상기 제어부는,
상기 백그라운드 이미지의 상기 메인 오브젝트 영역의 픽셀 상에 소정의 투명도를 가지는 그림자 이미지를 중첩하여 상기 픽셀 명도 변환을 수행하도록 제어하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 장치.
제 11 항에 있어서,
상기 제어부는,
상기 백그라운드 이미지를 아핀 변형을 기반으로 변환하여 입체 베이스 이미지를 생성하도록 제어하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 장치.
제 11 항에 있어서,
상기 제어부는,
상기 메인 오브젝트 이미지의 마스크를 획득하고, 상기 획득된 마스크를 평균화 필터 및 안티-에일리어싱 필터 중 적어도 어느 하나의 필터를 이용하여 리파인 엣지 처리하도록 제어하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 장치.
제 16 항에 있어서,
상기 제어부는,
상기 리파인 엣지 처리된 메인 오브젝트 이미지와 상기 입체 베이스 이미지를 상기 마스크에 기초하여 알파 블렌딩 방법으로 합성하여 상기 3차원 이미지를 생성하도록 제어하는
딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 장치.