KR20240045052A

KR20240045052A - 전자 장치 및 그 동작 방법

Info

Publication number: KR20240045052A
Application number: KR1020220186376A
Authority: KR
Inventors: 박재성; 문영수; 최정화
Original assignee: 삼성전자주식회사
Priority date: 2022-09-29
Filing date: 2022-12-27
Publication date: 2024-04-05

Abstract

하나 이상의 인스트럭션을 저장하는 메모리 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서를 포함하고, 하나 이상의 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 전면 카메라로 획득한 제1 전면 이미지로부터, 복수개의 제2 전면 이미지를 획득하고, 복수개의 제2 전면 이미지를 합성하여 전면 초광각 이미지를 획득하고, 복수개의 후면 이미지를 합성하여 후면 초광각 이미지를 획득하고, 전면 초광각 이미지 및 후면 초광각 이미지를 합성하여 360도 이미지를 생성하는, 전자 장치가 개시된다.

Description

전자 장치 및 그 동작 방법{An electronic apparatus and a method thereof}

개시된 다양한 실시 예들은 전자 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로 파노라마 이미지나 360도 이미지를 생성하는 전자 장치 및 그 동작 방법에 관한 것이다.

기술의 발달로 구나 반구 형태의 스크린에 파노라마 이미지나 360도 이미지 등을 프로젝트하는 기술이 개발되고 있다. 사용자는 구나 반구와 같은 곡면 형태의 디스플레이에 출력된 파노라마 이미지나 360도 이미지를 이용하여 가상 현실을 체험할 수 있다.

실시 예에 따른 전자 장치는 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서를 포함할 수 있다.

실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 전면 카메라로 획득한 제1 전면 이미지로부터, 복수개의 2 전면 이미지를 획득할 수 있다.

실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 복수개의 제2 전면 이미지를 합성하여 전면 초광각 이미를 획득할 수 있다.

실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 복수개의 후면 이미지를 합성하여 후면 초광각 이미지를 획득할 수 있다.

실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 전면 초광각 이미지 및 상기 후면 초광각 이미지를 합성하여 360도 이미지를 생성할 수 있다.

실시 예에 따른 전자 장치의 동작 방법은 전면 카메라로 획득한 제1 전면 이미지로부터, 복수개의 제2 전면 이미지를 획득하는 단계를 포함할 수 있다.

실시 예에서, 상기 방법은 상기 복수개의 제2 전면 이미지를 합성하여 전면 초광각 이미지를 획득하는 단계를 포함할 수 있다.

실시 예에서, 상기 방법은 복수개의 후면 이미지를 합성하여 후면 초광각 이미지를 획득하는 단계 및 상기 전면 초광각 이미지 및 상기 후면 초광각 이미지를 합성하여 360도 이미지를 생성하는 단계를 포함할 수 있다.

실시 예에 따른 기록 매체는 전면 카메라로 획득한 제1 전면 이미지로부터, 복수개의 제2 전면 이미지를 생성하는 단계를 포함하는, 전자 장치의 동작 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.

실시 예에서, 상기 기록 매체는 상기 복수개의 제2 전면 이미지를 합성하여 전면 초광각 이미지를 획득하는 단계를 포함하는, 전자 장치의 동작 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.

실시 예에서, 상기 기록 매체는 복수개의 후면 이미지를 합성하여 후면 초광각 이미지를 획득하는 단계를 포함하는, 전자 장치의 동작 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.

실시 예에서, 상기 기록 매체는 상기 전면 초광각 이미지 및 상기 후면 초광각 이미지를 합성하여 360도 이미지를 생성하는 단계를 포함하는, 전자 장치의 동작 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.

도 1은 실시 예에 따라, 전자 장치가 360도 이미지를 생성하는 것을 설명하기 위한 도면이다.
도 2는 실시 예에 따라, 전자 장치에 구비된 카메라를 설명하기 위한 도면이다.
도 3은 실시 예에 따른 전자 장치의 내부 블록도이다.
도 4는 실시 예에 따라, 전자 장치가 360도 이미지를 생성하는 동작을 도시한 도면이다.
도 5는 실시 예에 따라, 학습 모델을 획득하는 것을 설명하기 위한 도면이다.
도 6은 실시 예에 따른 인코더-디코더 모델의 아키텍쳐를 설명하기 위한 도면이다.
도 7은 실시 예에 따라, 학습 모델을 획득하는 것을 설명하기 위한 도면이다.
도 8은 실시 예에 따라, 전자 장치가 뉴럴 네트워크를 이용하여 360도 이미지를 획득하는 것을 설명하기 위한 도면이다.
도 9는 실시 예에 따라, 전자 장치가 사용자로부터 초광각 이미지를 생성할 기준 영역을 선택 받는 것을 설명하기 위한 도면이다.
도 10은 실시 예에 따른 전자 장치의 내부 블록도를 도시한 도면이다.
도 11은 실시 예에 따른, 전자 장치의 내부 블록도이다.
도 12는 실시 예에 따라, 복수개의 전자 장치를 이용하여 획득한 이미지에 기반하여 360도 이미지를 생성하는 것을 설명하는 도면이다.
도 13은 실시 예에 따라 뉴럴 네트워크가 트레이닝하는 것을 설명한 순서도이다.
도 14은 실시 예에 따라, 360도 이미지를 생성하는 방법을 도시한 순서도이다.

본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.

아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.

또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.

본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.

본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.

또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.

또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

또한, 명세서에서 “사용자”라는 용어는 전자 장치를 이용하는 사람을 의미하며, 소비자, 평가자, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.

이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.

도 1은 실시 예에 따라, 전자 장치(100)가 360도 이미지를 생성하는 것을 설명하기 위한 도면이다.

기술의 발달로 가상 공간을 나타내는 메타버스 콘텐츠 사용이 늘고 있다. 메타버스 콘텐츠는 실제 현실과 같은 사회, 경제, 교육, 문화, 과학 기술 활동을 할 수 있는 가상의 3차원 공간 플랫폼을 의미할 수 있다.

메타버스 콘텐츠에 대한 사용자 요구가 늘면서, 파노라마 이미지나 360도 이미지를 출력할 수 있는 곡면 형태의 스크린에 대한 사용자 요구 또한 늘고 있다. 사용자는 곡면 형태의 스크린에 프로젝트된 파노라마 이미지나 360도 이미지를 이용하여 몰입감 높은 가상 현실을 체험할 수 있다.

파노라마 이미지나 360도 이미지는 복수개의 카메라가 구비된 전용 촬영 장비를 이용하여 생성될 수 있다. 전용 촬영 장비는 복수개의 카메라를 이용하여 수평 방향 및/또는 상하 방향으로 모든 방향을 촬영하여 전 방향에 대한 복수의 영상을 획득하고, 복수의 영상을 스티칭함으로써 360도 이미지를 생성할 수 있다. 그러나, 전용 촬영 장비는 고가라는 점에서 일반 사용자들이 쉽게 이용하기 어렵다는 문제가 있다.

기술의 발달로, 복수개의 카메라를 구비한 스마트폰과 같은 사용자 단말기 사용이 늘면서, 사용자는 사용자 단말기를 이용하여 편리하게 사용자 단말기의 전면과 후면에 대한 이미지를 획득할 수 있다.

이에, 본 출원은 스마트폰 등과 같은 사용자 단말기를 이용하여 보다 쉽게 파노라마 이미지 내지는 360도 이미지를 획득하는 기술을 제공하기 위한 것이다.

도 1을 참조하면, 전자 장치(100)는 카메라를 이용하여 주변에 대한 영상을 획득할 수 있다.

실시 예에서, 전자 장치(100)는 피사체를 촬영하여 영상을 획득할 수 있는 카메라가 구비된 기기일 수 있다. 예컨대, 전자 장치(100)는 스마트 폰(smartphone) 등과 같은 사용자 단말기일 수 있다. 전자 장치(100)는 카메라가 구비된 이동 전화기(mobile phone), 화상 전화기, 전자 북 리더기(e-book reader), 랩톱 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 디지털 카메라, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 캠코더, 네비게이션, 웨어러블 장치(wearable device), 스마트 와치(smart watch), 홈 네트워크 시스템, 보안 시스템, 의료 장치 중 적어도 하나이거나, 이들이 결합된 형태의 전자 장치일 수 있다.

실시 예에서, 전자 장치(100)에는 복수개의 카메라가 구비될 수 있다. 복수개의 카메라는 전자 장치(100)의 전면, 후면, 측면 등에 구비될 수 있다. 예컨대, 전자 장치(100)의 전면과 후면에 각각 하나 이상의 카메라가 구비되어 있을 수 있다.

도 1은, 일 예로, 전자 장치(100)의 전면에 하나의 전면 카메라가 장착되어 있고, 후면에 세 개의 후면 카메라가 장착되어 있는 경우를 도시한다.

실시 예에서, 전자 장치(100)는 전면 카메라로 전면을 촬영하여 전면에 대한 이미지를 획득할 수 있다. 이하, 전자 장치(100)가 전면 카메라로 전면에 위치한 피사체를 촬영하여 획득한 이미지를 제1 전면 이미지(110)로 호칭하기로 한다.

실시 예에서, 전자 장치(100)에는 복수개의 후면 카메라가 장착될 수 있다. 실시 예에서, 전자 장치(100)는 복수개의 후면 카메라로 후면을 촬영하여 후면에 대한 복수개의 후면 이미지(111)를 획득할 수 있다.

실시 예에서, 복수개의 후면 카메라는 화각 내지는 초점거리가 서로 다른 복수개의 카메라일 수 있다. 예컨대, 도 1에서, 전자 장치(100)의 후면에 배치된 세 개의 카메라는 각각 표준 카메라, 광각 카메라, 및 망원 카메라일 수 있다.

실시 예에서, 전자 장치(100)의 후면에 구비된 복수개의 후면 카메라로 촬영하여 획득되는 복수개의 후면 이미지(111)는 각각 후면 이미지 고유의 특성을 가질 수 있다.

실시 예에서, 후면 카메라로 획득되는 후면 이미지의 특성은 카메라 렌즈 특성 및 지오메트리(geometry) 특성 중 적어도 하나를 포함할 수 있다.

실시 예에서, 카메라 렌즈 특성은 카메라의 렌즈 사양을 의미할 수 있다. 실시 예에서, 후면 카메라의 카메라 렌즈 특성은 해상도, 광학 배율, 조리개, 화각, 픽셀 피치(Pixel Pitch), 다이나믹 레인지(Dynamic Range), 및 뎁쓰(depth) 중 적어도 하나의 특성을 포함할 수 있다.

실시 예에서, 복수개의 후면 카메라 각각은 서로 다른 카메라 렌즈 특성을 갖기 때문에, 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지(111) 또한 서로 다른 이미지 특성을 가질 수 있다. 실시 예에서, 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지(111) 각각은 화각, 이미지에 포함된 피사체의 크기, 위치, 뎁쓰 값 등이 서로 다를 수 있다. 즉, 복수개의 후면 카메라들로 동일한 피사체를 촬영하여도 카메라의 초점거리나 해상도, 뎁쓰 값 등에 따라 서로 다른 이미지가 획득될 수 있다.

실시 예에서, 지오메트리 특성은 복수개의 후면 카메라들로 획득된 이미지들의 관계를 나타내는 정보일 수 있다.

실시 예에서, 전자 장치(100)는 전면 카메라로 획득한 한 장의 제1 전면 이미지(110)로부터 복수개의 전면 이미지를 획득할 수 있다. 실시 예에서, 전자 장치(100)가 제1 전면 이미지(110)로부터 획득하는 복수개의 전면 이미지는, 복수개의 후면 카메라로 전면을 촬영하여 획득된 것과 같은 이미지일 수 있다. 즉, 전자 장치(100)는 제1 전면 이미지(110)로부터 복수개의 후면 카메라로 획득되는 후면 이미지의 특성을 갖는 복수개의 전면 이미지를 생성할 수 있다. 이하, 제1 전면 이미지(110)로부터 획득된, 복수개의 후면 카메라로 획득되는 후면 이미지의 특성을 갖는 전면 이미지를 제2 전면 이미지(113)로 호칭하기로 한다.

예컨대, 후면 카메라가 각각 표준 카메라, 광각 카메라, 및 망원 카메라인 경우, 복수개의 제2 전면 이미지(113)는 전면을 후면 카메라인 표준 카메라, 광각 카메라, 및 망원 카메라로 각각 동일 시점에 촬영하여 획득한 것과 같은 이미지일 수 있다.

실시 예에서, 전자 장치(100)는 뉴럴 네트워크를 이용하여, 제1 전면 이미지(110)로부터 복수개의 제2 전면 이미지(113)를 생성할 수 있다.

실시 예에서, 제2 전면 이미지(113) 각각은, 복수개의 후면 카메라들의 렌즈 특성에 따른 이미지 특성을 가질 수 있다.

실시 예에서, 제2 전면 이미지(113) 간의 지오메트리 특성은, 복수개의 후면 카메라들로 촬영되어 획득된 후면 이미지들 간의 지오메트리 특성과 같을 수 있다.

실시 예에서, 전자 장치(100)가 이용하는 뉴럴 네트워크는 한 장의 전면 학습 이미지 및 복수개의 후면 학습 이미지로부터, 복수개의 후면 카메라로 획득되는 후면 이미지의 특성을 갖는 복수개의 전면 학습 이미지를 생성하도록 훈련된 딥 뉴럴 네트워크(DNN) 형태의 학습 모델일 수 있다.

실시 예에서, 전면 카메라(131)와 후면 카메라(141)는 위치가 정확히 대칭이 아닐 수 있다. 전면 카메라(131)와 후면 카메라(141) 간의 카메라 위치가 상이할 경우, 위치 차이에 따라 시점(view) 차이가 발생할 수 있다.

실시 예에 따른 뉴럴 네트워크는 전면 카메라와 후면 카메라의 위치 차이로 인한 시점 차이를 수정하도록 훈련된 학습 모델일 수 있다. 실시 예에서, 뉴럴 네트워크는 전면을 복수개의 후면 카메라로 촬영하여 획득한 복수개의 그라운드 트루쓰(Ground Truth) 이미지와, 복수개의 전면 학습 이미지 간의 차이(loss)가 최소가 되도록 훈련된 학습 모델일 수 있다.

실시 예에 따라, 학습이 끝난 뉴럴 네트워크에 의해 생성된 복수개의 제2 전면 이미지(113)는 전면 카메라(131)와 후면 카메라(141)의 위치 차이로 인한 시점 차이를 반영한 이미지일 수 있다. 보다 구체적으로, 제2 전면 이미지(113)는 전면을 후면에 장착된 후면 카메라(141)의 위치와 배열, 즉, 후면 카메라(141)의 시점(viw)에서 촬영한 것과 같은 이미지일 수 있다.

실시 예에서, 전자 장치(100)는 복수개의 제2 전면 이미지(113)를 합성하여 전면 초광각 이미지(115)를 획득할 수 있다. 실시 예에서, 전면 초광각 이미지(115)는 한 장의 이미지가 아닌, 복수개의 제2 전면 이미지(113)를 합성하여 획득된 이미지이므로, 데이터를 충분히 가지고 있는 초고해상도 이미지일 수 있다.

실시 예에서, 전면 초광각 이미지(115)는 복수개의 제2 전면 이미지(113), 예컨대, 망원 이미지, 표준 이미지, 광각 이미지를 자연스럽게 합성한 것으로, 사용자가 전면 초광각 이미지(115)에서 시점을 전환하고자 할 때 망원, 표준, 광각 이미지로 자연스럽게 시점이 이동될 수 있는 초고해상도 영상일 수 있다.

실시 예에서, 전면 초광각 이미지(115)는 망원, 표준, 광각 이미지로의 전환이 자연스러워, 사용자가 특정 지점을 zoom-in 또는 zoom out 하거나, 또는 사용자가 이미지의 좌우나 상하 방향으로 이미지를 pan하거나 tilt하는 경우에도 이미지의 해상도가 저하되지 않으면서 특정 지점으로의 이동이나 회전이 용이한 초고해상도 영상일 수 있다.

실시 예에서, 전면 초광각 이미지(115)는 화각이 180도 이상인 이미지일 수 있으나, 이에 한정되는 것은 아니다.

실시 예에서, 전자 장치(100)는 전면 카메라를 이용하여 제1 전면 이미지(110)를 획득한 시점과 동일 시점에 복수개의 후면 카메라로 후면을 촬영하여 후면 이미지(111)를 획득할 수 있다.

실시 예에서, 전자 장치(100)는 복수개의 후면 카메라를 이용하여 후면에 위치한 피사체를 촬영하여 복수개의 서로 다른 후면 이미지(111)를 획득할 수 있다. 예컨대, 전자 장치(100)의 후면에 장착된 카메라가 표준 카메라, 광각 카메라, 망원 카메라인 경우, 전자 장치(100)는 서로 다른 복수개의 후면 카메라를 이용하여 후면에 대한 표준 이미지, 광각 이미지, 및 망원 이미지를 각각 획득할 수 있다.

실시 예에서, 전자 장치(100)는 복수개의 후면 카메라로 획득한 복수개의 후면 이미지(111)를 합성하여 후면 초광각 이미지(112)를 획득할 수 있다.

실시 예에서, 전자 장치(100)는 한 장의 이미지가 아닌, 복수개의 후면 이미지(111)를 합성하여 후면 초광각 이미지(112)를 생성하므로, 후면 초광각 이미지(112)는 데이터를 충분히 가지고 있는 초고해상도 이미지일 수 있다.

실시 예에서, 후면 초광각 이미지(112)는 복수개의 후면 이미지(111)를 자연스럽게 합성한 것으로, 복수개의 후면 이미지(111), 즉, 망원, 표준, 광각 이미지 간에 자연스럽게 시점 전환이 가능하고, 특정 지점에 대한 zoom-in이나 zoom out, 이미지의 좌우나 상하 방향으로의 pan이나 tilt가 가능한, 초고해상도 영상일 수 있다.

실시 예에서, 후면 초광각 이미지(112)는 화각이 180도 이상인 이미지일 수 있으나, 이에 한정되는 것은 아니다.

실시 예에서, 전자 장치(100)는 전면 초광각 이미지(115) 및 후면 초광각 이미지(112)를 합성하여 파노라마 이미지 등의 와이드 이미지 내지는 360도 이미지를 생성할 수 있다.

실시 예에서, 전면 초광각 이미지(115) 및 후면 초광각 이미지(112)가 각각 고해상도 이미지이므로, 전면 초광각 이미지(115) 및 후면 초광각 이미지(112)를 합성하여 획득된 파노라마 이미지 내지 360도 이미지 또한 초고해상도 이미지일 수 있다.

실시 예에서, 전자 장치(100)는 전면 초광각 이미지(115)와 후면 초광각 이미지(112) 간에 겹치는 영역을 찾고, 이를 스티칭(stiching)하여 파노라마 이미지 내지는 360도 이미지를 획득할 수 있다.

실시 예에서, 파노라마 이미지는 전자 장치(100) 주변의 복수의 방향의 환경을 하나의 이미지로 담아내는 기법이나 그렇게 담아낸 이미지를 의미할 수 있다. 파노라마 이미지는 전체 경치 중에서 180도 이상 및 360도 이하의 방향의 모든 경치를 담아내는 기법이나 장치, 또는 그렇게 담아 낸 사진이나 그림을 의미할 수 있다.

실시 예에서, 360도 이미지는 전자 장치(100) 주변의 360도 방향의 환경을 하나의 이미지로 담아내는 기법이나 그렇게 담아낸 이미지를 의미할 수 있다. 실시 예에서, 360도 이미지는 360도의 화각(angle of view)을 가지는 영상일 수 있다. 예를 들어, 360도 이미지는 적어도 하나의 카메라를 이용하여, 360도 방향으로 촬영된 복수의 영상들에 기초하여 생성될 수 있다. 이때, 촬영된 복수의 영상들은 구(shpere)에 매핑될 수 있으며, 매핑된 영상들의 접점들이 스티칭되어 구 형식의 360도 이미지가 생성될 수 있다.

실시 예에서, 전자 장치(100)는 사용자 입력부를 더 포함할 수 있다. 실시 예에서, 전자 장치(100)는 사용자 입력부를 통해 초광각 이미지를 생성할 영역을 사용자로부터 선택 받을 수 있다.

실시 예에서, 전자 장치(100)는 사용자 입력부를 통해, 전면 초광각 이미지(115) 생성에 있어 기준이 되는 제1 영역을 선택하는 제1 기준 신호를 수신할 수 있다. 실시 예에서, 전자 장치(100)는 제1 기준 신호를 입력 받으면, 제1 기준 신호에 따라 선택된 제1 영역을 기준으로 전면 초광각 이미지(115)를 생성할 수 있다. 예컨대, 전자 장치(100)는 제1 영역을 이미지의 중심으로 하는 전면 초광각 이미지(115)를 생성할 수 있다.

실시 예에서, 전자 장치(100)는 사용자 입력부를 통해, 후면 초광각 이미지(112) 생성에 있어 기준이 되는 제2 영역을 선택하는 제2 기준 신호를 수신할 수 있다. 실시 예에서, 전자 장치(100)는 제2 기준 신호를 입력 받으면, 제2 기준 신호에 따라 선택된 제2 영역을 기준으로 후면 초광각 이미지(112)를 생성할 수 있다. 예컨대, 전자 장치(100)는 제2 영역을 이미지의 중심으로 하는 후면 초광각 이미지(112)를 생성할 수 있다.

실시 예에서, 전자 장치(100)가 아닌, 외부의 단말기가 제1 전면 이미지(110) 및 복수개의 후면 이미지(111)를 획득할 수도 있다. 이 경우, 전자 장치(100)는 통신망을 통해 외부의 단말기로부터 제1 전면 이미지(110) 및 복수의 후면 이미지(111)를 수신하여 획득할 수 있다.

전자 장치(100)는 외부의 단말기로부터 수신한 제1 전면 이미지(110)로부터 제2 전면 이미지(113)를 획득하고, 제2 전면 이미지(113)로부터 전면 초광각 이미지(115)를 획득할 수 있다. 또한, 전자 장치(100)는 외부의 단말기로부터 수신한 복수의 후면 이미지(111)로부터 후면 초광각 이미지(112)를 생성할 수 있다. 전자 장치(100)는 전면 초광각 이미지(115) 및 후면 초광각 이미지(112)를 합성하여 파노라마 이미지 내지는 360도 이미지를 생성할 수 있다. 전자 장치(100)는 파노라마 이미지 내지는 360도 이미지를 통신망을 통해 다시 외부의 단말기로 전송할 수 있다.

이와 같이, 실시 예에 의하면, 전자 장치(100)는 전면 및 후면 카메라를 이용하여 획득된 이미지를 기반으로 파노라마 이미지 내지는 360도 이미지를 획득할 수 있다.

실시 예에 따르면, 사용자는 고가의 전문 장비 없이도 스마트 폰 등과 같은 전자 장치(100)를 이용하여 손쉽게 파노라마 이미지 내지는 360도 이미지를 획득하여 이를 이용할 수 있다.

실시 예에 따르면, 사용자는 전자 장치(100)의 화면이나 또는 구면 스크린에 출력된 360도 이미지 중 임의의 한 지점을 선택하여, 선택된 영역에 대한 가상의 뷰(view)를 보다 자세히 시청할 수 있다. 예컨대, 사용자는 선택된 영역을 줌인(zoom in)하여 해당 영역을 확대하여 시청할 수 있다. 실시 예에 따라 생성된 360도 이미지는 초고해상도 이미지이므로, 사용자가 선택한 임의의 영역에 대한 충분한 데이터를 가지고 있으므로, 사용자가 특정 영역을 줌인 하여도, 화질 열화 없이 해당 영역에 대한 확대된 이미지를 제공할 수 있다.

도 2는 실시 예에 따라, 전자 장치(100)에 구비된 카메라를 설명하기 위한 도면이다.

도 2를 참조하면, 전자 장치(100)는 복수개의 카메라를 포함할 수 있다.

실시 예에서, 카메라는 피사체를 촬영하여 영상을 생성하고, 이를 신호 처리 할 수 있다. 카메라는 이미지 센서(미도시) 및 렌즈(미도시)를 포함할 수 있다. 카메라는 피사체를 촬영하여 피사체에 대한 이미지를 획득할 수 있다. 카메라는 사용자를 촬영하여 하나의 프레임 또는 복수 프레임들로 된 동영상을 획득할 수 있다.

실시 예에서, 전자 장치(100)의 전면(130) 및 후면(140)에 각각 카메라가 배치되어 있을 수 있다.

실시 예에서, 전자 장치(100)의 전면(130)에 하나의 전면 카메라(131)가 배치될 수 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)의 전면(130)에는 서로 다른 사양을 갖는 복수개의 전면 카메라가 배치될 수도 있다.

실시 예에서, 전면 카메라(131)는 전면(130)의 상단 중앙에 위치할 수 있다. 다만, 이에 한정되는 것은 아니며, 전면 카메라(131)는 전자 장치(100)의 전면의 다양한 영역에 위치할 수 있다.

실시 예에서, 전자 장치(100)는 전면(130)에 전면 카메라(131) 외에 뎁쓰 센서(미도시)를 더 포함할 수 있다. 실시 예에서, 뎁쓰 센서는 전면에 위치한 피사체까지의 거리를 획득할 수 있다.

또는, 실시 예에서, 전자 장치(100)의 전면(130)에 배치된 전면 카메라(131)가 뎁쓰(depth) 기능을 지원하는 뎁쓰 카메라일 수도 있다. 예컨대, 전면 카메라(131)는 뎁쓰 센서를 포함하여, 피사체로부터 렌즈를 통해 들어오는 이미지에 연산을 수행하여 이미지를 재 가공함으로써 객체, 즉, 피사체를 보다 입체적인 이미지로 획득할 수 있다.

실시 예에서, 전자 장치(100)는 후면(140)에 복수개의 후면 카메라(141)를 포함할 수 있다.

실시 예에서, 복수개의 후면 카메라(141)는 화각 내지는 초점거리가 서로 다른 카메라일 수 있다. 실시 예에서, 복수개의 후면 카메라(141)는 접사 카메라, 표준 카메라, 광각 카메라, 초광각 카메라, 망원 카메라, 심도 카메라 등과 같이 다양한 초점거리를 갖는 카메라일 수 있다. 예컨대, 도 2에서, 전자 장치(100)의 후면(140)에 배치된 세 개의 후면 카메라(141)는 각각 표준 카메라, 광각 카메라, 및 망원 카메라일 수 있다.

실시 예에서, 복수개의 후면 카메라(141)는 제1 광각 카메라, 제2 광각 카메라 등과 같이 화각의 정도가 서로 다른 복수개의 광각 카메라를 포함할 수 있다. 또는, 실시 예에서, 복수개의 후면 카메라는 제1 망원 카메라, 제2 망원 카메라와 같이 망원 렌즈의 초점거리가 서로 다른 복수개의 망원 카메라를 포함할 수 있다. 예컨대, 도 2에서, 전자 장치(100)의 후면에 배치된 복수개의 후면 카메라(141)는 각각 광각 카메라, 제1 망원 카메라, 및 제2 망원 카메라일 수 있다.

실시 예에서, 도 2에 도시된 바와 같이, 복수개의 후면 카메라(141)는 전자 장치(100)의 후면(140)의 상단 좌측에 세로 방향으로 일렬로 배치되거나, 또는 삼각형 형태로 배치될 수도 있다. 다만, 이는 실시 예로, 후면 카메라(141)의 개수나 배치 형태는 다양하게 변형될 수 있다.

실시 예에서, 복수개의 후면 카메라(141)로 획득한 후면 이미지(111)에는 동일한 피사체가 서로 다른 화각, 크기, 위치를 갖는 것으로 촬영될 수 있다. 즉, 복수개의 후면 카메라(141)로 동일한 피사체를 촬영하여도 카메라의 초점거리에 따라 서로 다른 이미지가 획득될 수 있다.

복수개의 후면 카메라(141)가 각각 표준 카메라, 광각 카메라, 및 망원 카메라인 경우, 후면 카메라(141)가 후면의 피사체를 촬영하여 획득한 이미지는 각각 표준 이미지, 광각 이미지, 및 망원 이미지일 수 있다. 실시 예에서, 표준 이미지, 광각 이미지, 및 망원 이미지는 피사체가 포함된 범위나 면적, 피사체의 형태, 피사체의 크기, 피사체까지의 원근감 등이 서로 다르게 표현될 수 있다.

도 2의 하단에는 후면 카메라(141)로 획득한 복수개의 후면 이미지(111)의 일 예를 도시한다. 도 2에서, 광각 이미지(121)는 후면 카메라(141) 중에 광각 카메라로 촬영하여 획득된 이미지를 도시한다. 광각 이미지(121)는 대상을 넓게 포함하고 원근감이 과장되게 표현되어 피사체와의 거리가 실제보다 더 멀어 보이는 이미지일 수 있다.

도 2에서, 표준 이미지(123)는 후면 카메라(141) 중에 표준 카메라로 촬영하여 획득된 이미지를 도시한다. 표준 이미지(123)는 사람이 눈으로 보는 것과 가장 유사한 이미지로, 피사체와의 거리나 피사체의 형태에 왜곡이 거의 없는 이미지일 수 있다.

도 2에서, 망원 이미지(125)는 후면 카메라(141) 중에 망원 카메라로 촬영하여 획득된 이미지를 도시한다. 망원 이미지(125)는 멀리 있는 피사체가 실제보다 더 가까워 보이고 피사체가 확대된 형태로 포함될 수 있다.

실시 예에서, 복수개의 후면 이미지(111) 각각은 서로 다른 후면 이미지의 특성을 가질 수 있다.

실시 예에서, 서로 다른 후면 카메라(141)로 획득된 후면 이미지는 카메라 렌즈 특성에 따라 서로 다른 이미지 특성을 가질 수 있다. 실시 예에서, 카메라 렌즈 특성에 따른 서로 다른 이미지 특성은 해상도, 광학 배율, 조리개, 화각, 픽셀 피치, 다이나믹 레인지, 및 뎁쓰 중 적어도 하나의 특성을 포함할 수 있다.

실시 예에서, 복수개의 후면 이미지(111)는 서로 다른 지오메트리 특성을 가질 수 있다. 실시 예에서, 지오메트리 특성은 복수개의 후면 카메라들 내지는 복수개의 후면 카메라들로 획득된 복수개의 후면 이미지들 간의 관계를 나타내는 정보일 수 있다.

예컨대, 실시 예에서, 광각 이미지(121)의 내부에 포함된 제1 직사각형 영역(122)은 표준 이미지(123)의 내부에 포함된 제2 직사각형 영역(124)에 대응하고, 또한 망원 이미지(125) 전체 영역에 대응할 수 있다.

실시 예에서, 지오메트리 특성은 복수개의 후면 카메라가 서로 다른 초점거리 내지는 화각을 가짐으로 인해 이미지들 간에 발생하는 차이 내지 관계를 나타내는 정보일 수 있다. 지오메트리 특성은 복수개의 후면 이미지들 간의 화각이나 피사체의 크기, 피사체의 위치 등의 관계에 대한 특성을 포함할 수 있다.

실시 예에서, 전자 장치(100)는 뉴럴 네트워크를 이용하여, 전면 카메라(131)로 획득한 한 장의 전면 이미지, 즉, 제1 전면 이미지(110)로부터, 후면 카메라(141)로 획득된 후면 이미지의 특성을 갖는 복수개의 전면 이미지, 즉, 제2 전면 이미지(113)를 생성할 수 있다.

실시 예에서, 전자 장치(100)가 이용하는 뉴럴 네트워크는 한 장의 전면 학습 이미지 및 복수개의 후면 학습 이미지로부터, 복수개의 후면 카메라로 획득되는 후면 학습 이미지의 특성을 갖는 복수개의 전면 학습 이미지를 생성하도록 훈련된 딥 뉴럴 네트워크(DNN) 형태의 학습 모델일 수 있다.

예컨대, 뉴럴 네트워크는 전면 카메라인 표준 카메라로 획득한 한 장의 전면 학습 이미지로부터, 후면 카메라인 광각 카메라로 획득한 것과 같은 이미지나 또 다른 후면 카메라인 망원 카메라로 획득한 것과 같은 이미지를 생성하도록 훈련된 뉴럴 네트워크일 수 있다.

실시 예에서, 뉴럴 네트워크는 복수개의 후면 카메라(141)들로 획득되는 복수개의 후면 이미지들 간의 관계를 학습할 수 있다. 예컨대, 실시 예에서, 뉴럴 네트워크가 도 2에 도시된 광각 이미지(121), 표준 이미지(123), 망원 이미지(125)를 학습 이미지로 이용하여 학습한다고 가정하면, 뉴럴 네트워크는 광각 이미지(121), 표준 이미지(123) 및 망원 이미지(125) 각각의 특성을 학습하고 또한 광각 이미지(121), 표준 이미지(123) 및 망원 이미지(125)간의 관계를 학습할 수 있다.

실시 예에서, 뉴럴 네트워크는 광각 이미지(121)와 표준 이미지(123)의 관계로부터, 광각 이미지(121)가 업스케일링되고, 광각 이미지(121)의 시점(view)들이 합성되어 렌더링됨으로써, 표준 이미지(123)가 생성되는 관계를 학습할 수 있다.

또한, 실시 예에서, 뉴럴 네트워크는 표준 이미지(123)와 망원 이미지(125)의 관계로부터, 표준 이미지(123)가 줌인(zoom in)되어 업스케일링(upscaling)되고, 표준 이미지(123)의 시점들이 합성되어 렌더링됨으로써 망원 이미지(125)가 생성되는 관계를 학습할 수 있다.

실시 예에서, 전자 장치(100)의 후면(140)에는 후면 카메라(141) 외에 후면 뎁쓰 센서(145)를 더 포함할 수도 있다. 실시 예에서, 후면 뎁쓰 센서(145)는 후면에 위치한 피사체까지의 거리를 획득할 수 있다.

또는, 실시 예에서, 전자 장치(100)의 후면(140)에는 별도의 뎁쓰 센서(145)가 배치되지 않고, 복수개의 후면 카메라(141) 중 하나 이상의 후면 카메라가 뎁쓰 기능을 지원하는 뎁쓰 카메라일 수도 있다. 후면 카메라(141)가 뎁쓰 카메라인 경우, 후면 카메라(141)는 피사체로부터 렌즈를 통해 들어오는 이미지에 연산을 수행하여 피사체까지의 거리를 획득하고, 이를 기반으로 이미지를 재 가공함으로써 피사체를 보다 입체적인 이미지로 획득할 수 있다. 뎁쓰 기능을 지원하는 카메라는 3차원 뎁쓰를 인식하는 방법에 따라 스테레오 타입, ToF(Time-Of-Flight) 방식, Structured Pattern 방식 등이 있을 수 있다.

실시 예에서, 전면 카메라(131)와 후면 카메라(141)는 위치가 정확히 대칭이 아닐 수 있다. 예컨대, 도 2에 도시된 바와 같이, 전면 카메라(131)는 전자 장치(100)의 전면(130)의 상단 중앙에 위치하고, 후면 카메라(141)는 전자 장치(100)의 후면(140)의 상단 좌측에 세로 방향으로 일렬로 배치되어 있거나, 삼각형 형태로 배치될 수 있다. 이 경우, 전면 카메라(131)와 후면 카메라(141) 간의 카메라 위치가 상이하기 때문에 위치 차이에 따라 시점(view) 차이가 발생할 수 있다.

실시 예에서, 전자 장치(100)는 제1 전면 이미지(110)로부터 복수개의 후면 카메라로 획득되는 후면 이미지 특성을 갖는 복수개의 제2 전면 이미지(113)를 획득할 때 전면 카메라(131)와 후면 카메라(141)의 위치 차이로 인한 시점 차이를 고려할 수 있다.

실시 예에서, 전자 장치(100)는 전면 카메라(131)로 획득한 전면 이미지, 즉, 제1 전면 이미지(110)로부터 후면 카메라(141)의 위치와 배열로 옮겨진 후면 영상을 생성할 수 있다.

도 3은 실시 예에 따른 전자 장치(100)의 내부 블록도이다.

도 3을 참조하면, 실시 예에 따른 전자 장치(100)는 하나 이상의 인스트럭션을 저장하는 메모리(103) 및 메모리(103)에 저장된 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서(101)를 포함할 수 있다.

실시 예에 따른 메모리(103)는, 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(103)는 프로세서(101)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한 메모리(103)는 전자 장치(100)로 입력되거나 전자 장치(100)로부터 출력되는 데이터를 저장할 수 있다.

메모리(103)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

실시 예에서, 메모리(103)에는 제1 전면 이미지(110)를 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.

실시 예에서, 메모리(103)에는 제1 전면 이미지(110)로부터 제2 전면 이미지(113)를 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다. 실시 예에서, 제2 전면 이미지(113)는 제1 전면 이미지(110)로부터 생성된 이미지로, 복수개의 후면 카메라로 획득되는 후면 이미지의 특성을 갖는 이미지일 수 있다.

실시 예에서, 메모리(103)에는 복수개의 제2 전면 이미지(113)를 합성하여 전면 초광각 이미지(115)를 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.

실시 예에서, 메모리(103)에는 복수개의 후면 이미지(111)를 합성하여 후면 초광각 이미지(112)를 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.

실시 예에서, 메모리(103)에는 전면 초광각 이미지(115) 및 후면 초광각 이미지(112)를 합성하여 파노라마 이미지 내지는 360도 이미지를 생성하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.

실시 예에서, 메모리(103)에는 AI 모델(뉴럴 네트워크 모델)이 적어도 하나 저장되어 있을 수 있다. 실시 예에서, 메모리(103)에 저장된 뉴럴 네트워크 모델은 전면 카메라로 획득한 전면 이미지, 즉, 제1 전면 이미지(110)로부터 후면 카메라로 획득되는 후면 이미지의 특성을 갖는 복수개의 전면 이미지, 즉, 제2 전면 이미지(113)를 생성하기 위한 뉴럴 네트워크 모델일 수 있다.

실시 예에 따른 프로세서(101)는 전자 장치(100)의 전반적인 동작 및 전자 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행할 수 있다.

실시 예에서, 프로세서(101)는 메모리(103)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 전자 장치(100)가 기능하도록 제어할 수 있다.

실시 예에서, 프로세서(101)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다.

실시 예에서, 프로세서(101)는 하나이거나 또는 복수 개일 수 있다. 예컨대, 프로세서(101)는 복수의 프로세서들을 포함할 수 있다. 이 경우, 프로세서(101)는 메인 프로세서(main processor) 및 서브 프로세서(sub processor)로 구현될 수 있다.

또한, 프로세서(101)는 CPU(Cetral Processing Unit), GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 또는, 실시 예에서, 프로세서(101)는 CPU, GPU 및 VPU 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다. 또는, 실시 예에서, 프로세서(101)는 NPU(Neural Processing Unit)를 더 포함할 수 있다.

실시 예에서, 프로세서(101)는 기 정의된 동작 규칙 또는 AI 모델에 따라, 입력 데이터를 처리할 수 있다. 기 정의된 동작 규칙 또는 AI 모델은 특정한 알고리즘을 이용하여 만들어진 것일 수 있다. 또한 AI 모델은 특정한 알고리즘이 학습된 것일 수 있다.

실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 제1 전면 이미지(110)를 획득할 수 있다. 실시 예에서, 제1 전면 이미지(110)는 전면 카메라로 전면을 촬영하여 획득한 전면에 대한 이미지일 수 있다.

실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 제1 전면 이미지(110)로부터 복수개의 후면 이미지의 특성을 갖는 복수개의 제2 전면 이미지(113)를 획득할 수 있다.

실시 예에서, 하나 이상의 프로세서(101)는 규칙 기반으로, 또는 인공지능 알고리즘 기반으로 제1 전면 이미지(110)로부터 제2 전면 이미지(113)를 획득할 수 있다.

실시 예에서, 하나 이상의 프로세서(101)는 인공지능 알고리즘으로 기계학습, 신경망 네트워크 또는 딥러닝 알고리즘 중 적어도 하나를 이용할 수 있다. 예컨대, 하나 이상의 프로세서(101)는 뉴럴 네트워크를 이용하여, 제1 전면 이미지(110)로부터 복수개의 제2 전면 이미지(113)를 획득할 수 있다.

AI 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성될 수 있다. AI 기술은 알고리즘을 활용하여 구현될 수 있다. 여기서, AI 기술을 구현하기 위한 알고리즘 또는 알고리즘의 집합을 신경망(Neural Network, 뉴럴 네트워크)이라 한다. 신경망은 입력 데이터를 입력 받고, 분석 및 분류를 위한 연산을 수행하여, 결과 데이터를 출력할 수 있다. 이와 같이 신경망이 입력 데이터에 대응되는 결과 데이터를 정확하게 출력하기 위해서는, 신경망을 트레이닝 시킬 필요가 있다. 신경망을 훈련시킨다는 것은 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 실시 예에서 인공지능이 수행되는 전자 장치(100) 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.

여기서, 학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨데, 로봇)를 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 실시 예에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.

신경망을 통하여 입력 데이터에 대응되는 출력 데이터를 출력하도록 하는 알고리즘의 집합, 알고리즘의 집합을 실행하는 소프트웨어 및/또는 알고리즘의 집합을 실행하는 하드웨어를 ‘AI 모델’(또는,‘인공지능 모델’이나 뉴럴 네트워크 모델, 뉴럴 네트워크)이라 칭할 수 있다.

실시 예에서, 프로세서(101)가 이용하는 뉴럴 네트워크는 제1 전면 이미지(110)로부터 제2 전면 이미지(113)를 획득하는 알고리즘이나, 알고리즘의 집합을 실행하는 소프트웨어 및/또는 알고리집의 집합을 실행하는 하드웨어일 수 있다.

실시 예에서, 뉴럴 네트워크는 두 개 이상의 히든 레이어들을 포함하는 딥 뉴럴 네트워크(DNN)일 수 있다.

실시 예에서, 뉴럴 네트워크는 입력 데이터를 입력 받고, 분석 및 분류를 위한 연산을 수행하여, 입력 데이터에 대응되는 결과 데이터를 출력하기 위해서 트레이닝(training)될 수 있다.

실시 예에서, 뉴럴 네트워크는 다수의 학습 데이터들로 다양한 전면 학습 이미지와 그에 대응하는 복수개의 후면 학습 이미지를 입력 받고, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지 특성을 갖는 복수개의 전면 학습 이미지를 생성하도록 학습될 수 있다.

실시 예에서, 뉴럴 네트워크는 복수개의 후면 학습 이미지들의 특성을 학습할 수 있다. 복수개의 후면 이미지 특성은 카메라 렌즈 특성 및 지오메트리(geometry) 특성 중 적어도 하나를 포함할 수 있다.

실시 예에서, 카메라 렌즈 특성은 복수개의 후면 카메라들 각각의, 해상도, 광학 배율, 조리개, 화각, 픽셀 피치, 다이나믹 레인지, 및 뎁쓰 중 적어도 하나의 특성에 따른 후면 이미지의 특성일 수 있다.

실시 예에서, 지오메트리 특성은 복수개의 후면 이미지 간의 화각 관계, 크기 관계 및 위치 관계 중 적어도 하나에 대한 특성을 포함할 수 있다.

실시 예에서, 뉴럴 네트워크는 전면 학습 이미지로부터 전면 이미지 특성을 획득하고, 이를 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지의 특성에 맞게 변형하여 한 장의 전면 학습 이미지로부터 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지 특성을 갖는 복수개의 전면 학습 이미지를 생성하도록 훈련될 수 있다.

실시 예에서, 뉴럴 네트워크는 생성된 복수개의 전면 학습 이미지를 그라운드 트루쓰 이미지와 비교하여 이미지 간에 차이가 최소가 되도록 훈련될 수 있다. 실시 예에서, 그라운드 트루쓰 이미지는 전면을 복수개의 후면 카메라로 촬영하여 획득한 복수개의 이미지일 수 있다. 실시 예에서, 뉴럴 네트워크는 그라운드 트루쓰 이미지와, 복수개의 전면 학습 이미지 간의 차이가 최소가 되도록 훈련됨으로써, 전면 카메라와 후면 카메라의 위치 차이에 따른 시점(view) 차이를 학습할 수 있다.

이러한 학습은 인공지능이 수행되는 전자 장치(100) 자체에서 이루어질 수도 있고, 또는 별도의 외부 서버/시스템을 통해 이루어 질 수도 있다.

실시 예에서, 학습이 끝난 뉴럴 네트워크는 전자 장치(100)에 장착될 수 있다. 실시 예에서, 전자 장치(100)는 스마트폰 등의 엣지 디바이스에 뉴럴 네트워크의 인공지능(Artificial Intelligence, AI) 기능이 결부된 온 디바이스(On-Device) 형태의 장치일 수 있다. 예컨대, 전자 장치(100)는 별도 서버와의 연동없이 전자 장치(100)에 포함된 뉴럴 네트워크를 이용하여 제1 전면 이미지(110)로부터 복수개의 제2 전면 이미지(113)를 획득할 수 있다. 전자 장치(100)는 클라우드 서버를 거치지 않고 자체적으로 정보를 수집하고 연산하여 처리하기 때문에 제1 전면 이미지(110)로부터 후면 카메라로 획득되는 후면 이미지 특성이 반영된 제2 전면 이미지(113)를 보다 빨리 획득할 수 있다.

또는, 실시 예에서, 학습이 끝난 뉴럴 네트워크는 클라우드 서버나 외부 컴퓨팅 장치 등에 장착될 수 있다. 예컨대, 실시 예에서, 전자 장치(100)는 온 디바이스 형태가 아니고, 클라우드 서버나 클라우드 컴퓨팅 장치와 연동하여 360도 이미지를 획득할 수도 있다. 이 경우, 전자 장치(100)는 전면 카메라(131)로 제1 전면 이미지(110) 및 복수개의 후면 카메라(141)로 복수개의 후면 이미지(111)를 획득하고, 이를 외부 서버로 전송할 수 있다.

실시 예에서, 외부 서버는 전자 장치(100)로부터 제1 전면 이미지(110)를 수신하고, 상술한 뉴럴 네트워크를 이용하여 제1 전면 이미지(110)로부터 복수개의 제2 전면 이미지(113)를 생성할 수 있다. 외부 서버는 복수개의 제2 전면 이미지(113)를 합성하여 전면 초광각 이미지(115)를 생성하고, 복수개의 후면 이미지(111)를 합성하여 후면 초광각 이미지(112)를 생성할 수 있다. 외부 서버는 전면 초광각 이미지(115)와 후면 초광각 이미지(112)를 합성하여 파노라마 이미지 내지는 360도 이미지를 생성하고, 이를 전자 장치(100)로 전송할 수 있다.

실시 예에서, 전자 장치(100)는 외부 서버로부터 수신한 360도 이미지를 출력할 수 있다.

도 4는 실시 예에 따라, 전자 장치(100)가 360도 이미지를 생성하는 동작을 도시한 도면이다.

실시 예에서, 전자 장치(100)는 제1 전면 이미지(110)를 획득할 수 있다. 실시 예에서, 전자 장치(100)는 전자 장치(100)의 전면에 구비된 전면 카메라(131)로 전면에 위치한 피사체를 촬영하여 제1 전면 이미지(110)를 획득할 수 있다. 또는, 실시 예에서, 전자 장치(100)는 외부의 사용자 단말기로부터, 외부의 사용자 단말기에 구비된 전면 카메라로 획득된 제1 전면 이미지(110)를 수신할 수도 있다.

실시 예에서, 전자 장치(100)는 제1 DNN(Deep Neural Network, 410)을 이용하여, 제1 전면 이미지(110)로부터 복수개의 제2 전면 이미지(113)를 획득할 수 있다. 실시 예에서, 제1 DNN(410)은 입력층(input layer)과 출력층(output layer) 사이에 다중의 은닉층(hidden layer)을 포함하는 인공 신경망으로, 미리 학습된 뉴럴 네트워크일 수 있다.

실시 예에서, 제1 DNN(410)은 한 장의 전면 학습 이미지 및 복수개의 후면 학습 이미지로부터, 복수개의 후면 카메라로 획득되는 후면 이미지의 특성을 갖는 복수개의 전면 학습 이미지를 생성하도록 훈련된 학습 모델일 수 있다.

실시 예에서, 제1 DNN(410)이 제1 전면 이미지(110)로부터 생성하는 복수개의 제2 전면 이미지(113)는, 마치 복수개의 후면 카메라로 전면을 촬영해서 획득되는 것과 같은, 후면 이미지의 특성을 갖는 전면 이미지일 수 있다.

실시 예에서, 전자 장치(100)는 복수개의 제2 전면 이미지(113)를 합성하여 전면 초광각 이미지(115)를 생성할 수 있다. 실시 예에서, 전자 장치(100)는 제2 DNN(420)을 이용하여 복수개의 제2 전면 이미지(113)로부터 전면 초광각 이미지(115)를 생성할 수 있다.

실시 예에서, 제2 DNN(420) 또한 두 개 이상의 히든 레이어들을 포함하는 딥 뉴럴 네트워크(DNN)일 수 있다. 실시 예에서, 제2 DNN(420)은 이미지들을 합성하도록 훈련된 뉴럴 네트워크일 수 있다. 실시 예에서, 제2 DNN(420)은 복수개의 이미지들 간에 유사한 영역이나 특징을 검출하고, 이들을 매칭하여 이미지들을 합성하여 초광각 이미지를 획득하는 알고리즘이나, 알고리즘의 집합을 실행하는 소프트웨어 및/또는 알고리집의 집합을 실행하는 하드웨어일 수 있다.

실시 예에서, 제2 DNN(420)은 후면 카메라로 획득되는 후면 이미지 특성을 갖는 복수개의 제2 전면 이미지(113)들, 예컨대, 망원 이미지, 표준 이미지, 광각 이미지의 특성을 갖는 복수개의 이미지들을 자연스럽게 합성하여, 망원 이미지, 표준 이미지, 및 광각 이미지 간에 자연스럽게 시점이 이동될 수 있는 초고해상도 영상을 생성할 수 있다.

실시 예에서, 전자 장치(100)는 복수개의 후면 이미지(111)를 획득할 수 있다. 실시 예에서, 전자 장치(100)는 전자 장치(100)의 전면 카메라(131)로 제1 전면 이미지(110)를 획득하는 시점과 동일한 시점에, 후면에 장착된 후면 카메라(141)로 후면에 위치한 피사체를 촬영하여 복수개의 후면 이미지(111)를 획득할 수 있다. 또는, 실시 예에서, 전자 장치(100)는 외부의 사용자 단말기로부터, 외부의 사용자 단말기에 구비된 후면 카메라로 획득된 후면 이미지(111)를 수신할 수도 있다.

실시 예에서, 전자 장치(100)는 제2 DNN(425)을 이용하여 복수개의 후면 이미지(111)로부터 후면 초광각 이미지(112)를 생성할 수 있다. 실시 예에서, 제2 DNN(425)은 제1 DNN(410)과 마찬가지로 이미지들을 합성하도록 훈련된 딥 뉴럴 네트워크일 수 있다.

실시 예에서, 제2 DNN(425)은 후면 카메라로 획득된 후면 이미지들(111), 예컨대, 망원 이미지, 표준 이미지, 광각 이미지들을 자연스럽게 합성하여, 이미지들 간에 시점 이동이 자유롭게 수행될 수 있는 초고해상도 영상을 생성할 수 있다. 실시 예에서, 후면 초광각 이미지(112)는 사용자가 특정 지점을 zoom-in 또는 zoom out 하거나, 또는 사용자가 이미지의 좌우나 상하 방향으로 이미지를 pan하거나 tilt하는 경우에도 이미지의 해상도가 저하되지 않으면서 특정 지점으로의 이동이나 회전이 용이한 초고해상도 영상일 수 있다.

실시 예에서, 전자 장치(100)는 전면 초광각 이미지(115)와 후면 초광각 이미지(112)를 합성하여 360도 이미지(430)를 생성할 수 있다. 실시 예에서, 전자 장치(100)는 전면 초광각 이미지(115)와 후면 초광각 이미지(112)에서 유사한 특징점을 검출하고, 유사한 특징점을 매칭하여 전면 초광각 이미지(115)와 후면 초광각 이미지(112)를 스티칭(stiching)하여 360도 이미지를 획득할 수 있다.

도 5는 실시 예에 따라, 학습 모델을 획득하는 것을 설명하기 위한 도면이다.

도 5를 참조하면, 뉴럴 네트워크(500)는 복수개의 학습 데이터를 입력 받을 수 있다.

뉴럴 네트워크(500)는 학습 데이터로부터 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지 특성을 갖는 복수개의 전면 학습 이미지를 획득하는 방법을 학습할 수 있으며, 학습된 결과에 기초하여 학습 모델로 생성될 수 있다.

실시 예에서, 학습 데이터는 다양한 크기를 갖는 피사체가 다양한 위치에 있을 때, 다양한 크기 및 위치에 있는 피사체를 촬영하여 획득한 촬영 이미지를 포함할 수 있다. 여기서, 촬영 이미지는 전면 카메라로 촬영하여 획득한 전면 이미지와, 동일 시점에 복수개의 후면 카메라로 촬영하여 획득한 복수개의 후면 이미지를 포함할 수 있다.

실시 예에서, 학습 데이터는 전면 학습 이미지(510)를 포함할 수 있다. 표준 이미지는 전면 카메라가 표준 카메라인 경우, 전면 카메라로 획득된 전면에 대한 촬영 이미지일 수 있다.

실시 예에서, 전면 학습 이미지(510)는 뉴럴 네트워크(500)로 입력될 수 있다.

실시 예에서, 뉴럴 네트워크(500)는 인코더-디코더 모델일 수 있다. 인코더-디코더 모델은 인코더(E1) 및 디코더(G)를 포함할 수 있다. 인코더-디코더 모델은 이미지에서 특징을 추출하고 생성하려는 영상에 추출된 특징이 잘 반영하도록 설계된 모델일 수 있다. 인코더-디코더 모델은 U-Net, Residual U-Net, FD U-Net 등일 수 있다. 다만, 이는 하나의 실시 예로, 뉴럴 네트워크(500)는 인코더-디코더 모델에 한하지 않는다.

실시 예에서, 뉴럴 네트워크(500)는 복수개의 학습 이미지로 훈련(training)되어, 뉴럴 네트워크(500)를 형성하는 복수개의 노드(node)들 각각에 적용되는 복수개의 가중치(weight)의 값이 설정되도록 할 수 있다. 가중치는 뉴럴 네트워크(500)의 각 노드들 간의 연결 강도를 의미할 수 있다. 가중치 값은 반복적인 학습을 통하여 최적화될 수 있으며, 결과의 정확도가 소정의 신뢰도를 만족할 때까지 반복적으로 수정될 수 있다. 예컨대, 가중치는 뉴럴 네트워크(500)에서 출력된 이미지가, 그라운드 트루쓰 이미지와 동일해질 때까지 계속하여 수정될 수 있다.

실시 예에서, 뉴럴 네트워크(500)에 포함된 인코더(E1)는 입력 이미지의 특징을 포착하기 위해 채널의 수를 늘리면서 차원을 축소할 수 있다. 실시 예에서, 뉴럴 네트워크(500)에 포함된 디코더는 저차원으로 인코딩된 정보를 이용하여 채널의 수를 줄이고 차원을 늘려서 고차원의 이미지를 생성할 수 있다. 디코더(G)는 제너레이터(Generator)로도 호칭될 수 있다.

실시 예에서, 전면 학습 이미지(510)는 뉴럴 네트워크(500)의 인코더(E1)로 입력될 수 있다. 인코더(E1)는 전면 학습 이미지(510)의 차원을 축소하면서 정보를 압축하여 전면 학습 이미지(510)로부터 중요 특징을 획득할 수 있다.

일반적으로, 인코딩 단계에서는 입력 이미지의 특징을 포착할 수 있도록 채널의 수를 늘리면서 차원을 축소하고, 디코딩 단계에서는 저차원으로 인코딩된 정보만 이용하여 채널의 수를 줄이고 차원을 늘려서 고차원의 이미지를 복원할 수 있다. 그러나, 인코딩 단계에서 차원 축소를 거치면서 이미지에 포함된 피사체에 대한 정보 중 중요한 정보를 잃게 되는 경우가 있고, 디코딩 단계에서도 저차원의 정보만을 이용하기 때문에 손실된 중요 정보를 회복하지 못하는 경우가 있을 수 있다.

이에, 실시 예에 따른 인코더-디코더 모델은 저차원뿐 아니라 고차원 정보도 이용하여 이미지의 특징을 추출함과 동시에 중요한 정보를 이용할 수 있도록 스킵 커넥션(skip connection)을 이용할 수 있다. 스킵 커넥션은 인코더 레이어와 디코더 레이어를 직접 연결하여, 인코딩 단계의 각 레이어에서 얻은 특징을 디코딩 단계의 각 레이어에 합치는(concatenation) 것을 의미할 수 있다. 스킵 커넥션은 인코더-디코더 모델에 포함된 인코더 및 디코더가 서로 대칭 구조를 가지고 있을 때 다른 레이어로 정보를 전달하는 대신 직접 디코더의 대응 레이어로 정보를 전달하여 디코더(G)의 성능을 향상시키는 데 이용될 수 있다.

실시 예에서, 학습 데이터는 후면 학습 이미지(520)를 포함할 수 있다. 후면 학습 이미지(520)는 전면 카메라로 전면 학습 이미지(510)가 획득된 시점과 동일 시점에 후면 카메라로 획득되거나 또는 후면 카메라가 갖는 후면 이미지 특성을 갖도록 생성된 이미지일 수 있다. 실시 예에서, 후면 카메라가 복수 개인 경우, 후면 카메라로 획득한 후면 학습 이미지(520) 또한 복수 개일 수 있다. 예컨대, 후면 카메라가 표준, 광각, 망원 카메라인 경우, 후면 학습 이미지(520) 또한 표준 이미지, 광각 이미지, 망원 이미지일 수 있다.

실시 예에서, 학습 데이터는 전면 뎁쓰 센서로 획득한 전면 거리 정보를 더 포함할 수도 있다. 전면 거리 정보는 전면에 위치한 피사체까지의 거리를 나타내는 정보일 수 있다. 전면 거리 정보는 전면 이미지를 생성하는 전면 카메라 또는 전면 이미지로부터 획득될 수도 있고, 전면 카메라와 별개의 전면 뎁쓰 센서로부터 획득될 수도 있다. 전면 뎁쓰 센서가 복수개인 경우 전면 거리 정보 또한 복수 개일 수 있다.

실시 예에서, 학습 데이터가 전면 뎁쓰 센서로 획득한 전면 거리 정보를 더 포함하는 경우, 전면 거리 정보는 전면 학습 이미지(510)와 함께 뉴럴 네트워크(500)의 인코더(E1)로 입력될 수 있다. 인코더(E1)는 전면 학습 이미지(510)와 전면 거리 정보의 차원을 축소하면서 정보를 압축하여 전면 학습 이미지(510)로부터 중요 특징을 획득할 수 있다.

실시 예에서, 학습 데이터는 후면 뎁쓰 센서로 획득한 후면 거리 정보를 더 포함할 수도 있다. 후면 거리 정보는 후면에 위치한 피사체까지의 거리를 나타내는 정보일 수 있다. 후면 거리 정보는 후면 카메라 내지는 후면 이미지로부터 획득될 수도 있고, 또는 후면 카메라와 별개의 후면 뎁쓰 센서로부터 획득될 수도 있다. 후면 카메라가 복수개인 경우, 및/또는 후면 뎁쓰 센서가 복수개인 경우, 후면 카메라로부터 획득되거나 후면 뎁쓰 센서로부터 획득되는 후면 거리 정보는 복수 개일 수도 있다.

실시 예에서, 후면 학습 이미지(520)는 인코더(E2)를 통해 차원이 축소되어 압축될 수 있다. 후면 거리 정보가 있는 경우, 후면 거리 정도 또한 인코더(E2)를 통해 압축될 수 있다. 인코더(E2)는 인코더-디코더 모델에 포함된 인코더(E1)과 마찬가지로 채널 수를 늘리면서 차원을 축소하여 데이터를 압축할 수 있다. 실시 예에서, 인코더(E2)를 통해 압축된 데이터는 후면 학습 이미지(520) 및/또는 후면 거리 정보로 획득된, 후면 카메라 특성일 수 있다. 후면 카메라 특성은 후면 카메라 각각의 렌즈 특성으로 인한 이미지 특성, 및 후면 카메라들 간의 위치나 배열 차이로 인한 지오메트리 특성 중 적어도 하나를 포함할 수 있다.

실시 예에서, 인코더(E2)를 통해 압축된 데이터는 컨디션(condition) 형태로 디코더(G)로 입력될 수 있다. 컨디션은 디코더(G)가 이미지를 생성하는 조건을 나타내는 정보일 수 있다.

실시 예에서, 컨디션으로 디코더(G)로 입력되는 데이터는 후면 카메라의 카메라 특성 및 후면 카메라 간의 지오메트리 특성을 포함하는 데이터일 수 있다.

실시 예에서, 디코더(G)는 저차원으로 인코딩된 정보를 이용하여 채널의 수를 줄이고 차원을 늘려서 고차원의 이미지를 생성하는 제너레이터일 수 있다. 실시 예에서, 디코더(G)는 인코더(E2)로부터 받은 압축 정보, 즉, 전면 학습 이미지(510)와 전면 거리 정보에 대한 중요 특징을 이용하여 새로운 이미지를 생성할 때, 후면 카메라 특성을 컨디션으로 입력 받고, 컨디션에 따라 이미지를 생성할 수 있다.

실시 예에서, 디코더(G)는 인코더(E1)로부터 받은 전면 학습 이미지(510) 및 전면 거리 정보에 대한 압축 데이터, 및 인코더(E2)로부터 받은 후면 카메라 특성, 예컨대, 표준 카메라, 광각 카메라 및 망원 카메라 각각의 렌즈 특성 및 후면 카메라들 간의 위치 관계, 후면 피사체까지의 뎁쓰 정보 등을 고려하여 새로운 이미지를 생성할 수 있다. 이 때 생성되는 새로운 이미지는 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지 특성을 갖는 학습 이미지일 수 있다. 즉, 새로운 이미지는 복수개의 후면 카메라의 렌즈 특성 및 복수개의 후면 카메라 간의 지오메트리 특성을 갖는 학습 이미지일 수 있다.

실시 예에서, 디코더(G)가 생성한 복수개의 학습 이미지는 비교기(D, discriminator, 503)를 통해 그라운드 트루쓰(Ground Truth) 이미지(512)와 비교될 수 있다. 그라운드 트루쓰 이미지는 전면을 복수개의 후면 카메라로 촬영하여 획득한 학습 이미지일 수 있다.

실시 예에서, 비교기(503)는 디코더(G)가 생성한 이미지와 그라운드 트루쓰 이미지(512)를 비교하여 이미지 간의 차이를 로스(loss)로 획득할 수 있다. 실시 예에서, 비교기(503)가 획득한 로스는 다시 뉴럴 네트워크(500)로 피드 포워드되어, 뉴럴 네트워크(500)를 형성하는 노드들의 가중치를 훈련하는 데 이용될 수 있다.

실시 예에서, 뉴럴 네트워크(500)의 가중치는 로스가 최소가 될 때까지 반복하여 설정되어 최적화될 수 있다. 실시 예에서, 뉴럴 네트워크(500)는 최종적으로 설정된 가중치 값들에 의해서 형성될 수 있다.

실시 예에 따르면, 뉴럴 네트워크(500)를 이용하여, 전면 이미지로부터, 후면 카메라로 획득된 후면 이미지의 특성을 갖는 복수개의 전면 이미지들을 생성하는 방법을 학습하는 동작은, 사전에 수행될 수 있다. 경우에 따라, 복수개의 학습 이미지 중 일부가 변경됨에 따라, 뉴럴 네트워크(500)가 업데이트될 수 있다. 경우에 따라, 소정의 주기 단위로, 새로운 학습 이미지가 사용될 수 있다. 새로운 학습 이미지가 추가되면, 뉴럴 네트워크(500)는 이미지로부터 후면 카메라로 획득되는 후면 이미지 특성을 갖는 복수개의 이미지를 생성하는 방법을 다시 학습할 수 있으며, 이에 따라 학습 모델이 업데이트될 수 있다.

뉴럴 네트워크(500)를 이용하여 전면 이미지로부터 후면 이미지 특성을 갖는 복수개의 전면 이미지들을 생성하는 방법을 학습하는 동작은, 도 3의 전자 장치(100) 내부의 프로세서(101)에서 수행될 수 있으나, 이에 한정되는 것은 아니고, 전자 장치(100)와 통신망을 통해 결합된 외부 서버나 외부 컴퓨팅 장치에서 수행될 수도 있다. 뉴럴 네트워크(500)를 이용하여 복수개의 이미지를 생성하는 방법을 학습하는 동작은, 상대적으로 복잡한 연산량을 필요로 할 수 있다. 이 경우, 전자 장치(100)와는 별개의 외부의 컴퓨팅 장치가 학습하는 동작을 수행하고, 전자 장치(100)는 외부 컴퓨팅 장치로부터 학습 모델을 수신함으로써, 전자 장치(100)에서 수행되어야 하는 연산량을 줄일 수 있다.

또는 학습이 끝난 뉴럴 네트워크(500)는 전자 장치(100)에 저장될 수도 있고, 또는 전자 장치(100)가 아닌 외부의 클라우드 서버나 컴퓨팅 장치에 저장되어 전자 장치(100)로부터 수신한 이미지를 기반으로 복수개의 이미지를 생성할 수도 있다.

도 6은 실시 예에 따른 인코더-디코더 모델의 아키텍쳐를 설명하기 위한 도면이다.

도 6을 참조하면, 실시 예에 따른 인코더-디코더 모델은 도 5의 뉴럴 네트워크(500)의 일 예일 수 있다. 실시 예에서, 인코더-디코더 모델은 왼쪽에 인코더를 포함하고 오른쪽에 디코더를 포함하는 구조일 수 있다. 인코더-디코더 모델의 아키텍쳐는 완전 연결 레이어(fully connected layers)가 없는 신경망을 포함할 수 있다.

인코더-디코더 모델은 이미지로부터 특징을 획득하기 위한 축소(contracting) 경로와 그에 대칭적으로 확장되는 경로(expanding path)로 구성될 수 있다. 축소 경로는 교대(alternating) 컨볼루션 및 풀링 작업을 사용하는 컨볼루션 네트워크의 일반적인 아키텍처를 따르고 피쳐 맵(feature map)을 점진적으로 다운샘플링하여 동시에 레이어당 피쳐 맵 수를 늘릴 수 있다. 즉, 인코더에는 복수개의 컨볼루션 레이어가 포함되어 있고 각 레이어에는 ReLU 활성화 함수, 최대 풀링(Max Pooling) 작업이 뒤따라 수행되어 특징 맵을 감소시킬 수 있다.

도 6에서, 직사각형 블록, 즉, 막대(rod)는 일련의 변환을 통과하는 다중 채널 피쳐 맵(multi -channel features map)을 나타낸다. 막대의 높이는 픽셀 단위의 상대적인 맵 크기를 나타내며, 폭(width)은 채널 수에 비례한다. 모든 컨볼루션 레이어는 3×3 커널을 가지며 각 막대 옆의 숫자는 채널 수를 나타낸다. 첫 번째 컨볼루션 레이어는 64개의 채널을 생성한 다음 네트워크가 깊어짐에 따라 각 최대 풀링 작업 후 채널 수가 512에 도달할 때까지 두 배의 채널을 생성하게 된다. 여기서, 512개 채널의 단일 컨볼루션 레이어가 인코더와 디코더를 분리하는 네트워크의 병목 중앙 부분(bottleneck central part) 역할을 수행하게 된다.

채널 수는 왼쪽의 인코더의 부분에서는 단계별로 증가하는 반면 오른쪽 디코더의 부분에서는 단계별로 감소한다.

확장 경로의 모든 단계는 피쳐 맵의 업샘플링과 그를 뒤따르는 컨볼루션으로 구성되어, 출력 이미지의 해상도를 높일 수 있다. 디코더는 채널 수를 절반으로 줄이면서 피쳐 맵의 크기를 두 배로 늘리는 전치된(transposed) 컨볼루션 레이어를 포함한다. 전치된 컨볼루션의 출력은 디코더의 해당 부분의 출력과 연결된다. 결과 특징 맵은 채널 수를 대칭 인코더 용어와 동일하게 유지하기 위해 컨볼루션 연산으로 처리된다. 이 업샘플링 절차는 인코더의 풀링과 쌍을 이루기 위해 인코더의 풀링 수만큼 반복된다.

도 6에서 인코더와 디코더를 연결하는 상단의 화살표는 인코더의 각각의 부호화 레이어에서 정보를 전송하여 디코더의 대응하는 복호화 레이어에 접속하는 스킵 커넥션(skip connection)을 나타낸다.

인코딩 단계에서 차원 축소를 거치면서 이미지에서의 피사체에 대한 자세한 위치 정보 등의 중요 특징을 잃게 되고, 디코딩 단계에서도 저차원의 정보만을 이용하기 때문에 중요 특징을 회복하지 못하는 경우를 막기 위해, 스킵 커넥션을 이용할 수 있다. 스킵 커넥션을 이용할 경우, 저차원 뿐 아니라 고차원 정보도 이용하여 이미지의 특징을 추출함과 동시에 중요한 특징, 예컨대 정확한 위치 파악도 가능해 질 수 있다.

이를 위해서 인코더-디코더 모델은 인코딩 단계의 각 레이어에서 얻은 특징을 디코딩 단계의 각 레이어에 합치는(concatenation) 방법을 사용할 수 있다. 인코더 레이어와 디코더 레이어의 직접 연결을 스킵 연결(skip connection)이라고 한다. 스킵 커넥션은 이전 레이어의 출력만을 다음 레이어의 입력으로 사용하는 것과는 달리 하나의 레이어의 출력이 다음 레이어로 입력되는 것이 아니라 몇 개의 레이어를 건너뛴 다음의 레이어의 입력에 추가하는 형태를 의미한다.

디코더는 확장 경로에서 스킵 커넥션을 통해 압축(contracting) 경로로부터의 피쳐를 고해상도 피쳐에 결합하여 업샘플링된 피쳐를 로컬라이징할 수 있다.

도 7은 실시 예에 따라, 학습 모델을 획득하는 것을 설명하기 위한 도면이다.

도 7을 참조하면, 실시 예에서, 전면 학습 이미지(702)는 딥 뉴럴 네트워크(DNN, 751)로 입력될 수 있다. 실시 예에서, DNN(751)은 두 개 이상의 히든 레이어들을 포함하는 뉴럴 네트워크일 수 있다.

실시 예에서, DNN(751)은 입력 데이터를 입력 받고, 분석 및 분류를 위한 연산을 수행하여, 입력 데이터에 대응되는 결과 데이터를 출력하기 위해서 트레이닝(training)될 수 있다.

실시 예에서, DNN(751)은 다수의 학습 데이터들로 다양한 전면 학습 이미지와 그에 대응하는 복수개의 후면 학습 이미지를 입력 받고, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지 특성을 갖는 복수개의 전면 학습 이미지를 생성하도록 학습될 수 있다.

실시 예에서, 트레이닝 데이터셋(Training Dataset, 701)은 데이터베이스로, 전면 학습 이미지(702)와 복수개의 후면 학습 이미지(703)를 하나의 세트(set)로 포함하고 있을 수 있다.

실시 예에서, DNN(751)은 트레이닝 데이터셋(701)으로부터 전면 학습 이미지(702)를 학습 데이터로 획득할 수 있다.

실시 예에서, DNN(751)은 학습 데이터가 입력된 것에 응답하여, 학습 데이터로부터 후면 카메라로 획득된 후면 이미지의 특성을 갖는 전면 학습 이미지를 추론하는 방법을 학습할 수 있다.

실시 예에서, 전면 학습 이미지(702)는 전면 카메라로 획득되는 이미지의 특성을 갖는 학습 이미지일 수 있다. 예컨대 전면 카메라가 표준 카메라인 경우, 전면 학습 이미지(702)는 전면의 표준 카메라로 획득된 이미지이거나 또는 전면의 표준 카메라의 사양에 맞게 생성된 이미지일 수 있다.

실시 예에서, 복수개의 후면 학습 이미지(703)는 전면 학습 이미지(702)와 동일 시점에 복수개의 후면 카메라로 촬영되어 생성된 이미지일 수 있다. 또는, 복수개의 후면 학습 이미지(703)는 복수개의 후면 카메라의 사양에 맞게 생성된 이미지일 수 있다. 예컨대, 복수개의 후면 학습 이미지(703)는 복수개의 후면 카메라들 각각의 사양, 예컨대, 광각, 초점거리, 해상도, 다이나믹 레인지, 이미지 quality등과 같은 카메라의 다양한 특성에 따른 이미지 특성을 갖는 이미지일 수 있다.

실시 예에서, DNN(751)은 트레이닝 데이터셋(701)으로부터 획득한 전면 학습 이미지(702)를 입력 값으로 하여 입력된 데이터들을 분류 및 분석하여 특징을 추출할 수 있다. 실시 예에서, DNN(751)은 학습 데이터로부터 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지 특성을 갖는 복수개의 전면 학습 이미지를 획득하는 방법을 학습할 수 있으며, 학습된 결과에 기초하여 학습 모델로 생성될 수 있다.

실시 예에서, DNN(751)은 표준 카메라로 획득된 표준 이미지의 특성을 갖는 전면 학습 이미지(702)를 줌인(zoom in)하고 이를 업스케일링함으로써 전면 학습 이미지(702)로부터 망원 카메라로 획득된 망원 이미지의 특성을 갖는 전면 이미지를 생성하도록 훈련될 수 있다.

실시 예에서, DNN(751)은 표준 카메라로 획득된 표준 이미지의 특성을 갖는 전면 학습 이미지(702)로부터 표준 이미지에서는 보이지 않는 부분을 생성해서 광각 카메라로 획득된 광각 이미지의 특성을 갖는 전면 이미지를 생성하도록 훈련될 수 있다. 실시 예에서, DNN(751)은 전면 학습 이미지(702)의 데이터를 extrapolation하여 외곽에 대한 이미지를 생성하거나 또는 트레이닝 데이터셋(701)으로부터 다양한 지오메트리 구조를 갖는 학습 이미지들을 기반으로 표준 이미지의 외곽에 적절한 이미지를 생성하도록 훈련될 수 있다.

실시 예에서, DNN(751)에 의해 생성된 복수개의 전면 학습 이미지(704)는 제1 합성기(753)에 의해 합성될 수 있다. 실시 예에서, 제1 합성기(753)는 뉴럴 네트워크 모델일 수 있다. 예컨대, 제1 합성기(753)는 인코더-디코더 모델일 수 있으나 이에 한정되는 것은 아니다.

실시 예에서, 제1 합성기(753)는 복수개의 전면 학습 이미지(704)를 합성하여 전면 초광각 학습 이미지를 생성할 수 있다. 실시 예에서, 제1 합성기(753)는 복수개의 전면 학습 이미지(704)에서 픽셀 간 최소의 차이점을 갖는 지점을 특징점으로 추출할 수 있다. 실시 예에서, 제1 합성기(753)는 추출한 특징점들 중 대응되는 특징점들끼리 스티칭함으로써 하나의 전면 초광각 학습 이미지를 생성할 수 있다.

실시 예에서, 제1 합성기(753)에 의해 생성된 전면 초광각 학습 이미지는 비교기(D, discriminator, 757)를 통해 그라운드 트루쓰 이미지인 전면 초광각 학습 이미지(706)와 비교될 수 있다.

실시 예에서, 그라운드 트루쓰 이미지는 트레이닝 데이터셋(705)으로부터 획득될 수 있다. 트레이닝 데이터셋(705)은 전면 초광각 학습 이미지(706)와 후면 초광각 학습 이미지(707)를 저장하고 있는 데이터베이스일 수 있다. 실시 예에서, 트레이닝 데이터셋(705)은 전면 학습 이미지(702)와 복수개의 후면 학습 이미지(703)를 저장하고 있는 트레이닝 데이터셋(701)과 동일한 데이터베이스일 수도 있으나 이에 한정되는 것은 아니고, 별개의 데이터베이스일 수도 있다.

실시 예에서, 비교기(757)는 제1 합성기(753)가 생성한 전면 초광각 학습 이미지와 트레이닝 데이터셋(705)에서 받은 그라운드 트루쓰 이미지인 전면 초광각 학습 이미지(706)를 비교하여 이미지 간의 차이를 로스(loss)고 구하고, 로스를 다시 제1 합성기(753)로 피드 포워드하여, 제1 합성기(753)를 형성하는 노드들의 가중치가 훈련되도록 할 수 있다. 실시 예에서, 제1 합성기(753)의 가중치는 로스가 최소가 될 때까지 반복하여 설정될 수 있다.

실시 예에서, 복수개의 후면 학습 이미지(703)는 제2 합성기(755)에 의해 합성될 수 있다. 실시 예에서, 제2 합성기(755) 또한 인코더-디코더 모델일 수 있으나 이에 한정되는 것은 아니다.

실시 예에서, 제2 합성기(755)는 복수개의 후면 학습 이미지(703)에서 특징점들을 검색하고, 이를 정합하여 스티칭함으로써 하나의 후면 초광각 학습 이미지를 생성할 수 있다.

실시 예에서, 비교기(759)는 트레이닝 데이터셋(705)으로부터 그라운드 트루쓰 이미지인 후면 초광각 학습 이미지(707)를 획득하고, 이를 제2 합성기(755)가 생성한 후면 초광각 학습 이미지와 비교하여 이미지 간의 차이인 로스(loss)를 구할 수 있다. 실시 예에서, 비교기(759)는 로스를 다시 제2 합성기(755)로 피드 포워드하여, 제2 합성기(755)를 형성하는 노드들의 가중치가 훈련되도록 할 수 있다. 실시 예에서, 제2 합성기(755)의 가중치는 로스가 최소가 될 때까지 반복하여 설정되어 설정된 가중치 값들에 의해서 형성될 수 있다.

도 8은 실시 예에 따라, 전자 장치(100)가 뉴럴 네트워크(800)를 이용하여 360도 이미지를 획득하는 것을 설명하기 위한 도면이다.

도 8에 도시된 뉴럴 네트워크(800)는 학습이 끝난 뉴럴 네트워크일 수 있다. 학습이 끝난 뉴럴 네트워크(800)는 전자 장치(100)나 외부 서버, 외부 컴퓨팅 장치 등에 장착되어, 입력 이미지로부터 복수개의 이미지를 획득하는 데 이용될 수 있다.

도 8은 뉴럴 네트워크(800)가 전자 장치(100)에 장착되어 입력 이미지로부터 복수개의 이미지를 획득하는 것을 설명한다.

실시 예에서, 뉴럴 네트워크(800)는 전자 장치(100)의 프로세서(101)나 메모리(103)에 포함될 수 있다. 또는, 뉴럴 네트워크(800)는 전자 장치(100) 내부이면서 프로세서(101)나 메모리(103) 외의 위치에 포함될 수 있다.

도 8을 참조하면, 실시 예에 따른 뉴럴 네트워크(800)는 제1 전면 이미지(110)를 입력 데이터로 입력 받을 수 있다. 실시 예에서, 제1 전면 이미지(110)는 프레임(frame), 씬(scene), GOP(Group Of Picture), 또는 동영상 등이 될 수 있다.

실시 예에서, 제1 전면 이미지(110)는 전자 장치(100)의 전면 카메라(131)로 전면을 촬영하여 획득한 전면에 대한 촬영 이미지일 수 있다. 제1 전면 이미지(110)는 전면 카메라(131)의 종류에 따라서 달라질 수 있다. 예컨대, 도 8에서, 제1 전면 이미지(110)는 전면 카메라(131)의 종류가 표준 카메라인 경우, 전면 카메라(131)로 획득된 표준 이미지일 수 있다.

실시 예에서, 뉴럴 네트워크(800)는 전면 카메라(131)로 제1 전면 이미지(110)가 생성됨과 동시에 실시간으로 제1 전면 이미지(110)를 입력 데이터로 입력 받을 수 있다.

또는, 실시 예에서, 뉴럴 네트워크(800)는 사용자가 이전에 전면 카메라(131)로 촬영하여 획득하고, 메모리(103)에 기 저장되어 있던 제1 전면 이미지(110)를 입력 데이터로 입력 받을 수도 있다. 이 경우, 뉴럴 네트워크(800)는 사용자로부터 360도 이미지를 생성하라는 제어 신호를 수신한 것에 기반하여, 제1 전면 이미지(110)를 입력 데이터로 입력 받을 수 있다.

실시 예에서, 뉴럴 네트워크(800)는 입력된 이미지에서 특징을 추출하고, 특징들을 기반으로, 새로운 이미지를 생성하는 알고리즘, 또는 알고리즘의 집합, 알고리즘의 집합을 실행하는 소프트웨어 및/또는 알고리집의 집합을 실행하는 하드웨어일 수 있다.

실시 예에서, 뉴럴 네트워크(800)는 인코더-디코더 모델일 수 있으나, 이에 한정되는 것은 아니다.

실시 예에서, 뉴럴 네트워크(800)는 입력된 제1 전면 이미지(110)로부터 특징을 추출할 수 있다. 뉴럴 네트워크(800)는 입력된 제1 전면 이미지(110)를 feature vector 인코더에 입력시켜 feature를 추출할 수 있다.

실시 예에서, 뉴럴 네트워크(800)는 후면 카메라들이 생성하는 후면 이미지의 카메라로 획득되는 후면 이미지 특성을 미리 학습한 학습 모델일 수 있다. 실시 예에서, 뉴럴 네트워크(800)는 제1 전면 이미지(110)로부터 추출한 특징들과 후면 이미지 특성을 기반으로, 후면 이미지 특성을 갖는 복수개의 제2 전면 이미지(113)를 생성할 수 있다.

실시 예에서, 제2 전면 이미지(113)의 개수는 후면 카메라(141)의 수에 대응할 수 있다. 예컨대, 후면 카메라(141)가 세 개의 서로 다른 카메라, 즉, 표준 카메라, 광각 카메라, 및 망원 카메라인 경우, 후면 이미지 특성을 갖는 제2 전면 이미지(113) 또한 표준 이미지, 광각 이미지, 및 망원 이미지일 수 있다.

실시 예에서, 제2 전면 이미지(113) 각각은 서로 다른 이미지 특성을 가질 수 있다. 예컨대, 후면 카메라(141)가 표준 카메라, 광각 카메라, 망원 카메라인 경우, 각각의 후면 카메라로 획득된 표준 이미지, 광각 이미지, 및 망원 이미지는 카메라 렌즈 특성에 따라 해상도, 광각 배율, 조리개, 화각, 픽셀 피치, 다이나믹 레인지, 뎁쓰 등이 서로 다를 수 있다.

예컨대, 화각의 크기는 망원 이미지, 표준 이미지, 광각 이미지, 초광각 이미지 순서대로 점차 커질 수 있다. 또한, 서로 다른 카메라로 획득된 이미지는 해상도가 서로 다를 수 있다. 일반적으로 광각 카메라로 획득된 이미지의 해상도가 초광각 카메라나 망원 카메라로 획득된 이미지의 해상도보다 더 크다. 또한, 카메라 별로 HDR(High Dynamic Range)이 다를 수 있다. HDR은 표현할 수 있는 가장 어두운 정도와 가장 밝은 정도의 차이, 즉, 명암비를 나타내며, HDR의 범위가 클수록 어두운 정도와 밝은 정도의 차이가 큰 이미지를 표현할 수 있다.

실시 예에서, 뉴럴 네트워크(800)는 복수개의 후면 카메라로 획득되는 후면 이미지의 특성을 기 학습한 모델일 수 있다. 실시 예에서, 뉴럴 네트워크(800)는 복수개의 후면 카메라들 각각의 카메라 렌즈 특성 및 복수개의 후면 카메라들 간의 지오메트리 관계를 학습해서, 한 장의 전면 이미지로부터, 후면 이미지의 특성을 갖는 전면의 복수개의 이미지를 생성하는 방법을 학습한 모델일 수 있다.

실시 예에서, 뉴럴 네트워크(800)는 제1 전면 이미지(110)를 입력 받고, 제1 전면 이미지(110)로부터 복수개의 후면 이미지 각각의 특성을 갖는 복수개의 제2 전면 이미지(113)를 생성할 수 있다.

예컨대, 뉴럴 네트워크(800)는 제1 전면 이미지(110)로부터 후면 카메라(141) 중에 광각 카메라로 획득되는 것과 같은, 광각 이미지의 특성을 갖는 이미지를 생성할 수 있다. 뉴럴 네트워크(800)는 광각 카메라의 카메라 렌즈 특성과 복수개의 카메라들 간의 지오메트리 특성을 고려하여 제1 전면 이미지(110)로부터 광각 이미지의 특성을 갖는 이미지를 생성할 수 있다.

실시 예에서, 뉴럴 네트워크(800)는 제1 전면 이미지(110)의 외곽에 대한 이미지를 생성하여 제1 전면 이미지(110)로부터 광각 이미지의 특성을 갖는 이미지를 생성할 수 있다. 실시 예에서, 뉴럴 네트워크(800)는 제1 전면 이미지(110)의 데이터를 extrapolation하여 제1 전면 이미지(110)의 외곽에 대한 이미지를 생성할 수 있다. 또는, 실시 예에서, 뉴럴 네트워크(800)는 전자 장치(100)의 메모리(103)에 기 저장되어 있는 다양한 지오메트리 구조를 갖는 이미지들 또는 전자 장치(100) 외부의 DB(데이터베이스)에 저장되어 있는 다양한 지오메트리 구조를 갖는 학습 이미지들을 미리 학습하고, 학습된 이미지들을 기반으로 제1 전면 이미지(110)의 외곽에 대한 이미지를 생성할 수 있다. 뉴럴 네트워크(800)는 제1 전면 이미지(110)에는 포함되어 있지 않은 외곽 부분을 생성함으로써, 제1 전면 이미지(110)로부터 광각 카메라로 획득된 것과 같은 이미지를 생성할 수 있다.

실시 예에서, 제1 전면 이미지(110)로부터 생성된 광각 카메라로 획득된 광각 이미지의 특성을 갖는 이미지는 표준 이미지보다 화각의 범위가 더 크고 피사체와의 거리가 더 멀어보이는 이미지일 수 있다. 또한, 제1 전면 이미지(110)로부터 생성된 광각 이미지의 특성을 갖는 이미지는 피사체까지의 거리가 후면에 배치된 뎁쓰 센서, 또는 후면 카메라 중 광각 카메라에 포함된 뎁쓰 센서에 의해 측정된 피사체까지의 거리를 유지하는 이미지일 수 있다.

또한, 제1 전면 이미지(110)로부터 생성된 광각 이미지의 특성을 갖는 이미지는 전면(130)에 위치한 전면 카메라(131)와 후면(140)에 위치한 광각 카메라 간의 서로 다른 위치 차이가 반영된 이미지로, 마치 후면(140)에 위치한 광각 카메라 위치에서 촬영된 것과 같은 뷰(view)를 갖는 이미지일 수 있다.

마찬가지로, 뉴럴 네트워크(800)는 제1 전면 이미지(110)로부터 후면 카메라(141) 중에 망원 카메라로 획득된 것과 같은, 망원 이미지의 특성을 갖는 이미지를 생성할 수 있다. 뉴럴 네트워크(800)는 망원 카메라의 카메라 렌즈 특성 및 복수개의 카메라들 간의 지오메트리 특성을 고려하여 제1 전면 이미지(110)로부터 망원 카메라로 획득된 것과 같은 이미지를 생성할 수 있다.

실시 예에서, 뉴럴 네트워크(800)는 제1 전면 이미지(110)를 줌인(zoom in)하고 이를 업스케일링함으로써 제1 전면 이미지(110)로부터 망원 카메라로 획득된 것과 같은, 고해상도 이미지를 생성할 수 있다.

실시 예에서, 제1 전면 이미지(110)로부터 생성된, 망원 카메라로 생성된 망원 이미지의 특성을 갖는 이미지는 표준 이미지보다 피사체가 더 가까워 보이고 피사체의 크기가 확대된 이미지일 수 있다. 또한, 제1 전면 이미지(110)로부터 생성된 망원 이미지의 특성을 갖는 이미지는 피사체까지의 거리가 후면에 배치된 뎁쓰 센서, 또는 후면 카메라 중 망원 카메라에 포함된 뎁쓰 센서에 의해 측정된 피사체까지의 거리를 유지하는 이미지일 수 있다.

또한, 제1 전면 이미지(110)로부터 생성된 망원 이미지는 전면(130)에 위치한 전면 카메라(131)와 후면(140)에 위치한 망원 카메라 간의 서로 다른 위치 차이가 반영된 이미지로, 마치 후면(140)에 위치한 망원 카메라 위치에서 촬영된 것과 같은 뷰를 갖는 이미지일 수 있다.

또한, 뉴럴 네트워크(800)는 제1 전면 이미지(110)로부터 표준 이미지의 특성을 갖는 이미지를 생성할 수 있다. 즉, 뉴럴 네트워크(800)는 후면 카메라(141) 중에 표준 카메라의 카메라 렌즈 특성 및 지오메트리 특성을 갖는 이미지를 생성할 수 있다. 여기서, 뉴럴 네트워크(800)에 의해 생성된, 표준 이미지의 특성을 갖는 이미지는 입력 데이터로 이용된 표준 이미지인 제1 전면 이미지(110)와는 다른 이미지일 수 있다. 이는, 전면 카메라(131)와 후면에 배치된 표준 카메라가 모두 표준 카메라라고 하더라도, 두 표준 카메라가 서로 다른 화소나 해상도, 초점거리, 뎁쓰 값 등과 같이 서로 다른 카메라 특성을 가질 수 있기 때문에 그로 인해 생성된 이미지 또한 서로 다른 이미지 특성을 가질 수 있기 때문이다.

실시 예에서, 제1 전면 이미지(110)로부터 생성된, 후면의 표준 카메라로 획득된 표준 이미지 특성을 갖는 이미지는 제1 전면 이미지(110)와는 화각의 범위나 해상도 등이 다른 이미지일 수 있다.

실시 예에서, 제1 전면 이미지(110)로부터 생성된, 후면의 표준 카메라로 획득된 표준 이미지 특성을 갖는 이미지는 피사체까지의 거리가 후면에 배치된 뎁쓰 센서, 또는 후면 카메라 중 표준 카메라에 포함된 뎁쓰 센서에 의해 측정된 피사체까지의 거리를 유지하는 이미지일 수 있다.

실시 예에서, 제1 전면 이미지(110)로부터 생성된, 후면의 표준 카메라로 획득된 표준 이미지 특성을 갖는 이미지는 전면(130)에 위치한 전면 카메라(131)와 후면(140)에 위치한 표준 카메라 간의 서로 다른 위치 차이가 반영된 이미지로, 마치 후면(140)에 위치한 표준 카메라 위치에서 촬영된 것과 같은 뷰를 갖는 이미지일 수 있다.

실시 예에서, 제1 전면 이미지(110)로부터 생성된, 후면 카메라로 획득된 후면 이미지 특성을 갖는 복수개의 제2 전면 이미지(113)들은 복수개의 후면 카메라들 간의 지오메트리 관계를 유지하는 이미지일 수 있다. 즉, 복수개의 제2 전면 이미지(113)들 간의 화각 관계, 이미지에서의 피사체의 크기 관계 및 위치 관계 중 적어도 하나는, 복수개의 후면 카메라들로 획득된 후면 이미지들 간의 화각 관계, 크기 관계 및 위치 관계 중 적어도 하나와 동일할 수 있다.

실시 예에서, 전자 장치(100)는 제1 합성기(803) 및 제2 합성기(805)를 포함할 수 있다. 실시 예에서, 제1 합성기(803) 및 제2 합성기(805)는 프로세서(101)나 메모리(103)에 배치되거나 또는 전자 장치(100) 내부이면서 프로세서(101)나 메모리(103) 외의 위치에 배치되어 이용될 수 있다.

실시 예에서, 제1 합성기(Synthesizer, 803)는 뉴럴 네트워크(800)를 통해 획득된 복수개의 제2 전면 이미지(113)를 합성하여 전면 초광각 이미지(115)를 생성할 수 있다.

실시 예에서, 제1 합성기(803)는 복수개의 제2 전면 이미지(113)에서 특징점들을 검색할 수 있다. 실시 예에서, 제1 합성기(803)는 복수개의 제2 전면 이미지(113)에서 픽셀 간 최소의 차이점을 갖는 지점을 특징점으로 추출할 수 있다.

실시 예에서, 제1 합성기(803)는 특징점들을 보다 쉽게 추출하기 위하여 색상 변환 및/또는 크기 조정 등의 방법을 통해 복수개의 제2 전면 이미지(113) 중에 하나 이상의 이미지를 보정할 수 있다. 실시 예에서, 제1 합성기(803)는 복수개의 제2 전면 이미지(113) 전체의 모든 데이터들을 비교 분석하여 특징점을 검색할 수도 있고, 또는 복수개의 제2 전면 이미지(113)에서 무작위로 추출한 임의의 데이터 중 오차범위 내의 데이터만을 분석하여 특징점을 검색할 수도 있다.

실시 예에서, 제1 합성기(803)는 복수개의 제2 전면 이미지(113)에서 추출한 특징점들을 정합할 수 있다. 실시 예에서, 제1 합성기(803)는 추출된 특징점들 중 대응되는 특징점들끼리 스티칭함으로써 복수개의 제2 전면 이미지(113)를 결합하여 하나의 전면 초광각 이미지(115)를 생성할 수 있다.

실시 예에서, 제1 합성기(803)는 사용자로부터 기준 신호를 입력 받을 수 있다. 실시 예에서, 기준 신호는 초광각 이미지 생성 시 기준이 되는 영역을 선택하기 위한 신호일 수 있다. 예컨대, 도 8에서 제1 합성기(803) 및 제2 합성기(805)에 걸쳐 표시된 화살표는 사용자로부터 기준 신호를 입력 받는 것을 표현한다. 실시 예에서, 제1 합성기(803)는 기준 신호가 입력된 것에 상응하여 기준 신호에 따라 선택된 영역을 기준으로 전면 초광각 이미지(115)를 생성할 수 있다.

실시 예에서, 제1 합성기(803)에 의해 생성된 전면 초광각 이미지(115)는 한 장의 이미지가 아닌, 복수개의 제2 전면 이미지(113)를 합성하여 획득된 이미지이므로, 충분히 많은 데이터를 가지고 있는 초고해상도 이미지일 수 있다.

실시 예에서, 제1 합성기(803)에 의해 생성된 전면 초광각 이미지(115)는 180도를 넘는 화각을 갖는 이미지일 수 있다.

실시 예에서, 제2 합성기(805)는 복수개의 후면 이미지(111)를 합성하여 후면 초광각 이미지(112)를 획득할 수 있다. 실시 예에서, 전자 장치(100)는 복수개의 후면 카메라(141)를 이용하여 후면을 촬영하여 복수개의 후면 이미지(111)를 획득할 수 있다. 여기서, 복수개의 후면 이미지(111)는 제1 전면 이미지(110)가 획득된 시점과 동일한 시점에 획득된 이미지일 수 있다.

실시 예에서, 제2 합성기(805)는 후면 카메라(141)로 후면이 촬영되어 후면 이미지(111)가 생성됨과 동시에 실시간으로 복수개의 후면 이미지(111)를 입력 받을 수 있다. 또는, 실시 예에서, 제2 합성기(805)는 사용자로부터 360도 이미지를 생성하라는 제어 신호를 수신한 것에 기반하여, 전자 장치(100) 내부의 메모리(103)에 기 저장되어 있던 이미지 중에 제1 전면 이미지(110)와 동일 시점에 후면 카메라(141)로 촬영되어 생성된 복수개의 후면 이미지(111)를 입력 데이터로 입력 받을 수 있다.

실시 예에서, 제1 합성기(803)와 마찬가지로, 제2 합성기(805)는 복수개의 후면 이미지(111)에서 특징점들을 검색할 수 있다. 실시 예에서, 제2 합성기(805)는 특징점들을 보다 쉽게 추출하기 위하여 복수개의 후면 이미지(111)의 색상이나 크기 등을 조정할 수도 있다. 실시 예에서, 제2 합성기(805)는 검색된 특징점들을 정합하여 복수개의 후면 이미지(111)를 결합하여 후면 초광각 이미지(112)를 생성할 수 있다.

실시 예에서, 제2 합성기(805)는 사용자로부터 기준 신호를 입력 받을 수 있다. 예컨대, 도 8에서 제2 합성기(805)를 통과하는 화살표는 사용자로부터 기준 신호를 입력 받는 것을 표현한다. 실시 예에서, 제2 합성기(805)는 기준 신호가 입력된 것에 상응하여 기준 신호에 따라 선택된 영역을 기준으로 후면 초광각 이미지(112)를 생성할 수 있다.

실시 예에서, 제2 합성기(805)에 의해 생성된 후면 초광각 이미지(112)는 한 장의 이미지가 아닌, 복수개의 후면 이미지(111)를 합성하여 획득된 이미지이므로, 충분히 많은 데이터를 가지고 있는 초고해상도 이미지일 수 있다.

실시 예에서, 제2 합성기(805)에 의해 생성된 후면 초광각 이미지(112)는 180도를 넘는 화각을 갖는 이미지일 수 있다.

실시 예에서, 제1 합성기(803) 및/또는 제2 합성기(805)는 초광각 이미지를 생성할 때 뉴럴 네트워크 모델을 이용할 수도 있으나, 이에 한정되는 것은 아니다.

실시 예에서, 전자 장치(100)는 제1 합성기(803) 및 제2 합성기(805)를 이용하여 획득한 전면 초광각 이미지(115) 및 후면 초광각 이미지(112)를 결합하여 360도 이미지(830)을 생성할 수 있다. 실시 예에서, 전면 초광각 이미지(115) 및 후면 초광각 이미지(112)는 각각 180도를 넘는 화각을 갖는 이미지이므로, 서로 공통되는 영역을 포함할 수 있다.

실시 예에서, 전자 장치(100)는 전면 초광각 이미지(115) 및 후면 초광각 이미지(112)에서 서로 중첩되는 공통 영역을 검색하고, 공통 영역을 매칭하여 전면 초광각 이미지(115) 및 후면 초광각 이미지(112)를 결합할 수 있다.

실시 예에서, 전자 장치(100)는 스티칭부(807)를 포함할 수 있다. 스티칭부(807)는 전면 초광각 이미지(115) 및 후면 초광각 이미지(112)를 스티칭(stiching)하여 겹치는 시야각을 가진 분할된 두 이미지를 합성하여, 넓은 화각을 가지는 파노라마 이미지 또는 360도 이미지(430)를 생성할 수 있다.

실시 예에서, 전면 초광각 이미지(115) 및 후면 초광각 이미지(112)가 결합하여 생성된 360도 이미지(430)는 충분히 많은 데이터를 가지고 있는 초고해상도 이미지일 수 있다. 따라서, 사용자가 360도 이미지(430)를 네비게이션하여 360도 이미지(430)의 일부를 줌인하거나 줌아웃하는 경우에도 화질 열화 없이 사용자가 선택한 영역에 대한 정보를 제공할 수 있다. 즉, 전자 장치(100)는 360도 이미지(430)에 대한 데이터를 충분히 가지고 있으므로, 해당 영역의 데이터 또는 해당 영역 주변 데이터를 인터폴레이션(interpolation)하거나 엑스트라폴레이션(extrapolation)하여, 줌인 영상 또는 줌 아웃 영상을 계속하여 생성하면서 사용자에게 화질 열화 없는 영상을 제공할 수 있다.

도 9는 실시 예에 따라, 전자 장치(100)가 사용자로부터 초광각 이미지를 생성할 기준 영역을 선택 받는 것을 설명하기 위한 도면이다.

도 9를 참조하면, 전자 장치(100)는 전자 장치(100)에 구비된 카메라를 이용하여 피사체를 촬영할 수 있다. 실시 예에서, 전자 장치(100)는 화면을 통해 전면 카메라(131)를 통해 보이는 전면에 위치한 피사체에 대한 전면 이미지(910)를 출력할 수 있다. 실시 예에서, 동시에, 전자 장치(100)는 후면 카메라(141)를 통해 보이는 후면에 위치한 피사체에 대한 후면 이미지(920)를 전면 이미지(910)와 함께 출력할 수 있다.

예컨대, 도 9에 도시된 바와 같이, 전자 장치(100)는 전면 카메라(131)의 카메라 렌즈를 통해 보이는 전면 이미지(910)와 후면 카메라(141)의 카메라 렌즈를 통해 보이는 후면 이미지(920)를 하나의 화면을 통해 동시에 출력할 수 있다. 여기서, 전면 이미지(910)와 후면 이미지(920)의 크기나 출력 위치는 다양하게 변형될 수 있다.

실시 예에서, 전자 장치(100)는 복수개의 후면 카메라(141) 중에 하나의 대표 카메라로 포착되는 후면 이미지(920)를 화면의 중앙에 출력할 수 있다.

실시 예에서, 전자 장치(100)는 복수개의 후면 카메라(141) 각각의 렌즈를 통해 포착되는 복수개의 후면 이미지(930)를 대표 카메라로 포착되는 후면 이미지(920)와 함께 출력할 수도 있다. 실시 예에서, 사용자는 복수개의 후면 이미지(930) 중에 하나를 선택할 수 있다. 전자 장치(100)는 사용자가 선택한 후면 이미지가 전자 장치(100)의 화면의 중앙에 출력되도록 할 수 있다.

실시 예에서, 전자 장치(100)는 사용자로부터 파노라마 이미지 내지는 360도 이미지를 생성하라는 제어 신호를 수신하면, 제어 신호에 상응하여 가이드 UI 화면(940)을 출력할 수 있다.

실시 예에서, 가이드 UI 화면(940)은 사용자에게 초광각 이미지 생성 시 기준이 되는 영역을 선택하도록 하기 위한 정보를 포함할 수 있다. 예컨대, 도 9에 도시된 바와 같이, 가이드 UI 화면(940)은 '초광각 이미지 생성을 원하는 위치를 선택하세요'와 같은 문구를 포함할 수 있다. 다만, 이는 하나의 실시 예로, 전자 장치(100)는 다양한 문구 내지 부호 등을 포함하는 가이드 화면을 출력할 수 있다. 실시 예에서, 가이드 UI 화면(940)이 출력되는 위치, 색상, 투명도 등은 다양하게 변형될 수 있다.

사용자는 가이드 UI 화면(940)이 전자 장치(100)의 화면을 통해 출력된 것에 상응하여, 기준 신호를 입력할 수 있다.

실시 예에서, 기준 신호는 초광각 이미지 생성 시 기준이 되는 영역을 선택하기 위한 신호로, 제1 기준 신호 및 제2 기준 신호 중 적어도 하나를 포함할 수 있다. 실시 예에서, 제1 기준 신호는 전면 이미지(910) 중에 전면 초광각 이미지(115) 생성에 기준이 되는 지점을 선택하기 위한 신호이고, 제2 기준 신호는 후면 이미지(920) 중에 후면 초광각 이미지(112) 생성에 기준이 되는 지점을 선택하기 위한 신호일 수 있다. 초광각 이미지 생성에 기준이 되는 지점은, 예컨대, 초광각 이미지 생성 시 중심이 되는 앵글이나 지점을 의미할 수 있다.

예컨대, 실시 예에서, 사용자는 현재 화면에 출력된 전면 이미지(910)와 후면 이미지(920) 중에 하나의 이미지에서, 초광각 이미지의 중심이 될 지점을 선택할 수 있다. 전자 장치(100)가 사용자의 손가락 터치를 인식하는 터치 패드를 포함하는 경우, 사용자는 손가락이나 터치 펜 등을 이용하여 전자 장치(100)의 화면에 출력된 전면 이미지(910) 및 후면 이미지(920) 중의 하나의 이미지에서 한 지점을 선택함으로써 기준 신호를 입력할 수 있다.

실시 예에서, 전자 장치(100)는 기준 신호가 입력된 것에 상응하여 기준 신호에 따라 선택된 영역을 기준으로 초광각 이미지를 생성할 수 있다. 예컨대, 전자 장치(100)는 사용자가 한 지점을 선택하면, 선택된 지점을 세로로 잇는 선을 기준 신호로 하여, 기준 신호를 중심 선으로 갖는 초광각 이미지를 생성할 수 있다.

예컨대, 사용자가 전면 이미지(910) 중에 한 지점, 예컨대, 제1 영역을 선택하면, 전자 장치(100)는 이를 제1 기준 신호로 입력 받고, 제1 영역을 지나는 세로선을 기준 선으로 갖는 전면 초광각 이미지(115)를 생성할 수 있다. 전자 장치(100)는 제1 영역을 지나는 세로선을 중심 선으로 갖는 전면 초광각 이미지(115)를 생성할 수 있다.

마찬가지로, 전자 장치(100)는 사용자가 후면 이미지(920) 중에 한 지점, 예컨대, 제2 영역을 선택하면, 이를 제2 기준 신호로 입력 받고, 제2 영역을 지나는 세로 선을 기준 선으로 갖는 후면 초광각 이미지(112)를 생성할 수 있다. 전자 장치(100)는 제2 영역을 지나는 세로 선을 중심 선으로 갖는 후면 초광각 이미지(112)를 생성할 수 있다.

도 10은 실시 예에 따른 전자 장치(100)의 내부 블록도를 도시한 도면이다.

도 10에 도시된 전자 장치(100)는 도 3의 전자 장치(100)의 일 예일 수 있다. 따라서, 도 10의 전자 장치(100)에 포함된 프로세서(101) 및 메모리(103)는 도 3의 전자 장치(100)에 포함된 프로세서(101) 및 메모리(103)와 수행하는 기능이 동일하므로, 중복되는 설명은 생략한다.

도 10을 참조하면, 실시 예에 따른 전자 장치(100)는 프로세서(101) 및 메모리(103) 외에 촬영부(105), 뎁쓰 센서(107) 및 사용자 입력부(109)를 더 포함할 수 있다.

실시 예에서, 촬영부(105)는 카메라를 포함할 수 있다. 실시 예에서, 촬영부(105)는 전자 장치(100)에 일체형으로 포함될 수 있다. 즉, 촬영부(105)는 전자 장치(100)의 고정된 위치에 장착되어 피사체를 촬영할 수 있다.

촬영부(105)는 카메라를 이용하여 피사체를 촬영하여 영상을 생성하고, 이를 신호 처리 할 수 있다. 촬영부(105)는 CCD나 CMOS 등의 이미지 센서(미도시) 및 렌즈(미도시)를 포함하고, 피사체를 촬영하여 화면에 맺힌 이미지를 획득할 수 있다.

실시 예에서, 촬영부(105)는 피사체를 촬영하여 하나의 프레임 또는 복수 프레임들로 된 동영상을 획득할 수 있다. 촬영부(105)는 이미지 센서에 빛으로 맺힌 피사체에 대한 정보를 전기적인 신호로 변환할 수 있다. 또한, 촬영부(105)는 촬영한 영상에 대해 AE(Auto Exposure), AWB(Auto White Balance), Color recovery, correction, Sharpening, Gamma, Lens shading correction 중 하나 이상의 신호 처리를 수행할 수 있다.

실시 예에서, 촬영부(105)에는 복수개의 카메라가 포함될 수 있다. 실시 예에서, 촬영부(105)는 하나 이상의 전면 카메라(131)와 복수개의 후면 카메라(141)를 포함할 수 있다. 실시 예에서, 전면 카메라(131)는 표준 카메라일 수 있으나, 이에 한정되는 것은 아니고, 전면 카메라(131)는 광각 카메라일 수도 있다.

실시 예에서, 후면 카메라(141)는 접사 카메라, 심도 카메라, 표준 카메라, 광각 카메라, 망원 카메라, 뎁쓰 카메라 중 적어도 두 개 이상일 수 있다.

실시 예에 따른 뎁쓰 센서(107)는 피사체를 향해 방사한 빛이 피사체로부터 반사되어 되돌아오는 시간을 이용하여 카메라와 피사체 간의 거리를 계산하고, 피사체가 위치한 공간에 대한 정보 등을 획득할 수 있다. 실시 예에서, 뎁쓰 센서(107)가 3차원 뎁쓰를 인식하는 방법은 스테레오 타입, ToF(Time-Of-Flight) 방식, Structured Pattern 방식 중 하나의 방식일 수 있다.

도 10에서는 뎁쓰 센서(107)가 촬영부(105)와 분리된 모듈 내지 블록으로 전자 장치(100)에 포함된 경우를 개시하나, 이에 한정되는 것은 아니고, 뎁쓰 센서(107)는 촬영부(105)에 포함될 수 있다. 예컨대, 뎁쓰 센서(107)는 카메라 중에 뎁쓰 기능을 갖는 카메라에 포함되어, 피사체에 대한 이미지가 획득될 때 피사체에 대한 거리를 획득할 수 있다.

실시 예에서, 사용자 입력부(109)는, 전자 장치(100)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(109)는 사용자의 터치를 감지하는 터치 패널, 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 사용자의 푸시 조작을 수신하는 버튼, 사용자의 회전 조작을 수신하는 조그 휠, 조그 스위치, 키보드(key board), 키 패드(key pad), 및 돔 스위치 (dome switch), 음성 인식을 위한 마이크, 모션을 센싱하는 모션 감지 센서 등을 포함하는 다양한 형태의 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다. 또한, 전자 장치(100)가 원격 제어 장치(remote controller)(미도시)에 의해서 조작되는 경우, 사용자 입력부(109)는 원격 제어 장치로부터 수신되는 제어 신호를 수신할 수도 있다.

실시 예에서, 사용자 입력부(109)는 사용자로부터 제어 신호를 입력 받을 수 있다. 사용자는 사용자 입력부(109)를 이용하여 파노라마 이미지 내지는 360도 이미지를 생성하라는 제어 신호를 입력할 수 있다. 또한, 사용자는 전자 장치(100)의 화면에 출력된 이미지 중에 한 지점을 선택함으로써 초광각 이미지 생성에 기준이 되는 영역을 선택하는 기준 신호를 입력할 수 있다.

도 11은 실시 예에 따른, 전자 장치(100)의 내부 블록도이다.

도 11의 전자 장치(100)는 도 10의 전자 장치(100)의 구성 요소를 포함할 수 있다.

도 11를 참조하면, 전자 장치(100)는 프로세서(101), 메모리(103), 촬영부(105), 사용자 입력부(109) 외에, 출력부(1120), 센싱부(1130), 통신부(1140), 및 A/V 입력부(1150)를 더 포함할 수 있다.

실시 예에 따른 출력부(1120)는 오디오 신호, 비디오 신호, 및 진동 신호 중 적어도 하나를 출력할 수 있다. 실시 예에서, 출력부(1120)는 디스플레이부(1121), 음향 출력부(1122), 및 진동 모터(1123)를 포함할 수 있다.

실시 예에서, 디스플레이부(1121)는 촬영부(105)로부터 획득되어 처리된 이미지를 출력할 수 있다.

실시 예에서, 디스플레이부(1121)는 전면 카메라(131) 및 후면 카메라(141) 중 적어도 하나를 통해 포착된, 피사체에 대한 이미지를 출력할 수 있다.

실시 예에서, 디스플레이부(1121)는 사용자에게 초광각 이미지 생성 시 기준이 되는 영역을 선택하도록 하기 위한 정보인, 가이드 UI 화면을 출력할 수 있다.

또는 디스플레이부(1121)는 방송국으로부터 수신하거나 외부 서버, 또는 외부 저장 매체 등으로부터 수신한 콘텐츠 등을 화면에 출력할 수도 있다. 콘텐츠는 미디어 신호로, 비디오 신호, 이미지, 텍스트 신호 등을 포함할 수 있다.

실시 예에서, 전자 장치(100)는 디스플레이부(1121)에 의해 표시될 영상 데이터를 처리하며, 영상 데이터에 대한 디코딩, 렌더링, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 및 해상도 변환 등과 같은 다양한 영상 처리 동작을 수행할 수 있다. 실시 예에서, 디스플레이부(1121)는 전자 장치(100)가 처리한 이미지 데이터를 출력할 수 있다.

실시 예에 따른 음향 출력부(1122)는 통신부(1140)로부터 수신되거나 메모리(103)에 저장된 오디오 데이터를 출력할 수 있다. 또한, 음향 출력부(1122)는 전자 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력할 수 있다. 음향 출력부(1122)에는 스피커(speaker), 헤드폰 연결 단자, 버저(Buzzer) 등이 포함될 수 있다.

실시 예에서, 진동 모터(1123)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(1123)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1123)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.

실시 예에서, 센싱부(1130)는, 전자 장치(100)의 상태 또는 전자 장치(100) 주변의 상태를 감지하고, 감지된 정보를 통신부(1140) 또는 프로세서(101)로 전달할 수 있다.

실시 예에 따른 센싱부(1130)는, 뎁쓰 센서(107)를 포함할 수 있다. 뎁쓰 센서(107)는 피사체까지의 거리를 센싱할 수 있다.

센싱부(1130)는, 뎁쓰 센서(107) 외에, 지자기 센서(Magnetic sensor)(1131), 가속도 센서(Acceleration sensor)(1132), 온/습도 센서(1133), 적외선 센서(1134), 자이로스코프 센서(1135), 위치 센서(예컨대, GPS)(1136), 기압 센서(1137), 근접 센서(1138), 및 조도 센서(1139) 중 적어도 하나를 더 포함할 수 있으나, 이에 한정되는 것은 아니다.

실시 예에 따른 통신부(1140)는, 다른 디바이스와의 통신을 수행하기 위한 구성 요소를 포함할 수 있다. 예를 들어, 통신부(1140)는, 근거리 통신부(1141), 이동 통신부(1142), 및 방송 수신부(1143)를 포함할 수 있다.

실시 예에서, 근거리 통신부(short-range wireless communication unit)(1141)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

실시 예에서, BLE 통신부는 상시, 또는 주기적으로, 또는 랜덤한 시간 간격으로, 또는 기 설정된 시점 마다 BLE 신호를 주변에 송신할 수 있다.

실시 예에서, 이동 통신부(1142)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

실시 예에서, 방송 수신부(1143)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(100)가 방송 수신부(1143)를 포함하지 않을 수도 있다.

실시 예에 따른, A/V(Audio/Video) 입력부(1150)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, A/V 입력부(1150)에는 촬영부(105)와 마이크로폰(1152) 등이 포함될 수 있다.

실시 예에서, 촬영부(105)는 카메라를 포함할 수 있다. 카메라는 화상 통화 모드 또는 촬영 모드에서 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 획득할 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(101) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.

카메라에서 처리된 화상 프레임은 메모리(103)에 저장되거나 통신부(1140)를 통하여 외부로 전송될 수 있다. 카메라(1151)는 단말기의 구성 태양에 따라 전면에 하나 이상 및 후면에 복수개가 구비될 수 있다.

마이크로폰(1152)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1152)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1152)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.

도 12는 실시 예에 따라, 복수개의 전자 장치를 이용하여 획득한 이미지에 기반하여 360도 이미지를 생성하는 것을 설명하는 도면이다.

실시 예에서, 복수개의 전자 장치는 카메라를 포함하는 기기로, 예컨대 휴대폰일 수 있다.

실시 예에서, 복수개의 전자 장치 각각은 전면 및 후면에 카메라가 구비되어 있을 수 있다. 복수개의 전자 장치는 전자 장치의 전면 및 후면에 각각 구비된 카메라를 이용하여, 전자 장치 전면 및 후면을 촬영하여 전면 이미지 및 후면 이미지를 획득할 수 있다.

실시 예에서, 복수개의 전자 장치는 전면 및 후면에 뎁쓰 센서를 더 포함할 수 있다. 뎁쓰 센서는 카메라에 포함된 형태일 수도 있고, 또는 카메라와 분리된 별개의 센서로 전자 장치에 포함될 수 있다.

실시 예에서, 복수개의 전자 장치는 서로 다른 방향을 향하도록 배치될 수 있다. 실시 예에서, 복수개의 전자 장치는 서로 동일하지 않은 방향이나 뷰(view)를 향하도록 배치될 수 있다.

예컨대, 복수개의 전자 장치는 정확히 일정한 각도의 간격으로 전면 및 후면을 향하도록 배치될 수도 있으나, 이에 한정되는 것은 아니다.

실시 예에서, 전면 및 후면 이미지를 획득하는 전자 장치는 N개(N은 2 이상의 자연수)일 수 있으며, N개의 전자 장치가 각각 전면 및 후면 이미지를 획득할 수 있다.

도 12를 참조하면, 복수개의 전자 장치는 각각 1번 휴대폰(1211) 및 2번 휴대폰(1213)일 수 있다. 실시 예에서, 1번 휴대폰(1211) 및 2번 휴대폰(1213)은 동일 시점에 각각 전면 이미지 및 복수개의 후면 이미지를 획득할 수 있다.

실시 예에서, 1번 휴대폰(1211)의 전면과 2번 휴대폰(1213)의 전면은 90도 간격의 방향을 향하도록 배치될 수 있다. 예컨대, 1번 휴대폰(1211)의 전면이 동쪽을 향하고, 1번 휴대폰(1211)의 후면이 서쪽을 향하도록 배치되고, 2번 휴대폰(1213)의 전면이 남쪽을 향하고, 2번 휴대폰(1213)의 후면이 북쪽을 향하도록 배치될 수 있다.

실시 예에서, 1번 휴대폰(1211)은 전면 카메라를 이용하여 동쪽 방향에 위치한 피사체에 대한 전면 이미지를 획득하고, 후면 카메라를 이용하여 서쪽 방향에 위치한 피사체에 대한 후면 이미지를 획득할 수 있다. 1번 휴대폰(1211)에 복수개의 후면 카메라가 장착된 경우, 1번 휴대폰(1211)은 복수개의 후면 카메라를 이용하여 서쪽 방향에 위치한 피사체에 대해 복수개의 후면 이미지를 획득할 수 있다.

마찬가지로, 2번 휴대폰(1213)은 전면 카메라를 이용하여 남쪽 방향에 위치한 피사체에 대한 전면 이미지를 획득하고, 후면 카메라를 이용하여 북쪽 방향에 위치한 피사체에 대한 후면 이미지를 획득할 수 있다. 2번 휴대폰(1213)에 복수개의 후면 카메라가 장착된 경우, 2번 휴대폰(1213)은 복수개의 후면 카메라를 이용하여 북쪽 방향에 위치한 피사체에 대해 복수개의 후면 이미지를 획득할 수 있다.

다만, 이는 하나의 실시 예로, 1번 휴대폰(1211)의 전면과 2번 휴대폰(1213)의 전면이 반드시 90도 간격을 유지하도록 배치될 필요는 없으며, 실시 예에서, 1번 휴대폰(1211)의 전면과 후면, 2번 휴대폰(1213)의 전면과 후면이 각각 서로 다른 방향을 향하도록 배치되면 족하다.

실시 예에서, 1번 휴대폰(1211) 및 2번 휴대폰(1213)은 동일 시점에 획득한 전면 이미지 및 복수개의 후면 이미지를 통신망(1220)을 통해 서버(1230)로 전송할 수 있다. 또한, 실시 예에서, 1번 휴대폰(1211) 및 2번 휴대폰(1213)은 동일 시점에 획득한 전면 피사체에 대한 뎁쓰 정보, 및 후면 피사체에 대한 뎁쓰 정보를 통신망(1220)을 통해 서버(1230)로 전송할 수 있다

실시 예에서, 서버(1230)는 통신망(1220)을 통해 1번 휴대폰(1211) 및 2번 휴대폰(1213)으로부터 각각의 전면 및 후면 이미지, 전면 및 후면 뎁쓰 정보를 수신할 수 있다.

실시 예에서, 서버(1230)는 뉴럴 네트워크를 포함할 수 있다. 서버(1230)에 포함된 뉴럴 네트워크는 전면 학습 이미지 및 복수개의 후면 학습 이미지로부터 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지 특성을 갖는 복수개의 전면 학습 이미지를 생성하도록 훈련된 뉴럴 네트워크일 수 있다.

실시 예에서, 서버(1230)에 포함된 뉴럴 네트워크는 복수개의 전자 장치 별로, 예컨대, 복수개의 전자 장치 각각의 모델 별로, 각 모델 별 학습 데이터를 이용하여 학습한 뉴럴 네트워크일 수 있다. 즉, 실시 예에서, 서버(1230)에 포함된 뉴럴 네트워크는 복수개의 전자 장치들의 모델 별 카메라 특성 및 카메라로 획득되는 이미지 특성을 미리 학습한 뉴럴 네트워크일 수 있다.

실시 예에서, 서버(1230)에 포함된 뉴럴 네트워크는 1번 휴대폰(1211)의 모델 사양에 맞는 전면 학습 이미지 및 복수개의 후면 학습 이미지로부터 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지 특성을 갖는 복수개의 전면 학습 이미지를 생성하도록 훈련된 학습 모델일 수 있다. 또한, 서버(1230)에 포함된 뉴럴 네트워크는 2번 휴대폰(1213)의 모델 사양에 맞는 전면 학습 이미지 및 복수개의 후면 학습 이미지로부터 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지 특성을 갖는 복수개의 전면 학습 이미지를 생성하도록 훈련된 학습 모델일 수 있다.

실시 예에서, 서버(1230)는 뉴럴 네트워크를 이용하여, 1번 휴대폰(1211)로부터 전면 이미지 및 복수개의 후면 이미지를 수신한 것에 상응하여, 1번 휴대폰(1211)로부터 수신한 전면 이미지로부터 1번 휴대폰(1211)의 후면에 구비된 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지 특성을 갖는 복수개의 전면 이미지를 획득할 수 있다.

실시 예에서, 1번 휴대폰(1211)이 후면 카메라로 광각 카메라 및 망원 카메라를 포함하는, 경우, 서버(1230)는 전면 이미지로부터, 후면 카메라 중 광각 카메라로 획득되는 광각 이미지 특성을 갖는 이미지, 및 망원 카메라로 획득되는 망원 이미지 특성을 갖는 이미지를 각각 획득할 수 있다.

실시 예에서, 전면 이미지로부터 획득된, 광각 이미지 특성을 갖는 이미지는 전면 이미지보다 화각의 범위가 더 크고 피사체와의 거리가 더 멀어보이는 이미지일 수 있다. 또한, 광각 이미지 특성을 갖는 이미지는 피사체까지의 거리가 후면에 배치된 뎁쓰 센서, 또는 후면 카메라 중 광각 카메라에 포함된 뎁쓰 센서에 의해 측정된 피사체까지의 거리를 유지하는 이미지일 수 있다. 또한, 전면 이미지로부터 생성된 광각 이미지 특성을 갖는 이미지는 전면에 위치한 전면 카메라와 후면에 위치한 광각 카메라 간의 서로 다른 위치 차이가 고려된, 마치 후면에 위치한 광각 카메라 위치에서 촬영된 것과 같은 뷰(view)를 갖는 이미지일 수 있다.

실시 예에서, 전면 이미지로부터 획득된, 망원 이미지 특성을 갖는 이미지는 전면 이미지보다 화각의 범위가 더 작고 피사체와의 거리가 더 가까워 보이는 이미지일 수 있다. 또한, 망원 이미지 특성을 갖는 이미지는 피사체까지의 거리가 후면에 배치된 뎁쓰 센서, 또는 후면 카메라 중 망원 카메라에 포함된 뎁쓰 센서에 의해 측정된 피사체까지의 거리를 유지하는 이미지일 수 있다. 또한, 전면 이미지로부터 생성된 망원 이미지 특성을 갖는 이미지는 전면에 위치한 전면 카메라와 후면에 위치한 망원 카메라 간의 서로 다른 위치 차이가 고려된, 마치 후면에 위치한 망원 카메라 위치에서 촬영된 것과 같은 뷰(view)를 갖는 이미지일 수 있다.

실시 예에서, 전면 이미지로부터 생성된 후면 카메라로 획득된 후면 이미지 특성을 갖는 복수개의 이미지는 복수개의 후면 카메라들 간의 지오메트리 관계를 유지하는 이미지일 수 있다. 즉, 전면 이미지로부터 생성된 복수개의 이미지 간의 화각 관계, 이미지에 포함된 피사체의 크기 관계 및 위치 관계 중 적어도 하나는, 복수개의 후면 카메라들로 획득된 이미지들 간의 화각 관계, 이미지에 포함된 피사체의 크기 관계 및 위치 관계 중 적어도 하나와 동일할 수 있다.

실시 예에서, 서버(1230)는 1번 휴대폰(1211)의 전면 이미지로부터 획득한 후면 카메라로 획득되는 후면 이미지 특성을 갖는 복수개의 전면 이미지를 합성하여 제1 전면 초광각 이미지를 획득할 수 있다.

실시 예에서, 서버(1230)는 1번 휴대폰(1211)로부터 수신한 복수개의 후면 이미지를 합성하여 제1 후면 초광각 이미지를 획득할 수 있다.

마찬가지로, 서버(1230)는 뉴럴 네트워크를 이용하여, 2번 휴대폰(1213)로부터 수신한 전면 이미지로부터 2번 휴대폰(1213)의 후면에 구비된 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지 특성을 갖는 복수개의 전면 이미지를 획득할 수 있다.

실시 예에서, 서버(1230)는 2번 휴대폰(1213)의 전면 이미지로부터 획득한 후면 카메라로 획득되는 후면 이미지 특성을 갖는 복수개의 전면 이미지를 합성하여 제2 전면 초광각 이미지를 획득할 수 있다.

실시 예에서, 서버(1230)는 2번 휴대폰(1213)로부터 수신한 복수개의 후면 이미지를 합성하여 제2 후면 초광각 이미지를 획득할 수 있다.

실시 예에서, 서버(1230)는 제1 전면 초광각 이미지, 제2 전면 초광각 이미지, 제1 후면 초광각 이미지, 및 제2 후면 초광각 이미지를 함께 합성할 수 있다.

실시 예에서, 서버(1230)는 제1 전면 초광각 이미지, 제2 전면 초광각 이미지, 제1 후면 초광각 이미지, 및 제2 후면 초광각 이미지로부터 공통되는 영역의 특징점을 검출하고, 검출된 특징점을 매칭시켜 이미지를 결합함으로써 파노라마 이미지 내지는 360도 이미지를 획득할 수 있다.

이와 같이, 실시 예에 의하면, 서버(1230)는 하나의 카메라를 이용하여 획득한 이미지를 기반으로 360도 이미지를 생성할 수도 있고, 또는 복수개의 카메라를 이용하여 획득한 복수개의 이미지를 기반으로 파노라마 이미지 내지는 360도 이미지를 생성할 수도 있다. 카메라 수가 많아질수록, 카메라를 이용하여 획득한 이미지 또한 많아지므로 고해상도의 높은 품질을 갖는 파노라마 이미지 내지는 360도 이미지가 생성될 수 있다.

도 13은 실시 예에 따라 뉴럴 네트워크가 트레이닝하는 것을 설명한 순서도이다.

도 13을 참조하면, 실시 예에 따른 뉴럴 네트워크는 전면 카메라로 획득한 전면 이미지 및 전면 뎁쓰 센서로 획득한 전면 거리 정보, 복수개의 후면 카메라로 획득한 후면 이미지 및 후면 뎁쓰 센서로 획득한 후면 거리 정보를 학습 데이터로 입력 받을 수 있다.

실시 예에 따른 뉴럴 네트워크는 복수의 후면 학습 이미지로부터 후면 카메라로 획득되는 후면 이미지 특성을 획득하도록 훈련될 수 있다(단계 1310).

보다 구체적으로, 실시 예에 따른 뉴럴 네트워크는 복수개의 후면 학습 이미지를 분석 및 분류하기 위한 연산을 수행하여 후면 학습 이미지의 특징을 획득하도록 훈련될 수 있다.

실시 예에서, 후면 학습 이미지의 특징은 후면 카메라로 획득되는 후면 이미지 특성일 수 있다.

실시 예에서, 후면 카메라로 획득되는 후면 이미지 특성은 카메라 렌즈 특성 및 지오메트리 특성 중 적어도 하나를 포함할 수 있다.

실시 예에서, 카메라 렌즈 특성은 해상도, 광학 배율, 조리개, 화각, 픽셀 피치, 다이나믹 레인지, 및 뎁쓰 중 적어도 하나의 특성을 포함할 수 있다.

실시 예에서, 뉴럴 네트워크는 복수개의 후면 학습 이미지 각각으로부터 카메라 렌즈 특성을 획득하도록 훈련될 수 있다.

실시 예에서, 지오메트리 특성은 복수개의 후면 카메라로 획득된 복수개의 후면 이미지 간의 화각 관계, 크기 관계 및 위치 관계 중 적어도 하나에 대한 특성을 포함할 수 있다. 실시 예에서, 뉴럴 네트워크는 복수개의 후면 학습 이미지 간의 관계로부터 지오메트리 특성을 획득하도록 훈련될 수 있다.

실시 예에서, 뉴럴 네트워크는 복수개의 학습 이미지를 이용하여 훈련되어, 뉴럴 네트워크를 형성하는 복수개의 노드(node)들 간의 연결 강도를 의미하는 가중치(weight)의 값이 설정되도록 할 수 있다.

실시 예에서, 뉴럴 네트워크는 후면 카메라로 획득되는 후면 이미지 특성에 기반하여 전면 학습 이미지로부터 후면 이미지 특성을 갖는 복수의 전면 학습 이미지를 획득하도록 훈련될 수 있다(단계 1320).

실시 예에서, 뉴럴 네트워크는 인코더-디코더 모델일 수 있으나, 이에 한정되는 것은 아니다.

실시 예에서, 뉴럴 네트워크가 생성한 복수개의 학습 이미지는 비교기(Discriminator)를 통해 GT(Ground Truth, 그라운드 트루쓰) 이미지와 비교될 수 있다. 그라운트 트루쓰 이미지는 전면을 복수개의 후면 카메라로 촬영하여 획득한 이미지일 수 있다.

실시 예에서, 뉴럴 네트워크는 복수개의 전면 학습 이미지와 GT 이미지 간의 차이가 최소가 되도록 반복하여 훈련될 수 있다(단계 1330).

실시 예에서, 뉴럴 네트워크의 가중치 값은 반복적인 학습을 통하여 최적화될 수 있으며, 결과의 정확도가 소정의 신뢰도를 만족할 때까지 반복적으로 수정될 수 있다.

도 14는 실시 예에 따라, 360도 이미지를 생성하는 방법을 도시한 순서도이다.

실시 예에서, 전자 장치(100)는 제1 전면 이미지(110)를 획득할 수 있다.

실시 예에서, 전자 장치(100)는 전자 장치(100)에 구비된 전면 카메라(131)를 이용하여 전면을 촬영하여 제1 전면 이미지(110)를 획득할 수 있다.

실시 예에서, 전자 장치(100)는 제1 전면 이미지(110)로부터 후면 카메라로 획득되는 후면 이미지 특성을 갖는 복수개의 제2 전면 이미지(113)를 획득할 수 있다(단계 1410).

실시 예에서, 후면 카메라로 획득되는 후면 이미지 특성은 전자 장치(100)의 후면에 장착된 복수개의 후면 카메라로 획득되는 후면 이미지 특성일 수 있다.

실시 예에서, 전자 장치(100)는 뉴럴 네트워크를 이용하여 제1 전면 이미지(110)로부터 복수개의 제2 전면 이미지(113)를 획득할 수 있다.

실시 예에서, 뉴럴 네트워크는 한 장의 전면 학습 이미지 및 복수개의 후면 학습 이미지로부터 복수개의 후면 카메라로 획득되는 복수개의 후면 이미지 특성을 갖는 복수개의 전면 학습 이미지를 생성하도록 훈련된 학습 모델일 수 있다.

실시 예에서, 뉴럴 네트워크는 전면을 복수개의 후면 카메라로 촬영하여 획득한 복수개의 그라운드 트루쓰 이미지와, 복수개의 전면 학습 이미지 간의 차이가 최소가 되도록 훈련된 학습 모델일 수 있다.

실시 예에서, 전자 장치(100)는 복수의 제2 전면 이미지(113)를 합성하여 전면 초광각 이미지(115)를 획득할 수 있다(단계 1420).

실시 예에서, 전자 장치(100)는 복수개의 제2 전면 이미지(113) 간에 특징점을 검출하고, 검출된 특징점을 정합하여 복수개의 제2 전면 이미지(113)를 합성할 수 있다.

실시 예에서, 전자 장치(100)는 전자 장치(100)에 구비된 복수개의 후면 카메라(141)를 이용하여 후면을 촬영하여 복수개의 후면 이미지(111)를 획득할 수 있다.

실시 예에서, 전자 장치(100)는 복수개의 후면 이미지(111)를 합성하여 후면 초광각 이미지(112)를 획득할 수 있다(단계 1430).

실시 예에서, 전자 장치(100)는 전면 초광각 이미지(115) 및 후면 초광각 이미지(112)를 이용하여 360도 이미지를 생성할 수 있다(단계 1440).

실시 예에서, 전자 장치(100)는 전면 초광각 이미지(115)와 후면 초광각 이미지(112) 간에 특징점을 검출하고, 검출된 특징점을 이용하여 전면 초광각 이미지(115)와 후면 초광각 이미지(112)를 결합할 수 있다.

일부 실시 예에 따른 전자 장치의 동작 방법 및 장치는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

또한, 전술한 본 개시의 실시 예에 따른 전자 장치 및 그 동작 방법은 전면 카메라로 획득한 제1 전면 이미지로부터, 복수개의 제2 전면 이미지를 획득하는 단계, 상기 복수개의 제2 전면 이미지를 합성하여 전면 초광각 이미지를 획득하는 단계, 복수개의 후면 이미지를 합성하여 후면 초광각 이미지를 획득하는 단계 및 상기 전면 초광각 이미지 및 상기 후면 초광각 이미지를 합성하여 360도 이미지를 생성하는 단계를 포함하는, 전자 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체/저장 매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.

기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims

전자 장치(100)에 있어서,
하나 이상의 인스트럭션을 저장하는 메모리(103); 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서(101)를 포함하고,
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
전면 카메라(131)로 획득한 제1 전면 이미지로부터, 복수개의 제2 전면 이미지를 획득하고,
상기 복수개의 제2 전면 이미지를 합성하여 전면 초광각 이미지를 획득하고,
복수개의 후면 이미지를 합성하여 후면 초광각 이미지를 획득하고,
상기 전면 초광각 이미지 및 상기 후면 초광각 이미지를 합성하여 360도 이미지를 생성하는, 전자 장치.
제1 항에 있어서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
뉴럴 네트워크를 이용하여, 상기 제1 전면 이미지로부터 상기 복수개의 제2 전면 이미지를 획득하고,
상기 복수개의 제2 전면 이미지는 복수개의 후면 카메라로 획득되는 후면 이미지의 특성을 갖는 이미지이고,상기 뉴럴 네트워크는 한 장의 전면 학습 이미지 및 복수개의 후면 학습 이미지로부터, 복수개의 후면 카메라로 획득되는 후면 학습 이미지의 특성을 갖는 복수개의 전면 학습 이미지를 생성하도록 훈련된 학습 모델인, 전자 장치.
제2 항에 있어서, 상기 뉴럴 네트워크는 전면을 복수개의 후면 카메라로 촬영하여 획득한 복수개의 그라운드 트루쓰 이미지와, 상기 복수개의 전면 학습 이미지 간의 차이가 최소가 되도록 훈련된 학습 모델인, 전자 장치.
제2 항 또는 제3 항에 있어서, 상기 복수개의 후면 카메라로 획득되는 후면 이미지의 특성은 카메라 렌즈 특성 및 지오메트리 특성 중 적어도 하나를 포함하는, 전자 장치.
제4 항에 있어서, 상기 카메라 렌즈 특성은 해상도, 광학 배율, 조리개, 화각, 픽셀 피치, 다이나믹 레인지, 및 뎁쓰 중 적어도 하나의 특성을 포함하는, 전자 장치의 동작 방법.
제4 항에 있어서, 상기 지오메트리 특성은 상기 복수개의 후면 카메라로 획득되는 후면 이미지 간의 화각 관계, 크기 관계 및 위치 관계 중 적어도 하나에 대한 특성을 포함하는, 전자 장치.
제1 항 내지 제6 항 중 어느 한 항에 있어서, 상기 복수개의 후면 이미지는 표준 이미지, 광각 이미지, 및 망원 이미지 중 적어도 두 개를 포함하는, 전자 장치.
제1 항 내지 제7 항 중 어느 한 항에 있어서, 사용자 입력부(109)를 더 포함하고,
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 사용자 입력부를 통해 제1 기준 신호 및 제2 기준 신호 중 적어도 하나를 입력 받고,
상기 제1 기준 신호를 입력 받으면, 상기 제1 기준 신호에 따라 선택된 제1 영역을 기준으로 상기 전면 초광각 이미지를 생성하고,
상기 제2 기준 신호를 입력 받으면, 상기 제2 기준 신호에 따라 선택된 제2 영역을 기준으로 상기 후면 초광각 이미지를 생성하는, 전자 장치.
제1 항 내지 제8 항 중 어느 한 항에 있어서, 상기 전면 카메라, 및 상기 복수개의 후면 이미지를 획득하는 복수개의 후면 카메라(141)를 포함하는 촬영부(105)를 더 포함하는, 전자 장치.
제1 항 내지 제8 항 중 어느 한 항에 있어서, 통신부(1140)를 더 포함하고,
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 통신부를 통해, 제1 사용자 단말기로부터 상기 제1 전면 이미지 및 상기 복수개의 후면 이미지를 수신하고, 상기 제1 사용자 단말기로 상기 360도 이미지를 전송하는, 전자 장치.
전자 장치의 동작 방법에 있어서,
전면 카메라로 획득한 제1 전면 이미지로부터, 복수개의 제2 전면 이미지를 획득하는 단계;
상기 복수개의 제2 전면 이미지를 합성하여 전면 초광각 이미지를 획득하는 단계;
복수개의 후면 이미지를 합성하여 후면 초광각 이미지를 획득하는 단계; 및
상기 전면 초광각 이미지 및 상기 후면 초광각 이미지를 합성하여 360도 이미지를 생성하는 단계를 포함하는, 전자 장치의 동작 방법.
제11 항에 있어서, 상기 복수개의 제2 전면 이미지를 획득하는 단계는 뉴럴 네트워크를 이용하여 상기 제1 전면 이미지로부터 상기 복수개의 제2 전면 이미지를 획득하는 단계를 포함하고,
상기 복수개의 제2 전면 이미지는 복수개의 후면 카메라로 획득되는 후면 이미지의 특성을 갖는 이미지이고,
상기 뉴럴 네트워크는 한 장의 전면 학습 이미지 및 복수개의 후면 학습 이미지로부터, 복수개의 후면 카메라로 획득되는 후면 학습 이미지의 특성을 갖는 복수개의 전면 학습 이미지를 생성하도록 훈련된 학습 모델인, 전자 장치의 동작 방법.
제12 항에 있어서, 상기 뉴럴 네트워크는 전면을 복수개의 후면 카메라로 촬영하여 획득한 복수개의 그라운드 트루쓰 이미지와, 상기 복수개의 전면 학습 이미지 간의 차이가 최소가 되도록 훈련된 학습 모델인, 전자 장치의 동작 방법.
제12 항 또는 제13 항에 있어서, 상기 복수개의 후면 카메라로 획득되는 후면 이미지의 특성은 카메라 렌즈 특성 및 지오메트리특성 중 적어도 하나를 포함하는, 전자 장치의 동작 방법.
제14 항에 있어서, 상기 카메라 렌즈 특성은 해상도, 광학 배율, 조리개, 화각, 픽셀 피치, 다이나믹 레인지, 및 뎁쓰 중 적어도 하나의 특성을 포함하는, 전자 장치의 동작 방법.
제14 항 또는 제15항에 있어서, 상기 지오메트리 특성은 상기 복수개의 후면 카메라로 획득되는 후면 이미지 간의 화각 관계, 크기 관계 및 위치 관계 중 적어도 하나에 대한 특성을 포함하는, 전자 장치의 동작 방법.
제11 항 내지 제16 항 중 어느 한 항에 있어서, 상기 복수개의 후면 이미지는 표준 이미지, 광각 이미지, 및 망원 이미지 중 적어도 두 개를 포함하는, 전자 장치의 동작 방법.
제11 항 내지 제17 항 중 어느 한 항에 있어서, 제1 기준 신호 및 제2 기준 신호 중 적어도 하나를 수신하는 단계를 더 포함하고,
상기 전면 초광각 이미지를 획득하는 단계는 상기 제1 기준 신호를 입력 받으면 상기 제1 기준 신호에 따라 선택된 제1 영역을 기준으로 상기 전면 초광각 이미지를 생성하는 단계를 포함하고,
상기 후면 초광각 이미지를 획득하는 단계는 상기 제2 기준 신호를 입력 받으면 상기 제2 기준 신호에 따라 선택된 제2 영역을 기준으로 상기 후면 초광각 이미지를 생성하는 단계를 포함하는, 전자 장치의 동작 방법.
제11 항 내지 제18 항 중 어느 한 항에 있어서, 상기 전자 장치는 상기 전면 카메라, 및 상기 복수개의 후면 이미지를 획득하는 복수개의 후면 카메라를 포함하고,
상기 방법은 상기 전면 카메라로 상기 제1 전면 이미지를 획득하는 단계; 및
상기 복수개의 후면 카메라로 상기 복수개의 후면 이미지를 획득하는 단계를 더 포함하는, 전자 장치의 동작 방법.
제11 항 내지 제19 항 중 어느 한 항의 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.