KR102073674B1 - 전자장치 및 그 제어방법 - Google Patents

Abstract

상기 목적은, 본 발명에 따라, 전자장치에 있어서, 스크린을 구비한 디스플레이장치와 통신할 수 있는 통신부와; 전방의 캡쳐영상을 획득할 수 있는 영상획득부와; 디스플레이부와; 캡쳐영상 중 스크린의 영역을 식별하고, 캡쳐영상 중 식별된 스크린의 영역 바깥쪽에 해당하는 배경영역으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출하고, 추출된 복수의 패치이미지에 기초하여 스크린에 표시될 스크린영상을 생성하고, 생성된 스크린영상을 통신부를 통해 디스플레이장치로 전송하도록 하는 프로세서를 포함한다.

Description

전자장치 및 그 제어방법 {ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF}

본 발명은 전자장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 주변 배경과 유사한 이미지를 스크린에 표시하기 위한 전자장치 및 그 제어방법에 관한 것이다.

최근 디스플레이장치의 기술이 발전함에 따라, 영상을 시청함에 있어 초대형 스크린 및 고해상도의 화질을 제공할 수 있게 되었다.

이와 함께, 영상을 시청하지 않는 동안에는 흑백 스크린 대신 주변 배경과 융화되도록 하는 화면을 제공하고자 하는 시도가 이루어지고 있다.

종래기술로서, 스크린을 벽면에 부착하기 이전에 벽면을 촬영하거나, TV의 절반에 해당하는 크기의 벽을 촬영하여 복제하는 방식으로, 스크린에 표시될 이미지를 얻을 수 있었다.

그러나, 이러한 방식의 경우 스크린을 부착하기 전에 벽면 상의 스크린의 위치를 측정하거나, 스크린 크기의 절반 이상에 해당하는 벽면을 촬영하는 등 사용자의 많은 노력을 필요로 한다.

또한, 실제 환경에서 사용자가 모바일 기기를 이용하여 스크린 크기의 절반 이상에 해당하는 벽면 이미지를 획득하기 어려운 점이 있다.

한편, 벽면 촬영에 의해 얻은 이미지를 그대로 스크린에 적용하는 경우 스크린과 벽면 간 밝기 및 채도 차이가 발생하므로, 이러한 차이를 보정하기 위해 모바일 기기 상에서 사용자의 추가 조작이 요구된다.

따라서, 본 발명의 목적은, 모바일 기기에 있어, TV 스크린 주변의 최소한의 배경 이미지만을 이용하여 주변 배경과 유사한 화면을 TV로 제공하기 위한 전자장치 및 그 제어방법을 제공하는 것이다.

또한, 본 발명의 또 다른 목적은, 모바일 기기에 있어, 사용자의 최소 조작만으로 TV 스크린의 주변 배경과 유사한 화면을 TV로 제공하기 위한 전자장치 및 그 제어방법을 제공하는 것이다.

상기 목적은, 본 발명에 따라, 전자장치에 있어서, 스크린을 구비한 디스플레이장치와 통신할 수 있는 통신부와; 전방의 캡쳐영상을 획득할 수 있는 영상획득부와; 디스플레이부와; 캡쳐영상 중 스크린의 영역을 식별하고, 캡쳐영상 중 식별된 스크린의 영역 바깥쪽에 해당하는 배경영역으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출하고, 추출된 복수의 패치이미지에 기초하여 스크린에 표시될 스크린영상을 생성하고, 생성된 스크린영상을 통신부를 통해 디스플레이장치로 전송하도록 하는 프로세서를 포함하는 전자장치에 의해 달성될 수 있다.

이와 같은 본 발명의 실시예에 따라, 모바일 기기 등에서, TV 스크린 주변의 최소한의 배경 이미지만을 이용하여 주변 배경과 유사한 화면을 TV로 제공할 수 있다. 또한, 사용자의 최소 조작만으로 주변 배경과 유사한 화면을 제공할 수 있다.

상기 프로세서는, 상기 스크린영상의 속성과 상기 배경영역의 영상의 속성이 대응하도록 상기 스크린영상을 보정할 수 있다. 이에 따라, 모바일 기기를 이용하여, TV 스크린의 주변 배경과 색상, 밝기, 및 채도 등이 유사한 이미지를 TV 스크린에 표시하도록 할 수 있다. 상기 프로세서는, 상기 추출된 복수의 패치이미지와, 상기 배경영역 간 패턴의 유사도에 기초하여 상기 복수의 패치이미지 중에서 선택된 패치이미지를 이용하여 상기 스크린영상을 생성할 수 있다. 이에 따라, 주변 배경으로부터 선택된 복수의 패치를 유사도가 높은 순으로 배치함에 의해, 스크린에 표시될 이미지를 생성할 수 있다.

상기 프로세서는, 상기 배경영역에서 반복되는 동일한 복수의 패턴 간의 간격을 식별하고, 상기 패턴 및 상기 간격에 기초하여 상기 스크린영상을 생성할 수 있다. 이에 따라, 주변 배경으로부터 동일한 패턴 및 간격을 식별하여, 스크린에 표시될 이미지를 생성할 수 있다.

상기 프로세서는, 상기 배경영역에 포함된 제1경계선을 식별하고, 상기 스크린영상에 포함될 제2경계선을 상기 제1경계선과 정합되도록 상기 스크린영상을 생성할 수 있다. 이에 따라, 스크린의 주변 배경에 포함된 별도의 라인을 감지하여, 감지된 라인과 연결될 수 있도록 스크린에 표시될 이미지를 생성할 수 있다.

상기 프로세서는, 상기 스크린의 영역과 상기 배경영역 간 RGB 값의 차이에 기초하여 상기 스크린영상의 색상을 보정할 수 있다. 이에 따라, 스크린에 표시될 이미지를 생성함에 있어, 주변 배경과의 색상 차이가 최소화 되도록 보정할 수 있다.

상기 프로세서는, 상기 스크린영상을 생성하는 동안, 상기 디스플레이부에 상기 스크린영상의 생성 과정을 안내하는 UI를 표시할 수 있다. 이에 따라, 사용자에게 스크린에 표시될 이미지의 생성 과정을 PIP 형태로 안내할 수 있다.

상기 프로세서는, 상기 디스플레이부에 상기 스크린을 맞출 위치를 안내하는 캡쳐 가이드 UI를 표시할 수 있다. 이에 따라, 모바일 기기 등에서, 사용자가 TV 스크린과 그 주변 배경을 함께 촬영시, 모바일 기기의 화면에 TV 스크린이 표시되어야 하는 위치를 예컨대, 캡쳐 가이드 박스 등을 통해 안내할 수 있다.

상기 프로세서는, 상기 디스플레이부에 상기 스크린이 표시되는 위치가 상기 캡쳐 가이드 UI로부터 벗어나는 경우, 경고 메시지를 표시할 수 있다. 이에 따라, 사용자가 스크린과 주변 배경을 촬영하는 동안, 스크린의 위치를 예컨대, 캡쳐 가이드 박스 내에 맞출 수 있도록 안내할 수 있다.

상기 목적은, 본 발명에 따라, 컴퓨터프로그램제품에 있어서, 복수의 인스트럭션이 저장된 메모리와; 프로세서를 포함하고, 인스트럭션은, 프로세서에 의해 실행되면, 영상획득부에 의해 획득되는 캡쳐영상 중 디스플레이장치의 스크린의 영역을 식별하고, 캡쳐영상 중 식별된 스크린의 영역 바깥쪽에 해당하는 배경영역으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출하고, 추출된 복수의 패치이미지에 기초하여 스크린에 표시될 스크린영상을 생성하고, 생성된 스크린영상을 디스플레이장치로 전송하도록 하는 것을 포함하는 컴퓨터프로그램제품에 의해서도 달성될 수 있다.

이와 같은 본 발명의 실시예에 따라, 모바일 기기 등에서, TV 스크린 주변의 최소한의 배경 이미지만을 이용하여 주변 배경과 유사한 화면을 TV로 제공할 수 있다. 또한, 사용자의 최소 조작만으로 주변 배경과 유사한 화면을 제공할 수 있다.

상기 인스트럭션은, 상기 스크린영상의 속성과 상기 배경영역의 영상의 속성이 대응하도록 상기 스크린영상을 보정하는 것을 포함할 수 있다. 이에 따라, 모바일 기기를 이용하여, TV 스크린의 주변 배경과 색상, 밝기, 및 채도 등이 유사한 이미지를 TV 스크린에 표시하도록 할 수 있다.

상기 목적은, 본 발명에 따라, 전자장치의 제어방법에 있어서, 전방의 캡쳐영상을 획득하는 단계와; 캡쳐영상 중 디스플레이장치의 스크린의 영역을 식별하는 단계와; 캡쳐영상 중 식별된 스크린의 영역 바깥쪽에 해당하는 배경영역으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출하는 단계와; 추출된 복수의 패치이미지에 기초하여 스크린에 표시될 스크린영상을 생성하는 단계와; 상기 생성된 스크린영상을 디스플레이장치로 전송하는 단계를 포함하는 전자장치의 제어방법에 의해서도 달성될 수 있다.

이와 같은 본 발명의 실시예에 따라, 모바일 기기 등에서, TV의 스크린 주변의 최소한의 배경 이미지만을 이용하여 주변 배경과 유사한 화면을 TV로 제공할 수 있다. 또한, 사용자의 최소 조작만으로 주변 배경과 유사한 화면을 제공할 수 있다.

상기 방법은, 상기 스크린영상의 속성과 상기 배경영역의 영상의 속성이 대응하도록 상기 스크린영상을 보정하는 단계를 더 포함할 수 있다. 이에 따라, 모바일 기기를 이용하여, TV 스크린의 주변 배경과 색상, 밝기, 및 채도 등이 유사한 이미지를 TV 스크린에 표시하도록 할 수 있다.

상기 스크린영상을 생성하는 단계는, 상기 추출된 복수의 패치이미지와, 상기 배경영역 간 패턴의 유사도에 기초하여 상기 복수의 패치이미지 중에서 선택된 패치이미지를 이용하여 상기 스크린영상을 생성하는 단계를 포함할 수 있다. 이에 따라, 주변 배경으로부터 선택된 복수의 패치를 유사도가 높은 순으로 배치함에 의해, 스크린에 표시될 이미지를 생성할 수 있다.

상기 스크린영상을 생성하는 단계는, 상기 배경영역에서 반복되는 동일한 복수의 패턴 간의 간격을 식별하고, 상기 패턴 및 상기 간격에 기초하여 상기 스크린영상을 생성하는 단계를 포함할 수 있다. 이에 따라, 주변 배경으로부터 동일한 패턴 및 간격을 식별하여, 스크린에 표시될 이미지를 생성할 수 있다.

상기 스크린영상을 생성하는 단계는, 상기 배경영역에 포함된 제1경계선을 식별하고, 상기 스크린영상에 포함될 제2경계선을 상기 제1경계선과 정합되도록 상기 스크린영상을 생성하는 단계를 포함할 수 있다. 이에 따라, 스크린의 주변 배경에 포함된 별도의 라인을 감지하여, 감지된 라인과 연결될 수 있도록 스크린에 표시될 이미지를 생성할 수 있다.

상기 스크린의 영역과 상기 배경영역 간 RGB 값의 차이에 기초하여 상기 스크린영상의 색상을 보정하는 단계를 포함할 수 있다. 이에 따라, 스크린에 표시될 이미지를 생성함에 있어, 주변 배경과의 색상 차이가 최소화 되도록 보정할 수 있다.

상기 스크린영상을 생성하는 동안, 상기 스크린영상의 생성 과정을 안내하는 UI를 표시하는 단계를 포함할 수 있다. 이에 따라, 사용자에게 스크린에 표시될 이미지의 생성 과정을 PIP 형태로 안내할 수 있다.

상기 방법은, 상기 스크린을 맞출 위치를 안내하는 캡쳐 가이드 UI를 표시하는 단계를 포함할 수 있다. 이에 따라, 모바일 기기 등에서, 사용자가 TV 스크린과 그 주변 배경을 함께 촬상시, 모바일 기기의 화면에 TV 스크린이 표시되어야 하는 위치를 예컨대, 캡쳐 가이드 박스 등을 통해 안내할 수 있다.

상기 스크린이 표시되는 위치가 상기 캡쳐 가이드 UI로부터 벗어나는 경우, 경고 메시지를 표시하는 단계를 포함할 수 있다. 이에 따라, 사용자가 스크린과 주변 배경을 촬영하는 동안, 스크린의 위치를 예컨대, 캡쳐 가이드 박스 내에 맞출 수 있도록 안내할 수 있다.

상기 목적은, 본 발명에 따라, 전자장치에 있어서, 촬상 가능한 외부기기와 통신할 수 있는 통신부와; 스크린을 구비한 디스플레이부와; 외부기기로부터 캡쳐영상을 수신하고, 캡쳐영상 중 스크린의 영역을 식별하고, 캡쳐영상 중 식별된 스크린의 영역 바깥쪽에 해당하는 배경영역으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출하고, 추출된 복수의 패치이미지에 기초하여 스크린에 표시될 스크린영상을 생성하고, 생성된 스크린영상을 스크린에 표시하도록 하는 프로세서를 포함하는 전자장치에 의해서도 달성될 수 있다.

이와 같은 본 발명의 실시예에 따라, 모바일 기기 등에서 촬영된 영상으로부터 식별된 TV 스크린 주변의 최소한의 배경 이미지만을 이용하여 주변 배경과 유사한 화면을 제공할 수 있다. 또한, 사용자의 최소 조작만으로 주변 배경과 유사한 화면을 제공할 수 있다.

상기 프로세서는, 상기 스크린영상의 속성과 상기 배경영역의 영상의 속성이 대응하도록 상기 스크린영상을 보정할 수 있다. 이에 따라, TV 스크린의 주변 배경과 색상, 밝기, 및 채도 등이 유사한 이미지를 TV 스크린에 표시할 수 있다.

상기 프로세서는, 상기 추출된 복수의 패치이미지와, 상기 배경영역 간 패턴의 유사도에 기초하여 상기 복수의 패치이미지 중에서 선택된 패치이미지를 이용하여 상기 스크린영상을 생성할 수 있다. 이에 따라, 주변 배경으로부터 선택된 복수의 패치를 유사도가 높은 순으로 배치함에 의해, 스크린에 표시될 이미지를 생성할 수 있다.

상기 프로세서는, 상기 디스플레이부에 상기 스크린의 영역을 식별할 수 있도록 가이드 UI를 표시할 수 있다. 이에 따라, 모바일 기기에서 촬영된 영상으로부터 TV 스크린의 영역을 인식할 수 있도록, TV 스크린의 경계 부분에 예컨대, 다양한 형상 및 색상을 가지는 마커(marker)를 표시할 수 있다.

상기 목적은, 본 발명에 따라, 전자장치의 제어방법에 있어서, 촬상 가능한 외부기기로부터 캡쳐영상을 수신하는 단계와; 캡쳐영상 중 전자장치의 스크린의 영역을 식별하는 단계와; 캡쳐영상 중 식별된 스크린의 영역 바깥쪽에 해당하는 배경영역으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출하는 단계와; 추출된 복수의 패치이미지에 기초하여 스크린에 표시될 스크린영상을 생성하는 단계와; 생성된 스크린영상을 스크린에 표시하는 단계를 포함하는 전자장치의 제어방법에 의해서도 달성될 수 있다.

이와 같은 본 발명의 실시예에 따라, 모바일 기기 등에서 촬영된 영상으로부터 식별된 TV 스크린 주변의 최소한의 배경 이미지만을 이용하여 주변 배경과 유사한 화면을 제공할 수 있다. 또한, 사용자의 최소 조작만으로 주변 배경과 유사한 화면을 제공할 수 있다.

상기 방법은, 상기 스크린영상의 속성과 상기 배경영역의 영상의 속성이 대응하도록 상기 스크린영상을 보정하는 단계를 더 포함할 수 있다. 이에 따라, TV 스크린의 주변 배경과 색상, 밝기, 및 채도 등이 유사한 이미지를 TV 스크린에 표시할 수 있다.

상기 스크린영상을 생성하는 단계는, 상기 추출된 복수의 패치이미지와, 상기 배경영역 간 패턴의 유사도에 기초하여 상기 복수의 패치이미지 중에서 선택된 패치이미지를 이용하여 상기 스크린영상을 생성하는 단계를 포함할 수 있다. 이에 따라, 주변 배경으로부터 선택된 복수의 패치를 유사도가 높은 순으로 배치함에 의해, 스크린에 표시될 이미지를 생성할 수 있다.

상기한 바와 같이, 본 발명에 의하면, 모바일 기기를 이용하여, TV 스크린 주변의 최소한의 배경 이미지만을 이용하여 주변 배경과 유사한 TV 화면을 제공할 수 있다.

또한, 본 발명에 의하면, 모바일 기기를 이용하여, 주변 배경과 유사한 TV 화면을 제공함에 있어 사용자의 조작을 최소화할 수 있다.

또한, 본 발명에 의하면, 모바일 기기를 이용하여 주변 배경과 유사한 TV 화면을 제공함에 의해 TV 스크린의 투명 효과를 기대할 수 있다.

도 1은 본 발명의 일실시예에 따른 모바일 기기를 이용하여 TV 스크린의 주변 배경과 유사한 스크린영상을 제공하는 기본 컨셉을 도시한 것이다.
도 2는 본 발명의 일실시예에 따른 전자장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 전자장치의 제어방법을 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 따른 캡쳐영상 중 스크린의 영역과 배경영역을 도시한 예이다.
도 5는 본 발명의 일실시예에 따른 벽면의 타입에 따른 스크린영상의 생성 과정을 나타내는 흐름도이다.
도 6은 본 발명의 일실시예에 따른 캡쳐영상으로부터 벽면의 타입을 식별하는 알고리즘을 도시한 예이다.
도 7은 본 발명의 일실시예에 따른 벽면과 유사한 스크린영상을 생성시 색 보정을 적용한 예를 도시한 것이다.
도 8은 본 발명의 일실시예에 따른 벽면과 유사한 스크린영상을 생성시 패턴생성을 적용한 예를 도시한 것이다.
도 9는 본 발명의 일실시예에 따른 배경영역으로부터 추출한 패치와 배경영역의 패턴 간 유사도에 기초하여 스크린영상을 생성하는 예이다.
도 10은 본 발명의 일실시예에 따른 스크린영상의 생성 과정을 안내하는 UI를 도시한 예이다.
도 11은 본 발명의 일실시예에 따른 배경영역으로부터 반복되는 패턴 및 간격을 식별하여 스크린영상을 생성하는 예이다.
도 12는 본 발명의 일실시예에 따른 배경영역에 포함된 경계선과 정합되도록 스크린영상을 생성하는 예이다.
도 13은 본 발명의 일실시예에 따른 전자장치의 구성을 도시한 블록도이다.
도 14는 본 발명의 일실시예에 따른 전자장치의 제어방법을 도시한 흐름도이다.
도 15는 본 발명의 일실시예에 따른 모바일 기기에서 스크린영상을 생성하여 TV로 제공하는 예를 도시한 것이다.
도 16은 본 발명의 일실시예에 따른 클라우드 서버에서 스크린영상을 생성하여 TV로 제공하는 예를 도시한 것이다.
도 17은 본 발명의 일실시예에 따른 벽지/타일 DB를 이용하여 스크린영상을 생성하는 예를 도시한 것이다.
도 18은 본 발명의 일실시예에 따른 TV 스크린 인식을 위한 방법을 도시한 예이다.
도 19는 본 발명의 일실시예에 따른 TV 스크린 인식을 위한 방법을 도시한 예이다.
도 20은 본 발명의 일실시예에 따른 배경영역으로부터 반복되는 패턴 최소 단위를 식별하여 스크린영상을 생성하는 예이다.
도 21 및 도 22는 본 발명의 일실시예에 따른 스크린영상의 색 보정시 누적 히스토그램 매칭을 이용하는 예이다.

이하, 첨부도면을 참조하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.

도 1은 본 발명의 일실시예에 따른 모바일 기기를 이용하여 TV 스크린의 주변 배경과 유사한 스크린영상을 제공하는 기본 컨셉을 도시한 것이다. 도 1에 도시된 바와 같이, 본 발명의 모바일 기기(10)는 전방에 위치한 TV(100)의 스크린과 스크린 주변의 벽면을 촬상하고, 촬상된 캡쳐영상으로부터 TV(100)의 스크린 주변의 벽면을 식별함에 의해 벽면과 유사한 이미지를 생성한다.

이 과정에서, 모바일 기기(10)는, 식별된 벽면이 색상만 있는 타입인 경우, 색 보정(color calibration)을 통해 벽면과 동일한 색상의 이미지를 생성하여 TV(100)의 스크린에 출력되도록 한다.

또한, 식별된 벽면이 예컨대 벽돌, 나무 등 소정 패턴이 있는 타입인 경우, 모바일 기기(10)는 패턴 생성(pattern generation)을 통해 벽면과 동일한 패턴의 이미지를 생성하여 TV(100)의 스크린에 출력되도록 한다.

도 2는 본 발명의 일실시예에 따른 전자장치의 구성을 도시한 블록도이다. 도 2에 도시된 바와 같이, 본 발명의 전자장치(10)는 영상획득부(11), 영상처리부(12), 디스플레이부(13), 통신부(14), 프로세서(15) 및 사용자입력부(16)의 구성을 포함하고, 저장부(미도시)를 더 포함할 수 있다. 전자장치(10)는 예컨대 스마트 폰, 태블릿, 및 노트북 등 촬상 가능한 모바일 기기로 구현된다. 전자장치(10)는 통신부(14)를 통해 디스플레이장치(100)와 통신할 수 있다. 디스플레이장치(100)는 예컨대, TV, 대형 디스플레이(LFD), 및 모니터 등으로 구현된다. 전자장치(10)에 포함되는 구성은 본 발명의 일실시예에 의해 한정되지 않고, 일부 구성을 제외하여 구성되거나, 추가적인 다른 구성들을 포함하여 구현될 수 있다.

영상획득부(11)는 전방을 촬상함에 의해 캡쳐영상을 획득한다. 영상획득부(11)는 예컨대, CMOS(Complementary Metal Oxide Semiconductor), 또는 CCD(Charge Coupled Device) 등의 이미지센서를 포함하는 카메라로 구현된다.

영상처리부(12)는 영상획득부(11)에 의해 획득된 캡쳐영상, 혹은 외부장치로부터 수신되는 영상신호에 대해 기 설정된 영상처리 프로세스를 수행한다. 영상처리부(12)에서 수행하는 영상처리의 예로서, 디멀티플렉싱(demultiplexing), 디코딩(decoding), 디인터레이싱 (de-interlacing), 스케일링(scaling), 노이즈 감소(noise reduction), 디테일 인핸스먼트(detail enhancement) 등이 있으며, 그 종류는 한정되지 않는다. 영상처리부(12)는 이러한 여러 기능을 통합시킨 SOC(System-On-Chip) 또는 각 프로세스를 독자적으로 수행할 수 있는 개별 구성들이 장착된 영상처리보드로 구현될 수 있다.

디스플레이부(13)는 영상처리부(12)에서 처리된 캡쳐영상, 혹은 영상신호에 기초한 영상을 표시한다. 디스플레이부(13)의 구현 방식은 한정되지 않는 바, 디스플레이부(13)는 PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), 플렉시블 디스플레이(flexible display) 등 다양한 형태로 구현될 수 있다.

통신부(14)는 디스플레이장치(100)와 유선 혹은 무선 통신방식으로 통신한다. 통신부(13)는 예컨대, 와이파이 다이렉트(Wi-fi direct), 블루투스(Bluetooth), 지그비(Zigbee) 등의 근거리 무선통신 방식으로 디스플레이장치(100)와 통신할 수 있다. 통신부(14)는 디스플레이장치(100)와 블루투스 방식으로 통신하는 경우, 디스플레이장치(100)와 페어링(pairing)을 수행하여 연결될 수 있다.

사용자입력부(16)는 전자장치(10)의 적어도 하나의 기능을 제어하기 위한 사용자입력을 수신한다. 예로서, 사용자입력부(16)는 디스플레이부(13)에 표시되는 사용자 인터페이스(User Interface)의 일부를 선택하기 위한 사용자입력을 수신할 수 있다. 사용자입력부(16)는 전자장치(10)의 외측에 구비된 입력패널의 형태로 구현되거나 전자장치(10)에 마련되는 터치스크린으로 구현될 수 있다. 또한, 사용자입력부(16)는 전자장치(10)와 연결되는 키보드, 마우스 등으로 구현될 수 있고, 전자장치(10)와 적외선 방식으로 통신하는 리모트 컨트롤러로 구현될 수도 있다.

일실시예로서, 사용자입력부(16)는 전자장치(10)와 와이파이(Wi-fi), 블루투스(Bluetooth), 또는 적외전 통신방식으로 통신하는 모바일 기기로부터 사용자입력을 수신할 수도 있다. 이 경우, 모바일 기기는 스마트 폰 등으로 마련될 수 있고, 예컨대 리모컨 앱(Application)을 설치하고, 리모컨 앱을 실행하여 전자장치(10)의 동작을 제어하기 위한 버튼 터치 등을 통해 사용자입력을 전자장치(10)로 전송할 수 있다.

저장부(미도시)는 제1메모리(미도시)와 제2메모리(미도시)를 포함하고, 제1메모리는 전자장치(10)의 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory)와 같은 비휘발성 메모리로 구현된다.

제1메모리는 적어도 하나의 어플리케이션을 실행하기 위한 복수의 인스트럭션(instruction)을 저장한다. 제1메모리는 저장된 복수의 인스트럭션 각각에 대해 독취(read), 기록(write), 수정(edit), 삭제(delete), 갱신(update) 등이 수행되도록 한다.

제2메모리는 제1메모리와 프로세서(15) 사이에 마련되는 고속 버퍼 메모리로서, 캐시메모리(cache memory) 또는 로컬메모리(local memory)라고 한다. 제2메모리는 플래시메모리에 비해 고속이며 프로세서(15)에 의해 직접 액세스 가능하다. 제2메모리는 프로세서(15)에 의해 자주 액세스되는 데이터나 프로그램 명령을 반복적으로 검색하지 않고 즉각 사용할 수 있도록 저장해두는 영역으로서, 예컨대 RAM으로 구현될 수 있다. 일실시예로서 제2메모리는, 예컨대, 프로세서(15)의 내부에 일체로 마련될 수도 있다.

프로세서(15)는 전자장치(10)가 수행 가능한 복수의 기능을 제어하기 위한 제어 프로세스를 수행한다. 프로세서(15)는 CPU(Central Processing Unit)로 구현될 수 있고, 제어, 연산, 레지스터의 세 영역을 포함한다. 제어영역은 프로그램 명령어를 해석하고, 해석된 명령의 의미에 따라 전자장치(10)의 각 구성으로 동작을 지시한다. 연산영역은 산술 연산 및 논리 연산을 수행하고, 제어영역의 지시에 따라 전자장치(10)의 각 구성이 동작하기 위해 필요한 연산을 수행한다. 레지스터는 CPU에서 명령어를 실행하는 동안 필요한 정보들을 저장하는 기억 장소로, 전자장치(10)의 각 구성에 대한 명령어 및 데이터들을 저장하고, 연산된 결과를 저장한다.

프로세서(15)는 적어도 하나의 프로그램을 실행하고, 예컨대 전자장치(10)의 운영체제(operating system)를 실행할 수 있다.

본 발명의 실시예에 있어, 프로세서(15)의 동작은 도 3의 흐름도와 같이 도시될 수 있다. 먼저, 동작 S31에서, 프로세서(15)는, 전방의 캡쳐영상(도 4의 부호 '133' 참조)을 획득한다. 이 때, 프로세서(15)는, 캡쳐영상(133)을 획득시, 디스플레이부(13)에 디스플레이장치(100)의 스크린(101)을 맞출 위치를 안내하는 캡쳐 가이드 UI(도 4의 부호 '131' 참조)를 표시할 수 있다. 이를 통해, 사용자가 캡쳐 가이드 UI(131) 내에 스크린(101)이 위치하도록 전자장치(10)를 직접 이동시키도록 할 수 있다.

또한, 캡쳐 가이드 UI(131)를 통해, 사용자가 스크린(101)과 스크린(101) 주변의 최소 배경을 포함하여 촬상할 수 있도록 안내할 수 있다.

일실시예로서, 프로세서(15)는, 디스플레이부(13)에 스크린(101)이 표시되는 위치가 캡쳐 가이드 UI(131)로부터 벗어나는 경우, 경고 메시지를 표시할 수 있다.

다음으로, 동작 S32에서, 프로세서(15)는, 캡쳐영상(133) 중 스크린의 영역(도 4의 부호 '102' 참조)을 식별한다. 이 때, 프로세서(15)가 스크린의 영역(102)을 식별할 수 있도록, 디스플레이장치(100)에서는 스크린(101)의 경계부분에 예컨대, 다양한 형상 및 색상을 가지는 마커 등과 같은 가이드 UI(도 18의 부호 '171', 도 19의 부호 '181' 참조)가 표시될 수 있다.

동작 S33에서, 프로세서(15)는, 캡쳐영상(133) 중 식별된 스크린의 영역(102) 바깥쪽에 해당하는 배경영역(도 4의 부호 '132' 참조)으로부터 소정 단위크기를 가지는 복수의 패치이미지(도 9의 부호 '91' 및 '92' 등 참조)를 추출한다.. 다음으로, 동작 S34에서, 프로세서(15)는, 추출된 복수의 패치이미지(91, 92 등)에 기초하여 스크린(101)에 표시될 스크린영상을 생성한다.

일실시예로서, 동작 S34는, 동작 S33에서 추출된 복수의 패치이미지(91, 92 등)와, 배경영역(132) 간 패턴의 유사도에 기초하여 복수의 패치이미지(91, 92 등) 중에서 선택된 패치이미지(91, 92 등)를 이용하여 스크린영상을 생성하는 동작을 포함할 수 있다.

일실시예로서, 동작 S34는, 배경영역(132)에서 반복되는 동일한 복수의 패턴 간의 간격을 식별하고, 패턴 및 간격에 기초하여 스크린영상을 생성하는 동작을 포함할 수 있다.

일실시예로서, 동작 S34는, 배경영역(132)에 포함된 제1경계선(도 12의 부호 '121', '122' 참조)을 식별하고, 스크린영상에 포함될 제2경계선(도 12의 부호 '123' 참조)을 제1경계선(121, 122)과 정합되도록 스크린영상을 생성하는 동작을 포함할 수 있다.

일실시예로서, 동작 S34는, 스크린의 영역(102)과 배경영역(132) 간 RGB 값의 차이에 기초하여 스크린영상의 색상을 보정하는 동작을 더 포함할 수 있다.

일실시예로서, 동작 S34는, 스크린영상을 생성하는 동안, 스크린영상의 생성 과정을 안내하는 UI(User Interface)(도 10의 부호 '105' 참조)를 표시하는 동작을 더 포함할 수 있다.

마지막으로, 동작 S35에서, 생성된 스크린영상을 디스플레이장치(100)로 전송한다.

상기와 같이, 본 발명에 의하면, 스크린 주변의 최소한의 배경 이미지만을 이용하여 주변 배경과 유사한 화면을 제공함에 의해, 스크린의 투명 효과를 기대할 수 있다. 또한, 주변 배경과 유사한 화면을 제공함에 있어 사용자의 조작을 최소화할 수 있다.

한편, 본 발명의 전자장치(10)는 별도의 컴퓨터프로그램제품(미도시)에 저장된 인스트럭션을 다운로드하여 실행함에 의해, 배경영역의 영상에 기초하여 스크린영상을 생성하는 동작을 수행할 수도 있다. 예로서, 전자장치(10)는 스크린(101)의 주변 배경과 유사한 스크린영상의 생성 기능을 제공하는 소정 어플리케이션을 외부서버로부터 다운로드하여 설치하고, 설치된 어플리케이션을 실행하여 디스플레이장치(100)의 스크린(101)에 표시될 스크린영상을 생성할 수 있다.

일실시예로서, 컴퓨터프로그램제품은, 복수의 인스트럭션이 저장된 메모리와, 프로세서를 포함한다. 여기서, 인스트럭션은, 프로세서에 의해 실행되면, 영상획득부에 의해 획득되는 캡쳐영상 중 스크린의 영역을 식별하고, 캡쳐영상 중 식별된 스크린의 영역 바깥쪽에 해당하는 배경영역으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출하고, 추출된 복수의 패치이미지에 기초하여 스크린(101)에 표시될 스크린영상을 생성하고, 생성된 스크린영상을 디스플레이장치(100)로 전송하도록 하는 것을 포함한다.

일실시예로서, 인스트럭션은, 스크린영상의 속성과 배경영역의 영상의 속성이 대응하도록 스크린영상을 보정하는 것을 포함할 수 있다.

도 5는 본 발명의 일실시예에 따른 벽면의 타입에 따른 스크린영상의 생성 과정을 나타내는 흐름도이다. 도시된 흐름도는, 도 3의 동작 S34에서, 프로세서(15)가 배경영역(132)의 영상에 기초하여 스크린(101)에 표시될 스크린영상을 생성하는 동작을 수행함에 있어, 배경영역(132)에 해당하는 벽면의 타입에 따른 구체적인 동작을 보여준다.

도 5에 도시된 바와 같이, 먼저 동작 S51에서, 프로세서(15)는, 배경영역(132)의 영상으로부터 스크린 주변의 벽면(Wall)의 타입을 식별한다. 식별 결과, 벽면이 컬러 타입(color type)인 경우, 동작 S521에서, 프로세서(15)는, 색 보정(color calibration)을 수행하고, 동작 S522에서, 프로세서(15)는, 스크린 주변의 벽면과 동일한 색상을 보여주는 최종 결과 화면, 즉 스크린영상을 출력한다. 여기서, 색 보정은, 예컨대 색상, 밝기, 채도 및 화이트 밸런스(white balance) 등의 보정을 포함한다.

동작 S51의 식별 결과, 벽면이 패턴 타입(pattern type)인 경우, 동작 S52에서, 프로세서(15)는, 패턴 생성(pattern generation)을 수행하고, 동작 S53에서, 프로세서(15)는, 스크린 주변의 벽면과 동일한 패턴을 보여주는 결과 화면을 출력한다.

다음으로, 동작 S54에서, 프로세서(15)는, 동작 S53에 의해 출력되는 결과 화면에 대해 색 보정을 추가적으로 수행한다. 마지막으로, 동작 S55에서, 프로세서(15)는, 스크린 주변의 벽면과 동일한 패턴 및 색상을 보여주는 최종 결과 화면, 즉 스크린영상을 출력한다.

도 6은 본 발명의 일실시예에 따른 캡쳐영상으로부터 벽면의 타입을 식별하는 알고리즘을 도시한 예이다. 도시된 예는, 도 5의 동작 S51에서, 배경영역(132)의 영상으로부터 스크린 주변의 벽면의 타입을 식별하는 구체적인 방법을 보여준다.

도 6에 도시된 바와 같이, 먼저 동작 S61 에서, 프로세서(15)는, 스크린(101)과 스크린(101) 주변의 벽면을 촬상한 캡쳐영상(61, 62)을 획득한다. 다음으로, 동작 S62에서, 프로세서(15)는, 캡쳐영상(61, 62)으로부터 스크린 영역(63)의 바깥 영역에 해당하는 배경영역(611, 621)을 식별한다.

다음으로, 동작 S63 에서, 프로세서(15)는, 식별된 배경영역(611, 621)로부터 임의로(random) 소정 크기의 패치(patch)(612, 622)를 추출(sampling)한다.

마지막으로, 동작 S64에서, 프로세서(15)는 추출된 패치(612, 622)를 이용하여 배경영역(611, 621) 전체에 대해 템플릿 매칭(template matching)을 수행한다. 여기서, 템플릿 매칭의 수행 결과, 매칭된 패치들의 위치가 일정 간격을 이룬다면(613), 벽면의 타입이 패턴 타입인 것으로 식별한다. 또한, 매칭된 패치들의 위치가 일정 간격을 이루지 않는 경우(623), 벽면의 타입은 컬러 타입인 것으로 식별할 수 있다.

도 7은 본 발명의 일실시예에 따른 벽면과 유사한 스크린영상을 생성시 색 보정을 적용한 예를 도시한 것이다. 도시된 예는, 도 5의 동작 S51의 수행 결과, 벽면의 타입이 컬러 타입인 것으로 식별되는 경우, 동작 S521에서 색 보정을 수행하는 동작을 구체적으로 보여주는 예이다.

도 7에 도시된 바와 같이, 모바일 기기(10)에 있어, 사용자입력에 따라 예컨대, '투명 스크린 모드'가 선택되면, 먼저 프로세서(15)는 모바일 기기(10)의 전방에 위치한 TV의 스크린(101)과 스크린(101) 주변의 벽면(71, 72)을 촬영한 캡쳐영상(133)을 획득한다.

이 때, 프로세서(15)는 디스플레이부(13)의 중앙 부분에 표시되는 캡쳐 가이드 UI(131)를 통해 사용자가 TV의 스크린(101)의 위치를 맞출 수 있도록 안내할 수 있다. 일실시예로서, 프로세서(15)는, 캡쳐 가이드 UI(131) 외에 오디오 출력 등을 통해 사용자에게 추가적인 가이드를 제공할 수도 있다.

또한, 프로세서(15)는, 사용자가 스크린(101)의 위치를 맞춘 후 버튼 입력 등을 통해 예컨대, '스크린영상 생성' 기능을 선택하면, 기 설정된 색 보정 알고리즘에 의해 스크린 주변의 벽면과 색상, 밝기, 채도, 및 화이트 밸런스 등이 유사한 스크린영상(73, 74)을 생성하여 디스플레이장치(100)로 제공한다.

구체적으로, 색 보정 알고리즘에 의한 프로세서(15)의 동작은 아래와 같다.

1) 스크린(101)에 대응하는 스크린의 영역(102)과, 벽면(71, 72)에 대응하는 배경영역(132)으로부터 각각 n개의 픽셀(Pixel)을 추출한다.

2) 추출된 스크린의 영역(102)의 픽셀과, 배경영역(132)의 픽셀의 RGB 값을 소정 시간 간격으로 획득하고, 각각의 RGB 평균값을 산출한다.

AvgS = Average (ScreenPick[n]), AvgW = Average (WallPick[n])

3) 스크린의 영역(102)과 배경영역(132) 간 RGB 차이값을 산출한다.

Diff = AvgS - AvgW

4) 스크린의 영역(102)의 픽셀 RGB값에 RGB 차이값(Diff)을 합산한다.

ScreenPick[n] + Diff = Edited Screen

5) 4)에서 합산된 RGB값(Edited Screen)을 0 내지 1 사이로 정규화(normalize)하여, 보정 레이어(Correction Layer)를 산출한다.

6) 4)에서 합산된 RGB값(Edited Screen)과, 5)에서 산출된 보정 레이어의 곱을 이용하여 최종 보정 결과를 생성한다.

Edited Screen * Correction Layer = Final Result

상기와 같은 색 보정 알고리즘에 의해, 스크린의 주변 벽면과 유사한 색상을 가지는 이미지를 스크린에 출력하여, 벽면과 스크린이 색상에 의해 구분되지 않도록 하는 심미적 효과를 기대할 수 있다.

도 8은 본 발명의 일실시예에 따른 벽면과 유사한 스크린영상을 생성시 패턴생성을 적용한 예를 도시한 것이다. 도시된 예는, 도 5의 동작 S51의 수행 결과, 벽면의 타입이 패턴 타입인 것으로 식별되는 경우, 동작 S52에서 패턴 생성을 수행하는 동작을 구체적으로 보여주는 예이다.

도 8에 도시된 바와 같이, 모바일 기기(10)에 있어, 사용자입력에 따라 예컨대, '투명 스크린 모드'가 선택되면, 프로세서(15)는 모바일 기기(10)의 전방에 위치한 TV의 스크린(101)과 스크린(101) 주변의 벽면(81)을 촬영한 캡쳐영상(133)을 획득한다.

이 때, 프로세서(15)는 디스플레이부(13)의 중앙 부분에 표시되는 캡쳐 가이드 UI(131)를 통해 사용자가 TV의 스크린(101)의 위치를 맞출 수 있도록 안내할 수 있다.

또한, 프로세서(15)는, 사용자가 스크린(101)의 위치를 맞춘 후 버튼 입력 등을 통해 예컨대, '스크린영상 생성' 기능을 선택하면, 기 설정된 패턴 생성 알고리즘에 의해 스크린(101) 주변의 벽면과 유사한 패턴의 스크린영상(82)을 생성한다.

구체적으로, 패턴 생성 알고리즘에 의한 프로세서(15)의 동작은 도 9 내지 도 12에서 설명하기로 한다.

도 9는 본 발명의 일실시예에 따른 배경영역으로부터 추출한 패치와 배경영역의 패턴 간 유사도에 기초하여 스크린영상을 생성하는 예이다. 도시된 예는, 도 5의 동작 S52에서, 패턴 생성을 수행하는 방법의 일실시예를 보여준다.

도 9에 도시된 바와 같이, 스크린(101) 주변의 벽면과 유사한 패턴 생성을 위해, 패턴 간 유사도를 이용하는 텍스처 합성(texture synthesis) 방식을 적용할 수 있다.

일실시예로서, 프로세서(15)는, 캡쳐영상(133) 중 스크린(101) 주변의 벽면이 표시되는 배경영역(132)으로부터 복수의 패치이미지(91, 92, ?)를 랜덤하게(random) 추출한다. 예로서, 프로세서(15)는 배경영역(132)로부터 동일한 소정 크기를 가지는 약 1000개의 패치이미지(91, 92, ?)를 추출할 수 있다. 이 때, 추출되는 패치이미지(91, 92, ?)의 개수는 한정되지 않으며, 프로세서(15)가 처리할 수 있는 데이터의 크기 및 처리 시간 등을 고려하여 정해질 수 있다.

다음으로, 프로세서(15)는, 추출된 복수의 패치이미지(91, 92, ?) 각각을 스크린의 영역(102)의 좌측 상단부터 배열하는 방식으로 패턴을 생성한다. 이 때, 스크린의 영역(102) 및 배경영역(132)의 일부가 포함되도록 복수의 패치이미지(91, 92, ?) 각각을 배열한다.

이 과정에서, 복수의 패치이미지(91, 92, ?) 중 스크린의 영역(102)에 배열될 위치와 인접하고 있는 배경영역(132)의 패턴과 유사도가 높은 패치이미지를 선택하여 스크린의 영역(102) 내에 배열한다. 이 때, 인접하고 있는 배경영역(132) 뿐만 아니라, 스크린의 영역(102) 내에 먼저 배열된 패치이미지의 패턴과의 유사도를 함께 고려하여 배열할 패치이미지를 선택하도록 한다.

예로서, 스크린의 영역(102)의 좌측 상단에 패치이미지A(91)를 배열하고, 다음으로 패치이미지A(91)의 패턴과 유사도가 높은 패치이미지B(92) 를 선택하여 패치이미지A(91)와 오버랩 되도록 배열할 수 있다.

상기와 같은 패턴 생성 방법에 의해, 스크린(101)의 주변 벽면과 패턴이 유사한 스크린영상을 생성할 수 있다.

도 10은 본 발명의 일실시예에 따른 스크린영상의 생성 과정을 안내하는 UI를 도시한 예이다. 도시된 예는, 도 9의 패턴 생성 방법에 의해 스크린영상을 생성시, 추가적인 동작의 예를 보여준다.

도 10에 도시된 바와 같이, 예컨대 모바일 기기로 구현되는 전자장치(10)에 있어, 프로세서(15)는, 도 9에서 설명한 패턴 생성 방법으로 스크린영상을 생성하는 동안, 디스플레이부(13)에 스크린영상의 생성 과정을 안내하는 UI(User Interface)를 표시할 수 있다.

일실시예로서, 프로세서(15)는, 배경영역(132)으로부터 랜덤하게 추출한 복수의 패치이미지(1051, 1052, 1053, ?)를 스크린의 영역(102)의 좌측 상단부터 배열하는 방식으로 스크린영상을 생성할 수 있다.

이 때, 스크린영상을 생성하는 과정은 소정 시간 이상 소요되므로, 사용자가 디스플레이부(13)에 스크린영상이 표시되기까지 대기하는 시간이 필요하다.

프로세서(15)는, 스크린영상이 표시되기 까지 대기하는 동안, 사용자가 스크린영상의 생성 과정을 직접 볼 수 있도록 UI(105)를 표시할 수 있다.

일실시예로서, 프로세서(15)는, 복수의 패치이미지(1051, 1052, 1053, ?)가 스크린의 영역(102)의 좌측 상단부터 순차적으로 배열되는 과정을 보여주는 UI(105)를 표시할 수 있다.

일실시예로서, 프로세서(15)는 스크린영상의 생성 과정을 안내하는 UI(105)를 스크린의 영역(102)보다 작은 사이즈의 PIP(picture in picture) 형태로 표시할 수 있다.

도 11은 본 발명의 일실시예에 따른 배경영역으로부터 반복되는 패턴 및 간격을 식별하여 스크린영상을 생성하는 예이다. 도시된 예는, 도 5의 동작 S52에서, 패턴 생성을 수행하는 방법의 일실시예를 보여준다.

도 11에 도시된 바와 같이, 스크린(101) 주변의 벽면과 유사한 패턴 생성을 위해, 프로세서(15)는, 캡쳐영상(133) 중 배경영역(132)로부터 반복되는 동일한 복수의 패턴(112) 간 간격을 식별하고, 패턴(112) 및 간격에 기초하여 스크린영상을 생성할 수 있다.

일실시예로서, 프로세서(15)는 배경영역(132)으로부터 소정 크기의 반복되는 동일한 복수의 패턴(112)을 식별하고, 식별된 복수의 패턴(112) 간 간격을 X축 및 Y축 방향에 대해 각각 구할 수 있다. 이 때, 프로세서(15)는 X축 및 Y축 방향에 대한 복수의 패턴(112) 간 간격을 이용하여, 스크린의 영역(102) 내에 복수의 패턴(112)을 동일한 간격으로 배열할 수 있다.

또한, 프로세서(15)는 스크린의 영역(102) 내에 복수의 패턴(112)을 배열한 후 비어있는 영역에 대해서는, 도 9에서 설명된 텍스처 합성(texture synthesis) 방식으로 패턴을 생성하도록 한다.

도 12는 본 발명의 일실시예에 따른 배경영역에 포함된 경계선과 정합되도록 스크린영상을 생성하는 예이다. 도시된 예는, 도 5의 동작 S52에서, 패턴 생성을 수행하는 방법의 일실시예를 보여준다.

도 12에 도시된 바와 같이, 예컨대 모바일 기기로 구현되는 전자장치(10)에 있어, 프로세서(15)는, 배경영역(132)에 포함된 제1경계선(121, 122)을 식별하고, 스크린영상을 생성시 제1경계선(121, 122)과 정합되도록 제2경계선(123)을 스크린영상 내에 포함할 수 있다.

일실시예로서, 프로세서(15)는, 벽면이 표시되는 배경영역(132)에 제1경계선(121, 122)이 존재하는 경우, 스크린의 영역(102) 내에 제1경계선(121, 122)과 연결되는 제2경계선(123)을 생성하고, 나머지 영역에 대해 도 9에서 설명된 텍스처 합성(texture synthesis) 방식으로 패턴을 생성할 수 있다.

도 13은 다른 실시예에 따른 전자장치의 구성을 도시한 블록도이다. 도 13에 도시된 바와 같이, 본 실시예의 전자장치(1300)는 영상처리부(1302), 디스플레이부(1303), 통신부(1304), 프로세서(1305) 및 사용자입력부(1306)의 구성을 포함하고, 디스플레이부(1303)는 스크린(1301)을 구비한다. 전자장치(1300)는 저장부(미도시)를 더 포함할 수 있다. 전자장치(1300)는 예컨대, TV, 대형 디스플레이(LFD), 및 모니터 등으로 구현된다. 전자장치(1300)는 통신부(1304)를 통해 외부장치(1310)와 통신할 수 있다. 외부장치(1310)는 예컨대, 스마트 폰, 태블릿, 및 노트북 등 촬상 가능한 모바일 기기로 구현된다.

도시된 구성에서, 전자장치(1300)와 외부장치(1310) 각각은 도 2의 구성 중 디스플레이장치(100)와 전자장치(10)에 각각 대응한다. 도 2의 전자장치(10), 예컨대 모바일 기기는 디스플레이장치(100)의 스크린(101) 주변의 벽면과 유사한 패턴의 스크린영상을 생성하여 디스플레이장치(100)로 제공하는 반면, 도시된 구성에서는 전자장치(1300), 예컨대 TV가 스크린(1301) 주변의 벽면과 유사한 패턴의 스크린영상을 직접 생성하여 스크린(1301)에 표시하는 점에서 차이가 있다.

한편, 전자장치(1300)의 구성 중 영상처리부(1302), 디스플레이부(1303), 통신부(1304), 사용자입력부(1306)은 도 2의 전자장치(100)의 구성 중 영상처리부(12), 디스플레이부(13), 통신부(14), 및 사용자입력부(16)와 그 기능이 유사하므로 구체적인 설명은 생략하고, 차이가 있는 프로세서(1305)의 동작에 대해서만 설명하기로 한다.

본 실시예에 있어, 프로세서(1305)의 동작은 도 14의 흐름도와 같이 도시될 수 있다. 먼저, 동작 S141에서, 프로세서(1305)는, 촬상 가능한 외부장치(1310)로부터 캡쳐영상(133)을 수신한다.

다음으로, 동작 S142에서, 프로세서(1305)는, 캡쳐영상(133) 중 스크린의 영역(102)을 식별한다.

일실시예로서, 프로세서(1305)는, 스크린의 영역(102)을 식별할 수 있도록, 스크린(1301)의 경계부분에 가이드 UI(도 18의 부호 '171', 도 19의 부호 '181' 참조)를 표시할 수 있다. 가이드 UI(171)는 예컨대, 다양한 형상 및 색상을 가지는 마커(marker)로 구현될 수 있다.

이에 따라, 모바일 기기와 같은 외부장치(1310)에서 촬영된 캡쳐영상(133)으로부터 가이드 UI(171)를 통해 스크린의 영역(102)을 인식할 수 있다.

동작 S143에서, 프로세서(1305)는, 캡쳐영상(133) 중 식별된 스크린의 영역(102) 바깥쪽에 해당하는 배경영역(132)으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출한다.

다음으로, 동작 S144에서, 프로세서(1305)는, 추출된 복수의 패치이미지에 기초하여 스크린(1301)에 표시될 스크린영상을 생성한다. 여기서, 동작 S144는, 동작 S143에서 추출된 복수의 패치이미지와, 배경영역(132) 간 패턴의 유사도에 기초하여 복수의 패치이미지 중에서 선택된 패치이미지를 이용하여 스크린영상을 생성하는 동작을 포함할 수 있다.

일실시예로서, 동작 S144는, 배경영역(132)에서 반복되는 동일한 복수의 패턴 간의 간격을 식별하고, 패턴 및 간격에 기초하여 스크린영상을 생성하는 동작을 포함할 수 있다.

일실시예로서, 동작 S144는, 배경영역(132)에 포함된 제1경계선(121, 122)을 식별하고, 스크린영상에 포함될 제2경계선(123)을 제1경계선(121, 122)과 정합되도록 스크린영상을 생성하는 동작을 포함할 수 있다.

일실시예로서, 동작 S144는, 스크린의 영역(102)과 배경영역(132) 간 RGB 값의 차이에 기초하여 스크린영상의 색상을 보정하는 동작을 더 포함할 수 있다.

일실시예로서, 동작 S144는, 스크린영상을 생성하는 동안, 스크린영상의 생성 과정을 안내하는 UI(105)를 표시하는 동작을 더 포함할 수 있다.

마지막으로, 동작 S145에서, 프로세서(1305)는, 생성된 스크린영상을 스크린(1301)에 표시한다.

도 15는 본 발명의 일실시예에 따른 모바일 기기에서 스크린영상을 생성하여 TV로 제공하는 예를 도시한 것이다. 도 15에 도시된 바와 같이, 먼저 모바일 기기(10)에서, TV(100)의 스크린(101)과 스크린(101) 주변의 벽면을 포함하여 촬영한 캡쳐영상(133)을 획득한다.

모바일 기기(10)는 촬영된 캡쳐영상(133)으로부터 스크린의 영역(102)을 인식하고, 인식된 스크린의 영역(102) 바깥쪽에 해당하는 배경영역(132)로부터 복수의 패치이미지(91, 92 등)를 추출한다.

모바일 기기(10)는, 추출된 복수의 패치이미지(91, 92 등)를 이용하여 스크린영상(140)을 생성한다. 이 때, 모바일 기기(10)는, 스크린영상(140)이 생성되는 동안, 스크린영상(140)이 만들어지는 과정을 사용자가 직접 시각적으로 확인할 수 있도록, 생성 과정을 안내하는 UI(140)를 화면에 표시한다.

일실시예로서, UI(140)를 통해, 모바일 기기(10)의 화면 좌측 상단으로부터 복수의 패치이미지를 순차적으로 배열해가며 붙여나가는 방식으로 스크린영상(140)의 생성 과정을 표시할 수 있다. 이 때, UI(140)는 화면의 전체 영역에 해당하는 크기로 표시되거나, 화면의 일부 영역에 해당하는 작은 크기로 표시될 수 있다.

모바일 기기(10)는, 상기와 같은 방법으로 생성된 스크린영상(140)을 TV(100)로 전송하여, TV(100)의 스크린(101)에 출력되도록 한다.

도 16은 본 발명의 일실시예에 따른 클라우드 서버에서 스크린영상을 생성하여 TV로 제공하는 예를 도시한 것이다. 도 16에 도시된 바와 같이, 먼저 모바일 기기(10)에서, TV(100)의 스크린(101)과 스크린(101) 주변의 벽면을 포함하여 촬영한 캡쳐영상(133)을 획득한다.

모바일 기기(10)는 촬영된 캡쳐영상(133)을 클라우드 서버(300)로 전송하고, 클라우드 서버(300)는 모바일 기기(10)로부터 수신된 캡쳐영상(133)을 이용하여 스크린영상(150)을 생성한다. 이 때, 클라우드 서버(300)가 캡쳐영상(133)으로부터 스크린영상(150)을 생성하는 방법은, 도 15에서 모바일 기기(10)가 스크린영상(140)을 생성하는 방법과 동일하므로, 설명을 생략하기로 한다.

클라우드 서버(300)는, 상기와 같이 만들어진 스크린영상(150)을 TV(100)로 전송하여, TV(100)의 스크린(101)에 출력되도록 한다.

도 17은 본 발명의 일실시예에 따른 벽지/타일 DB를 이용하여 스크린영상을 생성하는 예를 도시한 것이다. 도 17에 도시된 바와 같이, 먼저 모바일 기기(10)에서, TV(100)의 스크린(101)과 스크린(101) 주변의 벽면을 포함하여 촬영한 캡쳐영상(133)을 획득한다.

모바일 기기(10)는, 촬영된 캡쳐영상(133)을 벽지 및 타일 DB 서버(160)로 전송한다. 이 때, 벽지 및 타일 DB 서버(160)는 벽지 및 타일 등의 제조업체와 연계하거나 자체 수집을 통해 구현될 수 있다.

모바일 기기(10)는, 벽지 및 타일 DB 서버(160)로 전송된 캡쳐영상(133) 중 배경영역(132)에 해당하는 이미지가 벽지 및 타일 DB에 저장되어 있는 패턴이미지들 중 하나와 일치하는지 검색하고, 일치하는 패턴이미지(161)가 존재하는 경우, 해당 패턴이미지(161)를 벽지 및 타일 DB 서버(160)로부터 직접 수신하거나, TV(100)로 전송되도록 할 수 있다.

일실시예로서, 모바일 기기(10)가 벽지 및 타일 DB 서버(160)로부터 패턴이미지(161)를 직접 수신하는 경우, 수신된 패턴이미지(161)를 이용하여 스크린영상을 생성하고, 이를 TV(100)로 전송하여 스크린(101)에 출력되도록 할 수 있다.

일실시예로서, 벽지 및 타일 DB 서버(160)를 통해 검색된 패턴이미지(161)를 TV(100)로 전송하는 경우, TV(100)는 수신된 패턴이미지(161)를 이용하여 스크린영상을 생성하고, 스크린(101)에 출력할 수 있다.

다른 실시예로서, 벽지 및 타일 DB 서버(160)가 아닌, 인터넷을 통한 검색 서비스를 통해 패턴이미지를 얻을 수 있다.

구체적으로, 모바일 기기(10)는 캡쳐영상(133) 중 배경영역(132)에 해당하는 이미지를 이미지 검색 서비스를 제공하는 서버로 전송하고, 서버의 검색 결과 일치하는 벽지 및 타일 이미지가 있는 경우, 해당 패턴이미지를 모바일 기기(10) 혹은 TV(100)에서 제공받을 수 있다.

모바일 기기(10)는 검색서비스 서버로부터 제공된 패턴이미지를 이용하여 직접 스크린영상을 생성 후 TV(100)로 전송할 수 있다. TV(100)에서 패턴이미지를 제공받는 경우에는, TV(100)가 스크린영상을 생성하여 스크린(101)에 표시할 수 있다.

도 18은 본 발명의 일실시예에 따른 TV 스크린 인식을 위한 방법을 도시한 예이다. 도 18에 도시된 바와 같이, 모바일 기기(10)를 이용하여 촬영된 캡쳐영상(133)으로부터 스크린의 영역(102)을 식별 가능하도록, 다양한 실시예가 마련될 수 있다.

일실시예로서, TV(100)는 스크린(101)의 경계부분에 가이드 UI(171)를 표시할 수 있다. 가이드 UI(171)는, 다양한 형상 및 색상을 가지는 마커로 구현될 수 있고, 모바일 기기(10)에서 촬영된 캡쳐영상(133)으로부터 가이드 UI(171)가 표시된 부분을 영상처리를 통해 스크린(101)의 테두리로 인식할 수 있다. 이에 따라, 가이드 UI(171)를 통해 테두리로 인식된 부분의 안쪽을 스크린의 영역(102)으로 식별할 수 있다.

여기서, 가이드 UI(171)는 TV(100)에서 자동으로 생성하여 표시하거나, 모바일 기기(10)로부터 전송되어 TV(100)가 표시할 수도 있다.

일실시예로서, 모바일 기기(10)에서 촬영된 캡쳐영상(133)으로부터 영상처리를 통해 TV(100)의 스크린(101)의 베젤 영역(172)을 인식할 수 있다. 이 때, 인식된 베젤 영역(172)을 스크린(101)의 테두리로 판단하고, 테두리의 안쪽을 스크린의 영역(102)으로 식별할 수 있다.

일실시예로서, TV(100)의 스크린(101)이 설치되어 있는 벽면에 스크린의 영역(102)을 식별 가능하도록 하는 물리적인 마커(173)를 부착할 수도 있다. 예로서, 스크린(101)의 네 모서리 부분에 해당하는 벽면의 위치에 물리적인 마커(173)를 부착하고, 모바일 기기(10)를 이용하여 촬영한 캡쳐영상(133)으로부터 영상처리를 통해 마커(173)를 인식할 수 있다. 이 때, 인식된 마커(173)와의 상대적인 위치를 통해 스크린(101)의 테두리를 인식하고, 테두리의 안쪽을 스크린의 영역(102)으로 식별할 수 있다.

도 19는 본 발명의 일실시예에 따른 TV 스크린 인식을 위한 방법을 도시한 예이다. 도 19에 도시된 바와 같이, 모바일 기기(10)를 이용하여 촬영된 캡쳐영상(133)으로부터 스크린의 영역(102)을 식별 가능하도록, TV(100)의 스크린(101)에 다양한 형태 및 색상을 가지는 가이드 UI가 표시될 수 있다.

일실시예로서, 스크린(101)의 테두리에 흰색 라인 형태를 가지는 마커(181)를 표시하고, 마커(181)의 안쪽을 회색으로 채우도록 할 수 있다. 이에 따라, 모바일 기기(10)에서 촬영되는 캡쳐영상(133)으로부터 마커(181)를 인식하고, 마커(181)의 안쪽에 회색으로 채워진 영역을 스크린의 영역(102)으로 식별할 수 있다.

또한, 상기와 같이 가이드 UI가 스크린(101)의 테두리에 표시되는 형태 외에도, 스크린(101)의 특정 영역을 특정 색으로 채우는 형태로 구현될 수도 있다.

예로서, 스크린(101)의 대각선 라인과 두 변에 의해 만들어지는 파란색의 직각 삼각형 형태를 가지는 마커(182)를 표시할 수 있다. 다른 예로서, 스크린(101)의 밑변의 양끝 꼭지점과 윗변의 중심점을 연결하는 파란색의 삼각형 형태를 가지는 마커(183)를 표시할 수도 있다.

상기와 같이, 스크린(101)의 특정 영역을 특정 색으로 채우는 형태의 가이드 UI(182, 183)를 표시하는 경우, 가이드 UI(182, 183)을 포함하는 사각 형태의 영역을 스크린의 영역(102)으로 식별할 수 있다.

도 20은 본 발명의 일실시예에 따른 배경영역으로부터 반복되는 패턴 최소 단위를 식별하여 스크린영상을 생성하는 예이다. 도시된 예는, 도 5의 동작 S52에서, 패턴 생성을 수행하는 방법의 일실시예를 보여준다.

도 20에 도시된 바와 같이, 스크린(101) 주변의 벽면과 유사한 패턴 생성을 위해, 프로세서(15)는, 캡쳐영상(133)의 배경영역(132)로부터 반복되는 패턴 최소 단위(202)의 크기를 식별하고, 식별된 크기의 패턴 최소 단위(202)를 이어 붙여 스크린영상(205)을 생성할 수 있다.

일실시예로서, 프로세서(15)는, 배경영역(132) 중 스크린의 영역(102) 상단 혹은 하단의 가로 패턴 탐색영역(203)으로부터 가로 패턴이미지(201)를 추출한다. 프로세서(15)는, 추출된 가로 패턴이미지(201)를 복사하여 동일한 두 개의 가로 패턴이미지(201)를 생성하고, 두 개의 가로 패턴이미지(201)를 겹쳐 픽셀 단위로 가로 방향으로 이동시키며 유사도 검색을 수행한다.

이와 같은 방식으로 두 개의 가로 패턴이미지(201)에 의해 가로 방향의 전체 픽셀이 탐색되면, 유사도가 높은 구간이 반복적으로 나타나고, 프로세서(15)는 반복되는 구간의 픽셀 간격(offset)을 계산하여 반복되는 가로 패턴 최소 단위(2011)를 획득할 수 있다. 도시된 예의 경우, 가로 패턴 최소 단위(2011)는 예컨대, 픽셀 간격(pixel offset) 50에 해당하는 크기를 가지고 있다.

프로세서(15)는, 세로 방향에 대해서도, 가로 방향과 같은 방식으로, 배경영역(132) 중 스크린의 영역(102) 좌측 혹은 우측의 세로 패턴 탐색영역(204)으로부터 반복되는 세로 패턴 최소 단위(미도시)를 획득할 수 있다.

프로세서(15)는, 상기와 같이 획득한 가로 패턴 최소 단위(2011) 및 세로 패턴 최소 단위(미도시) 각각의 크기, 즉 픽셀 간격을 이용하여, 스크린영상(205)를 생성하기 위한 패턴 최소 단위(202)를 얻을 수 있다.

예로서, 가로 패턴 최소 단위(2011)의 픽셀 간격이 50이고, 세로 패턴 최소 단위의 픽셀 간격이 70인 경우, 배경영역(132)의 좌측 상단으로부터 반복되는 50*70 크기의 패턴 최소 단위(202)를 추출할 수 있다.

프로세서(15)는 상기와 같이 추출된 패턴 최소 단위(202)를 가로 및 세로 방향으로 이어 붙이는 방식으로 스크린(101)의 주변 벽면과 패턴이 유사한 스크린영상(205)를 생성할 수 있다.

도 21 및 도 22는 본 발명의 일실시예에 따른 스크린영상의 색 보정시 누적 히스토그램 매칭을 이용하는 예이다. 도시된 예는, 동작 S521 혹은 S54에서 색 보정을 수행하는 동작의 일실시예를 보여주는 것이다.

도 21에 도시된 바와 같이, 프로세서(15)는, 색 보정(color calibration)을 위해, 배경영역(132)으로부터 복수의 레퍼런스(reference) 픽셀 이미지(211)를 추출하고, 스크린의 영역(102)으로부터 복수의 소스(source) 픽셀 이미지(212)을 추출한다.

프로세서(15)는, 추출된 복수의 레퍼런스 픽셀 이미지(211) 및 소스 픽셀 이미지(212)의 R, G, B 데이터 각각에 대해 누적 히스토그램(cumulative histogram)(213, 214, 215)을 생성한다. 이 때, R, G, B 데이터 각각의 누적 히스토그램(213, 214, 215)은, 레퍼런스 픽셀 이미지(211)에 대응하는 레퍼런스 라인(2110)과 소스 픽셀 이미지(212)에 대응하는 소스 라인(2120)으로 도시된다.

도 22에 도시된 바와 같이, 프로세서(15)는, 각각의 누적 히스토그램(213, 214, 215)에 대해, 소스 라인(2120)을 레퍼런스 라인(2110)에 가깝게 피팅(fitting)하기 위한 피팅 라인(220)을 추정하기 위해 예컨대, 선형 회귀모델(linear regression model) 추정 기법을 적용할 수 있다.

피팅 라인(220)을 추정하기 위한 선형 회귀 방정식(223)은 아래와 같다. 여기서, Xsrc는 소스 픽셀 이미지(212)의 픽셀값이고, Xref는 레퍼런스 픽셀 이미지(211)의 픽셀값이다. m 및 b는 선형 회귀 방정식(223)의 기울기 및 절편이다.

Xref = m * Xsrc + b

일실시예로서, 선형 회귀 방정식(223)을 추정하기 위한 방법으로서, 예컨대 경사도 하강(Gradient Descent) 방식을 이용하여 레퍼런스 라인(2110)에 가까운 피팅 라인(220)을 추정할 수 있다. 경사도 하강 방식은, 실제 데이터의 값과 선형 회귀 방정식(223)을 통해 추정한 데이터 값의 차이가 최소가 되도록 하는 파라미터들(m, b)을 찾아내는 것이다.

예로서, 선형 회귀 방정식(223)의 기울기(m) 및 절편(b)는, 도 22의 미분식(224)를 이용하여 추정될 수 있다.

상기와 같은 방식으로 추정된 선형 회귀 방정식(223)을 소스 픽셀 이미지(212)에 적용함에 의해, 배경영역(132)의 레퍼런스 픽셀 이미지(211)와 유사한 색상을 가지도록 스크린의 영역(102)에 표시되는 소스 픽셀 이미지(212)의 색상을 보정할 수 있다.

한편, 스크린영상의 색 보정과 관련하여, 아래의 실시예들을 적용할 수 있다.

일실시예로서, 프로세서(15)는, 최초에 촬영된 캡쳐영상(133)과, 스크린(101) 주변의 벽면과 유사한 패턴을 가지도록 생성한 스크린영상 간 색상 차이, 즉 RGB값의 차이를 비교하고, 색상 차이가 소정 범위 이상인 경우, 생성된 스크린영상에 대해 추가적인 색 보정을 수행할 수 있다.

일실시예로서, 프로세서(15)는, 생성된 스크린영상에 대해, 설치 환경 또는 장치에 따라 예컨대, 조명, 디스플레이 패널의 특성, 및 백라이트의 특성 등에 차이가 있는 점을 고려하여 추가적인 색 보정을 수행할 수 있다.

예로서, 프로세서(15)는, 주변 벽면과 유사한 패턴 및 컬러를 가지는 스크린영상을 생성한 후 TV(100)의 스크린(101)에 표시한 상태에서 재촬영하고, 재촬영된 스크린영상에 대해 색 보정을 수행할 수 있다. 즉, 재촬영된 스크린영상은 스크린영상의 생성 이전에 촬영된 캡쳐영상(130)과 비교하여 예컨대, 조명, 디스플레이 패널의 특성, 및 백라이트의 특성 등에 있어 변화가 생겼을 가능성이 있으므로, 이러한 변화를 반영하기 위해 색 보정을 수행하도록 한다.

상기와 같은 방법에 의하면, 주변 벽면과 유사한 패턴 및 컬러를 가지는 스크린영상의 생성시, 설치 환경 및 장치에 따른 변화를 반영하여, 좀더 정밀한 색 보정을 수행할 수 있다.

일실시예로서, 프로세서(15)는, 스크린영상을 생성한 이후, 주변 환경의 변화를 고려하여 추가적인 색 보정을 수행할 수 있다.

예로서, 전자장치(10)는 장치 내에 조도센서를 구비하거나, 장치 외부에 설치된 조도센서를 이용하여 주변 환경의 조도를 측정할 수 있다.

이 때, 프로세서(15)는, 조도센서에 의해 스크린영상의 생성시 측정된 조도와 스크린영상의 생성 이후 소정 시간이 지난 시점의 조도를 각각 측정하도록 하고, 조도가 소정 범위 이상 증가 혹은 감소하는 경우, 스크린영상의 생성 이후에 측정된 조도 환경에 맞도록 스크린영상에 대해 색 보정을 수행할 수 있다.

예로서, 밝은 낮 시간대에 스크린영상을 생성하고, 저녁이 되어 어두워진 상태에서 TV(10)에 스크린영상을 표시하는 경우, 낮에 생성된 스크린영상이 벽면의 밝기와 유사하지 않고, 벽면에 비해 더 밝을 수 있다. 이 경우, 스크린영상의 생성 시점 보다 어두워진 조도 환경을 반영하여, 생성된 스크린영상을 좀더 어둡게 보정함에 의해, 주변 벽면과 이질감이 없도록 조정할 수 있다.

상기와 같은 방법에 의해, 스크린 영상의 생성 이후, 조도 등의 주변 환경의 변화가 있는 경우, 이와 같은 변화를 반영하여, 주변 벽면과 유사한 스크린 영상을 생성할 수 있다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 특허청구범위 내에서 다양하게 실시될 수 있다.

10, 1300: 전자장치
11: 영상획득부
12, 1302: 영상처리부
13, 1303: 디스플레이부
102: 스크린의 영역
131: 캡쳐 가이드 UI
132: 배경영역
133: 캡쳐영상
14, 1304: 통신부
15, 1305: 프로세서
16, 1306: 사용자입력부
100: 디스플레이장치
101, 1301: 스크린
1310: 외부장치
171, 181,182, 183: 가이드 UI

Claims (20)

1. 전자장치에 있어서,
   스크린을 구비한 디스플레이장치와 통신할 수 있는 통신부와;
   전방의 캡쳐영상을 획득할 수 있는 영상획득부와;
   디스플레이부와;
   상기 캡쳐영상 중 상기 스크린의 영역을 식별하고,
   상기 캡쳐영상 중 상기 식별된 스크린의 영역 바깥쪽에 해당하는 배경영역으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출하고,
   상기 식별된 스크린의 영역에 상기 추출된 복수의 패치이미지를 순차적으로 배열하여 상기 스크린에 표시될 스크린영상을 생성하고,
   상기 생성된 스크린영상을 상기 통신부를 통해 상기 디스플레이장치로 전송하도록 하는 프로세서를 포함하는 전자장치.
2. 제1항에 있어서,
   상기 프로세서는, 상기 스크린영상의 속성과 상기 배경영역의 영상의 속성이 대응하도록 상기 스크린영상을 보정하는 전자장치.
3. 제1항에 있어서,
   상기 프로세서는, 상기 추출된 복수의 패치이미지와, 상기 배경영역 간 패턴의 유사도에 기초하여 상기 복수의 패치이미지 중에서 선택된 패치이미지를 순차적으로 배열하여 상기 스크린영상을 생성하는 전자장치.
4. 제1항에 있어서,
   상기 프로세서는, 상기 배경영역에서 반복되는 동일한 복수의 패턴 간의 간격을 식별하고, 상기 패턴 및 상기 간격에 기초하여 상기 스크린영상을 생성하는 전자장치.
5. 제1항에 있어서,
   상기 프로세서는, 상기 배경영역에 포함된 제1경계선을 식별하고, 상기 스크린영상에 포함될 제2경계선을 상기 제1경계선과 정합되도록 상기 스크린영상을 생성하는 전자장치.
6. 제1항에 있어서,
   상기 프로세서는, 상기 스크린의 영역과 상기 배경영역 간 RGB 값의 차이에 기초하여 상기 스크린영상의 색상을 보정하는 전자장치.
7. 제1항에 있어서,
   상기 프로세서는, 상기 스크린영상을 생성하는 동안, 상기 디스플레이부에 상기 스크린영상의 생성 과정을 안내하는 UI를 표시하는 전자장치.
8. 제1항에 있어서,
   상기 프로세서는, 상기 디스플레이부에 상기 스크린을 맞출 위치를 안내하는 캡쳐 가이드 UI를 표시하도록 제어하는 전자장치.
9. 제8항에 있어서,
   상기 프로세서는, 상기 디스플레이부에 상기 스크린이 표시되는 위치가 상기 캡쳐 가이드 UI로부터 벗어나는 경우, 경고 메시지를 표시하는 전자장치.
10. 전자장치의 프로세서에 의해 실행 가능한 인스트럭션이 기록된, 컴퓨터에 의해 독취 가능한 비휘발성의 기록매체에 있어서,
    상기 인스트럭션은, 상기 프로세서에 의해 실행되면, 영상획득부에 의해 획득되는 캡쳐영상 중 디스플레이장치의 스크린의 영역을 식별하고, 상기 캡쳐영상 중 상기 식별된 스크린의 영역 바깥쪽에 해당하는 배경영역으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출하고, 상기 식별된 스크린의 영역에 상기 추출된 복수의 패치이미지를 순차적으로 배열하여 상기 스크린에 표시될 스크린영상을 생성하고, 상기 생성된 스크린영상을 상기 디스플레이장치로 전송하도록 하는 것을 포함하는 기록매체.
11. 제 10항에 있어서,
    상기 인스트럭션은, 상기 스크린영상의 속성과 상기 배경영역의 영상의 속성이 대응하도록 상기 스크린영상을 보정하는 것을 포함하는 기록매체.
12. 전자장치의 제어방법에 있어서,
    전방의 캡쳐영상을 획득하는 단계와;
    상기 캡쳐영상 중 디스플레이장치의 스크린의 영역을 식별하는 단계와;
    상기 캡쳐영상 중 상기 식별된 스크린의 영역 바깥쪽에 해당하는 배경영역으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출하는 단계와;
    상기 식별된 스크린의 영역에 상기 추출된 복수의 패치이미지를 순차적으로 배열하여 상기 스크린에 표시될 스크린영상을 생성하는 단계와;
    상기 생성된 스크린영상을 상기 디스플레이장치로 전송하는 단계를 포함하는 전자장치의 제어방법.
13. 제12항에 있어서,
    상기 스크린영상의 속성과 상기 배경영역의 영상의 속성이 대응하도록 상기 스크린영상을 보정하는 단계를 더 포함하는 전자장치의 제어방법.
14. 제12항에 있어서,
    상기 스크린영상을 생성하는 단계는, 상기 추출된 복수의 패치이미지와, 상기 배경영역 간 패턴의 유사도에 기초하여 상기 복수의 패치이미지 중에서 선택된 패치이미지를 순차적으로 배열하여 상기 스크린영상을 생성하는 단계를 포함하는 전자장치의 제어방법.
15. 제12항에 있어서,
    상기 스크린영상을 생성하는 단계는, 상기 배경영역에서 반복되는 동일한 복수의 패턴 간의 간격을 식별하고, 상기 패턴 및 상기 간격에 기초하여 상기 스크린영상을 생성하는 단계를 포함하는 전자장치의 제어방법.
16. 전자장치에 있어서,
    촬상 가능한 외부기기와 통신할 수 있는 통신부와;
    스크린을 구비한 디스플레이부와;
    상기 외부기기로부터 캡쳐영상을 수신하고,
    상기 캡쳐영상 중 상기 스크린의 영역을 식별하고,
    상기 캡쳐영상 중 상기 식별된 스크린의 영역 바깥쪽에 해당하는 배경영역으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출하고,
    상기 식별된 스크린의 영역에 상기 추출된 복수의 패치이미지를 순차적으로 배열하여 상기 스크린에 표시될 스크린영상을 생성하고,
    상기 생성된 스크린영상을 상기 스크린에 표시하도록 하는 프로세서를 포함하는 전자장치.
17. 제16항에 있어서,
    상기 프로세서는, 상기 스크린영상의 속성과 상기 배경영역의 영상의 속성이 대응하도록 상기 스크린영상을 보정하는 전자장치.
18. 제16항에 있어서,
    상기 프로세서는, 상기 추출된 복수의 패치이미지와, 상기 배경영역 간 패턴의 유사도에 기초하여 상기 복수의 패치이미지 중에서 선택된 패치이미지를 순차적으로 배열하여 상기 스크린영상을 생성하는 전자장치.
19. 제16항에 있어서,
    상기 프로세서는, 상기 디스플레이부에 상기 스크린의 영역을 식별할 수 있도록 가이드 UI를 표시하는 전자장치.
20. 전자장치의 제어방법에 있어서,
    촬상 가능한 외부기기로부터 캡쳐영상을 수신하는 단계와;
    상기 캡쳐영상 중 상기 전자장치의 스크린의 영역을 식별하는 단계와;
    상기 캡쳐영상 중 상기 식별된 스크린의 영역 바깥쪽에 해당하는 배경영역으로부터 소정 단위크기를 가지는 복수의 패치이미지를 추출하는 단계와;
    상기 식별된 스크린의 영역에 상기 추출된 복수의 패치이미지를 순차적으로 배열하여 상기 스크린에 표시될 스크린영상을 생성하는 단계와;
    상기 생성된 스크린영상을 상기 스크린에 표시하는 단계를 포함하는 전자장치의 제어방법.
    

Images