KR101920323B1 - 논리적 화면 표시장치 생성 시스템 및 방법 - Google Patents

Abstract

본 발명에 따른 논리적 화면 표시장치를 생성하는 시스템은 하나 이상의 콘텐츠를 하나 이상의 디바이스로부터 수신하는 통신모듈, 상기 콘텐츠를 상기 논리적 화면 표시장치에 출력시키기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 물리적 화면 표시장치의 출력 범위 내의 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정하고, 상기 설정된 논리적 화면 표시객체의 영역에 상기 수신한 콘텐츠를 출력시키는 하나 이상의 논리적 화면 표시장치를 생성하되, 상기 물리적 화면 표시장치와 상기 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 갖고, 상기 논리적 화면 표시객체와 상기 논리적 화면 표시장치는 M 대 N(M, N≥1)의 상호 관계를 갖는다.

Description

논리적 화면 표시장치 생성 시스템 및 방법{SYSTEM AND METHOD FOR GENERATING LOGICAL DISPLAY APPARATUS}

본 발명은 논리적 화면 표시장치 생성 시스템 및 방법에 관한 것이다.

종래의 물리적 화면 표시장치를 이용하는 기술은 단일의 화면 표시장치나, 이러한 화면 표시장치들을 묶어서 화면의 크기와 해상도를 확장시키는 멀티비전 시스템을 이용하여 콘텐츠를 출력시켰다. 또는 1개 이상의 프로젝터를 묶어서 벽, 천장, 바닥과 같은 임의의 표면에 원하는 콘텐츠를 표출시키는 등의 방법을 이용하였다.

이러한 종래 기술의 경우 물리적인 화면 표시장치의 수는 복수 개이나 통상적으로 단일한 논리적 화면 표시장치로 인식하도록 구성되어 제어 및 콘텐츠 재생이 용이하였다.

예를 들어, 특정 모니터를 HDMI와 같은 연결선을 이용하여 호스트 컴퓨터에 연결하면, 컴퓨터는 모니터의 제조사, 해상도 정보 등을 전달받고, 이를 통해 디바이스 드라이버를 검색하여 쓰거나 검색되지 않은 경우 디바이스 드라이버를 설치하여 논리적 화면 표시장치를 구성함으로써 화면 표시장치로 사용할 수 있도록 하였다.

또 다른 예로, 스마트 TV와 같은 장치는 UPNP, 봉주르, DLNA 등의 기술을 적용하여 유선 또는 무선의 네트워크 상에서 논리적 화면 표시장치로 스마트 TV를 인식할 수 있게 하고, 콘텐츠를 전송하여 재생할 수 있도록 하였다.

이러한 논리적 화면 표시장치는 통상적으로 물리적 화면 표시장치들과 직접 대응되었다. 그러나 물리적 화면 표시장치의 해상도가 4K, 8K, 12K로 대형화되었고, 심지어 벽이나 천장을 화면으로 구성하거나, 다수의 프로젝터를 조합하여 대형 스크린을 구성하는 경우, 넓은 화면 표시장치를 다양한 용도로 사용할 수 있게 됨과 동시에 문제점들이 대두되기 시작하였다.

즉, 화면 표시장치의 해상도가 높아지고, 크기가 상하좌우로 확장되면서 화면 표시장치의 표시영역이 시청자가 한 번에 볼 수 있는 시청 각도를 벗어나게 되는 문제가 있었다. 예를 들어, IMAX 영화나 파노라마 영화와 같은 고해상도 콘텐츠를 제외하면 통상적으로 콘텐츠는 임계 시청 각도 안에서 표출되도록 제작되나, 넓어진 표시영역으로 인해 기존의 콘텐츠들은 화면 표시장치의 일부만을 사용하여 표출하게 되고, 나머지 영역들은 이용하지 못하게 되는 문제가 있었다.

또한, 다양한 화면 표시환경의 등장과 함께, 프로젝터와 같은 물리적 화면 표시장치를 사용하는 시스템에서는 화면 표시공간과 표출되는 물리적 공간과의 부조화 문제가 발생할 수 있다.

예를 들어, 액자나 달력 등이 걸려있는 벽, 또는 복잡하거나 어두운 패턴이 국부적으로 존재하는 영역에 프로젝터로 콘텐츠를 표출하게 되면, 일정하지 않은 빛의 반사, 흡수, 산란 등의 문제로 콘텐츠는 온전히 표출될 수 없게 된다.

또한, 표출하는 영역에 TV나 모니터와 같은 다른 형태의 물리적 화면 표시장치가 존재하는 경우 콘텐츠가 서로 겹쳐서 표시되는 문제가 발생하게 된다.

이와 같이 고해상도를 가지며 다수의 물리적 화면 표시장치들이 결합된 화면 표시 환경에서 상술한 문제점들을 해소하기 위한 기술 개발이 필요한 실정이다.

이와 관련하여, 한국공개특허공보 제10-2009-0078168호(발명의 명칭: 레이어 화면을 이용하여 멀티화면이 구현된 표시장치를 갖는 전자 게시판)는 멀티화면 전자게시판의 표시장치를 화면 분할하여, 분할된 화면에 동영상 등의 서로 다른 멀티미디어 콘텐츠를 배치하여 각 멀티미디어 콘텐츠가 각각의 분할된 화면 상에 재생되도록 하는 기술을 개시하고 있다.

본 발명의 실시예는 물리적 화면 표시장치의 특징 및 표시환경을 고려하여, 사물공간의 인지 또는 사용자의 명시적 조작을 통해 논리적 화면 표시객체로 구성되는 논리적 화면 표시장치를 생성하고, 이와 같이 생성된 논리적 화면 표시장치를 독립적인 화면 표시장치로 이용하여 콘텐츠를 출력시킬 수 있는 논리적 화면 표시장치 생성 시스템 및 방법을 제공한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 논리적 화면 표시장치를 생성하는 시스템은 하나 이상의 콘텐츠를 하나 이상의 디바이스로부터 수신하는 통신모듈, 상기 콘텐츠를 상기 논리적 화면 표시장치에 출력시키기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 물리적 화면 표시장치의 출력 범위 내의 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정하고, 상기 설정된 논리적 화면 표시객체의 영역에 상기 수신한 콘텐츠를 출력시키는 하나 이상의 논리적 화면 표시장치를 생성하되, 물리적 화면 표시장치와 상기 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 갖고, 상기 논리적 화면 표시객체와 상기 논리적 화면 표시장치는 M 대 N(M, N≥1)의 상호 관계를 갖는다.

상기 물리적 화면 표시장치는 직접 표출형, 투명형 및 반사형 물리적 화면 표시장치를 포함할 수 있다.

상기 프로세서는 독립적인 화면 표시장치로 이용하기 위하여 상기 생성된 복수의 논리적 화면 표시장치를 복수의 디바이스에 각각 대응시키고, 상기 통신모듈을 통해 복수의 디바이스로부터 콘텐츠를 수신하여 상기 대응되는 논리적 화면 표시장치에 각각 출력시킬 수 있다.

상기 프로세서는 상기 논리적 화면 표시장치가 복수 개인 경우, 기 설정된 연관관계에 기초하여 상기 복수 개의 논리적 화면 표시장치를 그룹화하되, 상기 기 설정된 연관관계는 상기 물리적 화면 표시장치의 성능관계, 물리적 위치관계 및 논리적 연관관계 중 하나 이상에 기초하여 설정될 수 있다.

상기 프로세서는 상기 수신한 콘텐츠를 상기 생성된 논리적 화면 표시장치에 대응되도록 보정하되, 상기 보정은 상기 콘텐츠에 대한 영상의 해상도 조절, 영상의 기하학적 표시 형태 변환, 색상 조절, 밝기 조절, 워핑, 노이즈 제거, 엘리어싱 제거 연산 및 3차원 변환 중 하나 이상을 포함할 수 있다.

상기 프로세서는 상기 물리적 화면 표시장치에 출력된 이미지 및 동영상 중 하나 이상을 포함하는 배경영역 콘텐츠에 포함된 사물공간의 정보에 기초하여 상기 논리적 화면 표시객체의 영역을 자동으로 설정하고, 이에 기초하여 상기 논리적 화면 표시장치를 생성할 수 있다.

상기 프로세서는 상기 배경영역 콘텐츠에 포함되거나 포함되지 않은 사물공간 중 상기 논리적 화면 표시객체의 영역으로 적합한 후보영역을 검출하고, 상기 후보영역 중 기 설정된 조건을 만족하는 후보영역을 상기 논리적 화면 표시객체의 영역으로 설정하며, 상기 설정된 논리적 화면 표시객체의 영역에 기초하여 상기 논리적 화면 표시장치를 생성하되, 상기 기 설정된 조건은 상기 사물공간의 형태, 넓이, 부피 및 색상 중 하나 이상을 포함할 수 있다.

본 발명의 일 실시예는 상기 사물공간을 촬영하는 센싱부를 더 포함하되, 상기 프로세서는 상기 촬영된 사물공간의 정보를 분석하여 자동으로 상기 논리적 화면 표시장치를 생성하거나, 상기 생성된 논리적 화면 표시장치를 사용자에게 추천할 수 있다.

상기 사물공간의 물리적 위치 및 방향에 변화가 발생한 경우, 상기 프로세서는 상기 센싱부를 통해 상기 변화를 감지하여 상기 발생된 위치 및 방향에 대응하도록 상기 논리적 화면 표시객체의 영역을 보정할 수 있다.

상기 프로세서는 상기 물리적 화면 표시장치 및 상기 센싱부의 위치에 관한 좌표나, 각각의 내부 및 외부 파라미터를 상기 보정을 위한 정보로 획득하고, 상기 보정을 위한 정보에 기초하여 상기 논리적 화면 표시객체의 영역을 보정할 수 있다.

상기 프로세서는 상기 센싱부에 의해 촬영된 상기 사물공간을 상기 물리적 화면 표시장치에 출력시키되, 상기 사물공간의 정보에 기초하여 생성된 논리적 화면 표시장치를 상기 촬영된 사물공간에 합성하여 출력시킬 수 있다.

또한, 본 발명의 제 2 측면에 따른 논리적 화면 표시장치를 생성하는 방법은 물리적 화면 표시장치의 출력 범위 내의 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정하는 단계; 하나 이상의 디바이스로부터 하나 이상의 콘텐츠를 수신하는 단계; 상기 설정된 논리적 화면 표시객체의 영역에 상기 수신한 콘텐츠를 출력시키는 하나 이상의 논리적 화면 표시장치를 생성하는 단계 및 상기 논리적 화면 표시장치에 상기 수신한 콘텐츠를 출력시키는 단계를 포함한다. 이때, 물리적 화면 표시장치와 상기 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 갖고, 상기 논리적 화면 표시객체와 상기 논리적 화면 표시장치는 M 대 N(M, N≥1)의 상호 관계를 갖는다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 물리적 화면 표시장치의 화면 표시영역을 사물공간으로 확장시킴으로써, 다양한 기하학적 형태를 갖는 임의의 개수의 논리적 화면 표시장치를 생성할 수 있다.

또한, 생성된 논리적 화면 표시장치들을 네트워크 상에서 다른 디바이스들이 독립적인 화면 표시장치로 인식할 수 있으며, 디바이스들이 물리적 화면 표시장치와 같이 논리적 화면 표시장치들을 선택하여 콘텐츠 전송하여 출력되도록 할 수 있다.

또한, 논리적 화면 표시장치에 대응하는 물리적 환경의 특성에 따라 콘텐츠를 보정 및 합성도 가능하다는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 논리적 화면 표시장치를 생성하는 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에서 사물공간 및 논리적 화면 표시객체의 영역을 설명하기 위한 도면이다.
도 3은 배경영역 콘텐츠에 포함된 사물공간 중 적합한 논리적 화면 표시객체의 영역을 선택하는 내용을 설명하기 위한 도면이다.
도 4는 사물공간 중 적합한 논리적 화면 표시객체의 영역을 선택하는 내용을 설명하기 위한 도면이다.
도 5a 내지 도 5c는 논리적 화면 표시장치, 물리적 화면 표시장치 및 논리적 화면 표시 객체의 상호 관계를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에서의 센싱부를 설명하기 위한 도면이다. 도 7은 센싱부를 이용하여 논리적 화면 표시장치를 생성하는 예시를 설명하기 위한 도면이다.
도 8a 내지 도 8d는 본 발명의 일 실시예에서의 보정 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 방법의 순서도이다.
도 10은 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템 및 방법을 이용하는 실시예를 설명하기 위한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 논리적 화면 표시장치를 생성하는 시스템(100)을 설명하기 위한 블록도이다.

본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 통신모듈(110), 메모리 및 프로세서(130)를 포함한다.

통신모듈(110)은 하나 이상의 디바이스와 데이터를 송수신할 수 있으며, 디바이스로부터 하나 이상의 콘텐츠를 수신할 수 있다.

여기에서, 통신모듈(110)은 유선 통신모듈 및 무선 통신모듈을 모두 포함할 수 있다. 유선 통신모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신모듈은 상술한 UNB, WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.

한편, 본 발명의 일 실시예에서 콘텐츠는 별도의 디바이스로부터 수신할 수도 있고, 이와 더불어 내부 로컬 폴더나 원격 스트리밍을 통해 직접 콘텐츠를 제공받을 수도 있음은 물론이다.

한편, 본 발명에서의 디바이스는, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등이나, 휴대용 단말기에 인터넷 통신과 정보 검색 등 컴퓨터 지원 기능을 추가한 지능형 단말기로서, 사용자가 원하는 다수의 응용 프로그램(즉, 애플리케이션)을 설치하여 실행할 수 있는 휴대폰, 스마트 폰(smart phone), 패드(Pad), 스마트 워치(Smart watch), 웨어러블(wearable) 단말, 기타 이동통신 단말 등일 수 있다.

뿐만 아니라, 케이블 TV, IPTV, 위성 방송, 공중파 데이터 방송, DMB, 인터넷 방송 등 방송 서비스와 연동되는 TV 형태로 구현될 수 있으며, 후술하는 물리적 화면 표시장치(200)일 수도 있다.

메모리(120)에는 콘텐츠를 논리적 화면 표시장치(300)에 출력시키기 위한 프로그램이 저장된다. 여기에서, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.

예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.

프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다.

구체적으로 프로세서(130)는 물리적 화면 표시장치(200)의 출력 범위 내의 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정하고, 설정된 논리적 화면 표시객체의 영역에 콘텐츠를 출력시키기 위한 하나 이상의 논리적 화면 표시장치(300)를 생성한다.

즉, 본 발명의 일 실시예는 물리적 화면 표시장치(200)에 대하여 논리적 화면 표시장치(300)의 기능을 추가함으로써, 임의의 개수의 논리적 화면 표시장치(300)를 만들어 이를 각각 개별적인 화면 표시장치로 인식하게 하고, 네트워크 상에서 별개의 디바이스들이 검색 및 이용할 수 있게끔 할 수 있다.

이러한 본 발명은 표출해야 할 콘텐츠 영역이 물리적 화면 표시장치(200)의 화면 표시영역 전체를 활용할 필요가 없는 상황이나, 고해상도를 지원하는 물리적 화면 표시장치에서 유용하다.

즉, 종래의 PIP(Picture In Picture) 기능이나, 프로젝션 매핑과 같은 기술에서도 다수의 영역을 분할하여 서로 다른 콘텐츠를 표출할 수 있었으나, 본 발명의 일 실시예의 경우 화면 표시영역을 독립적인 화면 표시장치로서의 기능을 수행하는 논리적 화면 표시장치(300)로 이용 가능하다는 점에서 차이가 있다.

이때, 물리적 화면 표시장치(200)는 데이터를 시각적으로 화면에 표시하는 장치로써, 직접 표출형, 투명형 및 반사형 물리적 화면 표시장치를 포함할 수 있다. 이러한 물리적 화면 표시장치(200)는 독립적인 형태를 가지며, composite, component, DSub, DVI, HDMI나 Display port와 같은 콘텐츠 전달 인터페이스를 구비하여 콘텐츠를 표시할 수 있는 물리적 장치를 의미한다.

예를 들어, 직접 표출형 물리적 화면 표시장치의 경우, PDP, LCD, OLED와 같이 화면 표시정보가 표면으로 투과되어 나오는 형태로서, 화면 표시정보가 물리적으로 표출되는 화면 표시영역은 변하지 않는다. 또한, 화면 표시영역에는 화면 표시정보만이 시각적으로 인지된다.

투명형 물리적 화면 표시장치의 경우, 평상시에는 유리처럼 배경이 보일 정도의 투과율을 지닌 매질이지만, 박막 트랜지스터 등을 매질에 삽입하여 제어를 통해 화면 표시정보가 해당 매질에 표시될 수 있게 하는 물리적 장치를 의미한다. 이러한 투명형 물리적 화면 표시장치는 화면 표시정보가 물리적으로 최종 표출되는 화면 표시영역은 변하지 않는다. 그러나 화면 표시영역에는 배경의 텍스처와 화면 표시정보가 중첩되어 동시에 시각적으로 인지될 수 있다. 또한, 관측자와의 상대적인 위치나 방향이 변하는 경우에도 화면 표시정보가 중첩되어 시각적으로 인지될 수 있다.

반사형 물리적 화면 표시장치의 경우, 빔 프로젝션이나 반투명 거울을 통한 안경 방식의 물리적 화면 표시장치와 같이 화면 표시정보가 물체의 표면에 반사되어 정보를 획득할 수 있게 하는 형태의 물리적 화면 표시장치를 말한다.

이러한 반사형 물리적 화면 표시장치는 화면 표시장치와 사물공간이 서로 움직이지 않는다면 물리적으로 표출되는 화면 표시영역도 고정된다. 하지만, 화면 표시장치나 사물공간의 변화는 화면 표시영역의 변화로 이어지게 된다.

또한, 화면 표시영역에는 사물공간의 표면 색상, 반사율, 무늬 등에 따라 화면 표시정보와 상호 중첩되어 시각적으로 동시에 인지될 수 있다.

한편, 논리적 화면 표시객체는 콘텐츠를 입력받아 보정하고 표출하는 화면의 논리적인 단위로써, 입력 콘텐츠들 및 물리적 화면 표시장치(200)들에 각각 표출될 수 있다. 예를 들어, 다수 개의 물리적 화면 표시장치(200)들이 하나의 논리적 화면 객체에 대응하거나 한 개의 물리적 화면 표시장치(200)가 다수 개의 논리적 화면 표시 객체로 이루어질 수 있다. 논리적 화면 표시객체는 삼각형, 사각형, 컨벡스(Convex) 형태의 다각형, 컨케이브(Concave) 형태의 다각형, 3D 실린더(Cylinder), 3D 큐브(Cube), 3D 원뿔(Cone), 3D 구(Sphere), 포인트 클라우드(Point Cloud) 형태의 3차원 정보, 메쉬(Mesh)로 구성된 3D 객체 등을 포함할 수 있다.

이러한 논리적 화면 표시객체를 구성하는 2차원 또는 3차원 영역 정보가 논리적 화면 표시객체의 영역에 해당한다. 예를 들어, 국부적인 평면들로 구성된 사물공간은 삼각형, 사각형, 다각형, 원, 타원을 포함하는 2차원 논리적 화면 표시객체의 영역으로 설정할 수 있으며, 여기에 부가적으로 공간상의 거리 정보까지 획득 가능한 경우 3차원 영역으로 설정될 수 있다.

이때, 논리적 화면 표시객체의 경우 정적 및 동적 논리적 화면 표시객체로 구분될 수 있다.

정적 논리적 화면 표시객체의 경우 화면 표시장치의 위치, 방향, 초점거리를 포함하는 여러가지 내부 파라미터 및 외부 파라미터의 변경이 없는 상태에서, 시간에 따라 논리적 화면 표시객체에 대응하는 사물공간의 물체의 위치나 모양에 변화가 없는 논리적 화면 표시객체를 의미한다.

그리고 동적 논리적 화면 표시객체의 경우 상술한 상태에서 시간에 따라 논리적 화면 표시객체에 대응하는 사물공간의 물체의 위치나 모양에 변화가 발생하는 논리적 화면 표시객체를 의미한다.

이러한 논리적 화면 표시객체의 영역에 기초하여 생성되는 논리적 화면 표시장치(300)는 소프트웨어적으로 물리적 화면 표시장치의 역할을 하기 위한 것으로써, 소정의 과정을 통해 디바이스들이 별도의 소프트웨어 프로그램을 통해 상기 생성된 논리적 화면 표시장치(300)를 검색 및 인식할 수 있고, 기능 제어도 가능하며, 연관된 물리적 화면 표시장치(200)에 콘텐츠를 표출할 수 있도록 할 수 있다.

즉, 프로세서(130)에 의해 생성된 논리적 화면 표시장치(300)는 이더넷, WiFi, 블루투스와 같은 유무선통신 환경에서 각각 독립적인 모니터처럼 인식되게 하고, 화면 정보를 송수신할 수 있도록 할 수 있다. 또한, 자체 웹 서버 기능을 내장하여 설정을 변경하거나 데이터를 송수신할 수 있다.

또한, 프로세서(130)는 생성된 논리적 화면 표시장치(300)가 복수 개인 경우, 기 설정된 각각의 연관관계에 기초하여 그룹화된 논리적 화면 표시장치를 생성할 수 있다.

이때, 기 설정된 연관관계는 다수의 물리적 화면 표시장치(200)가 존재할 때, 물리적 화면 표시장치(200)의 성능관계나, 또는 물리적으로 인접하거나 또는 서로 겹치거나, 하나가 다른 하나를 포함하는 등의 물리적 위치 관계를 포함할 수 있다. 또는, 데이터 구조에서 트리구조와 같이 부모노드, 자식노드와 같은 논리적 연관 관계를 포함할 수도 있다.

이와 같은 기 설정된 정보는 별도의 변경 요청이 있지 않으면 그대로 유지되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.

한편, 본 발명의 일 실시예에서 생성되는 논리적 화면 표시객체의 영역은 프로세서(130)에 의해 자동으로 인식되어 논리적 표시장치(300)로 생성 및 추천될 수도 있으며, 사용자의 명시적인 설정에 의해 논리적 화면 표시객체의 영역이 형성되어 논리적 표시장치(300)로 생성될 수도 있다.

이를 위해 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 사용자의 명시적인 설정 또는 추천에 의해 선택 입력을 위한 사용자 인터페이스(미도시)가 제공될 수 있다. 이러한 사용자 인터페이스는 예를 들어, 본 발명의 일 실시예에 따른 기능을 제공하기 위한 네트워크 주소에 접속하여 화면 영역 및 특징을 설정할 수 있다.

이러한 사용자 인터페이스는 휴대 단말, PC 등과 같은 별도의 사용자 디바이스를 통해 제공되거나 또는 본 발명이 특정 장치나 프로그램에 탑재되는 경우 별도의 프로그램 기능으로 구현되는 등 다양한 형태로 구현되어 실시될 수 있다.

도 2는 본 발명의 일 실시예에서 사물공간 및 논리적 화면 표시객체의 영역을 설명하기 위한 도면이다.

도 1에서 설명한 바와 같이 프로세서(130)는 물리적 화면 표시장치(200)의 출력 범위(B) 내에의 사물공간(A)에 대하여, 사물공간(A)의 특성을 고려하여 다양한 기하학적 형태를 갖는 임의의 개수의 논리적 화면 표시장치(300)를 생성하고, 이를 각각의 독립적인 화면 표시장치로 사용할 수 있다.

예를 들어, 도 2와 같이 물리적 화면 표시장치(200)로 하나 이상의 프로젝터를 포함하는 경우, 사물공간은 2차원 상의 일정 영역(A1, A2)이나 3차원 상의 일정 영역(A3)이 될 수 있다. 프로세서(130)는 이들 사물공간(A1~A3)에 대하여 선택하여 논리적 화면 표시객체의 영역으로 설정함으로써 논리적 화면 표시장치(300)를 생성할 수 있다.

한편, 프로젝터로 사물 공간에 정보를 프로젝션하면 반사광은 주변 사물의 형태나 특징에 따라 빛이 흡수되고 반사되어 원래 표출했던 화면 표시정보와는 다른 정보가 관측자에게 시각적으로 받아들여지게 된다.

본 발명의 일 실시예는 투명형 및 반사형 물리적 화면 표시장치를 포함하는 화면 표시장치의 경우, 화면 표시정보가 관측자에게 시각적으로 받아들여질 때 사물공간의 위치나 형태에 따라 화면 표시정보가 관측자에게 시각적인 영향을 미치게 되는 경우에도 논리적 화면 표시장치를 구성하도록 할 수 있다.

즉, 투명형 물리적 화면 표시장치의 경우, 배경에 임의의 무늬가 존재하면 원래의 화면 표시정보와 중첩되어 관측자에게 인지됨에 따라 원활한 정보전달이 어려운 문제점이 있었다.

또한, 반사형 물리적 화면 표시장치의 경우, 배경에 무늬나 3차원 굴곡, 반사율이 떨어지는 어두운 영역이 존재하면 원래의 화면 표시정보가 관측자에게 쉽게 인지되기 어려운 문제점이 있었다.

또한, 프로젝션 매핑과 같은 종래의 기술에서도 반사형 물리적 화면 표시장치에 매핑된 사물 표면 영역을 일종의 화면 표시영역처럼 사용하는 방식을 사용하였으나, 종래에는 복수의 표시 영역을 구성하기 위해서 사용자가 수동으로 영역을 설정해주어야만 했다. 이러한 영역이 많아질수록 소요 시간이 증가하고 이에 따라 콘텐츠 제작 비용이 증가하게 되는 문제가 있었다.

본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 상술한 문제점을 해소하기 위하여, 사물공간 또는 배경영역으로 입력된 콘텐츠에 포함된 사물공간 중 논리적 화면 표시객체의 영역으로 적합한 영역을 선별할 수 있는바, 도 3 및 도 4를 참조하여 설명하도록 한다.

도 3은 배경영역 콘텐츠에 포함된 사물공간 중 적합한 논리적 화면 표시객체의 영역을 선택하는 내용을 설명하기 위한 도면이다. 도 4는 사물공간 중 적합한 논리적 화면 표시객체의 영역을 선택하는 내용을 설명하기 위한 도면이다.

먼저 도 3을 참조하면, 프로세서(130)는 이미지 및 동영상 중 하나 이상을 포함하는 배경영역 콘텐츠(P1)을 입력받으면 이를 물리적 화면 표시장치(200)에 출력시킬 수 있다. 이때, 프로세서(130)는 물리적 화면 표시장치(200)에 출력된 배경영역 콘텐츠(P1’)에 포함된 사물공간의 정보에 기초하여 논리적 화면 표시객체의 영역(영역 1, 영역 2)을 자동으로 설정하고, 이에 기초하여 논리적 화면 표시장치(300)를 생성할 수 있다.

이때, 프로세서(130)는 배경영역 콘텐츠(P1)에 포함된 사물공간 중 논리적 화면 표시객체의 영역으로 적합한 후보영역을 검출할 수 있다.

후보영역의 검출은 기존의 영상처리 기법들이 활용될 수 있으며, 예를 들어 입력 영상에서 외곽선(contour) 영역을 검출하는 방법을 사용할 수 있다. 이를 통해 영상 내에 존재하는 다각형, 입체 정보 등을 추출할 수 있으며, 외곽선 상호간의 포함관계까지 계산이 가능하다.

또한, 외곽선 영역별로 특징값(Feature)을 추출할 수 있으며 이런 특징값은 영상에서 외곽선 영역의 위치가 바뀌거나, 크기가 변경되거나 회전했을때에도 가급적 변하지 않는 것이 바람직하다. 통상적으로 이를 불변성(invariant)이라 칭하며, 모멘트(Moment), Hu Moment, Zernike Moment를 계산하여 특징값을 기술할 수 있다. 이를 통해 넓이, 부피, 모양, 찌그러진 정도 등을 알아낼 수 있다.

한편, 후보영역을 검출하는 기법들은 상술한 특정 알고리즘으로 한정되는 것은 아님은 물론이다.

이와 같이 후보영역을 검출하고 나면, 적합하지 않은 후보영역을 제거하기 위하여, 후보영역 중 기 설정된 조건을 만족하는 후보영역을 추출하여 논리적 화면 표시객체의 영역으로 설정하고 이를 통해 논리적 화면 표시장치(300)로 생성할 수 있다.

이때, 기 설정된 조건은 배경영역 콘텐츠에 포함된 사물공간의 형태, 넓이, 부피 및 색상 중 하나 이상을 포함할 수 있으며, 이를 통해 논리적 화면 표시장치(300)의 모양을 한정할 수 있다.

다음으로 도 4를 참조하면, 프로세서(130)는 상술한 배경영역에 포함된 사물공간뿐만 아니라 배경영역에 포함되지 않은 사물공간을 대상으로 논리적 화면 표시객체의 영역으로 적합한 후보영역을 검출하여 논리적 화면 표시장치(300)를 생성할 수 있다.

도 4는 사물공간에 대해 7가지 특징적인 영역이 존재하는 것을 예시적으로 도시한 것이다.

먼저 ‘영역 1(R1)’은 밝은 색이면서 다른 영역들에 비해 뒤쪽에 위치하여 가려진 부분이 많은 배경영역으로 간주할 수 있다. ‘영역 2(R2)’는 밝은 색이면서 다른 영역들에 의한 가려짐이 없는 영역이며, ‘영역 3(R3)’은 밝은 색이면서 일정 각도로 기울어져 있고, ‘영역 7(R7)’에 의해 가려진 부분이 존재하는 영역이다. 또한, ‘영역 3(R3)’은 이동 가능한 영역일 수 있다.

‘영역 4(R4)’는 밝은 색이면서 가려진 부분이 없지만 모서리가 둥근 형태로써 일반적인 다각형이 아닌 영역이다.

‘영역 5(R5)’는 표면에 자체 색이 존재하여 반사 특성이 어느 정도 존재하면서 가려짐이 없는 영역이며 평면 형태가 아닌 3차원 정보로 기술되는 다면체로 간주할 수 있다.

‘영역 6(R6)’은 가려진 부분이 없는 3차원 정보로 기술되는 다면체로 간주할 수 있으나, 어두운 표면으로 인해 프로젝터와 같은 반사형 화면 표시장치에서 높은 비율로 빛을 흡수함으로 인해 표출된 정보를 온전히 확인하기 힘들 것으로 추정되는 영역으로 볼 수 있다.

마지막으로 ‘영역 7(R7)’은 밝은 색의 원통형의 입체 영역이다.

이러한 사물공간은 사물 표면이 움직이는지 여부, 표면의 밝기, 표면 무늬의 존재 유무, 다른 사물이나 패턴에 의한 가려짐의 존재 유무, 평면/입체 여부, 단순한 파라미터 영역을 기술할 수 있는지 여부 등으로 분류할 수 있다.

이러한 관점에서 상기 ‘영역 1(R1)’ 내지 ‘영역 7(R7)’을 살펴보면, ‘영역 6(R6)’은 빛을 흡수하는 성질로 인해 화면 표시장치로 적합하지 않은 영역에 해당한다. ‘영역 3(R3)’은 논리적 화면 표시장치(300)가 될 수 있는 영역이기는 하나, ‘영역 7(R7)’에 의해 가려져 있으므로 이를 고려하여 콘텐츠 보정이 필요한 영역이다. 또한, ‘영역 3(R3)’은 시간에 따라 움직일 수 있는 동적 영역에 해당하므로, 이에 대한 보정 처리도 필요하다.

한편, 도 4에는 도시되어 있지 않으나, 임계 크기 이하의 영역은 화면 표시장치의 영역이 매우 협소하기 때문에, 논리적 화면 표시장치(300)로 적합하지 않을 수 있다. 예를 들어, 가로 또는 세로의 어느 한 방향으로 치중되어 길게 형성된 경우, 정상적인 컨텐츠의 표현이 어렵기 때문에 논리적 화면 표시장치(300)로 적합하지 않게 된다.

또한, 삼각형 임의의 사각형, 컨벡스(convex) 형태의 다각형, 컨케이브(Concave) 형태의 다각형, 3D 실린더(Cylinder), 3D 큐브(Cube), 3D 원뿔(Cone), 3D 구(Sphere) 등의 메쉬로 표현될 수 있는 다양한 형태들도 논리적 화면 표시장치(300)에 적용될 수 있음은 상술한 바와 같다.

이러한 사물공간은 평상시에는 일반적인 생활 공간에 해당하나, 고유의 화면 표시영역으로 활용되는 경우 몰입감이 높은 미디어 환경을 제공할 수 있다. 이와 관련된 종래 기술의 경우 프로젝션 매핑, 미디어 파사드 기술 등이 존재한다. 그러나 기존의 프로젝션 매핑이나 미디어 파사드 구성 방법의 경우, 통상적으로 이런 화면 표시영역을 결정하기 위해 콘텐츠를 만드는 과정에서 사람이 직접 수동으로 작업해야 하는 문제가 있다는 점에서 본 발명과 차이가 있다.

이와 같이 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 배경영역에 포함되거나 배경영역이 아닌 일반적인 사물공간에 대해 기 설정된 조건을 적용하여 적합한 후보영역을 검출하거나 적합하지 않은 후보영역을 제거할 수 있다.

한편, 본 발명의 일 실시예에서 논리적 화면 표시장치(300)는 물리적 화면 표시장치(200)와 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 가질 수 있다. 그리고 논리적 화면 표시객체와 논리적 화면 표시장치(300)는 M 대 N(M, N≥1)의 상호 관계를 가질 수 있다. 이러한 논리적 화면 표시장치(300), 물리적 화면 표시장치(200) 및 논리적 화면 표시 객체의 상호 관계에 대하여 도 5a 내지 도 5c를 참조하여 구체적으로 설명하도록 한다.

도 5a 내지 도 5c는 논리적 화면 표시장치(300), 물리적 화면 표시장치(200) 및 논리적 화면 표시 객체의 상호 관계를 설명하기 위한 예시도이다.

본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 검출된 논리적 화면 표시객체의 특징을 분석하여 자동으로 단일 또는 다수 개의 논리적 화면 표시장치(300)를 구성하거나, 외부 인터페이스를 통한 소정의 절차를 통해 논리적 화면 표시장치(300)를 생성할 수 있다.

이에 따라, 도 5a와 같이 콘텐츠를 제공받아 출력되는 N개의 논리적 화면 표시장치(300-1~300-N)는 각각에 대해 보정 처리가 필요할 수도 있으며, M개의 논리적 화면 표시객체(a1~aM)와 각각 1:1의 상호 관계를 가질 수 있다. 이러한 논리적 화면 표시객체(a1~aM)는 단일한 물리적 화면 표시장치(200)를 통해 출력될 수 있다.

또 다른 예로, 도 5b와 같이 콘텐츠를 제공받아 출력되는 N개의 논리적 화면 표시장치(300-1~300-N)는 M개의 논리적 화면 표시객체(a1~aM)와 각각 1대다의 상호 관계를 가질 수 있다.

즉, ‘논리적 화면 표시장치 1’(300-1)은 1개의 논리적 화면 표시객체(a1)와 대응될 수 있고, ‘논리적 화면 표시장치 2’(300-2)는 3개의 논리적 화면 표시객체(a2~a4)와 대응될 수 있으며, ‘논리적 화면 표시장치 N’(300-N)은 1개의 논리적 화면 표시객체(aM)와 대응될 수 있다.

그리고 논리적 화면 표시객체(a1~aM)는 단일한 물리적 화면 표시장치(200)를 통해 출력될 수 있다.

또 다른 예로, 도 5c와 같이 콘텐츠를 제공받아 출력되는 N개의 논리적 화면 표시장치(300-1~300-N)와 M개의 논리적 화면 표시객체(a1~cM)는 각각 다대다의 상호 관계를 가질 수 있다.

즉, ‘논리적 화면 표시장치 1’(300-1)은 3개의 논리적 화면 표시객체(a1, a2, b1)와 대응될 수 있고, ‘논리적 화면 표시장치 2’(300-2)는 3개의 논리적 화면 표시객체(aM, bM, c1)와 대응될 수 있으며, ‘논리적 화면 표시장치 N’(300-N)은 2개의 논리적 화면 표시객체(bM, cM)와 대응될 수 있다.

또한, 논리적 화면 표시객체(a1~cM)는 복수의 물리적 화면 표시장치(200-1~200-K)를 통해 출력될 수 있다. 즉, 논리적 화면 표시객체 ‘a1~aM’은 ‘물리적 화면 표시장치 1’(200-1)에 출력될 수 있고, 논리적 화면 표시객체 ‘b1~bM’은 ‘물리적 화면 표시장치 2’(200-2)에 출력될 수 있으며, 논리적 화면 표시객체 ‘c1~cM’은 ‘물리적 화면 표시장치 K’(200-K)에 출력될 수 있다.

이와 같이 본 발명의 일 실시예는 논리적 화면 표시장치(300), 물리적 화면 표시장치(200) 및 논리적 화면 표시 객체 간의 상호 관계에 따라 다양한 구성을 제공할 수 있다는 장점이 있다. 또한, 복수 개의 물리적 화면 표시장치(200)가 대응되는 경우, 동종의 물리적 화면 표시장치가 이용될 수 있음은 물론이며, 직접 표출형과 투명형 및 반사형이 서로 조합되어 구성될 수도 있다.

한편, 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 상술한 바와 같이 수신한 콘텐츠를 논리적 화면 표시장치(300)에 대응되도록 하기 위하여 프로세서(130)가 콘텐츠를 보정할 수 있다.

즉, 물리적 화면 표시장치(200) 상에 표시된 논리적 화면 표시장치(300)에 대응되도록 하기 위하여, 프로세서(130)는 콘텐츠에 대한 영상의 해상도, 영상의 기하학적 형태, 색상, 밝기, 워핑, 노이즈 제거, 엘리어싱 제거 연산 및 3차원 변환 중 하나 이상을 수행할 수 있다.

즉, 고해상도 영상을 저해상도 영상으로, 또는 저해상도 영상을 고해상도 영상으로 리사이징할 수 있으며, 직사각형 형태의 영상을 평행사변형, 사다리꼴, 임의의 사각형 형태로 변환하는 처리도 가능하다. 그밖에 색상 조절, 밝기 조절, 영상 워핑, 노이즈 제거, 엘리어싱 절감 처리 등을 수행할 수도 있으며, 사각형 이외의 삼각형이나 원을 포함하는 임의의 다각형, 큐브, 원통, 원뿔, 구, 토러스를 포함하는 메쉬로 기술할 수 있는 3차원 객체와 관련된 보정 처리도 가능하다.

한편, 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 사물공간의 정보를 획득하기 위한 센싱부(140)를 더 포함할 수 있다.

도 6은 본 발명의 일 실시예에서의 센싱부(140)를 설명하기 위한 도면이다. 도 7은 센싱부(140)를 이용하여 논리적 화면 표시장치(300)를 생성하는 예시를 설명하기 위한 도면이다.

먼저 도 6을 참조하면, 센싱부(140)는 다양한 스펙트럼의 빛을 영상으로 변환시키거나, 관측점에서 사물까지의 깊이값을 수집하는 일반 카메라나, 스테레오 카메라, 깊이 카메라 등과 같은 영상 수집장치나, 단일 또는 다수개의 각종 센서로 구성될 수 있으며, 이를 통해 수집된 영상이나 깊이지도, 밝기 정보를 포함하는 센싱정보를 입력정보로 사용하여, 사물공간(A)의 특징적인 영역을 검출하여 사물공간(A)의 정보로 획득할 수 있다.

종래 기술의 경우 능동적으로 제어되는 엑츄에이터를 통해 카메라의 위치, 물리적 화면 표시장치의 위치, 화면 표시영역으로 사용되는 사물공간의 위치를 변경하고, 해당 파라미터를 직접 수집하였으나 이러한 방식은 많은 비용이 수반된다는 문제점이 있었다.

이에 반해 본 발명의 일 실시예는 이러한 사물공간(A)의 정보에 기초하여, 프로세서(130)는 논리적 화면 표시객체를 분석하고 이에 따라 자동으로 단일 또는 복수 개가 조합된 논리적 화면 표시장치(300)를 생성하거나, 생성된 논리적 화면 표시장치(300)를 사용자에게 추천할 수 있다는 장점이 있다.

도 7의 예시를 참조하면, 특정한 사물공간(A)이 존재할 때, 센싱부(140)를 통해 센싱된 사물공간(A)의 정보에 기초하여 프로세서(130)는 4개의 논리적 화면 표시객체(R2, R3, R5, R7)를 인식할 수 있고, 이에 기초하여 4개의 논리적 화면 표시장치(300-R2, 300-R3, 300-R5, 300-R7)를 구성하였다고 가정하자.

그리고 4개의 콘텐츠(C1~C4)들은 상기 4개의 논리적 화면 표시장치(300-R2, 300-R3, 300-R5, 300-R7)를 통해 출력될 수 있으며, 콘텐츠(C1~C4)들을 논리적 화면 표시장치(300-R2, 300-R3, 300-R5, 300-R7)의 특성에 맞게 보정하여 물리적 화면 표시장치(200)에 출력될 수 있도록 합성한다. 만약, 정상적으로 보정 및 합성된 경우, 합성 결과를 프로젝터와 같은 물리적 화면 표시장치(200)에 전송하게 되며 사물공간(A)의 위치와 매핑되어 콘텐츠가 출력되게 된다.

이에 따라, 도 7의 예시에서는 사각형의 논리적 화면 표시객체의 영역(R2)에 대응되는 논리적 화면 표시장치(300-R2)에는 하나의 콘텐츠(C2)가 출력되고, 큐브 형태의 논리적 화면 표시객체의 영역(R5)에 대응되는 논리적 화면 표시장치(300-R5)에는 세 개의 콘텐츠(C1~C3)가 출력될 수 있다.

한편, 도 7과 같이 콘텐츠를 논리적 화면 표시장치(300)에 출력시키기 위해서는 물리적 화면 표시장치(200)의 표출 영역과 콘텐츠 간의 보정이 필요할 수 있는바, 도 8a 내지 8d를 참조하여 설명하도록 한다.

도 8a 내지 도 8d는 본 발명의 일 실시예에서의 보정 과정을 설명하기 위한 도면이다.

종래 기술의 경우 투명형 또는 반사형 물리적 화면 표시장치를 이용한 미디어 시스템(100)의 경우 장치의 위치나 방향이 달라지게 되면, 표출되는 영상과 배경으로 보이는 정보가 변경되어 이를 보정하기 위해서는 통상적으로 변화 요소를 고려하여 다시 매핑을 수행해야 되는 문제가 있었다.

그러나 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100)은 도 8a와 같이, 사물공간(A)의 물리적 위치 및 방향에 변화가 발생하여 물리적 화면 표시 장치(200)에서 표출되는 표출영역(B)이 불일치하게 되는 경우, 프로세서(130)는 센싱부(140)를 통해 상기 변화를 감지하여 발생된 위치 및 방향에 대응하도록 논리적 화면 표시객체의 영역을 보정할 수 있다.

이때, 프로세서(130)는 물리적 화면 표시장치(200) 및 센싱부(140)의 위치에 관한 좌표나, 또는 각각의 내부 및 외부 파라미터를 보정을 위한 정보로 획득할 수 있으며, 보정을 위한 정보에 기초하여 논리적 화면 표시객체의 영역을 보정할 수 있다.

구체적으로, 본 발명의 일 실시예는 도 8b와 같이 카메라와 같은 센싱부(140)와 물리적 화면 표시장치(200) 간의 물리적 위치 정보가 주어진 경우나, 물리적 위치 정보가 주어지지 않은 경우 모두 보정을 수행할 수 있다.

먼저, 도 8b에는 센싱부(140)의 예시로 카메라가 도시되어 있고 물리적 화면 표시장치(200)로는 프로젝터가 도시되어 있으며, 카메라와 물리적 화면 표시장치(200) 상호간의 기하학적 관계가 도시되어 있다. 카메라와 물리적 화면 표시장치(200)는 각각 독립적인 좌표계(Xc, Yc, Zc, Xp, Yp, Zp)로 표현될 수 있으며, 기하학적 변환과정(Geometric transform)을 통해 각각의 좌표계로 변환하여 표현될 수도 있다.

예를 들어, 카메라의 좌표계 관점에서 프로젝터로 표출되는 영상을 기술하거나 프로젝터의 좌표계의 관점에서 카메라로 획득되는 영상을 기술할 수도 있으며, 월드 좌표계(X, Y, Z)와 같은 제3의 좌표계로 각각을 기술할 수도 있다.

이와 같이 본 발명의 일 실시예는 센싱부(140)와 물리적 화면 표시장치(200), 그리고 콘텐츠가 표출된 영역들에 대한 좌표 정보가 존재하는 경우, 프로세서(130)는 이를 일치시키기 위하여 좌표 변환을 수행하고, 좌표 변환된 화면 표시 영역에 맞춰 콘텐츠를 보정할 수 있다.

뿐만 아니라, 프로세서(130)는 카메라와 같은 센싱부(140)와 물리적 화면 표시장치(200)의 초점거리(Focal length) 및 왜곡률(Distortion)과 같은 내부 파라미터(Intrinsic parameters)와 위치 및 방향과 같은 외부 파라미터(Extrinsic parameters)들이 정확히 계산될 수 있는 경우 보정을 통해 도 8a와 같은 사물공간의 영역과 물리적 화면 표시장치(200)에서 표출되는 표출영역을 일치시킬 수 있다.

한편, 카메라, 프로젝터 및 사물의 위치와 같은 다양한 정보들이 높은 정확도로 확보되는 것은 어려울 수 있으며, 실제로는 이런 파라미터들에 존재하는 오차로 인해 어긋남이 발생할 수 있는바, 본 발명의 일 실시예에서는 이러한 문제점을 해소하기 위해 미리 정의된 구조화된 패턴 영상을 물리적 화면 표시장치(200)에 표출하여 보정을 위한 정보를 개선할 수도 있다.

다음으로 도 8c를 참조하면, 본 발명의 일 실시예는 물리적 위치 정보가 주어지지 않은 경우, 기하학적 파라미터를 직접 찾지 않고, 카메라와 같은 센싱부(140)를 이용하여 반복적으로 영상을 획득하고, 사물공간의 영역과 표출영역의 불일치를 확인하여 서로 일치시키는 방향으로 표출영역을 보정할 수 있다.

구체적으로, 센싱부(140)를 통해 획득한 센싱 정보로부터 후보영역을 검출한다(S11).

이때, 후보영역(A’)의 검출은 도 8d의 예시와 같이 외곽선(contour) 영역을 검출하는 방식을 이용할 수 있다. 이를 통해 영상 내에 존재하는 다각형, 입체 정보 등을 추출하는 것이 가능하며, 외곽선 상호간의 포함관계까지도 계산이 가능하다.

또한, 외곽선 영역별로 특징값(feature)을 추출할 수 있으며, 특징값은 영상에서 외곽선 영역의 위치가 바뀌거나, 크기가 바뀌거나, 회전하는 등의 경우에도 가급적 변하지 않는 것이 바람직하다. 통상적으로 이를 불변성(invariant)이라 하며, 모멘트(Moment), Hu Moment, Zernike Moment를 계산하여 특징값을 기술할 수 있다. 이를 통해 넓이, 부피, 모양, 찌그러진 정도 등을 알아낼 수 있다.

이때, 후보영역을 모멘트나 히스토그램과 같은 특징값으로 기술할 경우, 삼각형인지 사각형 등과 같은 객체의 형태, 객체가 영상 정보에서 나타나는 넓이, 부피, 색상 등의 특징들을 계산할 수 있기 때문에, 후보영역에 대한 선택적 필터링이 가능하게 된다.

한편, 후보영역을 검출하는 기법들은 상술한 특정 알고리즘으로 한정되는 것은 아님은 물론이다.

다시 도 8c를 참조하면, 다음으로 검출된 후보영역들을 물리적 화면 표시장치(200)의 표출영역(B)에 표출하며(S12), 이에 따라 후보영역이 화면에 표출되면 센싱정보는 사물 공간(A) 상에 후보영역에 대한 표출정보가 겹쳐져서 획득된다.

이 정보를 통해 사물공간의 정보와 후보영역에 대한 표출정보의 불일치값이 계산될 수 있으며(S13), 불일치값과 임계치를 비교하여(S14) 임계치 이내인 경우 1차 후보영역으로 선정한다(S16). 그리고 1차 후보영역에 대하여 색상, 밝기, 크기, 모양 등을 계산하여 적합하지 않은 후보영역을 제거함으로써(S17), 논리적 화면 표시장치(300)를 생성 및 구성할 수 있다(S18).

이때, 적합하지 않은 후보영역의 제거는 사전에 정의된 객체의 형태, 넓이, 부피, 색상 등의 조건에 맞는 객체들을 선별적으로 추출함으로써 논리적 화면 표시장치(300)의 모양을 한정할 수 있다.

반면, 불일치값이 임계치보다 큰 경우 후보영역을 보정하고(S15), 이를 다시 물리적 화면 표시장치(200)에 표출하여 다시 불일치값 산출 및 임계치와 비교하는 과정을 수행하게 된다. 이러한 과정은 사전에 정의된 반복 횟수만큼 수행될 수 있으며, 반복 횟수를 초과하는 경우 해당 객체는 후보 객체에서 제외시킬 수 있다.

참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.

그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.

이하에서는 도 9를 참조하여 본 발명의 일 실시예에 따른 논리적 화면 표시장치를 생성하는 시스템(100)에서 수행되는 방법을 설명하도록 한다.

도 9는 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 방법의 순서도이다.

본 발명의 일 실시예에 따른 논리적 화면 표시장치(300)를 생성하는 방법은 먼저, 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정한다(S110).

다음으로, 하나 이상의 디바이스로부터 하나 이상의 콘텐츠를 수신하고(S120), 설정된 논리적 화면 표시객체의 영역에 상기 수신한 콘텐츠를 출력시키는 하나 이상의 논리적 화면 표시장치(300)를 생성한다(S130).

이와 같이 논리적 화면 표시장치(300)가 생성되고 나면, 상기 논리적 화면 표시장치(300)에 상기 수신한 콘텐츠를 출력시킨다(S140).

이때, 본 발명의 일 실시예에서 물리적 화면 표시장치(300)와 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 갖고, 논리적 화면 표시객체와 논리적 화면 표시장치(300)는 M 대 N(M, N≥1)의 상호 관계를 갖는다.

한편 상술한 설명에서, 단계 S110 내지 S140는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 8에서의 논리적 화면 표시장치 생성 시스템(100)에 관하여 이미 기술된 내용은 도 9의 논리적 화면 표시장치 생성 방법에도 적용된다.

도 10은 본 발명의 일 실시예에 따른 논리적 화면 표시장치 생성 시스템(100) 및 방법을 이용하는 실시예를 설명하기 위한 도면이다.

예를 들어, 발표자가 물리적 화면 표시장치(200)로 대형 TV 앞에서 세미나 발표를 하는 경우, 발표자는 콘텐츠로 ‘발표자료 1’(Ca)을 물리적 화면 표시장치(200)상에 출력시켜 발표를 진행하고 있다.

처음에는 ‘발표자료 1’(Ca)이 물리적 화면 표시장치(200)의 전체 화면을 차지하고 있는 상태에서, 청중 1이 발표 내용을 듣는 중 콘텐츠로 ‘관련 동영상’(Cb)을 함께 공유하여 물리적 화면 표시장치(200)에 출력시키면 좋겠다고 하여, ‘발표자료 1’(Ca)이 출력되고 있는 논리적 화면 표시장치(300)의 크기를 줄이고 ‘관련 동영상’(Cb)를 위한 새로운 논리적 화면 표시장치(300)를 생성하여 세미나 참석자들과 함께 공유할 수 있다.

마찬가지로, 청중 2도 새로운 논리적 화면 표시장치(300)를 통해 콘텐츠로 ‘관련 웹페이지’(Cc)를 출력시킬 수 있다. 이 경우 ‘관련 웹페이지’(Cc)가 출력되는 논리적 화면 표시장치(300)는 ‘발표자료 1’(Ca)을 일부 가리게 될 수도 있으나, 웹페이지의 글자의 크기를 고려하여 최소한의 영역만이 일부 가리도록 논리적 화면 표시장치(300)가 생성될 수 있다.

그러나 이는 발표자의 원래 발표 내용을 방해할 수 있으므로, 청중 2의 ‘관련 웹페이지’(Cc)를 보여주고 난 다음 해당 논리적 화면 표시장치(300)를 삭제하게 된다.

즉, 본 발명의 일 실시예는 동적으로 논리적 화면 표시장치(300)를 추가, 삭제 및 조합이 가능하다는 장점이 있다.

또한, 본 발명의 일 실시예는 프로세서(130)가 독립적인 화면 표시장치로 이용하기 위하여 생성된 복수의 논리적 화면 표시장치(300)를 복수의 디바이스에 각각 대응시킬 수 있으며, 통신모듈(110)을 통해 복수의 디바이스로부터 콘텐츠를 수신하여 논리적 화면 표시장치(300)에 각각 출력시킬 수 있다.

한편, 최근의 물리적 화면 표시장치들은 높은 해상도를 지원하면서 거울, 유리창, 벽, 천장과 같은 기존의 생활공간과 일체화되는 방향으로 발전하고 있다. 이러한 기술적 동향과 함께 PIP 기능처럼 고해상도 물리적 화면 표시장치를 다수의 화면 표시장치로 분할하여 서로 다른 콘텐츠를 출력시킬 수 있도록 하는 기술들이 많은 고해상도 화면 표시장치에 적용되고 있다.

그러나 종래 기술의 경우 통상적으로 화면 표시영역을 직사각형 형태로 가정하고 있으며, 사용자는 사전에 정의된 모양과 위치에 대해 제한적으로 화면 표시영역을 설정할 수 있었다.

반면 전술한 본 발명의 일 실시예에 의하면, 물리적 화면 표시장치(200)의 화면 표시영역을 사물공간으로 확장시킴으로써, 다양한 기하학적 형태를 갖는 임의의 개수의 논리적 화면 표시장치(300)를 생성할 수 있다.

특히 본 발명의 일 실시예는 표출해야할 콘텐츠의 영역이 물리적 화면 표시장치(200)의 표출영역 전체를 활용할 필요가 없는 경우, 남은 물리적 화면 표시장치(200)의 영역을 다른 독립적인 화면 표시장치로 활용 가능하다는 장점이 있다.

또한, 생성된 논리적 화면 표시장치(200)들을 네트워크 상에서 다른 디바이스들이 독립적인 화면 표시장치로 인식할 수 있으며, 디바이스들이 물리적 화면 표시장치(200)와 같이 논리적 화면 표시장치(300)들을 선택하여 콘텐츠 전송하여 출력되도록 할 수 있다.

또한, 논리적 화면 표시장치(300)에 대응하는 물리적 환경의 특성에 따라 콘텐츠를 보정 및 합성도 가능하다는 장점이 있다. 이와 더불어, 실제 사물공간의 특성과 형태에 맞도록 논리적 화면 표시장치(300)를 생성할 수 있어 실제 실감성이 높은 미디어 재생 환경 구축이 가능하다는 장점이 있다.

이러한 본 발명의 일 실시예는 공연, 광고, 스케줄 표시와 같은 다양한 목적에 활용될 수 있으며, 청중들이 정보를 접하게 되는 다양한 종류의 화면 표시 단말들(LCD, LED, 프로젝터 등)을 동시에 활용하여 쉽게 종합적으로 제어되는 화면을 구성할 수 있고, 이에 콘텐츠를 보정하여 다양한 서비스를 제공할 수 있다.

한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 논리적 화면 표시장치 생성 시스템
110: 통신모듈
120: 메모리
130: 프로세서
140: 센싱부
200: 물리적 화면 표시장치
300: 논리적 화면 표시장치

Claims (12)

1. 논리적 화면 표시장치를 생성하는 시스템에 있어서,
   하나 이상의 콘텐츠를 하나 이상의 디바이스로부터 수신하는 통신모듈,
   상기 콘텐츠를 상기 논리적 화면 표시장치에 출력시키기 위한 프로그램이 저장된 메모리 및
   상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
   상기 프로세서는 상기 프로그램을 실행시킴에 따라, 물리적 화면 표시장치의 출력 범위 내의 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정하고, 상기 설정된 논리적 화면 표시객체의 영역에 상기 수신한 콘텐츠를 출력시키는 하나 이상의 논리적 화면 표시장치를 생성하되,
   상기 물리적 화면 표시장치는 직접 표출형, 투명형 및 반사형 물리적 화면 표시장치를 포함하고,
   상기 물리적 화면 표시장치와 상기 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 갖고, 상기 논리적 화면 표시객체와 상기 논리적 화면 표시장치는 M 대 N(M, N≥1)의 상호 관계를 갖는 것인 논리적 화면 표시장치 생성 시스템.
2. 삭제
3. 제 1 항에 있어서,
   상기 프로세서는 독립적인 화면 표시장치로 이용하기 위하여 상기 생성된 복수의 논리적 화면 표시장치를 복수의 디바이스에 각각 대응시키고, 상기 통신모듈을 통해 복수의 디바이스로부터 콘텐츠를 수신하여 상기 대응되는 논리적 화면 표시장치에 각각 출력시키는 것인 논리적 화면 표시장치 생성 시스템.
4. 제 1 항에 있어서,
   상기 프로세서는 상기 논리적 화면 표시장치가 복수 개인 경우, 기 설정된 연관관계에 기초하여 상기 복수 개의 논리적 화면 표시장치를 그룹화하되,
   상기 기 설정된 연관관계는 상기 물리적 화면 표시장치의 성능관계, 물리적 위치관계 및 논리적 연관관계 중 하나 이상에 기초하여 설정되는 것인 논리적 화면 표시장치 생성 시스템.
5. 제 1 항에 있어서,
   상기 프로세서는 상기 수신한 콘텐츠를 상기 생성된 논리적 화면 표시장치에 대응되도록 보정하되,
   상기 보정은 상기 콘텐츠에 대한 영상의 해상도 조절, 영상의 기하학적 표시 형태 변환, 색상 조절, 밝기 조절, 워핑, 노이즈 제거, 엘리어싱 제거 연산 및 3차원 변환 중 하나 이상을 포함하는 것인 논리적 화면 표시장치 생성 시스템.
6. 제 1 항에 있어서,
   상기 프로세서는 상기 물리적 화면 표시장치에 출력된 이미지 및 동영상 중 하나 이상을 포함하는 배경영역 콘텐츠에 포함된 사물공간의 정보에 기초하여 상기 논리적 화면 표시객체의 영역을 자동으로 설정하고, 이에 기초하여 상기 논리적 화면 표시장치를 생성하는 것인 논리적 화면 표시장치 생성 시스템.
7. 제 6 항에 있어서,
   상기 프로세서는 상기 배경영역 콘텐츠에 포함되거나 포함되지 않은 사물공간 중 상기 논리적 화면 표시객체의 영역으로 적합한 후보영역을 검출하고, 상기 후보영역 중 기 설정된 조건을 만족하는 후보영역을 상기 논리적 화면 표시객체의 영역으로 설정하며, 상기 설정된 논리적 화면 표시객체의 영역에 기초하여 상기 논리적 화면 표시장치를 생성하되,
   상기 기 설정된 조건은 상기 사물공간의 형태, 넓이, 부피 및 색상 중 하나 이상을 포함하는 것인 논리적 화면 표시장치 생성 시스템.
8. 제 1 항에 있어서,
   상기 사물공간의 정보를 획득하는 센싱부를 더 포함하되,
   상기 프로세서는 상기 사물공간의 정보를 분석하여 자동으로 상기 논리적 화면 표시장치를 생성하거나, 상기 생성된 논리적 화면 표시장치를 사용자에게 추천하는 것인 논리적 화면 표시장치 생성 시스템.
9. 제 8 항에 있어서,
   상기 사물공간의 물리적 위치 및 방향에 변화가 발생한 경우, 상기 프로세서는 상기 센싱부를 통해 상기 변화를 감지하여 상기 발생된 위치 및 방향에 대응하도록 상기 논리적 화면 표시객체의 영역을 보정하는 것인 논리적 화면 표시장치 생성 시스템.
10. 제 9 항에 있어서,
    상기 프로세서는 상기 물리적 화면 표시장치 및 상기 센싱부의 위치에 관한 좌표나, 각각의 내부 및 외부 파라미터를 상기 보정을 위한 정보로 획득하고, 상기 보정을 위한 정보에 기초하여 상기 논리적 화면 표시객체의 영역을 보정하는 것인 논리적 화면 표시장치 생성 시스템.
11. 제 9 항에 있어서,
    상기 프로세서는 상기 센싱부에 의해 획득한 센싱정보로부터 논리적 화면 표시객체의 영역으로 적합한 후보영역을 검출하고, 상기 검출된 후보영역을 상기 물리적 화면 표시장치의 표시영역에 표출시켜 사물공간의 정보와 상기 표출된 정보와의 불일치 값을 산출하며,
    상기 산출된 불일치 값이 임계값 이하인 경우 1차 후보영역으로 선정하고, 상기 1차 후보영역 중 기 설정된 조건을 만족하는 후보영역을 상기 논리적 화면 표시객체의 영역으로 설정하며, 상기 설정된 논리적 화면 표시객체의 영역에 기초하여 상기 논리적 화면 표시장치를 생성하되,
    기 설정된 조건은 배경영역 콘텐츠에 포함된 사물공간의 형태, 넓이, 부피 및 색상 중 하나 이상을 포함하는 것인 논리적 화면 표시장치 생성 시스템.
12. 논리적 화면 표시장치를 생성하는 방법에 있어서,
    물리적 화면 표시장치의 출력 범위 내의 2차원 또는 3차원의 사물공간에 대하여 하나 이상의 논리적 화면 표시객체의 영역을 설정하는 단계;
    하나 이상의 디바이스로부터 하나 이상의 콘텐츠를 수신하는 단계;
    상기 설정된 논리적 화면 표시객체의 영역에 상기 수신한 콘텐츠를 출력시키는 하나 이상의 논리적 화면 표시장치를 생성하는 단계 및
    상기 논리적 화면 표시장치에 상기 수신한 콘텐츠를 출력시키는 단계를 포함하되,
    상기 물리적 화면 표시장치는 직접 표출형, 투명형 및 반사형 물리적 화면 표시장치를 포함하고,
    상기 물리적 화면 표시장치와 상기 논리적 화면 표시객체는 L 대 M(L, M≥1)의 상호 관계를 갖고, 상기 논리적 화면 표시객체와 상기 논리적 화면 표시장치는 M 대 N(M, N≥1)의 상호 관계를 갖는 것인 논리적 화면 표시장치 생성방법.

Images