KR102179154B1

KR102179154B1 - 투명 디스플레이를 이용한 전자기기 제어방법 및 이를 이용한 장치

Info

Publication number: KR102179154B1
Application number: KR1020130145317A
Authority: KR
Inventors: 임정묵; 신희숙; 이종욱
Original assignee: 한국전자통신연구원
Priority date: 2013-11-27
Filing date: 2013-11-27
Publication date: 2020-11-16
Also published as: US9639153B2; US20150145786A1; KR20150061331A

Abstract

투명 디스플레이에서 투영된 영상에 대한 가상의 이미지를 생성하고, 상기 가상의 이미지 상에서 선택된 객체를 제어할 수 있는 사용자 인터페이스를 제공하는 방법이 개시된다. 이를 위한 본 발명에 따른 제어장치는 상기 복수개의 카메라에서 촬영된 복수개의 사물 방향의 영상을 획득하는 제1 이미지 획득부, 상기 복수개의 사물 방향의 영상을 조합하여 상기 투명 디스플레이에 투영되는 사물 방향의 영역에 해당하는 가상 이미지를 생성하는 가상 이미지 생성부, 사용자 입력을 받는 사용자 인터페이스부, 및 상기 사용자 입력에 기초하여 상기 가상 이미지에 포함되어 있는 객체를 인식하고, 인식된 객체를 제어할 수 있는 기능 속성을 상기 가상 이미지에 매핑하는 기능 속성 매핑부를 포함한다.

Description

투명 디스플레이를 이용한 전자기기 제어방법 및 이를 이용한 장치{Method for controlling electric devices using transparent display and apparatus using the same}

본 발명은 원격으로 전자장치를 제어하는 방법 및 이를 이용한 장치에 관한 것으로서, 보다 상세하게는 투명 디스플레이에 투영되는 객체를 인식하는 기술을 이용하여, 인식된 객체에 해당하는 전자장치를 제어할 수 있는 사용자 인터페이스를 제공하는 방법 및 이를 이용한 장치에 관한 것이다.

디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.

최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강

현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키 현실과 구분된다.

상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.

또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재한다.

한편, 최근에는 투명 전극, 투명 소자의 발달로 인해 디스플레이나, 터치패널이 투명해짐에 따라 투명 디스플레이를 이용한 증강현실 기술도 많이 제안되고 있다. 즉, 디지털 정보를 배경과 같이 보여줄 수 있는 장점으로 인해 디지털 콘텐츠와 배경 사물을 결합함으로써 사용자에게 새로운 인터페이스로 제시되고 있다.

위에 기술한 종래 기술을 분석하면 스마트 폰을 이용한 증강현실 기술은 디지털 이미지 안에 또 다른 디지털 객체(사용자 관심 정보)를 합성함으로써 이미지 안의 객체와 사용자가 터치 등의 방식으로 상호작용 할 수 있으나, 실제 객체와 사용자 터치 공간이 분리됨으로써 실감을 제공하기가 어렵다. 이와 반대로 프로젝션 디바이스를 이용한 증강현실 기술의 경우, 실제 사물과 인터렉션하는 장점은 있으나, 사물과 사용자간의 거리가 멀 경우(일반적으로 사용자가 직접 실제 사물을 만질 수 없는 거리)에는 사물과 인터렉션하거나, 디지털 객체를 프로젝션 하기 어려운 단점이 있다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 투명 디스플레이에 투영되는 객체를 인식하는 기술을 이용하여 인식된 객체에 해당하는 전자장치를 제어할 수 있는 사용자 인터페이스를 제공하는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명에 따른 제어장치는 투명 디스플레이에 복수개의 카메라를 구비하며, 상기 투명 디스플레이에 투영되는 객체의 기능을 제어하기 위한 사용자 인터페이스를 제공하는 제어장치에 있어서, 상기 복수개의 카메라에서 촬영된 복수개의 사물 방향의 영상을 획득하는 제1 이미지 획득부, 상기 복수개의 사물 방향의 영상을 조합하여 상기 투명 디스플레이에 투영되는 사물 방향의 영역에 해당하는 가상 이미지를 생성하는 가상 이미지 생성부, 사용자 입력을 받는 사용자 인터페이스부, 및 상기 사용자 입력에 기초하여 상기 가상 이미지에 포함되어 있는 객체를 인식하고, 인식된 객체를 제어할 수 있는 기능 속성을 상기 가상 이미지에 매핑하는 기능 속성 매핑부를 포함한다.

바람직한 실시예에 있어서, 상기 가상 이미지 생성부는 상기 투명 디스플레이에 투영되는 사물 방향의 영역에 해당하는 영상과 동일 크기의 가상 이미지를 생성할 수 있다.

또한, 상기 가상 이미지 생성부는 상기 복수개의 사물 방향의 영상 중 제1 사물 방향의 영상과, 이와는 다른 제2 사물 방향의 영상에서 중첩되는 영역을 검색하고, 상기 제1 사물 방향의 영상과 상기 제2 사물 방향의 영상을 상기 중첩되는 영역의 크기만큼 중첩시킨 상기 가상 이미지를 생성할 수 있다.

또한, 상기 가상 이미지 생성부는 상기 복수개의 사물 방향의 영상들이 합쳐진 영역의 크기가 상기 투명 디스플레이의 크기보다 커지는 경우 활성화되어 동작할 수 있다.

한편, 본 발명의 일 면에 따른 제어장치는 상기 복수개의 카메라에서 촬영된 복수개의 사람 방향의 영상을 획득하는 제2 이미지 획득부; 및 상기 사람 방향의 영상에서 사용자의 시선방향을 추적하고, 상기 시선방향과 상기 복수개의 카메라의 촬영 방향이 기 설정된 소정 범위 내의 각도를 이루도록 상기 복수개의 카메라의 촬영 방향을 변환하는 카메라 구동부를 더 포함할 수 있다.

바람직한 실시예에 있어서, 상기 사용자 인터페이스부는 상기 사용자 입력에 대한 결과 또는 상기 투명 디스플레이를 이용한 전자기기 제어장치에 발생하는 이벤트에 대한 피드백을 사용자에게 제공할 수 있다.

바람직한 실시예에 있어서, 상기 기능 속성 매핑부는 상기 사용자 입력에 기초하여 선택된 상기 가상 이미지의 일부 영역을 질의어로 하여 이미지 검색엔진으로 전송하고, 상기 이미지 검색엔진에서 반환된 객체 인식 결과를 이용하여 인식된 객체에 대한 속성 정보를 검색할 수 있다.

이때, 상기 이미지 검색엔진은 상기 투명 디스플레이를 이용한 전자기기 제어장치에 대해 원격에 위치하여 무선통신 네트워크를 통해 데이터를 송수신할 수 있다.

또한, 상기 기능 속성 매핑부는 상기 기능 속성을 상기 가상 이미지에서 위치를 달리하여 설정된 해당 영역에 매핑할 수 있다.

바람직한 실시예에 있어서, 상기 투명 디스플레이의 물리적인 중심 위치와 상기 가상 이미지의 중심은 일치할 수 있다.

이상 상술한 바와 같은 본 발명에 따르면, 기존에 제공되는 증강현신 서비스와는 달리, 영상센서에서 센싱된 데이터를 디지털 이미지 정보로 합성하는 디스플레이 모듈을 구비하지 않아도, 투명 디스플레이에 투영되는 객체를 인식하고, 인식된 객체에 해당하는 전자기기의 기능을 제어할 수 있다.

특히, 투명 디스플레이의 중심과 증강된 가상이 이미지의 중심을 일치시키기 때문에 복잡한 캘리브레이션(Calibration) 과정 없이, 카메라의 촬영 비율에 따라 이미지의 크기만 조절하면 되므로, 투명 디스플레이를 이용하여 사용자가 바라보는 이미지를 손쉽게 얻을 수 있는 장점이 있다.

도 1은 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치의 외부 구성을 도시한 도면.
도 2는 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치의 내부 구성을 도시한 도면.
도 3은 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치가 비활성화 상태인 일 예를 도시한 도면.
도 4는 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치가 활성화 상태인 일 예를 도시한 도면.
도 5는 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치에서 투명 디스플레이와 동일한 크기의 가상 이미지가 생성된 일 예를 도시한 도면.
도 6은 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치에서 관심 객체 영역이 선택된 일 예를 도시한 도면.
도 7은 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치에서 객체 기능 속성이 매핑된 일 예를 도시한 도면.
도 8은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어방법을 도시한 도면.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치(이하, 제어장치)의 외부 구성을 도시한 도면이다.

도 1을 참조하면, 본 발명에 따른 제어장치(100)는 투명 터치패널, 투명 액추에이터, 카메라가 일체형으로 제작될 수 있다. 본 발명에 따르면 투명 디스플레이 뒤에 존재하는 객체와 사용자가 상호 작용할 수 있도록 사용자 인터페이스를 제공한다.

구체적으로 설명하면, 본 발명에 따른 제어장치(100) 사용자 방향(앞면)으로부터 투명 터치패널, 투명 액추에이터가 겹쳐있는 구조를 가질 수 있다. 투명 터치패널을 둘러싼 베젤 부분의 중앙 양측에는 사용자 방향(앞면)으로 2개의 카메라 렌즈가 배치되며, 베젤 부분의 네 귀퉁이에는 사물 방향(뒷면)으로 4개의 카메라 렌즈가 배치될 수 있다.

도 1에는 사물 방향으로 4개의 카메라 렌즈가 배치되고, 사람 방향으로 2개의 카메라가 배치되는 것으로 도시되어 있지만, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면 1을 참조 및/또는 변형하여 그 구성에 대해 다양한 실시 방법(예컨대, 카메라 렌즈의 배치 및 개수)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도 1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

이하, 도 2 내지 도 7을 참조하여 본 발명에 따른 제어장치의 내부 구성 및 각 구성의 기능을 구체적으로 설명한다.

도 2는 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치의 내부 구성을 도시한 도면이다.

도 2를 참조하면, 본 발명에 따른 제어장치(100)는 제1 이미지 획득부(110), 가상 이미지 생성부(120), 기능 속성 매핑부(130), 시스템 제어부(140), 사용자 인터페이스부(150), 제2 이미지 획득부(160), 카메라 구동부(170)를 포함한다.

제1 이미지 획득부(110)는 복수개의 카메라에서 촬영된 복수개의 사물 방향의 영상을 획득한다. 예컨대, 도 1에 도시된 바와 같이 4개의 카메라 렌즈가 사물 방향으로 배치되어 있으면, 각 카메라가 배치된 위치에서 촬영할 수 있는 화각에 해당하는 영역만큼 촬영된 4개의 사물 방향의 영상이 획득될 수 있다.

상기 제1 이미지 획득부(110)에서 획득된 복수 개의 사물 방향의 영상은 가상 이미지 생성 기능을 활성화하고, 상기 투명 디스플레이에 투영되는, 즉 투명 디스플레이를 통해 사용자에게 보여지는 사물 방향의 영상과 동일한 가상 이미지를 생성하는데 사용된다. 이에 대한 구체적인 설명은 후술하기로 한다.

가상 이미지 생성부(120)는 상기 복수 개의 사물 방향의 영상을 조합하여 상기 투명 디스플레이에 투영되는 사물 방향의 영역에 해당하는 가상 이미지를 생성한다.

구체적으로 설명하면, 상기 가상 이미지 생성부(120)는 기능 활성화, 사물 방향의 영상 처리, 가상 이미지 생성의 기능을 수행한다. 이하, 각 도면에 도시된 바를 참조하여 상기 가상 이미지 생성부(120)가 수행하는 기능에 대해서 구체적으로 살펴본다.

기능 활성화

도 3은 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치가 비활성화 상태인 일 예를 도시한 도면이고, 도 4는 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치가 활성화 상태인 일 예를 도시한 도면이다.

도 3 및 도 4에서 오렌지 색으로 표시된 사각형 영역은 사물 방향으로 배치된 4개의 카메라에 의해 촬영된 이미지 영역을 표시한다. 도 3은 촬영 거리가 충분히 확보되지 않은 상태에서 촬영된 경우를 나타낸다.

도 3의 경우, 각 카메라에서 촬영된 이미지 영역의 크기가 너무 작기 때문에 사용자 눈으로 투명 디스플레이를 볼 때, 투명 디스플레이 뒤에 존재하는 영역의 이미지가 확보되지 않는다. 예를 들면, 투명 디스플레이가 바닥에 놓여있는 경우라고 할 수 있다. 이 상태에서는 사용자가 바라보는 투명 디스플레이 뒤에 있는 객체를 식별할 수 있기 위한 이미지가 확보되지 않기 때문에 상기 가상 이미지 생성부(120)는 비활성화 상태를 유지한다.

반면, 도 4는 촬영 거리가 충분히 확보된 상태에서 촬영된 경우를 나타낸다. 도 4의 경우, 각 카메라에 의해 촬영된 이미지 영역(카메라 1의 촬영 이미지, 카메라 2의 촬영 이미지, 카메라 3의 촬영 이미지, 카메라 4의 촬영 이미지)의 합이 투명 디스플레이의 크기보다 커지게 된다. 촬영 거리에 따라 촬영 이미지 영역의 합이 투명 디스플레이의 면적보다 작게 시작해서, 투명 디스플레이의 면적보다 커지게 되며, 투명 디스플레이의 면적보다 크게 될 경우, 각 카메라에 의해 촬영된 이미지들은 인접한 카메라 촬영 이미지와 겹치는 영역이 발생하게 된다.

예를 들면, 카메라 1과 카메라 2에 의해 촬영된 이미지는 서로 겹치는 영역이 발생하게 되며, 카메라 1과 카메라 3의 촬영 이미지도 겹치는 영역이 발생하게 된다. 각 카메라에 의해 촬영된 영상의 합이 투명 장치의 면적과 같거나, 커졌을 때, 즉, 각 카메라의 촬영 이미지 들이 서로 겹치는 영역이 발생한 상태가 되면, 상기 가상 이미지 생성부(120)는 활성화되고, 이를 가상 이미지 생성부(120)의 초기 상태로 정의한다. 초기 상태는 사용자가 바라보는 투명 디스플레이 뒤의 객체를 식별하고, 이를 이용한 주변 사물 제어 기능을 위한 준비가 완료된 상태를 의미한다.

시스템 비활성화 상태부터, 초기 상태에 진입할 때까지, 제1 이미지 획득부(110)는 주기적으로 사물 발향의 영상을 촬영하고, 시스템 제어부(140)는 동 시간에 촬영된 복수 개(예컨대, 4개의 이미지)로부터 초기 상태에 진입했는지 여부를 확인한다.

사물 방향의 영상 처리, 가상 이미지 생성

도 5는 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치에서 투명 디스플레이와 동일한 크기의 가상 이미지가 생성된 일 예를 도시한 도면이다.

도 4 및 도 5를 참조하면, 상기 가상 이미지 생성부(120)는 투명 디스플레이 영역의 크기와 동일한 크기를 갖는 가상 이미지를 생성할 수 있다. 다른 예로, 상기 가상 이미지 생성부(120)는 투명 디스플레이의 물리적인 중심 위치와 동일한 중심 위치를 갖는 가상 이미지를 생성할 수 있다.

예컨대, 상기 가상 이미지 생성부(120)는 카메라 1에서 촬영된 사물 방향의 이미지의 오른쪽 영역과, 카메라 2에서 촬영된 사물 방향의 이미지의 왼쪽 영역을 일정한 크기의 영역 별로 비교한다. 즉, 카메라 1에서 촬영된 사물 방향의 이미지의 오른쪽 영역 중 일부 영역과, 이와 동일한 크기를 갖는 카메라 2에서 촬영된 사물 방향의 이미지의 왼쪽 영역 중 일부 영역을 순차적으로 비교하여 동일성 여부를 판단한다.

중첩된 영역이 발생할 경우, 두 이미지를 동일 영역의 크기만큼 중첩시킨 가상의 이미지(이하, 1+2 중첩 가상 이미지)를 생성한다.

또한, 상기 가상 이미지 생성부(120)는 카메라 3, 4에서 촬영된 이미지에 대해서도 동일 작업을 진행하여 중첩된 영역의 크기만큼 중첩시킨 가상의 이미지(이하, 3+4 중첩 가상 이미지)를 생성한다.

또한, 상기 가상 이미지 생성부(120)는 상기 1+2 중첩 가상 이미지와, 상기 3+4 중첩 가상 이미지에 대해서도 중첩된 영역이 있는지 확인하고, 중첩된 영역이 있을 경우, 위와 동일한 방식으로 중첩된 가상 이미지(이하, 1+2+3+4 중첩 가상 이미지)를 생성한다.

전술한 방법에 의해 생성된 가상 이미지는 그 중심이 항상 투명 디스플레이의 물리적 중심의 위치와 동일하기 때문에 별도의 위치 보정(캘리브레이션) 과정이 필요하지 않다. 따라서, 사용자가 투명 디스플레이와 직각 방향으로 투명 디스플레이의 중심에서 사물 방향을 바라볼 때, 가상 이미지는 투명 디스플레이를 통해 사용자가 바라보는 영상(투영된 이미지)과 동일하다.

한편, 전술한 방법으로 생성된 1+2+3+4 중첩 가상 이미지는 투명 디스플레이를 통해 사용자가 보고 있는 영역보다 크기 때문에, 상기 가상 이미지 생성부(120)는 상기 1+2+3+4 중첩 가상 이미지에서 투명 디스플레이가 차지하는 영역 이외의 영역을 자른 이미지를 최종 가상 이미지(cropped image)로 생성한다. 이때, 최종 가상 이미지는 전술한 바와 같이, 상기 투명 디스플레이에 투영되는 사물 방향의 영역에 해당하는 영상과 동일 크기를 가지고, 상기 투명 디스플레이의 물리적인 중심 위치와 동일한 중심을 가진다.

이와 같이, 투명 디스플레이와 동일한 가상 이미지 생성이 완료되면, 사용자 인터페이스부(150)는 사용자에게 시스템 초기 상태에 대한 촉각 피드백, 예컨대 햅틱 피드백을 제공할 수 있다.

상기 사용자 인터페이스부(150)는 사용자 입력을 받는 인터페이스, 예컨대 터치 인터페이스를 제공하고, 또는 상기 사용자 입력에 대한 결과 또는 상기 투명 디스플레이를 이용한 전자기기 제어장치에 발생하는 이벤트에 대한 피드백을 사용자에게 제공할 수 있다.

기능 속성 매핑부(130)는 상기 사용자 인터페이스부(150)를 통한 사용자 입력에 기초하여 가상 이미지에 포함되어 있는 객체를 인식하고, 인식된 객체를 제어할 수 있는 기능 속성을 상기 가상 이미지에 매핑한다.

도 6은 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치에서 관심 객체 영역이 선택된 일 예를 도시한 도면이고, 도 7은 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어장치에서 객체 기능 속성이 매핑된 일 예를 도시한 도면이다.

도 6 및 도 7을 참조하면, 사용자가 투명 디스플레이 뒷면의 객체를 터치 제스쳐를 통해 선택하면, 사용자 인터페이스부(150)는 터치 위치에 따라 가상 이미지에 포함되어 있는 특정 객체를 선택할 수 있다.

특정 객체 선택은 도 6에 도시된 바와 같이, 사용자가 특정 객체의 둘레로 다각형을 그리는 제스쳐 등의 방법이 있을 수 있다. 본 발명에 따른 제어장치(100)는 시각 피드백을 제공할 수 있는 디스플레이 모듈을 포함하고 있지 않고, 투명 디스플레이에 투영되는 사물 방향의 이미지를 그대로 활용하는 것이므로, 사용자가 터치 제스쳐를 통해 객체를 선택할 때, 다각형을 그리는 중간단계와 객체 선택 완료되는 상황에 대해 이를 구별하고, 각 상태에 해당하는 촉각 피드백을 사용자에게 제공할 필요가 있다.

한편, 기능 속성 매핑부(130)는 최종적으로 생성된 가상 이미지와, 터치 제스쳐를 매핑하여, 터치 제스쳐에 의해 선택된 가상 이미지의 일부를 사용자의 관심 객체로 가정하고, 상기 관심 객체를 이미지 검색 엔진(200)의 질의어로 전송한다.

이미지 검색 엔진(200)은 사용자 관심 객체로 가정한 이미지 조각을 근거로 검색한 검색 결과(사용자 관심 객체의 속성 정보)를 제어장치(100)에게 반환한다.

여기서, 상기 이미지 검색 엔진(200)은 본 발명에 따른 제어장치(100)의 내부 구성으로 구비될 수 있으며, 이때 상기 기능 속성 매핑부(130)와 상기 이미지 검색 엔진(200)는 내부 데이터 통신 방식으로 데이터를 송수신 한다.

다른 한편으로, 상기 이미지 검색 엔진(200)은 상기 제어장치(100)에 대해 원격에 위치하여 무선통신 네트워크를 통해 데이터를 송수신할 수도 있다.

도 7과 같이 예를 들어 투명 디스플레이를 통해 사용자가 바라보는 객체가 자동차일 경우, 이미지 검색을 통해 기능 속성 매핑부(130)는 '자동차'라는 검색 결과를 이미지 검색 엔진(200)으로부터 반환받고, 미리 설정된 '자동차' 객체의 속성에 따라 제공 가능한 기능을 가상 이미지에 매핑한다.

기능 속성 매핑부(130)는 이미 사용자가 선택한 객체의 위치 정보를 저장하고 있으므로, 현재 선택 객체에서 제공 가능한 기능을 해당 기능에 해당하는 객체의 특정 위치에 부여할 수 있다.

'자동차' 객체의 경우의 기능 목록의 예는 터치 부위에 따라 1) 본네트-시동 ON/OFF, 2) 문-문 열림/닫힘, 3) 윈도우-윈도우 내림/올림, 4) 헤드라이트-헤드라이트 ON/OFF, 5) 트렁크-트렁크 열림/닫힘 등을 포함할 수 있다. 한편, 사용자 인터페이스부(150)는 가상 이미지와 객체 기능 속성의 매핑이 완료되면 사용자에게 촉각 피드백을 제공한다.

'자동차' 객체처럼 다양한 기능을 제공하는 복합 객체 이외에 블라인드, 조명, 문 등 간단한 기능을 제공하는 단순 객체의 경우, 객체 자체가 갖는 상징(metaphor)를 이용하여, 별도 GUI 없이 기능 제어가 가능하다. 즉 블라인드의 경우 투명 디스플레이를 통해 사용자에게 별도 GUI를 제공하지 않더라도, 좌우 또는 상하 플리킹(flicking)이나, 클릭(clicking)과 같은 단순한 터치 제스쳐 만으로 블라인드를 내리거나 올릴 수 있다. 즉 사용자의 손이 닿지 않는 거리에 있는 단순 객체의 경우, 제안한 투명 디스플레이를 이용한 제어장치를 통해 객체를 식별하고, 별도 GUI 없이 사용자 손에 있는 제어장치에서 객체의 제어 패널을 제공할 수 있다.

사용자는 사용자 인터페이스(150)를 통해 식별된 객체와 객체의 기능을 선택하고, 해당 객체와 투명 디스플레이를 이용한 제어장치(100) 간에 형성된 근거리 네트워크를 이용하여, 해당 기능에 맞는 명령어가 상기 제어장치(100)에서 해당 객체로 전송되어 사용자가 원하는 기능이 동작된다.

시스템 제어부(140)는 상기 제1 이미지 획득부(110), 상기 가상 이미지 생성부(120), 상기 기능 속성 매핑부(130), 상기 사용자 인터페이스부(150), 상기 제2 이미지 획득부(160), 상기 카메라 구동부(170)의 동작을 총괄적으로 제어하거나, 또는 각 기능 블록 사이의 유기적인 관계를 정의하는 역할을 한다.

예컨대, 상기 시스템 제어부(140)는 상기 가상 이미지 생성부(120)의 기능을 활성화시킬지 여부에 대한 판단을 하거나, 상기 제2 이미지 획득부(160)에서 획득된 사람 방향의 영상에서 사용자의 시선 방향을 추적하여 상기 카메라 구동부(170)의 동작을 제어하는 명령을 생성할 수 있다.

제2 이미지 획득부(160)는 상기 복수개의 카메라에서 촬영된 복수개의 사람 방향의 영상을 획득한다. 예컨대, 도 1에 도시된 바와 같이 2개의 카메라 렌즈가 사람 방향으로 배치되어 있으면, 각 카메라가 배치된 위치에서 촬영할 수 있는 화각에 해당하는 영역만큼 촬영된 2개의 사람 방향의 영상이 획득될 수 있다.

한편, 본 발명에서 제시하는 투명 디스플레이를 이용한 제어장치(100)는 스마트 폰과 같이 사용자가 한 손으로 잡고 사용할 수 있는 크기일 수 있기 때문에, 일반적으로는 사용자는 손쉽게 투명 디스플레이를 사용자와 직각 방향에 근접하게 배치할 수 있다.

그러나 사용자의 눈(또는 머리)의 위치가 정상 범위 사용자 방향에서 벗어날 경우, 사람 방향으로 배치된 2개의 카메라를 이용해 사용자 눈(또는 머리)의 위치를 추적하고, 사용자의 눈(또는 머리)의 위치를 고려하여 사물 방향으로 배치된 카메라의 촬영 방향을 조정해야 한다.

전술한 바와 같이, 시스템 제어부(170)는 상기 제2 이미지 획득부(160)가 획득한 사람 방향의 영상에서 사용자의 시선방향을 추적하고, 상기 시선방향과 상기 사물 방향으로 배치된 카메라의 촬영 방향이 기 설정된 소정 범위 내의 각도를 이루도록 상기 카메라의 촬영 방향을 조정하기 위한 제어 값을 연산하고, 이에 따라 카메라 구동부(170)는 카메라의 촬영 방향을 조정한다.

예컨대, 투명 디스플레이의 면을 X-Y 평면이라 하고, 투명 디스플레이에서 사용자 측으로의 직각 방향을 Z 축이라고 가정하면, 투명 디스플레이의 중심(p0 = (x0, y0, z0))을 원점으로 하는 3차원 공간을 생성할 수 있다.

정상 범위는 사용자 눈(또는 머리)의 위치를 p1 = (x1, y1, z1)이라 할 때, (x0, y0)와 (x1, y1)의 유클리드 거리가 적당한 임계치 이내 일 때를 의미한다. 사용자의 눈(또는 머리)의 위치가 정상 범위를 벗어난 경우는 사물 방향의 4개 카메라를 사용자가 투명 디스플레이를 바라보는 각도(직선 p1p0과 X-Y 평면(투명 디스플레이) 사이의 각)에 따라 사용자 눈(또는 머리 방향)과 일직선이 되도록 4개 카메라의 방향을 변환한다. 복수개의 카메라를 사용하여 사용자 눈 또는 머리의 위치를 추적하는 방법은 많이 알려져 있으므로 본 발명에서는 생략하기로 한다.

본 발명에서 제안하는 디스플레이 모듈 없이 투명 디스플레이 뒤에 존재하는 사물을 구별하는 방법은 투명 디스플레이에 복수개의 카메라를 구성하고, 복수개의 카메라 촬영 영상을 재 조합하여, 투명 장치를 통해 사용자가 바라보는 영역을 가상 이미지로 구성한다. 이에 대해 도 8을 참조하여 구체적으로 설명한다.

도 8은 본 발명의 실시예에 따른 본 발명의 실시예에 따른 투명 디스플레이를 이용한 전자기기 제어방법을 도시한 도면이다.

도 8을 참조하면, 사람 방향으로 배치된 카메라에서 촬영된 영상에서 사람의 시선 방향을 추적하고, 상기 사람의 시선 방향이 투명 디스플레이와 이루는 각도에 따라 사물 방향으로 배치된 카메라의 촬영 방향을 조정한다(S10).

이후, 사물 방향의 복수 개의 카메라에서 촬영된 복수 개의 영상을 획득한다(S20).

제어장치가 비활성화 상태부터 초기 상태에 진입할 때까지 상기 복수 개의 영상은 주기적으로 획득되며, 동 시간에 촬영된 복수 개(예컨대, 4개의 이미지)로부터 초기 상태에 진입했는지 여부를 확인한다(S30).

시스템이 초기 상태로 진입하면, 상기 복수개의 사물 방향의 영상을 조합하여 상기 투명 디스플레이에 투영되는 사물 방향의 영역에 해당하는 가상 이미지를 생성한다(S40).

이후, 사용자 입력에 기초하여 상기 가상 이미지에 포함되어 있는 객체를 인식하고(S50), 인식된 객체를 제어할 수 있는 기능 속성을 상기 가상 이미지에 매핑한다(S60).

일 실시예로서, 사용자가 관심 객체를 투명 터치 패널에 터치 제스쳐를 이용하여 표시하면, 터치 제스쳐를 근거로 가상 이미지로부터 사용자 관심 객체 영역을 잘라낼 수 있다. 터치 제스쳐로 사용자 관심 객체라고 가정하는 영역을 설정하고, 이를 근거로 이미지를 검색하여, 객체의 이름, 기능 목록 등의 속성값을 획득한다. 획득한 속성값으로부터 객체가 제공할 수 있는 기능 목록을 가상 이미지에 매핑 시킨 후, 터치 제스쳐를 통해 해당 기능을 제어한다.

상술한 바와 같이, 사용자가 바라보는 사물 방향으로 배치된 복수개의 카메라를 이용하여 촬영영상을 조합하고, 투명 디스플레이의 크기와 동일하게 가상 이미지를 보정함으로써 실제 투명 디스플레이를 통해 사용자가 바라보는 사용자 뷰(view)와 동일한 가상 이미지를 손쉽게 생성할 수 있다. 또한, 터치 패널의 중심과 가상 이미지의 중심이 일치하기 때문에, 별도 캘리브레이션 과정 없이, 터치 패널을 이용하여 사용자가 터치하는 위치의 부분 이미지를 손쉽게 얻을 수 있다. 이 부분 이미지를 이미지 검색 엔진의 질의어로 사용하여, 사용자 관심 객체에 대한 미리 정의된 속성 정보를 얻을 수 있다.

한편, 상술한 본 발명에 따른 제어방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 투명 디스플레이를 이용한 전자기기 제어장치
110: 제1 이미지 획득부 120: 가상 이미지 생성부
130: 기능속성 매핑부 140: 시스템 제어부
150: 사용자 인터페이스부 160: 제2 이미지 획득부
170: 카메라 구동부 200: 이미지 검색엔진

Claims

투명 디스플레이에 복수개의 카메라를 구비하며, 상기 투명 디스플레이에 투영되는 객체의 기능을 제어하기 위한 사용자 인터페이스를 제공하는 제어장치에 있어서,
서로 상이한 위치에서 동일한 방향의 사물을 촬영하는 상기 복수개의 카메라에서 촬영된 복수개의 사물 방향의 영상을 획득하는 제1 이미지 획득부;
각 카메라의 촬영 이미지 들이 서로 겹치는 영역이 발생한 상태가 되면 활성화되어, 상기 복수개의 사물 방향의 영상을 조합하여 상기 투명 디스플레이에 투영되는 사물 방향의 영역에 해당하는 가상 이미지를 생성하는 가상 이미지 생성부;
사용자 입력을 받는 사용자 인터페이스부; 및
상기 사용자 입력에 기초하여 상기 가상 이미지에 포함되어 있는 객체를 인식하고, 인식된 객체를 제어할 수 있는 기능 속성을 상기 가상 이미지에 매핑하는 기능 속성 매핑부를 포함하되,
상기 가상 이미지 생성부는,
상기 복수개의 사물 방향의 영상 중 제1 사물 방향의 영상과, 이와는 다른 제2 사물 방향의 영상에서 중첩되는 영역을 검색하고, 상기 제1 사물 방향의 영상과 상기 제2 사물 방향의 영상을 상기 중첩되는 영역의 크기만큼 중첩시킨 예비 가상 이미지를 생성하며, 상기 예비 가상 이미지에서 상기 투명 디스플레이가 차지하는 영역 이외의 영역을 자른 이미지를 최종 가상 이미지(cropped image)로 생성하는 것인 투명 디스플레이를 이용한 전자기기 제어장치.
제1항에 있어서, 상기 가상 이미지 생성부는,
상기 투명 디스플레이에 투영되는 사물 방향의 영역에 해당하는 영상과 동일 크기의 가상 이미지를 생성하는 것
를 투명 디스플레이를 이용한 전자기기 제어장치.
제1항에 있어서, 상기 가상 이미지 생성부는,
상기 복수개의 사물 방향의 영상 중 제1 사물 방향의 영상과, 이와는 다른 제2 사물 방향의 영상에서 중첩되는 영역을 검색하고, 상기 제1 사물 방향의 영상과 상기 제2 사물 방향의 영상을 상기 중첩되는 영역의 크기만큼 중첩시킨 상기 가상 이미지를 생성하는 것
인 투명 디스플레이를 이용한 전자기기 제어장치.
제1항에 있어서, 상기 가상 이미지 생성부는,
상기 복수개의 사물 방향의 영상들이 합쳐진 영역의 크기가 상기 투명 디스플레이의 크기보다 커지는 경우 활성화되어 동작하는 것
인 투명 디스플레이를 이용한 전자기기 제어장치.
제1항에 있어서,
상기 복수개의 카메라에서 촬영된 복수개의 사람 방향의 영상을 획득하는 제2 이미지 획득부; 및
상기 사람 방향의 영상에서 사용자의 시선방향을 추적하고, 상기 시선방향과 상기 복수개의 카메라의 촬영 방향이 기 설정된 소정 범위 내의 각도를 이루도록 상기 복수개의 카메라의 촬영 방향을 변환하는 카메라 구동부
를 더 포함하는 투명 디스플레이를 이용한 전자기기 제어장치.
제1항에 있어서, 상기 사용자 인터페이스부는,
상기 사용자 입력에 대한 결과 또는 상기 투명 디스플레이를 이용한 전자기기 제어장치에 발생하는 이벤트에 대한 피드백을 사용자에게 제공하는 것
인 투명 디스플레이를 이용한 전자기기 제어장치.
제1항에 있어서, 상기 기능 속성 매핑부는,
상기 사용자 입력에 기초하여 선택된 상기 가상 이미지의 일부 영역을 질의어로 하여 이미지 검색엔진으로 전송하고,
상기 이미지 검색엔진에서 반환된 객체 인식 결과를 이용하여 인식된 객체에 대한 속성 정보를 검색하는 것
인 투명 디스플레이를 이용한 전자기기 제어장치.
제7항에 있어서,
상기 이미지 검색엔진은 상기 투명 디스플레이를 이용한 전자기기 제어장치에 대해 원격에 위치하여 무선통신 네트워크를 통해 데이터를 송수신하는 것
인 투명 디스플레이를 이용한 전자기기 제어장치.
제1항에 있어서, 상기 기능 속성 매핑부는,
상기 기능 속성을 상기 가상 이미지에서 위치를 달리하여 설정된 해당 영역에 매핑하는 것
인 투명 디스플레이를 이용한 전자기기 제어장치.
제1항에 있어서,
상기 투명 디스플레이의 물리적인 중심 위치와 상기 가상 이미지의 중심은 일치하는 것
인 투명 디스플레이를 이용한 전자기기 제어장치.
투명 디스플레이에 복수개의 카메라를 구비하며, 상기 투명 디스플레이에 투영되는 객체의 기능을 제어하기 위한 사용자 인터페이스를 제공하는 제어방법에 있어서,
서로 상이한 위치에서 동일한 방향의 사물을 촬영하는 상기 복수개의 카메라에서 촬영된 복수개의 사물 방향의 영상을 획득하는 단계;
각 카메라의 촬영 이미지 들이 서로 겹치는 영역이 발생한 상태가 되면 활성화되어, 상기 복수개의 사물 방향의 영상을 조합하여 상기 투명 디스플레이에 투영되는 사물 방향의 영역에 해당하는 가상 이미지를 생성하는 단계;
사용자 입력에 기초하여 상기 가상 이미지에 포함되어 있는 객체를 인식하고, 인식된 객체를 제어할 수 있는 기능 속성을 상기 가상 이미지에 매핑하는 단계를 포함하되,
상기 가상 이미지를 생성하는 단계는,
상기 복수개의 사물 방향의 영상 중 제1 사물 방향의 영상과, 이와는 다른 제2 사물 방향의 영상에서 중첩되는 영역을 검색하고, 상기 제1 사물 방향의 영상과 상기 제2 사물 방향의 영상을 상기 중첩되는 영역의 크기만큼 중첩시킨 예비 가상 이미지를 생성하는 단계; 및
상기 예비 가상 이미지에서 상기 투명 디스플레이가 차지하는 영역 이외의 영역을 자른 이미지를 최종 가상 이미지(cropped image)로 생성하는 단계를 포함하는 것인 투명 디스플레이를 이용한 전자기기 제어방법.
제11항에 있어서, 상기 가상 이미지를 생성하는 단계는,
상기 복수개의 사물 방향의 영상 중 제1 사물 방향의 영상과, 이와는 다른 제2 사물 방향의 영상에서 중첩되는 영역을 검색하고, 상기 제1 사물 방향의 영상과 상기 제2 사물 방향의 영상을 상기 중첩되는 영역의 크기만큼 중첩시킨 가상 이미지를 생성하는 단계를 포함하는 것
인 투명 디스플레이를 이용한 전자기기 제어방법.
제11항에 있어서, 상기 가상 이미지를 생성하는 단계는,
상기 투명 디스플레이에 투영되는 사물 방향의 영역에 해당하는 영상과 동일 크기의 가상 이미지를 생성하는 단계를 포함하는 것
인 투명 디스플레이를 이용한 전자기기 제어방법.
제11항에 있어서, 상기 가상 이미지를 생성하는 단계는,
상기 투명 디스플레이의 물리적인 중심 위치와 동일한 중심을 가지는 가상 이미지를 생성하는 단계를 포함하는 것
인 투명 디스플레이를 이용한 전자기기 제어방법.
삭제
제11항에 있어서, 가상 이미지를 생성하는 단계 이전에,
상기 복수개의 카메라에서 촬영된 복수개의 사람 방향의 영상을 획득하는 단계; 및
상기 사람 방향의 영상에서 사용자의 시선방향을 추적하고, 상기 시선방향과 상기 복수개의 카메라의 촬영 방향이 기 설정된 소정 범위 내의 각도를 이루도록 상기 복수개의 카메라의 촬영 방향을 변환하는 단계
를 더 포함하는 투명 디스플레이를 이용한 전자기기 제어방법.
.
제16항에 있어서,
상기 복수개의 사물 방향의 영상들이 합쳐진 영역의 크기가 상기 투명 디스플레이의 크기보다 커지는 경우 활성화되는 단계
를 더 포함하는 투명 디스플레이를 이용한 전자기기 제어방법.
제11항에 있어서, 상기 가상 이미지에 매핑하는 단계는,
상기 사용자 입력에 기초하여 선택된 상기 가상 이미지의 일부 영역을 질의어로 하여 이미지 검색엔진으로 전송하는 단계; 및
상기 이미지 검색엔진에서 반환된 객체 인식 결과를 이용하여 인식된 객체에 대한 속성 정보를 검색하는 단계를 포함하는 것
인 투명 디스플레이를 이용한 전자기기 제어방법.
제11항에 있어서, 상기 가상 이미지에 매핑하는 단계는,
상기 기능 속성을 상기 가상 이미지에서 위치를 달리하여 설정된 해당 영역에 매핑하는 단계를 포함하는 것
인 투명 디스플레이를 이용한 전자기기 제어방법.
제18항에 있어서,
상기 이미지 검색엔진은 상기 투명 디스플레이를 이용한 전자기기 제어장치에 대해 원격에 위치하여 무선통신 네트워크를 통해 데이터를 송수신하는 것
인 투명 디스플레이를 이용한 전자기기 제어방법.