KR102612591B1

KR102612591B1 - 객체 인식 기반 디스플레이 제어 장치 및 방법

Info

Publication number: KR102612591B1
Application number: KR1020160113826A
Authority: KR
Inventors: 임국찬; 전진수; 이학순; 신승민
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2016-09-05
Filing date: 2016-09-05
Publication date: 2023-12-12
Also published as: KR20180026907A

Abstract

본 발명의 일 실시예에 따른 객체 인식 기반 디스플레이 제어 장치는 영상을 디스플레이하는 제1 디스플레이, 객체가 제1 디스플레이에 접촉하는 접촉 영역을 감지하는 센서부, 제2 디스플레이로 출력될 영상 정보를 저장하는 디스플레이 버퍼, 객체에 대응하는 객체 식별정보 및 객체 식별정보에 매핑된 디스플레이 버퍼의 식별정보를 저장하는 저장부, 접촉 영역에 기초하여 객체 식별정보를 특정하고, 접촉 영역이 실행중인 애플리케이션 화면 영역 내에 위치하는 경우 애플리케이션 화면의 영상 정보를 디스플레이 버퍼에 저장하고, 접촉 영역이 애플리케이션 화면 영역 내에 위치하지 않는 경우 접촉 영역을 기준으로 제1 디스플레이 상에 소정의 영역을 설정하고 소정의 영역의 영상 정보를 디스플레이 버퍼에 저장하는 그래픽 처리부 및 디스플레이 버퍼에 저장되어 있는 영상 정보를 제2 디스플레이로 출력하는 디스플레이 포트를 포함한다.

Description

객체 인식 기반 디스플레이 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROL DISPLAY BASED ON OBJECT RECOGNITION}

본 발명은 객체 인식 기반 디스플레이 제어 장치 및 방법에 관한 것으로서, 보다 자세하게는 디스플레이 상에 올려진 객체의 식별정보를 파악하고 객체가 디스플레이에 접촉하는 접촉 영역이 실행 중인 애플리케이션 화면 영역 내에 위치하는지 여부에 따라, 외부 디스플레이에 출력할 영상을 제어하는 객체 인식 기반 디스플레이 제어 장치 및 방법에 관한 것이다.

테이블탑(Table Top)은 테이블의 상면에 디스플레이를 구비한 형태로 구현되는데, 이러한 테이블탑은 기존의 터치스크린을 구비한 장치들에 비해 상대적으로 넓은 터치 영역을 제공하며, 멀티터치 입력방식으로 FTIR(Frustrated Total Internal Reflection) 또는 LLP(Laser Light Plane)등을 사용하여 많게는 수십 개 이상의 멀티터치가 가능하여 복수의 사용자들이 동시에 여러 작업을 수행할 수 있도록 한다.

이에 따라, 복수의 사용자들이 동시에 테이블탑 위에서 디지털 정보들의 조작과 공유를 할 수 있기에, 테이블탑을 이용하여 복수의 사용자들간 공동작업이나 회의 등을 수행할 수 있다.

이때 테이블탑과 외부 디스플레이를 연결하여 테이블탑에 구비된 디스플레이에 출력되는 영상의 전부 또는 일부를 외부 디스플레이에 출력시켜 영상 정보를 공유하는 것이 가능하다. 이때, 기존에는 테이블탑에 출력 중인 영상의 일부를 외부 디스플레이가 있는 방향으로 드래그하여 해당 영상이 출력될 외부 디스플레이를 결정하였다.

그러나 이와 같은 방식은 외부 디스플레이가 같은 방향에 여러 개가 있는 경우 또는 외부 디스플레이가 테이블탑과 같은 공간에 위치하지 않는 경우, 사용자가 원하는 외부 디스플레이에 출력되도록 하기 어려운 문제가 존재한다.

본 발명의 실시예에서 해결하고자 하는 과제는 디스플레이 상에 접촉하는 객체를 특정하고, 특정된 객체의 정보에 따라 디스플레이 상의 영상 정보가 특정 외부 디스플레이에 출력되도록 하는 기술을 제공하는 것이다.

또한 객체가 디스플레이에 접촉하고 있는 접촉 영역이 실행 중인 애플리케이션 화면 영역 내에 위치하는지 여부에 따라, 애플리케이션 화면 영상 정보 또는 접촉 영역을 기준으로 설정된 소정의 영역의 영상 정보를 외부 디스플레이에 출력하는 것을 제어하는 기술을 제공하고자 한다.

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.

일 실시예에 따른 객체 인식 기반 디스플레이 제어 장치는 영상을 디스플레이하는 제1 디스플레이; 객체가 상기 제1 디스플레이에 접촉하는 접촉 영역을 감지하는 센서부; 제2 디스플레이로 출력될 영상 정보를 저장하는 디스플레이 버퍼; 상기 객체에 대응하는 객체 식별정보 및 상기 객체 식별정보에 매핑된 상기 디스플레이 버퍼의 식별정보를 저장하는 저장부; 상기 접촉 영역에 기초하여 상기 객체 식별정보를 특정하고, 상기 접촉 영역이 실행중인 애플리케이션 화면 영역 내에 위치하는 경우 상기 애플리케이션 화면의 영상 정보를 상기 디스플레이 버퍼에 저장하고, 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하지 않는 경우 상기 접촉 영역을 기준으로 상기 제1 디스플레이 상에 소정의 영역을 설정하고 상기 소정의 영역의 영상 정보를 상기 디스플레이 버퍼에 저장하는 그래픽 처리부; 및 상기 디스플레이 버퍼에 저장되어 있는 상기 영상 정보를 상기 제2 디스플레이로 출력하는 디스플레이 포트를 포함한다.

이때 상기 그래픽 처리부는 상기 접촉 영역의 모양 또는 면적에 기초하여 상기 객체 식별 정보를 특정할 수 있다.

또한 상기 그래픽 처리부는 상기 접촉 영역을 중심으로 상기 제2 디스플레이의 해상도에 대응하는 영역을 상기 소정의 영역으로 설정할 수 있다.

더불어 상기 그래픽 처리부는 상기 소정의 영역이 상기 제1 디스플레이의 영역을 벗어나는 경우 벗어나는 부분만큼 상기 소정의 영역을 상기 제1 디스플레이의 영역 내로 이동시켜 설정할 수 있다.

아울러 상기 센서부가 상기 소정의 영역의 가장자리에 드래그를 감지하는 경우, 상기 그래픽 처리부는 상기 드래그에 대응하여 상기 소정의 영역의 크기를 변화시켜 설정할 수 있다.

또한 상기 센서부가 상기 접촉 영역이 상기 애플리케이션 화면 영역에 위치하지 않는 경우에 상기 접촉 영역의 회전을 감지하면, 상기 그래픽 처리부는 상기 소정의 영역을 상기 접촉 영역의 회전에 대응하여 회전시켜 설정할 수 있다.

한편 상기 그래픽 처리부는 상기 소정의 영역의 일부에 상기 애플리케이션 화면 영역의 일부가 위치한다고 판정하는 경우, 상기 센서부를 통해 상기 애플리케이션 화면 영역의 상기 일부에 더블 클릭을 감지하면, 상기 애플리케이션 화면의 영상 정보를 상기 디스플레이 버퍼에 저장할 수 있다.

또한 상기 센서부가 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우에 상기 접촉 영역의 회전을 감지하면, 상기 그래픽 처리부는 상기 애플리케이션 화면을 상기 접촉 영역의 회전에 대응하여 회전시킬 수 있다.

더불어 상기 센서부가 상기 접촉 영역이 실행중인 애플리케이션 화면 영역 내에 위치하는 경우에 상기 접촉 영역의 이동을 감지하면, 상기 그래픽 처리부는 상기 애플리케이션 화면을 상기 접촉 영역의 이동에 대응하여 이동시킬 수 있다.

아울러 상기 센서부가 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우에 상기 접촉 영역의 이동을 감지하면, 상기 그래픽 처리부는 상기 소정의 영역을 상기 접촉 영역의 이동에 대응하여 이동시켜 설정할 수 있다.

일 실시예에 따른 객체인식 기반 디스플레이 제어 방법은 객체가 제1 디스플레이에 접촉하는 접촉 영역을 감지하는 단계; 상기 접촉 영역에 기초하여 객체 식별 정보를 특정하는 단계; 상기 접촉 영역이 실행 중인 애플리케이션 화면 영역 내에 위치하는지 여부를 판정하는 단계; 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우 상기 애플리케이션 화면의 영상 정보를 제2 디스플레이로 출력될 영상 정보를 저장하는 디스플레이 버퍼에 저장하고, 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하지 않는 경우 상기 접촉 영역을 기준으로 상기 제 1 디스플레이 상에 소정의 영역을 설정하고 상기 소정의 영역의 영상 정보를 상기 디스플레이 버퍼에 저장하는 단계; 및 상기 디스플레이 버퍼에 저장되어 있는 상기 영상 정보를 상기 제 2 디스플레이로 출력하는 단계를 포함한다.

본 발명의 실시예에 따르면, 객체의 식별 정보를 통해 디스플레이에 출력 중인 영상이 어떠한 외부 디스플레이에 출력되도록 할 것인지 특정할 수 있다.

또한 객체의 접촉 영역에 움직임을 주어 디스플레이 상에 출력되는 영상을 다양하게 제어를 할 수 있고, 외부 디스플레이에 출력시킬 영상 정보를 제어할 수 있다.

도 1은 일 실시예에 따른 객체 인식 기반 디스플레이 제어 장치의 블록도이다.
도 2는 접촉 영역이 애플리케이션 화면 영역 내에 위치하는 경우 애플리케이션 화면을 제2 디스플레이에 출력시키는 것을 설명하기 위한 도면이다.
도 3은 접촉 영역이 애플리케이션 화면 영역 내에 위치하지 않는 경우 소정의 영역을 제2 디스플레이의 해상도에 대응하도록 설정하는 것을 설명하기 위한 도면이다.
도 4는 소정의 영역이 제1 디스플레이의 영역을 벗어나는 경우 소정의 영역을 제1 디스플레이의 영역 내로 이동시켜 설정하는 것을 설명하기 위한 도면이다.
도 5는 소정의 영역의 가장자리에 드래그가 감지되는 경우, 드래그에 대응하여 소정의 영역의 크기를 변화시켜 설정하는 것을 설명하기 위한 도면이다.
도 6은 접촉 영역이 애플리케이션 화면 영역에 위치하지 않는 경우에 접촉 영역의 회전을 감지하면, 소정의 영역을 접촉 영역의 회전에 대응하여 회전시켜 설정하는 것을 설명하기 위한 도면이다.
도 7은 소정의 영역의 일부에 애플리케이션 화면 영역의 일부가 위치하는 경우, 애플리케이션 화면 영역의 일부에 더블 클릭을 통해 애플리케이션 화면의 영상 정보를 제2 디스플레이에 출력하는 것을 설명하기 위한 도면이다.
도 8은 접촉 영역이 애플리케이션 화면 영역 내에 위치하는 경우에 접촉 영역의 회전을 감지하면, 애플리케이션 화면을 접촉 영역의 회전에 대응하여 회전시키는 것을 설명하기 위한 도면이다.
도 9는 접촉 영역이 애플리케이션 화면 영역 내에 위치하는 경우에 접촉 영역의 이동이 감지되면, 애플리케이션 화면을 접촉 영역의 이동에 대응하여 이동시키는 것을 설명하기 위한 도면이다.
도 10은 접촉 영역이 애플리케이션 화면 영역 내에 위치하는 경우에 접촉 영역의 이동이 감지되면, 소정의 영역을 접촉 영역의 이동에 대응하여 이동시키는 것을 설명하기 위한 도면이다.
도 11은 객체가 다른 실행중인 애플리케이션에 놓여지는 경우 디스플레이 버퍼에 다른 실행중인 애플리케이션 화면의 영상 정보를 저장하는 것을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 객체 인식 기반 디스플레이 제어 방법의 순서를 설명하기 위한 흐름도이다.

본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.

본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.

또한, 어떤 구성요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.

나아가 어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.

이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다.

도 1은 일 실시예에 따른 객체 인식 기반 디스플레이 제어 장치(100)의 블록도이다.

도 1을 참조하면, 객체 인식 기반 디스플레이 제어 장치(100)는 제1 디스플레이(110), 센서부(120), 제1 디스플레이 버퍼(131), 저장부(140), 그래픽 처리부(150) 및 제1 디스플레이 포트(161)를 포함한다. 이때 도 1의 제2 디스플레이(200) 및 제3 디스플레이(300)는 객체 인식 기반 디스플레이 제어 장치(100)의 구성에 포함되지 않는 외부 디스플레이이다.

또한 객체 인식 기반 디스플레이 제어 장치(100)는 추가적으로 디스플레이 버퍼를 적어도 하나 이상(예: 제1 디스플레이 버퍼(131), 제2 디스플레이 버퍼(132), 제3 디스플레이 버퍼(133)...) 구비할 수 있으며, 디스플레이 포트를 적어도 하나 이상(예: 제1 디스플레이 포트(161), 제2 디스플레이 포트(162)...) 구비할 수 있다.

제1 디스플레이(110)는 영상을 디스플레이한다. 또한 기능 수행을 위한 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다. 이때 제1 디스플레이(110)는 LCD(Liquid Crystal Display), TFT-LCD(Thin Film Transistor LCD), OLED(Organic Light Emitting Diodes), 발광다이오드(LED), AMOLED(Active Matrix Organic LED), 플렉시블 디스플레이(Flexible display) 및 3차원 디스플레이(3 Dimension) 등으로 구성될 수 있으며, 터치스크린(Touch Screen) 형태로 구성될 수 있다.

센서부(120)는 객체(10)가 제1 디스플레이(110)에 접촉하는 접촉 영역을 감지한다. 객체(10)는 제1 디스플레이(110) 상에 놓여질 수 있는 다양한 형태의 물건일 수 있다.

디스플레이 버퍼는 디스플레이에 출력될 영상 정보를 저장하여 디스플레이 상에 출력할 수 있도록 정보를 전송한다. 이때 본 발명의 일 실시예에 따르면 디스플레이 버퍼는 적어도 하나 이상일 수 있다.

예를 들어, 제1 디스플레이 버퍼(131), 제2 디스플레이 버퍼(132) 및 제3 디스플레이 버퍼(133)를 포함할 수 있다. 각 디스플레이 버퍼는 전송할 영상을 각각 저장하며 객체 인식 기반 디스플레이 제어 장치(100)에 구비된 제1 디스플레이(110)에 전송할 영상을 저장하거나, 객체 인식 기반 디스플레이 제어 장치(100)에 포함되지 않은 외부 디스플레이인 제2 디스플레이(200) 및 제3 디스플레이(300)에 전송할 영상을 저장할 수 있다.

저장부(140)는 객체(10)에 대응하는 객체 식별정보 및 객체 식별정보에 매핑된 디스플레이 버퍼의 식별정보를 저장한다. 객체(10)는 제1 디스플레이(110) 상에 놓여질 경우 제1 디스플레이(110)와의 접촉 영역이 존재한다. 이때, 접촉 영역의 좌표, 무게, 모양 및 면적 중 적어도 하나의 정보가 객체 식별정보로 저장될 수 있다.

이때 객체 식별정보는 디스플레이 버퍼의 식별정보와 매핑되어 저장된다. 예를 들면, 객체A 및 객체B가 있는 경우, 객체A의 객체 식별정보는 제2 디스플레이 버퍼(132)와 매핑되어 저장되고, 객체(10) B의 객체 식별정보는 제3 디스플레이 버퍼(133)와 매핑되어 저장될 수 있다.

그래픽 처리부(150)는 객체(10)가 제1 디스플레이(110)에 접촉하는 접촉 영역에 기초하여 객체 식별정보를 특정하고, 접촉 영역이 실행중인 애플리케이션 화면(20) 영역 내에 위치하는지의 여부를 판단한다.

이때 그래픽 처리부(150)는 접촉 영역을 기반으로 저장부(140)에 저장된 객체(10)를 식별하는 객체 식별정보를 검색하여 해당 객체(10)의 객체 식별정보를 특정할 수 있다.

또한 그래픽 처리부(150)는 접촉 영역이 실행중인 애플리케이션 화면(20) 영역 내에 위치하면, 애플리케이션 화면(20)의 영상 정보를 제1 디스플레이(110)에 접촉 중인 객체(10)의 객체 식별정보와 매핑된 제2 디스플레이 버퍼(132)에 애플리케이션 화면(20)의 영상 정보를 저장한다.

도 2를 참조하면, 저장부(140)에 객체(10)의 객체 식별정보가 제2 디스플레이 버퍼(132)와 매핑되어 있고, 제1 디스플레이(110)의 애플리케이션 화면(20) 상에 객체(10)가 놓여져 있다면, 그래픽 처리부(150)는 객체(10)의 접촉 영역을 통해 저장부(140)를 검색하여 객체 식별정보로 특정하고 검색된 객체 식별정보와 매핑된 제2 디스플레이 버퍼(132)에 애플리케이션 화면(20)의 영상 정보를 저장하여 제2 디스플레이(200)에 출력할 수 있다.

이때 제1 디스플레이(110)에는 적어도 하나 이상의 애플리케이션이 실행 중일 수 있다. 따라서 저장부(140)에 객체A의 객체 식별정보가 제2 디스플레이 버퍼(132)와 매핑되어 있고 객체B의 객체 식별정보가 제3 디스플레이 버퍼(133)와 매핑되어 있을 때, 제1 디스플레이(110)의 제1 어플리케이션 화면 상에 객체A가 놓여져 있고 제1 디스플레이(110)의 제2 어플리케이션 화면 상에 객체B가 놓여져 있는 경우, 그래픽 처리부(150)는 제1 어플리케이션의 화면의 영상 정보를 제2 디스플레이 버퍼(132)에 저장하여 제2 디스플레이(200)에 출력하고, 제2 어플리케이션의 화면의 영상 정보를 제3 디스플레이 버퍼(133)에 저장하여 출력할 수 있다.

한편, 그래픽 처리부(150)는 접촉 영역이 실행중인 애플리케이션 화면(20) 영역 내에 위치하지 않는다면, 접촉 영역을 기준으로 제1 디스플레이(110) 상에 소정의 영역(30)을 설정하고 소정의 영역(30)의 영상 정보를 제2 디스플레이 버퍼(132)에 저장한다. 이에 따라 제2 디스플레이(200)에는 제1 디스플레이(110)에 설정된 소정의 영역(30)의 영상 정보를 출력하며, 소정의 영역(30)의 제어에 따라 다양한 제어가 가능하다. 이후 후술하는 객체(10)는 객체 식별정보가 제2 디스플레이 버퍼(132)와 매핑되어 있음을 가정하고 설명한다.

도 3을 참조하면, 그래픽 처리부(150)는 접촉 영역을 중심으로 제2 디스플레이(200)의 해상도에 대응하는 영역을 소정의 영역(30)으로 설정할 수 있다.

예를 들면, 제2 디스플레이(200)의 해상도가 1920 X 1080 일때, 접촉 영역을 중심으로 제1 디스플레이(110) 상에 1920 X 1080 크기의 영역을 소정의 영역(30)으로 설정할 수 있다. 이때 설정된 소정의 영역(30)의 영상 정보는 제2 디스플레이 버퍼(132)에 저장되고, 저장된 영상은 제2 디스플레이(200)에 출력될 수 있다. 따라서 제2 디스플레이(200)에는 제1 디스플레이(110)에 출력 중인 영상 정보의 일부, 즉 객체(10)를 중심으로 1920 X 1080 영역만큼의 영상 정보가 출력될 수 있다.

도 4를 참조하면, 그래픽 처리부(150)는 소정의 영역(30)이 제1 디스플레이(110)의 영역을 벗어나는 경우 벗어나는 부분만큼 소정의 영역(30)을 제 1 디스플레이의 영역 내로 이동시켜 설정할 수 있다. 이에 따라 객체(10)가 제1 디스플레이(110)의 가장자리에 위치하여도 제2 디스플레이(200) 상에는 잘리는 영역이 없이 제1 디스플레이(110)의 영상을 출력할 수 있다.

도 5를 참조하면, 센서부(120)가 소정의 영역(30)의 가장자리에 드래그를 감지하는 경우, 그래픽 처리부(150)는 드래그에 대응하여 소정의 영역(30)의 크기를 변화시켜 설정할 수 있다.

예를 들어, 사용자가 소정의 영역(30)의 가장자리를 드래그하여 소정의 영역(30)을 늘릴 수 있다. 이에 따라 그래픽 처리부(150)는 소정의 영역(30)의 크기가 커지므로 제2 디스플레이 버퍼(132)에 전송되는 소정의 영역(30)의 영상 정보의 해상도를 확대된 소정의 영역 크기만큼 높여서 전송할 수 있고, 이에 따라 제2 디스플레이(200)에는 더 높은 해상도의 영상 정보가 출력될 수 있다.

도 6을 참조하면, 접촉 영역이 애플리케이션 화면(20) 영역에 위치하지 않는 경우 사용자가 객체(10)를 회전시켜 센서부(120)가 접촉 영역의 회전을 감지하면, 그래픽 처리부(150)는 소정의 영역(30)을 접촉 영역의 회전에 대응하여 회전시켜 설정할 수 있다.

예를 들어, 사용자가 객체(10)를 시계방향으로 돌릴 경우, 센서부(120)는 접촉 영역이 시계 방향으로 회전하는 것을 감지할 수 있다. 이때 그래픽 처리부(150)는 소정의 영역(30)을 접촉 영역이 회전하는 방향 및 크기에 대응하여 소정의 영역(30)을 회전시켜 설정할 수 있다. 이에 따라 제2 디스플레이 버퍼(132)에는 회전된 소정의 영역(30)의 영상 정보를 저장하고 제2 디스플레이(200)는 회전된 영상이 출력될 수 있다.

도 7을 참조하면, 그래픽 처리부(150)가 소정의 영역(30)의 일부에 애플리케이션 화면(20) 영역의 일부가 위치한다고 판별하는 경우, 센서부(120)를 통해 애플리케이션 화면(20) 영역의 일부에 더블 클릭을 감지하면, 애플리케이션 화면(20)의 영상 정보를 제2 디스플레이 버퍼(132)에 저장할 수 있다.

예를 들어, 객체(10)가 애플리케이션 화면(20) 영역 부근에 놓여지거나, 사용자가 애플리케이션을 드래그 하여 애플리케이션 화면(20) 영역의 일부가 소정의 영역(30)에 포함되는 경우, 센서부(120)가 애플리케이션 화면(20) 영역의 일부에 더블 클릭을 감지하면, 그래픽 처리부(150)는 애플리케이션 화면(20)의 영상 정보가 제2 디스플레이 버퍼(132)에 저장되도록 할 수 있다. 이 경우 제2 디스플레이 버퍼(132)는 소정의 영역(30)의 영상 정보를 저장하고 있다가 애플리케이션 화면(20)의 영상 정보를 저장하게 되므로, 제2 디스플레이(200)에 출력되는 화면은 소정의 영역(30)의 영상에서 애플리케이션 화면(20)의 영상으로 바뀌게 된다. 이때 그래픽 처리부(150)는 기존 소정의 영역(30)의 크기에 대응되도록 제1 디스플레이(110)상에서 애플리케이션 화면(20)의 크기를 조절할 수 있다.

도 8을 참조하면, 접촉 영역이 애플리케이션 화면(20) 영역 내에 위치하는 경우에 센서부(120)가 접촉 영역의 회전을 감지하면, 그래픽 처리부(150)는 애플리케이션 화면(20)을 접촉 영역의 회전에 대응하여 회전시킬 수 있다.

예를 들어, 사용자가 객체(10)를 시계방향으로 돌릴 경우, 센서부(120)는 접촉 영역이 시계 방향으로 회전하는 것을 감지할 수 있다. 이때 그래픽 처리부(150)는 접촉 영역이 회전하는 방향 및 크기에 대응하여 애플리케이션 화면(20)을 회전시킬 수 있다.

도 9를 참조하면, 접촉 영역이 실행중인 애플리케이션 화면(20) 영역 내에 위치하는 경우에 센서부(120)가 접촉 영역의 이동을 감지하면, 그래픽 처리부(150)는 애플리케이션 화면(20)을 접촉 영역의 이동에 대응하여 이동시킬 수 있다.

예를 들어, 사용자가 객체(10)를 오른쪽으로 이동시킬 경우, 센서부(120)는 접촉 영역이 오른쪽으로 이동하는 것을 감지할 수 있다. 이때 그래픽 처리부(150)는 접촉 영역이 이동하는 방향 및 크기에 대응하여 애플리케이션 화면(20)을 이동시킬 수 있다.

도 10을 참조하면, 접촉 영역이 상기 애플리케이션 화면(20) 영역 내에 위치하지 않는 경우에 센서부(120)가 접촉 영역의 이동을 감지하면, 그래픽 처리부(150)는 소정의 영역(30)을 접촉 영역의 이동에 대응하여 설정할 수 있다.

예를 들어, 사용자가 객체(10)를 오른쪽으로 이동시킬 경우, 센서부(120)는 접촉 영역이 오른쪽으로 이동하는 것을 감지할 수 있다. 이때 그래픽 처리부(150)는 접촉 영역이 이동하는 방향 및 크기에 대응하여 소정의 영역(30)을 이동시켜 설정할 수 있다. 이에 따라 제2 디스플레이 버퍼(132)에는 이동된 소정의 영역(30)의 영상 정보를 저장하고 제2 디스플레이(200)는 이동된 소정의 영역(30)의 영상이 출력될 수 있다.

도 11을 참조하면, 제1 애플리케이션 화면(21) 위에 올려진 객체(10)가 제2 애플리케이션 화면(22) 위에 놓여지는 경우 제2 디스플레이 버퍼(132)에 제2 애플리케이션 화면(22)의 영상 정보를 저장할 수 있다.

예를 들어, 객체(10)의 접촉 영역이 제1 애플리케이션 화면(21) 상에 객체(10)가 놓여져 있다면, 그래픽 처리부(150)는 제2 디스플레이 버퍼(132)에 제1 애플리케이션 화면(21)의 영상 정보를 저장하여 제2 디스플레이(200)에 제1 애플리케이션의 화면을 출력한다. 이때 사용자가 객체(10)를 제1 디스플레이(110)로부터 접촉을 해체시킨 후, 제2 애플리케이션 화면(22) 상에 객체(10)를 올린다면, 그래픽 처리부(150)는 제2 디스플레이 버퍼(132)에 제2 애플리케이션 화면(22)의 영상 정보를 저장하여 제2 디스플레이(200)에 제2 애플리케이션 화면(22)을 출력할 수 있다.

디스플레이 포트는 디스플레이 버퍼에 저장되어 있는 영상 정보를 외부 디스플레이로 출력한다. 이때 본 발명의 일 실시예에 따르면 디스플레이 버퍼는 적어도 하나 이상일 수 있다.

예를 들어 도 1과 같이, 제1 디스플레이 포트(161) 및 제2 디스플레이 포트(162)를 포함할 수 있다. 제1 디스플레이 포트는 제2 디스플레이 버퍼(132)와 제2 디스플레이(200)를 연결하며 제2 디스플레이 포트는 제3 디스플레이 버퍼(133)와 제3 디스플레이(300)를 연결할 수 있다. 이때 디스플레이 포트와 외부 디스플레이는 유선 또는 무선으로 연결할 수 있다. 한편, 디스플레이 포트는 1개가 존재하여 1개의 디스플레이 포트가 복수의 외부 디스플레이와 연결될 수도 있다.

한편 상술한 실시예가 포함하는 그래픽 처리부(150)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리, 및 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다.

도 12는 일 실시예에 따른 객체 인식 기반 디스플레이 제어 방법의 순서를 설명하기 위한 흐름도이다. 도 12에 따른 객체 인식 기반 디스플레이 제어 방법은 도 1을 통해 설명된 객체 인식 기반 디스플레이 제어 장치(100)에 의해 수행될 수 있다.

도 12를 참조하면, 객체 인식 기반 디스플레이 제어 방법은 객체(10)가 제1 디스플레이(110)에 접촉하는 접촉 영역을 감지하는 단계와, 접촉 영역에 기초하여 객체(10) 식별 정보를 특정하는 단계와, 접촉 영역이 실행 중인 애플리케이션 화면(20) 영역 내에 위치하는지 여부를 판정하는 단계와, 접촉 영역이 애플리케이션 화면(20) 영역 내에 위치하는 경우 애플리케이션 화면(20)의 영상 정보를 제2 디스플레이(200)로 출력될 영상 정보를 저장하는 디스플레이 버퍼에 저장하고, 접촉 영역이 애플리케이션 화면(20) 영역 내에 위치하지 않는 경우 접촉 영역을 기준으로 제 1 디스플레이 상에 소정의 영역(30)을 설정하고 소정의 영역(30)의 영상 정보를 디스플레이 버퍼에 저장하는 단계를 포함한다.

이때 객체(10)의 객체(10) 식별 정보를 특정하는 단계는 접촉 영역의 모양 또는 면적에 기초하여 객체(10) 식별 정보를 특정할 수 있다.

또한 디스플레이 버퍼에 저장하는 단계는 접촉 영역을 중심으로 제2 디스플레이(200)의 해상도에 대응하는 영역을 소정의 영역(30)으로 설정할 수 있다.

더불어 디스플레이 버퍼에 저장하는 단계는, 소정의 영역(30)이 제 1 디스플레이의 영역을 벗어나는 경우 벗어나는 부분만큼 소정의 영역(30)을 제1 디스플레이(110)의 영역 내로 이동시켜 설정할 수 있다.

아울러 디스플레이 버퍼에 저장하는 단계는, 소정의 영역(30)의 가장자리에 드래그가 감지되는 경우, 드래그에 대응하여 소정의 영역(30)의 크기를 변화시켜 설정할 수 있다.

또한 디스플레이 버퍼에 저장하는 단계는 접촉 영역이 애플리케이션 화면(20) 영역에 위치하지 않는 경우에 접촉 영역의 회전이 감지되면, 소정의 영역(30)을 접촉 영역의 회전에 대응하여 회전시켜 설정하는

한편 디스플레이 버퍼에 저장하는 단계는 소정의 영역(30)의 일부에 애플리케이션 화면(20) 영역의 일부가 위치한다고 판정되는 경우에 애플리케이션 화면(20) 영역의 일부에 더블 클릭이 감지되면, 애플리케이션 화면(20)의 영상 정보를 디스플레이 버퍼에 저장할 수 있다.

더불어 접촉 영역이 실행중인 애플리케이션 화면(20) 영역 내에 위치하는 경우, 접촉 영역의 회전이 감지됨에 따라, 애플리케이션 화면(20)을 접촉 영역의 회전에 대응하여 회전시키는 단계를 더 포함할 수 있다.

또한 디스플레이 버퍼에 저장하는 단계는 접촉 영역이 애플리케이션 화면(20) 영역 내에 위치하는 경우에 접촉 영역의 이동이 감지되면, 애플리케이션 화면(20)을 접촉 영역의 이동에 대응하여 이동시킬 수 있다.

아울러 디스플레이 버퍼에 저장하는 단계는 접촉 영역이 애플리케이션 화면(20) 영역 내에 위치하는 경우에 접촉 영역의 이동이 감지되면, 소정의 영역(30)을 접촉 영역의 이동에 대응하여 이동시킬 수 있다.

이하 도 12에 객체 인식 기반 디스플레이 제어 방법에 대한 구체적인 사항은 객체 인식 기반 디스플레이 제어 장치(100)에 대한 것과 동일하므로, 이에 대한 자세한 설명은 객체 인식 기반 디스플레이 제어 장치(100)에 대한 설명으로 대체하기로 한다.

이상에서 살펴본 바와 같이, 일 실시예에 따르면, 객체(10)의 식별 정보를 통해 디스플레이에 출력 중인 영상이 어떠한 외부 디스플레이에 출력되도록 할 것인지 특정할 수 있다. 또한 객체(10)의 접촉 영역에 움직임을 주어 디스플레이 상에 출력되는 영상을 다양하게 제어를 할 수 있고, 외부 디스플레이에 출력시킬 영상 정보를 제어할 수 있다.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드(예, 컴퓨터 프로그램)는 메모리 유닛(예, 컴퓨터 판독 가능한 기록 매체)에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 객체
20: 애플리케이션 화면
21: 제1 애플리케이션 화면
22: 제2 애플리케이션 화면
30: 소정의 영역
100: 객체 인식 기반 디스플레이 제어 장치
110: 제1 디스플레이
120: 센서부
131: 제1 디스플레이 버퍼
132: 제2 디스플레이 버퍼
133: 제3 디스플레이 버퍼
140: 저장부
150: 그래픽 처리부
161: 제1 디스플레이 포트
162: 제2 디스플레이 포트
200: 제2 디스플레이
300: 제3 디스플레이

Claims

영상을 디스플레이하는 제1 디스플레이;
객체가 상기 제1 디스플레이에 접촉하는 접촉 영역을 감지하는 센서부;
제2 디스플레이로 출력될 영상 정보를 저장하는 디스플레이 버퍼;
상기 객체에 대응하는 객체 식별정보 및 상기 객체 식별정보에 매핑된 상기 디스플레이 버퍼의 식별정보를 저장하는 저장부;
상기 접촉 영역에 기초하여 상기 객체 식별정보를 특정하고, 상기 접촉 영역이 실행중인 애플리케이션 화면 영역 내에 위치하는 경우 상기 애플리케이션 화면의 영상 정보를 상기 디스플레이 버퍼에 저장하고, 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하지 않는 경우 상기 접촉 영역을 기준으로 상기 제1 디스플레이 상에 소정의 영역을 설정하고 상기 제1 디스플레이 상에서 상기 소정의 영역에 대응하는 영상 정보를 상기 디스플레이 버퍼에 저장하는 그래픽 처리부; 및
상기 디스플레이 버퍼에 저장되어 있는 상기 영상 정보를 상기 제2 디스플레이로 출력하는 디스플레이 포트를 포함하되,
상기 소정의 영역은 상기 접촉 영역을 포함하는
객체 인식 기반 디스플레이 제어 장치.
◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 그래픽 처리부는
상기 접촉 영역의 모양 또는 면적에 기초하여 상기 객체 식별정보를 특정하는
객체 인식 기반 디스플레이 제어 장치.
◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 그래픽 처리부는,
상기 접촉 영역을 중심으로 상기 제2 디스플레이의 해상도에 대응하는 영역을 상기 소정의 영역으로 설정하는
객체 인식 기반 디스플레이 제어 장치.
◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 그래픽 처리부는,
상기 소정의 영역이 상기 제1 디스플레이의 영역을 벗어나는 경우 벗어나는 부분을 포함한 상기 소정의 영역이 상기 제1 디스플레이의 영역 내에 위치하도록 하는 만큼 상기 소정의 영역을 상기 제1 디스플레이의 영역 내로 이동시켜 설정하는
객체 인식 기반 디스플레이 제어 장치.
◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 센서부가 상기 소정의 영역의 가장자리에 드래그를 감지하는 경우, 상기 그래픽 처리부는 상기 드래그에 대응하여 상기 소정의 영역의 크기를 변화시켜 설정하는
객체 인식 기반 디스플레이 제어 장치.
◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 센서부가 상기 접촉 영역이 상기 애플리케이션 화면 영역에 위치하지 않는 경우에 상기 접촉 영역의 회전을 감지하면, 상기 그래픽 처리부는 상기 소정의 영역을 상기 접촉 영역의 회전에 대응하여 회전시켜 설정하는
객체 인식 기반 디스플레이 제어 장치.
◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 그래픽 처리부는,
상기 소정의 영역의 일부에 상기 애플리케이션 화면 영역의 일부가 위치한다고 판정하는 경우, 상기 센서부를 통해 상기 애플리케이션 화면 영역의 상기 일부에 더블 클릭을 감지하면, 상기 애플리케이션 화면의 영상 정보를 상기 디스플레이 버퍼에 저장하는
객체 인식 기반 디스플레이 제어 장치.
◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 센서부가 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우에 상기 접촉 영역의 회전을 감지하면, 상기 그래픽 처리부는 상기 애플리케이션 화면을 상기 접촉 영역의 회전에 대응하여 회전시키는
객체 인식 기반 디스플레이 제어 장치.
◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 센서부가 상기 접촉 영역이 실행중인 애플리케이션 화면 영역 내에 위치하는 경우에 상기 접촉 영역의 이동을 감지하면, 상기 그래픽 처리부는 상기 애플리케이션 화면을 상기 접촉 영역의 이동에 대응하여 이동시키는
객체 인식 기반 디스플레이 제어 장치.
◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈

제1항에 있어서,
상기 센서부가 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우에 상기 접촉 영역의 이동을 감지하면, 상기 그래픽 처리부는 상기 소정의 영역을 상기 접촉 영역의 이동에 대응하여 이동시켜 설정하는
객체 인식 기반 디스플레이 제어 장치.
객체 인식 기반 디스플레이 제어 장치가 수행하는 방법으로서,
객체가 제1 디스플레이에 접촉하는 접촉 영역을 감지하는 단계;
상기 접촉 영역에 기초하여 객체 식별 정보를 특정하는 단계;
상기 접촉 영역이 실행 중인 애플리케이션 화면 영역 내에 위치하는지 여부를 판정하는 단계;
상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우 상기 애플리케이션 화면의 영상 정보를 제2 디스플레이로 출력될 영상 정보를 저장하는 디스플레이 버퍼에 저장하고, 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하지 않는 경우 상기 접촉 영역을 기준으로 상기 제 1 디스플레이 상에 소정의 영역을 설정하고 상기 제1 디스플레이 상에서 상기 소정의 영역에 대응하는 영상 정보를 상기 디스플레이 버퍼에 저장하는 단계; 및
상기 디스플레이 버퍼에 저장되어 있는 상기 영상 정보를 상기 제 2 디스플레이로 출력하는 단계를 포함하되,
상기 소정의 영역은 상기 접촉 영역을 포함하는
객체 인식 기반 디스플레이 제어 방법
◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈

컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은,
객체가 제1 디스플레이에 접촉하는 접촉 영역을 감지하는 단계;
상기 접촉 영역에 기초하여 객체 식별 정보를 특정하는 단계;
상기 접촉 영역이 실행 중인 애플리케이션 화면 영역 내에 위치하는지 여부를 판정하는 단계;
상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우 상기 애플리케이션 화면의 영상 정보를 제2 디스플레이로 출력될 영상 정보를 저장하는 디스플레이 버퍼에 저장하고, 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하지 않는 경우 상기 접촉 영역을 기준으로 상기 제 1 디스플레이 상에 소정의 영역을 설정하고 상기 제1 디스플레이 상에서 상기 소정의 영역에 대응하는 영상 정보를 상기 디스플레이 버퍼에 저장하는 단계; 및
상기 디스플레이 버퍼에 저장되어 있는 상기 영상 정보를 상기 제 2 디스플레이로 출력하는 단계를 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하되
상기 소정의 영역은 상기 접촉 영역을 포함하는,
컴퓨터 판독 가능한 기록매체.
◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈

컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
객체가 제1 디스플레이에 접촉하는 접촉 영역을 감지하는 단계;
상기 접촉 영역에 기초하여 객체 식별 정보를 특정하는 단계;
상기 접촉 영역이 실행 중인 애플리케이션 화면 영역 내에 위치하는지 여부를 판정하는 단계;
상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하는 경우 상기 애플리케이션 화면의 영상 정보를 제2 디스플레이로 출력될 영상 정보를 저장하는 디스플레이 버퍼에 저장하고, 상기 접촉 영역이 상기 애플리케이션 화면 영역 내에 위치하지 않는 경우 상기 접촉 영역을 기준으로 상기 제 1 디스플레이 상에 소정의 영역을 설정하고 상기 제1 디스플레이 상에서 상기 소정의 영역에 대응하는 영상 정보를 상기 디스플레이 버퍼에 저장하는 단계; 및
상기 디스플레이 버퍼에 저장되어 있는 상기 영상 정보를 상기 제 2 디스플레이로 출력하는 단계를 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하되
상기 소정의 영역은 상기 접촉 영역을 포함하는,
컴퓨터 프로그램.