KR102269075B1 - 디스플레이 장치 및 그 제어방법 - Google Patents

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는, 제1 터치 스크린, 제1 터치 스크린과 겹쳐지거나 펼쳐질 수 있으며, 제1 터치 스크린과 겹쳐지면 제1 터치 스크린상의 화면을 투영하는 제2 터치 스크린, 제1 터치 스크린과 제2 터치 스크린의 배치 형태를 감지하는 감지부, 및, 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 제1 터치 스크린 및 제2 터치 스크린 중 적어도 하나에 표시하는 제어부를 포함한다.

Description

디스플레이 장치 및 그 제어방법{DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF}

본 발명은 디스플레이 장치 및 디스플레이 방법에 관한 것으로, 보다 상세하게는 일반 디스플레이와 투명 디스플레이를 함께 이용하여 다양한 UI 요소를 표시할 수 있는 디스플레이 장치 및 디스플레이 방법에 대한 것이다.

전자 기술의 발달에 힘입어 다양한 분야에서, 다양한 유형의 디스플레이 장치가 사용되고 있다. 특히, 최근에는 투명 디스플레이 장치와 같은 차세대 디스플레이 장치에 대한 연구 논의가 가속화되고 있다.

투명 디스플레이 장치란 투명한 성질을 가져서 디스플레이 장치 뒤쪽 배경이 그대로 비치는 디스플레이 장치를 의미한다. 종래에는 실리콘(Si), 갈륨비소(GaAs) 등과 같은 불투명 반도체 화합물을 이용하여 디스플레이 패널을 제작하였으나, 기존의 디스플레이 패널로는 감당할 수 없는 다양한 응용분야가 개척되면서, 새로운 형태의 전자 소자에 대해 개발 노력이 이루어졌었다. 이러한 노력 하에 개발된 것 중 하나가 투명 디스플레이 장치이다.

투명 디스플레이 장치는 투명한 산화물 반도체 막을 포함하는 형태로 구현되어, 투명한 성질을 가지게 된다. 투명 디스플레이 장치를 사용할 경우 사용자는 장치 뒤쪽에 위치한 후면 배경을 보면서, 필요한 정보를 투명 디스플레이 장치 화면을 통해 볼 수 있게 된다. 따라서, 기존 디스플레이 장치들이 가지고 있는 공간적, 시간적 제약을 해소할 수 있게 되므로, 다양한 용도로 다양한 환경에서 편리하게 사용될 수 있다.

그러나 기존의 사용자는 기존과 같은 디스플레이 장치에 익숙하다는 점에서, 투명 디스플레이와 일반 디스플레이를 함께 갖는 장치가 요구되고 있으며, 이러한 장치에서의 다양한 인터렉션 방법이 요구되었다.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 일반 디스플레이와 투명 디스플레이를 함께 이용하여 다양한 UI 요소를 표시할 수 있는 디스플레이 장치 및 디스플레이 방법을 제공하는 데 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 제1 터치 스크린, 상기 제1 터치 스크린과 겹쳐지거나 펼쳐질 수 있으며, 상기 제1 터치 스크린과 겹쳐지면 상기 제1 터치 스크린상의 화면을 투영하는 제2 터치 스크린, 상기 제1 터치 스크린과 상기 제2 터치 스크린의 배치 형태를 감지하는 감지부, 및, 상기 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 및 상기 제2 터치 스크린 중 적어도 하나에 표시하는 제어부를 포함한다.

이 경우, 상기 제어부는, 상기 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐진 상태에서, 상기 제2 터치 스크린으로부터 입력받은 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 상에 표시할 수 있다.

한편, 상기 제어부는, 상기 제2 터치 스크린에 대한 사용자 터치가 감지된 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 신규 UI 요소를 상기 제2 터치 스크린상에 표시할 수 있다.

이 경우, 상기 제2 터치 스크린상에 표시되는 신규 UI 요소는, 상기 제2 터치 스크린에 대한 사용자 터치 영역에 투영된 제1 터치 스크린에 표시된 UI 요소에 대응될 수 있다.

이 경우, 상기 제1 터치 스크린에 표시된 UI 요소는 구동중인 애플리케이션의 메뉴, 썸네일, 연락처 리스트 중 적어도 하나이며, 상기 제2 터치 스크린상에 표시되는 UI 요소는, 하위 메뉴, 이미지, 상세 리스트 정보 중 적어도 하나일 수 있다.

한편, 상기 제2 터치 스크린상에 표시되는 신규 UI 요소는, 상기 제1 터치 스크린에 표시된 알림 통지에 대응되는 알림 정보일 수 있다.

한편, 상기 제어부는, 상기 제2 터치 스크린에 대한 사용자 터치가 감지되지 않은 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 상기 제1 터치 스크린상에 표시되는 UI 요소를 확장하여 상기 제1 터치 스크린 및 상기 제2 터치 스크린에 표시할 수 있다.

한편, 상기 제2 터치 스크린은 상기 제1 터치 스크린 상부를 슬라이딩 이동할 수 있다.

이 경우, 상기 제2 터치 스크린은 상기 제1 터치 스크린과 겹쳐진 상태에서, 복수의 방향으로 슬라이딩 가능하며, 상기 제어부는, 상기 슬라이딩 방향에 따라 다른 UI 요소를 상기 제2 터치 스크린에 표시할 수 있다.

한편, 상기 제어부는, 상기 터치 스크린이 기설정된 시간 내에 배치 형태가 연속적으로 변경되면, 상기 제1 터치 스크린상에 표시된 UI 요소에 대응되는 이벤트를 수행할 수 있다.

이 경우, 상기 이벤트는 상기 제1 터치 스크린상에 표시된 웹페이지의 북마크 또는 캡처일 수 있다.

한편, 상기 제어부는, 상기 제1 터치 스크린과 상기 제2 터치 스크린의 중첩 정도에 따라 신규 UI 요소의 표시 크기를 가변하여 표시할 수 있다.

한편, 상기 제어부는, 상기 제2 터치 스크린의 사용자 터치와 함께 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐지면, 상기 제2 터치 스크린상에 표시하던 UI 요소를 상기 제1 터치 스크린에 표시하고, 상기 제2 터치 스크린의 사용자 터치 없이 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐지면, 상기 제1 터치 스크린상에 표시하던 UI 요소를 상기 제1 터치 스크린에 표시할 수 있다.

한편, 상기 제어부는, 상기 제2 터치 스크린의 사용자 터치 없이 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐지면, 상기 제1 터치 스크린에서 표시중이 UI 요소를 유지한 상태에서, 상기 제2 터치 스크린에서 표시되는 UI 요소를 상기 제1 터치 스크린에서 표시중인 UI 요소에 대응되는 신규 UI 요소로 가변하여 표시할 수 있다.

한편, 본 발명의 일 실시 예에 따른 제1 터치 스크린 및 투명의 제2 터치 스크린을 갖는 디스플레이 장치의 제어방법은, 상기 제1 터치 스크린상에 화면을 표시하는 단계, 상기 제1 터치 스크린과 상기 제2 터치 스크린의 배치 형태를 감지하는 단계, 상기 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 및 상기 제2 터치 스크린 중 적어도 하나에 표시하는 단계를 포함한다.

이 경우, 상기 UI 요소를 표시하는 단계는, 상기 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐진 상태이면, 상기 제2 터치 스크린으로부터 입력받은 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 상에 표시할 수 있다.

한편, 상기 UI 요소를 표시하는 단계는, 상기 제2 터치 스크린에 대한 사용자 터치가 감지된 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 신규 UI 요소를 상기 제2 터치 스크린 상에 표시할 수 있다.

이 경우, 상기 제2 터치 스크린상에 표시되는 신규 UI 요소는, 상기 제2 터치 스크린에 대한 사용자 터치 영역에 투영된 제1 터치 스크린에 표시된 UI 요소에 대응될 수 있다.

한편, 상기 UI 요소를 표시하는 단계는, 상기 제2 터치 스크린에 대한 사용자 터치가 감지되지 않은 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 상기 제1 터치 스크린상에 표시되는 UI 요소를 확장하여 상기 제1 터치 스크린 및 상기 제2 터치 스크린에 표시할 수 있다.

한편, 본 발명의 일 실시 예에 따른 제1 터치 스크린 및 투명의 제2 터치 스크린을 갖는 디스플레이 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 디스플레이 장치의 제어 방법은, 상기 제1 터치 스크린상에 화면을 표시하는 단계, 상기 제1 터치 스크린과 상기 제2 터치 스크린의 배치 형태를 감지하는 단계, 및, 상기 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 및 상기 제2 터치 스크린 중 적어도 하나에 표시하는 단계를 포함한다.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 간략히 나타내는 블럭도,
도 2 내지 도 6은 본 실시 예에 따른 디스플레이 장치의 구체적인 형상을 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 상세히 나타내는 블록도,
도 7은 디스플레이 장치의 소프트웨어 구성의 일 예를 나타내는 도면,
도 8은 제1 터치 스크린과 제2 터치 스크린의 배치 형태에 따른 다양한 인터렉션의 예를 설명하기 위한 도면,
도 9 내지 도 13은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서의 제1 인터렉션의 다양한 실시 예를 설명하기 위한 도면,
도 14는 음악 재생 제어와 관련된 인터렉션을 설명하기 위한 도면,
도 15는 제2 터치 스크린을 핫키로 이용하는 실시 예를 설명하기 위한 도면,
도 16 내지 도 23은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제2 인터렉션의 다양한 실시 예를 설명하기 위한 도면들,
도 16 내지 도 23은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제2 인터렉션의 다양한 실시 예를 설명하기 위한 도면들,
도 24 내지 도 25는 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제3 인터렉션의 다양한 실시 예를 설명하기 위한 도면들,
도 26은 두 터치 스크린의 오버레이 정도에 따른 인터렉션 동작을 설명하기 위한 도면,
도 27 내지 도 31은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제2 터치 스크린의 이동 방향에 따라 다른 인터렉션을 수행하는 실시 예를 설명하기 위한 도면들,
도 32 내지 도 35는 UI 확장 기능을 설명하기 위한 도면,
도 36 내지 도 38은 제2 터치 스크린의 다양한 슬라이딩 방식을 설명하기 위한 도면들,
도 39는 제1 터치 스크린과 제2 터치 스크린이 펼쳐진 상태에서 인터렉션 방식의 예를 설명하기 위한 도면,
도 40 내지 도 42는 제1 터치 스크린과 제2 터치 스크린이 펼쳐진 상태에서 인터렉션 방식의 예를 설명하기 위한 도면들,
도 43은 제2 터치 스크린을 매뉴얼 제공 기능으로 이용하는 실시 예를 설명하기 위한 도면,
도 44 및 도 45는 두 터치 스크린의 오버레이 정도에 따른 인터렉션 동작을 설명하기 위한 도면,
도 46은 제2 터치 스크린을 편집 레이아웃 층으로 이용하는 실시 예를 설명하기 위한 도면,
도 47 및 도 48은 북마킹 인터렉션을 설명하기 위한 도면, 그리고,
도 49는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.

도 1은 본 발명의 다양한 실시 예를 설명하기 위한 디스플레이 장치의 기본 구성의 일 예를 나타내는 블록도이다. 도 1의 디스플레이 장치(100)는 구체적으로는, TV, PC, 랩탑 PC, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 테이블 디스플레이 장치 등과 같이 다양한 유형의 장치로 구현될 수 있다. 휴대폰이나 태블릿 PC, PDA, MP3 플레이어, 랩탑 PC 등과 같이 휴대 가능한 유형의 장치로 구현되는 경우에는 모바일 디바이스로 명명할 수도 있으나, 본 명세서에서는 디스플레이 장치로 통칭하여 설명한다.

도 1을 참조하면, 본 실시 예에 따른 디스플레이 장치(100)는 제1 터치 스크린(110), 제2 터치 스크린(120), 감지부(130) 및 제어부(140)로 구성된다.

제1 터치 스크린(110)은 영상을 표시할 수 있으며, 터치 스크린 상의 사용자의 터치를 감지할 수 있다. 이러한 제1 터치 스크린(110)은 영상의 표시 및 사용자 조작을 감지할 수 있는 터치 스크린으로 구현될 수 있으며, 영상을 표시하는 디스플레이 장치와 상기 디스플레이 장치 상에 사용자 조작을 감지할 수 있는 터치 패널의 조합으로도 구현될 수도 있다. 한편, 이상에서는 사용자의 터치를 감지하는 것으로 표현하였지만, 구현시에 터치 스크린은 사용자의 터치뿐만 아니라, 접촉 물체(예를 들어, 스타일러스 펜 등)의 접촉을 감지할 수 있다. 예를 들어, 터치 스크린은 R 타입 터치 스크린(resistive touch screen) 또는 C 타입 터치 스크린(capacitive touch screen)일 수 있다.

제2 터치 스크린(120)은 영상을 표시할 수 있으며, 터치 스크린 상의 사용자의 터치를 감지할 수 있다. 그리고 제2 터치 스크린(120)은 후방에 위치한 사물이 투명하게 비치는 상태에서 UI 요소를 표시할 수 있다. 그리고 제2 터치 스크린(120)은 제1 터치 스크린(110)과 겹쳐지거나 펼쳐질 수 있다. 따라서, 제2 터치 스크린(120)은 제1 터치 스크린(110)과 겹쳐지는 경우에는 제1 터치 스크린(110) 상에 표시된 UI 요소를 투명하게 비치는 상태에서 또 다른 UI 요소를 표시할 수 있다.

그리고 제2 터치 스크린(120)은 제1 터치 스크린(110)과 펼쳐진 경우에는 디스플레이 장치(100)의 후방에 위치한 사물이 투명하게 비치는 상태에서 UI 요소를 표시할 수 있다. 여기서 UI 요소란 이미지, 텍스트, 애플리케이션 실행 화면, 웹 브라우저 화면 등이 될 수 있다.

이러한 제2 터치 스크린(120)은 영상의 표시 및 사용자 조작을 감지할 수 있는 투명의 터치 스크린으로 구현될 수 있으며, 영상을 표시하는 투명 디스플레이와 투명 디스플레이 상에서 사용자 조작을 감지할 수 있는 투명의 터치 패널의 조합으로 구현될 수도 있다.

감지부(130)는 제1 터치 스크린(110)과 제2 터치 스크린(120)의 배치 형태를 감지한다. 구체적으로, 감지부(130)는 제1 터치 스크린(110)과 제2 터치 스크린(120)이 겹쳐진 상태인지, 펼쳐진 상태인지를 감지할 수 있다.

또한, 감지부(130)는 겹쳐진 상태가 아닌 경우에는 어느 정도 펼쳐친 상태인지를 감지할 수 있으며, 두 터치 스크린이 슬라이딩 방식으로 이동되는 되는 경우, 두 터치 스크린의 겹쳐진 정도를 감지할 수 있다. 이러한 감지부(130)는 다양한 소자로 구성될 수 있는데, 제1 터치 스크린과 제2 터치 스크린 각각에 배치된 홀 센서와 전자석(또는 자석)을 이용하여 두 터치 스크린의 접촉 여부를 판단할 수 있다. 예를 들어, 제2 터치 스크린(120)이 슬라이딩 방식으로 제1 터치 스크린(110) 상부에서 이동 가능하면, 슬라이딩 방향으로 일정 간격으로 배치되는 복수의 홀 센서를 이용하여 제2 터치 스크린이 제1 터치 스크린과 어느 정도 겹쳐졌는지를 감지할 수도 있다.

또한, 제2 터치 스크린(120)과 제1 터치 스크린(110)이 힌지를 통하여 겹쳐지거나 펼쳐지는 경우에, 감지부(130)는 힌지의 각도를 감지할 수 있는 센서를 이용하여 두 터치 스크린 간의 각도를 감지할 수도 있다.

제어부(140)는 디스플레이 장치(100) 내의 각 구성을 제어한다. 구체적으로, 제어부(140)는 제1 터치 스크린(110) 및 제2 터치 스크린(120) 상의 사용자 터치에 대응한 UI 요소를 제1 터치 스크린(110) 및 제2 터치 스크린(120) 중 적어도 하나에 표시할 수 있다. 이때, 제어부(140)는 두 터치 스크린의 배치 형태에 따라 UI 요소가 표시될 터치 스크린을 결정하고, 결정된 터치 스크린에서 해당 UI 요소가 표시되도록 할 수 있다.

예를 들어, 제1 터치 스크린(110)과 제2 터치 스크린(120)이 겹쳐져 있는 상태이면, 제어부(140)는 제2 터치 스크린(120)을 통하여 감지된 터치 제스처에 대응하여 제1 터치 스크린(110)상에 표시되는 UI 요소를 가변할 수 있다.

그리고 제1 터치 스크린(100)과 제2 터치 스크린(120)이 펼쳐진 상태이면, 제1 터치 스크린(110)과 제2 터치 스크린(120) 각각에 서로 다른 컨텐츠를 표시하도록 하거나, 동일한 컨텐츠가 구분되어 표시되도록 할 수 있다. 제1 터치 스크린(110) 및 제2 터치 스크린(120)에 표시되는 컨텐츠의 종류, 표시 방법, 레이아웃 등은 실시 예에 따라 다양하게 변경될 수 있다. 이에 대해서는, 후술하는 부분에서 구체적으로 설명한다.

이상과 같이 본 실시 예에 따른 디스플레이 장치(100)는 두 개의 터치 스크린을 이용하여 다양한 정보를 사용자에게 제공 가능하다. 또한, 두 개의 터치 스크린의 배치 형태 및 두 터치 스크린의 이동 형태에 대해서도 제스처로 이용하는바, 다양한 인터렉션이 가능하다. 이에 따라, 사용자는 다양한 사용자 환경을 경험할 수 있게 된다.

한편, 이상에서는 감지부(130)가 두 터치 스크린의 배치 형태만 감지하는 것으로 설명하였지만, 감지부(130)는 사용자의 터치 제스처를 감지할 수도 있다. 이 경우, 상술한 제1, 제2 터치 스크린 각각은 제1, 제2 디스플레이부로 지칭될 수 있다.

또한, 이상에서는 디스플레이 장치(100)가 두 개의 터치 스크린을 포함하는 것으로 설명하였지만, 구현시에는 세 개 이상의 터치 스크린이 이용될 수 있다. 예를 들어, 세 개의 터치 스크린으로 디스플레이 장치가 이용되는 경우, 1개만 투명 터치 스크린일 수 있으며, 2개가 투명 터치 스크린일 수도 있다.

도 2 내지 도 6은 본 실시 예에 따른 디스플레이 장치의 구체적인 형상을 도시한 도면이다.

구체적으로, 도 2는 바디부(101)의 상부에 슬라이딩 구조물이 배치된 경우의 디스플레이 장치의 형태를 도시한 도면이다. 보다 구체적으로, 도 2a는 제1 터치 스크린(110)과 제2 터치 스크린이 겹쳐진 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 2b는 제2 터치 스크린이 슬라이딩된 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 2c는 슬라이딩 구조물 부분을 확대하여 표시한 도면이다.

도 2a 내지 도 2c를 참조하면, 바디부(101)에는 제1 터치 스크린(110)이 배치된다. 그리고 제1 터치 스크린(110)이 배치되는 영역 상부 및 하부 영역에 슬라이딩 구조물(102)이 배치된다. 그리고 제2 터치 스크린(120)은 슬라이딩 구조물(102)을 통하여 바디부(101)와 물리적으로 연결된다. 여기서 슬라이딩 구조물을 레일 구조물일 수 있으며, 2축 슬라이딩 힌지일 수도 있다.

이에 따라, 제2 터치 스크린(120)은 슬라이딩 구조물(102)을 이용하여 제1 터치 스크린(110)과 겹쳐지거나 펼쳐질 수 있다. 도시된 예에서는 제2 터치 스크린(120)이 제1 터치 스크린(110)의 우측으로 슬라이딩되어 펼쳐지는 것만을 도시하였지만, 구현시에는 제2 터치 스크린(120)은 제1 터치 스크린(110)의 좌측으로 슬라이딩되어 펼쳐질 수 있다.

한편, 상술한 슬라이딩 구조물(102)은 복수의 전기적인 접점을 포함할 수 있으며, 해당 접점을 통하여 바디부(101)는 제2 터치 스크린(120)에 전원 및 영상 신호를 제공하거나 제2 터치 스크린(120)에서 감지된 터치 신호를 수신할 수도 있다.

도 3은 바디부(101)의 내측에 슬라이딩 구조물이 배치된 경우의 디스플레이 장치의 형태를 도시한 도면이다. 보다 구체적으로, 도 3a는 제1 터치 스크린(110)과 제2 터치 스크린(120)이 겹쳐진 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 3b는 제2 터치 스크린이 슬라이딩된 상태에서의 디스플레이 장치의 형상을 도시한 도면이다.

도 3a 및 도 3b를 참조하면, 바디부(101')는 상부 및 하부에 돌출 영역을 구비하며, 두 돌출 영역 사이에 제1 터치 스크린(110)이 배치된다. 그리고 돌출 영역의 측면에 슬라이딩 구조물(102')이 배치되며, 제2 터치 스크린(120)은 슬라이딩 구조불(102')을 통하여 바디부(101)와 물리적으로 연결된다.

이에 따라, 제2 터치 스크린(120)은 슬라이딩 구조물(102')을 이용하여 제1 터치 스크린(110)과 겹쳐지거나 펼쳐질 수 있다. 도시된 예에서는 제2 터치 스크린(120)이 제1 터치 스크린(110)의 좌측으로 슬라이딩되어 펼쳐지는 것만을 도시하였지만, 구현시에는 제2 터치 스크린(120)은 제2 터치 스크린(110)의 우측으로도 슬라이딩 될 수도 있다.

한편, 상술한 슬라이딩 구조물(102')은 복수의 전기적인 접점을 포함할 수 있으며, 해당 접점을 통하여 바디부(101')는 제2 터치 스크린(120)에 전원 및 영상 신호를 제공하거나 제2 터치 스크린(120)에서 감지된 터치 신호를 수신할 수 있다.

도 4는 바디부(101)의 측면에 슬라이딩 구조물이 배치된 경우의 디스플레이 장치의 형태를 도시한 도면이다. 보다 구체적으로, 도 4a는 제1 터치 스크린(110)과 제2 터치 스크린(120)이 겹쳐진 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 4b는 제2 터치 스크린(120)이 슬라이딩된 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 4c는 도 4b의 도면을 후면에서 도시한 도면이다.

도 4a 내지 도 4c를 참조하면, 바디부(101")에는 제1 터치 스크린(110)이 배치된다. 그리고 제2 터치 스크린(120)은 바디부(101")의 상부를 덮는 형태를 가지며, 바디부(101")의 측면에 배치된 슬라이딩 구조물(102")을 통하여 바디부(101")와 물리적으로 연결된다.

이에 따라, 제2 터치 스크린(120)은 슬라이딩 구조물(102")을 이용하여 제1 터치 스크린(110)과 겹쳐지거나 펼쳐질 수 있다. 도시된 예에서는 제2 터치 스크린(120)이 제1 터치 스크린(110)의 좌측으로 슬라이딩되어 펼쳐지는 것만을 도시하였지만, 구현시에는 제2 터치 스크린(120)은 제1 터치 스크린(110)의 우측으로 슬라이딩되어 펼쳐질 수 있다.

한편, 상술한 슬라이딩 구조물(102")은 복수의 전기적인 접점을 포함할 수 있으며, 해당 접점을 통하여 바디부(101)는 제2 터치 스크린(120)에 전원 및 영상 신호를 제공하거나 제2 터치 스크린(120)에서 감지된 터치 신호를 수신할 수도 있다.

이상에서는 제2 터치 스크린이 제1 터치 스크린 상부에서 슬라이딩되어 두 터치 스크린이 겹쳐지거나 펼쳐지는 형태를 도시하고 설명하였으나, 구현시에는 제2 터치 스크린이 하나의 축을 기준으로 회전하여 두 터치 스크린은 겹쳐지거나 펼쳐질 수도 있다. 이러한 예에 대해서는 도 5를 참조하여 이하에서 설명한다.

도 5는 제2 터치 스크린(120)의 일 측이 힌지 구조물에 연결되어 배치된 경우의 디스플레이 장치의 형태를 도시한 도면이다. 보다 구체적으로, 도 5a는 제1 터치 스크린(110)과 제2 터치 스크린이 겹쳐진 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 5b는 제2 터치 스크린이 슬라이딩된 상태에서의 디스플레이 장치의 형상을 도시한 도면이고, 도 5c는 힌지의 구체적인 형상을 도시한 도면이다.

도 5a 내지 도 5c를 참조하면, 힌지(109)는 바디부(101)와 일체로 형성될 수 있으며, 힌지(109)는 회전축을 기준으로 360까지 회전할 수 있다. 마찬가지로 제2 터치 스크린(120)은 제1 터치 스크린을 기준으로 일정 각도 회동할 수 있다.

이에 따라, 제2 터치 스크린(120)은 힌지(109)가 배치된 지점을 기준으로 회전 이동이 가능하며, 해당 회전을 통하여 제1 터치 스크린(110)과 겹쳐지거나 펼쳐질 수 있다.

한편, 도시된 바와 같이 힌지(109)의 일 영역에 마그네트(M)가 배치되고, 바디부(101)의 일 측에는 자력 감지 센서(131)가 배치된다. 구현시에 자력 감지 센서(131)는 일정 간격을 갖는 여러 개의 센서로 구현될 수 있다. 여기서 센서는 홀 센서 또는 회전 센서일 수 있다. 따라서, 자력 감지 센서(131)는 힌지가 회전하는 동안 힌지의 마그네트의 자력을 감지하여 힌지의 회전각도 또는 회전 방향을 검출할 수 있다.

도시된 예에서는 힌지가 바디부의 우측에 배치되어 제2 터치 스크린(120)이 시계 반대방향으로 회전하는 것만을 도시하였지만, 구현시에 힌지는 바디부의 좌측에 배치되어 시계 방향으로 회전할 수도 있다.

한편, 앞서 실시 예와 달리 회전하여 제2 터치 스크린이 겹쳐지거나 펼쳐짐에 따라, 사용자에게 보이는 제2 터치 스크린의 면은 상이하게 된다. 즉, 겹쳐진 상태에서는 제2 터치 스크린의 상부 면이 보이나, 펼쳐지게 되면 제2 터치 스크린의 하부 면이 사용자에게 보일 수 있다. 따라서, 도 5와 같은 실시 예에서 디스플레이 장치(100)는 터치 스크린의 배치 형태에 따라 제2 터치 스크린(120)에 표시되는 UI 요소의 표시 형태를 가변할 수 있다.

한편, 도시된 예에서는 힌지(109)가 바디부와 일체된 형태로 형성된 것을 도시하였지만, 구현시에 힌지(109)는 바디부와 구분되게 형성될 수 있으며, 힌지(109)와 제2 터치 스크린이 일체된 형태로도 구현될 수 있다.

또한, 도시된 예에서는 하나의 힌지(109)를 이용하여 제1 터치 스크린(110)과 제2 터치 스크린(120)를 연결하는 형태를 도시하였지만, 구현시에는 듀얼 힌지를 이용하여 제1 터치 스크린(110)과 제2 터치 스크린(120)를 연결할 수도 있다.

도 6은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 상세히 나타내는 블록도이다.

도 6은 휴대폰으로 구현된 디스플레이 장치(100)의 세부 구성의 일 예를 나타내는 블럭도이다. 도 6에 따르면, 디스플레이 장치(100)는 제1 터치 스크린(110), 제2 터치 스크린(120), 감지부(130), 제어부(140), 저장부(145), 통신 인터페이스부(150), 음성 인식부(160), 모션 인식부(170), 감지부(130), 스피커(180), 외부 입력 포트(190-1 ~ 190-n)를 포함할 수 있다.

제1 터치 스크린(110)은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이 상에 터치 패널부가 배치되는 형태로 구현될 수 있다.

이때, 터치 패널부는 터치 패널 및 펜 인식 패널 중 적어도 하나 이상을 포함할 수 있다. 터치 패널은 사용자의 손가락 제스처 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널은 제1 터치 스크린(110)의 모든 영역 아래에 모두 실장될 수 있으며, 또는 제1 터치 스크린(110)의 일부 영역 아래에만 실장될 수 있다. 터치 패널이 사용자의 손가락 제스처 입력을 감지하는 방식에는 정전식 방식과 감압식 방식이 있을 수 있다. 정전식은 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 패널에 내장된 두 개의 전극 판을 포함하여, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다.

펜 인식 패널은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 사용자의 펜 제스처 입력을 감지하고, 펜 근접 이벤트 값 또는 펜 터치 이벤트 값을 출력할 수 있다. 펜 인식 패널은 제1 터치 스크린(110) 및 제2 터치 스크린(120) 중 적어도 하나의 아래에 실장될 수 있다.

펜 인식 패널은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다.

이러한 펜 인식 패널의 루프 코일 근방에 공진 회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진 회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널은 상술한 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다.

제2 터치 스크린(110)은 투명 디스플레이부 상에 터치 패널부가 배치되는 형태로 구현될 수 있다. 이러한 투명 디스플레이부는 실시 예에 따라 투명 LCD(Liquid Crystal Display) 형, 투명 TFEL(Thin-Film Electroluminescent Panel) 형, 투명 OLED 형, 투사형 등과 같은 다양한 형태로 구현될 수 있다.

투명 LCD 형이란 현재 사용되고 있는 LCD 장치에서 백라이트 유닛을 제거하고, 한 쌍의 편광판, 광학 필름, 투명 박막 트랜지스터, 투명 전극 등을 사용하여 구현한 투명 디스플레이 장치를 의미한다. 투명 LCD 장치에서는 편광판이나 광학 필름등에 의해 투과도가 떨어지고, 백라이트 유닛 대신 주변 광을 이용하게 되므로 광 효율이 떨어지지만, 대면적 투명 디스플레이를 구현할 수 있다는 장점이 있다.

투명 TFEL 형이란 투명 전극, 무기 형광체, 절연막으로 이루어진 교류형 무기박막 EL 디스플레이(AC-TFEL)를 사용하는 장치를 의미한다. AC-TFEL은 무기 형광체 내부에 가속이 된 전자가 지나가면서 형광체를 여기 시켜 빛을 내게 하는 디스플레이이다. 투명 디스플레이부(110)가 투명 TFEL 형태로 구현된 경우, 제어부(140)는 적절한 위치로 전자가 투사되도록 조정하여, 정보 표시 위치를 결정할 수 있다. 무기 형광체, 절연막이 투명한 특성을 가지므로, 매우 투명한 디스플레이를 구현할 수 있다.

그 밖에, 투명 OLED형이란 자체 발광이 가능한 OLED를 이용하는 투명 디스플레이 장치를 의미한다. 유기 발광층이 투명하기 때문에, 양쪽 전극을 투명 전극으로 사용하면, 투명 디스플레이부의 구현이 가능하다. OLED는 유기 발광층 양쪽에서 전자와 정공을 주입하여 이들이 유기 발광층 내에서 결합하면서 빛을 내게 된다. 투명 OLED 장치는 이러한 원리를 사용하여 원하는 위치에 전자 및 정공을 주입하여, 정보를 표시할 수 있다.

감지부(130)는 제1 터치 스크린(110)과 제2 터치 스크린(120)의 배치 형태를 감지할 수 있다. 구체적으로, 감지부(130)는 제1 터치 스크린(110)과 제2 터치 스크린(120)이 겹쳐진 상태인지, 펼쳐진 상태인지를 감지할 수 있다.

또한, 감지부(130)는 겹쳐진 상태가 아닌 경우에는 어느 정도 펼쳐친 상태인지 또는 두 터치 스크린이 슬라이딩 방식으로 이동되는 되는 경우, 어느 정도 겹쳐진 상태인지를 감지할 수 있다. 이러한 감지부(130)는 다양한 소자로 구성될 수 있는데, 제1 터치 스크린과 제2 터치 스크린 각각에 배치된 홀 센서와 전자석(또는 자석)을 이용하여 두 터치 스크린의 접촉 여부를 판단할 수 있다. 예를 들어, 제2 터치 스크린(120)이 슬라이딩 방식으로 제1 터치 스크린(110) 상부에서 이동 가능하면, 슬라이딩 방향으로 일정 간격으로 배치되는 복수의 홀 센서를 이용하여 제2 터치 스크린이 제1 터치 스크린과 어느 정도 겹쳐졌는지를 감지할 수도 있다.

또한, 제2 터치 스크린(120)과 제1 터치 스크린(110)이 힌지를 통하여 겹쳐지거나 펼쳐지는 경우에, 감지부(130)는 힌지의 각도를 감지할 수 있는 센서를 이용하여 두 터치 스크린 간의 각도를 감지할 수도 있다.

또한, 감지부(130)는 디스플레이 장치(100) 전체의 이동 상태 및 터치 상태를 감지할 수 있다. 이러한 감지부(130)는 터치 센서, 지자기 센서, 가속도 센서, 압력 센서, 근접 센서, 그립 센서 등과 같은 다양한 유형의 센서를 포함할 수 있다.

여기서, 터치 센서는 정전식 또는 감압식으로 구현될 수 있다. 정전식은 디스플레이부 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 디스플레이부 표면에 터치 되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 이상과 같이 터치 센서는 다양한 형태로 구현될 수 있다.

지자기 센서는 디스플레이 장치(100)의 회전 상태 및 이동 방향 등을 감지하기 위한 센서이고, 가속도 센서)는 디스플레이 장치(100)의 기울어진 정도를 감지하기 위한 센서이다. 상술한 바와 같이, 지자기 센서 및 가속도 센서는 제2 터치 스크린의 슬라이딩 방향을 검출하기 위한 용도로 사용될 수도 있지만, 이와 별도로, 디스플레이 장치의 회전 상태 또는 기울기 상태 등을 검출하기 위한 용도로 사용될 수도 있다.

압력 센서는 사용자가 터치 조작을 할 때 터치 스크린(110, 120)에 가해지는 압력의 크기를 감지하여 제어부(140)로 제공한다. 압력 센서는 터치 스크린(110, 120)에 내장되어 압력의 크기에 대응되는 전기 신호를 출력하는 압전 필름(piezo film)을 포함할 수 있다. 한편, 터치 센서가 감압식 터치 센서로 구현된 경우, 그 감압식 터치 센서가 압력 센서의 역할도 함께할 수도 있다.

근접 센서는 디스플레이 표면에 직접 접촉되지 않고 접근하는 모션을 감지하기 위한 센서이다. 근접 센서는 고주파 자계를 형성하여, 물체 접근 시에 변화되는 자계특성에 의해 유도되는 전류를 감지하는 고주파발진 형, 자석을 이용하는 자기 형, 대상체의 접근으로 인해 변화되는 정전 용량을 감지하는 정전용량형과 같은 다양한 형태의 센서로 구현될 수 있다.

그립 센서는 압력 센서와 별개로 디스플레이 장치(100)의 테두리나 손잡이 부분에서 배치되어, 사용자의 그립(grip)을 감지하는 센서이다. 그립 센서는 압력 센서나 터치 센서로 구현될 수 있다. 구현시에는 그립 센서의 센싱 정보는 터치 스크린의 배치 형태 정보와 결합하여, 터치 스크린의 이동이 터치를 통하여 이동인지, 터치 스크린에 대한 터치 없는 이동인지를 구별하는데 이용 또는 검증하는데 이용할 수 있다.

제어부(140)는 저장부(145)에 저장된 프로그램 및 데이터를 이용하여 제1 터치 스크린(110) 및 제2 터치 스크린(120) 중 적어도 하나에 UI 요소를 디스플레이할 수 있다. 또한, 제어부(140)는 이벤트가 발생하면, 해당 이벤트에 대응되는 제어 동작을 수행한다.

제어부(140)는 RAM(미도시), ROM(미도시), CPU(미도시), GPU(Graphic Processing Unit)(미도시), 버스(미도시)를 포함한다. RAM, ROM, CPU, GPU(Graphic Processing Unit) 등은 버스를 통해 서로 연결될 수 있다.

CPU는 저장부(145)에 액세스하여, 저장부(145)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 저장부(145)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, CPU는 ROM에 저장된 명령어에 따라 저장부(145)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU는 저장부(145)에 저장된 각종 프로그램을 RAM에 복사하고, RAM에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU는 디스플레이 장치(100)의 부팅이 완료되면, 디스플레이 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 제1 터치 스크린(110) 또는 제2 터치 스크린(120)으로 제공되어, 제1 터치 스크린(110) 또는 제2 터치 스크린(120)의 디스플레이 영역 상에 표시될 수 있다.

저장부(145)에는 디스플레이 장치(100)의 동작과 관련된 각종 프로그램이나 데이터, 사용자가 설정한 설정 정보, 시스템 구동 소프트웨어(Operating Software), 각종 애플리케이션 프로그램, 사용자 조작 내용에 대응되는 동작에 대한 정보 등이 저장될 수 있다.

제어부(140)는 감지부(130)에서 감지된 각종 감지 신호를 분석하여, 사용자의 의도를 파악하고, 그 의도에 부합되는 동작을 수행한다. 제어부(140)에서 수행되는 동작의 일 예로는 외부 기기와의 통신을 통해 획득한 데이터 또는, 저장부(145)에 저장된 데이터를 처리하여 제1 터치 스크린(110), 제2 터치 스크린(120) 및 스피커(180) 등을 통해 출력하는 동작을 수행할 수 있다. 이 경우, 제어부(140)는 통신 인터페이스부(150)를 이용하여 외부 기기와 통신을 수행할 수 있다.

통신 인터페이스부(150)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신 인터페이스부(150)는 방송 수신 모듈(151), 근거리 무선 통신 모듈(152), GPS 모듈(153), 무선 통신 모듈(154) 등과 같은 다양한 통신 모듈을 포함할 수 있다.

여기서, 방송 수신 모듈(151)이란 지상파 방송 신호를 수신하기 위한 안테나, 복조기, 등화기 등을 포함하는 지상파 방송 수신 모듈(미도시), DMB 방송 신호를 수신하여 처리하기 위한 DMB 모듈 등을 포함할 수 있다. 근거리 무선 통신 모듈(152)이란 NFC(Near Field Communication)나 블루투스, 지그비 방식 등과 같은 근거리 무선 통신 방식에 따라, 근거리에 위치한 외부 기기와 통신을 수행하기 위한 모듈이다.

GPS 모듈(153)이란 GPS 위성으로부터 GPS 신호를 수신하여, 디스플레이 장치(100)의 현재 위치를 검출하기 위한 모듈이다. 무선 통신 모듈(154)이란 WiFi, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈(154)은 3G(3rd Generation), 3GPP(3rdGeneration Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 이동 통신 규격에 따라 이동통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.

제어부(140)는 상술한 통신 인터페이스부(150)의 각 구성 요소 중 사용자가 의도한 동작 수행에 필요한 구성 요소들을 선택적으로 활성화시켜, 동작을 수행할 수 있다.

한편, 제어부(140)는 터치 조작, 제2 터치 스크린의 이동 조작 이외에 음성 입력이나 모션 입력을 인식하여, 그 입력에 대응되는 동작을 수행할 수도 있다. 이 경우, 음성 인식부(160) 또는 모션 인식부(170)를 활성화시킬 수 있다.

음성 인식부(160)는 마이크(미도시)와 같은 음성 취득 수단을 이용하여 사용자의 음성이나 외부 음향을 수집한 후, 제어부(140)로 전달한다. 제어부(140)는 음성 제어 모드로 동작하는 경우, 사용자의 음성이 기설정된 음성 명령과 일치하면, 사용자의 음성에 대응되는 태스크(task)를 수행할 수 있다. 음성을 이용하여 제어 가능한 태스크로는, 화면 크기 조절, 볼륨 조절, 채널 선택, 채널 재핑, 표시 속성 조절, 재생, 일시 정지, 되감기, 빨리 감기, 애플리케이션 실행, 메뉴 선택, 장치 턴온, 턴오프 등과 같이 다양한 태스크가 있을 수 있다.

한편, 모션 인식부(170)는 카메라와 같은 이미지 촬상 수단(미도시)을 이용하여 사용자의 이미지를 획득한 후, 제어부(140)로 제공한다. 모션 제어 모드로 동작하는 경우, 제어부(140)는 사용자의 이미지를 분석하여 사용자가 기 설정된 모션 명령에 대응되는 모션 제스처를 취한 것으로 판단되면, 그 모션 제스처에 대응되는 동작을 수행한다. 일 예로, 화면 크기 조절, 채널 재핑, 장치 턴 온, 턴 오프, 일시 정지, 재생, 정지, 되감기, 빨리 감기, 음 소거 등과 같은 다양한 태스크가 모션에 의해 제어될 수 있다. 음성으로 제어 가능한 태스크, 모션으로 제어 가능한 태스크 등에 대한 상술한 예들은 예에 불과하므로, 이에 한정되지는 않는다.

그 밖에, 외부 입력 포트 1, 2 ~ n(190-1 ~ 190-n)들은 각각 다양한 유형의 외부 기기와 연결되어 각종 데이터나 프로그램, 제어 명령 등을 수신할 수 있다. 구체적으로는 외부 입력 포트 1, 2 ~ n(190-1 ~ 190-n)들은 USB 포트, 헤드셋 포트, 마우스 포트, LAN 포트 등을 포함할 수 있다.

그 밖에, 도 6에 도시하지는 않았으나, 실시 예에 따라서는, 디스플레이 장치(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있음은 물론이다.

한편, 상술한 바와 같이, 저장부(145)에는 다양한 프로그램이 저장될 수 있다. 도 7은 디스플레이 장치(100)에 저장된 소프트웨어의 구조를 설명하기 위한 도면이다.

도 7에 따르면, 저장부(145)에는 OS(210), 커널(220), 미들웨어(230), 애플리케이션(240) 등을 포함하는 소프트웨어가 저장될 수 있다.

운영체제(Operating System: OS, 210)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(210)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다.

커널(220)은 제1 터치 스크린(110) 또는 제2 터치 스크린(120)에서 감지되는 터치 신호 등을 비롯한 각종 신호들을 미들웨어(230)로 전달하는 통로 역할을 한다.

미들웨어(230)는 디스플레이 장치(100)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다. 도 7에 따르면, 미들웨어(230)는 X11 모듈(230-1), APP 매니저(230-2), 연결 매니저(230-3), 보안 모듈(230-4), 시스템 매니저(230-5), 멀티미디어 프레임워크(230-6), 제1 터치 스크린 UI 프레임워크(230-7), 윈도우 매니저(230-8), 제2 터치 스크린 UI 프레임워크(230-9)을 포함한다.

X11 모듈(230-1)은 디스플레이 장치(100)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다. 여기서 이벤트란, 사용자 제스처가 감지되는 이벤트, 시스템 알람(alarm)이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다.

APP 매니저(230-2)는 저장부(145)에 설치(install)된 각종 애플리케이션(240)의 실행 상태를 관리하는 모듈이다. APP 매니저(230-2)는 X11 모듈(230-1)로부터 애플리케이션 실행 이벤트가 감지되면, 해당 이벤트에 대응되는 애플리케이션을 호출하여 실행시킨다.

연결 매니저(230-3)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(230-3)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다.

보안 모듈(230-4)은 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다.

시스템 매니저(230-5)는 디스플레이 장치(100) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 타 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등이 발생하면 시스템 매니저(230-5)는 그 모니터링 결과를 제1 터치 스크린 UI 프레임워크(230-7)나 제2 터치 스크린 UI 프레임워크(230-9)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다.

멀티미디어 프레임워크(230-6)는 디스플레이 장치(100)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(230-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다.

제1 터치 스크린 UI 프레임워크(230-7)는 제1 터치 스크린(110)에 표시할 각종 UI를 제공하기 위한 모듈이고, 제2 터치 스크린 UI 프레임워크(230-9)는 제2 터치 스크린(230-9)에 표시할 각종 UI를 제공하기 위한 모듈이다. 제1 터치 스크린 UI 프레임워크(230-7) 및 제2 터치 스크린 UI 프레임워크(230-9)는 각종 오브젝트를 구성하는 이미지 합성기(Image Compositor module), 오브젝트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 오브젝트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.

윈도우 매니저(230-8)는 사용자의 신체나 펜을 이용한 터치 이벤트나 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(230-8)는 이러한 이벤트가 감지되면 제1 터치 스크린 UI 프레임워크(230-7) 또는 제2 터치 스크린 UI 프레임워크(230-9)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.

그 밖에도, 사용자가 화면을 터치 및 드래그하는 경우, 그 드래그 궤적에 따라 라인을 드로잉하기 위한 필기 모듈이나, 감지부(130)에서 감지된 초음파 센서 값을 기초로 사용자 위치를 계산하는 위치 산출 모듈이나, 촬상부(미도시)에서 촬상된 사용자 이미지에서 사용자 시선 방향을 계산하기 위한 시선 산출 모듈 등과 같은 다양한 프로그램 모듈이 저장될 수도 있다.

애플리케이션 모듈(240)은 다양한 기능을 지원하기 위한 애플리케이션들(240-1 ~ 240-n)을 포함한다. 예를 들어, 내비게이션 프로그램 모듈, 게임 모듈, 전자 책 모듈, 달력 모듈, 알람 관리 모듈 등과 같은 다양한 서비스를 제공하기 위한 프로그램 모듈을 포함할 수 있다. 이러한 애플리케이션들은 디폴트로 설치되어 있을 수도 있고, 사용자가 사용 과정에서 임의로 설치하여 사용할 수도 있다. CPU는 오브젝트가 선택되면, 애플리케이션 모듈(240)을 이용하여 선택된 오브젝트에 대응되는 애플리케이션을 실행시킬 수 있다.

도 7에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 필요에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 저장부(145)에는 각종 센서들에서 센싱된 신호들을 분석하기 위한 센싱 모듈이나, 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈, 웹 브라우저 모듈 등과 같이 다양한 프로그램들이 추가로 마련될 수도 있다.

한편, 상술한 바와 같이 디스플레이 장치(100)는 휴대폰, 태블릿 PC, 랩탑 PC, PDA, MP3 플레이어, 전자 액자 장치, TV, PC, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다. 따라서, 도 6 및 도 7에서 설명한 구성은, 디스플레이 장치(100)의 종류에 따라 다양하게 변형될 수 있다.

이상에서 설명한 바와 같이, 디스플레이 장치(100)는 다양한 형태 및 구성으로 구현될 수 있다. 디스플레이 장치(100)의 제어부(140)는 실시 예에 따라 다양한 사용자 인터렉션을 지원할 수 있다.

이하에서는, 본 발명의 다양한 실시 예에 따른 사용자 인터렉션 방법에 대하여 구체적으로 설명한다.

도 8은 제1 터치 스크린과 제2 터치 스크린의 배치 형태에 따른 다양한 인터렉션의 예를 설명하기 위한 도면이다.

도 8을 참조하면, 제1 터치 스크린(110)과 제2 터치 스크린(120)의 배치 형태는 크게 3가지로 구분될 수 있다. 구체적으로, 제2 터치 스크린(120)이 제1 터치 스크린(110) 상에 배치되는 제1 배치 형태와, 제2 터치 스크린(120)과 제1 터치 스크린(110)이 일부 겹쳐서 배치되는 제2 배치 형태와, 제1 터치 스크린(110)과 제2 터치 스크린(120)이 상호 겹쳐지지 않고 펼쳐지는 제3 배치 형태이다.

이하에서는 먼저, 제1 배치 형태에서 가능한 인터렉션을 설명한다.

제1 터치 스크린(110)과 제2 터치 스크린(120)이 겹쳐지면, 제1 터치 스크린에 대해 터치는 불가능하다. 따라서, 사용자는 제2 터치 스크린(120)에 대해 터치 인터렉션이 가능하다. 이러한 인터렉션을 이하에서는 제1 인터렉션 방식이라고 지칭한다. 제1 인터렉션의 구체적인 동작에 대해서는 도 9 내지 도 13을 참조하여 후술한다.

그리고 제2 터치 스크린(120)은 제1 터치 스크린(110) 상에서 슬라이딩할 수 있는바, 본 실시 예에서는 제2 터치 스크린(120)의 슬라이딩을 인터렉션으로 이용한다.

한편, 이러한 슬라이딩은 제2 터치 스크린의 터치 여부로 구분될 수 있는데, 즉, 사용자는 제2 터치 스크린 영역 이외의 영역을 터치 또는 그랩에 의하여 제2 터치 스크린을 슬라이딩할 수 있을 뿐만 아니라, 제2 터치 스크린을 터치하여 슬라이딩할 수 있다. 이러한 터치 및 슬라이딩 인터렉션 방식을 이하에서 제2 인터렉션 방식이라고 지칭한다. 그리고 이러한 제2 인터렉션 방식에 대해서는 도 14 내지 도 23을 참조하여 후술한다.

한편, 제2 터치 스크린의 터치 없이 슬라이딩 방식을 이하에서는 제3 인터렉션 방식이라고 지칭한다. 이러한 제3 인터렉션 방식에 대해서는 도 24 및 도 25를 참조하여 자세히 후술한다.

또한, 사용자는 제2 터치 슬라이드를 살짝 슬라이딩하였다가 다시 겹쳐지게 하는 슬라이딩을 수행할 수 있다. 이러한 인터렉션을 제4 인터렉션 방식이라고 지칭한다.

이하에서는 제2 배치 형태에서의 가능한 인터렉션을 설명한다.

사용자는 경우에 따라 제1 터치 스크린(110)과 제2 터치 스크린(120)을 일부 겹쳐 놓고 사용할 수 있다. 이때, 사용자는 제1 인터렉션 내지 제4 인터렉션 방식을 제2 배치 형태에서도 가능하다. 이러한 배치 형태에서의 구체적인 인터렉션에 대해서는 도 43을 참조하여 후술한다.

한편, 제1 터치 스크린과 제2 터치 스크린이 일부 겹쳐진 상태에서는 앞서 제4 인터렉션은 두 개로 구분될 수 있다. 즉, 겹쳐지는 방향으로 이동 이후의 펼쳐지는 방향의 이동과 펼쳐지는 방향의 이동 이후에 겹쳐지는 방향으로 이동이다. 구현시에는 두 개의 인터렉션을 하나로 취급할 수 있으며, 구분하여 이용할 수도 있다.

그리고 이하에서는 제3 배치 형태에서의 가능한 인터렉션을 설명한다.

제1 터치 스크린(110)과 제2 터치 스크린이 펼쳐진 상태에서 사용자는 제1 터치 스크린 및 제2 터치 스크린 모두에 대해 터치가 가능하다. 이러한 상태에서 사용자는 제1 터치 스크린과 제2 터치 스크린 각각에 대한 터치 제스처뿐만 아니라, 두 터치 스크린을 가로지르는 터치 제스처도 가능하다. 이러한 예에 대해서는 도 39를 참조하여 후술한다.

그리고 제2 터치 스크린은 제1 터치 스크린 상에서 슬라이딩할 수 있는바, 사용자는 펼쳐진 제2 터치 스크린을 터치하여 제1 터치 스크린과 겹쳐지도록 하거나, 제2 터치 스크린 이외의 영역을 이용하여 제1 터치 스크린과 겹쳐지도록 할 수 있다. 이러한 인터렉션을 이용하는 방식에 대해서는 도 40 내지 도 42를 참조하여 후술한다.

도 9 내지 도 13은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서의 제1 인터렉션의 다양한 실시 예를 설명하기 위한 도면이다.

구체적으로, 도 9는 제1 배치 형태에서 알람 이벤트가 발생한 경우의 동작을 설명하기 위한 도면이다.

도 9a를 참조하면, 제1 터치 스크린(910)상에 제2 터치 스크린(920)이 겹쳐진 상태로 배치된다. 이와 같은 배치 상태에서, 문자 등이 수신되는 이벤트가 발생하면, 해당 이벤트에 대응되는 알람 메시지는 제2 터치 스크린(920)에 표시될 수 있다.

이때, 제1 터치 스크린(910)에는 별도의 정보가 표시되지 않고 있지만, 상기 이벤트가 발생하기 전에 사용자가 디스플레이 장치(100)에 대한 조작을 수행 중이었다면, 해당 조작에 대응되는 UI 요소가 제1 터치 스크린(910) 상에 표시될 수 있다. 즉, 제1 터치 스크린(910)상에서는 기존 조작에 대응되는 UI 요소가 표시된 상태에서, 알람 메시지는 제2 터치 스크린(920)상에 표시될 수 있다.

이때, 사용자가 제2 터치 스크린(920)상에 표시된 알람 메시지(925)를 터치하면, 제2 터치 스크린(940)은 알람 메시지를 표시하는 UI 요소가 사라지고, 해당 알람 메시지에 대응되는 UI 요소(도시된 예에서는 문자 메시지를 처리하는 애플리케이션의 UI 화면)이 제1 터치 스크린(930)에 표시될 수 있다.

한편, 본 실시 예에서는 알람 메시지(925)가 제2 터치 스크린(920)에 표시되는 것으로 설명하였지만, 구현시에 알람 메시지(925)는 제1 터치 스크린(910)에 표시될 수도 있다.

도 10은 언락(unlock) 상태에서 터치 제스처가 감지된 경우의 동작을 설명하기 위한 도면이다.

도 10a를 참조하면, 제1 터치 스크린(910)상에 제2 터치 스크린(920)이 겹쳐진 상태로 배치된다. 그리고 현재 디스플레이 장치는 언락된 상태여서, 언락 상태에 대응되는 UI 요소(언락 배경)를 제1 터치 스크린(1010) 상에 표시할 수 있다. 이때, 제2 터치 스크린(1020)은 별도의 UI 요소를 표시하지 않는다.

이때, 사용자가 언락을 해제하기 위하여, 제2 터치 스크린(1020) 상에 터치 제스처를 입력하면, 도 10b와 같이 제1 터치 스크린(1030) 상의 이미지는 가변되고, 도 10c와 같이 최종적으로 제1 터치 스크린(1060)은 홈 화면을 표시할 수 있다. 여기서, 홈 화면이란, 디스플레이 장치(100)에 등록된 복수의 배경 화면 중 사용자 기선택한 배경 화면이다. 여기서 배경 화면에는 애플리케이션을 선택하여 구동할 수 있는 아이콘이 배치될 수 있으며, 특정 애플리케이션에서 제공하는 정보가 표시되는 위젯이 배치될 수도 있다.

도 11은 필터링 동작을 설명하기 위한 도면이다.

도 11a를 참조하면, 사용자는 지도 애플리케이션을 구동하고, 제1 터치 스크린(1110)은 지도 화면을 표시할 수 있다. 이때, 사용자는 지도 화면 상에서 특정 필터링 정보를 입력할 수 있다. 예를 들어, 도시된 바와 같이 주변 맛집 정보의 제공을 요청하면, 도 11b와 같이 지도 상의 맛집의 위치가 제2 터치 스크린(1040) 상에 표시될 수 있다. 구체적으로, 제1 터치 스크린(1030)은 지속적으로 동일한 지도 화면을 표시하고, 사용자 요청에 따른 필터링 정보는 제2 터치 스크린(1040)상에 표시될 수 있다.

도 12는 색상 필터링 동작을 설명하기 위한 도면이다.

도 12를 참조하면, 제1 터치 스크린(1210)은 특정 이미지를 표시할 수 있다. 이때, 사용자는 해당 특정 이미지의 특정 영역을 선택할 수 있으며, 이때, 제2 터치 스크린(1220)은 해당 영역에 대응되는 색상 부분에 해당하는 레이아웃을 표시할 수 있다. 예를 들어, 사용자가 빨간색 영역을 선택하였다면, 제2 터치 스크린은 해당 이미지의 빨강색에 대응되는 레이아웃 정보를 표시할 수 있다.

도 13은 전화 수신과 관련된 인터렉션을 설명하기 위한 도면이다.

도 13을 참조하면, 제1 터치 스크린(1310)상에 제2 터치 스크린(1320)이 겹쳐진 상태로 배치된다. 이와 같은 배치 상태에서, 전화 수신과 같은 이벤트가 발생하면, 해당 이벤트에 대응되는 알람 메시지는 제2 터치 스크린(1320)에 표시될 수 있다. 이때, 사용자가 전화를 받을 수 없는 상황이어서, 수신 거부를 나타내는 터치 제스처(예를 들어, 두 터치 영역이 멀어지는 핀치아웃 제스처)가 감지되면, 제어부(140)는 전화가 온다는 알람 메시지의 표시를 중지하고, 부재중 전화가 있었음을 알리는 메시지를 제1 터치 스크린(1330)에 표시할 수 있다.

이 상황에서, 사용자가 전화 연결을 나타내는 터치 제스처(예를 들어, 두 터치 영역이 가까워지는 핀치-인 제스처)가 감지되면, 제어부(140)는 부재중 전화에 대응되는 전화 번호로 전화를 거는 액션을 수행하고, 전화 통화와 관련된 UI 요소를 제2 터치 스크린(1390)상에 표시할 수 있다.

도 14는 음악 재생 제어와 관련된 인터렉션을 설명하기 위한 도면이다.

도 14를 참조하면, 제1 터치 스크린(1410) 상에 음악 재생 제어와 관련된 UI 요소가 표시될 수 있다. 이때, 제2 터치 스크린(1420)에는 별도의 UI 요소가 표시되지 않는다.

이러한 상태에서 사용자가 제2 터치 스크린(1440) 상에 기설정된 방향으로 스크롤 하는 터치 제스처를 입력하면, 제어부(140)는 제2 터치 스크린(1440)에 재생 리스트가 사용자의 스크롤 정도에 대응되게 표시되도록 할 수 있다.

한편, 사용자의 스크롤이 최대치에 이르면, 제어부(140)는 제2 터치 스크린(1440)의 모든 영역에 재생 리스트를 표시하거나, 일부에는 재생 리스트 나머지 영역에는 이퀄라이저 설정을 표시할 수도 있다. 이때, 제1 터치 스크린(1450)은 기존과 동일한 UI 요소를 지속적으로 표시할 수 있다. 그러나 앞쪽에 배치되는 제2 터치 스크린(1460)의 화면에 의하여 제1 터치 스크린(1450) 상에 표시되는 UI 요소는 사용자에게 제한적으로 보이거나, 보여지지 않을 수 있다.

도 15는 제2 터치 스크린을 핫키로 이용하는 실시 예를 설명하기 위한 도면이다.

도 15를 참조하면, 사용자는 디스플레이 장치(100)를 이용하여 전화 통화중이며, 해당 전화 통화 기능과 관련된 UI 요소가 제1 터치 스크린(1510)에 표시될 수 있다.

통화 과정 중에 사용자의 일정을 확인하고 싶은 경우, 사용자는 제2 터치 스크린(1520)이 기설정된 영역(1535)을 터치(또는 롱 터치)할 수 있다. 이 경우, 제어부(140)는 기등록된 애플리케이션(스케줄 애플리케이션)의 화면이 제2 터치 스크린 (1540) 상에 표시되도록 할 수 있으며, 해당 사용자 터치 제스처가 중지되면 제2 터치 스크린의 표시 동작이 중지되도록 할 수 있다. 여기서 롱 터치란 특정 영역을 기설정된 시간(예를 들어, 2초 이상) 지속적으로 터치하는 것을 의미한다.

한편, 도시된 실시 예에서는 일정 애플리케이션이 제2 터치 스크린 상에 표시되는 것으로 도시하였지만, 구현시에는 일정 애플리케이션 이외의 애플리케이션이 등록되어 있을 수 있으며, 구동 중인 애플리케이션의 종류에 따라 다른 애플리케이션이 구동될 수 있다. 예를 들어, 통화 과정 중에 핫키가 입력되면 일정 애플리케이션의 화면이 표시되고, 사진 촬영 중에 핫키가 입력되면 SNS 애플리케이션의 화면이 표시될 수도 있다.

또한, 구현시에는 복수의 영역에 대해서 서로 다른 핫키를 등록할 수도 있다. 예를 들어, 제2 터치 스크린의 우측면이 롱 터치되면 제1 애플리케이션이 구동되어 표시되고, 제2 터치 스크린의 좌측면이 롱 터치되면 제2 애플리케이션이 구동되어 표시될 수도 있다.

도 16 내지 도 23은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제2 인터렉션의 다양한 실시 예를 설명하기 위한 도면들이다.

구체적으로, 도 16은 알림이 없는 경우의 제2 인터렉션을 설명하기 위한 도면이다.

도 16을 참조하면, 제1 터치 스크린(1610)상에 제2 터치 스크린(1620)이 겹쳐진 상태로 배치된다. 이와 같은 배치 상태에서, 사용자는 제2 터치 스크린(1620)의 일부 영역을 터치한 상태에서 제2 터치 스크린(1620)이 펼쳐지는 슬라이딩을 수행할 수 있다.

이 경우, 제1 터치 스크린(1630)과 제2 터치 스크린(1640) 각각에 개별적인 홈 화면을 표시할 수 있다.

한편, 도시된 예에서 제1 터치 스크린(1630)과 제2 터치 스크린(1640)에서의 표시 형태가 다른 것으로 도시하였지만, 디스플레이 장치(100)가 복수의 화면 페이지를 갖는 경우, 제1 터치 스크린(1630)에는 대표 화면 페이지(예를 들어, 홈 화면)를 표시하고, 제2 터치 스크린(1640)에는 대표 화면 페이지와 인접한 다른 화면 페이지를 표시할 수 있다.

도 17은 알림이 있는 경우의 제2 인터렉션을 설명하기 위한 도면이다.

도 17을 참조하면, 제1 터치 스크린(1710)상에 제2 터치 스크린(1720)이 겹쳐진 상태로 배치된다. 이와 같은 배치 상태에서, 문자 등이 수신되는 이벤트가 발생하면, 해당 이벤트에 대응되는 알람 메시지(1725)는 제2 터치 스크린(1720)에 표시될 수 있다.

이때, 사용자가 제2 터치 스크린(1710)상에 표시된 알람 메시지(1725)를 터치하면서 제2 터치 스크린(1720)이 제1 터치 스크린과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행하면, 제어부(140)는 제1 터치 스크린(1730)에는 홈 화면을 표시하고, 제2 터치 스크린(1740)에는 알람 메시지에 대응되는 애플리케이션의 UI를 표시할 수 있다. 예를 들어, 문자 송수신과 관련된 애플리케이션의 UI 화면을 제2 터치 스크린상에 표시할 수 있다.

도 18은 전화 거는 인터렉션을 설명하기 위한 도면이다.

도 18을 참조하면, 제1 터치 스크린(1810)상에 제2 터치 스크린(1820)이 겹쳐진 상태로 배치된다. 이때, 제2 터치 스크린(1820)은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린(1810)은 기저장된 연락처 리스트를 표시할 수 있다.

이때, 사용자는 제2 터치 스크린(1820) 상에 일정 영역을 터치하면서 제2 터치 스크린(1820)이 제1 터치 스크린(1810)과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제2 터치 스크린(1820) 상의 터치 영역에 투영되는 제1 터치 스크린(1810)의 UI 요소(특정 사용자의 이름)에 대응되는 이벤트를 수행할 수 있다. 예를 들어, 사용자가 터치한 영역에 투영되는 연락처로 전화를 거는 액션을 수행할 수 있다.

그리고 제어부(140)는 상술한 연락처로 전화하는 동작을 수행하면서, 제1 터치 스크린(1850)은 기존과 동일한 UI 요소가 표시되도록 하고, 제2 터치 스크린(1860)에는 신규 수행되는 액션에 대응되는 UI 요소를 표시할 수 있다. 예를 들어, 도 18에 도시된 바와 같이 전화 통화와 관련된 UI 요소가 표시될 수 있다.

한편, 이러한 인터렉션은 전화 통화 애플리케이션 이외의 다양한 애플리케이션에서도 적용될 수 있다.

도 19는 SNS 애플리케이션에서의 인터렉션을 설명하기 위한 도면이다.

도 19를 참조하면, 제1 터치 스크린(1910)상에 제2 터치 스크린(1920)이 겹쳐진 상태로 배치된다. 이때, 제2 터치 스크린(1920)은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린(1910)은 SNS 애플리케이션과 관련된 UI 요소를 표시할 수 있다.

이때, 사용자는 제2 터치 스크린(1920) 상에 일정 영역(예를 들어, 특정 사용자의 SNS 주소 영역)을 터치하면서 제2 터치 스크린(1920)이 제1 터치 스크린(1910)과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 2 터치 스크린(1920) 상의 터치 영역에 투영되는 제1 터치 스크린(1910)의 UI 요소(SNS 주소)에 대응되는 이벤트(해당 SNS 주소로의 접속)를 수행할 수 있다. 예를 들어, 사용자가 터치한 영역에 투영되는 SNS 주소를 접속하는 액션을 수행할 수 있다.

이에 따라, 제1 터치 스크린(1930)은 기존과 동일한 UI 요소가 표시되도록 하고, 제2 터치 스크린(1940)에는 접속된 SNS 주소의 페이지를 표시할 수 있다.

도 20은 애플리케이션의 메뉴 확장 인터렉션을 설명하기 위한 도면이다.

도 20을 참조하면, 제1 터치 스크린(2010)상에 제2 터치 스크린(2020)이 겹쳐진 상태로 배치된다. 이때, 제2 터치 스크린(2020)은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린(2010)은 특정 애플리케이션의 메뉴 화면을 UI 요소로 표시할 수 있다.

이때, 사용자는 제2 터치 스크린(2020) 상에 일정 영역(예를 들어, 특정 메뉴)을 터치하면서 제2 터치 스크린(2020)이 제1 터치 스크린(2010)과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제2 터치 스크린(2020) 상의 터치 영역에 투영되는 제1 터치 스크린(2010)의 UI 요소(특정 메뉴)에 대응되는 이벤트(하위 메뉴 표시)를 수행할 수 있다.

예를 들어, 제어부(140)는 제1 터치 스크린(2030)은 기존과 동일한 UI 요소가 표시되도록 하고, 제2 터치 스크린(2040)에는 사용자가 선택한 메뉴의 하위 메뉴들을 UI 요소로 표시할 수 있다.

도 21은 웹 브라우징 인터렉션을 설명하기 위한 도면이다.

도 21을 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다. 이때, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 특정 웹 페이지를 UI 요소로 표시할 수 있다.

이때, 사용자는 제2 터치 스크린의 일정 영역(예를 들어, 특정 기사)을 터치하면서 제2 터치 스크린이 제1 터치 스크린과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제2 터치 스크린 상의 터치 영역에 투영되는 제1 터치 스크린의 UI 요소(특정 기사)에 대응되는 이벤트(신규 웹 페이지를 표시)를 수행할 수 있다.

예를 들어, 제어부(140)는 제1 터치 스크린(2110)은 기존과 동일한 UI 요소가 표시되도록 하고, 제2 터치 스크린(2120)에는 사용자가 선택한 기사 주소에 대응되는 웹페이지를 UI 요소로 표시할 수 있다.

도 22는 사진 애플리케이션에서의 인터렉션을 설명하기 위한 도면이다.

도 22를 참조하면, 제1 터치 스크린(2210)상에 제2 터치 스크린(2220)이 겹쳐진 상태로 배치된다. 이때, 제2 터치 스크린(2220)은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린(2210)은 사진 애플리케이션에서 지원하는 기저장된 이미지의 썸네일들을 UI 요소로 표시할 수 있다.

이때, 사용자는 제2 터치 스크린(2220) 상에 일정 영역(예를 들어, 특정 썸네일)을 터치하면서 제2 터치 스크린(2220)이 제1 터치 스크린(2210)과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제2 터치 스크린(2220) 상의 터치 영역에 투영되는 제1 터치 스크린(2210)의 UI 요소(특정 썸네일)에 대응되는 이벤트(해당 썸네일에 대응되는 이미지의 표시)를 수행할 수 있다.

예를 들어, 제어부(140)는 제1 터치 스크린(2230)에 기존과 동일한 썸네일들이 표시되도록 하고, 제2 터치 스크린(2340)에 사용자가 선택한 메뉴의 하위 메뉴들을 UI 요소로 표시되도록 제어할 수 있다.

도 23은 클립보드 인터렉션을 설명하기 위한 도면이다.

도 23을 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(2310). 이때, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 특정 웹 페이지를 UI 요소로 표시할 수 있다.

이때, 사용자는 제2 터치 스크린의 일정 영역(예를 들어, 특정 이미지)을 기설정된 시간 이상 터치한 이후에, 그 터치를 유지한 상태에서 제2 터치 스크린이 제1 터치 스크린과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제2 터치 스크린 상의 터치 영역에 투영되는 제1 터치 스크린의 UI 요소(특정 이미지)에 대응되는 이벤트(이미지 스크랩)를 수행할 수 있다.

예를 들어, 제어부(140)는 제1 터치 스크린(2320)은 기존과 동일한 웹 페이지가 표시되도록 하고, 클립 보드를 제2 터치 스크린(2330)에 표시할 수 있다.

도 24 내지 도 25는 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제3 인터렉션의 다양한 실시 예를 설명하기 위한 도면들이다. 구체적으로, 도 24는 내비게이션 기능을 이용하는 경우의 실시 예를 설명하기 위한 도면이다.

도 24를 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(2400). 이때, 사용자는 내비게이션 기능을 수행 중인 경우, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 내비게이션 기능과 관련된 지도를 UI 요소로 표시할 수 있다.

이때, 사용자는 제2 터치 스크린의 터치 없이 제2 터치 스크린이 제1 터치 스크린과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제2 터치 스크린이 증강 현실을 위한 HUD(Head Up display)로 동작하도록 할 수 있다. 예를 들어, 사용자가 디스플레이 장치(100)를 이용하여 내비게이션 기능을 수행중인 경우, 제1 터치 스크린(2420)에는 기존과 동일한 지도가 표시되도록 하고, 길안내를 위한 거리/방향 정보를 제2 터치 스크린(2430) 상에 표시할 수 있다.

도 25는 증강현실 기능을 이용하는 경우의 실시 예를 설명하기 위한 도면이다.

도 25를 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(2500). 이때, 사용자는 SNS 애플리케이션을 이용 중인 경우, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 SNS 애플리케이션과 관련된 각종 정보를 UI 요소로 표시할 수 있다.

이때, 사용자는 제2 터치 스크린의 터치 없이 제2 터치 스크린이 제1 터치 스크린과 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행할 수 있다. 이 경우, 제어부(140)는 제1 터치 스크린(2510)에는 기존과 동일한 UI 요소의 표시가 유지된 상태에서, 제2 터치 스크린(2520) 상에 투영되는 현실 세계에 대한 정보를 제2 터치 스크린 상(2520)에 표시할 수 있다. 예를 들어, 사용자의 이동 경로 정보가 기저장된 경우, 제2 터치 스크린(2520) 상에 투영된 장소에 대한 방문 이력 정보를 제2 터치 스크린(2520)에 표시할 수 있다.

이상에서는 제1 터치 스크린과 제2 터치 스크린이 완전히 겹쳐진 상태에서 사용자가 두 터치 스크린이 완전히 펼쳐지도록 하는 것만을 도시하고 설명하였지만, 사용자는 겹쳐진 두 개의 터치 스크린을 완전히 펼치지 않고도 이용할 수도 있다. 이와 같은 예에 대해서는 도 26을 참조하여 후술한다.

도 26은 두 터치 스크린의 오버레이 정도에 따른 인터렉션 동작을 설명하기 위한 도면,

도 26을 참조하면, 제1 터치 스크린과 제2 터치 스크린은 상호 겹쳐진 상태이고(2610), 제1 터치 스크린에는 동영상 애플리케이션에서 지원하는 영상이 표시될 수 있다.

이때, 문자 등의 알람이 있는 경우, 제1 터치 스크린은 표시 영역의 일부 영역에 문자가 수신되었음을 알릴 수 있다. 이때, 사용자는 제2 터치 스크린을 제1 터치 스크린과 펼쳐지는 슬라이딩 동작을 수행할 수 있다.

이 경우, 제어부(140)는 제1 터치 스크린을 가리지 않는 제2 스크린 영역 상에 알림 정보와 관련된 UI 요소를 겹쳐지지 않은 영역에 비례하여 표시할 수 있다. 예를 들어, 제2 터치 스크린(2630)과 제1 터치 스크린(2620)이 2/3 정도 겹쳐진 경우, 제2 터치 스크린(2630)은 제1 터치 스크린(2620)에 표시되는 UI 요소를 가지지 않은 1/3 영역에 대해서 알림 정보와 관련된 UI 요소를 표시할 수 있다. 그리고 사용자가 제2 터치 스크린(2630)을 보다 스크롤하여 두 터치 스크린이 1/3 정도만 겹쳐진 경우, 2 터치 스크린(2630)은 제1 터치 스크린(2620)에 표시되는 UI 요소를 가지지 않은 2/3 영역에 대해서 알림 정보와 관련된 UI 요소를 표시할 수 있다.

즉, 제어부(140)는 두 터치 스크린의 겹쳐진 정도에 따라 제2 터치 스크린(2630, 2650)의 표시 영역을 조정할 수 있다.

한편, 사용자가 제2 터치 스크린이 제1 터치 스크린과 겹쳐지도록 하는 행위를 수행하면, 제2 터치 스크린에 대한 터치의 유무에 따라 제1 터치 스크린 상에 표시중인 UI 요소를 지속적으로 제1 터치 스크린에 표시하거나, 제2 터치 스크린 상에 표시된 UI 요소가 제1 터치 스크린에 표시되도록 할 수 있다.

예를 들어, 사용자가 제2 터치 스크린에 대한 터치 없이 슬라이딩 다운하면, 제어부(140)는 제2 터치 스크린에 UI 요소가 표시되지 않도록 하고, 제1 터치 스크린은 지속적으로 동일한 UI 요소(2660)가 표시되도록 할 수 있다.

반대로, 사용자가 제2 터치 스크린에 대한 터치를 하여 슬라이딩 다운하면, 제어부(140)는 제2 터치 스크린에 UI 요소가 표시되지 않도록 하고, 제2 터치 스크린 상에 표시되던 UI 요소(2670)가 제1 터치 스크린상에 표시되도록 할 수 있다.

이상에서는 제2 터치 스크린이 제1 터치 스크린을 기준으로 어느 하나의 방향으로만 스크롤 되는 것으로 도시하고 설명하였다. 그러나 제2 터치 스크린이 다양한 방향으로 이동 가능하다면, 보다 다양한 형태의 인터렉션이 가능하다. 이에 대해서는 아래의 도 27 내지 도 33을 참조하여 후술한다.

도 27 내지 도 33은 제1 터치 스크린과 제2 터치 스크린이 겹쳐진 상태에서 제2 터치 스크린의 이동 방향에 따라 다른 인터렉션을 수행하는 실시 예를 설명하기 위한 도면들이다.

도 27 및 도 28을 참조하면, 두 터치 스크린이 겹쳐있는 경우, 제1 터치 스크린(2800)은 기존의 사용자 조작에 대응되는 UI 요소를 표시할 수 있다. 이때, 사용자가 제2 터치 스크린을 스크롤하면 제2 터치 스크린에는 다양한 UI 요소가 표시될 수 있으며, 도 27에 도시된 바와 같이 제2 터치 스크린의 이동 방향에 따라 다른 UI 요소가 표시될 수 있다.

예를 들어, 상부로 이동하는 슬라이딩은, 제2 터치 스크린(2720)에는 사용자가 기등록한 애플리케이션 1(예를 들어, 동영상 재생 애플리케이션)에 대응되는 UI 요소(2820)가 표시될 수 있다. 그리고 우측으로 이동하는 슬라이딩은, 제2 터치 스크린(2730)에는 사용자가 기등록한 애플리케이션 2(예를 들어, 음악 재생 애플리케이션)에 대응되는 UI 요소가 표시될 수 있다. 그리고 하부로 이동하는 슬라이딩은, 제3 터치 스크린(2730)에는 사용자가 기등록한 애플리케이션 3(예를 들어, 제어 설정 애플리케이션)에 대응되는 UI 요소가 표시될 수 있다. 그리고 좌측으로 이동하는 슬라이딩은, 제2 터치 스크린(2740)에는 신규 애플리케이션 4(예를 들어, SNS 애플리케이션)에 대응되는 UI 요소(2810)가 표시될 수 있다.

한편, 이에 따라, 제1 터치 스크린에는 제1 애플리케이션에 대응되는 제1 UI 요소가 표시되고 제2 터치 스크린에는 제2 애플리케이션에 대응되는 제2 UI 요소가 표시될 수 있다. 이와 같은 상태에서 두 터치 스크린이 겹쳐지게 되는 슬라이딩이 되는 경우, 두 개의 UI 요소 중 어느 하나만 사용자에게 표시될 필요가 있다.

이때, 제어부(140)는 제2 터치 스크린에 대한 터치 또는 터치 시간에 기초하여 겹쳐진 상태에서 사용자에게 표시될 UI 요소를 결정할 수 있다. 예를 들어, 제2 터치 스크린에 대한 터치 없이 두 터치 스크린이 겹쳐지게 되는 경우, 제어부(140)는 제2 터치 스크린에서 표시되는 UI 요소의 표시가 중지되도록 할 수 있다. 즉, 제1 터치 스크린은 지속적으로 UI 요소를 표시하도록 할 수 있다.

반면에 사용자가 제2 터치 스크린에 대한 터치 또는 롱 터치와 함께 두 터치 스크린을 겹쳐지게 한 경우, 제어부(140)는 제1 터치 스크린에서 표시되는 UI 요소가 제2 터치 스크린에서 표시되던 UI 요소로 전환되도록 하고, 제2 터치 스크린의 표시동작을 중지할 수 있다.

도 29 및 도 30은 제1 터치 스크린을 기준으로 상부 또는 하부로 이동할 수 있는 경우의 인터렉션을 설명하기 위한 도면이다.

도 29 및 도 30을 참조하면, 두 터치 스크린이 겹쳐있는 경우, 제1 터치 스크린(2910)은 기존의 사용자 조작에 대응되는 UI 요소를 표시할 수 있다. 이때, 사용자가 제2 터치 스크린을 상부 방향으로 스크롤하면 제어 설정(예를 들어, 시스템, 세팅 등에 관련된 알림)과 관련된 서브 메뉴 UI(2920)가 제2 터치 스크린(3030)상에 표시되도록 할 수 있다. 반대로, 사용자가 제2 터치 스크린을 하부 방향으로 스크롤하면, 개인적인 메시지 표시와 관련된 서브 메뉴 UI(2930)가 제2 터치 스크린(3040) 상에 표시되도록 할 수 있다.

도 31은 제1 터치 스크린을 기준으로 좌측 또는 우측으로 이동할 수 있는 경우의 인터렉션을 설명하기 위한 도면이다.

도 31을 참조하면, 두 터치 스크린이 겹쳐있는 경우, 제1 터치 스크린(3110)은 기존의 사용자 조작에 대응되는 UI 요소를 표시할 수 있다. 이때, 사용자가 제2 터치 스크린을 좌측으로 스크롤 하면 해당 애플리케이션의 메뉴가 제2 터치 스크린(3120)에 표시되도록 할 수 있다. 반대로, 사용자가 제2 터치 스크린을 우측으로 스크롤하면, 연락처와 관련된 서브 메뉴 UI가 제2 터치 스크린(3130) 상에 표시되도록 할 수 있다.

이상에서는 제1 터치 스크린과 제2 터치 스크린이 펼쳐짐에 따라 서로 다른 정보를 표시하는 것으로 도시하고 설명하였지만, 구현시에는 동일한 애플리케이션의 정보를 확장하여 표시할 수도 있다. 이와 같은 예에 대해서는 도 32 내지 도 35를 참조하여 후술한다.

도 32 내지 도 35는 UI 확장 기능을 설명하기 위한 도면이다.

도 32를 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(3200). 이때, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 특정 웹 페이지를 UI 요소로 표시할 수 있다. 한편, 표시되는 웹 페이지가 가로 방향으로 넓은 웹 페이지이나, 현재 제1 터치 스크린(110)이 웹페이지의 일부 영역만을 크롭하여 표시중이다.

이때, 사용자가 제2 터치 스크린이 펼쳐지는 형태의 이동(즉, 슬라이딩)을 수행하면, 제어부(140)는 제1 터치 스크린에 표시되던 UI 요소가 제1 터치 스크린(3210)과 제2 터치 스크린(3220) 상에 함께 표시하도록 할 수 있다.

이에 따라, 사용자는 한 번에 보다 많은 정보를 볼 수 있게 된다.

도 33을 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(3300). 이때, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 특정 웹 페이지를 UI 요소로 표시할 수 있다. 한편, 여기서 웹페이지는 상하부 이동 스크롤이 필요한 웹페이지이다.

이때, 사용자가 제2 터치 스크린이 펼쳐지는 형태의 이동(즉, 아래 방향으로 슬라이딩)을 수행하면, 제어부(140)는 제1 터치 스크린에 표시되던 UI 요소가 제1 터치 스크린(3310)과 제2 터치 스크린(3320) 상에 함께 표시하도록 할 수 있다.

한편, 도 33과 같이 제1 터치 스크린과 제2 터치 스크린이 상호 겹쳐지는 영역에 대해서는 두 터치 스크린이 동일한 UI 요소를 표시하도록 구현되거나, 제1 터치 스크린만이 표시되도록 구현되거나 제2 터치 스크린만이 표시되도록 구현될 수 있다. 이러한 선택은 사용자의 설정으로 이루어지거나, 사용자 가독성이 보다 유리한 일 형태로 디폴트로 설정될 수 있다.

도 34를 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(3400). 이때, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 지도를 UI 요소로 표시할 수 있다.

이때, 사용자가 제2 터치 스크린이 펼쳐지는 형태의 이동(즉, 아래 방향으로 슬라이딩)을 수행하면, 제어부(140)는 제1 터치 스크린에 표시되던 지도가 제1 터치 스크린(3410)과 제2 터치 스크린(3420) 상에 함께 표시하도록 할 수 있다.

도 35를 참조하면, 제1 터치 스크린상에 제2 터치 스크린이 겹쳐진 상태로 배치된다(3500). 이때, 제2 터치 스크린은 별도의 UI 요소를 표시하지 않고, 제1 터치 스크린은 사진 이미지의 일부 영역을 UI 요소로 표시할 수 있다.

이때, 사용자가 제2 터치 스크린이 펼쳐지는 형태의 이동(즉, 아래 방향으로 슬라이딩)을 수행하면, 제어부(140)는 제1 터치 스크린에 표시되던 사진 이미지가 제1 터치 스크린(3510)과 제2 터치 스크린(3520) 상에 함께 표시하도록 할 수 있다.

도 36 내지 도 38은 제2 터치 스크린의 다양한 슬라이딩 방식을 설명하기 위한 도면들이다.

도 36을 참조하면, 제2 터치 스크린(3620)은 제1 터치 스크린(3610)을 기준으로 대각선 방향으로 슬라이딩할 수 있다. 이러한 슬라이딩에 대응하여 제2 터치 스크린(3620)는 히든 메시지를 UI 요소로 표시할 수 있다.

도 37을 참조하면, 제2 터치 스크린(3720)은 제2 터치 스크린(3710)의 중심 영역을 기준으로 회전할 수 있다. 이러한 이동에 대응하여 제2 터치 스크린(3720)은 사용자 조작을 입력받기 위한 UI 요소를 표시하고, 사용자는 제2 터치 스크린 상의 터치 조작과 제2 터치 스크린(3720')의 회전을 이용하여 다양한 인터렉션을 수행할 수 있다.

도 38을 참조하면, 제2 터치 스크린(3820)은 제1 터치 스크린(3810)을 기준으로 하부 방향으로 슬라이딩할 수 있다. 그리고 제1 터치 스크린(3810)이 게임 애플리케이션에 대응한 UI를 표시중이었으면, 제2 터치 스크린(2820)은 해당 게임의 조작을 위한 조작 UI가 표시될 수 있다.

도 39는 제1 터치 스크린과 제2 터치 스크린이 펼쳐진 상태에서 인터렉션 방식의 예를 설명하기 위한 도면들이다.

도 39를 참조하면, 제1 터치 스크린(3910)은 음악 재생과 관련된 UI 요소를 표시하고, 제2 터치 스크린(3920)은 사진 촬영과 관련된 UI 요소를 표시할 수 있다.

이와 같은 배치 상태에서, 사용자가 제2 터치 스크린에서 제1 터치 스크린 상에서 끝나는 터치 제스처를 입력하면, 제어부(140)는 제1 터치 스크린(3930)이 사진 촬영과 관련된 서브 화면을 표시하도록 할 수 있다. 예를 들어, 기촬영된 이미지의 썸네일을 표시할 수 있다.

이 경우, 사용자가 다시 제1 터치 스크린의 특정 영역에서 제2 터치 스크린에서 끝나는 터치 제스처를 입력하면, 제어부(140)는 사용자 터치 시작 지점의 썸네일에 대응되는 이미지가 해당 터치 제스처의 최종 위치 상에 표시되도록 제2 터치 스크린(3950)을 제어할 수 있다.

이때, 사용자가 촬영 명령을 입력하면, 제어부(140)는 제2 터치 스크린(3950)을 통하여 사용자가 확인되는 이미지 결과물을 생성하도록, 사용자가 기선택한 썸네일에 대응되는 이미지와 촬상된 이미지를 합성할 수 있다.

도 40 내지 도 42는 제1 터치 스크린과 제2 터치 스크린이 펼쳐진 상태에서 인터렉션 방식의 예를 설명하기 위한 도면들이다.

도 40을 참조하면, 제1 터치 스크린(4010)은 음악 재생과 관련된 UI 요소를 표시하고, 제2 터치 스크린(4015)은 인터넷 서핑과 관련된 UI 요소를 표시할 수 있다.

이와 같은 배치 상태에서, 사용자는 제2 터치 스크린 상의 컨텐츠를 지속적으로 이용하고 싶은 경우, 제2 터치 스크린 상에 일정 시간 이상 롱 터치를 한 이후에 두 터치 스크린을 겹칠 수 있다. 이러한 롱 터치 이후에 두 터치 스크린이 겹쳐지는 것이 감지되면, 제어부(140)는 제2 터치 스크린 상에 표시중인 UI 요소가 제1 터치 스크린(4020)상에 표시되도록 하고, 제2 터치 스크린은 표시 동작이 중지되도록 할 수 있다.

도 41을 참조하면, 제1 터치 스크린(4010)은 제1 홈 화면을 표시하고, 제2 터치 스크린(4115)은 제2 홈 화면을 표시할 수 있다.

이와 같은 배치 상태에서, 사용자가 두 터치 스크린을 겹치면, 제1 터치 스크린(4030)은 지속적으로 동일한 제1 홈 화면을 표시하고, 제2 터치 스크린(4125)은 제1 홈 화면에 표시된 아이콘(4126) 중 알림이 있는 것을 식별력 있게 표시할 수 있다. 예를 들어, 해당 아이콘을 확장하여 표시하거나, 다른 색으로 표시하거나 기등록된 새로운 아이콘을 표시할 수도 있다.

또는 두 터치 스크린이 겹쳐지게 되면, 제1 홈 화면에 있는 애플리케이션의 알림 메시지(4136)가 표시되거나 해당 애플리케이션의 위젯들이 제2 터치 스크린(4135)에 표시될 수 있다.

이상에서 사용자가 제2 터치 스크린 상에서 좌/우 스크롤을 하게 되면, 제1 터치 스크린(4140)은 스크롤에 대응하여 가변된 홈 화면을 표시하고, 제2 터치 스크린(4145)은 가변된 홈 화면에 대응되는 알림 메시지 또는 웨젯창(4146)을 표시할 수 있다.

도 42를 참조하면, 제1 터치 스크린(4010)은 주소록을 표시하고, 제2 터치 스크린(4215)은 특정인에 대한 상세 정보를 표시할 수 있다.

이와 같은 배치 상태에서, 사용자가 두 터치 스크린을 겹치면, 제1 터치 스크린(4220)은 지속적으로 동일한 주소록을 표시하고, 제2 터치 스크린(4215)은 주소록에 나타난 사람들에 대한 추가 정보(4225)를 표시할 수 있다. 예를 들어, 특정인으로부터 수신한 메시지 또는 SNS 정보를 표시할 수 있다.

도 43은 제2 터치 스크린을 매뉴얼 제공 기능으로 이용하는 실시 예를 설명하기 위한 도면이다.

도 43을 참조하면, 제1 터치 스크린(4310)과 제2 터치 스크린(4315)은 펼쳐저 있다. 이때, 사용자가 매뉴얼 기능을 요청하면, 제2 터치 스크린(4315)은 제1 터치 스크린(4310)에 표시된 UI 요소를 설명하기 위한 정보를 표시할 수 있다. 예를 들어, 제2 터치 스크린이 제1 터치 스크린(4320) 상에 겹쳐지게 되면, 겹쳐진 영역에 표시되는 제1 터치 스크린의 UI 요소에 대한 설명을 제2 터치 스크린(4325) 상에 표시할 수 있다.

이에 해당 UI 요소를 사용자가 선택하면, 해당 UI 요소 선택 이후에 필요한 절차와 관련된 정보가 제2 터치 스크린(4335) 상에 표시될 수 있다.

한편, 제1 터치 스크린과 제2 터치 스크린이 겹쳐지게 되면, 제2 터치 스크린(4340)은 제1 터치 스크린 상에 기능 메뉴에 대응되는 설명이 있음을 표시하는 아이콘(4340)을 표시할 수 있다. 사용자가 이러한 제2 터치 스크린 상에 표시된 아이콘을 선택하면, 제어부(140)는 제2 터치 스크린은 해당 아이콘에 대한 매뉴얼 정보를 표시할 수 있다.

도 44 및 도 45는 두 터치 스크린의 오버레이 정도에 따른 인터렉션 동작을 설명하기 위한 도면이다.

도 44를 참조하면, 제1 터치 스크린(4410)과 제2 터치 스크린(4415)이 펼쳐져 있는 경우, 제1 터치 스크린(4410)은 피아노 연주와 관련된 UI 요소를 표시할 수 있다. 그리고 제2 터치 스크린(4415)은 전문가용 신시사이저 기능의 UI 요소를 표시할 수 있다.

이때, 두 터치 스크린이 겹치게 되면, 겹쳐진 두 영역에는 기설정된(preset) 음색만으로 연주하는 쉬운 모드 선택을 위한 UI 요소가 표시될 수 있다. 이러한 UI 요소는 제1 터치 스크린 상에 표시될 수도 있으며, 제2 터치 스크린 상에 표시될 수도 있으며, 두 터치 스크린이 공통적으로 표시될 수도 있다.

한편, 두 터치 스크린이 완전히 겹쳐지게 되면, 피아노 연주와 관련된 UI 요소와 쉬운 모드 선택을 위한 UI 요소만이 제1 터치 스크린 상에 표시될 수 있다.

도 45를 참조하면, 제1 터치 스크린(4510)과 제2 터치 스크린(4515)이 펼쳐진 경우, 제1 터치 스크린(4510)은 음악 재생과 관련된 목록 리스트와 신시사이저 정보가 표시되고, 제2 터치 스크린(4515)에는 음악 재생과 관련된 메뉴가 표시될 수 있다.

한편, 사용자가 두 터치 스크린을 겹치면, 제어부(140)는 제1 터치 스크린에 간단한 컨트롤러만 나오는 UI 요소가 표시하도록 하고, 제2 터치 스크린은 표시 동작이 중지되도록 할 수 있다.

도 46은 제2 터치 스크린을 편집 레이아웃 층으로 이용하는 실시 예를 설명하기 위한 도면이다.

도 46을 참조하면, 제1 터치 스크린(4610)과 제2 터치 스크린(4615)이 펼쳐진 경우, 제1 터치 스크린(4610)은 특정 이미지를 표시하고, 제2 터치 스크린(4615)은 기저장된 이미지의 썸네일을 표시할 수 있다.

이때, 사용자가 제2 터치 스크린 상에 특정 썸네일을 선택하면, 제1 터치 스크린(2620)은 선택된 썸네일에 대응되는 이미지가 표시될 수 있다.

이때, 사용자가 두 터치 스크린을 겹치게 되면, 제어부(140)는 제1 터치 스크린에 이미지와 이미지 편집을 위한 메뉴창이 표시되도록 제어할 수 있다. 한편, 기선택된 이미지가 복수의 레이어로 구분된 이미지인 경우, 예를 들어, 카메라로 촬상된 이미지 상에 사용자가 낙서를 한 이미지인 경우, 실제 촬상 이미지(4731)는 제1 터치 스크린 상에 표시되고, 사용자의 낙서(4733)는 제2 터치 스크린 상에 표시할 수 있다.

이에 따라, 사용자는 낙서한 부분만을 좀 더 용이하게 수정하거나, 추가할 수 있게 된다.

이러한 수정 이후에 사용자가 다시 두 터치 스크린을 펼치게 되면, 사용자가 수행한 낙서와 이미지를 합성하여 제1 터치 스크린(4750)상에 표시하고, 썸네일 리스트를 제2 터치 스크린(4755)에 표시할 수 있다.

도 47 및 도 48은 북마킹 인터렉션을 설명하기 위한 도면이다.

도 47을 참조하면, 먼저, 두 터치 스크린이 펼쳐진 상태에서, 제1 터치 스크린(4710)은 홈 화면을 표시할 수 있다. 이 상태에서 사용자가 연속적으로 두 터치 스크린을 겹쳤다가 펼치면, 제1 터치 스크린(4720)은 동일한 홈 화면을 지속적으로 표시하나, 제2 터치 스크린(4730)은 제1 터치 스크린(4720) 상에 표시 중인 화면을 복사하여 표시하게 된다. 이후에 사용자가 제1 터치 스크린(4740)의 조작에 의하여 UI 화면이 변경되고, 그 상태에서 다시 연속적으로 겹쳤다가 펼쳐지면, 제2 터치 스크린(4760)은 변경된 제1 터치 스크린(4740)의 화면을 복사하여 표시하게 된다.

이와 같은 동작은 제1 터치 스크린상에 표시중이 UI 요소가 무엇인지에 따라 다양하게 활용될 수 있는데, 그림 이미지라면 클립보드로의 저장, 화면 캡처 또는 복사로 이용될 수 있으며, 웹 페이지라면 해당 웹페이지에 대한 북마크로 이용될 수 있다. 이와 같은 과정에 의하여 북마크가 형성되면, 도 48에 도시된 바와 같이 제2 터치 스크린 상에는 기저장된 북마크가 표시되고, 사용자는 제2 터치 스크린에 표시된 복수의 UI 요소 중 어느 하나를 선택하여 신속하게 특정 웹 페이지를 접속할 수 있게 된다.

도 49는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

도 49를 참조하면, 제1 터치 스크린 상에 화면을 표시할 수 있다(S4910). 구체적으로, 사용자의 제어 명령에 대응되는 UI 요소를 제1 터치 스크린 상에 표시할 수 있다.

그리고 제1 터치 스크린과 제2 터치 스크린의 배치 형태를 감지한다(S4920). 구체적으로, 각도 센서 또는 자속을 감지할 수 있는 홀 센서 등의 센서를 이용하여 두 터치 스크린이 겹쳐서 배치되는지 펼쳐서 배치되는지를 감지할 수 있다.

그리고 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 제1 터치 스크린 및 제2 터치 스크린 중 적어도 하나에 표시할 수 있다. 구체적으로, 두 터치 스크린이 겹쳐진 상태에서 제2 터치 스크린 상에 터치 제스처가 감지되면, 해당 터치 제스처에 대응되는 UI 요소를 제1 터치 스크린에 표시할 수 있다. 한편, 제2 터치 스크린에 UI 요소가 표시된 상태에서 사용자가 해당 UI 요소가 표시된 영역을 터치한 경우에는, 해당 UI 요소에 대응되는 새로운 UI 요소가 제1 터치 스크린 상에 표시되도록 할 수 있다.

그리고 두 터치 스크린이 펼쳐진 상태에서는 제1 터치 스크린 상의 터치 제스처에 대해서는 제1 터치 스크린 상에 해당 터치 제스처에 대응되는 UI 요소가 표시되도록 하고, 제2 터치 스크린 상의 터치 제스처에 대해서는 제2 터치 스크린 상에 해당 터치 제스처에 대응되는 UI 요소가 표시되도록 할 수 있다. 한편, 두 터치 스크린이 펼쳐진 상태에서 두 터치 스크린을 가로지르는 터치 제스처가 감지되면, 최종 터치 제스처가 종료되는 터치 스크린의 화면을 가변할 수 있다. 예를 들어, 제1 터치 스크린에서 제2 터치 스크린 상에서 끝나는 터치 제스처가 감지되면, 제2 터치 스크린에 제1 터치 스크린 상의 표시된 UI 요소에 대응되는 새로운 UI 요소를 표시할 수 있다.

이상과 같이 본 실시 예에 따른 디스플레이 방법은, 두 개의 터치 스크린을 이용하여 다양한 정보를 사용자에게 제공 가능하며, 두 터치 스크린의 배치 형태 및 배치 형태의 변화가 터치 제스처에 의한 것인지 여부 등을 이용하여 다양한 인터렉션을 제공하는바, 사용자는 다양한 사용자 환경을 경험할 수 있게 된다.

한편, 상술한 다양한 실시 예에 따른 디스플레이 장치의 디스플레이 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다. 특히, 디스플레이 장치의 디스플레이 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 애플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.

100: 디스플레이 장치 110: 제1 터치 스크린
120: 제2 터치 스크린 130: 감지부
140: 제어부

Claims (20)

1. 디스플레이 장치에 있어서,
   제1 터치 스크린;
   상기 제1 터치 스크린과 겹쳐지거나 펼쳐질 수 있으며, 상기 제1 터치 스크린과 겹쳐지면 상기 제1 터치 스크린 상의 화면을 투영하는 제2 터치 스크린;
   상기 제1 터치 스크린과 상기 제2 터치 스크린의 배치 형태를 감지하는 감지부; 및
   상기 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 및 상기 제2 터치 스크린 중 적어도 하나에 표시하는 제어부;를 포함하며,
   상기 제어부는,
   상기 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐진 상태에서, 상기 제2 터치 스크린으로부터 입력받은 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 상에 표시하는 것을 특징으로 하는 디스플레이 장치.
2. 삭제
3. 제1항에 있어서,
   상기 제어부는,
   상기 제2 터치 스크린에 대한 사용자 터치가 감지된 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 신규 UI 요소를 상기 제2 터치 스크린상에 표시하는 것을 특징으로 하는 디스플레이 장치.
4. 제3항에 있어서,
   상기 제2 터치 스크린상에 표시되는 신규 UI 요소는,
   상기 제2 터치 스크린에 대한 사용자 터치 영역에 투영된 제1 터치 스크린에 표시된 UI 요소에 대응된 것을 특징으로 하는 디스플레이 장치.
5. 제4항에 있어서,
   상기 제1 터치 스크린에 표시된 UI 요소는 구동중인 애플리케이션의 메뉴, 썸네일, 연락처 리스트 중 적어도 하나이며,
   상기 제2 터치 스크린상에 표시되는 UI 요소는, 하위 메뉴, 이미지, 상세 리스트 정보 중 적어도 하나인 것을 특징으로 하는 디스플레이 장치.
6. 제3항에 있어서,
   상기 제2 터치 스크린상에 표시되는 신규 UI 요소는,
   상기 제1 터치 스크린에 표시된 알림 통지에 대응되는 알림 정보인 것을 특징으로 하는 디스플레이 장치.
7. 제1항에 있어서,
   상기 제어부는,
   상기 제2 터치 스크린에 대한 사용자 터치가 감지되지 않은 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 상기 제1 터치 스크린상에 표시되는 UI 요소를 확장하여 상기 제1 터치 스크린 및 상기 제2 터치 스크린에 표시하는 것을 특징으로 하는 디스플레이 장치.
8. 제1항에 있어서,
   상기 제2 터치 스크린은 상기 제1 터치 스크린 상부를 슬라이딩 이동하는 것을 특징으로 하는 디스플레이 장치.
9. 제8항에 있어서,
   상기 제2 터치 스크린은 상기 제1 터치 스크린과 겹쳐진 상태에서, 복수의 방향으로 슬라이딩 가능하며,
   상기 제어부는,
   상기 슬라이딩 방향에 따라 다른 UI 요소를 상기 제2 터치 스크린에 표시하는 것을 특징으로 하는 디스플레이 장치.
10. 제1항에 있어서,
    상기 제어부는,
    상기 터치 스크린이 기설정된 시간 내에 배치 형태가 연속적으로 변경되면, 상기 제1 터치 스크린상에 표시된 UI 요소에 대응되는 이벤트를 수행하는 것을 특징으로 하는 디스플레이 장치.
11. 제10항에 있어서,
    상기 이벤트는 상기 제1 터치 스크린상에 표시된 웹페이지의 북마크 또는 캡처인 것을 특징으로 하는 디스플레이 장치.
12. 제1항에 있어서,
    상기 제어부는,
    상기 제1 터치 스크린과 상기 제2 터치 스크린의 중첩 정도에 따라 신규 UI 요소의 표시 크기를 가변하여 표시하도록 하는 것을 특징으로 하는 디스플레이 장치.
13. 제1항에 있어서,
    상기 제어부는,
    상기 제2 터치 스크린의 사용자 터치와 함께 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐지면, 상기 제2 터치 스크린상에 표시하던 UI 요소를 상기 제1 터치 스크린에 표시하고,
    상기 제2 터치 스크린의 사용자 터치 없이 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐지면, 상기 제1 터치 스크린상에 표시하던 UI 요소를 상기 제1 터치 스크린에 표시하는 것을 특징으로 하는 디스플레이 장치.
14. 제1항에 있어서,
    상기 제어부는,
    상기 제2 터치 스크린의 사용자 터치 없이 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐지면, 상기 제1 터치 스크린에서 표시중이 UI 요소를 유지한 상태에서, 상기 제2 터치 스크린에서 표시되는 UI 요소를 상기 제1 터치 스크린에서 표시중인 UI 요소에 대응되는 신규 UI 요소로 가변하여 표시하는 것을 특징으로 하는 디스플레이 장치.
15. 제1 터치 스크린 및 투명의 제2 터치 스크린을 갖는 디스플레이 장치의 제어방법에 있어서,
    상기 제1 터치 스크린상에 화면을 표시하는 단계;
    상기 제1 터치 스크린과 상기 제2 터치 스크린의 배치 형태를 감지하는 단계;
    상기 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 및 상기 제2 터치 스크린 중 적어도 하나에 표시하는 단계;를 포함하며,
    상기 UI 요소를 표시하는 단계는,
    상기 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐진 상태이면, 상기 제2 터치 스크린으로부터 입력받은 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 상에 표시하는 것을 특징으로 하는 제어 방법.
16. 삭제
17. 제15항에 있어서,
    상기 UI 요소를 표시하는 단계는,
    상기 제2 터치 스크린에 대한 사용자 터치가 감지된 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 신규 UI 요소를 상기 제2 터치 스크린상에 표시하는 것을 특징으로 하는 제어 방법.
18. 제17항에 있어서,
    상기 제2 터치 스크린상에 표시되는 신규 UI 요소는,
    상기 제2 터치 스크린에 대한 사용자 터치 영역에 투영된 제1 터치 스크린에 표시된 UI 요소에 대응된 것을 특징으로 하는 제어 방법.
19. 제15항에 있어서,
    상기 UI 요소를 표시하는 단계는,
    상기 제2 터치 스크린에 대한 사용자 터치가 감지되지 않은 상태에서, 상기 제2 터치 스크린이 펼쳐지면, 상기 제1 터치 스크린상에 표시되는 UI 요소를 확장하여 상기 제1 터치 스크린 및 상기 제2 터치 스크린에 표시하는 것을 특징으로 하는 제어 방법.
20. 제1 터치 스크린 및 투명의 제2 터치 스크린을 갖는 디스플레이 장치의 제어 방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서,
    상기 디스플레이 장치의 제어 방법은,
    상기 제1 터치 스크린상에 화면을 표시하는 단계;
    상기 제1 터치 스크린과 상기 제2 터치 스크린의 배치 형태를 감지하는 단계; 및
    상기 감지된 두 터치 스크린의 배치 형태에 따라 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 및 상기 제2 터치 스크린 중 적어도 하나에 표시하는 단계;를 포함하며,
    상기 UI 요소를 표시하는 단계는,
    상기 제2 터치 스크린이 상기 제1 터치 스크린과 겹쳐진 상태이면, 상기 제2 터치 스크린으로부터 입력받은 사용자 터치에 대응되는 UI 요소를 상기 제1 터치 스크린 상에 표시하는 것을 특징으로 하는 컴퓨터 판독가능 기록매체.
    
    
    

Images