KR20140085048A

KR20140085048A - 멀티 디스플레이 장치 및 제어 방법

Info

Publication number: KR20140085048A
Application number: KR20120155190A
Authority: KR
Inventors: 이재열
Original assignee: 삼성전자주식회사
Priority date: 2012-12-27
Filing date: 2012-12-27
Publication date: 2014-07-07
Also published as: US9406281B2; US20140184628A1

Abstract

멀티 디스플레이 장치가 개시된다. 멀티 디스플레이 장치는 각각 제1 및 제2 디스플레이부를 포함하는 제1 및 제2 바디, 제1 바디 및 제2 바디를 연결하는 힌지부, 각각 제1 및 제2 디스플레이부에 대응되는 제1 및 제2 프레임 버퍼, 제1 및 제2 프레임 버퍼를 개별적으로 관리하여 데이터를 저장하는 개별 저장 방식 및 제1 및 제2 프레임 버퍼를 하나의 가상 통합 프레임 버퍼로 관리하여 데이터를 저장하는 통합 저장 방식 중 하나의 방식으로 제1 및 제2 프레임 버퍼를 관리할 수 있는 제어부를 포함하며, 제어부는 제1 및 제2 디스플레이부에 표시되는 데이터의 특성에 따라 관리 방식을 변경하여 제1 및 제2 프레임 버퍼에 데이터를 저장하고, 제1 및 제2 디스플레이부는 제1 및 제2 프레임 버퍼에 저장된 데이터를 각각 디스플레이한다. 이에 따라, 멀티 디스플레이 장치는 제1 및 제2 디스플레이부에 표시되는 화면을 다양하게 제어할 수 있다.

Description

멀티 디스플레이 장치 및 제어 방법{MULTI DISPLAY DEVICE AND METHOD FOR CONTROLLING THEREOF}

본 발명은 멀티 디스플레이 장치 및 그 제어 방법에 관한 것으로서, 특히, 복수의 프레임 버퍼에 대한 어드레스 할당 방법에 따라 디스플레이부의 표시 화면을 제어하는 멀티 디스플레이 장치 및 그 제어 방법에 관한 것이다.

최근 다양한 유형의 디스플레이 장치가 사용되고 있다. 이러한 디스플레이 장치는 디스플레이부가 두 개 이상 구비될 수 있으며, 화면의 크기가 점점 커지는 추세에 있다. 이에 따라, 사용자가 디스플레이 장치에서 복수 개의 어플리케이션을 실행하여 복수의 화면을 보는 것이 가능해졌다.

그러나, 종래의 듀얼 디스플레이 장치는 하나의 창을 물리적으로 나누어진 화면으로 분할 출력하는 방식으로 전체 화면을 표시하였다. 따라서, 각각의 디스플레이부에 별개의 어플리케이션 화면을 표시하더라도 각 화면에 대해서 개별적으로 제어할 수 없다는 문제점이 있었다.

이에 따라, 복수의 작업 환경을 제공하는 멀티 디스플레이 장치에서 사용자가 보다 편리하게 사용할 수 있도록 개별적으로도 화면을 제어할 수 있는 기술에 대한 필요성이 대두되었다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명은 프레임 버퍼의 어드레스 할당에 따라 복수의 화면을 제어할 수 있는 멀티 디스플레이 장치 및 제어 방법을 제공하는 것을 목적으로 한다.

본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 멀티 디스플레이 장치는 제1 디스플레이부를 포함하는 제1 바디, 제2 디스플레이부를 포함하는 제2 바디, 상기 제1 바디 및 상기 제2 바디를 연결하는 힌지부, 상기 제1 디스플레이부에 대응되는 제1 프레임 버퍼, 상기 제2 디스플레이부에 대응되는 제2 프레임 버퍼 및 상기 제1 및 제2 프레임 버퍼를 개별적으로 관리하여 데이터를 저장하는 개별 저장 방식 및 상기 제1 및 제2 프레임 버퍼를 하나의 가상 통합 프레임 버퍼로 관리하여 데이터를 저장하는 통합 저장 방식 중 하나의 방식으로 상기 제1 및 제2 프레임 버퍼를 관리할 수 있는 제어부를 포함하며, 상기 제어부는 상기 제1 및 제2 디스플레이부에 표시되는 데이터의 특성에 따라 상기 관리 방식을 변경하여 상기 제1 및 제2 프레임 버퍼에 데이터를 저장하고, 상기 제1 및 제2 디스플레이부는 상기 제1 및 제2 프레임 버퍼에 저장된 데이터를 각각 디스플레이한다.

한편, 상기 제어부는 상기 개별 저장 방식으로 관리하는 경우 상기 제1 및 제2 프레임 버퍼에 개별적인 어드레스를 할당하고, 상기 통합 저장 방식으로 관리하는 경우 상기 가상 통합 프레임 버퍼의 전체 어드레스를 제1 그룹 및 제2 그룹으로 구분하고, 상기 제1 그룹의 어드레스를 상기 제1 프레임 버퍼에 할당하고, 상기 제2 그룹의 어드레스를 상기 제2 프레임 버퍼에 할당하며, 상기 어드레스는 동적으로 할당될 수 있다.

한편, 멀티 디스플레이 장치는 상기 멀티 디스플레이 장치의 회전 상태를 감지하기 위한 회전 감지 센서를 더 포함하며, 상기 제어부는 상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터를 상기 회전 상태에 따라 각각 조정하고, 상기 제1 및 제2 프레임 버퍼에 저장하여, 상기 제1 및 제2 디스플레이부의 화면이 상기 회전 상태에 따라 개별적으로 전환되도록 할 수 있다.

그리고, 멀티 디스플레이 장치는 사용자의 위치를 인식하기 위한 사용자 인식 센서를 더 포함하며, 상기 제어부는 상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터를 상기 사용자의 위치에 따라 각각 조정하고, 상기 제1 및 제2 프레임 버퍼에 저장하여, 상기 제1 및 제2 디스플레이부의 화면이 상기 인식된 사용자의 위치에 따라 개별적으로 전환되도록 할 수 있다.

또한, 멀티 디스플레이 장치는 촬상부를 더 포함하며, 상기 제어부는 상기 촬상부에서 촬상된 이미지에 기초하여 화면 전환을 위한 사용자 제스처가 인식되면, 상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터를 각각 조정하고, 상기 제1 및 제2 프레임 버퍼에 저장하여, 상기 제1 및 제2 디스플레이부의 화면이 상기 사용자 제스처에 따라 개별적으로 전환되도록 할 수 있다.

또한, 멀티 디스플레이 장치는 터치 센서를 더 포함하며, 상기 제어부는 상기 터치 센서에 의해 화면 전환을 위한 터치 제스처가 감지되면, 상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터를 각각 조정하고 상기 제1 및 제2 프레임 버퍼에 저장하여, 상기 제1 및 제2 디스플레이부의 화면이 상기 터치 제스처에 따라 개별적으로 전환되도록 할 수 있다.

한편, 상기 제어부는 상기 제1 프레임 버퍼에 저장된 데이터와 상기 제2 프레임 버퍼에 저장된 데이터가 동일한 데이터인 경우, 상기 제1 프레임 버퍼에 저장된 데이터가 조정되면 상기 제1 및 제2 디스플레이부의 화면이 동시에 전환될 수 있도록 상기 제2 프레임 버퍼에 저장된 데이터를 동일하게 조정하여 상기 제2 프레임 버퍼에 저장할 수 있다.

한편, 상기 제1 디스플레이부 및 상기 제2 디스플레이부의 화면은 홈 화면 또는 선택된 어플리케이션의 실행 화면일 수 있다.

본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 제1 디스플레이부를 포함하는 제1 바디, 제2 디스플레이부를 포함하는 제2 바디 및 상기 제1 바디 및 상기 제2 바디를 연결하는 힌지부를 포함하는 멀티 디스플레이 장치의 제어 방법에 있어서, 상기 제1 및 제2 프레임 버퍼를 개별적으로 관리하여 데이터를 저장하는 개별 저장 방식 및 상기 제1 및 제2 프레임 버퍼를 하나의 가상 통합 프레임 버퍼로 관리하여 데이터를 저장하는 통합 저장 방식 중 하나의 방식으로 상기 제1 및 제2 프레임 버퍼를 관리하는 단계, 상기 제1 및 제2 디스플레이부에 표시되는 데이터의 특성에 따라 상기 관리 방식을 변경하여 상기 제1 및 제2 프레임 버퍼에 데이터를 저장하는 단계 및 상기 제1 및 제2 프레임 버퍼에 저장된 데이터를 각각 디스플레이하는 단계를 포함한다.

한편, 상기 제1 및 제2 프레임 버퍼를 관리하는 단계는 상기 개별 저장 방식으로 관리하는 경우 상기 제1 및 제2 프레임 버퍼에 개별적인 어드레스를 할당하고, 상기 통합 저장 방식으로 관리하는 경우 상기 가상 통합 프레임 버퍼의 전체 어드레스를 제1 그룹 및 제2 그룹으로 구분하고, 상기 제1 그룹의 어드레스를 상기 제1 프레임 버퍼에 할당하고, 상기 제2 그룹의 어드레스를 상기 제2 프레임 버퍼에 할당하며, 상기 어드레스는 동적으로 할당될 수 있다.

그리고, 멀티 디스플레이 장치의 제어 방법은 상기 멀티 디스플레이 장치의 회전 상태를 감지하는 단계를 더 포함하며, 상기 데이터를 저장하는 단계는 상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터 중 적어도 하나를 상기 회전 상태에 따라 전환되는 형태로 개별적으로 조정하고, 상기 제1 및 제2 프레임 버퍼에 저장할 수 있다.

또한, 멀티 디스플레이 장치의 제어 방법은 사용자의 위치를 인식하는 단계를 더 포함하며, 상기 데이터를 저장하는 단계는 상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터 중 적어도 하나를 상기 사용자의 위치에 따라 전환되도록 개별적으로 조정하여 상기 제1 및 제2 프레임 버퍼에 저장할 수 있다.

또한, 멀티 디스플레이 장치의 제어 방법은 사용자 제스처를 촬상하는 단계, 촬상된 이미지를 이용하여 사용자 제스처를 인식하는 단계를 더 포함하며, 상기 데이터를 저장하는 단계는 상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터 중 적어도 하나를 상기 사용자 제스처에 따라 전환되도록 개별적으로 조정하여 상기 제1 및 제2 프레임 버퍼에 저장할 수 있다.

또한, 멀티 디스플레이 장치의 제어 방법은 터치 제스처를 입력받는 단계를 더 포함하며, 상기 데이터를 저장하는 단계는 상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터 중 적어도 하나를 상기 터치 제스처에 따라 전환되도록 개별적으로 조정하여 상기 제1 및 제2 프레임 버퍼에 저장할 수 있다.

한편, 상기 데이터를 저장하는 단계는 상기 제1 프레임 버퍼에 저장된 데이터와 상기 제2 프레임 버퍼에 저장된 데이터가 동일한 데이터인 경우, 상기 제1 프레임 버퍼에 저장된 데이터가 조정되면 상기 제1 및 제2 디스플레이부의 화면이 동시에 전환될 수 있도록 상기 제2 프레임 버퍼에 저장된 데이터를 동일하게 조정하여 상기 제2 프레임 버퍼에 저장할 수 있다.

한편, 상기 제1 디스플레이부의 화면 및 제2 디스플레이부의 화면은 홈 화면 또는 선택된 어플리케이션의 영역에 해당하는 화면일 수 있다.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 멀티 디스플레이 장치는 프레임 버퍼의 어드레스를 동적으로 할당하여 개별 저장 방식 또는 통합 저장 방식 중 하나의 방법으로 데이터를 관리함으로써 제1 및 제2 디스플레이부에 표시되는 화면을 개별적 또는 통합적으로 다양하게 제어할 수 있다. 또한, 제1 및 제2 디스플레이부에 표시되는 화면이 동일한 경우 하나의 디스플레이부의 조작에 의해 제1 및 제2 디스플레이부에 표시되는 화면을 연동하여 전환시킬 수 있다.

도 1은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 구성을 나타낸 블록도.
도 2는 본 발명의 다른 실시 예에 따른 멀티 디스플레이 장치의 구성을 나타낸 블록도.
도 3은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 시스템 계층 구조를 설명하기 위한 도면.
도 4는 본 발명의 일 실시 예에 따른 프레임 버퍼에 어드레스를 할당하여 화면을 표시하는 방법을 설명하는 도면.
도 5는 본 발명의 일 실시 예에 따른 화면 표시 방법을 설명하기 위한 도면.
도 6은 본 발명의 일 실시 예에 따른 화면 전환 방법의 흐름도.
도 7은 본 발명의 일 실시 예에 따른 화면 전환을 설명하는 도면.
도 8 내지 도 9는 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 회전 상태 감지에 의한 화면 전환을 설명하는 도면.
도 10 내지 도 12는 본 발명의 일 실시 예에 따른 사용자 인식에 의한 화면 전환을 설명하는 도면.
도 13은 사용자 인식에 의한 화면 전환의 다양한 실시 예를 설명하는 도면.
도 14 내지 도 17은 본 발명의 다양한 실시 예에 따른 멀티 디스플레이 장치의 촬상부 배치 예를 설명하기 위한 도면.
도 18은 본 발명의 일 실시 예에 따른 공간 제스처 인식에 의한 화면 전환 방법의 흐름도.
도 19는 본 발명의 일 실시 예에 따른 제스처 인식 모드의 화면을 표시하는 도면.
도 20은 본 발명의 일 실시 예에 따른 펜을 이용한 명령 입력 방법을 설명하는 도면.
도 21 내지 도 22는 본 발명의 일 실시 예에 따른 복수의 사용자 객체를 이용한 명령 입력 방법을 설명하는 도면.
도 23은 본 발명의 일 실시 예에 따른 공간 제스처를 이용한 화면 전환을 설명하는 도면.
도 24 내지 도 25는 본 발명의 근접 터치를 감지하는 방법을 설명하기 위한 도면.
도 26은 본 발명의 일 실시 예에 따른 터치 제스처에 의한 화면 전환 방법의 흐름도.
도 27 내지 도 29는 제스처에 의한 화면 전환의 다양한 실시 예를 설명하는 도면.
도 30은 본 발명의 일 실시 예에 따른 제1 및 제2 디스플레이부의 표시 화면이 연동되어 전환되는 것을 설명하는 도면.
도 31은 멀티 디스플레이 장치의 싱글 모드를 도시한 도면.
도 32 내지 도 33은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 툴 킷 모드에서 화면 전환을 설명하는 도면.
도 34 내지 도 35는 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 익스펜딩 모드에서 화면 전환을 설명하는 도면.
도 36은 멀티 디스플레이 장치의 스탠딩 모드를 도시한 도면.
도 37은 멀티 디스플레이 장치의 다른 스탠딩 모드를 도시한 도면.
도 38은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 구성을 구체적으로 설명하기 위한 블록도.
도 39는 다양한 구현 예에 따른 멀티 디스플레이 장치의 세부적인 구성을 설명하기 위한 블록도.
도 40은 본 발명의 일 실시 예에 따른 하나의 디스플레이부에 관한 구성을 구체적으로 설명하기 위한 도면.
도 41은 도 40에 도시된 디스플레이 패널을 구성하는 R, G, B 화소를 구성하는 회로 구조를 설명하기 위한 도면.
도 42는 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 제어 방법의 흐름도.

이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 명세서에서는 멀티 디스플레이 장치는 복수의 디스플레이부를 포함하며 그 디스플레이부들을 통해 각종 화면을 디스플레이하는 장치로 정의한다. 구체적으로는, 멀티 디스플레이 장치는, 태블릿 PC(Tablet Personal Computer), 휴대용 멀티미디어 재생 장치(Portable Multimedia Player: PMP), 개인 정보 단말기(Personal Digital Assistant: PDA), 스마트 폰(Smart Phone), 휴대폰, 디지털 액자, 게임기 등과 같은 유형으로 구현될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 구성을 나타낸 블록도이다.

도 1을 참조하면 멀티 디스플레이 장치(100)는 제1 바디(2), 제2 바디(4) 및 힌지부(185)를 포함한다. 제1 바디(body)(2)는 제어부(130), 제1 프레임 버퍼(frame buffer)(171a), 제1 디스플레이부(190a)를 포함하고, 제2 바디(body)(4)는 제2 프레임 버퍼(171b), 제2 디스플레이부(190b)를 포함한다.

제1 바디(2)와 제2 바디(4)는 힌지부(185)에 의해 연결된다. 제1 바디(2) 및 제2 바디(4)는 힌지부(185)를 기준으로 회전될 수 있다. 이에 따라, 제1 및 제2 디스플레이부(190a, 190b)가 서로 맞닿는 형태로 클로즈될 수도 있고, 그 반대 방향으로 완전히 젖혀져서 제1 및 제2 디스플레이부(190a, 190b)의 배면이 서로 맞닿는 형태로 오픈될 수도 있다. 또는, 힌지부(185)의 구성에 따라서는 180도로 완전히 펴지는 형태로 오픈될 수도 있다. 힌지부(185)를 기준으로 제1 바디(2) 및 제2 바디(4)가 벌어지는 형태에 대해서는 후술하는 다양한 실시 예들에서 구체적으로 설명한다.

제1 프레임 버퍼(171a)는 제1 디스플레이부(190a)에 디스플레이될 이미지 프레임을 버퍼링하기 위한 구성이고, 제2 프레임 버퍼(171b)는 제2 디스플레이부(190b)에 디스플레이될 이미지 프레임을 버퍼링하기 위한 구성이다.

예를 들어, GPU(Graphics Processing Unit)에 의해서 디지털 신호 처리된 이미지 프레임은 제1 및 2 프레임 버퍼(171a, 171b)에 비트맵 형태로 저장된다. 이 경우, 각 프레임 버퍼(171a, 171b)의 버퍼링 영역은 각 디스플레이부(190a, 190b)에서 지원 가능한 최대 픽셀 크기에 맞게 할당된다. 제1 디스플레이 드라이버는 제1 프레임 버퍼(171a)에 저장된 이미지 프레임을 분석해서 제1 이미지 소스 신호로 변환한다. 제1 디스플레이 드라이버는 제1 이미지 소스 신호를 제1 디스플레이부(190a)로 제공하여, 제1 디스플레이부(190a)가 이미지 프레임을 디스플레이하도록 구동시킨다.

마찬가지로, 제2 디스플레이 드라이버는 제2 프레임 버퍼(171b)에 저장된 이미지 프레임을 분석해서 제2 이미지 소스 신호로 변환하고, 이를 제2 디스플레이부(190b)에 제공하여 디스플레이시킨다.

제1 및 제2 프레임 버퍼(171a, 171b)는 GPU 내부의 일정한 저장 영역에 위치할 수 있고, 멀티 디스플레이 장치(100)의 저장부(미도시)의 일정 영역을 할당하여 제1 및 제2 프레임 버퍼(171a, 171b)를 위치시킬 수도 있다. 따라서, 제1 및 제2 프레임 버퍼(171a, 171b) 모두가 제1 바디(2) 또는 제2 바디(4)에 포함될 수도 있다. 멀티 디스플레이 장치(100)는 가상의 통합 프레임 버퍼(미도시)를 설정할 수 있다. 설정된 가상의 통합 프레임 버퍼는 제1 및 제2 디스플레이부(190a, 190b)에 표시될 데이터를 하나로 관리한다.

제어부(130)는 통합 프레임 버퍼의 전체 어드레스를 제1 그룹 및 제2 그룹으로 구분한다. 제1 그룹의 어드레스를 제1 프레임 버퍼(171a)에 할당하고, 제2 그룹의 어드레스를 제2 프레임 버퍼(171b)에 할당한다. 제1 및 제2 프레임 버퍼에 각각 할당된 어드레스를 이용하여 제1 및 제2 프레임 버퍼에 저장된 데이터를 조정함으로써 제1 및 제2 디스플레이부(190a, 190b)의 화면을 변환할 수 있다. 제어부(130)는 제2 바디(4)에 포함될 수도 있고, 복수 개로 마련되어 제1 및 제2 바디(2, 4) 모두에 포함될 수도 있다.

경우에 따라서, 제어부(130)에 GPU가 포함될 수도 있다. 멀티 디스플레이 장치(100)가 제어부(130)에 GPU가 포함되는 단일 부품으로 구성되면, 데이터 전송 효율 등에서 장점이 있다. 이 경우, 제1 및 제2 프레임 버퍼(171a, 171b)가 GPU 내부에 위치할 수 있으므로, 제1 및 제2 프레임 버퍼(171a, 171b)는 제어부(130) 내부에 위치하여 구성될 수도 있다. 통합 프레임 버퍼는 제1 및 제2 프레임 버퍼(171a, 171b)에 대한 어드레스 할당 방법으로 구성될 수 있고, 별도의 저장 공간을 이용하여 별개로 구성될 수도 있다. 도 통합 프레임 버퍼를 별도의 저장 공간을 이용하는 경우 제1 또는 제2 프레임 버퍼(171a, 171b)와 동일한 부분에 위치시킬 수 있다.

도 1에서는 제1 및 제2 디스플레이부(190a, 190b)와 같이 두 개의 디스플레이 유닛을 포함하는 장치의 구성을 나타냈으므로, 듀얼 디스플레이 장치라고도 칭할 수 있다. 하지만, 디스플레이 유닛의 개수는 2개 뿐 아니라 3개 이상이 될 수도 있으므로, 설명의 편의를 위해서 본 명세서에서는 멀티 디스플레이 장치로 통칭하여 설명한다.

멀티 디스플레이 장치(100)는 다양한 방법으로 화면 전환을 하기 위해 촬상부 또는 센서부를 포함할 수 있다. 또는 촬상부와 센서부를 모두 포함할 수 있다.

도 2는 본 발명의 다른 실시 예에 따른 멀티 디스플레이 장치의 구성을 나타낸 블록도이다.

도 2를 참조하면, 제1 바디(2)는 제1 촬상부(140a), 제1 센서부(150a)를 더 포함할 수 있고, 제2 바디(4)는 제2 촬상부(140b), 제2 센서부(150b)를 더 포함할 수 있다.

제1 및 제2 촬상부(140a, 140b)는 화면 전환을 위해 사용자를 촬상할 수 있다. 제어부(130)는 제1 및 제2 촬상부(140a, 140b)에서 촬상된 사용자 이미지를 이용하여 사용자의 위치를 인식한다. 제어부(130)는 인식된 사용자의 위치에 따라 제1 및 제2 프레임 버퍼(171a, 171b)의 제1 및 제2 화면 데이터를 조정하고, 조정된 각 화면 데이터를 제1 및 제2 프레임 버퍼(171a, 171b)에 저장한다. 따라서, 제1 및 제2 디스플레이부(190a, 190b)의 화면은 인식된 사용자의 위치에 따라 전환될 수 있다. 이 경우, 제1 및 제2 촬상부(140a, 140b)는 사용자의 위치를 인식하기 위한 용도로 사용되므로 사용자 인식 센서의 한 종류로 볼 수 있다.

또한, 제1 및 제2 촬상부(140a, 140b)는 화면 전환을 위해 사용자의 공간 제스처를 촬상한다. 공간 제스처는 터치 스크린의 터치나 버튼의 누름과 같은 물리적인 접촉없이 공간 상에서 사용자 객체(예, 사용자의 손)의 일정한 움직임을 이용하여 멀티 디스플레이 장치(100)를 동작시키는 것을 의미한다.

제어부(130)는 제1 및 제2 촬상부(140a, 140b)에서 촬상된 사용자 객체의 움직임에 관한 이미지를 이용하여 사용자 제스처를 인식한다. 제어부(130)는 인식된 제스처가 기 설정된 화면 전환 명령에 대응되는 경우, 제1 및 제2 프레임 버퍼(171a, 171b)의 제1 및 제2 화면 데이터를 조정하고, 조정된 각 화면 데이터를 제1 및 제2 프레임 버퍼(171a, 171b)에 저장한다. 따라서, 제1 및 제2 디스플레이부(190a, 190b)의 화면은 인식된 사용자 제스처에 따라 전환될 수 있다.

제1 및 제2 센서부(150a, 150b)는 회전 감지 센서나 사용자 인식 센서를 포함할 수 있다. 회전 감지 센서는 멀티 디스플레이 장치(100)의 회전 상태를 감지하고, 사용자 인식 센서는 사용자의 위치를 인식한다.

제1 및 제2 센서부(150a, 150b)가 멀티 디스플레이 장치(100)의 회전 상태를 감지하면, 제어부(130)는 회전 상태에 따라 제1 및 제2 프레임 버퍼(171a, 171b)의 제1 및 제2 화면 데이터를 조정하고, 조정된 각 화면 데이터를 제1 및 제2 프레임 버퍼(171a, 171b)에 저장한다. 따라서, 제1 및 제2 디스플레이부(190a, 190b)의 화면은 멀티 디스플레이 장치(100)의 회전 상태에 따라 전환될 수 있다.

제1 및 제2 센서부(150a, 150b)가 사용자의 위치를 감지하는 경우에는 상술한 방법에 따라 화면 전환이 될 수 있다.

예를 들어, 멀티 디스플레이 장치(100)의 회전 상태를 감지하기 위한 회전 감시 센서는 지자기 센서, 가속도 센서, 중력 센서, 자이로 센서 등이 있다. 사용자의 위치를 인식하기 위한 사용자 인식 센서는 적외선 센서, 초음파 센서 등이 있다. 회전 상태나 사용자의 위치를 감지하기 위해서 한 종류의 센서를 사용할 수 있고, 복수의 서로 다른 종류의 센서를 조합하여 사용할 수도 있다.

또 다른 실시 예로서 사용자가 터치 스크린을 터치하여 화면을 전환시킬 수 있고, 화면 전환 명령에 대응되는 제스처를 근접 센서를 이용하여 멀티 디스플레이 장치(100)에 입력하여 화면을 전환할 수도 있다.

멀티 디스플레이 장치(100)는 감지된 외부 정보를 이용하여 제1 또는 제2 디스플레이부(190a, 190b)에 표시되는 화면을 전환할 수 있다.

이하에서는 멀티 디스플레이 장치(100)의 소프트웨어 계층 구조와 디스플레이부 화면을 표시하는 구체적인 방법에 대해서 설명한다.

도 3은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 시스템 계층 구조를 설명하기 위한 도면이다. 멀티 디스플레이 장치는 하드웨어(410) 뿐만 아니라, OS(420), 프레임워크(430), 통화 어플리케이션(441), 멀티미디어 어플리케이션 (442), 카메라 어플리케이션 (443), 브라우저(444), 제스쳐 인식 어플리케이션 (445)과 같은 다양한 소프트웨어를 포함할 수 있다.

하드웨어(410)는 멀티디스플레이 장치(100)의 제어부(130), 촬상부(140a, 140b), 센서부(150a, 150b) 등과 같이 다양한 구성들을 포함할 수 있다.

운영체제(Operating System: OS, 420)는 하드웨어(410)의 전반적인 동작을 제어하고 하드웨어(410)를 관리하는 기능을 수행한다. 즉, OS(420)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다. OS(420)는 멀티디스플레이부를 구동시키기 위한 디스플레이 드라이버, 데이터 송수신을 위한 통신 드라이버, 촬상부를 구동시키기 위한 카메라 드라이버, 오디오부를 구동시키기 위한 오디오 드라이버, 전원관리자 등의 모듈을 구동시켜 멀티 디스플레이 장치의 동작을 제어한다.

OS(420)보다 상위 계층으로 프레임워크(frame work) 계층(430)이 존재한다. 프레임워크(430)는 어플리케이션 계층(440)과 OS 계층(420)을 연결하는 역할을 수행한다. 즉, 프레임워크 계층(430)은 로케이션 매니저(location manager), 알림 매니저(notification manager) 및 디스플레이부에 영상을 표시하기 위한 프레임 버퍼(frame buffer)를 포함한다.

프레임워크 계층(430) 상부 계층에는 멀티디스플레이 장치(100)의 다양한 기능을 구현되는 어플리케이션 계층(440)이 존재한다. 예로서, 통화 어플리케이션(441), 멀티미디어 어플리케이션(442), 카메라 어플리케이션(443), 브라우저 어플리케이션(444) 및 제스처 인식 어플리케이션(445) 등 다양한 응용프로그램이 포함될 수 있다.

이러한 소프트웨어 계층 구조를 바탕으로 멀티디스플레이 장치의 화면 표시 방법에 대해서 설명한다.

도 4는 본 발명의 일 실시 예에 따른 프레임 버퍼에 어드레스를 할당하여 화면을 표시하는 방법을 설명하는 도면이다.

도 4의 (1)을 참조하면, 물리적인 제1 프레임 버퍼(66a)와 제2 프레임 버퍼(66b)가 있다. 제1 프레임 버퍼(66a)와 제2 프레임 버퍼(66b)는 각각 개별적인 어드레스가 할당된다. 즉, 멀티 디스플레이 장치(100)는 제1 및 제2 프레임 버퍼(66a, 66b)를 개별적으로 관리하는 개별 저장 방식으로 화면 표시 데이터를 관리할 수 있다. 따라서, 제1 프레임 버퍼(66a)에 저장된 데이터는 제1 디스플레이부(70a)에 표시되고, 제2 프레임 버퍼(66b)에 저장된 데이터는 제2 디스플레이부(70b)에 표시된다.

예를 들어, 사용자가 제1 디스플레이부(70a)에서는 제1 어플리케이션을 실행시키고, 제2 디스플레이부(70b)에서는 제2 어플리케이션을 실행시킨다고 가정한다. 따라서, 제1 어플리케이션과 제2 어플리케이션은 개별적으로 표시될 수 있다. 제어부(130)는 제1 프레임 버퍼(66a)와 제2 프레임 버퍼(66b)에 개별적인 어드레스를 할당한다. 즉, 제1 및 제2 프레임 버퍼(66a, 66b)에 각각 0~99의 어드레스 할당이 가능하다면, 제어부(130)는 제1 프레임 버퍼(66a)에 0~99, 제2 프레임 버퍼(66b)에 0~99의 어드레스를 할당한다. 별개의 어드레스가 할당된 제1 및 제2 프레임 버퍼(66a, 66b)는 개별적인 프레임 버퍼로 인식된다. 제어부(130)는 할당된 어드레스에 따라 제1 어플리케이션 화면 데이터를 제1 프레임 버퍼(66a)에 저장하고, 제2 어플리케이션 화면 데이터를 제2 프레임 버퍼(66b)에 저장한다. 저장된 제1 어플리케이션 화면 데이터는 제1 디스플레이부(70a)에 표시되고, 저장된 제2 어플리케이션 화면 데이터는 제2 디스플레이부(70b)에 표시된다. 이처럼, 제1 및 제2 프레임 버퍼(66a, 66b)에 별개의 어드레스가 할당되면, 제1 및 제2 디스플레이부(70a, 70b)에 표시되는 화면은 별개의 제어가 가능하다.

도 4의 (2)를 참조하면, 제1 및 제2 프레임 버퍼(66a, 66b)는 하나의 가상 통합 프레임 버퍼(67)로 관리된다. 제어부(130)는 가상 통합 프레임 버퍼(67)의 전체 어드레스를 제1 그룹 및 제2 그룹으로 구분한다. 제1 그룹의 어드레스는 제1 프레임 버퍼(66a)에 할당하고, 제2 그룹의 어드레스는 제2 프레임 버퍼(66b)에 할당한다. 즉, 디스플레이 장치(100)는 제1 및 제2 프레임 버퍼(66a, 66b)는 하나의 통합 프레임 버퍼로 관리하는 통합 저장 방식으로 화면 표시 데이터를 관리할 수 있다. 경우에 따라, 통합 프레임 버퍼는 별도의 저장 공간에 마련될 수도 있다.

예를 들어, 사용자가 하나의 어플리케이션을 제1 및 제2 디스플레이부(70a, 70b) 전체에 실행시킨다고 가정한다. 제어부(130)는 제1 및 제2 프레임 버퍼(66a, 66b)를 하나의 가상 통합 프레임 버퍼(67)로 관리하여 어드레스를 할당한다. 예를 들어, 제1 및 제2 프레임 버퍼(66a, 66b)에 각각 0~99의 어드레스 할당이 가능하다면, 제어부(130)는 하나의 통합 가상 프레임 버퍼(67)의 어드레스를 0~199의 어드레스로 설정한다. 그리고, 제1 프레임 버퍼(66a)에 0~99의 어드레스를 할당하고, 제2 프레임 버퍼(66b)에 100~199의 어드레스를 할당하여 하나의 어플리케이션 화면 데이터를 제1 및 제2 프레임 버퍼(66a, 66b)에 저장한다. 이에 따라, 하나의 어플리케이션 화면 데이터는 제1 및 제2 디스플레이부(70a, 70b) 전체에 표시된다.

개별적인 어드레스 할당과 통합 어드레스 할당은 제어부(130)에 의해 동적으로 이루어진다. 동적으로 이루어진다는 의미는 특정 어플리케이션에 따라 어드레스 할당 방법이 정해진 것이 아니라, 디스플레이부에 표시되는 상황에 따라 적절한 어드레스 할당이 이루어지는 것을 의미한다.

따라서, 개별적인 어드레스 할당이 이루어진 상태에서 사용자가 제1 디스플레이부에 표시된 어플리케이션을 제1 및 제2 디스플레이부에 표시되도록 확장시키는 경우 제어부(130)는 동적으로 어드레스를 할당하여 개별 어드레스 할당에서 통합 어드레스 할당으로 어드레스 할당 방법을 전환할 수 있다. 이와 반대의 어드레스 할당도 가능하다.

도 5는 본 발명의 일 실시 예에 따른 화면 표시 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 어플리케이션 계층(Application Layer)은 어플이라고 불리우는 응용 프로그램이 존재하는 계층이다. 예를 들어, 홈 어플리케이션(Home App), 사용자 어플리케이션(Custom Home App.) 등이 있을 수 있다. 멀티 디스플레이 장치(100)는 홈 어플리케이션(61)의 경우 제1 디스플레이부에 표시하고, 확장된 어플리케이션(62)의 경우 제1 및 제2 디스플레이부에 표시하며, 사용자 어플리케이션(63)의 경우 제2 디스플레이부에 표시할 수 있다.

라이브러리 계층(Libraries)은 서드 파티가 접근하는 공통적인 계층이다. 라이브러리 계층에는 서피스 플린저(Surface Flinger)(64)가 존재한다. 서피스 플린저(Surface Flinger)(64)란 디스플레이 하부시스템에 대한 접근 관리와 여러 어플리케이션에서의 2D, 3D 그래픽 레이어를 제어하는 역할을 한다. 예를 들어, 일반적인 뷰(view)는 드로우(draw) 시점에 캔버스(canvas)에 무언가를 그리고 종료된다. 캔버스에 그려진 그림은 GDI(Graphic Device Interface) 쓰레드(Thread)를 통해 윈도우매니저(Window Manager)에서 관리하는 서피스(Surface)라는 곳에 저장되고 그려진다. 서피스 플린저(Surface Flinger)(64)는 서피스(Surface)를 디스플레이 하부시스템(Display Subsystem)(65)으로 전달한다.

하드웨어 요약 계층(Hardware Abstraction Layer: HAL)은 OS를 구성하는 한 부분으로서 API처럼 사용된다. 즉, 커널 드라이버들은 장치에 따라서 API(Application Programming Interface)나 동작 상태가 다르다. 따라서, 커널 드라이버와 어플리케이션 사이에 삽입된 HAL이 하드웨어가 바뀌더라도 어플리케이션은 항상 동일하게 사용될 수 있도록 해 주는 역할을 한다. 하드웨어 요약 계층에는 디스플레이 하부 시스템(65)가 존재한다. 그리고, 제1 및 제2 디스플레이부(70a, 70b)에 표시될 데이터를 저장하는 프레임 버퍼부(68)가 존재한다. 프레임 버퍼부(68)는 물리적인 제1 및 제2 프레임 버퍼(66a, 66b)를 포함한다. 제0 프레임 버퍼(67)는 제1 및 제2 프레임 버퍼(66a, 66b)를 통합하여 관리하는 가상의 통합 프레임 버퍼를 의미한다. 도면상에는 가상 통합 프레임 버퍼(67)가 별도로 존재하는 것처럼 도시되어 있으나, 어드레스를 할당하는 방법으로 제1 및 제2 프레임 버퍼(66a, 66b)를 이용할 수도 있다. 이 경우, 제1 및 제2 프레임 버퍼(66a, 66b) 전체가 하나의 가상 통합 프레임 버퍼(67)가 된다.

도 4에서 설명한 바와 같이 제어부(130)는 제1 및 제2 프레임 버퍼(66a, 66b)에 개별적인 어드레스 할당을 통해 개별적인 디스플레이 제어를 할 수 있다. 또는, 제1 및 제2 프레임 버퍼(66a, 66b)에 통합 어드레스 할당을 통해 가상의 통합 프레임 버퍼(67)로 관리하며 전체 디스플레이부를 하나의 디스플레이부처럼 관리할 수도 있다.

도 6은 본 발명의 일 실시 예에 따른 화면 전환 방법의 흐름도이다.

도 6의 (1)는 감지된 외부 정보에 의해 디스플레이부의 화면을 전환하는 방법을 설명하는 흐름도이다. 일정한 외부 정보가 감지되면 회전 이벤트가 발생한다(S511). 상술한 바와 같이 외부 정보는 화면 전환 명령에 대응되는 제스처, 감지된 사용자의 위치, 멀티 디스플레이 장치(100)의 회전 상태 등이 될 수 있다. 즉, 회전 이벤트는 멀티 디스플레이 장치(100)의 회전의 경우와 같이 하드웨어의 변화에 의해 발생할 수 있다. 또한, 화면 전환 명령에 대응되는 제스처 입력의 경우와 같이 제어부(130)가 화면 전환 명령을 인식하여 소프트웨어를 이용하여 발생시킬 수 있다.

제어부(130)는 회전 이벤트가 발생하면 디스플레이부에 표시되는 화면을 어느 방향으로 얼마나 회전시켜야 하는지에 관한 회전 정보를 검출한다. 검출된 회전 정보를 이용하여 화면 데이터를 조정한다(S512). 예를 들어, 화면 데이터를 조정하는 방법의 일 실시 예로서 어드레스는 고정시켜 놓고, 시작 좌표만 바꾸는 방법이 있다. 조정된 화면 데이터는 어드레스를 이용하여 제1 또는 제2 프레임 버퍼(171a, 171b)에 저장된다.

제1 프레임 버퍼(171a)에 저장된 데이터는 제1 디스플레이부(190a)로 출력되고, 제2 프레임 버퍼(171b)에 저장된 데이터는 제2 디스플레이부(190b)로 출력된다. 제1 또는 제2 프레임 버퍼(171a, 171b)에 저장된 데이터는 검출된 회전 정보를 이용하여 제어부(130)에 의해 조정된 데이터이므로 제1 또는 제2 디스플레이부(190a, 190b)에 표시된 화면은 회전된 화면이 된다(S513). 즉, 홈 화면에 대해 회전 이벤트가 발생한 경우 회전된 홈 화면이 디스플레이부에 표시되고, 선택된 어플리케이션에 대해 회전 이벤트가 발생한 경우 회전된 어플리케이션이 디스플레이부에 표시된다.

도 6의 (2)는 감지된 외부 정보가 있더라도 디스플레이부의 화면을 전환시키지 않는 방법을 설명하는 흐름도이다.

도 6의 (2)를 참조하면, 하드웨어(HW) 장치의 회전에 의한 회전 이벤트가 발생한다(S521). 제어부(130)는 발생한 회전 이벤트를 차단한다(S522). 따라서, 하드웨어 장치의 회전이 있어도, 제1 및 제2 프레임 버퍼(171a, 171b)에 저장된 데이터는 유지되고 변화가 없다. 따라서, 디스플레이부에 표시되는 화면도 유지된다(S523).

소프트웨어를 이용하여 회전 이벤트가 발생한 경우에도 상술한 방법으로 디스플레이부에 표시되는 화면을 유지시킬 수 있다. 그러나, 소프트웨어적으로 회전 이벤트를 발생시키는 경우에는 회전 이벤트 자체를 발생시키지 않는 편이 더 간편하다.

도 6에서 설명한 바와 같이 회전 이벤트가 발생한 경우 디스플레이부에 표시되는 화면을 전환시킬 수도 있고, 유지시킬 수도 있다. 따라서, 제1 또는 제2 디스플레이부(190a, 190b)에 표시된 화면 전체를 전환 또는 유지시킬 수 있으며, 화면에 표시된 복수 개의 어플리케이션 중 각각의 어플리케이션을 선택하여 전환 또는 유지시킬 수도 있다.

도 7은 본 발명의 일 실시 예에 따른 화면 전환을 설명하는 도면이다.

도 7의 (1)은 화면 전체를 전환시키는 실시 예를 도시하였다. 도 7의 (1)에 도시된 바와 같이 초기 화면(21a)에는 'A'가 표시되어 있다. 사용자가 시계 방향으로 화면을 회전시키는 명령을 입력한다. 입력된 사용자의 명령에 대응하여 디스플레이부에 표시된 화면은 시계 방향으로 회전하여 180도 회전한 전환 화면(21b)이 표시된다.

도 7의 (1)에서는 사용자의 회전 명령이 입력된 경우를 하나의 예로써 설명하였다. 그러나, 화면의 전환은 사용자의 회전 명령에 대응되는 경우에 국한되는 것은 아니고, 멀티 디스플레이 장치(100)의 회전 상태 감지, 사용자의 위치 인식 등에 의해서도 가능하다.

도 7의 (2)는 화면에 표시된 복수의 어플리케이션 중 각각의 어플리케이션을 선택하여 전환시키는 예를 도시하였다. 도 7의 (2)에 도시된 바와 같이 초기화면에는 B(22a), C(23a), D(24a)의 어플리케이션이 표시되어 있다. 사용자가 B 어플리케이션(22a)은 시계 방향으로 90도 회전시키는 명령을 입력하고, D 어플리케이션(24a)은 반시계 방향으로 90도 회전시키는 명령을 입력한다. 입력된 사용자의 명령에 대응하여 디스플레이부에 표시 화면은 전환된다. 즉, B 어플리케이션(22b)은 시계 방향으로 90도 회전하여 표시되고, D 어플리케이션(24b)은 반시계 방향으로 90도 회전하여 표시된다. C 어플리케이션(23b)은 회전 명령을 입력받지 않았으므로 이전 상태를 유지한다.

도 7의 (2)에서도 각각의 어플리케이션의 회전은 사용자의 회전 명령이 입력된 예에 국한되는 것은 아니고, 멀티 디스플레이 장치(100)의 회전 상태 감지, 사용자의 위치 인식 등에 의해서도 가능하다. 다만, 멀티 디스플레이 장치(100)의 회전 상태 감지, 사용자의 위치 인식 등에 의해서 회전되는 경우에는 같은 방향으로 회전될 수 있다. 또는, 사용자가 특정 어플리케이션에 대해서 전환 금지 설정을 해 둠으로써, 특정 어플리케이션의 회전을 금지시킬 수 있다.

<화면 전환 방법에 관한 다양한 실시 예>

도 8 내지 도 9는 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 회전 상태 감지에 의한 화면 전환을 설명하는 도면이다.

도 8은 멀티 디스플레이 장치(100)의 회전 상태 감지에 의한 화면 전환 방법의 흐름도이다. 센서부(150a, 150b)는 멀티 디스플레이 장치(100)의 회전 상태를 감지한다(S810). 센서부(150a, 150b)는 회전 상태를 감지할 수 있는 회전 감지 센서를 포함할 수 있다. 센서부(150a, 150b)에 의해 감지된 회전 상태는 회전 이벤트를 발생시킨다.

제어부(130)는 멀티 디스플레이 장치(100)의 회전 상태에 따라 제1 화면 데이터 및 제2 화면 데이터를 조정하고, 조정된 각 화면 데이터를 제1 및 제2 프레임 버퍼(171a, 171b)에 저장시킨다(S820). 멀티 디스플레이 장치(100)의 회전 상태는 제1 바디(2)와 제2 바디(4)가 이루는 각도 변화를 포함한다. 예를 들어, 제1 바디(2)와 제2 바디(4)가 서로 거의 반대 방향을 향하도록 바깥쪽으로 거의 접힌 스탠딩 모드(Standing Mode)인 경우, 힌지부(185)와 접하지 않은 제1 바디(2)와 제2 바디(4)의 가장자리 영역이 화면의 아래쪽으로 향하도록 제1 및 제2 화면 데이터를 조정할 수 있다.

제어부(130)는 멀티 디스플레이 장치(100)의 회전 상태에 따라 제1 및 제2 디스플레이부(190a, 190b)의 화면을 개별적으로 전환시킨다(S830). 예를 들어, 스탠딩 모드인 경우, 제1 디스플레이부(190a)의 화면은 힌지부와 접하지 않은 제1 바디(2)의 가장자리 영역이 화면의 아래쪽이 되도록 표시된다. 제2 디스플레이부(190b)의 화면은 힌지부와 접하지 않은 제2 바디(4)의 가장자리 영역이 화면의 아래쪽이 되도록 표시된다. 제1 및 제2 디스플레이부(190a, 190b)의 화면을 개별적으로 전환시킨다는 의미는 제1 디스플레이부(190a) 화면과 제2 디스플레이부(190b)의 화면은 서로 영향을 주지 않고 각각 제어 가능하다는 의미이며, 반드시 별개로 제어되어야 한다는 것은 아니다. 경우에 따라서, 제1 및 제2 디스플레이부(190a, 190b)에 표시되는 화면이 연동되어 전환될 수도 있다.

도 9는 회전 상태 감지에 의한 화면 전환의 일 실시예를 도시하였다.

도 9의 (1)에 따르면, 제1 디스플레이부(190a)와 제2 디스플레이부(190b)는 힌지부(185)를 수직으로 하여 서로 다른 화면을 표시한다. 제1 및 제2 디스플레이부(190a, 190b)에 표시된 화면은 초기 화면인 홈(Home) 화면일 수도 있고, 각각 별개의 어플리케이션이 실행된 화면일 수도 있다.

멀티 디스플레이 장치(100)는 시계 방향으로 90도 회전한다. 회전 감지 센서는 멀티 디스플레이 장치(100)의 회전 상태를 감지하고 회전 이벤트를 발생시킨다. 제어부(130)는 감지된 회전 상태 및 회전 정보를 이용하여 제1 및 제2 프레임 버퍼(171a, 171b)의 제1 및 제2 화면 데이터를 조정한다. 조정된 제1 및 제2 화면 데이터는 제1 및 제2 디스플레이부(190a, 190b)에 출력된다.

도 9의 (2)에 따르면, 조정된 제1 및 제2 화면 데이터가 출력된 화면이 도시되어 있다. 즉, 멀티 디스플레이 장치(100)는 시계 방향으로 90도 회전하여 힌지부(185)를 중심으로 제1 디스플레이부(190a)는 상단에 위치하고, 제2 디스플레이부(190b)는 하단에 위치한다. 이에 따라, 제1 및 제2 디스플레이부(190a, 190b)에는 반시계 방향으로 90도 회전한 화면이 표시된다.

도 10은 본 발명의 일 실시 예에 따른 사용자 인식에 의한 화면 전환 방법의 흐름도이다.

도 10을 참조하면, 센서부(150a, 150b)는 사용자의 위치를 인식한다(S1010). 센서부(150a, 150b)는 사용자의 위치를 인식할 수 있는 사용자 인식 센서를 포함할 수 있다. 예를 들어, 사용자 인식 센서는 초음파 센서, 적외선 센서 등이 될 수 있다. 또한, 촬상부(140a, 140b)는 센서라고 할 수는 없지만, 사용자의 촬상 이미지를 이용하여 사용자의 위치를 파악하는 용도로 사용하는 범위에서는 사용자 인식 센서의 한 종류로 정의한다.

제어부(130)는 인식된 사용자의 위치에 따라 제1 화면 데이터 및 제2 화면 데이터를 조정하고, 조정된 각 화면 데이터를 제1 및 제2 프레임 버퍼(171a, 171b)에 저장시킨다(S1020). 즉, 인식된 사용자의 위치에서 정방향의 화면이 보일 수 있도록 제1 및 제2 화면 데이터를 조정한다. 예를 들어, 정방향의 화면이란 일반적인 영문 텍스트의 경우 사용자가 볼 때 문자가 뒤집히거나 옆으로 눕지 않은 상태로 보이면서 좌에서 우 순서로 배열되고, 한 행이 끝나면 아래 행으로 연결되는 방향을 의미한다. 이미지의 경우 사용자가 볼 때 상측부의 이미지가 화면 상측에 위치하고 하측부의 이미지가 화면 하측에 위치하는 방향을 의미한다.

제어부(130)는 인식된 사용자의 위치에 따라 제1 및 제2 디스플레이부(190a, 190b)의 화면을 개별적으로 전환시킨다(S1030). 상술한 바와 같이, 제1 및 제2 디스플레이부(190a, 190b)의 화면을 개별적으로 전환시킨다는 의미는 제1 디스플레이부(190a) 화면과 제2 디스플레이부(190b)의 화면은 서로 영향을 주지 않고 각각 제어 가능하다는 의미이며, 반드시 별개로 제어되어야 한다는 것은 아니다. 경우에 따라서, 제1 및 제2 디스플레이부(190a, 190b)에 표시되는 화면이 연동되어 전환될 수도 있다.

도 11은 본 발명의 일 실시 예에 따른 사용자 인식 센서를 이용하여 사용자의 위치를 인식하고 화면을 전환시키는 방법을 설명하는 도면이다.

도 11을 참조하면, 멀티 디스플레이 장치(100)는 제1 바디(2) 및 제2 바디(4)를 포함한다. 제1 바디(2)와 제2 바디(4)는 힌지부(185)에 의해 연결되어 있다. 제1 바디(2)의 끝단에는 제1 센서부(150a)가 배치되어 있고, 제2 바디(4)의 끝단에는 제2 센서부(150b)가 배치되어 있다. 제1 및 제2 센서부(150a, 150b)의 위치는 도 11에 도시된 위치에 한정되는 것은 아니고, 사용자의 위치를 검출할 수 있는 위치라면 어느 곳이든 배치될 수 있다.

제1 및 제2 센서부(150a, 150b)는 사용자의 위치를 검출할 수 있는 사용자 인식 센서를 포함할 수 있다. 예를 들어, 사용자 인식 센서는 적외선 센서, 초음파 센서 등이 될 수 있다. 상술한 바와 같이, 사용자의 촬상 이미지를 이용하여 사용자의 위치를 파악하는 용도로 사용하는 범위에서 촬상부도 사용자 인식 센서로 본다. 촬상부에 대해서는 후술하기로 한다.

적외선 센서는 종류에 따라 다양한 방식으로 사용자를 센싱할 수 있다. 적외선 센서의 예로서는 PIR 센서(Pyroelectric Infrared Ray Sensor)와 반사형 적외선 센서가 있다. PIR 센서는 인체에서 방출되는 적외선을 감지하여 사용자를 인식할 수 있다. 그리고, 반사형 적외선 센서는 발광부와 수광부를 구비하고, 발광부에서 출력된 적외선이 사용자에 의해 반사되면 반사된 적외선을 수광부에서 감지하여 사용자를 인식할 수 있다.

초음파 센서는 초음파를 출력하여 사용자에 의해 반사된 음파를 감지하여 사용자의 존재 여부를 감지할 수 있다.

도 11에서는 제1 사용자(7)가 제1 바디(2)의 끝단에 위치하고, 제2 사용자(8)는 제2 바디(4)의 끝단에 위치한다. 사용자 인식 센서를 포함하는 제1 및 제2 센서부(150a, 150b)는 각각 제1 및 제2 사용자(7, 8)를 감지할 수 있다. 사용자를 감지하면 제어부(130)는 회전 이벤트를 발생시키고 제1 및 제2 프레임 버퍼(171a, 171b)의 화면 데이터를 인식된 사용자의 위치에서 정방향의 화면이 보일 수 있도록 조정한다. 조정된 화면 데이터는 제1 및 제2 디스플레이부(190a, 190b)로 출력된다. 따라서, 멀티 디스플레이 장치(100)는 사용자의 위치를 인식하여 디스플레이부에 표시되는 화면을 전환시킬 수 있다.

도 12는 본 발명의 일 실시 예에 따른 촬상부를 이용하여 사용자의 위치를 인식하고 화면을 전환시키는 방법을 설명하는 도면이다.

도 12를 참조하면, 멀티 디스플레이 장치(100)의 제1 및 제2 바디(2, 4), 힌지부(185)의 구조는 도 10에서 설명한 바와 동일하다. 제1 및 제2 사용자(7, 8)는 각각 제1 및 제2 바디(2, 4)의 끝단에 위치한다.

사용자를 촬상할 촬상부(141, 142)는 디스플레이부(190a, 190b)와 동일한 면에 배치될 수 있다. 촬상부(141, 142)는 사용자의 위치를 확인하는 용도 뿐만 아니라 다양한 용도로 사용할 수 있으므로 이러한 점을 고려하여 배치될 수 있다. 촬상부의 배치와 관련된 실시 예들은 후술하기로 한다.

도 12에 도시된 바와 같이, 제1 촬상부(141)는 제1 바디(2) 방향에 있는 사용자를 촬상하고, 제2 촬상부(142)는 제2 바디(4) 방향에 있는 사용자를 촬상한다. 제어부(130)는 촬상부를 통해 촬상된 이미지를 이용하여 사용자의 위치를 감지할 수 있다. 예를 들어, 사람의 형태, 얼굴 윤곽 또는 눈, 코, 입 등과 같은 인식 객체에 대한 정보를 미리 저장해두고, 촬상된 이미지를 기 저장된 인식 객체와 매칭시켜 사용자의 존재 여부를 인식할 수 있다. 그리고, 인식된 사용자가 위치하는 방향을 화면의 아래 방향이 되도록 설정함으로써 디스플레이부에 표시되는 화면을 전환하기 위한 회전 정보를 얻을 수 있다. 구체적인 화면 전환 방법에 대해서는 상술하였으므로 생략한다.

따라서, 멀티 디스플레이 장치(100)는 촬상부를 이용하여 사용자의 위치를 감지하고, 감지된 사용자의 위치에 따라 제1 및 제2 디스플레이부(190a, 190b)의 화면을 전환시킬 수 있다.

도 13은 사용자 인식에 의한 화면 전환의 다양한 실시 예를 설명하는 도면이다.

도 13의 (1)을 참조하면, 제1 사용자(7)는 제1 디스플레이부(190a)의 힌지부와 접하지 않는 가장자리 영역에 위치한다. 제2 사용자(8)는 제2 디스플레이부(190b)의 힌지부와 접하지 않는 가장자리 영역에 위치한다. 따라서, 도 12의 (1)에 도시된 바와 같이 제1 디스플레이부(190a)의 화면은 제1 사용자(7)가 볼 때 정방향으로 전환되고, 제2 디스플레이부(190b)의 화면은 제2 사용자(8)가 볼 때 정방향으로 전환된다.

도 13의 (2)를 참조하면, 제1 사용자(7)는 제1 디스플레이부(190a)의 힌지부와 접한 일 측 가장자리 영역에 위치한다. 제2 사용자(8)는 제2 디스플레이부(190b)의 힌지부와 접하지 않는 가장자리 영역에 위치한다. 따라서, 도 12의 (2)에 도시된 바와 같이 제1 디스플레이부(190a)의 화면은 제1 사용자(7)가 볼 때 정방향으로 전환되고, 제2 디스플레이부(190b)의 화면은 제2 사용자(8)가 볼 때 정방향으로 전환된다.

도 13의 (3)을 참조하면, 멀티 디스플레이 장치(100)는 힌지부(185)가 수직한 방향으로 위치한다. 제1 사용자(7)는 제1 디스플레이부(190a)의 힌지부와 접한 일 측 가장자리 영역에 위치한다. 제2 사용자(8)는 제2 디스플레이부(190b)의 힌지부와 접한 일 측 가장자리 영역 중에서 제1 사용자(7)의 방향과 마주보는 방향에 위치한다. 따라서, 도 12의 (3)에 도시된 바와 같이 제1 디스플레이부(190a)의 화면은 제1 사용자(7)가 볼 때 정방향으로 전환되고, 제2 디스플레이부(190b)의 화면은 제2 사용자(8)가 볼 때 정방향으로 전환된다.

도 13의 (4)를 참조하면, 멀티 디스플레이 장치(100)는 힌지부(185)가 수직한 방향으로 위치한다. 제1 사용자(7)는 제1 디스플레이부(190a)의 힌지부와 접한 일 측 가장자리 영역에 위치한다. 제2 사용자(8)는 제2 디스플레이부(190b)의 힌지부와 접한 일 측 가장자리 영역 중에서 제1 사용자(7)의 방향과 같은 방향에 위치한다. 따라서, 도 12의 (4)에 도시된 바와 같이 제1 디스플레이부(190a)의 화면은 제1 사용자(7)가 볼 때 정방향으로 전환되고, 제2 디스플레이부(190b)의 화면은 제2 사용자(8)가 볼 때 정방향으로 전환된다.

사용자의 위치는 사용자 인식 센서를 이용하여 감지한다. 상술한 바와 같이, 사용자 인식 센서에는 적외선 센서, 초음파 센서 등이 있다. 또한, 사용자를 촬상하여 사용자의 위치를 인식하는 범위에서는 촬상부도 사용자 인식 센서의 한 범주로 볼 수 있다. 그러나, 촬상 이미지를 이용하여 화면을 전환하는 방법은 단순히 사용자의 위치를 인식하여 전환하는 방법만 있는 것은 아니다. 사용자의 공간상의 움직임을 촬상하고 공간 제스처를 인식하여 화면을 전환하는 방법도 가능하다. 이에 앞서, 촬상부의 배치와 관련된 다양한 실시 예에 대해서 설명하기로 한다.

도 14 내지 도 17은 본 발명의 다양한 실시 예에 따른 멀티 디스플레이 장치의 촬상부 배치 예를 설명하기 위한 도면이다.

도 14 내지 도 15는 멀티 디스플레이 장치(100)를 정면에서 바라본 모습이다. 촬상부의 배치를 설명하기 위한 도면이므로 촬상부 외의 다른 부분은 생략되었다.

먼저, 도 14를 참조하면 멀티 디스플레이 장치(100)는 제1 바디(2) 및 제2 바디(4)로 구성되며, 제1 바디(2)는 제1 디스플레이부(190a)를 포함하고, 제2 바디(4)는 제2 디스플레이부(190b)를 포함한다. 제1 바디(2) 및 제2 바디(4)는 힌지부(185)에 의해 연결되어 상대적으로 이동 가능하도록 구성된다. 제1 촬상부(141)는 제1 바디(2)의 가장자리 영역 중 상기 힌지부(185)의 맞은 편 가장자리 영역의 중앙부에 배치될 수 있다. 제2 촬상부(142)는 제2 바디(4)의 가장자리 영역 중 상기 힌지의 맞은 편 가장자리 영역의 중앙부에 배치될 수 있다.

다음으로, 도 15를 참조하여 촬상부의 배치를 설명하도록 한다. 설명의 편의를 위해 사용자가 멀티 디스플레이 장치(100)를 바라보는 방향을 기준으로 설명한다. 제1 촬상부(141')는 제1 바디(2) 좌측 가장자리 영역의 중앙면에 배치될 수 있고, 제2 촬상부(142')는 제2 바디(4) 좌측 가장자리 영역의 중앙면에 배치될 수 있다. 다른 실시 예로는 제1 및 제2 촬상부는 각각 제1 및 제2 바디(2, 4)의 우측 가장자리 영역의 중앙면에 배치될 수 있다. 또 다른 실시 예로는 제1 및 제2 촬상부는 각각 제1 및 제2 바디(2, 4)의 모서리 영역에 배치될 수 있다. 멀티 디스플레이 장치(100)는 가로 방향으로 사용 가능할 뿐만 아니라 세로 방향으로도 사용 가능하다.

제1 및 제2 촬상부(141', 142')가 제1 및 제2 바디(2, 4)의 좌측 또는 우측 가장자리 영역에 배치되는 경우, 사용자는 좌측 손 또는 우측 손은 공간 제스처를 이용하고, 반대 쪽 손은 터치 스크린을 터치하여 멀티 디스플레이 장치(100)에 명령을 입력하기에 편리하다.

도 16은 본 발명의 다른 실시 예에 따른 세 개의 촬상부가 구비된 멀티 디스플레이 장치를 도시한 도면이다.

도 16을 참조하면, 제1 촬상부(141)는 제1 바디(2)의 제1 디스플레이부(190a)가 배치된 면과 같은 면에 배치되고, 제2 촬상부(142)는 제2 바디(4)의 제2 디스플레이부(190b)가 배치된 면과 같은 면에 배치된다. 그리고, 제3 촬상부(146)는 제2 바디(4)의 제2 디스플레이부(190b)가 배치된 면의 반대면에 배치될 수 있다. 도 15에는 제1 및 제2 촬상부(141, 142)가 힌지부(185)의 맞은편 가장자리 영역의 중앙부에 배치된 멀티 디스플레이 장치(100)가 도시되어 있으나, 여기에 한정되지 않는다. 예를 들어, 제1 및 제2 바디(2, 4)의 가장자리 영역 중 어느 하나의 일 측 가장자리 영역의 중앙부 또는 힌지부(185)와 접하지 않는 모서리 영역에 각각 배치될 수 있다. 제3 촬상부(146)도 제2 바디(4)의 제2 디스플레이부(190b)가 배치된 반대면 일 측 모서리 영역에 배치가 한정되는 것은 아니고, 반대측 모서리 영역 또는 제2 바디(4)의 힌지와 접하지 않는 가장자리 영역 중앙부에 배치될 수 있다.

세 개 이상의 멀티 촬상부가 배치되는 경우, 디스플레이부(190a, 190b)가 배치된 면과 동일한 면에 배치된 두 개의 촬상부는 사용자의 위치 인식, 공간 제스처 인식을 위해 사용될 수 있고, 나머지 촬상부는 이미지 촬영, 동영상 촬영 등 다른 용도로 사용 가능하다.

도 17은 본 발명의 일 실시 예에 따른 회전이 가능한 촬상부가 구비된 멀티 디스플레이 장치를 도시한 도면이다.

도 17을 참조하면, 제1 촬상부(141)는 제1 바디(2)의 힌지부(185) 맞은편 가장자리 영역의 중앙부에 배치되고, 회전형 촬상부(149)는 제2 바디(4)의 힌지부(185) 맞은편 가장자리 영역의 중앙부에 배치된다. 그리고 회전형 촬상부(149)는 제2 바디(4)와 회전 가능한 힌지로 연결될 수 있다. 따라서, 회전형 촬상부(149)는 θ2 각도 범위 내에서 회전할 수 있다.

회전형 촬상부(149)의 회전 방법은 사용자가 직접 회전시키는 수동형이 될 수 있고, 기설정된 조건에 의해 기설정된 값으로 회전하는 자동형이 될 수 있다. 또는, 수동형과 자동형이 모두 가능한 구조가 될 수 있다. 회전형 촬상부(149)는 외부 영상을 촬영하기 위하여 제2 디스플레이부(190b)의 반대면으로 자동으로 회전하거나 수동으로 회전시킬 수 있고, 사용자의 위치 인식이나 공간 제스처 인식을 위해 제2 다스플레이부(190b)와 같은 면으로 자동으로 회전하거나 수동으로 회전시킬 수 있다.

도 14 내지 도 17은 촬상부의 개수 및 배치 위치에 따른 멀티 디스플레이 장치(100)를 도시하였다. 촬상부의 개수는 상술한 도면에 도시된 개수에 한정되는 것은 아니고, 또한, 촬상부의 배치 위치도 상술한 배치 위치에 한정되는 것은 아니다.

공간 제스처 인식에 의한 화면을 전환하는 구체적인 방법에 대해서 하술하기로 한다.

도 18은 본 발명의 일 실시 예에 따른 공간 제스처 인식에 의한 화면 전환 방법의 흐름도이다.

촬상부는 사용자의 제스처, 즉, 공간상의 움직임을 촬상한다. 제어부(130)는 촬상된 이미지를 이용하여 사용자의 제스처를 인식한다(S1810). 제어부(130)가 사용자 객체의 움직임을 검출하기 위해 최소 3 프레임(frame)의 이미지가 필요하다. 그러나, 움직이는 물체를 촬영하는 경우 형체가 흐릿하게 포착되는 블러링(blurring) 현상이 발생할 수 있으므로 적어도 5~6 프레임 이상의 이미지가 필요하다.

예를 들어, 하나의 사용자 객체가 좌에서 우로 움직인다. 제1 또는 제2 촬상부(141, 142)는 사용자 객체의 움직임을 몇 개의 이미지 프레임으로 포착한다. 멀티 디스플레이 장치(100)의 제어부(130)는 적어도 세 개의 이미지를 이용하여 사용자 객체의 형상 또는 움직임을 검출하고 제스처를 인식한다. 제스처를 인식하면 인식된 제스처에 대응되는 동작을 수행한다.

인식된 제스처가 기 설정된 화면 전환 명령에 대응되는 경우, 제어부는 제1 화면 데이터 및 제2 화면 데이터를 조정하고, 조정된 각 화면 데이터를 제1 및 제2 프레임 버퍼에 저장시킨다(S1820). 기 설정된 화면 전환 명령에 따라 제어부는 제1 및 제2 디스플레이부의 화면을 개별적으로 전환시킨다(S1830). 구체적인 과정은 상술하였으므로 생략하기로 한다.

도 19는 본 발명의 일 실시 예에 따른 제스처 인식 모드의 화면을 표시하는 도면이다.

도 19를 참조하면, 하나의 사용자 객체가 제1 촬상부(141)의 촬상 영역에서 움직인다. 제1 촬상부(141)는 제스처 인식을 위해 사용자 객체(51)의 움직임을 포착하지만, 제1 디스플레이부(190a)는 홈, 메뉴, 아이콘 등과 같은 일반적인 컨텐츠를 표시할 수 있다. 따라서, 사용자는 사용자 객체의 움직임에 대응되는 제1 디스플레이부(190a) 상의 위치를 인지하기 어렵기 때문에 사용자 객체의 움직임에 대응되는 포인터(12)를 표시해준다. 포인터(12)는 도시된 바와 같이 십자가 모양일 수 있고 화살표, 손모양 등 다양한 형상이 가능하다. 또는, 사용자가 임의의 모양으로 설정할 수 있다. 사용자 객체(51)가 좌에서 우로 움직이면 대응되는 포인터(12)도 좌에서 우로 움직임으로써 사용자는 제스처 동작을 직관적으로 인식할 수 있다.

도 19에서는 사용자 객체가 하나인 경우를 도시하였으나, 사용자 객체는 두 개 이상이 될 수 있다. 사용자 객체가 두 개 이상인 경우, 상기 포인터(12)는 사용자 객체의 개수에 대응하여 두 개 이상이 될 수 있다.

제2 디스플레이부(190b)의 화면을 전환시키기 위해 제2 촬상부(142)에서 사용자 객체의 움직임을 포착하는 과정이나 제2 디스플레이부(190b)에 표시되는 화면에 대해서도 동일하게 적용될 수 있다.

또한, 사용자가 제스처 인식 모드라는 것을 인지할 수 있도록 멀티 디스플레이 장치(100)는 제1 또는 제2 디스플레이부(190b)의 상태 표시창에 손 모양의 아이콘(13)을 표시할 수 있다. 상기 아이콘은 제스처 인식 모드라는 것을 인지할 수 있는 다른 모양의 아이콘이 될 수 있고, 아이콘이 아닌 '제스처' 또는 'G'라는 글자로 표시할 수 있다. 제1 및 제2 바디(2, 4)의 디스플레이부 이외에 영역에 발광 다이오드(Light Emitting Diode: LED)를 이용하여 표시할 수도 있다.

그리고, 터치 스크린을 구비한 멀티 디스플레이 장치(100)가 공간 제스처 인식 모드로 동작하는 경우에도 사용자는 공간 제스처 뿐만 아니라 터치 스크린을 터치하여 명령을 입력할 수 있다.

도 20은 본 발명의 일 실시 예에 따른 펜을 이용한 명령 입력 방법을 설명하는 도면이다.

도 20을 참조하면, 다른 실시 예로서 사용자 객체가 펜(49)인 경우를 도시하였다. 멀티 디스플레이 장치(100)에 제스처를 입력시키기 위한 수단은 사용자의 손 이외에 여러가지 수단이 가능하다. 펜(49)은 다른 기능이 없는 단순한 구조일 수 있고, 근접 센싱을 위해 코일이 포함된 구조일 수도 있으며, 다른 여러 가지 부가 기능이 포함된 구조일 수도 있다.

멀티 디스플레이 장치(100)는 사용자의 손이나 펜을 구분하지 않고 하나의 입력 수단으로 인식할 수 있다. 또는, 상술한 바와 같이 촬상부를 이용해서 펜의 형상을 인식하여 펜과 사용자의 손을 구분하여 인식할 수 있다.

사용자가 손을 이용하여 멀티 디스플레이 장치에 제스처를 인식시키다가 펜을 이용하여 제스처를 인식시킬 수 있으며 그 반대의 경우도 가능하다. 이 경우, 멀티 디스플레이 장치(100)는 입력 수단이 변경된 경우 디스플레이부에 입력 수단이 변경되어 새로 입력 수단을 인식한다는 알림을 표시할 수도 있다. 또는, 알림을 표시하지 않고, 디스플레이부에 표시되는 포인터 등과 같은 UI(User Interface) 객체의 모양 또는 색상 등을 변경하여 입력 수단이 변경된 것을 표시할 수도 있다. 또는, 어떠한 알림이나 변경없이 멀티 디스플레이 장치 내부적으로만 입력 수단이 변경되었음을 인지하고 있을 수도 있다.

멀티 디스플레이 장치(100)가 제스처를 인식하고 동작을 수행하는 방법은 도 18에서 설명한 바와 동일하다.

도 21 내지 도 22는 본 발명의 일 실시 예에 따른 복수의 사용자 객체를 이용한 명령 입력 방법을 설명하는 도면이다.

도 21에 도시된 바와 같이, 멀티 디스플레이 장치(100)는 사용자의 양 손을 사용자 객체로 인식하여 양 손의 움직임을 공간 제스처로 인식할 수 있다. 도 20을 참조하면, 두 개의 사용자 객체(51, 52)는 제2 촬상부(142)의 촬상 영역에서 일정하게 움직인다. 멀티 디스플레이 장치(100)는 포착된 두 개의 사용자 객체(51, 52)의 움직임을 검출하여 제스처를 인식하고 상기 제스처에 대응되는 동작을 수행한다.

예를 들어, 제2 디스플레이부(190b)에 복수의 어플리케이션이 실행 중인 경우, 어플리케이션을 두 개의 그룹으로 분류할 수 있다. 사용자는 분류된 두 개의 그룹 중 하나의 그룹에 대해서만 방향을 전환시킬 수 있다. 사용자는 기존 상태를 유지하려는 그룹에 대해서 한 손을 이용하여 홀드 제스처에 행하고, 방향을 전환시키려는 그룹에 대해서는 다른 손을 이용하여 화면 전환 제스처를 행할 수 있다. 제어부(130)는 복수의 사용자 객체에 대한 제스처를 인식하여 대응되는 명령을 수행할 수 있다. 따라서, 하나의 그룹에 대해서만 방향 전환이 가능하다. 그룹별로 전환하는 사용자 인터페이스(User Interface: UI) 화면의 실시 예에 대해서는 후술하기로 한다.

도 22를 참조하면, 하나의 사용자 객체는 사용자의 손(52)이고, 다른 하나는 펜(49)인 경우를 도시하였다. 복수의 사용자 객체를 사용하는 경우, 사용자 객체는 양 손이 될 수 있고, 펜과 사용자의 손이 될 수도 있으며, 두 개의 펜이 될 수도 있다.

지금까지, 사용자가 공간 제스처를 이용하여 멀티 디스플레이 장치(100)로 명령을 입력하는 방법에 대해서 설명하였다. 공간 제스처를 이용하여 디스플레이부의 표시 화면을 전환하는 방법에 대해서 하술하기로 한다.

도 23은 본 발명의 일 실시 예에 따른 공간 제스처를 이용한 화면 전환을 설명하는 도면이다.

도 23의 (1)을 참조하면, 멀티 디스플레이 장치(100)는 제1 디스플레이부(190a)와 제2 디스플레이부(190b)가 힌지부(185)를 중심으로 펼쳐진 상태로 놓여 있다. 제1 촬상부(141)는 제1 바디(2)의 가장자리 영역 중 힌지부(185)와 접하지 않는 일 측 가장자리 영역의 중앙부에 배치되어 있다. 제2 촬상부(142)는 제2 바디(4)의 가장자리 영역 중 힌지부(185)와 접하지 않는 일 측 가장자리 영역의 중앙부에 배치되어 있다. 제1 사용자는 제1 촬상부(141)가 배치된 방향에 있는 것으로 가정하고, 제2 사용자는 제2 촬상부(142)가 배치된 방향에 있는 것으로 가정한다.

제1 및 제2 디스플레이부(190a, 190b)는 제1 사용자가 볼 때 정방향의 화면을 표시하고 있다. 제1 및 제2 디스플레이부(190a, 190b)에 표시되는 화면은 동일한 화면일 수 있고, 각각 별개의 화면일 수 있다. 또한, 멀티 디스플레이 장치(100)의 초기 화면인 홈 화면일 수 있고, 특정 어플리케이션이 실행된 화면일 수 있다.

제1 사용자는 손바닥을 아래로 한 제1 사용자 객체(51)를 x축 방향으로 이동시킨다. 제2 사용자는 손바닥을 아래로 한 제2 사용자 객체(55)를 y축 방향으로 이동시킨다. 제1 촬상부(141)는 제1 사용자 객체(51)의 움직임을 촬상하고, 제2 촬상부(142)는 제2 사용자 객체(55)의 움직임을 촬상한다. 제어부는 촬상된 제1 및 제2 사용자 객체(51, 55)의 이미지를 이용하여 사용자 제스처를 인식한다. 도 23에서는 손을 펴고 손바닥을 아래로 하여 일정 방향으로 움직이는 동작이 화면 전환에 대응되는 제스처라고 가정한다. 따라서, 제어부(130)는 제1 사용자 객체(51)의 움직임을 x축 방향으로 화면을 전환시키는 명령으로 인식한다. 제2 사용자 객체(55)의 움직임을 y축 방향으로 화면을 전환시키는 명령으로 인식한다.

도23의 (2)를 참조하면, 제1 디스플레이부(190a)는 x축 방향으로 전환된 화면을 표시하고, 제2 디스플레이부(190b)는 y축 방향으로 전환된 화면을 표시한다. 즉, 제어부(130)는 인식된 명령에 대응하여 제1 및 제2 화면 데이터를 조정한다. 조정된 각 화면 데이터를 제1 및 제2 프레임 버퍼(171a, 171b)에 저장시키고, 저장된 제1 및 제2 화면 데이터를 각각 제1 및 제2 디스플레이부(190a, 190b)로 출력시킨다.

화면 전환 명령에 대응되는 공간 제스처는 다양한 사용자 객체의 움직임으로 설정될 수 있다. 예를 들어, 손을 펴고 손바닥을 아래로 하여 일정한 직선 방향으로 움직이는 동작이 대응될 수 있다. 손가락 하나를 이용하여 일정한 직선 방향으로 움직이는 동작이 대응될 수 있다. 손가락 하나를 이용하여 일정 방향으로 회전시키는 동작이 대응될 수 있다. 손가락 두 개를 이용하여 두 개의 손가락을 동일한 방향으로 회전시키는 동작이 대응될 수 있다. 상술한 동작은 화면 전환 명령에 대응되는 공간 제스처의 일 실시 예이며, 다른 동작이 대응될 수도 있다.

또한, 화면 전환 명령에 대응되는 공간 제스처가 터치 제스처와 동일하게 설정되는 경우 사용자가 편리하게 사용할 수 있다. 경우에 따라, 사용자가 화면 전환 명령에 대응되는 고유의 제스처를 설정하여 사용할 수 있도록 멀티 디스플레이 장치(100)는 제스처 셋 설정 메뉴를 포함할 수 있다.

공간 제스처는 촬상된 이미지를 이용하는 경우 이외에도 근접 센서를 이용하여 인식될 수 있다.

도 24 내지 도 25는 근접 터치를 감지하는 방법을 설명하기 위한 도면이다.

도 24는 본 발명의 일 실시 예에 따른 근접 터치를 설명하기 위한 도면이다.

사용자는 근접 센서를 이용한 근접 터치 방식으로 멀티 디스플레이 장치(100)에 제어 명령을 입력시킬 수 있다. 근접 터치는 터치 스크린을 직접 터치하지 않고 공간상의 일정한 유효 인식 범위에서 움직임이 인식되는 경우 하나의 터치 제스처로 인식하는 것을 의미한다.

도 24를 참조하면, 디스플레이부는 디스플레이 패널(290) 및 근접 터치 인식을 위한 적외선 소스부(291) 및 적외선 센싱부(292)를 포함한다. 적외선 소스부(291)는 디스플레이부의 표면 방향으로 적외선을 조사한다. 구체적으로, 적외선 소스부(291)는 영상 또는 이미지를 표시하는 디스플레이부의 하부에 배치되며, 적외선을 디스플레이부의 표면 방향으로 조사할 수 있다. 디스플레이부의 표면 위로 사용자 객체(50)의 접근을 인식할 수 있는 일정한 영역이 존재한다. 이 영역이 근접 터치를 인식할 수 있는 유효 인식 영역(5)이다.

사용자 객체의 의미는 멀티 디스플레이 장치(100)에 명령을 입력하기 위한 수단을 의미하는 것으로써, 예를 들어, 손과 같은 신체의 일부가 될 수 있다.

사용자 객체(50)가 유효 인식 영역(5) 안으로 근접하면 적외선 센싱부(292)는 사용자 객체(50)의 근접에 의하여 반사되는 적외선을 감지하여 적외선 스캔 이미지를 생성한다. 구체적으로 적외선 센싱부(292)는 어레이 형태로 배치되는 복수의 적외선 센싱 소자를 이용하여, 사용자 객체(50)의 접근에 의하여 반사되는 적외선에 대응되는 적외선 스캔 이미지를 생성할 수 있다. 멀티 디스플레이 장치(100)는 생성된 적외선 스캔 이미지를 이용하여 근접 터치 입력을 감지할 수 있다.

도 25는 다른 방식에 따른 근접 터치를 감지하는 방법을 설명하기 위한 도면이다. 사용자는 특정한 펜을 이용한 근접 터치 방식으로 멀티 디스플레이 장치(100)에 제어 명령을 입력시킬 수 있다.

도 25를 참조하면, 도 23에서 설명한 디스플레이 패널(290a)과 근접 센서 소스부(291a) 및 센싱부(292a)를 포함한다. 특정한 펜을 이용하여 근접 터치를 인식하기 위해서 펜(49)은 코일을 포함할 수 있다. 그리고, 디스플레이부는 정전기 센서부(293)를 포함한다. 정전기 센서부(293)는 수 개의 코일을 포함할 수 있다.

코일을 포함한 펜(49)이 일정 거리(5a) 이내로 근접하면 정전기 유도 현상에 의해 정전기 센서부(293)의 코일에 전류가 유도된다. 전류는 펜(49)와 가까운 코일에 가장 크게 유도되고, 펜(49)과 거리가 멀어질수록 점점 작게 유도된다. 따라서, 제어부는 가장 크게 전류가 유도되는 지점이 펜(49)이 위치한 지점으로 인식하게 된다.

도 25에 도시된 디스플레이부는 적외선 센싱부(292a)를 포함하고 있으므로 펜(49)이 일정 거리 이내로 근접하는 경우 적외선 센싱부(292a) 및 정전기 센서부(293) 모두에서 펜(49)의 근접이 인식될 수 있다. 따라서, 정전기 센서부(293)의 근접 인식을 우선 순위로 하여 이중 인식이 되는 문제를 해결할 수 있다.

도 26은 본 발명의 일 실시 예에 따른 터치 제스처에 의한 화면 전환 방법의 흐름도이다.

터치 스크린의 터치 센서는 사용자의 터치 제스처를 입력받는다(S2610). 화면 전환 명령에 대응되는 터치 제스처는 공간 제스처와 동일하게 설정될 수 있다. 즉, 손을 펴고 손바닥을 아래로 하여 일정한 직선 방향으로 움직이는 동작이 대응될 수 있다. 손가락 하나를 이용하여 일정한 직선 방향으로 움직이는 동작이 대응될 수 있다. 손가락 하나를 이용하여 일정 방향으로 회전시키는 동작이 대응될 수 있다. 손가락 두 개를 이용하여 두 개의 손가락을 동일한 방향으로 회전시키는 동작이 대응될 수 있다. 상술한 동작은 화면 전환 명령에 대응되는 제스처의 일 실시 예이며, 다른 동작이 대응될 수도 있다.

제어부(130)는 입력된 터치 제스처가 기 설정된 화면 전환 명령에 대응되는지 판단한다. 화면 전환 명령에 대응되면 제1 및 제2 화면 데이터를 조정하고, 조정된 각 화면 데이터를 제1 및 제2 프레임 버퍼에 저장시킨다(S2620). 기 설정된 화면 전환 명령에 따라 제어부는 제1 및 제2 디스플레이부의 화면을 개별적으로 전환시킨다(S2630).

화면 전환의 구체적인 실시 예에 대해서 설명하기로 한다.

도 27 내지 도 29는 제스처에 의한 화면 전환의 다양한 실시 예를 설명하는 도면이다.

도 27은 디스플레이부에 표시되는 전체 화면을 전환시키는 실시 예를 도시한 도면이다. 도 27의 (1)을 참조하면, 멀티 디스플레이 장치(100)는 힌지부(185)를 중심으로 펼쳐진 상태로 놓여 있다. 사용자는 도 26에서 도시된 멀티 디스플레이 장치(100)의 아래쪽 힌지부(185) 방향에 있다고 가정한다. 제1 및 제2 디스플레이부(190a, 190b)는 사용자가 볼 때 정방향의 화면을 표시하고 있다. 제1 및 제2 디스플레이부(190a, 190b)에 표시되는 화면은 동일한 화면일 수 있고, 각각 별개의 화면일 수 있다. 또한, 멀티 디스플레이 장치(100)의 초기 화면인 홈 화면일 수 있고, 특정 어플리케이션이 실행된 화면일 수 있다.

사용자가 제2 디스플레이부(190b)에 표시된 화면을 전환시키기 위해서 사용자 객체를 좌측에서 우측으로 일정한 직선 방향으로 이동시킨다. 하는 화면 전환 제스처(31a)를 행한다. 상술한 바와 같이 화면 전환 제스처는 도면에 도시된 동작에 한정되는 것은 아니며, 다양한 동작이 화면 전환 제스처로 설정될 수 있다.

도 27의 (2)를 참조하면, 제1 디스플레이부(190a)는 어떤 명령도 입력되지 않았으므로 기존의 화면이 그대로 유지된다. 제2 디스플레이부(190b)는 사용자가 우측으로 회전시키는 화면 전환 제스처(31a)에 대응하여 우측 방향으로 회전된 화면이 표시된다. 이와 같이, 제1 및 제2 디스플레이부(190b)에 표시된 화면이 홈 화면이라도 제2 디스플레이부(190b)의 화면은 제1 디스플레이부(190a)와 개별적으로 제어될 수 있다. 사용자는 도 27의 (2)에 도시된 표시 화면에서 제2 디스플레이부(190b)에 표시된 화면을 다시 전환시킬 수 있으며, 제1 디스플레이부(190a)에 표시된 화면을 개별적으로 전환시킬 수도 있다.

도 28은 하나의 화면에 표시된 복수의 어플리케이션을 각각 전환시키는 방법을 설명하는 도면이다.

도 28의 (1)을 참조하면, 하나의 화면에 A(26), B(27a), C(28a), D(29) 어플리케이션이 표시되어 있다. A(26), B(27a), C(28a), D(29) 어플리케이션은 실행되고 있는 실행 창일 수도 있고, 실행 전인 아이콘 상태일 수도 있다. 하나의 화면에 표시된 복수의 어플리케이션도 개별적으로 제어될 수 있다. 사용자는 B 어플리케이션(27a)를 시계 방향으로 회전시키는 화면 전환 제스처(34a) 동작을 한다.

도 28의 (2)를 참조하면, 사용자의 화면 전환 제스처(34a) 동작에 대응되는 화면이 도시되어 있다. 즉, 명령이 입력되지 않은 A(26), C(28a), D(29) 어플리케이션은 기존의 상태가 유지된다. 그러나, 화면 전환 명령이 입력된 B 어플리케이션(27b)은 시계 방향으로 90도 회전되어 화면에 표시된다.

이 상태에서, 사용자는 다시 어플리케이션을 개별적으로 전환시킬 수 있다. 이번에는 C 어플리케이션(28a)을 반시계 방향으로 회전시키는 화면 전환 제스처(34b) 동작을 한다.

도 28의 (3)을 참조하면, 사용자의 두번째 화면 전환 제스처(34b) 동작에 대응되는 화면이 도시되어 있다. 지금까지 어떤 명령도 입력되지 않은 A(26), D(29) 어플리케이션은 기존의 상태가 유지된다. 시계 방향으로 회전시키는 화면 전환 제스처(34a)가 한 번 입력된 B 어플리케이션(27b)은 시계 방향으로 90도 회전된 상태로 화면에 표시된다. 반시계 방향으로 회전시키는 화면 전환 제스처(34b)가 입력된 C 어플리케이션(28b)은 반시계 방향으로 90도 회전된 상태로 화면에 표시된다.

도 29는 하나의 화면에 표시된 복수의 어플리케이션을 복수의 그룹으로 설정하여 그룹별로 전환시키는 방법을 설명하는 도면이다.

도 29의 (1)에 도시된 바와 같이 하나의 화면에는 A(26a), B(27), C(28), D(29) 어플리케이션이 표시될 수 있다. A(26a), B(27), C(28), D(29) 어플리케이션은 실행되고 있는 실행 창일 수도 있고, 실행 전인 아이콘 상태일 수도 있다. 멀티 디스플레이 장치(100)는 하나의 화면에 표시된 복수의 어플리케이션을 그룹으로 나누고 각 그룹을 개별적으로 제어할 수 있다.

사용자는 하나의 사용자 객체를 이용하여 홀딩(holding) 제스처(32) 동작을 한다. 홀딩 제스처(32)는 손가락으로 화면을 누르는 동작으로 설정될 수 있다. 홀딩 제스처(32)는 선택 영역을 붙잡고 있는 명령을 수행하는 동작이다. 사용자가 특정 어플리케이션이 아닌 부분에 대해 홀딩 제스처(32) 동작을 하면 제어부(130)는 연관성이 있는 영역 전체를 선택한 것으로 판단한다.

예를 들어, 제어부(130)는 하나의 화면 전체를 2등분, 4등분 등 일정 영역으로 분할한다. 사용자의 홀딩 제스처가 특정 어플리케이션을 선택하는 것이 아니라고 판단하면, 해당 영역 전체에 존재하는 어플리케이션이 전부 선택되어 홀딩되도록 제어할 수 있다. 또는, 어플리케이션들의 배치 상태, 어플리케이션들의 상대적 크기 등을 이용하여 각 영역을 설정할 수 있다. 또는, 사용자의 선택에 의해 임의로 각 영역을 설정할 수도 있다.

각 영역이 설정되면 동일한 영역에 위치한 어플리케이션들은 동일한 그룹으로 분류될 수 있다. 동일한 그룹으로 분류된 어플리케이션들이 선택되는 경우, 사용자가 동일 그룹임을 인식할 수 있는 표시를 화면 상에 출력할 수 있다. 예를 들어, 동일 그룹임을 인식할 수 있는 표시 방법은 해당 어플리케이션을 전부 포함하는 테두리를 표시하는 방법, 해당 어플리케이션을 동일한 색으로 반전시키는 방법, 해당 어플리케이션 각각의 테두리를 동일 색상 또는 굵기로 표시하는 방법 등이 있다.

도 29의 (1)을 참조하면, 사용자의 홀딩 제스처(32)에 대응하여 B(27), C(28), D(29) 어플리케이션은 하나의 그룹을 형성한다. 하나의 그룹이라는 것을 표시하기 위해 제어부(130)는 B(27), C(28), D(29) 어플리케이션을 포함하는 하나의 테두리(14)를 표시할 수 있다. 사용자는 A 어플리케이션(26a)에 대하여 화면 전환 제스처(31b) 동작을 한다.

도 29의 (2)를 참조하면, 홀딩된 B(27), C(28), D(29) 어플리케이션은 기존의 상태를 유지하여 화면에 표시된다. 화면 전환 명령이 입력된 A 어플리케이션(26b)은 180도 전환된 형태로 화면에 표시된다.

도 27 내지 도 28에서는 제1 및 제2 디스플레이부(190a, 190b) 각각에 표시된 전체 화면을 개별적으로 전환시키는 방법, 하나의 화면에 표시된 복수의 어플리케이션 각각을 개별적으로 전환시키는 방법에 대해서 설명하였다. 도 29에서는 하나의 화면에 표시된 복수의 어플리케이션을 그룹화하여 그룹별로 전환시키는 방법에 대해서 설명하였다. 그러나, 멀티 디스플레이 장치(100)는 제1 및 제2 디스플레이부(190a, 190b)에 표시된 화면을 연동시켜 전환할 수도 있다.

도 30은 본 발명의 일 실시 예에 따른 제1 및 제2 디스플레이부의 표시 화면이 연동되어 전환되는 것을 설명하는 도면이다.

도 30의 (1)에는 제1 디스플레이부(190a)는 A, B, C, D 어플리케이션이 표시되어 있다. 제2 디스플레이부(190b)에도 제1 디스플레이부(190a)에 표시된 내용과 동일한 화면이 표시되어 있다. A, B, C, D는 개별 어플리케이션일 수도 있고, 하나의 어플리케이션에 포함되어 표시되는 복수의 객체일 수도 있다.

사용자는 제1 디스플레이부(190a)에 표시된 C 어플리케이션(28a)에 대해서만 화면 전환 제스처(28a) 동작을 한다.

도 30의 (2)에는 사용자의 화면 전환 제스처(28a) 동작에 대응되어 변환된 화면을 도시하였다. 도 30의 (2)를 참조하면, 제1 디스플레이부(190a)의 C 어플리케이션(28b)은 사용자의 화면 전환 명령에 대응하여 시계 방향으로 90도 회전되어 표시된다. 또한, 제2 디스플레이부(190b)의 C 어플리케이션(28c)도 제1 디스플레이부(190a)에 표시된 C 어플리케이션(28b)에 연동되어 시계 방향으로 90도 회전되어 표시된다.

제1 디스플레이부(190a)에 표시되는 화면과 제2 디스플레이부(190b)에 표시되는 화면이 동일한 내용인 경우, 제어부(130)는 제2 디스플레이부(190b)에 표시할 제2 화면 데이터를 제1 화면 데이터와 동일한 데이터로 제2 프레임 버퍼(171b)에 저장할 수 있다. 따라서, 사용자의 화면 전환 명령에 대응하여 제1 화면 데이터를 조정하는 경우, 조정된 데이터를 제1 및 제2 프레임 버퍼(171b)에 각각 저장하여 출력함으로써 제1 및 제2 디스플레이부(190a, 190b)의 화면을 연동시켜 출력시킬 수 있다.

< 힌지 각도에 따른 다양한 실시 예>

멀티 디스플레이 장치(100)는 물리적 혹은 그래픽적으로 분리되는 제1 디스플레이부(190a)과 제2 디스플레이부(190b)로 구성된 디스플레이 장치를 구비하고, 두 개의 디스플레이부(190a, 190b)을 활용하여 하기 도 31 내지 도 37과 같은 다양한 스크린 모드(Screen Mode)를 지원할 수 있다.

도 31은 멀티 디스플레이 장치의 싱글 모드를 도시한 도면이다.

멀티 디스플레이 장치(100)의 제1 바디(2)와 제2 바디(4) 사이의 상대 각도에 따라 다양한 모드가 사용될 수 있다. 상대 각도(θ)는 제1 바디(2)에 대해 소정 방향(일 예로 반시계 방향)으로 회전된 제2 바디(4)의 회전각도이다. 구체적으로, 상대 각도(θ)는 힌지부(185) 자체에 내장된 힌지 센서를 이용하여 검출될 수 있다. 힌지 센서는 홀 센서, 압력 센서, 유도 검출 센서, 전기 컨텍트 센서 및 광학 센서 중 어느 하나로 이루어져 힌지의 움직임 및 상대적인 위치를 검출하여 인식될 수 있다. 또한, 상대 각도(θ)는 힌지 센서 이외에도 지자기 센서, 가속도 센서로 제1 및 제2 바디(2, 4) 각각의 위치를 검출하여 인식될 수 있다.

도 31은 멀티 디스플레이 장치(100)가 접혀진 상태를 나타내는 사시도이다. 도 31에 도시된 바와 같이 제1 바디(2)와 제2 바디(4)상의 제1 및 제2 디스플레이부들(190a, 190b)가 각각 서로 대향하고 있는 상태로, 제1 바디(2)와 제2 바디(4)가 맞닿아 있다. 즉, 제1 디스플레이부(190a)의 반대쪽에 제2 디스플레이부(190b)가 위치하게 된다. 사용자가 제1 디스플레이부(190a)를 보면 제2 디스플레이부(190b)는 반대쪽에 위치하게 되므로 사용자는 직접 볼 수가 없다. 이렇게 사용자는 하나의 디스플레이부만을 볼 수 있다. 이때의 상대 각도(θ)는 0도로 정의한다. 도 31에 도시된 바와 같이 접혀진 상태를 싱글 모드(Single Mode)로 명명할 수 있다. 일 예로서 제1 및 제2 바디(2,4) 간의 상대 각도가 0도 내지 60도 사이일 때 멀티 디스플레이 장치는 싱글 모드로 인지한다. 싱글 모드는 멀티 디스플레이 장치(100)가 사용되지 않는 잠금 상태일 때 및 통화(call) 어플리케이션에서 유용하게 사용될 수 있다. 싱글 모드에서는 전면의 제1 디스플레이부(190a)가 적어도 하나의 어플리케이션에 의한 작업 화면을 표시하며, 후면의 제2 디스플레이부(190b)는 턴-오프 될 수 있다. 일부 어플리케이션은 옵션 메뉴를 사용하여 후면의 제2 디스플레이부(190b)를 턴-온 할 수 있다.

도 32 내지 도 33은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 툴 킷 모드에서 화면 전환을 설명하는 도면이다.

도 32는 제1 바디(2)에 대한 제2 바디(4)의 상대 각도(θ)가 180도를 초과하는 상태, 즉 두 디스플레이부(190a, 190b)가 안쪽으로 약간 접힌 상태를 도시 한다. 본 명세서에서는 이러한 상태를 툴 킷 모드(Tool Kit Mode)라 칭한다. 일 예로서 제1 및 제2 바디(2,4) 간의 상대 각도가 185도 내지 265도 사이인 경우 툴 킷 모드로 인지한다. 툴 킷 모드는 두 디스플레이부(190a, 190b)가 안쪽을 향하도록 약간 접힌 상태로서 멀티 디스플레이 장치(100)가 노트북과 유사한 형태로 사용될 때 유용하다. 일 예로, 어느 하나의 디스플레이부(190a)에 작업 화면을 표시하고, 다른 하나의 디스플레이부(190b)에는 키보드 등의 툴(Tool)을 표시하는 등 다양한 작업 환경을 제공할 수 있다.

도 33은 툴 킷 모드에서 화면을 전환하는 일 실시 예를 도시하였다.

도 33의 (1)을 참조하면, 제1 디스플레이부(190a)는 복수의 섬네일(thumbnail) 이미지를 표시한다. 제2 디스플레이부(190b)는 제1 디스플레이부(190a)에 표시된 복수의 섬네일 이미지 중 선택된 하나의 이미지가 전체 화면으로 표시할 수 있다. 일반적으로, 촬상 장치로 촬상을 하는 경우 피사체나 촬상 구도에 따라 가로 또는 세로로 촬상을 한다. 가로로 촬상한 이미지는 멀티 디스플레이 장치(100)에서 정방향으로 표시된다. 그러나, 세로로 촬상한 이미지는 멀티 디스플레이 장치(100)에서 좌측 또는 우측으로 회전된 상태로 표시되기 때문에 사용자가 촬상 이미지를 확인하거나 편집을 할 때 불편한 점이 있다.

도 33의 (1)을 참조하면, 사용자는 제1 디스플레이부(190a)에 표시된 복수의 섬네일 이미지 중 세로로 촬상된 이미지(41)을 선택하여 제2 디스플레이부(190b)에 전체 이미지(42a)로 표시하도록 한다. 제2 디스플레이부(190b)에 표시된 전체 이미지(42a)는 반시계 방향으로 90도 회전된 상태이므로 사용자는 시계 방향으로 90도 회전시키는 화면 전환 제스처(34a) 동작을 한다.

도 33의 (2)를 참조하면, 제어부(130)는 사용자의 화면 전환 명령에 대응하여 제2 디스플레이부(190b)에 표시된 전체 이미지(42b)를 시계 방향으로 90도 회전시킨다.

도 34 내지 도 35는 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 익스펜딩 모드에서 화면 전환을 설명하는 도면이다.

도 34는 제1 바디(2)와 제2 바디(4)가 나란히 평행한 상태로서 상대 각도(θ)가 180도 혹은 소정 범위 내에서 180도에 근접한 상태, 즉 펼친(unfolded) 상태를 도시한 것으로서, 익스펜딩 모드(Expanding Mode)라고 칭한다. 일 예로서, 제1 및 제2 바디(2,4) 간의 상대 각도가 175도-185도의 범위에 있을 때 멀티 디스플레이 장치(100)는 제1 및 제2 바디(2,4)가 펼쳐져 있는 것으로 간주할 수 있다. 익스펜딩 모드는 두 개의 어플리케이션에 대한 두 개의 작업 화면을 두 개의 디스플레이부(109a, 190b)에 각각 표시하거나, 하나의 어플리케이션에 대한 두 개의 작업 화면을 두 개의 디스플레이부(190a, 190b) 각각에 표시하거나, 혹은 하나의 어플리케이션에 대한 하나의 작업 화면을 두 개의 디스플레이부(190a, 190b)에 걸쳐서 넓게 표시하는 등의 다양한 뷰 모드(View Mode)를 제공할 수 있다. 어느 하나의 디스플레이부 내에서 실행되는 어플리케이션이 존재하지 않는 경우, 해당 디스플레이부는 홈 화면을 표시할 수 있다. 익스펜딩 모드는 E-book 및 동영상 플레이어 어플리케이션에서 유용하게 사용될 수 있다.

도 35는 익스펜딩 모드에서 화면을 전환하는 일 실시 예를 도시하였다.

도 35의 (1)을 참조하면, 멀티 디스플레이 장치(100)를 사이에 두고, 제1 및 제2 사용자(7, 8)가 마주보고 있다. 제1 및 제2 디스플레이부(190a, 190b)에는 제1 사용자가 볼 때 정방향 화면이 표시되어 있다. 제2 사용자(8)가 제2 디스플레이부(190b) 상에서 화면 전환 제스처(31c) 동작을 한다. 도 35의 (1)에서는 제2 디스플레이부(190b)에 표시된 화면이 제2 사용자(8)가 볼 때 정방향이 되도록 하는 방향으로 화면 전환 제스처(31c) 동작을 하는 도면이 도시되어 있다. 그러나, 화면 전환은 제2 디스플레이부(190b)의 사면 중 어느 하나 면의 방향으로 전환시킬 수 있다. 제어부(130)는 화면을 90도 회전시켜 표시하는 경우 해상도에 맞춰 변환된 화면으로 표시할 수도 있다.

도 35의 (2)를 참조하면, 제2 사용자의 화면 전환 명령에 대응하여 제2 디스플레이부(190b)의 화면이 180도 회전되어 표시된다. 제1 및 제2 디스플레이부(190a, 190b)에 표시되는 화면은 동일한 화면일 수 있고, 서로 연관된 다른 내용을 포함하는 화면일 수 있다.

예를 들어, 학습 모드로 사용하는 경우, 제1 사용자(7)는 교사일 수 있고, 제2 사용자(8)는 학생일 수 있다. 따라서, 동일한 학습 컨텐츠가 제1 및 제2 디스플레이부(190a, 190b)에 표시될 수 있다. 또는, 동일한 주제에 관한 교사용 컨텐츠와 학생용 컨텐츠를 표시하는 경우, 제1 디스플레이부(190a)는 교사용 컨텐츠를 표시하고, 제2 디스플레이부(190b)는 학생용 컨텐츠를 표시할 수 있다. 안내 모드로 사용하는 경우, 제1 사용자(7)는 서비스 공급자일 수 있고, 제2 사용자는 고객일 수 있다. 이 경우, 제1 및 제2 디스플레이부(190a, 190b)에 계약서, 안내문, 검사 자료 등을 표시하고, 제1 사용자(7)가 제2 사용자(8)에게 내용에 대해 설명할 수 있다.

몇 가지 실시 예에 대해서 설명하였으나, 상술한 실시 예에 한정되는 것은 아니다.

도 36은 멀티 디스플레이 장치의 스탠딩 모드를 도시한 도면이다.

도 36은 제1 바디(2)에 대한 제2 바디(4)의 상대 각도(θ)가 180도 미만인 상태, 즉 두 디스플레이부(190a, 190b)가 서로 거의 반대방향을 향하도록 바깥쪽으로 거의 접힌 상태를 도시한 것이다. 본 명세서에서는 이러한 상태를 스탠딩 모드(Standing Mode)라 칭한다. 일 예로서 제1 및 제2 바디(2,4) 간의 상대 각도가 30도 내지 90도 사이인 경우, 멀티 디스플레이 장치(100)는 스탠딩 모드로 인지한다. 스탠딩 모드는 두 디스플레이부(190a, 190b)가 바깥쪽을 향하도록 접힌 구조로서, 멀티 디스플레이 장치(100)를 바닥에 삼각형 모양으로 세워 놓을 수 있어서, 충전 시, 멀티 디스플레이 장치(100)를 디지털 시계 혹은 액자로 사용시, 개인 방송, 영화, 동영상 등을 장시간 시청시에 유용하게 사용될 수 있다.

다른 실시 예로서 스탠딩 모드는 2명 이상의 사용자에 의한 협력 혹은 상호작용을 필요로 하는 어플리케이션, 일 예로 화상 회의, 협업 게임(Collaborative Game) 등에 적용될 수 있다. 일부 어플리케이션은 스탠딩 모드에서 전면의 제1 디스플레이부(190a)에만 작업 화면을 표시하며, 후면의 제2 디스플레이부(190b)를 턴-오프 할 수 있다. 일부 어플리케이션은 옵션 메뉴를 사용하여 후면 제2 디스플레이부(190b)를 턴-온 할 수 있다.

스탠딩 모드의 구체적인 실시 예는 익스펜딩 모드의 실시 예와 유사하게 실시할 수 있다.

도 37은 멀티 디스플레이 장치의 다른 스탠딩 모드를 도시한 도면이다.

도 37은 스탠딩 모드의 다른 실시 예로서, 힌지의 일부분이 바닥에 닿도록 멀티 디스플레이 장치(100)를 세워 둔 상태를 도시 하고 있다. 본 명세서에서는 이러한 상태를 세로보기 모드라 칭한다. 세로보기 모드는 제1 및 제2 바디(2, 4) 간의 상대각도가 30도 내지 90도 사이이고, 가속도 센서에 의해 멀티 디스플레이 장치(100)가 세로로 세워져 있다고 판단되는 경우, 세로보기 모드로 인지한다.

구체적으로, 가속도 센서는 멀티 디스플레이 장치의 회전을 감지한다. 가속도 센서는 멀티 디스플레이 장치(100)의 제1 및 제2 디스플레이부(190a, 190b)가 좌우측에 배치되는 세로보기 모드와 제1 및 제2 디스플레이부(190a, 190b)가 상하측에 배치되는 가로보기 모드 간의 전환을 감지한다.

세로보기 모드는 2명 이상의 사용자에게 각각 다른 영상을 제공할 필요가 있는 어플리케이션, 일 예로 화상 회의, 멀티 동영상 플레이어 등에 적용될 수 있다.

상술한 바와 같이, 멀티 디스플레이 장치(100)는 힌지부(185)의 각도에 따라 다양한 스크린 모드(Screen Mode)를 지원할 수 있다. 이하에서는, 다양한 실시 예를 구현하기 위한 구체적인 구성에 대해서 설명하기로 한다.

도 38은 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 구성을 구체적으로 설명하기 위한 블록도이다.

도시한 멀티 디스플레이 장치(100)는 통신부(110)의 셀룰러 통신 모듈(111), 무선랜 모듈(112) 및 근거리 통신 모듈(113)과 커넥터(114) 중 적어도 하나를 이용하여 외부장치(도시되지 아니함)와 연결될 수 있다. “외부장치”는 다른 장치, 휴대폰, 스마트폰, 태블릿 PC(Personal), 컴퓨터 서버 및 디지털 TV 중 적어도 하나를 포함할 수 있다.

도 38을 참조하면, 멀티 디스플레이 장치(100)는 2개의 디스플레이부(190a, 190b)를 포함한다. 도 38에서는 2개의 디스플레이부에 대해서 도시하고 있지만, 이는 3개 이상으로 확장하여 변형 실시될 수 있다.

본 발명의 일 실시 예인 멀티 디스플레이 장치(100)는 통신부(110), 멀티미디어부(120), 제어부(130), 촬상부(140), 센서부(150), 입/출력부(160), 저장부(170), 전원부(180) 및 제1, 2디스플레이부(190a, 190b)를 포함한다.

통신부(110)는 셀룰러 통신 모듈(111), 무선랜 모듈(112), 근거리 통신 모듈(113), 커넥터(114), GPS(Global Positioning System) 모듈(115) 및 방송 통신 모듈(116)을 포함한다.

셀룰러 통신 모듈(111)은 제어부(130)의 제어에 따라 셀룰러 통신 프로토콜에 따른 무선 액세스 기술을 사용하여, 멀티 디스플레이 장치(100)가 적어도 하나 또는 복수의 안테나(도시되지 아니함)를 통해 외부 장치(특히 셀룰러 시스템의 기지국)와 연결되도록 한다.

또한, 셀룰러 통신 모듈(111)은 멀티 디스플레이 장치(100)에 입력되는 전화번호를 가지는 휴대폰, 스마트폰, 태블릿 PC 또는 다른 장치와 같은 통신 가능한 다른 기기와, 음성 통화, 화상 통화, 단문(Short Messaging Service: SMS) 메시지 또는 멀티미디어(Multimedia Messaging Service: MMS) 메시지를 담은 무선 신호를 송/수신한다.

또한, 통신부(110)는 무선랜 모듈(112)과 근거리 통신 모듈(113) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(112)만 포함하거나, 근거리 통신 모듈(113)만 포함하거나 또는 무선랜 모듈(112)과 근거리 통신 모듈(113)을 모두 포함할 수 있다.

무선랜 모듈(112)은 제어부(130)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(112)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다.

근거리 통신 모듈(113)은 제어부(130)의 제어에 따라 멀티 디스플레이 장치(100)와 외부 기기 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association) 등을 포함할 수 있다.

커넥터(114)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 장치와의 인터페이스를 제공한다.

커넥터(114)는 멀티 디스플레이 장치(100)와 외부장치 또는 전원소스를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(130)의 제어에 따라 커넥터(114)에 연결된 유선 케이블을 통해 멀티 디스플레이 장치(100)의 저장부(170)에 저장된 데이터를 외부 장치로 전송하거나 또는 외부 장치에서부터 데이터를 수신할 수 있다. 커넥터(114)에 연결된 유선 케이블을 통해 전원소스에서부터 전원이 입력되거나 배터리(도시되지 아니함)를 충전할 수 있다.

GPS 모듈(115)은 지구 궤도상에 있는 복수의 GPS위성들(도시되지 아니함)에서부터 전파를 수신하고, GPS위성들(도시되지 아니함)에서부터 멀티 디스플레이 장치(100)까지 전파도달시간(Time of Arrival) 및 GPS 파라미터들을 이용하여 멀티 디스플레이 장치(100)의 위치를 산출할 수 있다.

방송 통신 모듈(116)은 제어부(130)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다.

멀티미디어부(120)는 오디오 재생 모듈(121) 및 비디오 재생 모듈(122)를 포함한다.

오디오 재생 모듈(121)은 제어부(130)의 제어에 따라 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 비디오 재생 모듈(122)은 디지털 비디오 파일을 재생할 수 있도록 다양한 형식의 코덱을 지원한다. 즉, 재생하려는 비디오 파일의 코덱 형식에 맞도록 기 저장된 코덱에 의해서 비디오 파일을 재생한다. 또한, 멀티미디어부(120)의 오디오재생 모듈(121) 또는 비디오재생 모듈(122)은 제어부(130)에 포함될 수 있다.

제어부(130)는 CPU와, 멀티 디스플레이 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(Read-Only Memory: ROM) 및 멀티 디스플레이 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 멀티 디스플레이 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(Random Access Memory: RAM)을 포함한다. CPU는 싱글 코어 프로세서, 듀얼 코어 프로세서, 트리플 코어 프로세서 및 쿼드 코어 프로세서 중 적어도 하나를 포함할 수 있다. CPU, 롬 및 램은 내부버스(bus)를 통해 상호 연결된다.

제어부(130)는 통신부(110), GPS 모듈(115), 멀티미디어부(120), 촬상부(140), 센서부(150), 입/출력부(160), 저장부(170), 전원부(180), 제1 및 제2 디스플레이부(190a, 190b)를 제어한다.

촬상부(140)는 제1 촬상부(141) 및 제2 촬상부(142) 중 적어도 하나를 포함한다. 도 39에서는 제1 촬상부(141)과 제2 촬상부(142)만을 도시하였으나, 실시 예에 따라서 추가적인 촬상부를 포함할 수 있다.

촬상부(140)는 제어부(130)의 제어에 따라 정지이미지 또는 동영상을 촬영하는 제1 촬상부(141) 및 제2 촬상부(142) 중 적어도 하나를 포함할 수 있다. 경우에 따라, 추가적으로 몇 개의 촬상부를 더 포함할 수 있다. 제1 촬상부(141) 및 제2 촬상부(142)는 멀티 디스플레이 장치(100)의 바디(body)에 구비되거나 혹은 별도의 연결 수단을 사용하여 멀티 디스플레이 장치(100)에 연결될 수 있다. 제1 촬상부(141) 및 제2 촬상부(142) 중 적어도 하나는 촬영에 필요한 광량을 제공하는 보조 광원(예, 플래시(도시되지 아니함))를 포함할 수 있다.

일 실시 예로서, 제1 촬상부(141)는 멀티 디스플레이 장치(100) 전면에 배치되고, 제2 촬상부(142)는 멀티 디스플레이 장치(100)의 후면에 배치될 수 있다. 다른 실시 예로서, 제1 촬상부(141)와 제2 촬상부(142)는 인접하게(예, 제1 촬상부(141)와 제2 촬상부(142)의 간격이 1 cm 보다 크고, 8 cm 보다는 작게) 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수 있다. 또 다른 실시 예로서, 제1 촬상부(141)는 제1 바디에 배치되고, 제2 촬상부(142)는 제2 바디에 배치될 수 있다.

촬상부는 렌즈와 이미지 센서를 포함한다. 촬상부에 사용할 수 있는 렌즈의 종류에는 일반적인 범용 렌즈, 광각 렌즈, 줌 렌즈 등이 있다. 제1 및 제2 촬상부(140a, 140b)는 일반적으로 동일한 렌즈를 구비한 촬상부들로 구성되지만, 경우에 따라, 서로 다른 렌즈를 구비한 촬상부들로 구성될 수 있다.

이미지 센서에는 상보성 금속 산화물 반도체(Complementary Metal Oxide Semiconductor: CMOS)와 전하결합소자(Charge Coupled Device: CCD)가 있다. 제1 및 제2 촬상부(140a, 140b)는 일반적으로 한 종류의 이미지 센서로 구성되지만, 다른 종류의 이미지 센서의 조합으로 구성될 수도 있다. 예를 들어, 제1 및 제2 촬상부(140a, 140b) 모두 CMOS 또는 CCD를 사용할 수 있고, 제1 촬상부(140a)은 CMOS, 제2 촬상부(140b)는 CCD를 사용할 수 있다.

촬상부(140)는 제1 촬상부(141) 및 제2 촬상부(142) 중 적어도 하나를 통해, 촬상된 이미지를 제어부(130)로 전달할 수 있다. 제어부(130)는 이미지를 분석하여 사용자의 움직임 혹은 형상을 감지(detect)하고, 감지된 움직임 또는 대응되는 제어 동작을 수행한다. 일 예로서 사용자의 움직임이란 제1 혹은 제2 촬상부(141, 142)를 통해 감지되는 사용자의 손의 움직임을 의미한다. 사용자의 형상이란 제1 혹은 제2 촬상부(141, 142)를 통해 감지되는 사용자의 얼굴 형상을 의미할 수 있다.

또 다른 실시 예로서 멀티 디스플레이 장치(100)는 적외선 감지기와 같은 다른 수단을 사용하여 사용자의 움직임을 감지하고, 상기 움직임에 응답하여 어플리케이션을 실행 혹은 제어할 수 있다.

센서부(150)는 터치 센서(151), 지자기 센서(152), 가속도 센서(153), 힌지 센서(154) 및 근접 센서(155)를 포함한다.

터치 센서(151)는 사용자의 디스플레이부에 대한 터치를 감지할 수 있는 센서이다. 터치 센서(151)는 사용자의 터치를 감지하는 방식에 따라 정전 방식과 압전 방식으로 나뉠 수 있다. 본원 발명의 일 실시 예에 따른 터치 센서(151)는 두 가지 방식으로 각각 구현될 수 있다. 터치 센서(151)는 디스플레이 패널과 함께 디스플레이부를 구성할 수 있다. 이에 대한 구체적인 설명은 별도의 도면을 통해서 이하에서 별도로 설명한다.

터치 센서(151)는 손가락과 같은 신체 또는 감지 가능한 입력 수단으로 터치스크린(190a, 190b)을 눌러서 디스플레이 화면 상에 표시된 지시를 입력할 수 있는 센서를 의미한다. 터치 센서(151)는 용량변화, 저항변화, 또는 광량변화를 이용한다.

지자기 센서(152)는 지자기를 검출하여 방위각을 탐지할 수 있다. 따라서, 멀티 디스플레이 장치(100)의 방향을 인식한다. 가속도 센서(153)은 출력신호를 처리하여 물체의 가속도, 진동, 충격 등의 동적 힘을 측정하는 것으로서 멀티 디스플레이 장치(100)의 움직이는 속도 변화나 힘의 세기를 감지한다. 힌지 센서(154)는 힌지의 각도 또는 움직임 등을 검출할 수 있다. 근접 센서(155)는 사용자의 멀티 디스플레이 장치(100)에 대한 물체의 접근여부를 검출할 수 있다.

도 38에서 도시되지 않았지만, 멀티 디스플레이 장치(100)의 센서부(150)는 중력이 어느 방향으로 작용하는지 검출할 수 있는 중력 센서, 기존의 가속도 센서에 각각 회전을 넣어 총 6축을 인식할 수 있는 자이로 센서, 이미지와 같은 컨텐츠의 가로, 세로 프레임을 자동으로 감지하여 컨텐츠를 자동 회전 및 정렬시킬 수 있는 오리엔테이션 센서, 멀티 디스플레이 장치(100) 주변의 빛의 양을 검출하는 조도 센서, 대기의 압력을 측정할 수 있는 고도 측정 센서, 물체의 색을 검출할 수 있는 RGB 센서, 초음파나 적외선을 이용하여 거리를 측정할 수 있는 거리 측정 센서, 자기장의 세기에 따른 전압 변화를 이용하는 홀 센서 중 적어도 하나를 더 포함할 수 있다.

센서부(150)의 각 센서는 상태를 검출하고, 검출에 대응되는 신호를 생성하여 제어부(130)로 전송할 수 있다. 센서부(150)의 센서는 멀티 디스플레이 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다.

입/출력부(160)는 버튼부(161), 마이크(162), 스피커(163) 및 진동모터(164)를 포함한다.

적어도 하나의 버튼부(161)는 멀티 디스플레이 장치(100)의 바디(body)의 전면, 측면 또는 후면에 푸쉬형 혹은 터치형으로 형성될 수 있으며, 전원/잠금 버튼, 볼륨 조절 버튼, 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다.

마이크(162)는 제어부(130)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.

스피커(163)는 제어부(130)의 제어에 따라 셀룰러 통신 모듈(111), 무선랜 모듈(112), 근거리 통신 모듈(113), 멀티미디어부(120) 또는 촬상부(140)의 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 멀티 디스플레이 장치(100) 외부로 출력할 수 있다.

스피커(163)는 멀티 디스플레이 장치(100)가 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(163)는 멀티 디스플레이 장치(100)의 바디의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다. 일 예로 스피커(163)는 통화중 사용자의 귀에 근접하기에 적합한 위치에 배치되는 내부 스피커 모듈과, 오디오/비디오 파일의 재생이나 방송의 시청시에 사용되기에 적합한 보다 높은 출력을 가지며 멀티 디스플레이 장치(100)의 바디의 적절한 위치에 배치되는 외부 스피커 모듈을 포함하여 구성될 수 있다.

진동모터(164)는 제어부(130)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 멀티 디스플레이 장치(100)는 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터(164)가 동작한다. 진동모터(164)는 멀티 디스플레이 장치(100)의 바디 내에 하나 또는 복수로 형성될 수 있다. 진동모터(164)는 제1, 2 디스플레이부(190a, 190b) 상에서 감지되는 사용자의 터치 제스처 및 제1, 2 디스플레이부(190a, 190b) 상에서 감지되는 터치의 연속적인 움직임에 응답하여 동작할 수 있다.

저장부(170)는 제어부(130)에 의해서 처리된 각종의 멀티미디어 데이터, 컨텐츠 데이터, 외부 소스로부터 수신된 데이터 등을 저장한다.

구체적으로 살펴보면, 저장부(170)는 제어부(130)의 제어에 따라 셀룰러 통신 모듈(111), 무선랜 모듈(112), 근거리 통신 모듈(113), 커넥터(114), GPS모듈(115), 멀티미디어부(120), 촬상부(140), 센서부(150), 입/출력부(160), 제1, 2 디스플레이부(190a, 190b)의 동작에 대응되게 입/출력되는 신호, 정보 또는 데이터를 저장할 수 있다.

저장부(170)는 멀티 디스플레이 장치(100) 또는 제어부(130)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다. 이하 "저장부"라는 용어는 롬, 램 또는 멀티 디스플레이 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱)를 포함할 수 있다. 또한 저장부는 비휘발성 메모리, 휘발성메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.

전원부(180)는 멀티 디스플레이 장치(100)에서 사용되는 전원을 공급한다. 전원부(180)는 충전 가능한 배터리로 구현될 수 있고, 외부 공급 전원을 변환하여 충전 가능한 배터리에 공급하는 전압 변환기를 더 포함할 수 있다.

전원부(180)는 제어부(130)의 전원 관리 제어에 따라 멀티 디스플레이 장치(100)에 최대 성능 모드, 일반 모드, 절전 모드, 대기 모드 등 다양한 모드로 전원을 공급할 수 있다.

제1, 2 디스플레이부(190a, 190b)는 힌지부(미도시)에 의해서 서로 연결될 수 있다. 제1, 2 디스플레이부(190a, 190b)는 제어부(130)의 제어에 의해서 멀티미디어 컨텐츠, 이미지, 동영상, 텍스트 등을 표시한다.

제1 디스플레이부(190a)와 제2 디스플레이부(190b)는 물리적으로 서로 분리되어 있다. 제1 디스플레이부(190a)와 제2 디스플레이부(190b)에 표시되는 디스플레이 화면은 서로 독립적으로 제어할 수 있다. 예를 들어, 제1 디스플레이부(190a)의 해상도와 제2 디스플레이부(190b)의 해상도는 각각 개별적으로 설정할 수 있다. 또한, 제1 디스플레이부(190a)와 제2 디스플레이부(190b)에 표시되는 화면의 확대, 회전, 화면 이동, 화면 분할 등을 각각 개별적으로 실행할 수 있다.

또한, 제1 디스플레이부(190a) 및 제2 디스플레이부(190b)는 가상 통합 프레임 버퍼를 이용해서 단일 디스플레이 화면으로 표시할 수 있다.

제1 및 제2 디스플레이부(190a, 190b)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.

제1 및 제2 디스플레이부(190a, 190b)는 터치입력 기능이 없는 일반적인 디스플레이 패널로 구현될 수 있고, 근접 센서나 터치 센서를 이용한 사용자 조작을 인식할 수 있는 터치 디스플레이 패널로 구현될 수 있다. 터치 디스플레이 패널로 구현되는 경우 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 감지 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치 제스처를 입력받을 수 있다.

이러한 사용자 인터페이스는 소정 터치 영역, 소프트 키 및 소프트 메뉴를 포함할 수 있다. 제1, 2 디스플레이부(190a, 190b)는 사용자 인터페이스를 통해 입력되는 적어도 하나의 터치 제스처에 대응되는 전자 신호를 LCD 컨트롤러(미도시)를 통해서 제1, 2 디스플레이부(190a, 190b)로 전송할 수 있다. 또한, 제1, 2 디스플레이부(190a, 190b)는 터치의 연속적인 움직임을 감지하고, 터치의 연속적 혹은 불연속적인 움직임에 대응되는 전자 신호를 LCD 컨트롤러로 전송할 수 있다.

이러한 제1, 2 디스플레이부(190a, 190b)는 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.

제1, 2 디스플레이부(190a, 190b)는 터치 센서를 통해서 감지된 사용자 동작에 관한 감지 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(130)로 전송한다. 제어부(130)는 수신된 디지털 신호를 이용하여 제1, 2 디스플레이부(190a, 190b)를 통해서 입력된 사용자 동작에 대응하는 제어 동작을 수행할 수 있다. 예를 들어, 제어부(130)는 사용자 동작에 응답하여 제1, 2 디스플레이부(190a, 190b)에 표시된 소프트 키가 선택되게 하거나 또는 소프트 키에 대응하는 어플리케이션을 실행할 수 있다.

상술한 사용자 제스처는 제1, 2 디스플레이부(190a, 190b)와 사용자의 신체 또는 터치 가능한 입력 수단과의 직접적인 접촉(contact)에 한정되지 않고, 비접촉에 의한 방식도 포함한다. 제1, 2 디스플레이부(190a, 190b)에서 검출 가능한 사용자 동작의 감도는 멀티 디스플레이 장치(100)의 성능 또는 구조에 따라 변경될 수 있다.

한편, 상술한 실시 예들에서는 멀티 디스플레이 장치(100)의 바디들이 힌지부에 의해 연결되는 것으로 도시 및 설명하였으나, 힌지부 대신 플렉서블한 재질의 연결부로 연결될 수도 있다.

도 39는 다양한 구현 예에 따른 멀티 디스플레이 장치의 세부적인 구성을 설명하기 위한 블록도이다.

도 39에 따르면, 멀티 디스플레이 장치는 통신부(110), 멀티미디어부(120), 제어부(130), 촬상부(140), 센서부(150), 입/출력부(160), 저장부(170), 전원부(180), 멀티디스플레이부(190)를 포함한다. 도 38에서 설명한 구성부와 동일한 구성부의 설명은 생략하고, 디스플레이를 하는 과정에 대해서만 설명하기로 한다.

CPU(131)는 저장부(미도시)에 저장된 데이터를 RAM(135)으로 독출하여 RAM(135)에 저장되어 있는 데이터 중 그래픽 처리가 필요한 데이터를 GPU(133)으로 전달한다. CPU(131)는 GPU(133)에 의해서 그래픽 처리된 데이터를 수신하여 시스템 버스(139)와 연결된 LCD 컨트롤러(미도시)로 전달해서 디스플레이부에 이미지를 표시한다.

CPU(131)는 GPU(133)에 의해서 처리된 이미지 데이터를 RAM(135)의 기 결정된 영역 상에 할당된 가상 프레임 버퍼(Virtual Frame Buffer) 영역에 일시 저장한다. CPU(131)는 디스플레이부의 최대 해상도(예를 들어, 1024×600)를 지원하도록 가상 프레임 버퍼의 영역을 할당한다. 2개의 디스플레이부일 경우에는 1024×1200 크기로 가상 프레임 버퍼의 영역을 할당한다.

CPU(131)는 가상 프레임 버퍼에 일시 저장된 데이터를 GPU(133)로 입력해서 디지털 신호 처리를 수행한다.

GPU(133)는 CPU(131)의 제어 하에서 입력된 데이터에 대한 그래픽 처리를 수행한다. 구체적으로는, GPU(133)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 버스(139)를 통해 제1 및 제2 디스플레이부(190a, 190b)로 전달되어 디스플레이 영역 내에 표시되거나, 저장부(170)에 저장될 수 있다.

CPU(131)는 GPU(133)에 의해서 그래픽 처리된 데이터를 제1 및 제2 디스플레이부(190a, 190b) 중 적어도 하나를 통해 디스플레이하거나, 저장부(170)에 저장하도록 제어할 수도 있으며, 또는 처리된 데이터를 디스플레이 컨트롤러(미도시)에 입력할 수 있다.

GPU(133)는 디코더(decoder), 렌더러(renderer), 스케일러(scaler) 등을 포함할 수 있다. 이에 따라, 저장된 컨텐츠를 디코딩하고, 디코딩된 컨텐츠 데이터를 렌더링하여 프레임을 구성하고, 구성된 프레임의 사이즈를 디스플레이 콘트롤러(미도시)의 제어에 의해 디스플레이 크기에 맞게 스케일링한다. 만약, 제1 및 제2 디스플레이부(190a, 190b) 중 하나에서 디스플레이되는 화면이라면 그 크기에 맞추어 스케일링하고, 두 디스플레이부 모두에서 디스플레이되는 화면이라면 전체 디스플레이 사이즈에 맞추어 스케일링한다. GPU(133)는 처리된 프레임을 디스플레이부에 제공하여 디스플레이한다.

멀티 디스플레이 장치(100)는 복수의 디스플레이부를 구비하고 있으므로, 그 디스플레이부들을 활용하여 다양한 화면을 제공하여 줄 수 있다. 이하에서는 멀티 디스플레이 장치의 기본적인 세부 구성 및 동작들에 대해 기술한다.

도 40은 본 발명의 일 실시 예에 따른 하나의 디스플레이부에 관한 구성을 구체적으로 설명하기 위한 도면이다.

설명의 편의를 위하여 도 40에서는 제1 디스플레이부만을 도시하였으나, 제2 디스플레이부도 이와 동일한 형태로 구현될 수 있음은 물론이다.

도 40에 따르면, 제1 디스플레이부(190a) 는 타이밍 컨트롤러(231), 게이트 드라이버(232), 데이터 드라이버(233), 전압 구동부(234), 표시패널(235)을 포함할 수 있다.

타이밍 컨트롤러(231)는 외부로부터 터치스크린부의 해상도에 적합한 클럭신호(DCLK)와 수평 동기 신호(Hsync), 수직 동기 신호(Vsync) 등을 입력받아 게이트 제어신호(주사 제어신호), 데이터 제어신호(데이터 신호)를 생성하고, 입력받은 R, G, B 데이터를 재정렬하여 데이터 드라이버(233)에 공급한다.

타이밍 컨트롤러(231)는 위의 게이트 제어신호와 관련하여 게이트 시프트 클럭(Gate Shift Clock: GSC), 게이트 출력 인에이블(Gate Output Enable: GOE), 게이트 시작 펄스(Gate Start Pulse: GSP) 등을 발생시킬 수 있는데, 여기서 GSC는 R, G, B 유기발광 소자(Organic Light Emitting Diode, OLED)와 같은 발광소자에 연결된 박막 트랜지스터(Thin Film Transistor: TFT)가 온/오프(On/Off)되는 시간을 결정하는 신호이고, GOE는 게이트 드라이버(232)의 출력을 제어하는 신호이며, GSP는 하나의 수직동기신호 중에서 화면의 첫 번째 구동라인을 알려주는 신호이다.

또한, 타이밍 컨트롤러(231)는 데이터 제어신호와 관련하여 소스 샘플링 클럭(Source Sampling Clock: SSC), 소스 출력 인에이블(Source Output Enable: SOE), 소스 시작 펄스(Source Start Pulse: SSP) 등을 생성할 수 있다. 여기서 SSC는 데이터 드라이버(233)에서 데이터를 래치(latch)시키기 위한 샘플링 클럭으로 사용되며, 데이터 드라이브 IC의 구동주파수를 결정한다. SOE는 SSC에 의해 래치된 데이터들을 표시패널(235)로 전달하게 된다. SSP는 하나의 수평 동기 기간 중에 데이터의 래치 또는 샘플링 시작을 알리는 신호이다.

게이트 드라이버(232)는 주사신호를 생성하는 구성으로, 주사선(S1, S2, S3,..., Sn)을 통해 표시패널(235)과 연결된다. 게이트 드라이버(232)는 타이밍 컨트롤러(231)에 의해 생성된 게이트 제어 신호에 따라 전압 구동부(234)로부터 제공받은 게이트 온/오프 전압(Vgh/Vgl)을 표시패널(235)로 인가한다. 게이트 온 전압(Vgh)은 표시패널(235)에 단위 프레임 영상의 구현을 위하여 게이트 라인 1(GL1)에서 게이트 라인 N(GLn)까지 순차적으로 제공된다.

데이터 드라이버(233)는 데이터 신호를 생성하는 구성으로, 데이터 선(D1, D2, D3,..., Dm)을 통해 표시패널(235)과 연결된다. 데이터 드라이버(233)는 타이밍 컨트롤러(231)에 의해 생성된 데이터 제어 신호에 따라 스케일링이 완료되고 영상 이미지 프레임의 RGB 데이터를 표시패널(235)에 입력한다. 데이터 드라이버(233)는 타이밍 컨트롤러(231)에서 직렬(serial)로 제공되는 RGB의 영상 데이터를 병렬(parallel)로 변환하고, 디지털 데이터를 아날로그 전압으로 변환하여 하나의 수평 라인 분에 해당되는 영상 데이터를 표시패널(235)에 제공한다. 이 과정은 각 수평라인 별로 순차적으로 이루어진다.

전압 구동부(234)는 게이트 드라이버(232), 데이터 드라이버(233), 표시패널(235) 등에 각각의 구동 전압을 생성하여 전달한다. 즉, 외부로부터의 상용전원, 즉 110V 또는 220V의 교류전압을 제공받아 표시패널(235)에 필요한 전원전압(VDD)을 생성하여 제공하거나, 접지전압(VSS)을 제공할 수 있다. 또한, 게이트 온 전압(Vgh)을 생성하여 게이트 드라이버(232)로 제공할 수 있다. 이를 위해 전압 구동부(234)는 개별적으로 동작하는 복수의 전압 구동 모듈(미도시)을 포함할 수 있다. 여기서, 복수의 전압 구동 모듈(미도시)은 제어부(130)의 제어에 따라 서로 다른 전압을 제공하도록 동작할 수 있으며, 제어부(130)는 기설정된 정보에 따라 복수의 전압 구동 모듈이 서로 다른 구동 전압을 제공하도록 전압 구동부(234)를 제어할 수 있다. 예를 들어, 복수의 전압 구동 모듈 각각은 제어부(130)의 제어에 따라 기설정된 정보에 따라 서로 다른 제1 전압 및 디폴트로 설정된 제2 전압을 제공할 수 있다.

일 실시 예에 따르면, 전압 구동부(234)는 복수 개의 영역으로 구분된 표시패널(235)의 각 영역에 대응되는 복수 개의 전압 구동 모듈을 포함할 수 있다. 이 경우, 제어부(130)는 복수 개의 영역 각각의 화면 정보(또는 입력 영상 정보)에 따라 서로 다른 제1 전압, 즉, ELVDD 전압을 제공하도록 복수 개의 전압 구동 모듈을 제어할 수 있다. 즉, 데이터 드라이버(233)에 입력되는 영상신호를 이용하여 ELVDD 전압의 크기를 제어할 수 있다. 여기서, 화면 정보는, 입력 영상의 휘도 및 계조 정보 중 적어도 하나가 될 수 있다.

표시패널(235)은 서로 교차하여 화소 영역을 정의하기 위한 다수의 게이트 라인(GL1~GLn)과 데이터 라인(DL1~DLn)이 형성되고, 그 교차하는 화소영역(236)에는 OLED와 같은 R, G, B의 발광소자가 형성될 수 있다. 그리고 화소영역(236)의 일 영역, 더 정확하게는 모서리에는 스위칭소자 즉 TFT가 형성된다. 이러한 TFT의 턴-온 동작시 데이터 드라이버(233)로부터 계조 전압이 각각의 R, G, B의 발광소자로 제공된다. 이때 R, G, B의 발광소자들은 계조 전압에 근거하여 제공된 전류량에 상응하여 빛을 제공하게 된다. 즉 R, G, B의 발광소자들은 많은 전류량이 제공되면 그만큼 많은 빛을 제공하게 되는 것이다.

도 41은 도 40에 도시된 디스플레이 패널을 구성하는 R, G, B 화소를 구성하는 회로 구조를 설명하기 위한 도면이다.

도 41을 참고하면, 표시패널(235)은 3개의 R,G,B 화소영역(236)을 포함한다. R, G, B의 화소영역(236)은 스캔 신호(S1), 게이트 온 전압(Vgh)에 의해 동작하는 스위칭소자 (M11, M21, M31), 데이터 라인(DL1~DLn)으로 제공되는 변경된 고계조값을 포함하는 화소값에 근거하여 전류를 출력하는 스위칭소자 (M12, M22, M32), 그리고 타이밍 컨트롤러(231)에서 제공되는 제어 신호에 따라 스위칭소자 (M12, M22, M23)에서 R, G, B의 발광소자로 제공되는 전류량을 조절하는 스위칭소자 (M13, M23, M33)를 포함할 수 있다. 그리고, 이러한 스위칭 소자 (M13, M23, M33)는 유기발광소자(OLED)와 연결되어 OLED로 전류를 공급한다. 여기서, OLED는 형광 또는 인광 유기물 박막에 전류를 흘리면 전기장 발광의 원리를 이용해 자체적으로 빛을 발하는 디스플레이를 말한다.

OLED의 애노드(anode)전극은 화소회로에 접속되고, 캐소드(cathode)전극은 ELVSS에 접속된다. 이와 같은 OLED는 화소회로로부터 공급되는 전류에 대응하여 소정 휘도의 빛을 생성한다. 여기서, 스위칭 소자 (M11, M21, M31)의 게이트 전극은 주사선(S1)에 접속되고, 소스 전극 및 드레인 전극 중 어느 하나는 데이터선(D1)에 접속된다. 이처럼 표시패널(235)은 AM-OLED(Active Matrix Organic Light-Emitting Diode) 패널로 구현될 수 있다.

다만, 상술한 실시 예는 본 발명의 일 실시 예에 불과하며, 본 발명이 하나의 라인이 동시에 발광하여 구동하는 방식인 PM OLED(Passive Matrix Organic Light-Emitting Diode)을 배제하지 않음은 물론이다.

도 42는 본 발명의 일 실시 예에 따른 멀티 디스플레이 장치의 제어 방법의 흐름도이다.

도 42에 따르면, 멀티 디스플레이 장치는 제1 및 제2 프레임 버퍼를 개별 저장 방식 또는 통합 저장 방식으로 관리한다(S4210). 개별 저장 방식은 제1 프레임 버퍼와 제2 프레임 버퍼를 개별적인 프레임 버퍼로 인식하여 표시 화면을 제어하는 방식을 의미한다. 그리고, 통합 저장 방식은 제1 프레임 버퍼와 제2 프레임 버퍼를 통합 프레임 버퍼로 인식하여 표시 화면을 제어하는 방식을 의미한다.

멀티 디스플레이 장치는 제1 및 제2 디스플레이부에 표시되는 데이터의 특성에 따라 관리 방식을 변경하여 제1 및 제2 프레임 버퍼에 데이터를 저장한다(S4220). 멀티 디스플레이 장치는 제1 및 제2 디스플레이부에 개별적인 화면을 표시하는 것으로 결정하면 개별 저장 방식을 이용하고, 제1 및 제2 디스플레이부에 하나의 화면을 표시하는 것으로 결정하면 통합 저장 방식을 이용한다.

제1 및 제2 디스플레이부는 제1 및 제2 프레임 버퍼에 저장된 데이터를 디스플레이한다(S4230).

상술한 다양한 실시 예에서 설명한 바와 같이 멀티 디스플레이 장치는 화면 회전 이벤트가 발생하면 회전 정보를 검출한다. 검출된 회전 정보를 이용하여 전환된 화면 데이터를 해당 프레임 버퍼에 저장하고 디스플레이부로 출력한다.

상술한 다양한 실시 예에 따른 멀티 디스플레이 장치의 동작 제어 방법이나, 화면 표시 방법 등은 프로그램으로 구현되어 멀티 디스플레이 장치에 제공될 수 있다.

일 예로, 제1 및 제2 프레임 버퍼를 개별적으로 관리하여 데이터를 저장하는 개별 저장 방식 및 제1 및 제2 프레임 버퍼를 하나의 가상 통합 프레임 버퍼로 관리하여 데이터를 저장하는 통합 저장 방식 중 하나의 방식으로 제1 및 제2 프레임 버퍼를 관리하는 단계, 제1 및 제2 디스플레이부에 표시되는 데이터의 특성에 따라 관리 방식을 변경하여 제1 및 제2 프레임 버퍼에 데이터를 저장하는 단계 및 제1 및 제2 프레임 버퍼에 저장된 데이터를 각각 디스플레이하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다. 또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

2 : 제1 바디 4 : 제2 바디
130 : 제어부
140a, 141, 141' : 제1 촬상부 140b, 142, 142' : 제2 촬상부
146 : 제3 촬상부 149 : 회전형 촬상부
150a : 제1 센서부 150b : 제2 센서부
171a : 제1 프레임 버퍼 171b : 제2 프레임 버퍼
185 : 힌지부
190a : 제1 디스플레이부 190b : 제2 디스플레이부

Claims

제1 디스플레이부를 포함하는 제1 바디;
제2 디스플레이부를 포함하는 제2 바디;
상기 제1 바디 및 상기 제2 바디를 연결하는 힌지부;
상기 제1 디스플레이부에 대응되는 제1 프레임 버퍼;
상기 제2 디스플레이부에 대응되는 제2 프레임 버퍼; 및
상기 제1 및 제2 프레임 버퍼를 개별적으로 관리하여 데이터를 저장하는 개별 저장 방식 및 상기 제1 및 제2 프레임 버퍼를 하나의 가상 통합 프레임 버퍼로 관리하여 데이터를 저장하는 통합 저장 방식 중 하나의 방식으로 상기 제1 및 제2 프레임 버퍼를 관리할 수 있는 제어부;를 포함하며,
상기 제어부는,
상기 제1 및 제2 디스플레이부에 표시되는 데이터의 특성에 따라 상기 관리 방식을 변경하여 상기 제1 및 제2 프레임 버퍼에 데이터를 저장하고,
상기 제1 및 제2 디스플레이부는,
상기 제1 및 제2 프레임 버퍼에 저장된 데이터를 각각 디스플레이하는, 멀티 디스플레이 장치.
제1항에 있어서,
상기 제어부는,
상기 개별 저장 방식으로 관리하는 경우, 상기 제1 및 제2 프레임 버퍼에 개별적인 어드레스를 할당하고,
상기 통합 저장 방식으로 관리하는 경우, 상기 가상 통합 프레임 버퍼의 전체 어드레스를 제1 그룹 및 제2 그룹으로 구분하고, 상기 제1 그룹의 어드레스를 상기 제1 프레임 버퍼에 할당하고, 상기 제2 그룹의 어드레스를 상기 제2 프레임 버퍼에 할당하며,
상기 어드레스는 동적으로 할당되는 것을 특징으로 하는 멀티 디스플레이 장치.
제2항에 있어서,
상기 멀티 디스플레이 장치의 회전 상태를 감지하기 위한 회전 감지 센서;를 더 포함하며,
상기 제어부는,
상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터를 상기 회전 상태에 따라 각각 조정하고, 상기 제1 및 제2 프레임 버퍼에 저장하여, 상기 제1 및 제2 디스플레이부의 화면이 상기 회전 상태에 따라 개별적으로 전환되도록 하는 멀티 디스플레이 장치.
제2항에 있어서,
사용자의 위치를 인식하기 위한 사용자 인식 센서;를 더 포함하며,
상기 제어부는,
상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터를 상기 사용자의 위치에 따라 각각 조정하고, 상기 제1 및 제2 프레임 버퍼에 저장하여, 상기 제1 및 제2 디스플레이부의 화면이 상기 인식된 사용자의 위치에 따라 개별적으로 전환되도록 하는 멀티 디스플레이 장치.
제2항에 있어서,
촬상부;를 더 포함하며,
상기 제어부는,
상기 촬상부에서 촬상된 이미지에 기초하여 화면 전환을 위한 사용자 제스처가 인식되면, 상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터를 각각 조정하고, 상기 제1 및 제2 프레임 버퍼에 저장하여, 상기 제1 및 제2 디스플레이부의 화면이 상기 사용자 제스처에 따라 개별적으로 전환되도록 하는 멀티 디스플레이 장치.
제2항에 있어서,
터치 센서;를 더 포함하며,
상기 제어부는,
상기 터치 센서에 의해 화면 전환을 위한 터치 제스처가 감지되면, 상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터를 각각 조정하고 상기 제1 및 제2 프레임 버퍼에 저장하여, 상기 제1 및 제2 디스플레이부의 화면이 상기 터치 제스처에 따라 개별적으로 전환되도록 하는 멀티 디스플레이 장치.
제2항에 있어서,
상기 제어부는,
상기 제1 프레임 버퍼에 저장된 데이터와 상기 제2 프레임 버퍼에 저장된 데이터가 동일한 데이터인 경우, 상기 제1 프레임 버퍼에 저장된 데이터가 조정되면 상기 제1 및 제2 디스플레이부의 화면이 동시에 전환될 수 있도록 상기 제2 프레임 버퍼에 저장된 데이터를 동일하게 조정하여 상기 제2 프레임 버퍼에 저장하는, 멀티 디스플레이 장치.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 제1 디스플레이부 및 상기 제2 디스플레이부의 화면은,
홈 화면 또는 선택된 어플리케이션의 실행 화면인 것을 특징으로 하는 멀티 디스플레이 장치.
제1 디스플레이부를 포함하는 제1 바디, 제2 디스플레이부를 포함하는 제2 바디 및 상기 제1 바디 및 상기 제2 바디를 연결하는 힌지부를 포함하는 멀티 디스플레이 장치의 제어 방법에 있어서,
상기 제1 및 제2 프레임 버퍼를 개별적으로 관리하여 데이터를 저장하는 개별 저장 방식 및 상기 제1 및 제2 프레임 버퍼를 하나의 가상 통합 프레임 버퍼로 관리하여 데이터를 저장하는 통합 저장 방식 중 하나의 방식으로 상기 제1 및 제2 프레임 버퍼를 관리하는 단계;
상기 제1 및 제2 디스플레이부에 표시되는 데이터의 특성에 따라 상기 관리 방식을 변경하여 상기 제1 및 제2 프레임 버퍼에 데이터를 저장하는 단계; 및
상기 제1 및 제2 프레임 버퍼에 저장된 데이터를 각각 디스플레이하는 단계;를 포함하는 멀티 디스플레이 장치의 제어 방법.
제9항에 있어서,
상기 제1 및 제2 프레임 버퍼를 관리하는 단계는,
상기 개별 저장 방식으로 관리하는 경우, 상기 제1 및 제2 프레임 버퍼에 개별적인 어드레스를 할당하고,
상기 통합 저장 방식으로 관리하는 경우, 상기 가상 통합 프레임 버퍼의 전체 어드레스를 제1 그룹 및 제2 그룹으로 구분하고, 상기 제1 그룹의 어드레스를 상기 제1 프레임 버퍼에 할당하고, 상기 제2 그룹의 어드레스를 상기 제2 프레임 버퍼에 할당하며,
상기 어드레스는 동적으로 할당되는 것을 특징으로 하는 멀티 디스플레이 장치의 제어 방법.
제10항에 있어서,
상기 멀티 디스플레이 장치의 회전 상태를 감지하는 단계;를 더 포함하며,
상기 데이터를 저장하는 단계는,
상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터 중 적어도 하나를 상기 회전 상태에 따라 전환되는 형태로 개별적으로 조정하고, 상기 제1 및 제2 프레임 버퍼에 저장하는 멀티 디스플레이 장치의 제어 방법.
제10항에 있어서,
사용자의 위치를 인식하는 단계;를 더 포함하며,
상기 데이터를 저장하는 단계는,
상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터 중 적어도 하나를 상기 사용자의 위치에 따라 전환되도록 개별적으로 조정하여 상기 제1 및 제2 프레임 버퍼에 저장하는 멀티 디스플레이 장치의 제어 방법.
제10항에 있어서,
사용자 제스처를 촬상하는 단계;
촬상된 이미지를 이용하여 사용자 제스처를 인식하는 단계;를 더 포함하며,
상기 데이터를 저장하는 단계는,
상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터 중 적어도 하나를 상기 사용자 제스처에 따라 전환되도록 개별적으로 조정하여 상기 제1 및 제2 프레임 버퍼에 저장하는 멀티 디스플레이 장치의 제어 방법.
제10항에 있어서,
터치 제스처를 입력받는 단계;를 더 포함하며,
상기 데이터를 저장하는 단계는,
상기 제1 디스플레이부에 디스플레이될 제1 화면 데이터 및 상기 제2 디스플레이부에 디스플레이될 제2 화면 데이터 중 적어도 하나를 상기 터치 제스처에 따라 전환되도록 개별적으로 조정하여 상기 제1 및 제2 프레임 버퍼에 저장하는 멀티 디스플레이 장치의 제어 방법.
제10항에 있어서,
상기 데이터를 저장하는 단계는,
상기 제1 프레임 버퍼에 저장된 데이터와 상기 제2 프레임 버퍼에 저장된 데이터가 동일한 데이터인 경우, 상기 제1 프레임 버퍼에 저장된 데이터가 조정되면 상기 제1 및 제2 디스플레이부의 화면이 동시에 전환될 수 있도록 상기 제2 프레임 버퍼에 저장된 데이터를 동일하게 조정하여 상기 제2 프레임 버퍼에 저장하는 멀티 디스플레이 장치의 제어 방법.
제9항 내지 제15항 중 어느 한 항에 있어서,
상기 제1 디스플레이부의 화면 및 제2 디스플레이부의 화면은,
홈 화면 또는 선택된 어플리케이션의 영역에 해당하는 화면인 것을 특징으로 하는 멀티 디스플레이 장치의 제어 방법.