KR20160030173A - 상호작용적 디지털 디스플레이 - Google Patents

Abstract

본 설명은 상호작용적 디지털 디스플레이에 관련된다. 하나의 예는 사용자 입력을 수신하고 데이터 시각화에 관한 명령을 인식하도록 구성되는 디스플레이 디바이스를 포함한다. 시스템은 또한 사용자로 하여금 사용자 명령을 통하여 데이터 시각화와 상호작용할 수 있게 하는 디스플레이 디바이스 상에 제시되도록 구성되는 그래픽 사용자 인터페이스를 포함한다.

Description

상호작용적 디지털 디스플레이{INTERACTIVE DIGITAL DISPLAYS}

사람들이 다른 이들과 협력하고, 중요한 질문의 리스트를 브레인스토밍하며(brainstorm), 간단한 차트를 스케치할(sketch) 수 있는 화이트보드 상에서 작업하는 것은 흔한 일이다. 그러나, 만약 논의의 주제가 대량의 데이터를 수반한다면, 몇몇 도구(가령, 스프레드시트(spreadsheet))에서 이용가능한 계산 능력(computational power)을 활용하는 것이 이내 필요하다. 펜(pen), 터치(touch), 또는 펜과 터치의 조합을 디지털 디스플레이 상에서 사용하는 것은, 전통적인 화이트보드로써는 또는 마우스와 키보드가 있는 통상적인 데스크톱 환경으로써는 가능하지 않았던, 데이터와의 새롭고 더욱 자연스러운 상호작용(interaction)으로 이어지는 커다란 잠재성을 갖고 있다. 본 개념은 디지털 디스플레이 상에서의 데이터 조합, 데이터 분석, 데이터 통신 및/또는 아이디어의 브레인스토밍을 위한 데이터 시각화(data visualization)와의 상호작용에의 신규한 접근법을 제공한다. 이 접근법은 다양한 형태의 상호작용적 디지털 디스플레이, 예를 들어 펜- 및/또는 터치-가능형(enabled) 태블릿, 노트북, 디지털 화이트보드 등등에 적용될 수 있다.

본 설명은 상호작용적 디지털 디스플레이(interactive digital display)에 관련된다. 하나의 예는 데이터 시각화에 관하여 사용자로부터 입력을 수신하며 데이터를 보는 새로운 방식을 자동으로 생성하도록 구성되는 디스플레이 디바이스를 포함한다. 시스템은 또한 사용자로 하여금 사용자 명령을 통하여 그래픽 사용자 인터페이스(graphical user interface)와 상호작용할 수 있게 하는 디스플레이 디바이스 상에 제시되도록 구성되는 그래픽 사용자 인터페이스를 포함한다.

위에 실린 예는 독자를 돕기 위해 빠른 참조를 제공하도록 의도된 것이며 본 문서에 기술된 개념의 범주를 정의하도록 의도된 것은 아니다.

첨부된 도면은 본 서류에서 전달되는 개념의 구현을 예시한다. 예시된 구현의 특징은 첨부된 도면과 함께 취해지는 이하의 설명에 대한 참조에 의해 더욱 용이하게 이해될 수 있다. 다양한 도면 내의 비슷한 참조 번호는 비슷한 구성요소를 나타내는 데에 알맞은 어떤 경우에든지 사용된다. 몇몇 경우에는 비슷한 구성요소를 구별하기 위해 참조 번호 뒤에 삽입구가 이용된다. 연관된 삽입구 없는 참조 번호의 사용은 구성요소에 대해 포괄적이다(generic). 또한, 각 참조 번호의 맨 왼쪽 숫자는 그 참조 번호가 처음 도입된 도면 및 연관된 논의를 나타낸다.
도 1 내지 도 4는 본 개념의 몇몇 구현에 따른 예시적인 상호작용적 경험(interactive experience) 시나리오를 집합적으로 보여준다.
도 5 내지 도 8은 본 개념의 몇몇 구현에 따른 다른 예시적인 상호작용적 경험 시나리오를 집합적으로 보여준다.
도 9 내지 도 41은 본 개념의 몇몇 구현에 따른 상호작용적 디지털 디스플레이와의 예시적인 상호작용을 집합적으로 보여준다.
도 42 내지 도 46은 본 개념의 몇몇 구현에 따른 예시적인 상호작용적 디지털 디스플레이 시스템을 보여준다.
도 47 내지 도 49는 본 개념의 몇몇 구현에 따른 예시적인 상호작용적 디지털 디스플레이 기법의 흐름도이다.

개관

본 설명은 디지털 화이트보드와 같은 디지털 디스플레이 상에서의 데이터 시각화와의 상호작용에 관련된다. 사람들은 아이디어 및/또는 간단한 차트를 약식으로 스케치하기 위해 통상적인 회의실 화이트보드를 사용할 수 있다. 화이트보드의 약식 스케치 방식은 데이터 시각화의 컴퓨터 이용 조작 및 분석(computer-aided manipulation and analysis)을 제공하도록 컴퓨터의 계산 능력과 조합될 수 있다. 데이터 시각화와의 상호작용은 다른 디바이스들 중에서도 디지털 디스플레이에 의해 제공될 수 있다. 이에 따라, 이러한 디바이스는 상호작용적 디지털 디스플레이로 간주될 수 있다. 임의의 디바이스가 상호작용적 디지털 디스플레이로서 잠재적으로 기능할 수 있으나, 본 개념은 펜- 및/또는 멀티-터치-가능형인 디바이스와 같은, 어떤 범위의 입력 양식에 대해 가능하게 된 디바이스에 더욱 용이하게 적용된다.

이 논의를 위하여, "상호작용적 디지털 디스플레이"는 펜- 및 멀티-터치-가능형 입력 양식을 구비한 스크린을 포함할 수 있다. 다른 구현에서, 상호작용적 디지털 디스플레이는 펜, 터치, 멀티-터치, 제스처(gesture), 비전(vision) 및/또는 발화(speech)와 같은 다양한 단일의 또는 다수의 입력 양식이 가능한 디바이스를 포함할 수 있다. 그 디바이스는 자동 완성(auto-complete) 기능을 대안적으로 또는 추가적으로 포함할 수 있다. 상호작용적 디지털 디스플레이는 단일의 또는 다수의 사용자로부터 동시에 입력을 인식하고 수신하는 것이 가능하게 될 수 있다.

상호작용적 디지털 디스플레이는 다수의 데이터 시각화를 동시적으로 보여줄 수 있다. 이들 다수의 데이터 시각화는 간단한 제스처와 조합되어, 데이터(가령, 사용자 데이터)의 새로운 조합을 나타내는 새로운 데이터 시각화를 산출할 수 있다. 새로운 데이터 시각화는 기저(underlying) 데이터가 액세스되거나 편집될 수 있도록, 기저 데이터로의 완전히 기능적인 연결을 유지할 수 있다. 새로운 데이터 시각화는 또한 추가적인 데이터 시각화로 조작될 수도 있다.

한 가지 상호작용적 디지털 디스플레이 예는 회의실 내에 설치될 수 있는 전통적인 화이트보드와 크기가 유사할 수 있어서, 성인이 상호작용적 디지털 디스플레이의 모든 영역에 손이 닿아 그 표면과 직접적으로 상호작용할 수 있다. 그러나, 다른 구현에서 태블릿 또는 스마트폰 유형 디바이스와 같이 상호작용적 디지털 디스플레이는 더 크거나 더 작을 수 있다. 다른 구현에서, 투영(projection) 시스템에 연결된 멀티-터치 가능형 디바이스를 발표자가 사용할 수 있어서, 다른 이들이 다른 스크린 상의 투영된(projected) 데이터 시각화를 주시하는 동안 발표자는 멀티-터치 가능형 디바이스 상에서 데이터를 조작하는 것이 가능하다. 예컨대, 커다란 발표장에서 발표자에 의해 조작되고 있는 데이터 시각화는 서 있는 성인이 스크린의 모든 영역에 손이 닿아 물리적인 스크린과 직접적으로 상호작용하는 것이 가능하지 않을 만큼 충분히 큰 스크린 상에 투영될 수 있다. 다른 예에서, 회의실에서 탁자 주위에 앉아 있는 여러 공동 작업자가 벽에 설치된 상호작용적 디지털 디스플레이 상의 데이터 시각화를 보고 있을 수 있다. 공동 작업자 개개인은 자기 자리에서 개개의 태블릿 또는 다른 폼 팩터(form factor)를 통하여 데이터 시각화에 기여할 수 있다.

몇몇 구현에서, 상호작용적 디지털 디스플레이는 상호작용적 디지털 디스플레이 상에서 데이터를 조작하기 위한 비용(가령, 시간)을 최소화할 수 있다. 예를 들면, 상호작용적 디지털 디스플레이는 데이터를 선택하고 차트를 구성하기 위한 단계를 줄임으로써 사용자가 새로운 스프레드시트 및/또는 차트를 생성하는 데에 도움이 될 수 있다. 상호작용적 디지털 디스플레이의 자유형태(freeform) 성질은 사용자 또는 사용자들의 그룹이 데이터 조작을 빠르게 스케치하는 것, 상이한 옵션(option)을 시도하는 것, 상관관계(correlation) 및 이상치(outlier)를 발견하는 것 및/또는 데이터를 필터링하고(filter) 요약하는 것을 가능하게 할 수 있다.

시나리오 예

도 1 내지 도 4는 상호작용적 디지털 디스플레이(Interactive Digital Display: IDD)(102)를 포함하는 상호작용적 경험 시나리오(100)의 예시적 표현을 집합적으로 보여준다. 이 예에서, 도 1에 도시된 바와 같이, 사용자(104)는 상호작용적 디지털 디스플레이(102) 앞에 서 있다. 이 경우에, 상호작용적 디지털 디스플레이는 스크린(screen)(106)(가령, 상호작용적 표면(interactive surface))을 포함한다. 그래픽 사용자 인터페이스(Graphical User Interface: GUI)(108)(가령, 디스플레이 영역(display area), 캔버스(canvas))가 스크린(106) 상에 제시될 수 있다. 하나의 구현에서, GUI(108)는 데이터의 두 그룹을 조합하는 것을 가능하게 할 수 있다. 이 경우에, 두 데이터 시각화가 GUI를 통하여 제시될 수 있다. 이 예에서, 데이터 시각화는 제1 픽처(picture)(110(1)) 및 제2 픽처(110(2))를 포함할 수 있다. 여기서 제1 픽처는 일반적으로 사람(112)의 사진인 반면, 제2 픽처는 일반적으로 풍경(114)의 사진이다.

도 1에 도시된 바와 같이, 사용자(104)는 자신의 왼편과 오른편 검지 각각으로써 제1 픽처(110(1)) 및 제2 픽처(110(2)) 근처에서 상호작용적 디지털 디스플레이(102)의 스크린(106)의 표면을 터치하고 있다. 도 2에 예시된 바와 같이, 사용자(104)는 제1 픽처 및 제2 픽처를 서로 더 가깝게 드래그(drag)하면서, 스크린(106)을 가로질러 자신의 검지를 움직일 수 있다. 도 3에 도시된 바와 같이, 사용자는 제1 픽처 및 제2 픽처를 나란히 둘 수 있다. 이 예에서, 상호작용적 디지털 디스플레이(102)는 GUI(108) 상에서 서로 겹치게(overlap) 나타나도록 제1 픽처 및 제2 픽처를 보여줄 수 있다. 몇몇 구현에서, 하나의 픽처가 다른 픽처 뒤에 숨겨지지 않도록, 제1 픽처 및 제2 픽처는 겹쳐지는 경우에 반투명하게 나타날 수 있다. 도면 페이지의 제약으로 인해, 도 2 및 도 3에서 사용자는 제1 픽처 및 제2 픽처가 그 예시에서 사용자의 신체에 의해 가려지지 않게 하는 오버헤드 모션(overhead motion)으로써 그 픽처들을 모으는 것으로 묘사된다. 그 픽처들은 사용자의 눈 높이, 또는 사용자에 관한 어떤 다른 배향(orientation)에서 모아질 수 있음에 유의하시오.

하나의 구현에서, 상호작용적 디지털 디스플레이(102)는 사용자의 행동을 특정 제스처(가령, 사용자 입력 제스처, 양손을 쓰는(two-handed) 사용자 제스처)로서 인식할 수 있다. 이 경우에, 동시에 제1 픽처(110(1)) 및 제2 픽처(110(2)) 양자 모두를 사용자가 움직여 제1 픽처(110(1)) 및 제2 픽처(110(2))를 나란히 두는 것은 300에서의 "범프"(bump) 제스처로서 인식될 수 있다. 상호작용적 디지털 디스플레이는 범프 제스처(300)를 사용자가 제1 픽처 및 제2 픽처를 조합하기를 바라는 것으로 해석할 수 있다. 두 데이터 시각화를 조합하려는 소망을 나타내기 위한 다른 형태의 사용자 입력이 고려된다. 예를 들어, 다른 터치 제스처, 신체 제스처, 시각적 큐(visual cue), 또는 발화된 명령(spoken command)이 상호작용적 디지털 디스플레이와 함께 사용될 수 있다. 한 가지 그러한 비-터치(non-touch) 구현에서, 사용자는 상호작용적 디지털 디스플레이를 실제로 터치하지 않고 유사한 제스처를 행할 수 있다(가령, 사용자는 자신의 왼손으로 좌측 픽처, 그리고 자신의 오른손으로 우측 픽처를 가리키고 범핑 행동(bumping action)에서 자신의 두 손을 모으는 모션을 취할 수 있음). 상호작용적 디지털 디스플레이는 이 제스처를 전술된 터치 제스처와 유사한 방식으로 해석할 수 있다.

도 4에 도시된 예에서, 상호작용적 디지털 디스플레이(102)는 제1 픽처(110(1)) 및 제2 픽처(110(2))를 제3 데이터 시각화, 가령 새로운 픽처(400)로 조합함으로써 도 3의 범프 제스처(300)에 자동으로 응답할 수 있다. 상호작용적 디지털 디스플레이(102)는 GUI(108) 상에 새로운 픽처(400)를 보여줄 수 있다. 새로운 픽처는 (도 1 내지 도 3에 보여진 바와 같은) 제1 픽처(110(1)) 및 제2 픽처(110(2))로부터의 데이터를 포함할 수 있다. 예컨대, 새로운 픽처(400)는 제1 픽처로부터 사람(112)을 보여주고 또한 제2 픽처로부터 풍경(114)을 보여준다. 이 경우에, 상호작용적 디지털 디스플레이는 사람(112)이 풍경(114) 내에 적절히 스케일이 맞추어져(scaled) 나타나도록 자동으로 그 사람의 크기를 맞추었다(sized).

요약하자면, 몇몇 구현은 데이터 시각화에 관한 사용자 입력을 인식하는 상호작용적 디지털 디스플레이를 포함할 수 있다. 사용자 입력의 인식 또는 해석을 통해, 상호작용적 디지털 디스플레이는 사용자로 하여금 자신이 데이터를 조합하기를 원한다고 나타낼 수 있도록 할 수 있다. 상호작용적 디지털 디스플레이는 그 조합이 가능한지 여부 및 그 조합을 어떻게 달성할 것인지를 판정할 수 있으며(이 양상은 도 15 내지 도 16에 관해 후술됨), 상호작용적 디지털 디스플레이는 조합된 데이터를 제시할 수 있다. 환언하면, 사용자에 의한 단순한 제스처에 응답하여, 상호작용적 디지털 디스플레이는 데이터를 자동으로 처리하고 처리된 데이터를 보는 새로운 방식을 생성하여 디스플레이할 수 있다.

도 5 내지 도 8은 본 개념의 다른 예를 집합적으로 예시한다. 도 5의 이 예에 도시된 바와 같이, 상호작용적 경험 시나리오(500)는 상호작용적 디지털 디스플레이(Interactive Digital Display: IDD)(502)를 포함한다. 사용자(504)는 디지털 화이트보드로서 나타난 상호작용적 디지털 디스플레이(502) 앞에 서 있다. 상호작용적 디지털 디스플레이는 스크린(506)을 포함할 수 있다. 그래픽 사용자 인터페이스(Graphical User Interface: GUI)(508)는 스크린(506) 상에 제시될 수 있다. 하나의 구현에서, GUI(508)는 그래프(510)로서 나타난 두 데이터 시각화를 포함할 수 있다. 이 경우에, 제1 그래프(510(1))는 수평 바 차트(horizontal bar chart)(512)로서 나타난 반면, 제2 그래프(510(2))는 수직 바 차트(vertical bar chart)(514)로서 나타나 있다.

도 5에 도시된 바와 같이, 몇몇 구현에서, 상호작용적 디지털 디스플레이(502)는 하나 이상의 센서(516)를 가질 수 있다. 이 예에서, 센서(516)는 상호작용적 디지털 디스플레이 앞의 영역을 포착하기(capturing) 위한 다수의 카메라를 포함한다. 몇몇 경우에, 센서는 Microsoft® Kinect® 브랜드 3-D 센서에 의해 채택된 것과 같은 3-D 카메라로서 나타날 수 있다. 센서는 상호작용적 디지털 디스플레이에 의해 사용자 입력으로서 해석될 수 있는, 사용자(504)에 의한 움직임을 포착할 수 있다. 사용자 입력을 검출하는 다른 유형의 센서 및 방법이 고려된다.

도 5 내지 도 8에서 집합적으로 예시된 바와 같이, 사용자(504)는 GUI(508)에 대해 제스처를 행할 수 있다. 이 경우에, 사용자(504)는 상호작용적 스크린(506)을 터치하지 않고서 디지털 디스플레이(502)로부터 몇 피트(feet) 뒤에서, 손들이 떨어진 채 시작한다(도 5). 몇몇 구현에서, GUI 내에 디스플레이되는 객체를 선택하기 위한 모션이 사용자에 의해 행해질 수 있다. 예컨대, 사용자는 518에 나타내어진 바와 같이 그래프(510) 근처에서 자신의 손을 호버링할(hover) 수 있다. 몇몇 경우에, GUI는 사용자의 모션을 이끄는 데에 도움이 되기 위해 사용자에게 GUI 상에 디스플레이된 객체에 대한 그 사용자의 손의 포지션(position)에 관해서 피드백(feedback)을 제공할 수 있다(가령, 사용자의 손 아래의 객체를 강조하여(highlight) 그것을 선택된 것으로 보여줌(도시되지 않음)).

도 6에 도시된 바와 같이, 상호작용적 디지털 디스플레이(502)는 그래프(510)를 센서(516)에 의해 판정된 호버링 모션(hovering motion)(518)(도 5)에 기반하여 선택되어 있는 것으로서 보여줄 수 있다. 상호작용적 디지털 디스플레이(502)는 GUI(508) 내에서 선택된 객체를 강조(620)하거나 그렇지 않으면 나타낼 수 있다. 몇몇 경우에, 상호작용적 디지털 디스플레이는 객체를 GUI(508) 상에 반투명하게 나타나게 함으로써 그 객체를 선택되어 있는 것으로서 나타낼 수 있다(도시되지 않음). 객체가 선택되었음을 GUI 상에 나타내기 위한 다른 방식이 고려된다. 일단 그래프(510)가 선택되면, 이어서 사용자(504)는 자신의 양팔을 서로를 향해 움직임으로써 선택된 그래프(510)를 움직일 수 있다. 사용자가 상호작용적 디지털 디스플레이(502)의 스크린(506)의 표면을 터치하지 않게, 사용자는 센서(516)의 작동을 통해 이 움직임을 완수할 수 있다. 이런 방식으로, 도 7에 도시된 바와 같이, 사용자는 제1 그래프(510(1)) 및 제2 그래프(510(2))를 모을 수 있다.

이 예를 계속하면, 도 7에 도시된 바와 같이, 사용자(504)는 제1 그래프(510(1)) 및 제2 그래프(510(2))를 함께 "범핑"하는 모션을 취할 수 있다. 범핑 모션은 GUI(508) 상의 그래프(510)가 함께 움직여 서로 접촉하게 되는 것으로 나타나도록 사용자가 자신의 손을 움직임으로써 행할 수 있다. 범핑 모션은 어떤 속도의 움직임을 포함할 수 있다. 이 움직임은 상호작용적 디지털 디스플레이(502)에 의해 700에서의 "범프" 제스처로서 인식될 수 있다. 상호작용적 디지털 디스플레이는 700에서의 범프 제스처를 사용자가 제1 그래프 및 제2 그래프를 조합하기를 바라는 것으로서 해석할 수 있다.

도 8에 도시된 예에서, 상호작용적 디지털 디스플레이(502)는 제1 그래프(510(1)) 및 제2 그래프(510(2))를 제3 데이터 시각화, 가령 산포도(scatter plot)(800)로 조합함으로써 도 7의 700에서의 범프 제스처에 자동으로 응답할 수 있다. 산포도는 GUI(508) 상에 디스플레이된 제1 그래프 및 제2 그래프 양자 모두로부터의 조합된 데이터의 시각화일 수 있다. 이 경우에, 상호작용적 디지털 디스플레이는 범프 제스처를 인식하고 이에 응답하여, 사용자가 조합하기를 바라는 두 데이터 시각화의 기저를 이루는 데이터를 조사할(examine) 수 있다. 하나의 구현에서, 상호작용적 디지털 디스플레이는 제1 그래프 및 제2 그래프에 의해 나타내어지는 데이터 세트를 조사하고, 선택된 데이터를 조합하기 위한 논리적 방식(logical way)(가령, 이 경우에는 조합된 데이터 세트로부터 산포도를 생성하는 것에 의함)을 판정할 수 있다.

도 8에 도시된 예에서, 산포도(800)는 사용자(504)로 하여금 추가로 데이터를 조합하거나, 분리하거나, 그렇지 않으면 조작할 수 있게 하는, 상호작용적 경험 내의 기능적인 데이터 시각화일 수 있다. 이들 동작은 도 9 내지 도 41에 관해 추가로 후술될 것이다.

도 9 내지 도 41은 상호작용적 디지털 디스플레이(Interactive Digital Display: IDD)(902)를 포함하는 상호작용적 경험 시나리오(900)를 집합적으로 예시한다. 간략히, 이들 도면은 본 개념에 의해 가능하게 되는 일련의 사용자 상호작용 예들을 예시한다. 사용자(904)가 상호작용적 디지털 디스플레이(902)와 상호작용하고 있을 수 있다. 상호작용적 디지털 디스플레이(902)는 스크린(906)을 포함할 수 있으며, 그래픽 사용자 인터페이스(Graphical User Interface: GUI)(908)가 스크린(906) 상에 제시될 수 있다.

도 9에 도시된 바와 같이, 사용자(904)는 콘텐트(content)를 상호작용적 디지털 디스플레이(902)에 추가하기 위해 스케치 기반 자유 형태 입력(sketch-based free-form input)을 사용할 수 있다. 이 예에서, 상호작용적 디지털 디스플레이(902)는 펜 가능형(pen-enabled) 상호작용적 디지털 디스플레이이다. 스케치 기반 입력은 그래픽 표현(graphical representation)을 위한 축을 나타내는 핸드 스트로크(hand stroke)의 형태로 된 것일 수 있다. 도 9는 상호작용적 디지털 디스플레이 상에 스트로크를 생성하기 위해 사용되는 펜(910)을 도시한다. 다른 입력 방법이 전술되었다. 이 예에서, 처음에, 사용자는 수직 스트로크(vertical stroke)(912) 및 교차하는 수평 스트로크(horizontal stroke)(914)를 (또는 반대로) 줄 긋는데(스케치하는데), 이들의 교차점은 차트 인식기(chart recognizer)에 의해 차트를 위한 x-y 축으로서 인식된다. 교차하는 입력 스트로크들의 사용은 단지 차트 또는 그래프를 암시하기 위한 하나의 기법임에 유의하시오. 예컨대, 다른 기법은 화살표에 눈금 표시(tic mark)를 적용하는 것일 수 있다. 원하는 대로 다른 접근법이 활용될 수 있다.

도 10에 도시된 바와 같이, 사용자(904)는 수직 스트로크(912) 옆에 축 라벨(1000(1))로서 "주"(state)를, 그리고 수평 스트로크(914) 옆에 축 라벨(1000(2))로서 "졸업률"(graduation rate)을 기입하기 위해 펜(910)을 사용할 수 있다. 다른 예에서, 수직 스트로크 옆의 축 라벨은 그 선을 따라 수직으로 기입될 수 있다. 몇몇 구현에서, 일단 사용자가 수직 스트로크(912) 및 수평 스트로크(914)를 대충 줄 그으면, 상호작용적 디지털 디스플레이(902)는 축에 라벨을 붙이기 위한 입력 영역(도시되지 않음)을 자동으로 오버레이할(overlay) 수 있다. 이후 사용자는 입력 영역 내에, 타이핑(typing), 기입, 또는 음성 명령(voice command)에 의해 라벨을 간단히 추가할 수 있다. 상호작용적 디지털 디스플레이는 또한 색상 선택과 같은 다른 차트 옵션과, 차트 옵션을 입력하는 다른 방법을 제공할 수 있다.

일단 사용자(904)가 수직 스트로크(912) 및 수평 스트로크(914)에 라벨을 붙였다면 상호작용적 디지털 디스플레이(902)는 도 11에 도시된 바와 같이, 바 차트(bar chart)(1100)가 나타나게 할 수 있다. 이 경우에, 상호작용적 디지털 디스플레이는 수직 스트로크(912), 수평 스트로크(914) 및 축 라벨을 차트를 위한 축이라는 암시로서 인식할 수 있다. 상호작용적 디지털 디스플레이는 도 11에 도시된 바와 같이 머신 생성(machine-generated) 축, 라벨 및 다른 적절한 차트 표기(designator)를 자동으로 그릴 수 있다. 예컨대, 상호작용적 디지털 디스플레이는 차트에 대한 제목 "주별 졸업률"(Graduation Rate by State)(도시되었으나 표기되지는 않음)을 추가하였다. 대안적으로, 대략적인 사용자 생성(user-created) 스트로크들은 손으로 그린(hand-drawn) 외양을 갖는 차트로서 포착 및 제시될 수 있다. 이 경우에, 단순성을 위해 라벨이 있는 바 차트가 도 10에서의 사용자 입력을 따라서 도시된다. 그러나, 몇몇 구현에서, 상호작용적 디지털 디스플레이는 사용자가 도 9에 도시된 수직 스트로크 및 수평 스트로크를 그린 후에 머신 생성 축을 자동으로 그릴 수 있다. 그 후, 사용자는 축 라벨을 추가할 수 있으며 상호작용적 디지털 디스플레이는 차트 제목 등등을 추가할 수 있다.

몇몇 구현에서, 상호작용적 디지털 디스플레이(902)는 데이터에 대해 검색하기 위한 카테고리로서 주 및 졸업률 축 라벨들(1000(1), 1000(2))(도 10을 보시오)을 사용할 수 있다. 상호작용적 디지털 디스플레이(902)는 이 카테고리들에서 발견되는 데이터를 데이터 시각화, 예컨대 도 11의 바 차트(1100)로서 제시할 수 있다. 몇몇 구현에서, 상호작용적 디지털 디스플레이는 데이터 시각화를 생성하기 위해 사용되었던 데이터의 소스(source)를 보여줄 수 있다(도시되지 않음). 다른 구현에서, 상호작용적 디지털 디스플레이는 데이터의 소스에 대한 옵션을 사용자(904)에게 제공할 수 있다.

상호작용적 디지털 디스플레이(902)는 데이터 시각화를 포맷화하기(format) 위한 논리적 방식을 자동으로 판정할 수 있다. 도 11에 도시된 예에서, 데이터는 위에서 아래로, 수평 바 길이에 따라 정렬된다. 바 차트(1100)는 단순히 바 차트의 이미지라기보다, 구조화된 객체(structured object)일 수 있다. 예컨대, 바 차트(1100)는 그 자체로 객체로서 개별적으로 선택가능한 요소를 포함할 수 있다. 이런 방식으로, 바 차트는 다양한 형태의 데이터 조작 및 분석을 가능하게 하는, 기저 데이터의 완전히 기능적인 표현일 수 있다. 선택가능한 객체의 개념은 아래에서, 도 32 내지 도 34에 관해 추가로 논의될 것이다.

상호작용적 디지털 디스플레이(902) 상에 스케치된 차트는 상호작용적 경험 시나리오(900) 내에서 GUI(908)에 추가될 수 있는 콘텐트의 한 가지 예이다. 데이터 시각화의 다른 예는 그래프, 표(table), 사진, 컴퓨터 생성 그래픽 객체(computer-generated graphical object), 그리고 디지털 이미지로 처리된 다른 아트워크(artwork)를 포함할 수 있다. 다른 구현에서 추가될 수 있는 콘텐트의 다른 예는 무엇보다도, 이미지, 비디오, 텍스트 박스(text box), 잉크(ink)로부터의 형상 기록 스마트 객체(shape recorded smart object), 리스트(list), 표, 시간선(timeline), 형상 아트(shape art)(원, 정사각형, 삼각형 등등) 및/또는 붙임쪽지(sticky note)를 포함할 수 있다. 콘텐트를 공여할 수 있는 기본적인 기능의 또 다른 예는 무엇보다도, 브레인스토밍 애플리케이션(brainstorming application), 리써치 및 검사 도구(research and exploration tool), 시간/캘린더 편성(time/calendar coordination), 활동 계획표(activity planner), 제품/쇼핑 비교 도구, 데이터 검사 도구, 예산편성 및 배분을 포함한다. 또한, 몇몇 구현에서 콘텐트의 추가는 상호작용적 디지털 디스플레이의 가시적인 디스플레이 표면에 한정될 수 있다. 다른 구성에서, 사용가능한 디스플레이 영역은 수평 및/또는 수직 방향에서의 스크롤가능(scrollable) 및/또는 줌가능(zoomable) 캔버스를 포함할 수 있다(가령, 이용가능한 GUI는 주어진 사례에서 볼 수 있는 것보다 더 클 수 있음).

추가적으로, 콘텐트가 사용자(904)에 의해, 예를 들어 스케치하는 것에 의해(도 9 내지 도 11) 생성될 수 있거나, 콘텐트가 액세스될 수 있다. 예컨대, 사용자(904)는 자신이 상호작용적 디지털 디스플레이(902) 상에 보여주기를 원하는 선재(pre-existing) 차트(도시되지 않음)를 가지고 있다고 가정하자. 선재 차트는 클라우드(cloud) 내에, 예를 들어 전역 계정(global account) 내에 및/또는 사용자(904)의 개인용 디바이스들 중 하나, 예를 들어 스마트 폰, 태블릿 또는 다른 컴퓨터에 저장될 수 있다. 상호작용적 디지털 디스플레이(902)는 네트워크 상에서 이용가능하거나 상호작용적 디지털 디스플레이에 로컬로(locally) 저장된 데이터 및/또는 데이터 시각화를 액세스하는 기능을 제공할 수 있다. 추가적으로, 콘텐트가 계층들 내에 도입될 수 있는데, 콘텐트의 상이한 계층들은 상이한 콘텐트 속성들을 제공하거나 유지한다.

상호작용적 경험 시나리오(900)로 돌아오면, 도 12는 사용자가 바 차트(110)로 작업하는 것을 예시한다. 예컨대, 사용자는 차트 옵션을 액세스하기 위해 터치 명령을 사용할 수 있다. 이 예에서, "터치"는 터치 지시자(touch indicator)(1200)와 함께 도면 내에 도시되는데, 이는 사용자의 손가락 끝 아래에서 성상(starburst) 패턴을 닮은 것이다. 자신의 왼손의 검지를 사용하여, 사용자(904)는 상호작용적 디지털 디스플레이(902)의 스크린(906)의 표면을 터치할 수 있다(도시되었으나 도면 페이지 상의 어수선함을 피하기 위해 표기되지는 않음). 몇몇 구현에서, 사용자는 툴바(toolbar)(1202)를 드러내기 위해 바 차트를 터치하고 홀드할(hold)(자신의 검지를 스크린의 표면 상에 그대로 있게 둘) 수 있다. 터치 및 홀드 명령은 "핀 동작"(pin operation)으로 칭해질 수 있다. 툴바(1202)는 아이콘을 포함할 수 있다. 예컨대, 아이콘 중 하나는 복사 아이콘(copy icon)(1204)일 수 있다. 사용자는 터치 지시자(1200)와 함께 도시된 바와 같이, 자신의 오른쪽 검지로써 복사 아이콘(1204)를 터치하고, 자신이 바 차트(1100)의 복사본을 만들고 싶어한다는 것을 나타내기 위해 복사 아이콘을 툴바(120)로부터 GUI(908) 내의 빈 공간으로 드래그해 내올 수 있다. 대안적으로, 사용자는 복사 옵션을 선택하기 위해 자신의 오른손 검지로써 복사 아이콘을 탭(tap)할 수 있다. 차트 옵션 또는 기능을 액세스하기 위한 다른 방법이 고려된다. 예컨대, 사용자는 툴바를 이용가능하게 하기 위해 바 차트를 단순히 탭할 수 있다. 몇몇 구현에서, 상호작용적 디지털 디스플레이는 단일 터치 및 다중 터치를 구별할 수 있다. 다중 터치는 동등하게 취급될 수 있거나, 가중화될 수 있다. 예컨대, 몇몇 유형의 터치는 다른 유형의 터치보다 더 많은 가중치를 지닐 수 있다.

(도 12에서 도시되었으나 표기되지는 않은) 다른 아이콘은 무엇보다도, 수직 바 차트, 수평 바 차트, 테이블, 선 차트(line chart), 산포도, 파이 차트(pie chart), 맵(map), 그리고/또는 데이터를 필터링(filtering)하는 것을 위한 아이콘을 포함할 수 있다. 상호작용적 디지털 디스플레이에 의해 제공될 수 있는 컴퓨터 이용 조작 및 분석의 다른 예는 다른 차트 유형을 선택하기, 뷰(view)를 변경하기, 정렬하기, 필터링하기, 분리하기, 함수(가령, 평균, 표준 편차, 최소, 최대, 카운트(count))를 적용하기, 축의 범위 또는 스케일을 조절하기, 크기조정(resizing), 착색(coloring), 라벨 붙이기, 편집하기, 데이터의 서브세트(들)를 추출하기 등등을 포함할 수 있다. 이들 동작은 데이터, 데이터 시각화 및/또는 데이터 시각화의 일부에 적용될 수 있다.

도 13은 바 차트(1100) 및 도 12의 예에서 생성되었던 차트 복사본(1300)을 도시한다. 도 13에 도시된 바와 같이, 사용자(904)는 차트 복사본(1300)의 x-축 라벨(1302)을 변경하고 있다. 사용자는 단순히 기존의 축 제목 위에 기입함으로써 x-축 라벨을 "1인당 기금"(Funding per capita)으로 변경하고 있다. 하나의 예에서, 사용자가 GUI(908) 상의 원래의 축 제목 위에 새로운 제목을 기입하기 시작하는 경우 원래의 축 제목은 사라질 수 있다. 다른 예에서, 원래의 축 제목은 사용자가 그 위에 새로운 제목을 기입하는 것을 마치고, 어떤 형태의 입력을 통해 새로운 제목의 수용 또는 입력을 나타낼 때까지 볼 수 있게 남아 있을 수 있다. 다른 구현에서, 사용자는 축 제목을 위한 텍스트 입력 박스를, 예를 들어 스크린 상의 제목 위에서 탭하는 것에 의해, 액세스할 수 있다. 도 13에 도시된 예에서, 새로운 x-축 라벨은 상호작용적 디지털 디스플레이에 의해 인식되고 차트 복사본(1300)은 도 14에 도시된 바와 같이 "주별 1인당 기금"(Funding per Capita by State)이라는 제목의 새로운 차트(1400)로 대체된다. 이 경우에, 사용자가 "1인당 기금"(Funding per capita)을 새로운 x-축 라벨로서 입력하는 것에 응답하여, 상호작용적 디지털 디스플레이(902)는 자동으로 관련 데이터에 대한 검색을 개시하였고 새로 찾은 것인 관련 데이터를 나타내는 새로운 데이터 시각화로서 새로운 차트(1400)를 생성하였다.

도 14에서, 사용자(904)는 새로운 차트를 자신의 왼손으로 터치 및 홀드하여 툴바를 드러냄으로써 새로운 차트(1400)를 위한 툴바(1202)를 액세스하고 있다. 자신의 오른손으로, 사용자는 차트 유형을 변경하기 위해 수직 바 차트 아이콘(1402)에서 또는 수직 바 차트 아이콘(1402) 근처에서 스크린(906)을 터치할 수 있다. 예컨대, 수직 바 차트 아이콘을 터치하는 것은 "주"(State) 및 "1인당 기금"(Funding per Capita) 카테고리들이 축을 전환하게 하는바, 수직 바 차트(1500)(도 15)가 나올 수 있다. 축의 스케일을 변경하는 것 등등과 같은 다른 차트 조작 옵션이 이용가능할 수 있다.

상호작용적 디지털 디스플레이(902)는 데이터 시각화의 컴퓨터 이용 조작 및 분석을 위해 사용될 수 있다. 예컨대, 사용자는 두 데이터 시각화를 조합하기를 바랄 수 있다. 상호작용적 디지털 디스플레이는 두 데이터 시각화를 자동으로 조합하도록 간단한 제스처로써 지시받을(directed) 수 있다. 몇몇 예에서, 상호작용적 디지털 디스플레이는 두 픽처(도 1 내지 도 4)와 같은 두 개의 유사한 데이터 시각화를 조합할 수 있다. 다른 예에서, 상호작용적 디지털 디스플레이는 파이 차트 및 바 그래프와 같은 두 개의 외견상 이질적인 데이터 시각화를 조합할 수 있다.

도 15에 도시된 예를 참조하면, 사용자(904)는 바 차트(1100)와 수직 바 차트(1500)를 조합하기를 바랄 수 있다. 하나의 구현에서, 사용자는 "범프" 제스처(1502)로써 두 데이터 시각화를 조합할 수 있다. 도 15의 예에서, 범프 제스처(1502)는 GUI(908) 상에서 차트들이 함께 움직이는 것을 나타내는 두 화살표로써 표기된다. 이 경우에, 범프 제스처는 사용자에 의해 그 사용자의 두 검지로 행해지는데, 각각의 검지는 차트들 중 하나를 터치하고 스크린 상에서 차트들을 서로를 향해 슬라이드시켜(sliding), 그것들을 함께 효과적으로 "범핑"시킨다. 차트들이 범프 제스처로써 GUI 상에서 겹치는 경우, 상호작용적 디지털 디스플레이는 의미 있는 방식으로 바 차트(1100) 및 수직 바 차트(1500)의 기저를 이루는 데이터를 자동으로 조합할 수 있다. 이 예에서, 그 조합은 도 16에 도시된 바와 같이 산포도(1600)를 생성한다.

이 경우에, 상호작용적 디지털 디스플레이(902)는 범프 제스처에 응답하여 산포도(1600)를 자동으로 생성하였다. 산포도(1600)는 제목이 "주별 졸업률 및 1인당 기금"(Graduation Rate and Funding per Capita by State)으로 되어 있으며 바 차트(1100) 및 수직 바 차트(1500)로부터의 데이터의 논리적 조합이다. 몇몇 구현에서, 범프 제스처(1502)(도 15)와 같은 제스처 후에, 새로운 차트가 나타나기 전에 잠시 "생각 중"(thinking) 아이콘이 나타날 수 있다(도시되지 않음). 데이터 시각화들을 조합하고자 하는 의도를 전달하기 위한 다른 능동적 사용자 명령 및/또는 수동적 사용자 명령이 고려되는데, 예를 들어 무엇보다도, 터치 제스처, 비-터치 제스처, 눈 시선(eye gaze), 음성 명령, 그리고/또는 스마트폰과 같은 다른 디바이스를 통하여 입력된 명령이다.

상호작용적 디지털 디스플레이(902)는 두 개(또는 그 이상)의 시각화로부터의 데이터의 하나의 조합을 제시하기 위한 논리적 방식을 판정하기 위해 데이터 시각화의 기저를 이루는 데이터(가령, 숫자, 단어, 이미지, 정보)를 조사할 수 있다. 예컨대, 하나의 구현에서, 상호작용적 디지털 디스플레이는 두 데이터 시각화가 픽처(도 1 내지 도 4를 보시오)임을 판정할 수 있다. 이 경우에, 상호작용적 디지털 디스플레이는 픽처 내의 객체의 유형, 객체의 스케일, 그리고 원래의 픽처 양자 모두로부터의 개별적인 객체들을 포함할 수 있는 새로운 픽처를 생성하기 위한 논리적 방식을 판정하는 것을 시도할 수 있다. 도 16을 다시 참조하면, 앞서 지적된 바와 같이, 산포도(1600)는 바 차트(100) 및 수직 바 차트(1500)(도 15)의 조합이다. 이 경우에, 상호작용적 디지털 디스플레이(902)는 공통 축 라벨/카테고리 "주"(State)를 새로운 데이터 시각화를 구축하기 위한 공통 카테고리로서 택하였고, 새로운 데이터 시각화를 위해 산포도 유형 차트를 선택하였다. 상호작용적 디지털 디스플레이는 새로운 데이터 시각화를 편집하기 위한 옵션을 제공할 수 있다. 예컨대, 상호작용적 디지털 디스플레이가 산포도(1600)가 나타나게 한 후(도 15), 상호작용적 디지털 디스플레이는 또한 산포도(1600)와 관련해서 GUI(908) 상에 툴바(1202)(도 12)를 자동으로 제공하여, 산포도를 편집하기 위한 옵션을 제공할 수 있다.

몇몇 예에서, 상호작용적 디지털 디스플레이(902)는 GUI(908) 상에 두 데이터 시각화의 가장 논리적인 조합을 자동으로 제시할 수 있다. 다른 예에서, 상호작용적 디지털 디스플레이는 둘 이상의 데이터 시각화를 조합하기 위한 다양한 옵션 및/또는 피드백을 제공할 수 있다. 몇몇 구현에서 상호작용적 디지털 디스플레이는 둘 이상의 특정 데이터 시각화를 조합하는 것이 가능하거나 가망이 있는지 여부를 판정할 수 있다. 이 판정은 그 조합을 개시하기 위한 사용자 명령, 예를 들어 범프 제스처(1502)(도 15) 전이나 그 동안에 행해질 수 있다. 상호작용적 디지털 디스플레이는 또한 둘 이상의 데이터 시각화가 조합될 수 있는지에 대해 사용자에게 피드백(가령, 힌트)을 제공할 수 있다. 예컨대, 만약 조합이 가능하거나 가망이 있다면, 심볼(symbol)이 GUI(908) 상에 나타날 수 있다. 심볼의 출현은 사용자(904)가 GUI 상에서 두 데이터 시각화를 서로 가까이 두는 것에 응답하는 것이거나, 사용자가 단순히 두 데이터 시각화를 각각의 검지로써 터치 및 홀드하는 것에 응답하는 것이거나, 또는 사용자가 범프 제스처(1502)와 같은 제스처를 행하는 것에 응답하는 것일 수 있다. 심볼은 도 15의 범프 제스처(1502)에서 묘사된 바와 같이 서로를 가리키는 화살표와 유사할 수 있거나, 여러 가지 심볼들 중 임의의 것일 수 있다. 몇몇 경우에, 만약 두 데이터 시각화를 조합하는 것이 가능하지 않다면, 사용자가 그것들을 함께 움직이거나 그것들을 함께 "범프"하려고 하는 경우에 아무 일도 일어나지 않을 것이다. 다른 경우에, 두 데이터 시각화에 대해 범프가 가능하지 않음을 나타내기 위해 아이콘 또는 다른 지시자가 보여질 수 있다.

다른 구현에서, 사용자에 의한 제스처에 응답하여, 상호작용적 디지털 디스플레이(902)는 새로운 데이터 시각화를 위한 옵션을 보여줄 수 있다(도시되지 않음). 예컨대, 상호작용적 디지털 디스플레이가 하나의 버전을 자동으로 제공하기보다는, 사용자가 새로운 차트를 위한 다수의 차트 유형을 제시받고 하나를 선택하도록 유도될(prompted) 수 있다. 상호작용적 디지털 디스플레이는 바 차트, 파이 차트, 산포도, 표 및 리스트와 같은 여러 가지 데이터 시각화 중 임의의 것을 조합할 수 있다. 상호작용적 디지털 디스플레이는 또한 새로운 조합된 데이터 시각화를 위해 이들 형태 중 임의의 것을 자동으로 선택할 수 있다. 대안적으로, 사용자는 형태를 선택하도록 유도될 수 있다. 몇몇 구현에서, 상호작용적 디지털 디스플레이는 사용자에게 새로운 데이터 시각화에 관련된 여러 가지 다른 옵션 또는 입력 기능, 예를 들어 축 라벨, 스케일링(scaling), 색상 선택 등등을 제시할 수 있다. 환언하면, 새로운 조합된 데이터 시각화는 두 데이터 시각화를 조합하기 위한 간단한 사용자 명령에 응답하여 자동으로 나타날 수 있거나, 조합된 데이터 시각화는 사용자 선택된(user-selected) 옵션으로부터 단계적으로 구축될 수 있다. 예컨대, 제1 옵션은 차트의 유형을 선택하는 것일 수 있고, 제2 옵션은 차트의 각각의 축에 대한 카테고리를 선택하는 것일 수 있으며, 기타 등등이다.

몇몇 경우에, 사용자(904)는 데이터 시각화의 조합을 "취소하기"(undo)를 원할 수 있다. 상호작용적 디지털 디스플레이(902)는, 예컨대 도 17에 도시된 "쉐이크"(shake) 제스처(1700)로써, 조합된 시각화를 분리하는 옵션을 가질 수 있다. 이 예에서, 쉐이크 제스처는 사용자가 자신의 검지를 스크린(906)을 가로질러 앞뒤로 스와이프하여(swiping), 효과적으로 산포도를 "흔들어" 떨어지게 하는 것을 수반한다. 이 예에서, 쉐이크 제스처(1700)의 결과는 (도 15에 도시된 바와 같이) GUI(908) 상에 디스플레이된 두 개의 원래의 차트인 바 차트(1100) 및 수직 바 차트(1500)일 수 있다. 몇몇 경우에, 상호작용적 디지털 디스플레이는 두 개의 원래 차트가 산포도(1600)로부터 날아가는 것으로 나타나게 할 수 있다. 다른 구현에서, 복합적인 데이터 시각화를 "떨쳐"내는 것은 상호작용적 디지털 디스플레이가 이전에 디스플레이되지 않았던 데이터 시각화(들)을 GUI 상에 보여주는 것을 초래할 수 있다. 예컨대, 상호작용적 디지털 디스플레이는 사용자가 이전의 차트(들)로 되돌아가는 것이든 아니면 새로운 데이터 시각화(들)를 고르는 것이든 어느 쪽을 선택하도록 유도하는 옵션을 GUI 상에 보여줄 수 있다.

이제 도 18을 참조하면, 도 16에 도시된 예에서 계속해서, 사용자(904)는 산포도(1600) 내의 데이터의 다양한 조작 또는 분석을 수행하기를 바랄 수 있다. 몇몇 구현에서, 사용자는 툴바(120)를 드러내기 위해 자신의 왼손 검지로써 산포도를 터치 및 홀드하는, 앞서 소개된 핀 동작을 사용할 수 있다. 이후 사용자는 필터 아이콘(filter icon)(1800)과 같은 아이콘을 선택할 수 있다. 필터 아이콘(1800)을 선택함으로써 가동될(activated) 수 있는 필터링 기능(filtering function)은 산포도의 기저를 이루는 데이터를 조작하는 데 사용될 수 있다. 이 경우에, 이제 도 19를 참조하면, 필터 기능의 선택은 상호작용적 디지털 디스플레이로 하여금 GUI(908) 상에 입력 영역(1900)이 나타나게 하도록 할 수 있다. 사용자는 산포도 내의 데이터를 조작하기 위해 입력 영역 내에 파라미터 및/또는 조건을 입력할 수 있다. 예컨대, 사용자는 크기 유도성 텍스트 필드(size affordance text field)(도시되었으나 표기되지는 않음) 내에 "인구"(population)를 기입할 수 있다. 응답으로, 상호작용적 디지털 디스플레이(902)는 산포도 내의 거품(주)이 그에 따라 커지게 할 수 있다. 이 경우에, 1902로 표기된, 뉴욕(New York)을 나타내는 데이터 포인트(data point)의 비교적 큰 거품 크기는 산포도 내에 나타내어진 다른 주에 비해 뉴욕주(New York State)의 비교적 더 큰 인구 크기에 관련된다. 이 경우에, 사용자는 필터 텍스트 필드 내에 "2008"을 입력하여, 연도 "2008"에 대한 데이터만 산포도 내에 디스플레이되게 할 수 있다. 이 예에서, 상호작용적 디지털 디스플레이(902)는 연도의 사용자 입력을 사용자가 필터 파라미터를 위한 시간을 선택하고자 의도하는 것으로 인식하였다. 다른 예에서 상호작용적 디지털 디스플레이는 파라미터를 자동으로 선택할 수 있거나, 사용자는 다른 방식으로 파라미터를 선택하도록 유도될 수 있다. 또한, 거품 또는 다른 데이터 표현에 자동으로 라벨이 붙여질 수 있다. 대안적으로, 사용자는 자신이 예를 들어 데이터 포인트를 탭하는 것에 의해 라벨을 붙였으면 하는 데이터를 선택할 수 있다.

도 20은 상호작용적 디지털 디스플레이(902)가 사용자로 하여금 GUI(908) 상의 요소의 제어를 기동하거나(invoke) 데이터 조작을 기동할 수 있도록 할 수 있는 다른 방식을 예시한다. 이 예에서, 사용자는 시간선(2000)이 GUI(908) 상에 나타나게 할 수 있다. 시간선(2000)은 펜-상호작용, 터치-상호작용, 음성-상호작용, 또는 어떤 다른 방법에 의해 기동될 수 있다. 이 경우에, 시간선은 사용자(904)가 연도를 변경하기 위해 자신의 손가락으로 슬라이드할 수 있는 토글(toggle)(2002)을 포함할 수 있다. 도 20에 도시된 바와 같이, 사용자는 시간선 상에서 표시 "2008"로부터 우측을 향해, 연도 "2009"를 향해 토글(2002)을 움직였다. 응답으로, 상호작용적 디지털 디스플레이는 산포도 내의 거품이 필터링 기능에 따라 커지고 줄어들고 이동하게 할 수 있다. 예컨대, 연도가 2008에서 2009로 조절되었으므로, 각각 2004(1) 및 2004(2)로 표기된, 콜로라도(Colorado) 및 켄터키(Kentucky)를 나타내는 거품들은 도 19에 비해 크기 및 위치를 바꾸었다. 몇몇 경우에, 거품은 새로운 크기 및/또는 위치를 "척 취할"(snap) 수 있거나, 거품은 부드럽게(fluidly) 커지고 줄어들고 슬라이드할 수 있다.

도 21은 사용자(904)가 더 많은 공간을 GUI(908) 상에서 이용가능하게 하기 위해 스크린(906)을 가로질러 좌측으로 산포도(1600)를 "움직이는" 것을 보여준다. 이 예에서, 사용자는 이동 제스처(move gesture)(2100)를 행하기 위해 스크린을 가로질러 자신의 왼손 손바닥 및 손가락 끝을 슬라이드할 수 있다. 다른 구현에서, 이동 제스처는 한 손가락 끝, 여러 손가락 끝으로, 또는 상호작용적 디지털 디스플레이(902)에 의해 인식되는 비-터치 제스처에 의해 행해질 수 있다. GUI 상의 뷰 밖으로, 이 경우에는 좌측으로 이동된 객체는 삭제될 수 있거나, GUI가 도로 우측으로 이동될 때까지 뷰 밖에 숨겨진 채 있을 수 있다.

도 22에 도시된 바와 같이, 사용자(904)는 상호작용적 디지털 디스플레이(902)와 연관된 추가적인 기능을 기동하기 위해 펜(910)을 사용할 수 있다. 예컨대, 사용자는 GUI(908)의 빈 영역 내에 물음표를 그릴 수 있다. 물음표를 그리는 행동은 상호작용적 디지털 디스플레이로 하여금 도 23에 도시된 바와 같이 GUI 상에 입력 바(input bar)(2300)가 나타나게 하도록 할 수 있다. 이 예에서, 펜(910)은 발화 또는 텍스트 입력 옵션을 기동하는 데 사용될 수 있다. 입력 바(2300)는 정보 탐색(navigation) 및/또는 검색 질문 박스일 수 있다. 입력 바는 사용자로 하여금 펜, 터치 또는 음성 명령(들)의 타이핑 및/또는 사용을 통해 정보를 구할 수 있도록 할 수 있다. 도 23의 예에서, 사용자는 (도 24에서 더욱 쉽게 눈에 보이는) 마이크 아이콘(microphone icon)을 탭함으로써 마이크(2302)를 선택하고 있다. 다른 구현에서, 상호작용적 디지털 디스플레이(902)는 발화를 자동 기동할 수 있다. 도 23의 예에서, 마이크(2302)를 탭한 후, 사용자는 "Show college ready funding by initiative"라고 말한다. 응답으로, 상호작용적 디지털 디스플레이는 이 단어들이 입력 바(2300) 내에 나타나게 하고 이 정보에 대해 검색한다. 상호작용적 디지털 디스플레이는 결과를 도 24에 도시된 바와 같이 새로운 데이터 시각화인 파이 차트(2400)로서 자동으로 보여준다.

도 25는 파이 차트(2400)의 조작을 예시한다. 이 예에서, 사용자(904)는 산포도(1600) 내의 펜실베이니아(Pennsylvania)를 나타내는 데이터 거품(도시되었으나 표기되지 않음)에서 스크린(906)을 터치한다. 그 결과, 상호작용적 디지털 디스플레이는 파이 차트가 사용자의 선택을 반영하도록 바뀌게(가령, 필터링하게) 한다. 예컨대, 파이 차트 내의 카테고리들은 커지거나 줄어들어, 많은 주들을 나타내는 데이터에서 오직 펜실베이니아 주를 나타내는 데이터로의 변경을 반영한다. 많은 다른 형태의 데이터 조작 및/또는 분석이 고려된다. 추가적으로, 데이터 조적 및/또는 분석을 기동하거나 활성화하는 많은 방식이 고려된다. 이 예에서, 사용자는 파이 차트를 변경하기 위해 펜실베이니아를 나타내는 데이터 거품을 그저 터치하였다. 다른 경우에, 사용자는 파이 차트를 데이터 조작의 타겟(target)으로서 나타내는 어떤 방식으로 파이 차트를 선택하고 나서, 그 후 펜실베이니아를 지정할 수 있다. 사용자는 또한 데이터 시각화의 다양한 양상을 선택해제할(unselect) 수 있다. 예컨대, 사용자는 도 26에 도시된 바와 같이 산포도(1600)의 빈 영역을 터치함으로써 파이 차트를 더욱 일반적인 예로 되돌려서, 펜실베이니아를 선택해제하는 것이 가능할 수 있다.

도 27에 도시된 바와 같이 사용자는 GUI(908)로부터 데이터 시각화를 삭제할 수 있다. 사용자는 이것을 펜(910)으로써, 예를 들어 파이 차트를 삭제하기 위해 파이 차트(2400) 위에 X를 기입하는 것에 의해, 완수할 수 있다. 데이터 시각화들을 삭제하는 다른 방법, 예를 들어 스와이핑 모션(swiping motion)으로써 GUI에서 그것들을 치워버리기, 그것들을 선택하고 삭제 요청을 구두로(verbally) 나타내기 등등에 의하는 것이 고려된다.

도 28에 도시된 예에서, 사용자(904)는 입력 바(2300)에 "show grant proposals"를 입력하였고, 응답으로 상호작용적 디지털 디스플레이(902)는 새로운 데이터 시각화인 표(2800)를 자동으로 산출하였다. 몇몇 구현에서, 상호작용적 디지털 디스플레이는 새로운 데이터 시각화를 위한 데이터를 찾아내기 위한 검색 스트링(search string)(들)을 생성하기 위해 산포도(1600)와 연관된 정보 및 "show grant proposals"라는 말을 고려할 수 있다. 도 29에 도시된 바와 같이, 사용자는 데이터를 필터링하기 위해 래소 제스처(lasso gesture)(2900)를 사용함으로써 표(2800)를 조작할 수 있다. 이 예에서, 사용자는 펜(910)으로써 산포도(1600) 내에서 콜로라도 및 켄터키에 대한 데이터 거품(도시되었으나 표기되지는 않음) 주위에 루프(loop)를 그려, 이들 데이터에 효과적으로 "올가미를 칠"(lassoing) 수 있다. 래소 제스처에 응답하여, 상호작용적 디지털 디스플레이는 콜로라도 및 켄터키에 대한 보조금 제안(grant porposal)들만 표(2800)에 보여지게 할 수 있다.

도 30에 도시된 바와 같이, 사용자는 표에 초점을 두고/두거나 GUI(908) 상에 표를 위한 자리를 만들기 위해 표(2800)와 산포도(1600)를 옮기기 위한 이동 제스처(2100)를 행할 수 있다. 몇몇 구현에서, 사용자는 한 번에 하나의 데이터 시각화(가령, 산포도), 한 번에 다수의 데이터 시각화를 움직이거나, 전체 GUI를 움직일 수 있다. 단일의 객체, 다수의 객체 및/또는 GUI를 선택하고/하거나 움직이기 위한 다양한 방법이 고려된다.

사용자(904)는 도 31에 도시된 바와 같이, 예를 들어 표를 정렬함으로써, 표(2800)를 조작할 수 있다. 이 경우에, 사용자는 표를 정렬하기 위해 열 헤더(column header) "State"를 탭한다. 응답으로, 상호작용적 디지털 디스플레이는 알파벳 순으로 주에 따라 표를 정렬할 수 있다(도시되었으나 표기되지는 않음). 대안적으로, 사용자는 열을 선택하기 위해 탭하거나 더블 탭(double-tap)하고 나서, 그 열을 정렬하기 위해 탭할 수 있다. 혹은, 예컨대, 사용자는 데이터 조작 또는 편집 옵션을 위해 풀다운 메뉴(pull-down menu) 또는 툴바를 기동할 수 있다. 다른 구현에서, 헤더를 선택하는 것은 사용자로 하여금 헤더 엔트리(header entry)들을 편집하거나, 표 내의 열들을 위해 데이터의 상이한 카테고리들을 선택할 수 있도록 할 수 있다.

도 32는 데이터 시각화로부터의 객체의 추출에 관련된다. 이 경우에, 사용자(904)는 상호작용적 디지털 디스플레이(902)로 하여금 표의 어떤 요소를 선택가능한 객체로서 이용가능하게 하도록 하기 위해 표(2800)를 터치 및 홀드할 수 있다. 예컨대, 행(row)(3200)은 개별적인 선택가능한 객체일 수 있다. 몇몇 구성에서, 표의 모든 행마다 그 주위에 박스가 있을 수 있다. 도 32의 예에서, 사용자는 자신의 오른손 검지로써 행(3200)을 터치하고 행(3200)을 GUI(908) 내의 열린 공간으로, 우측으로 드래그할 수 있다. 몇몇 경우에 이것은 추출 제스처(extraction gesture)로 칭해질 수 있다. 전체 데이터 시각화를 움직이는 것과 같은 다른 기능과 비교하여 상이한 유형의 데이터 시각화로부터 선택가능 요소를 이동하는 것을 구별하기 위한 다양한 제스처 또는 다른 표시(indication)가 고려된다.

도 33에 도시된 바와 같이, 사용자에 의한 표(2800)로부터의 행(3200)의 추출(도 32)은 상호작용적 디지털 디스플레이(902)가 행(3200)으로부터의 추출된 데이터를 새로운 형태, 이 경우에는 카드(3300(1))로 보여주게 할 수 있다. 이 예에서 사용자(904)는 표(2800)로부터 세 개의 상이한 행들을 GUI(908) 내의 빈 공간으로 추출하였는데, 여기서 그 행들로부터의 추출된 데이터는 이제 카드(3300(1), 3300(2) 및 3300(3)) 내에 디스플레이된다. 이 경우에, 사용자는 $50,000 이상의 보조금 가치를 갖고 연도 2010 또는 그 후에 대한 보조금 제안을 나타내는 행을 추출하기로 택하였다. 도 32 및 도 33에 도시된 추출 동작은 하나의 데이터 시각화로부터의 선택가능한 객체가 상이한 형태로 된 항목(item)으로서 어떻게 추출될(가령, 빼내질) 수 있는지의 일례이다. 추출 동작은 사용자로 하여금 상이하고 더욱 다채로운 방식으로 데이터와 상호작용할 수 있게 한다. 예를 들면, 후술될 바와 같이, 사용자는 이제 카드(3300(1), 3300(2) 및 3300(3)) 내의 데이터를 조작할 수 있다.

도 34는 표(2800)를 필터링하는 일례를 도시한다. 이 경우에, 사용자(904)는 켄터키로부터의 데이터만이 표에 나타나기를 원한다고 나타내었다(도시되지 않음). 몇몇 구현에서, 사용자는 이 표시를 만들기 위해 표(2800) 내에서 켄터키를 더블 탭할 수 있다. 데이터 시각화를 수축시키거나 확장하는 다른 방법 또는 방식이 고려된다. 도 34의 예를 계속하면, 사용자는 이후, 예를 들어 "Term" 열 헤더를 탭하는 것에 의해(도시되지 않음), 표(2800)를 정렬할 수 있다. 이 경우에, Term 열을 정렬하는 것은 사용자가 자신이 추출하기를 바라는 데이터의 위치를 파악하는(locate) 데에 도움이 될 수 있다(다시 말해, 사용자가 어떤 연도에 대한 보조금 제안에 관한 데이터의 위치를 파악하는 데에 도움이 될 수 있다). 이후 사용자는 $50,000 이상의 보조금 가치를 갖는, 연도 2010 또는 그 후로부터의 보조금 제안에 대한 데이터를 포함하는 카드(3400(1) 및 3400(2))를 추출할 수 있다. 상호작용적 디지털 디스플레이(902)는 이제 카드(3300(1), 3300(2), 3300(3), 3400(1) 및 3400(2))와, 그 카드가 나타내는 데이터를, GUI를 통한 추가 조작을 위해 사용자가 이용가능하게 할 수 있다.

도 35에 도시된 예에서, 사용자(904)는 GUI(908)로부터 표(2800)를 제거하였고(도시되지 않음), 이동 제스처(2100)로써 카드(3300(1), 3300(2) 및 3300(3))를 좌측으로 움직일 수 있다. 도 36에서, 사용자는 펜(910)을 사용하여 카드(3300(1), 3300(2) 및 3300(3)) 주위에 원을 그림으로써 래소 제스처(2900)를 행할 수 있다. 이 경우에, 래소 제스처는 상호작용적 디지털 디스플레이(902)로 하여금 다른 데이터 시각화이고 새로운 데이터 분석 기능을 제공하는 그룹화(grouping)(3700)(도 37)로 카드들을 배열하게 한다. 예컨대, 도 37에 도시된 바와 같이, 그룹화(3700)는 함께 배열된 데이터의 그룹에 관한 어떤 통계를 디스플레이할 수 있다. 그룹화(3700)는 얼마나 많은 항목이 그 그룹 내에 있는지를 나타내는 개수 카운트(number count)(3702)를 포함한다. 다른 통계 및/또는 데이터 분석이 고려된다. 예컨대, 그룹 내 보조금 제안의 총 가치가 합산되고 디스플레이될 수 있다(도시되지 않음). 카드(3400(1) 및 3400(2))는 또한, 도 38에 관해 아래에서 도시될 바와 같이, 별개의 그룹화로 조합될 수 있다.

몇몇 경우에 사용자(904)는 카드 상에 나타내어진 카테고리의 개수를 줄이기를 바랄 수 있다. 예컨대, 사용자는 카드들의 상이한 그룹화들 내에 나타내어진 카테고리들 중 하나 내에서 공통성(commonality)을 찾아내기를 원할 수 있다. 카드 상의 카테고리를 줄이기 위한 여러 가지 방식이 고려된다. 하나의 예에서, 사용자는 그룹화 내의 카드들 중 하나 상의 카테고리, 예를 들어 "Organization" 카테고리(도 34의 표(2800)를 보시오)를 더블 탭할 수 있다. 상호작용적 디지털 디스플레이(902)는 그 그룹화의 모든 카드 내의 디스플레이된 카테고리를, 도 38에서 그룹화(3800) 내에 도시된 바와 같이, 더블 탭된 카테고리로 줄임으로써 응답할 수 있다. 대안적으로, 다른 예에서 사용자는 각 행에 대한 열 전부를 추출하는 것보다는, 추출을 위해 표(2800)로부터 어떤 열들 또는 오직 하나의 열을 선택하였을 수 있다.

도 38의 예에 도시된 바와 같이, 사용자는 카드(3400(1) 및 3400(2))를 그룹화(3802)로 조합할 수 있으며 이 카드들과 연관된 카테고리들을 "Organization" 카테고리로 줄일 수 있다. 사용자는 이후, 예를 들어 그룹화(3800) 및 그룹화(3802) 간의 공통성을 찾아내기 위해, 이 경우에는 범프 제스처(1502)를 행함으로써, 그 두 그룹화를 조합하기로 택할 수 있다. 그 결과는 도 39에 도시된 바와 같이 벤 다이어그램(Venn diagram)(3900)일 수 있다. 벤 다이어그램(3900)은 다른 새로운 데이터 시각화로서, 그룹화(3800) 및 그룹화(3802) 양자 모두로부터의 데이터를 보는 새로운 방식이다. 상호작용적 디지털 디스플레이(902)는 GUI(908) 상에 벤 다이어그램(3900)을 자동으로 디스플레이할 수 있다. 상호작용적 디지털 디스플레이는 시각화를 위한 포맷(가령, 벤 다이어그램)을 자동으로 고를 수 있으며, 새로운 데이터 시각화를 위한 파라미터를 자동으로 고를 수 있다. 이 경우에, 오직 하나의 조직(organization)이 그룹화(3800) 및 그룹화(3802) 양자 모두에 공통적이다. 따라서, 이 경우에 상호작용적 디지털 디스플레이는 하나의 조직("ABC Corporation")이 벤 다이어그램의 교차부(3902) 내에 나타나게 할 수 있다.

몇몇 경우에, 사용자(904)는 상호작용적 경험 시나리오(900)에 대한 결말에 이를 수 있으며 상호작용적 경험의 결말 및/또는 다른 요소를 다른 이와 공유하기를 바랄 수 있다. 도 40에 도시된 바와 같이, 이 경우에는 펜(910)을 사용하여, 사용자는 GUI(908)에 코멘트(comment)(4000)를 추가할 수 있다. 코멘트는 데이터 시각화에 대한 판단, 예를 들어 어떤 조직으로부터 기금을 구하기로 하는 판단을 나타낼 수 있다. 도 41에 도시된 바와 같이, 사용자는 메뉴(4100)를 액세스할 수 있다. 사용자는 여러 가지 방법에 의해, 예를 들어 스크린(906)의 측면으로부터의 스와이핑 터치 제스처를 사용하거나 스크린의 어떤 영역을 탭하여(도시되지 않음), 그러한 메뉴를 액세스할 수 있다. 다른 경우에, 메뉴(4100)는 스크린의 한 측면 근처에서 언제든지 볼 수 있고 이용가능한 것일 수 있다.

도 41의 이 예에서, 메뉴(4100)는 검색, 공유, 파일 탐색, 보내기(export), 또는 도구(도시되었으나 표기되지는 않음)와 같은 몇 개의 아이콘을 포함할 수 있다. 이들 아이콘 또는 다른 아이콘은 GUI(908) 상에 보여진 데이터 시각화와 협력하여 상호작용적 디지털 디스플레이(902)에 의해 제공되는 다양한 기능을 나타낼 수 있다. 예컨대, 공유 아이콘은 상호작용적 디지털 디스플레이가 GUI 상에 현재 보여진 데이터 시각화의 이미지를 이메일 메시지(email message)에 자동으로 첨부하는 이메일 기능을 시작하는 데 사용될 수 있다. 이 경우에, 코멘트(400)가 있는 벤 다이어그램(3900)의 이미지가 이메일 메시지에 첨부될 수 있으며, 사용자는 다른 텍스트를 이메일에 추가하기, 수신인을 고르기 등등을 하도록 유도될 수 있다. 다른 예에서, 보내기 또는 세이브(save) 아이콘은 로컬로 또는 네트워크 상에서 데이터 시각화를 파일에 세이브하기 위해 선택될 수 있다. 메뉴(4100)는 또한 GUI(908)에 콘텐트를 추가하기 위해 파일을 액세스하는 데 사용될 수 있다.

몇몇 구현에서 GUI(908) 상에 현재 보여진 데이터 시각화는 메뉴(4100)를 통하여 세이브되고/되거나 공유될 수 있다. 다른 경우에, 다른 선택된 데이터 시각화가 세이브되고/되거나 공유될 수 있다. 혹은, 전체 상호작용적 경험 시나리오(900)가 비디오로서 세이브되고/되거나 공유될 수 있다. 상호작용적 디지털 디스플레이(902)는 상호작용을, 그려지고 지워진 무언가를 찾아내기 위해 타임스탬프(time stamp)에 의해 검색될 수 있거나, 재생될 수 있는 비디오로서 기록할 수 있다. 추가적으로, 비디오는 나중에 볼 수 있는 회의 기록을 위해 오디오와 짝지어질(paired) 수 있다. 상호작용적 디지털 디스플레이는 또한 다른 이가 실시간으로, 예를 들어 비디오 회의(video conferencing)에 의해, 상호작용적 경험 시나리오에 참가하고/하거나 주시하기 위한 포털(portal)로서 사용될 수 있다.

도 9 내지 도 41에 관해 전술된 상호작용적 경험 시나리오(900)는 상호작용적 디지털 디스플레이(902)를 통하여, 조작된 데이터 시각화 내에 보유되는 기능의 예를 제공한다. 환언하면, 바 차트(1100) 및 수직 바 차트(1500)는 기저 데이터의 추가 조작을 가능케 한 새로운 데이터 시각화(산포도(1600))로 조합되었다(도 15 내지 도 16을 보시오). 추가적으로, 선택가능한 객체가 표(2800)로부터 추출되었는데(도 29), 기저 데이터의 추가 분석을 가능케 한 새로운 데이터 시각화(벤 다이어그램(3900))로 최종적으로 이어졌다(도 39). 이 방식으로, 상호작용적 디지털 디스플레이(902)는 데이터 조작 및/또는 분석의 사실상 무한한 진전과 함께, 사용자를 위한 더욱 다채로운 경험을 제공할 수 있다.

요약하면, 몇몇 구현에서 상호작용적 디지털 디스플레이는 외견상 이질적인 데이터 시각화들(둘 이상)로부터의 데이터를 제3 데이터 시각화로 조합할 수 있다. 다른 구현에서 상호작용적 디지털 디스플레이는 새로운 데이터 시각화를 생성하기 위해 데이터 시각화로부터 객체를 추출할 수 있다. 이들 데이터 시각화 중 어떤 것이든 다양한 형태의 사용자 입력을 통해 스크린 또는 표면 상에서 조작될 수 있다. 이 표면은 상호작용적 디지털 디스플레이 운영 체제의 GUI 쉘(shell)로 간주될 수 있다. GUI 쉘은 애플리케이션 컨테이너(application container)뿐만 아니라 콘텐트 컨테이너(content container)로서 기능할 수 있다. 그것은 네트워크 상에서 데이터를 액세스하기 위한 포털뿐만 아니라 새로운 콘텐트 생성을 위한 표면 양자 모두로서 작용할 수 있다. 그것은 또한 사용자가 상호작용적 디지털 디스플레이 디바이스 상에서 로컬로 (및/또는 원격으로) 작동하는 애플리케이션과 상호작용하는 곳일 수 있다.

시스템 예

도 42 내지 도 46은 본 개념을 달성하기 위한 예시적인 시스템을 도시한다.

도 42는 예시적인 상호작용적 경험 시스템(4200)을 도시한다. 이 경우에, 시스템은 상호작용적 디지털 디스플레이(4202)를 포함한다. 하나 이상의 사용자(4204)는 상호작용적 디지털 디스플레이(4202)로써 상호작용적 경험에 참여할 수 있다. 상호작용적 디지털 디스플레이는 스크린(4206)(가령, 상호작용적 표면) 및 다수의 센서(4207)를 포함할 수 있다. (이들 센서는 도 5에 관해 앞서 소개된 센서(516)와 유사할 수 있다). 이 예는 네 개의 세트의 센서(4207)를 포함한다. 그래픽 사용자 인터페이스(Graphical User Interface: GUI)(4208)(가령, 디스플레이 영역, 캔버스)가 스크린(4206) 상에 제시될 수 있다.

많은 유형의 센서가 다양한 구현에서 활용될 수 있다. 이 예는 광학 센서(가령, 센서(4207(1) 내지 4207(3)) 및 압력 센서(4207(4))를 포함한다. (압력 센서(4207(4))는 스크린(4206) 내에 통합될 수 있고 따라서 쉽게 볼 수 있지는 않다). 이 경우에, 첫 두 세트의 센서(4207(1) 및 4207(2))는 스크린(4206) 앞의 영역을 감지하도록 배향될 수 있다. 제3 세트의 센서(4207(3))는 스크린(4206) 바로 앞의 영역을 감지하도록 배향될 수 있다. 센서의 세트들의 갖가지 배향은 사용자가 상호작용적 디지털 디스플레이를 사용자 명령과 관여시키는 것을 검출하도록 의도될 수 있다. 이 경우에, 스크린 및 세 개의 세트의 센서는 상호작용적 경험과 연관된 GUI(4208)를 위한 처리를 수행하는 컴퓨팅 디바이스(computing device)(4210)에 연결된다(이 경우에는 사용자에게 가시적이지 않음). 그러므로, 이 구현에서 상호작용적 디지털 디스플레이(4202)는 디바이스(4210)에 의해 제어되는 디스플레이 디바이스로서 나타날 수 있다. 디바이스(4210)는 데이터를 저장하고, 데이터를 처리하며, 상호작용적 디지털 디스플레이(4202) 상에 제시되는 GUI를 생성할 수 있다. 대안적인 구성이 도 43에 관해 예시되는데 여기서 상호작용적 디지털 디스플레이는 앞서 언급된 기능의 세트 양자 모두를 수행할 수 있다.

본 구현은 특정 유형의 스크린(4206)에 한정되지 않음에 유의하시오. 반대로, 운용가능한(workable) 구현이 투영 스크린, 발광 다이오드(Light Emitting Diode: LED) 스크린, 액정 스크린, 전자발광(electroluminescent) 스크린, 플라즈마 스크린 및/또는 개발 중이거나 아직 개발되지 않은 다른 디스플레이 및 스크린 유형으로써 달성될 수 있다.

첫 두 세트의 센서(4207(1) 및 4207(2))는 한 사용자 또는 사용자들, 예를 들어 사용자들(4204(1), 4204(2))이 상호작용적 디지털 디스플레이(4202)가 배치된(positioned) 방에 들어왔(거나 그렇지 않으면 흥미 있는 영역에 들어왔)음을 검출할 수 있다. 이 경우에, 첫 두 세트의 외향(outwardly facing) 센서(4207(1) 및 4207(2))는 사용자 제스처, 터치 및/또는 눈 시선 방향을 검출하기 위해 상호작용적 디지털 디스플레이(4202)의 위와 아래에 배치될 수 있다. 제1, 제2 및 제3 세트의 센서(4207(1), 4207(2), 4207(3))의 개수, 포지션 및/또는 배향은 예를 위해 제공되며 한정적인 것으로 의도된 것은 아니다. 많은 다른 센서 배열이 본 개념을 달성하도록 구성될 수 있음이 고려된다. 또한, 별개이고 잘 보이는 센서들이 예시되었으나, 센서들은 기술이 성숙함에 따라 더 작고 사용자에게 덜 눈에 띄게 될 것이다. 몇몇 구현에서, 센서들은 상호작용적 디지털 디스플레이의 바깥쪽 틀(outer frame) 상에 설치될 수 있다. 대안적으로, 몇몇 구현은 센서를 전혀 갖지 않을 수 있다.

제1, 제2 및 제3 세트의 센서(4207(1), 4207(2), 4207(3))는 카메라, 예를 들어 카메라의 어레이일 수 있다. 카메라는 가시광, 적외선 및/또는 다른 주파수를 위해 구성될 수 있다. 카메라는 카메라가 객체들을 서로 구별하는 데 도움이 될 수 있는 적외선 패턴 투영기(infrared pattern projector)와 협동하여 동작할 수 있다. 다른 카메라 구성은 사용자(들) 및/또는 상호작용적 디지털 디스플레이(4202) 주위의 환경에 대해 카메라에 의해 포착되는 정보를 향상시키기 위해 비행시간(time of flight)이나 다른 기법을 채용할 수 있다. 하나의 구현에서, 센서의 세트는 마이크로소프트 사(Microsoft® Corp.)에 의해 제공되는 Kinect® 브랜드 감지 기술일 수 있다. 몇몇 구현(도시되지 않음)에서, 제1 세트의 카메라는 스크린(4206)으로부터 멀리 향할 수 있으며 제2 세트의 카메라는 사용자 입력(가령, 제스처)을 감지하기 위해 스크린 표면에 평행하게 향할 수 있다. 제2 세트의 카메라는 스크린으로 하여금 터치 감응 표면(touch sensitive surface)(즉, 사용자의 물리적 터치를 감지함)을 실제로 갖지 않고서 터치 스크린으로서 기능하게 할 수 있다. 스크린을 통해 촬상하는 것과 같은 다른 카메라 구성이 채용될 수 있다. 그러한 구성을 위한 하나의 적합한 카메라는 스크린의 앞 또는 뒤에 또는 스크린의 측면에 배치될 수 있는 쐐기 유형 카메라(wedge type camera)이다. 이 유형의 구성은 사용자의 손가락이 스크린을 터치하는 것을 검출할 수 있으며 또한 사용자의 손, 팔, 눈 등등을 바라볼 수 있다. 카메라에 의해 획득된 생체측정 정보(biometric information)는 사용자 명령으로서 해석될 수 있다. 예를 들면, 사용자가 공유된 캔버스 위에서 바라보고 있는 곳(가령, 사용자 시선)은 예컨대 해당 위치에서의 콘텐트에 관한 사용자 명령으로서 해석될 수 있다.

다시 도 42를 참조하면, 몇몇 경우에 제1, 제2 및 제3 세트의 센서(4207(1), 4207(2), 4207(3))는 상이한 목적들을 위해 배향된 서브그룹들을 포함할 수 있다. 예컨대, 제1 세트의 센서(4207(1))는 두 개의 서브그룹을 포함할 수 있다. 제1 서브그룹은 상호작용적 디지털 디스플레이(4202) 바로 앞의 "근접장"(near field) 공간을 포착하도록 구성될 수 있다. 제2 서브그룹은 상호작용적 디지털 디스플레이로부터 더 먼 "원방장"(far field) 공간을 포착하도록 구성될 수 있다. 원방장 서브그룹은 사용자(들)가 상호작용적 디지털 디스플레이가 위치된 방에 들어오는 것을 검출하는 데 사용될 수 있다. 근접장 서브그룹은 GUI(4208)와 관여하는 사용자(들)로부터 생체측정 데이터를 포착하도록 구성될 수 있다.

일단 사용자(4204)가 검출되었으면, 센서들(4207)의 세트들은 스크린(4206)에 대한 사용자의 포지션을 추적할 수 있으며 사용자가 사용자 명령, 예를 들어 스크린 상에 쓰기, 제어 제스처를 취하기 등등을 시도하고 있는지를 판정하기 위해 움직임이 추적될 수 있다.

도 42의 사용자(4204) 각각은 개인용 디바이스(4212)(이 경우에는 스마트 폰)를 가짐에 또한 유의하시오. 개인용 디바이스는 사용자 명령의 입력을 위해 및/또는 사용자 식별을 위해 활용될 수 있다. 개인용 디바이스(4212)는 사용자 명령을 검출하고/하거나 사용자(들)를 식별하는 데 도움이 되도록 센서들(4207)의 세트들에 대해 추가적으로 또는 대안적으로 작동할 수 있다. 예컨대, 사용자(4204(1))는 GUI(4208) 상의 데이터 시각화를 조작하기 위해 상호작용적 디지털 디스플레이(4202)에 의해 사용될 수 있는 명령을 개인용 디바이스(4212(1)) 상에 입력할 수 있다. 다른 예에서, 개인용 디바이스(4212(2))는 사용자(4204(2))를 식별하기 위해 시스템에 의해 사용될 수 있는 비컨 신호(beacon signal)와 같은 식별 신호를 송출할 수 있다.

개인용 디바이스(4212) 및 펜(4214)은 다른 방식으로 쓰일 수 있다. 예를 들면, 개인용 디바이스는 사용자가 상호작용적 디지털 디스플레이(4202)에 인접하거나 이를 터치하는 경우에 용량성(capacitive) 센서에 의해 검출될 수 있는 용량성 신호를 사용자의 신체를 통해 발신할 수 있다. 이 특징은 다중경로 용량성 터치(multipath capacitive touch)로서 쓰일 수 있다. 예를 들면 상이한 손가락은 상이한 길이 경로를 가진다. 몇몇 구현은 또한, 상호작용적 디지털 디스플레이의 사용자 관여가 상호작용적 디지털 디스플레이와 도전성 띠(conductive strip)를 통해 회로를 이루도록, 상호작용적 디지털 디스플레이 아래의 층 위에 도전성 띠를 추가할 수 있다. 용량 펜(capacitance pen)이 유사한 방식으로, 특히 사용자가 고유하게 식별가능한 자기 자신의 개인용 펜(가령, 개인용 디바이스)을 가지는 사례에서 활용될 수 있다. 그러므로, 펜(4214)은 디지털 기입 기구(digital writing instrument)로서 그리고 사용자(4204(2))를 식별하기 위한 이중의 목적에 이바지할 수 있다.

유사한 방식으로, 4216에 표기된 바와 같이 터치 사용자 명령이 검출되는 경우, 명령을 수행하는 사용자를 식별하기 위해 지문 (및/또는 다른 생체측정) 분석이 사용될 수 있다. 지문 분석은 또한 사용자의 어느 개별 손가락이 스크린을 터치하고 있는지 및 그 손가락의 배향을 식별할 수 있다. 이 정보는 다양한 방식으로 활용될 수 있다. 예를 들면, 만약 두 사용자가 보드의 영역을 동시에 터치하면, (지문 분석을 통해 판정된) 손가락 배향은 어느 손가락이 어느 사용자에게 속하는지를 나타낼 수 있다. 예를 들면, 지문은 사용자의 손가락의 길이를 따라서 길게 되어 있는 경향이 있다. 그러므로, 지문은 사용자의 손가락 및 팔의 배향을 나타낼 수 있다.

도 43은 상호작용적 경험 기법이 구현될 수 있는 다른 예시적인 시스템(4300)을 도시한다. 몇 가지 유형의 상호작용적 디지털 디스플레이 디바이스의 예가 시스템(4300)에 관해 예시된다. 설명의 목적으로, 세 개의 상호작용적 디지털 디스플레이(Interactive Digital Display: IDD)(4302(1), 4302(2) 및 4302(3))가 예시된다. 간결함을 위해 예시된 디바이스들 중 오직 두 개가 상세히 서술된다. 이 서술은 다른 디바이스에 적용될 수 있다. 이 서술은 또한 상호작용적 경험 개념을 지원하기 위해 채용될 수 있는 디바이스 구성의 예를 제공하도록 의도된 것이다. 숙련된 기술자는 서술된 상호작용적 경험 개념을 지원할 수 있는 다른 디바이스 구성을 인식할 것이다.

이 경우에, 상호작용적 디지털 디스플레이(4302(1))는 디지털 화이트보드로서 나타난다. 상호작용적 디지털 디스플레이(4302(2))는 태블릿 유형 디바이스로서 나타난다. 상호작용적 디지털 디스플레이(4302(3))는 랩톱(laptop) 또는 노트북 컴퓨터로서 나타난다. 본 문서에서 사용된 "상호작용적 디지털 디스플레이"라는 용어는 어떤 양의 처리 능력을 가지는 임의의 유형의 디바이스를 뜻할 수 있다. 그러한 디바이스의 특정 예가 설명을 위하여 예시되나, 그러한 디바이스의 다른 예는 전통적인 컴퓨팅 디바이스, 예를 들어 개인용 컴퓨터, 휴대 전화, 스마트 폰, 개인용 디지털 보조기기, 또는 무수히 많은 계속 진화하거나 아직 개발되지 않은 유형의 디바이스 중 임의의 것을 포함할 수 있다. 이 예에서, 각 상호작용적 디지털 디스플레이는 스크린(4306(1), 4306(2) 및 4306(3))(가령, 상호작용적 표면) 및 센서들(4307)을 포함한다. 센서들은 별개일 수 있고/있거나 스크린(가령, 터치 감응 스크린)의 일부일 수 있다. 센서들(4307)은 도 42에 관해 전술된 센서들(4207)과 유사할 수 있고 간결함을 위해 여기에서 상세히 논의되지 않는다. 간략히, 센서들은 다양한 구현에서 터치 및/또는 비-터치인 사용자 행동들을 검출할 수 있다.

시스템(4300)에서, 개별적인 상호작용적 디지털 디스플레이(4302)는 네트워크(4308) 상에서 데이터를 교환할 수 있다. 또한, 개별적인 상호작용적 디지털 디스플레이는 상호작용적 경험을 성취하기 위해 독립형(stand-alone) 또는 협동적 방식으로 기능할 수 있다. 예를 들면, 상호작용적 디지털 디스플레이 상에서 제공되는 기능의 일부는 디바이스 상에서 수행될 수 있으면 일부는 다른 디바이스 상에서 및/또는 클라우드(4312) 내에서 수행될 수 있다. 본 문서에서 사용되는 바와 같이, 클라우드(4312)는 네트워크(4308) 상에서 액세스될 수 있는 컴퓨팅 리소스 및/또는 컴퓨팅 기능을 지칭한다.

상호작용적 경험 개념을 달성하도록 상호작용적 디지털 디스플레이(4302)를 구현하기 위해 많은 수의 상이한 구성이 생성될 수 있다. 설명의 목적으로, 두 가지 가능한 디바이스 구성의 예가 상호작용적 디지털 디스플레이(4302(1) 및 4302(2))에 관해 후술된다.

상호작용적 디지털 디스플레이(4302(1))는 운영 체제(Operating System: OS)(4316) 상에서 작동하는 애플리케이션(들)(4314)을 포함한다. 운영 체제는 하드웨어(4318)와 상호작용할 수 있다. 하드웨어의 예는 저장 매체 또는 스토리지(storage)(4320(1)), 프로세서(들)(4322(1)), 스크린(4306(1)) 및/또는 센서(4307(1))(가령, 터치 센서)를 포함할 수 있다. 또한, 제스처 인식 컴포넌트(Gesture Recognition Component: GRC)(4324(1)), 데이터 분석 및 처리 컴포넌트(Data Analysis and Processing Component: DAPC)(4326(1)) 및 시각화 렌더링 컴포넌트(Visualization Rendering Component: VRC)(4328(1))가 애플리케이션(들)(4314) 및/또는 운영 체제(Operating System: OS)(4316) 및/또는 하드웨어(4318)와 협동하여 기능할 수 있다. 하나의 구성에서, 이들 컴포넌트(4324(1) 내지 4328(1))는 애플리케이션이나 애플리케이션 일부로서, 또는 운영 체제의 일부로서 나타날 수 있다.

프로세서(4322(1))는 기능을 제공하기 위한 컴퓨터 판독가능(computer-readable) 명령어의 형태로 된 데이터를 실행할 수 있다. 컴퓨터 판독가능 명령어 및/또는 사용자 관련 데이터와 같은 데이터는 스토리지(4320(1)) 상에 저장될 수 있다. 스토리지(4320(1))는 무엇보다도, 휘발성(volatile) 또는 비휘발성(non-volatile) 메모리, 하드 드라이브 및/또는 광학 저장 디바이스(가령, CD, DVD 등등) 중 임의의 하나 이상을 포함할 수 있다.

상호작용적 디지털 디스플레이(4302)는 또한 설명을 위해 외부 저장 매체로 간주될 수 있는 외부 스토리지(4320(1)(A))로부터 컴퓨터 판독가능 명령어의 형태로 된 데이터를 수신 및/또는 생성하도록 구성될 수 있다. 외부 저장 매체의 예는 무엇보다도, 광학 저장 디바이스(가령, CD, DVD 등등), 하드 드라이브 및 플래시 저장 디바이스(가령, 메모리 스틱 또는 메모리 카드)를 포함할 수 있다. 상호작용적 디지털 디스플레이는 또한 네트워크(4308) 상에서 컴퓨터 판독가능 명령어의 형태로 된 데이터(이는 이후에 상호작용적 디지털 디스플레이 상에 그것의 프로세서에 의한 실행을 위해 저장됨)를 수신할 수 있다.

상호작용적 디지털 디스플레이(4302(2))는 시스템 온 칩(System On a Chip: SOC) 유형 설계를 나타낼 수 있는 대안적인 구성을 가진다. 그러한 경우에, 상호작용적 디지털 디스플레이에 의해 제공되는 기능은 단일의 SOC 또는 다수의 커플링된(coupled) SOC 상에 통합될(integrated) 수 있다. 이 경우에, 상호작용적 디지털 디스플레이(4302(2))는 공유 리소스(4330) 및 전용 리소스(4332)를 포함한다. 인터페이스(들)(4334)가 공유 리소스 및 전용 리소스 간의 통신을 가능하게 한다. 명칭이 시사하는 바와 같이, 전용 리소스(4332)는 특정한 기능을 성취하는 데에 전용으로 된(dedicated) 개별적인 부분을 포함하는 것으로 간주될 수 있다. 예를 들면, 이 예에서, 전용 리소스는 제스처 인식 컴포넌트(4324(2)), 데이터 분석 및 처리 컴포넌트(4326(2)) 및 시각화 렌더링 컴포넌트(4328(2))를 포함한다. 하나의 경우에, SOC 상의 회로망은 제스처 인식 컴포넌트(4324(2))에 전용으로 될 수 있는 반면 다른 회로망은 데이터 분석 및 처리 컴포넌트(4326(2))에 전용으로 될 수 있고, 또 다른 회로망은 시각화 렌더링 컴포넌트(4328(2))에 전용으로 될 수 있다.

공유 리소스(4330)는 다수의 기능에 의해 사용될 수 있는 스토리지, 처리 유닛 등등일 수 있다. 이 예에서, 공유 리소스는 스크린(4306(2)) 및 센서(4307(2))를 포함한다. 이 경우에는, 제스처 인식 컴포넌트(4324(2)), 데이터 분석 및 처리 컴포넌트(4326(2)) 및 시각화 렌더링 컴포넌트(4328(2))가 전용 리소스(4332)로서 구현되나, 다른 구성에서는, 이들 컴포넌트 중 어느 하나이든 또는 둘 모두가 공유 리소스(4330) 상에 및/또는 전용 리소스(4332) 및 공유 리소스(4330) 양자 모두 상에 구현될 수 있다.

일반적으로, 본 문서에 기술된 기능 중 임의의 것은 소프트웨어, 펌웨어, 하드웨어(가령, 고정 로직 회로망(fixed-logic circuitry)), 수동 처리, 또는 이들 구현의 조합을 사용하여 구현될 수 있다. 본 문서에서 사용된 "컴포넌트"라는 용어는 일반적으로 소프트웨어, 펌웨어, 하드웨어, 전체 디바이스 또는 네트워크, 또는 이들의 조합을 나타낸다. 소프트웨어 구현의 경우에, 예를 들면, 이들은 프로세서(가령, CPU 또는 CPU들) 상에서 실행되는 경우 지정된 작업을 수행하는 프로그램 코드를 나타낼 수 있다. 프로그램 코드는 컴퓨터 판독가능 저장 매체와 같은 하나 이상의 컴퓨터 판독가능 메모리 디바이스 내에 저장될 수 있다. 컴포넌트의 특징 및 기법은 플랫폼 독립적(platform-independent)인데, 그것이 여러 가지 처리 구성을 가지는 여러 가지 상업적 컴퓨팅 플랫폼 상에 구현될 수 있음을 의미한다. 일반적으로, 상호작용적 디지털 디스플레이(4302)는 간결함을 위해 여기에서 예시되거나 논의되지 않는 다른 요소, 예를 들어, 버스, 그래픽 카드(가령, 그래픽 처리 유닛(Graphics Processing Unit: GPU), 네트워크 하드웨어) 등등을 대안적으로 또는 추가적으로 포함할 수 있다.

제스처 인식 컴포넌트(4324)는 감지된 데이터를 센서(4307)로부터 수신하도록 구성될 수 있다. 제스처 인식 컴포넌트는 사용자 제스처 및/또는 다른 사용자 명령을 인식하기 위해 감지된 데이터를 처리하도록 구성될 수 있다. 하나의 구현에서, 제스처 인식 컴포넌트는 감지된 데이터로부터 다양한 파라미터(가령, 감지된 파라미터)를 분석할 수 있다. 예를 들면, 터치 시나리오에서 감지된 파라미터는 사용자가 데이터세트를 터치하거나 데이터세트 주위에서 '래소'(lasso)를 행함으로써 데이터세트를 선택하고자 의도하였음을 나타낼 수 있다. 비-터치 시나리오에서, 감지된 파라미터는 사용자가 데이터세트를 선택하기 위해 데이터세트 상에서 자신의 손을 '호버링하였음'을 나타낼 수 있다. 다른 감지된 파라미터가 선택된 데이터 세트에 관한 사용자 행동에 관련될 수 있다. 예를 들면, 감지된 파라미터는 사용자가 선택된 데이터세트를 움직인 속도 및/또는 방향을 나타낼 수 있다. 그러므로, 감지된 파라미터를 분석함으로써, 제스처 인식 컴포넌트는 사용자가 두 데이터세트를 동시적으로 선택하였고 사용자가 범프 제스처를 실체화하려(instantiate) 의도한 방식으로 그것들을 서로를 향해 움직였음을 판정할 수 있다.

데이터 분석 및 처리 컴포넌트(4326)는 선택된 데이터세트(들), 감지된 파라미터 및/또는 사용자 의도에 대한 정보를 제스처 인식 컴포넌트(4324)로부터 수신할 수 있다. 데이터 분석 및 처리 컴포넌트(4326)는 선택된 데이터세트(들)를 분석하도록 구성될 수 있다. 더욱 구체적으로, 데이터 분석 및 처리 컴포넌트는 사용자의 의도를 달성하기 위한 논리적 방식을 판정하기 위해 선택된 데이터세트(들)의 기저 데이터를 분석할 수 있다. 몇몇 구현에서, 데이터 분석 및 처리 컴포넌트는 기저 데이터에 관한 다양한 파라미터(가령, 데이터 파라미터)를 분석할 수 있다. 예를 들면, 데이터 분석 및 처리 컴포넌트는 어떤 유형의 파일, 파일 포맷 및/또는 문서 유형이 데이터세트(들)와 연관되는지를 판정할 수 있다.

몇몇 경우에, 데이터 분석 및 처리 컴포넌트(4326)는 단어, 콘텐트, 포맷화(formatting), 또는 다른 메타데이터(metadata)를 찾아내기 위해, 예를 들어 둘 이상의 파일에 공통적일 수 있는 데이터를 찾아내기 위해 파일 또는 문서 내의 데이터를 조사할 수 있다. 예컨대, 앞서 기술된 인식된 범프 제스처에 응답하여, 데이터 분석 및 처리 컴포넌트는 사용자가 모은 두 데이터 시각화 각각의 기저를 이루는 데이터를 색출 및/또는 조사할 수 있다. 도 15에 도시된 범프 제스처를 다시 참조하면, 데이터 분석 및 처리 컴포넌트는 사용자가 조합하고자 의도하는 두 데이터 시각화가 공통 카테고리, 이 경우에는 "State"를 가짐을 판정할 수 있다. 데이터 분석 및 처리 컴포넌트는 새로운 데이터 시각화에서 사용될 수 있는 조합된 데이터 세트를 구축하기 위해 이 공통 카테고리를 사용할 수 있다. 다른 예에서, 데이터 분석 및 처리 컴포넌트는 사용자가 조합하고자 의도하는 두 상이한 시각화로부터의 두 데이터세트가 각각 공통 카테고리가 있는 한 행의 데이터를 가짐을 인식할 수 있다. 이 경우에, 데이터 분석 및 처리 컴포넌트는 두 데이터세트의 조합을 위한 기반으로서 공통 카테고리를 사용할 수 있다.

데이터 분석 및 처리 컴포넌트(4326)는 사용자 의도에 상관되는 여러 가지 기능을 수행(예를 들어 제스처와 연관된 정보 색출 및/또는 데이터 분석을 개시)할 수 있다. 예를 들면, 데이터 분석 및 처리 컴포넌트는, 도 28의 입력 바(2300)를 통하여 보여지는 것과 같이, 사용자가 새로운 데이터를 요청하는 것에 응답할 수 있다. 이 경우에, 데이터 분석 및 처리 컴포넌트는 요청된 정보에 대응하는 데이터에 대해 로컬 스토리지 내에서 또는 네트워크 상에서 검색할 수 있다. 몇몇 경우에, 정보 요청은 디스플레이 상에 보여진 다른 관련 정보 또는 데이터에 비추어 고려될 수 있다. 다른 경우에, 데이터 분석 및 처리 컴포넌트는, 도 10 및 도 13에 도시된 바와 같이, 사용자가 축에 라벨을 붙이거나 축 라벨을 변경하는 것에 응답하여 새로운 정보에 대해 검색하거나 이를 제공할 수 있다. 데이터 분석 및 처리 컴포넌트는 데이터를 필터링하는 것(도 29 및 도 31을 보시오), 데이터의 서브세트를 추출하는 것(도 33을 보시오), 또는 데이터에 대해 통계적 분석을 수행하는 것(도 37 및 도 39를 보시오)과 같은, 데이터에 관련된 다른 기능을 수행할 수 있다.

시각화 렌더링 컴포넌트(4328)는 새로운 데이터 시각화를 생성 및/또는 제시하거나 데이터 분석 및 처리 컴포넌트(4326) 및/또는 제스처 인식 컴포넌트(4324)에 의해 획득된 결과와 연관된 명령을 제시하도록 구성될 수 있다. 도 15의 범프 제스처를 다시 참조하면, 시각화 렌더링 컴포넌트는 데이터 분석 및 처리 컴포넌트에 의해 생성된 조합된 데이터 세트를 가져오고 그것을 사용하여 새로운 데이터 시각화, 예를 들어 도 16에 도시된 산포도(1600)를 생성할 수 있다. 이 경우에, 조합된 데이터 세트를 사용하여, 시각화 렌더링 컴포넌트는 산포도 유형 차트를 선택하고, 축에 대한 데이터 카테고리를 선택하며, 축에 대한 적절한 스케일 및 라벨을 선택하고, 차트 제목을 선택하며, 산포도의 모든 양상에 대해 적절한 포맷을 택할 수 있다. 이 경우에, 시각화 렌더링 컴포넌트는 새로운 데이터 시각화의 색상, 폰트, 배향, 선 굵기, 데이터 포인트 심볼 및 모든 다른 시각적 양상을 고를 수 있다. 끝으로, 시각화 렌더링 컴포넌트는 디스플레이를 위해 스크린(4306)에 새로운 데이터 시각화(이 경우에는 산포도(1600))를 출력할 수 있다. 몇몇 구현에서, 시각화 렌더링 컴포넌트는 완전한 새로운 데이터 시각화가 그것이 생성될 때 나타나게 할 수 있거나, 새로운 데이터 시각화의 각 컴포넌트가 그것이 생성될 때에 나타나게 할 수 있거나, 원래의 두 데이터 시각화로부터 새로운 데이터 시각화로의 변환을 어떤 다른 방식으로 활성화할(animate) 수 있다.

몇몇 경우에, 사용자 의도 또는 새로운 시각화 포맷은 과거의 사용자 행동으로부터 추론될 수 있다. 예컨대, 파이 차트가 바 차트의 세트들 중 하나로부터 생성될 것을 매번 지정하여, 사용자가 바 차트의 다수 세트를 최근에 조합하였다면, 시각화 렌더링 컴포넌트(4328)는 사용자가 조합하고자 의도하는 바 차트의 다음 세트로부터 파이 차트를 자동으로 제공할 수 있다. 제스처 인식 컴포넌트(4324) 및/또는 데이터 분석 및 처리 컴포넌트(4326)는 또한 과거의 사용자 행동으로부터 유사한 추론을 행할 수 있다.

다양한 컴포넌트의 가능한 기능의 다른 예는 표로부터 한 행의 데이터를 추출하려는 사용자 의도를 처리하는 것을 포함한다. 이 사례에서, 제스처 인식 컴포넌트(4324)는 센서(4307)로부터 정보를 수신하고 사용자가 (도 32에서 표(2800)에 관해서 도시된 바와 같이) 표를 선택하였고, 그 표의 한 행을 선택하였으며, (도 32 및 도 33에서 행(3200)에 관해 도시된 바와 같이) 디스플레이의 열린 영역에 그 표로부터 그 행을 "드래그하였음"을 인식할 수 있다. 이 경우에, 선택된 행과 연관된 드래그 모션(drag motion)에 관한 센서로부터의 속도 및/또는 방향 정보는 제스처 인식 컴포넌트에 의해 행 추출 제스처(가령, 사용자는 그 데이터 행을 추출하기를 의도함)로서 해석될 수 있다. 데이터 분석 및 처리 컴포넌트(4326)는 어느 데이터가 선택된 행과 연관되는지 판정하고 새로운 데이터 시각화에서의 사용을 위해 그 데이터를 추출할 수 있다. 예컨대, 데이터 분석 및 처리 컴포넌트는 얼마나 많은 및/또는 어느 카테고리가 그 행 내에 나타내어져 있는지를 판정하고/하거나, 그 행으로부터 데이터를 추출하고/하거나, 그 행으로부터 데이터의 새로운 서브세트를 생성할 수 있다. 또한, 몇몇 경우에 추출된 서브세트는 데이터 시각화의 행에서 볼 수 있는 데이터만을 포함할 수 있거나, 표로부터의 각 열에 대한 카테고리 또는 표제 정보 또는 사용자에게 가시적이지 않을 수 있는 다른 메타데이터와 같은 연관된 정보를 포함할 수 있다. 시각화 렌더링 컴포넌트(4328)는 새로운 데이터 시각화, 예를 들어 이 경우에는 카드(3310(1))를 생성하기 위해 데이터의 추출된 서브세트를 사용할 수 있다.

환언하면, 제스처 인식 컴포넌트(4324)는 센서(4307)로부터 정보를 수신하고, 그 정보로부터 제스처 또는 다른 명령을 인식하며, 데이터 시각화에 관해서 그 제스처 또는 다른 명령으로부터 사용자 의도를 해석할 수 있다. 데이터 분석 및 처리 컴포넌트(4326)는 사용자 의도에 따라 데이터 시각화로부터의 데이터를 조합하거나 그렇지 않으면 처리하기 위한 논리적 방식을 판정할 수 있다. 시각화 렌더링 컴포넌트(4328)는 처리된 데이터를 하나 이상의 새로운 데이터 시각화 내에 제시하고 그 결과를 스크린(4306)에 출력하기 위한 논리적 방식을 판정할 수 있다.

도 44 내지 도 46은 본 개념에 따른 다른 예시적인 시스템을 도시한다.

도 44는 개시된 아키텍처에 따른 제시 시스템(presentation system)(4400)을 예시한다. 시스템(4400)은 사용자 상호작용(4404)을 수신하고 사용자 상호작용(4404)을 예컨대 스트로크로서 처리하는 디지털 상호작용적 컴포넌트(4402)를 포함한다. 스트로크는 앞서 언급된 많은 상이한 유형의 입력 양식의 결과일 수 있음이 이해되어야 한다. 디지털 상호작용적 컴포넌트는 전술된 제스처 인식 컴포넌트(4324)와 유사할 수 있다. 계산 컴포넌트(4406)(가령, 상호작용적 컴포넌트(4402)와 별개인 컴퓨터 기반 컴포넌트)는 사용자 상호작용(4404)을 그래픽 표현(4408)(가령, 화살표, 차트, 범례(legend) 등등)에 관련된 것으로 해석하고, 옵션으로, 적용된 스트로크와 조합된 것일 수 있는 그래픽 표현(4408) 및 사용자 데이터(4410)의 전체적인 그래픽 뷰(graphical view)(4412)를 생성하기 위해, 스트로크에 기반하여 사용자 데이터(4410)에 대해 동작을 수행한다. 계산 컴포넌트(4406)는 또한 본 문서에 기술된 바와 같이 주석을 관리(가령, 색출 및 생성)할 수 있다. 몇몇 경우에, 계산 컴포넌트는 전술된 제스처 인식 컴포넌트(4324), 데이터 분석 및 처리 컴포넌트(4326) 및/또는 시각화 렌더링 컴포넌트(4328)와 유사한 기능을 수행할 수 있다.

사용자 데이터(4410)는 그래픽 객체의 세트일 수 있는 그래픽 표현(4408)에 의해 질적 및/또는 양적 정보 사용자 데이터(4410)가 특징지어질(characterized) 수 있음을 그저 전하기 위해 그래픽 표현(4408)으로서 보여진다. 대안적인 구현에서는, 관찰되는 사용자 데이터 중 일부 또는 전부가 그것의 미처리(raw) 또는 표로 된(tabular) 형태로, 별도로 또는 그래픽 표현(4408)과 조합하여 디지털 상호작용적 컴포넌트(4402)를 통하여 제시될 수 있다는 점이 개시된 아키텍처의 고려사항 내에 있다.

그래픽 표현(4408)은 계산 컴포넌트(4406)에 의해 하나 이상의 그래픽 객체(가령, 차트의 축, 눈금 표시 등등)를 포함하는 것으로서 제공될 수 있다. 예컨대, 사용자 입력이 화살표로 의도된 미처리 스트로크(가령, 마커 펜(marker pen)을 사용하여 디스플레이 표면 상에 손으로 스케치됨)인 경우에, 계산 컴포넌트(4406)는 이 입력을 포착하고 그래픽 뷰(4412) 내의 그래픽 객체로서 동일한 스트로크를 렌더링할 수 있다. 그러므로, 미처리 스트로크는 사용자에 의해 수동으로 생성된 바와 같은 (곧게 되지 않고 비대칭적인 등등의 자유형태로서 포착된) 대강의 포맷으로, 보드 표면 상의 미처리 스트로크에 근사하게, 렌더링될 수 있다.

대안적으로, 미처리 스트로크는, 액세스되고 나서 그래픽 뷰(4412) 내에 제시되는, 사전결정되고 저장된 화살표 객체를 계산 컴포넌트(4406)가 색출하는 것에 의해, "정돈된"(cleaned-up)(가령, 곧은, 포인트에서 대칭적인 등등) 화살표 객체로서 제시될 수 있다. 어느 경우든, 결과적인 그래픽 뷰(4412)는 미처리 스트로크만, 대강의 스트로크만, 정돈된 스트로크만, 또는 이들의 임의의 조합을 포함할 수 있다.

제시 컴포넌트(4414)는 계산 컴포넌트(4406)로부터 렌더링 정보를 수신하고 그래픽 뷰(4412) 내에 이 렌더링 정보를, 디지털 상호작용적 컴포넌트(4402)와 연관하여, 상호작용적이거나 그렇지 않은, 스트로크(대강의 또는 정돈된 것), 라벨, 리스트 및 다른 그래픽 객체를 포함하는 것으로서 제시한다. 다시 말해, 그래픽 뷰(4412)는 제시 컴포넌트(4414)인 투영기에 의해, 디지털 화이트보드일 수 있는 디지털 상호작용적 컴포넌트(4402) 상에 투영될 수 있다. 몇몇 경우에, 제시 컴포넌트는 전술된 시각화 렌더링 컴포넌트(4328)와 유사할 수 있다.

디지털 상호작용적 컴포넌트(4402)가 예컨대 펜 기반 디스플레이 또는 터치 기반 디스플레이인 경우에, 그래픽 뷰(4412)가 펜 기반 또는 터치 기반 디스플레이의 디스플레이 능력을 통하여 제시될 수 있도록 제시 컴포넌트(4414)는 계산 컴포넌트(4406)의 일부 또는 디스플레이의 일부일 수 있다.

계산 컴포넌트(4406)는 데이터 컴포넌트(4418)를 통해 사용자 데이터(4410)를 액세스할 수 있는 데이터 분석 및 처리 컴포넌트(4416)를 포함할 수 있다. 데이터 컴포넌트(4418)는 그래픽 표현(4420) 중 하나 이상(가령, 그래픽 표현(4408))을 통한 조작 및 상호작용을 위한 사용자 데이터(4410)(가령, 데이터세트)를 이용가능하게 하는, 서버 상의 데이터베이스, 분산된 데이터베이스, 로컬 클라이언트 상의 파일, 메모리내(in-memory) 데이터 등등일 수 있다. 또 다른 구현에서, 데이터 컴포넌트(4418)는 클라우드 컴퓨팅 인프라스트럭처(cloud computing infrastructure)의 일부일 수 있다.

그래픽 객체는 차트 축, 축 상의 눈금 표시, 텍스트, 치수, 포착된 사용자 스트로크, 박스, 선 등등을 디지털로 렌더링하거나 디스플레이하는 데 사용되는 객체이다. 그래픽 객체는 사용자 상호작용(들)(4404) 중 하나 이상에 기반하여 변경 및/또는 갱신할 수 있다. 반대로, 사용자 데이터(4410)는 사용자가 조사하기를 희망하는 데이터(가령, 판매 데이터, 금융 데이터)이다.

사용자 상호작용에 관하여, 만약 사용자 상호작용(4404)이 차트와 같은 그래픽 표현의 y-축 상의 스케일을 변경하는 것이라면, 데이터 분석 및 처리 컴포넌트(4416)는 사용자가 축에 적용하는 스트로크에 따라 축의 스케일링을 조절한다. 추가적으로, 데이터 분석 및 처리 컴포넌트(4416)는 새로운 사용자 상호작용(4404)에 따라 사용자에 의한 검토 중인 데이터세트(사용자 데이터(4410))를 처리한다.

그래픽 객체는, 그래픽 및 차트작성(charting) 생성 및 조작을 수행하는 능력을 제공하는 데다가 새로운 그래픽 표현을 처리하고 제시하기 위한 새로운 옵션을 추가하는 확장가능성도 제공하는 애플리케이션(가령, 차트작성 프로그램, 운영 체제)과 연관될 수 있음에 유의하시오.

앞에서 기술된 바와 같이, 디지털 상호작용적 컴포넌트(4402)(가령, 능동(active) 또는 수동(passive) 시각화 표면)는 디지털 화이트보드, 상호작용적 디스플레이 표면, 터치 표면, 펜 기반 표면 또는 단순히 컴퓨터 모니터(이를 통하여 사용자는 예컨대 마우스 또는 다른 포인터 구동식(pointer-driven) 사용자 입력 디바이스를 사용하여 상호작용함)이고 특정 디지털 상호작용적 컴포넌트(4402)가 사용자 상호작용을 인식하고 처리하는 것을 돕기 위한 적절한 소프트웨어(가령, 제시, 운영 체제, 차트작성/그래프화 등등)를 포함할 수 있다.

데이터 분석 및 처리 컴포넌트(4416)(가령, 컴퓨터 서브컴포넌트)는 사용자 상호작용(4404)에 응답하여 사용자 데이터(4410)에 대해 데이터 분석 기능(가령, 함수(들), 삭제, 필터, 수학 연산, 스케일 등등을 포함하는 동작)을 적용함으로써 데이터 분석을 수행한다. 예컨대, 만약 사용자가 차트의 y-축에 스트로크(이는 이후 그 축에 대한 스케일링을 정하기 위해 시스템(4400)에 의해 추론됨)를 적용하면, 시스템(4400)은 y-축에 대해 남은 눈금 표시를 자동으로 적용한다. 이후 데이터 분석 및 처리 컴포넌트(4416)는 차트(그래픽 표현(4408))를 맞추기 위해 검토 중인 데이터세트(사용자 데이터(4410))에 대해 데이터 분석을 자동으로 수행한다.

제시 컴포넌트(4414)(가령, 투영기 시스템, 디스플레이 표면, 터치 표면, 펜 기반 표면 등등)는 동작에 의해 변경되는 바와 같은 그래픽 표현(4408)과 연관하여 하나 이상의 그래픽 객체를 제시한다. 하나의 구현에서, 사용자 상호작용(4404)은 화이트보드인 디지털 상호작용적 컴포넌트(4402)로부터 포착되고 해석되며, 이후 일단 사용자가 그래프를 그리기를 의도하였음을 판정하도록 처리되면(가령, 추론되면), 결과적인 그래픽 객체는 원하는 치수 및 포맷에 따라서 사용자 데이터(4410)를 특징짓는(characterizing) 것에 따라 사용자 및 다른 관람자에 의한 시각화를 위해 화이트보드 상에 (비디오 또는 카메라 시스템에 의해) 투영된다.

다른 예에서, 사용자 상호작용(4404)은 터치 기반 표면 또는 디스플레이인 디지털 상호작용적 컴포넌트(4402)로부터 포착되고 해석되며, 이후 일단 사용자가 그래프를 그리기를 의도하였음을 판정하도록 처리되면(가령, 추론되면), 결과적인 그래픽 객체는 원하는 치수 및 포맷에 따라서 사용자 데이터(4410)를 특징짓는 것에 따라 사용자 및 다른 관람자(로컬 및/또는 원격)에 의한 시각화를 위해 터치 기반 디바이스(디스플레이)를 통하여 제시된다.

그래픽 표현(4408)은 채용되고 활용될 수 있는 그래픽 표현(4420) 중 다수 중의 단지 하나임에 유의하시오. 예컨대, 그래픽 표현(4408)은 바 차트, 산포도, 극좌표 그래프 등등일 수 있다. 추가적으로, 표현 및 연관된 스트로크의 개수 및 유형은 사용을 위한 새로운 스트로크 및 대응하는 표현을 추가하기 위해 확장가능할 수 있다.

시스템(4400)은 그래픽 표현(4408)의 자동 완성 및 그래픽 표현(4408)에 대한 사용자 상호작용(들)(4404)에 기반한 자동 완성의 능력을 제공한다. 다시 말해, 사용자 상호작용(4404)은 화살표, 차트의 축, 바 등등일 수 있는 그래픽 표현(4408)을 암시할 수 있다. 터치 기반 인터페이스에서 사용자 상호작용(4404)은 단일 터치 또는 다중 터치 제스처(예컨대 손 자세와 조합될 수 있음)를 포함할 수 있음에 유의하시오.

계산 컴포넌트(4406)는 사용자(들)에 의해 적용된(입력된) 바와 같은 사용자 상호작용(들)(4404)을 수신하는 컴포넌트일 수 있는 사용자 상호작용 수집기(4424)로부터 하나 이상의 상호작용(가령, 스트로크)을 수신하는 인식 컴포넌트(4422)(가령, 제스처 인식 컴포넌트)를 포함할 수 있다. 인식 컴포넌트(4422)는 상호작용을 인식하고 상호작용에 의해 암시되는 그래픽 표현(4408)의 제시를 가능하게 하는 결과를 생성한다.

인식 컴포넌트(4422)는 화살표, 차트 등등과 같은 그래픽 표현(4420)을 위해 사용자 상호작용(4404)을 처리하는 하나 이상의 인식기(recognizer)를 채용한다. 추가적으로, 인식 컴포넌트(4422)는 그래픽 표현(4420)과 (내부적으로) 연관된 주석(4426)을 다룬다. 주석은 상호작용(가령, 스트로크)와 연관된 수동적인 데이터 모음(passive data collection)이다. 사용자는 주석과 상호작용하지 않는다. 주석은 그것의 기저 데이터의 기본적인 변환을 수행한다(가령, 화살표 주석은 화살표 주석이 가리키는 "객체"를 색출할 수 있음). 사용자 상호작용(4404)은 우선 인식 컴포넌트(4422)의 인식기를 통과하는데, 그 인식기는 이어서 주석(4426)을 수정할 수 있다. 다시 그리기 이벤트(redraw event) 동안, 렌더링 컴포넌트(4428)의 렌더링기(renderer)는 이 정보를 판독하고 그것을 디스플레이한다.

렌더링 컴포넌트(4428)는 데이터를 주석(4426) 내에 렌더링하기 위한 상이한 렌더링기들을 포함한다. 렌더링 컴포넌트(4428)는 상이한 그래픽 표현 유형(가령, 차트, 화살표, 바, 범례, 라벨 메뉴 등등)을 위한 상이한 렌더링기들을 포함할 수 있다. 계산 컴포넌트(4406)의 일부로서 묘사되었으나, 인식 컴포넌트(4422) 및 렌더링 컴포넌트(4428)는 그 외부에 구현될 수 있다. 예컨대, 렌더링 컴포넌트(4428)는 제시 컴포넌트(4414)의 일부일 수 있다.

사용자 상호작용(들)(4404)은 처리되는 경우 대응하는 사용자 데이터(4410)를 (그래픽 표현(4420) 중의) 새로운 또는 갱신된 그래픽 표현의 일부로서 제시하는 많은 상이한 유형의 상호작용(가령, 스트로크)을 포함할 수 있다.

인식 컴포넌트(4422)는 그래픽 표현(4408)과 조합하여 (주석(4426) 중의) 주석을 추가한다. 디지털 상호작용적 컴포넌트(4402)는 사용자 상호작용(4404)이 사용자에 의해 시각화 인터페이스(가령, 디스플레이 표면, 화이트보드 등등)에 직접 적용될 수 있게 한다. 스트로크는 사용자(가령, 마커 펜, 디지털 펜, 터치 등등)에 의해 입력되고 인식 컴포넌트(4422)에 의해 그래픽 표현(4408)의 완성을 위해 인식되는 자유형태 스트로크(스케치 기반)일 수 있다. 이 자동 완성 특징은 본 문서에 기술된 다른 사용자 입력 모드에, 예를 들어 터치 기반 입력, 펜 기반 입력 등등에 대해, 똑같이 잘 적용된다.

스케치 기반 상호작용은 심볼에 기반하여 그래픽 표현(4408)을 변경하고, 기능을 적용함으로써 사용자 데이터(4410)를 변환하며, 고려사항으로부터 범례의 항목을 제거함으로써(가령, 범례 항목 위에 취소선(strikethrough) 스트로크를 가함으로써) 사용자 데이터(4410)를 필터링할 수 있다. 사용자 상호작용(4404)은 그래픽 표현(4408) 및 연관된 사용자 데이터(4410)에 대해 동작하거나 상이한 시각적 방식으로 사용자 데이터(4410)를 특징짓는 새로운 그래픽 표현을 생성하기 위해 처리되는 다수의 입력 스트로크를 포함할 수 있다.

디지털 상호작용적 컴포넌트(4402), 데이터 분석 및 처리 컴포넌트(4416), 인식 컴포넌트(4422), 렌더링 컴포넌트(4428) 및 제시 컴포넌트(4414)는 다수의 동시적인 사용자 상호작용, 다수의 동시적인 사용자 상호작용을 위해 색출될 연관된 암시된 주석, 그리고 대응하는 그래픽 표현의 수신, 처리 및 제시를 가능하게 한다.

사용자 상호작용(4404)은 심볼에 기반하여 그래픽 표현(4408)을 변경하고, 기능을 적용함으로써 사용자 데이터(4410)를 변환하며, (취소선 스트로크를 사용자 상호작용(4404)으로서 사용하여) 고려사항으로부터 메뉴 항목을 삭제함으로써 사용자 데이터(4410)를 필터링하도록 해석될 수 있다. 사용자 상호작용(4404)은 직접적으로 사용자에 의해 디지털 상호작용적 컴포넌트(가령, 터치 기반 표면, 펜 기반 표면 등등)에 적용되는 자유 형태 스트로크일 수 있다.

사용자 상호작용(4404)은, 처리되는 경우 스트로크 및 제2 스트로크의 조합에 의해 암시되는 새로운 그래픽 뷰의 일부로서 사용자 데이터(4410)를 제시하는 제2 스트로크를 포함하는 (단일의 사용자 또는 다수의 사용자로부터의) 다수의 상호작용을 포함할 수 있다. 사용자 상호작용(4404)은 그래픽 뷰(4412) 및 연관된 사용자 데이터(4410)에 대해 동작하기 위해 또는 사용자 데이터(4410)의 새로운 그래픽 뷰를 생성하기 위해 동시적으로 처리되는 다수의 사용자로부터의 다수의 스트로크를 포함할 수 있다. 제시 컴포넌트(4414)는 그래픽 표현(4408)에 의해 특징지어지는 사용자 데이터 및 메뉴 항목을 디지털 상호작용적 컴포넌트(4402) 상에 실시간으로 사용자 상호작용(4404)에 응답하여 투영한다.

도 45는 개시된 아키텍처에 따라 예시적인 스케치 기반 상호작용적 컴퓨터 기반 데이터 분석 시스템(4500)의 더욱 상세한 실시예를 예시한다. 이것은 단지 하나의 예시적 실시예임이 인식되어야 한다. 대안적인 실시예는 상이한 유형의 인식기(4502), 상이한 유형의 주석(4426) 및 렌더링기(4504)(가령, 축, 포인트, 바 등등과 같은 차트/그래프 컴포넌트)를 포함할 수 있다. 시스템(4500)은 동작 중에 시스템에 정보를 추가하는 (인식 컴포넌트(4422)의 일부로서의) 인식기(4502)의 세트를 갖는 "블랙보드"(blackboard) 시스템의 형태로서 구성되고 적용될 수 있다. 인식기(4502)는 특정한 유형의 하나 이상의 유입 스트로크(가령, 삭제 스트로크)를 (직접적으로 또는 간접적으로) 감시하고(monitor) 스트로크 구성에 기반하여 주석(4426)을 추가한다. (렌더링 컴포넌트(4428)의) 렌더링기(4504)는 주석 내의 데이터를 스크린 또는 상호작용적 표면(가령, 화이트보드)에 렌더링한다.

정보가 주석(4426)으로서 제공될 수 있는데, 그 주석(4426)은 이후 (가령, 펜 기반인) 스트로크의 세트와 연관된다. 스트로크가 보드(시각화 표면, 컴포넌트, 또는 인터페이스)에 가해질 때, 관련 특징(가령, 화살표)이 인식되고, 적절한 주석이 추가된다. 마찬가지로, 스트로크가 소거될(고려에서 제거될) 때, 시스템(4500)은 관련 주석을 삭제하고 시스템(4500)의 상태가 소거와 부합하게끔 한다.

인식기(4502)는 단지 몇 개만 예를 들면, 차트 인식기, 화살표 인식기, 바 인식기, 범례 인식기 및 라벨 메뉴 인식기를 포함할 수 있다. 차트 주석(4426)은 형상 범례, 라벨 메뉴, 색상 범례, 기능 메뉴, 축 메뉴, 축 화살표 등등을 포함하나 이에 한정되지 않는다. 렌더링된 차트(그래픽 표현(4408))는 축, 눈금 표시, 범례, 포인트, 바, 하나 이상의 라벨 메뉴, 화살표 등등과 같은 그래픽 객체의 세트를 포함할 수 있다.

하나의 구현에서, 인식기(4502)의 레지스트리(registry)가 인식기와 연관된 패턴의 정식 서술(formal description)과 함께 유지될 수 있다. 대안적으로, 각 인식기는 임의적으로 자신의 패턴을 구현할 수 있고, 따라서 활용되는 전역 서술 저장소(global description repository)가 전혀 없다. 인식기(4502)는 갱신을 위해, 갱신이 (사용자에 의해 그려지는) 새로운 스트로크이든 또는 (다른 인식기에 의해 추가되는) 새로운 주석이든, 시스템에 "주의한다"(listen). 스트로크가 보드(시각화 표면)에 가해지는 경우, 모든 주의하고 있는(listening) 인식기는 각 인식기가 차례로 인식기가 찾고 있는 항목의 유형과 스트로크가 매칭되는지를 체크할 수 있도록 통지받는다.

단일 스트로크가 여러 스트로크 인식기(4502)를 트리거하고(trigger) 인식기(4502) 전부에 의해 성공적으로 매칭될 수 있다. 그러므로, 스트로크는 다수의 중복되는(overlapping) 주석을 가질 수도 있다. 예컨대, 스트로크는 문자 "t"뿐만 아니라 화살표로 해석될 수 있다. 이 해석들이 공존하는 경우에, 모호한 해석은 방치된다(left alone). 하나의 해석이 다른 해석을 배제하는 경우에, 더 높은 수준의 인식기는 상충하는(conflicting) 주석을 제거할 수 있다(가령, 축으로 인식된 화살표는 임의의 텍스트 주석이 제거됨). 일단 갱신이 발생하면, 각 주석의 기저의 의미가 보드 상의 스트로크와 매칭되게끔 하기 위해 적절히 주석(4426)을 수정하는 것은 인식기(4502)에 달려 있다.

스트로크에 대한 여러 상이한 주석(4426)이 인식기(4502)에 의해 유지될 수 있는데, 다음을 포함하나 이에 한정되는 것은 아니다. 추가적으로, 다음은 스트로크가 구현될 수 있는 몇몇 예에 불과하다.

화살표: 사용자는 축을 위해 (각각 개별적으로 입력되는) 두 화살표를 그림으로써 차트작성 프로세스를 시작할 수 있다. 하나의 설계에서, 단일 스트로크 화살표가 성능상의 이유로 활용될 수 있다. 화살표 주석(4426)은 화살표처럼 형상화된 미처리 스트로크에 대해 "주의하는"(또는 주시하는) 화살표 인식기에 의해 유지된다.

차트: 두 개의 (가까이) 교차하는 화살표를 축으로 인식할 때에, 시스템은 그 차트를 위한 차트 주석을 생성한다. 차트를 위한 의미론적(semantic) 정보는 이 구조 내에 저장되는데, 사용자에 의해 로드되는(loaded) 백엔드 데이터 세트, x-축 눈금 표시 및 y-축 눈금 표시의 축 상에의 논리적 배치, 그리고 어느 열이 어느 축으로 로드되는지를 포함한다. 차트 주석은 교차하는 화살표에 대해서만 주의하는 특정 인식기에 의해 생성되나, 일단 실체화되면, 그것은 축 눈금(미처리 스트로크) 및 축 라벨(텍스트 메뉴/범례 주석) 갱신에 대해 주의하는 그 자신의 차트 인식기에 의해 관리된다. 사용자가 시스템에 스트로크를 가할 때, 스트로크는 필요에 따라 내부적으로 주석이 달리며, 그 결과들이 총괄적인(encompassing) 차트 주석까지 쭉쭉 나온다(cascade). 독립적으로 다수의 차트 주석을 다룸으로써, 사용자는 스크린(시각화 표면 또는 인터페이스 컴포넌트)에 들어맞을(fit) 임의의 개수의 차트를 그릴 수 있게 된다. 대안적으로, 사용자는 디바이스에 의해 색출가능한 차트를 불러낼(call up) 수 있다.

축 범례: 각각 색상 및 형상 축을 위한 것인 두 범례 주석이 각 차트 주석과 함께 생성된다. 이들 데이터 구조는 (라벨 메뉴 주석을 통해) 어느 데이터 열이 그 축을 위해 선택되는지는 물론 그 열의 데이터에 적용되는 필터에 대한 데이터를 유지한다. 그 열로부터 채워진(populated) 값에 줄을 긋는 미처리 스트로크에 대해 주의하고, 어느 데이터 열이 그 축을 위해 선택되는지를 수정하는 라벨 메뉴 주석으로 변경하는 범례 인식기에 의해 이들 주석은 최신으로 유지된다.

라벨 메뉴: 라벨 메뉴 주석은 두 가지 형태를 가질 수 있다. 첫 번째이자 가장 간단한 형태는 텍스트 입력을 위한 영역을 정의한다. 사용자가 그 영역 내에 기입할 때, 연관된 라벨 메뉴 인식기는 (가령, 라이브러리에 대한 질의로부터 회신되는 바와 같은) 결과적인 텍스트 주석을 감시하고, 가능한 옵션들 중 제1 부분적 매치(partial match)를 고른다. 예컨대, 열 명칭(가령, "Country", "Population", "Year")의 리스트가 옵션으로 주어지면, 스트로크의 세트가 "C", "CO", "COU" 등등으로서 주석이 달리자마자 곧 라벨 메뉴는 그것의 선택을 "Country"로 설정한다. 제2 유형의 라벨 메뉴는 텍스트 입력 영역 아래에 이용가능한 옵션의 리스트를 디스플레이한다. 그러면 사용자는 사용자가 선택하기를 희망하는 옵션에 동그라미를 칠 수 있다. 이 유형의 라벨 메뉴에 있어서, 메뉴 인식기는 또한 옵션에 동그라미를 치는 미처리 스트로크에 대해 주의한다. 일단 옵션에 동그라미가 쳐지면, 인식기는 그것의 선택을 설정함으로써 주석을 갱신한다. 제3 유형은 사용자가 텍스트를 기입할 때, 시스템이 입력된 텍스트와 매칭되는(즉, 이를 포함하는) 열 명칭의 리스트를 보여주도록 다른 두 개의 조합을 포함할 수 있다.

바: 사용자가 바 형상의 스트로크를 시각화 표면 또는 인터페이스 상에 그리는 경우, 주의하고 있는 바 인식기는 바 주석을 생성한다. 이후 차트 인식기는 그 주석 내에 정의된 바가 x-축을 가로지르는지(교차하는지) 체크하고, 만약 교차점이 존재한다면 그것의 차트 주석을 바 차트로 변경한다.

인식기(4502)가 주석의 기저 데이터를 갱신하고 관리하는 반면, 렌더링기(4504)는 주석(4426) 내에 정의된 상태를 사용자에게 디스플레이하는 과업이 있다. 각각의 주석/인식기는 상호작용의 방법을 정의하는데, 이의 세부사항은 보드의 겉보기(look)를 변경함으로써 사용자에게 전해진다. 렌더링은 사용자가 이전의 스트로크를 통해 차트를 수정하도록 장려하기 위해서 (사용자 스트로크를 제거하거나 정돈하지 않고) 그래픽을 보드에 추가하는 것으로 제한될 수 있다.

렌더링되는 차트는 사용자가 그린 축 위에 직선을 오버레이하고, 색칠된 포인트/심볼/바를 보드 상의 정확한 포지션에 그린다. 이후 그것은 차트의 텍스트 입력 영역 내의 필적(handwriting)의 인식된 결과로부터 텍스트를 프린트하기 위해 라벨 메뉴 및 범례 렌더링기를 호출한다.

인식기(4502)는 특정한 주석(4426) 및 렌더링기(4504)와 연관될 수 있다. 예컨대, 차트 인식기(4506)는 차트 주석(4508) 및 (예컨대, 축, 눈금, 범례, 포인트 및 바를 렌더링한) 차트 렌더링기(4510)를 가질 수 있다. 유사하게, 바 인식기(4512)는 동일한 차트 주석(4508) 그리고 차트 렌더링기(4510)를 가질 수 있다. 화살표 인식기(4514)는 x/y 축 화살표 주석(4516)과 화살표 렌더링기(4518)를 가질 수 있다. 범례 인식기(4520)는 형상 범례 주석(4522) 및 색상 범례 주석(4524)을 가질 수 있다. 라벨 메뉴 인식기(4526)는 형상 범례 라벨 메뉴 주석(4528), 색상 범례 라벨 메뉴 주석(4530), 기능 메뉴 주석(4532) 및 x/y 축 메뉴 주석(4534)은 물론 라벨 메뉴 렌더링기(4536)도 가질 수 있다. 도시된 바와 같이, 이것들은 채용될 수 있는 가능한 인식기, 주석 및 렌더링기 중 단지 소수에 불과하다.

달리 말하면, 디지털 상호작용적 컴포넌트(사용자 상호작용을 직접 그것에 적용된 스트로크로서 수신함), 인식 컴포넌트(스트로크를 인식하고 스트로크의 세트와 연관된 주석을 관리함), 렌더링 컴포넌트(주석 내에 정의된 상태를 렌더링함), 데이터 분석 및 처리 컴포넌트(사용자 데이터의 그래픽 뷰를 생성하기 위한 그래픽 표현에 기반하여 사용자 데이터에 대해 동작을 수행함) 및 제시 컴포넌트(스트로크 및 디지털 상호작용적 컴포넌트와 연관하여 사용자 데이터의 그래픽 뷰를 제시함)를 포함하는 상호작용적 시스템이 개시된다.

제시 컴포넌트는 그래픽 뷰와, 사용자 데이터의 특성(characterization)을 그래픽 표현에 기반하여 디지털 상호작용적 컴포넌트 상에 사용자 상호작용에 실시간으로 응답하여 투영할 수 있다. 사용자 상호작용은 차트, 그래프, 화살표, 범례, 메뉴, 스케일링, 필터링, 채색(colorization), 데이터 변환, 또는 소거 중 적어도 하나를 암시하는 자유형태 스트로크일 수 있다. 사용자 상호작용은 사용자 데이터의 분석을 가능하게 하기 위해 해석되고 인식된다. 사용자 상호작용은 심볼 또는 제스처와, 기능을 통한 사용자 데이터의 변환과, 사용자 데이터의 필터링 등등에 기반하여 그래픽 표현의 변경을 가능하게 하기 위해 처리된다. 사용자 상호작용은 디지털 상호작용 컴포넌트에 적용되고 대응하는 암시된 그래픽 표현을 생성하기 위해 동시적으로 인식되는 다수의 스케치 기반 스트로크를 포함할 수 있다.

이제 도 46을 참조하면, 개시된 아키텍처에 따라 컴퓨터 이용 데이터 분석으로써 스케치 기반 상호작용을 실행하는 컴퓨팅 시스템(4600)의 블록도가 예시된다. 그것의 다양한 양상을 위한 추가적인 콘텍스트(context)를 제공하기 위해서, 도 46 및 이하의 서술은 그 다양한 양상이 구현될 수 있는 적합한 컴퓨팅 시스템(4600)의 짧은 일반적인 서술을 제공하도록 의도된다. 위의 서술은 하나 이상의 컴퓨터 상에서 작동할 수 있는 컴퓨터 실행가능(computer-executable) 명령어의 일반적인 콘텍스트 내에 있으나, 당업자는 신규한 실시예가 또한 다른 프로그램 모듈과 조합하여 및/또는 하드웨어와 소프트웨어의 조합으로서 구현될 수 있음을 인식할 것이다.

다양한 양상을 구현하기 위한 컴퓨팅 시스템(4600)은 처리 유닛(들)(4604), 시스템 메모리(4606)와 같은 컴퓨터 판독가능 스토리지 및 시스템 버스(4608)를 가지는 컴퓨터(4602)를 포함한다. 처리 유닛(들)(4604)은 단일 프로세서, 다중 프로세서, 단일 코어 유닛 및 다중 코어 유닛과 같은 다양한 상업적으로 이용가능한 프로세서 중 임의의 것일 수 있다. 더욱이, 당업자는 미니컴퓨터, 메인프레임 컴퓨터는 물론 개인용 컴퓨터(가령, 데스크톱, 랩톱 등등), 핸드헬드(hand-held) 컴퓨팅 디바이스, 마이크로프로세서 기반 또는 프로그램가능 가전기기 및 유사한 것(각각은 하나 이상의 연관된 디바이스에 동작가능하게(operatively) 커플링될 수 있음)을 포함하는 다른 컴퓨터 시스템 구성으로써 신규한 방법이 실시될 수 있음을 인식할 것이다.

시스템 메모리(4606)는 휘발성(VOL) 메모리(4610)(가령, 랜덤 액세스 메모리(Random Access Memory: RAM)) 및 비휘발성 메모리(NON-VOL)(4612)(가령, ROM, EPROM, EEPROM 등등)와 같은 컴퓨터 판독가능 스토리지(물리적 저장 매체)를 포함할 수 있다. 기본 입력/출력 시스템(Basic Input/Output System: BIOS)가 비휘발성 메모리(4612) 내에 저장될 수 있으며, 예를 들어 시동(startup) 중에, 컴퓨터(4602) 내의 컴포넌트들 간의 데이터 및 신호의 통신을 가능하게 하는 기본 루틴을 포함한다. 휘발성 메모리(4610)는 또한 데이터를 캐시하기(caching) 위한 정적 RAM과 같은 고속 RAM을 포함할 수 있다.

시스템 버스(4608)는 시스템 메모리(가령, 메모리 서브시스템)(4606) 내지 처리 유닛(들)(4604)을 포함하나 이에 한정되지 않는 시스템 컴포넌트를 위한 인터페이스를 제공한다. 시스템 버스(4608)는 여러 가지 상업적으로 이용가능한 버스 아키텍처 중 임의의 것을 사용하여, 메모리 버스(memory bus)(메모리 제어기가 있거나 없음)와, 주변 버스(peripheral bus)(가령, PCI, PCIe, AGP, LPC 등등)로 추가로 상호연결될 수 있는 여러 유형의 버스 구조 중 임의의 것일 수 있다.

컴퓨터(4602)는 머신 판독가능 저장 서브시스템(들)(4614) 및 저장 서브시스템(들)(4614)을 시스템 버스(4608) 및 다른 원하는 컴퓨터 컴포넌트로 인터페이스하기 위한 저장 인터페이스(들)(4616)를 더 포함한다. 저장 서브시스템(들)(4614)(물리적 저장 매체)은 예컨대 하드 디스크 드라이브(Hard Disk Drive: HDD), 자기 플로피 디스크 드라이브(Floppy Disk Drive: FDD) 및/또는 광학 디스크 저장 드라이브(가령, CD-ROM 드라이브 DVD 드라이브) 중 하나 이상을 포함할 수 있다. 저장 인터페이스(들)(4616)는 예컨대 EIDE, ATA, SATA 및 IEEE 1394와 같은 인터페이스 기술을 포함할 수 있다.

운영 체제(4620), 하나 이상의 애플리케이션 프로그램(4622), 다른 프로그램 모듈(4624) 및 프로그램 데이터(4626)를 포함하여, 하나 이상의 프로그램 및 데이터가 시스템 메모리(4606), 머신 판독가능 및 탈착가능 메모리 서브시스템(4618)(가령, 플래시 드라이브 폼 팩터 기술) 및/또는 저장 서브시스템(들)(4614)(가령, 광학, 자기, 솔리드 스테이트(solid state)) 내에 저장될 수 있다.

운영 체제(4620), 하나 이상의 애플리케이션 프로그램(4622), 다른 프로그램 모듈(4624) 및 프로그램 데이터(4626)는 무엇보다도, 도 44의 시스템(4400)의 개체 및 컴포넌트, 도 45의 시스템(4500)의 개체 및 컴포넌트를 포함할 수 있다.

일반적으로, 프로그램은 특정한 작업을 수행하거나 특정한 추상적 데이터 유형을 구현하는 루틴, 메쏘드, 데이터 구조, 다른 소프트웨어 컴포넌트 등등을 포함한다. 운영 체제(4620), 애플리케이션 프로그램(4622), 모듈(4624) 및/또는 데이터(4626) 중 전부 또는 일부는 또한 예컨대 휘발성 메모리(4610)와 같은 메모리 내에 캐시될 수 있다. 개시된 아키텍처는 다양한 상업적으로 이용가능한 운영 체제 또는 운영 체제의 조합으로써 (가령, 가상 머신으로서) 구현될 수 있음이 인식되어야 한다.

저장 서브시스템(들)(4614) 및 메모리 서브시스템(4606 및 4618)은 데이터, 데이터 구조, 컴퓨터 실행가능 명령어 및 기타 등등의 휘발성 및 비휘발성 저장을 위해 컴퓨터 판독가능 매체로서의 역할을 한다. 그러한 명령어는 컴퓨터 또는 다른 머신에 의해 실행되는 경우 컴퓨터 또는 다른 머신으로 하여금 방법의 하나 이상의 행위(act)를 수행하게 할 수 있다. 행위를 수행하기 위한 명령어는, 명령어 전부가 동일한 매체 상에 있는지와는 무관하게, 명령어가 집합적으로 하나 이상의 컴퓨터 판독가능 저장 매체 상에 나타나도록, 하나의 매체 상에 저장될 수 있거나, 다수의 매체에 걸쳐서 저장될 수 있다.

컴퓨터 판독가능 매체는 컴퓨터(4602)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며 탈착가능하거나 비탈착가능한 휘발성 및 비휘발성 내부 및/또는 외부 매체를 포함한다. 컴퓨터(4602)를 위해, 그 매체는 임의의 적합한 디지털 포맷으로 데이터의 저장을 수용한다(accommodate). 개시된 아키텍처의 신규한 방법을 수행하기 위한 컴퓨터 실행가능 명령어를 저장하기 위해, 집 드라이브(zip drive), 자기 테이프(magnetic tape), 플래시 메모리 카드(flash memory card), 플래시 드라이브(flash drive), 카트리지(cartridge) 및 유사한 것과 같은 다른 유형의 컴퓨터 판독가능 매체가 채용될 수 있음이 당업자에 의해 인식될 터이다.

사용자는 키보드 및 마우스와 같은 외부 사용자 입력 디바이스(4628)를 사용하여 컴퓨터(4602), 프로그램 및 데이터와 상호작용할 수 있다. 다른 외부 사용자 입력 디바이스(4628)는 마이크, IR(적외선) 리모트 컨트롤, 조이스틱(joystick), 게임 패드(game pad), 카메라 인식 시스템, 스타일러스 펜, 터치 스크린, 제스처 시스템(가령, 눈 움직임, 머리 움직임 등등) 및/또는 유사한 것을 포함할 수 있다. 사용자는 예컨대 컴퓨터(4602)가 휴대가능한(portable) 컴퓨터인 경우에, 터치패드(touchpad), 마이크, 키보드 등등과 같은 온보드(onboard) 사용자 입력 디바이스(4630)를 사용하여 컴퓨터(4602), 프로그램 및 데이터와 상호작용할 수 있다. 이들 입력 디바이스 및 다른 입력 디바이스는 시스템 버스(4608)를 통하여 입력/출력(Input/Output: I/O) 디바이스 인터페이스(들)(4632)를 거쳐 처리 유닛(들)(4604)에 연결되나, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 단거리(short-range) 무선 (가령, 블루투스(Bluetooth)) 및 다른 개인 영역 네트워크(Personal Area Network: PAN) 기술 등등과 같은 다른 인터페이스에 의해 연결될 수 있다. I/O 디바이스 인터페이스(들)(4632)는 또한 프린터, 오디오 디바이스, 카메라 디바이스 및 기타 등등, 예를 들어 사운드 카드 및/또는 온보드 오디오 처리 능력과 같은 출력 주변기기(4634)의 사용을 가능하게 한다.

하나 이상의 그래픽 인터페이스(들)(4636)(그래픽 처리 유닛(Graphics Processing Unit: GPU)이라고도 흔히 지칭됨)는 컴퓨터(4602) 및 외부 스크린(들)(4638)(가령, LCD, 플라즈마) 및/또는 온보드 스크린(4640)(가령, 휴대가능한 컴퓨터를 위한 것) 간에 그래픽 및 비디오 신호를 제공한다. 그래픽 인터페이스(들)(4636)는 또한 컴퓨터 시스템 보드의 일부로서 제조될 수 있다.

컴퓨터(4602)는 유선/무선 통신 서브시스템(4642)을 통해 하나 이상의 네트워크 및/또는 다른 컴퓨터로의 논리적 연결을 사용하여 (가령, IP 기반인) 네트워킹된 환경(networked environment) 내에서 동작할 수 있다. 다른 컴퓨터는 워크스테이션, 서버, 라우터, 개인용 컴퓨터, 마이크로프로세서 기반 엔터테인먼트 설비, 피어(peer) 디바이스 또는 다른 공통 네트워크 노드를 포함하고, 통상적으로는 컴퓨터(4602)에 관해 기술된 요소들 중 다수 또는 전부를 포함할 수 있다. 논리적 연결은 로컬 영역 네트워크(Local Area Network: LAN), 광역 네트워크(Wide Area Network: WAN), 핫스팟(hospot) 및 기타 등등으로의 유선/무선 연결성을 포함할 수 있다. LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 흔하며 인트라넷과 같은 기업 범위의(enterprise-wide) 컴퓨터 네트워크를 가능하게 하는데, 이들 전부는 인터넷과 같은 글로벌 통신 네트워크에 연결될 수 있다.

네트워킹 환경에서 사용되는 경우 유선/무선 네트워크, 유선/무선 프린터, 유선/무선 입력 디바이스(4644) 및 기타 등등과 통신하기 위해 컴퓨터(4602)는 유선/무선 통신 서브시스템(4642)(가령, 네트워크 인터페이스 어댑터, 온보드 송수신기 서브시스템 등등)을 통하여 네트워크에 연결된다. 컴퓨터(4602)는 네트워크 상에서 통신을 수립하기 위한 모뎀 또는 다른 수단을 포함할 수 있다. 네트워킹된 환경에서, 컴퓨터(4602)에 관련된 프로그램 및 데이터는 분산 시스템(distributed system)과 연관된 것과 같은 원격 메모리/저장 디바이스 내에 저장될 수 있다. 보여진 네트워크 연결은 예시적이며 컴퓨터들 간의 통신 링크를 수립하는 다른 수단이 사용될 수 있음이 인식될 것이다.

컴퓨터(4602)는, 예컨대 프린터, 스캐너, 데스크톱 및/또는 휴대가능한 컴퓨터와의 무선 통신(가령, IEEE 802.11 OTA(over-the-air) 변조 기법) 내에 동작가능하게 배치된 무선 디바이스, 개인용 디지털 보조기기(Personal Digital Assistant: PDA), 통신 위성, 무선으로 검출가능한 태그와 연관된 임의의 장비 또는 위치(가령, 키오스크(kiosk), 신문 가판대, 화장실) 및 전화기와 같은, 무선 기술, 예를 들어 IEEE 802.xx 표준 계열을 사용하는 유선/무선 디바이스 또는 개체와 통신하도록 동작할 수 있다. 이것은 적어도 핫스팟을 위한 와이파이(Wi-Fi 또는 Wireless Fidelity), 와이맥스(WiMax), 블루투스(Bluetooth™) 무선 기술을 포함한다. 그러므로, 통신은 종래의 네트워크에서와 같은 사전정의된 구조(predefined structure)이거나 단지 적어도 두 디바이스 간의 애드 혹 통신(ad hoc communication)일 수 있다. 와이파이 네트워크는 고속의 신뢰성 있는 보안 무선 연결성을 제공하기 위해 IEEE 802.11x (a, b, g 등등)으로 불리는 무선 기술을 사용한다. 와이파이 네트워크는 컴퓨터들을 서로에게, 인터넷에, 그리고 (IEEE 802.3 관련 매체 및 기능을 사용하는) 유선 네트워크에 연결하기 위해 사용될 수 있다.

방법 예

도 47은 예시적인 상호작용적 경험 방법(4700)을 도시한다. 이 경우에, 방법은 블록(4702)에서 그래픽 사용자 인터페이스(Graphical User Interface: GUI) 상에 데이터 시각화들을 디스플레이할 수 있다. GUI는 디지털 화이트보드, 스마트 폰 및 태블릿을 포함하는 여러 가지 디바이스 상에 디스플레이될 수 있다. 데이터 시각화의 예는 디지털 이미지로 처리된 차트, 그래프, 표, 사진, 컴퓨터 생성 그래픽 객체 및/또는 아트워크를 포함할 수 있다. 데이터 시각화는 로컬로 또는 네트워크 상에서 스토리지로부터 색출될 수 있다.

하나의 관점에서 GUI는 사용자 또는 사용자들이 새로운 데이터 시각화를 생성하는 '캔버스'로 간주될 수 있다. 몇몇 구현에서, 손가락 터치(가령, 터치) 및/또는 펜 터치(가령, 펜)를 통한 터치는 기본적인 기능을 통한 공유된 캔버스 상에서의 새로운 콘텐트의 생성을 위한 주된 입력 메커니즘일 수 있다. 물리적 화이트보드와 매우 흡사하게, 사용자는 캔버스 상에 자유 형태 잉크를 기입할 수 있다. 몇몇 경우에, 캔버스는 (본질적으로) 무한한 캔버스를 생성하도록 스크롤가능할 수 있다. 이 잉크는 다수의 형상 인식기를 통해 자동으로 인식되어, 도식(schema) 및 행동으로써 자유 형태 잉크와 객체 간의 간극을 메울 수 있다. 예컨대, 사용자가 리스트를 기입할 때, 방법은 이것을 인식하고, 다음 항목을 위한 기준선(guideline)을 리스트 내에 그리는 것은 물론 잉크 투 텍스트(ink-to-text), 정렬 등등을 위한 행동을 제공하는 것을 시작할 수 있다.

방법은 블록(4704)에서 데이터 시각화들에 대응하는 제스처를 수신할 수 있다. 대안적으로, 방법은 데이터 시각화들 및/또는 GUI에 관한 임의의 형태의 명령 또는 사용자 입력을 수신할 수 있다. 예컨대, 입력은 펜 입력, 터치 입력, 신체 제스처, 시각적 큐, 또는 발화된 명령을 포함할 수 있다. 몇몇 구현에서, 입력은 하나의 디바이스, 예를 들어 태블릿에 관련되게 될 수 있으나, 데이터 시각화들은 다른 디바이스, 예를 들어 디지털 화이트보드 상에 보이거나, 투영 스크린 상에 보인다. 제스처 또는 사용자 입력은 데이터 시각화들에 관한 매우 다양한 동작으로 지향될 수 있다. 특정한 예들이 도 1 내지 도 41에 관해 더욱 상세히 전술되어 있다.

제스처에 응답하여, 방법은 블록(4706)에서 데이터 시각화들과 연관된 데이터 세트들을 조합하기 위한 논리적 방식을 판정할 수 있다. 대안적으로, 방법은 데이터 세트의 서브세트를 생성하기 위해 데이터 세트로부터 데이터를 추출할 수 있다. 추출된 서브세트는 새로운 데이터 시각화를 생성하는 데 사용될 수 있다.

방법은 블록(4708)에서 조합된 데이터 세트를 나타내는 새로운 데이터 시각화를 생성할 수 있다.

방법은 블록(4710)에서 GUI 상에 새로운 데이터 시각화를 디스플레이할 수 있다.

도 48은 예시적인 상호작용적 경험 방법(4800)을 도시한다. 이 경우에, 방법은 블록(4802)에서 그래픽 사용자 인터페이스(Graphical User Interface: GUI) 상에 데이터 시각화를 디스플레이할 수 있다.

방법은 블록(4804)에서 선택가능한 객체를 데이터 시각화로부터 추출하기 위한 사용자 입력을 수신할 수 있다. 선택가능한 객체는 무엇보다도 표의 행, 표의 열, 차트 상의 데이터 포인트 및/또는 픽처 내의 격리된 이미지를 포함하는, 데이터 시각화 내의 여러 가지 항목 중 임의의 것일 수 있다. 사용자 입력은 무엇보다도 펜 입력, 터치 입력, 신체 제스처, 시각적 큐, 또는 발화된 명령을 포함할 수 있다. 선택가능한 객체는 데이터 시각화 내의 데이터의 서브세트일 수 있다.

사용자 입력에 응답하여, 방법은 블록(4806)에서 선택가능한 객체와 연관된 데이터로부터 새로운 데이터 시각화를 생성할 수 있다. 추출된 서브세트는 새로운 데이터 시각화를 생성하는 데 사용될 수 있다. 예컨대, 표의 행이 새로운 표를 생성하기 위해 추출될 수 있다.

방법은 블록(4808)에서 GUI 상에 새로운 데이터 시각화를 디스플레이할 수 있다.

방법은 블록(4810)에서 사용자로 하여금 새로운 데이터 시각화를 통하여 선택가능한 객체와 연관된 데이터를 조작할 수 있게 할 수 있다. 예컨대, 사용자는 선택가능한 객체를 서브세트로부터 더 추출하거나, 새로운 데이터 시각화를 생성하기 위해 서브세트를 다른 서브세트 또는 다른 정보와 조합할 수 있다. 혹은, 사용자는 서브세트에 대한 다양한 형태의 데이터 분석을 수행할 수 있다.

도 49는 예시적인 상호작용적 경험 방법(4900)을 도시한다. 이 경우에, 방법은 블록(4902)에서 그래픽 사용자 인터페이스(Graphical User Interface: GUI) 상에 하나 이상의 데이터 시각화를 디스플레이할 수 있다.

방법은 블록(4904)에서 하나 이상의 데이터 시각화에 관한, 양손을 쓰는 사용자 제스처(two-handed user gesture)를 검출할 수 있다. 몇몇 경우에, 양손을 쓰는 사용자 제스처는 "범프" 제스처일 수 있다. 다른 경우에, 양손을 쓰는 제스처는 데이터 시각화로부터 데이터를 추출하기 위한 추출 명령을 나타내는 제스처일 수 있다.

방법은 블록(4906)에서 하나 이상의 데이터 시각화와 연관된 데이터를, 데이터의 유형 및 양손을 쓰는 사용자 제스처에 기반하여 데이터를 처리하기 위한 논리적 방식을 판정하기 위해 분석할 수 있다. 하나의 예에서, 방법은 사용자가 두 차트에 관한 범프 제스처를 행하고 있음을 판정하고, 범프 제스처에 응답하기 위한 논리적 방식이 그 차트들을 새로운 차트로 조합하는 것(가령, 두 차트를 위한 데이터를 조합하고 새로운 차트를 생성하기 위해 조합된 데이터를 사용하는 것)임을 판정할 수 있다. 또한 이 예에서, 방법에 의해 생성된 새로운 차트의 유형은 하나 이상의 데이터 시각화 내의 데이터의 유형으로부터 도출될 수 있다.

방법은 블록(4908)에서 논리적 방식에 따라 데이터를 처리함으로써 새로운 데이터 시각화를 생성할 수 있다. 하나의 예에서, 새로운 데이터 시각화는 새로운 데이터 시각화와 연관된 데이터의 서브세트를 나타내는 개별적으로 선택가능한 객체를 포함할 수 있다. 다른 경우에, 새로운 데이터 시각화는 양손을 쓰는 사용자 제스처 이외에 사용자로부터의 추가 입력 없이 생성될 수 있다.

블록(4910)에서, 방법은 새로운 데이터 시각화를 GUI 상에 디스플레이할 수 있다.

서술된 방법은 도 42 내지 도 46에 관해 전술된 시스템 및/또는 디바이스에 의해, 그리고/또는 다른 디바이스 및/또는 시스템에 의해 수행될 수 있다. 방법이 서술된 순서는 한정으로서 해석되도록 의도된 것이 아니며, 서술된 행위 중 임의의 개수가 위 방법 또는 대체적 방법을 구현하기 위해 임의의 순서로 조합될 수 있다. 나아가, 디바이스가 방법을 구현할 수 있도록, 방법은 임의의 적합한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현될 수 있다. 하나의 경우에, 방법은 명령어의 세트로서 컴퓨터 판독가능 저장 매체 상에 저장되어서 컴퓨팅 디바이스에 의한 실행은 컴퓨팅 디바이스로 하여금 방법을 실행하도록 한다.

요약하면, 본 기법은 디지털 디스플레이 디바이스와의 상호작용 경험에서 데이터 시각화와 상호작용하는 저마찰(low friction) 또는 무마찰의(frictionless) 능력을 제공할 수 있다. 사용자는 직관적이고/이거나 널리 인정되는 사용자 명령을 사용하여 화이트보드 스타일 상호작용으로 아이디어를 브레인스토밍하고, 데이터를 조작하며, 정보에 대해 검색을 할 수 있다.

결론

상호작용적 디지털 디스플레이는 데이터 시각화와의 상호작용을 가능하게 할 수 있다. 상호작용적 디지털 디스플레이는 데이터의 새로운 시각화를 포함하는 기능을 제공하기 위해 사용자 입력을 인식하는 것을 시도할 수 있다. 데이터는 로컬로 및/또는 네트워크 상에서 액세스되는 기존의 정보 및 새로 생성된 콘텐트를 포함할 수 있다.

본 개념은 데이터 조작에 관한 기능의 심도에 의해 기존의 펜- 및 터치-가능형 디바이스와 구별될 수 있다. 본 개념의 몇몇 구현에서, 상호작용적 디지털 디스플레이는 데이터 시각화의 조합을 자동으로 생성하여, 조합된 데이터를 보는 새로운 방식을 제공할 수 있다. 상호작용적 디지털 디스플레이는 사용자로 하여금 데이터 시각화로부터 객체 또는 데이터를 독립적인 기능적 항목(다른 정보와 더 조합되거나 분석될 수 있음)으로서 분리할 수 있게 할 수 있다. 상호작용적 디지털 디스플레이는 컴퓨터의 계산 능력에 의해 도움을 받는 사용자들 간의 자연스러운 브레인스토밍 및 협동 활동을 가능하게 할 수 있다.

디지털 디스플레이 상의 데이터 시각화와의 상호작용에 관한 기법, 방법, 디바이스, 시스템 등등이 구조적 특징 및/또는 방법론적 행위에 특정한 말로 서술되었으나, 부기된 청구항에 정의된 대상(subject matter)은 서술된 특정 특징 또는 행위에 반드시 한정되는 것은 아님이 이해되어야 한다. 오히려, 전술된 특정 특징 및 행위는 청구된 방법, 디바이스, 시스템 등등을 구현하는 예시적인 형태로서 개시된다.

Claims (15)

1. 스크린(screen)과,
   센서와,
   그래픽 사용자 인터페이스(graphical user interface)가 상기 스크린 상에 제시되게 하도록 구성되는 프로세서를 포함하되, 상기 그래픽 사용자 인터페이스는
   사용자에 의해 수행되는 사용자 명령에 관련되고 상기 센서에 의해 검출되는 입력을 상기 센서로부터 수신하고,
   제1 데이터 시각화 및 제2 데이터 시각화를 조합하기 위한 범프 제스처(bump gesture)로서 상기 입력을 해석하며,
   상기 범프 제스처에 응답하여, 상기 제1 및 제2 데이터 시각화로부터의 데이터의 조합을 나타내는 제3 데이터 시각화를 자동으로 생성하도록 구성되는,
   디바이스.
   
2. 제1항에 있어서,
   상기 사용자에 의해 수행되는 상기 범프 제스처는 상기 사용자가 두 손 또는 각 손의 하나 이상의 손가락으로써 상기 제1 데이터 시각화 및 상기 제2 데이터 시각화를 선택하는 것 및 상기 두 손 또는 상기 하나 이상의 손가락을 서로를 향해 동시에 움직이는 것으로 이루어지는,
   디바이스.
   
3. 제1항에 있어서,
   상기 그래픽 사용자 인터페이스는 또한 공통 카테고리에 대해 상기 제1 데이터 시각화로부터의 데이터의 제1 세트 및 상기 제2 시각화로부터의 데이터의 제2 세트를 조사함으로써 상기 제3 데이터 시각화를 자동으로 생성하도록 구성되는,
   디바이스.
   
4. 제3항에 있어서,
   상기 제3 데이터 시각화는 상기 공통 카테고리에 적어도 부분적으로 기반하는,
   디바이스.
   
5. 제1항에 있어서,
   상기 그래픽 사용자 인터페이스는 상기 제3 데이터 시각화를 디스플레이하도록 구성되는,
   디바이스.
6. 제1항에 있어서,
   상기 그래픽 사용자 인터페이스는 또한
   상기 센서로부터 다른 입력을 수신하고,
   상기 제3 데이터 시각화로부터 데이터의 서브세트를 추출하기 위한 추출 제스처로서 상기 다른 입력을 해석하며,
   상기 추출 제스처에 응답하여, 데이터의 상기 서브세트를 디스플레이하는 제4 데이터 시각화를 자동으로 생성하고,
   상기 제4 시각화를 상기 그래픽 사용자 인터페이스 상에 디스플레이하도록 구성되는,
   디바이스.
   
7. 제6항에 있어서,
   상기 추출 제스처는 상기 제3 데이터 시각화 내의 하나 이상의 선택가능한 객체에 관하여 상기 사용자에 의해 수행되되, 상기 선택가능한 객체는 데이터의 상기 서브세트를 나타내는,
   디바이스.
   
   
8. 제7항에 있어서,
   상기 제4 데이터 시각화는 상기 제3 데이터 시각화와 상이한 형태로 데이터의 상기 서브세트를 제시하고, 상기 제4 데이터 시각화는 개별적으로 선택가능한 새로운 객체를 포함하는,
   디바이스.
   
9. 제6항에 있어서,
   상기 제4 데이터 시각화는 상기 제3 데이터 시각화와 함께 상기 그래픽 사용자 인터페이스 상에 디스플레이되는,
   디바이스.
   
10. 컴퓨터 판독가능 명령어를 저장하도록 구성되는 스토리지(storage)와,
    상기 컴퓨터 판독가능 명령어를 실행하도록 구성되는 프로세서와,
    데이터의 하나 이상의 시각화의 디스플레이에 관해 사용자에 의해 입력되는 제스처를 인식하도록 구성되는 제스처 인식 컴포넌트와,
    상기 제스처에 응답하여 상기 하나 이상의 시각화와 연관된 상기 데이터를 분석하고, 상기 제스처에 따라 상기 하나 이상의 시각화로부터 상기 데이터 중 적어도 일부를 처리하기 위한 논리적 방식을 판정하도록 구성되는 데이터 분석 및 처리 컴포넌트와,
    상기 하나 이상의 시각화로부터 상기 데이터 중 상기 적어도 일부를 나타내는 새로운 시각화를 생성하도록 구성되는 시각화 렌더링 컴포넌트를 포함하되,
    상기 프로세서는 상기 제스처 인식 컴포넌트, 상기 데이터 분석 및 처리 컴포넌트, 또는 상기 시각화 렌더링 컴포넌트 중 적어도 하나와 연관된 상기 컴퓨터 판독가능 명령어를 실행하도록 구성되는,
    시스템.
    
11. 제10항에 있어서,
    상기 시스템은 상기 제스처를 수신하는 센서를 더 포함하는,
    시스템.
    
12. 제10항에 있어서,
    상기 시스템은 상기 디스플레이를 더 포함하는,
    시스템.
    
    
13. 제10항에 있어서,
    상기 하나 이상의 시각화는 다수의 시각화를 포함하고, 상기 새로운 시각화는 상기 다수의 시각화로부터의 조합된 데이터를 나타내는,
    시스템.
    
14. 제10항에 있어서,
    상기 새로운 시각화는 상기 하나 이상의 시각화로부터의 추출된 데이터를 나타내는,
    시스템.
    
15. 제14항에 있어서,
    상기 하나 이상의 시각화는 선택가능한 객체를 포함하고, 상기 제스처는 개별적인 선택가능한 객체에 관련되며, 상기 추출된 데이터는 상기 개별적인 선택가능한 객체와 연관된,
    시스템.

Images