KR20090010960A

KR20090010960A - 이동 컴퓨팅 장치에서 멀티미디어 노트 필기를 위하여 적어도 부분적으로 컴퓨팅 장치에서 실행되는 컴퓨터 구현된 방법, 이동 컴퓨팅 장치에서 사용하기에 적합한 동적 정보를 캡쳐링하기 위한 통일된 환경을 제공하는 시스템, 및 컴퓨터 판독 가능 매체

Info

Publication number: KR20090010960A
Application number: KR1020087025318A
Authority: KR
Inventors: 데이비드 제이. 시에지크; 에린 엠. 라일리; 조슈아 엠. 폴락; 니샤 람쿠마르; 산토스 코르돈 주니어; 사띠아 피. 티루말; 샤히다 피. 니자르; 윌리암 루이스; 조엘 도우너
Original assignee: 마이크로소프트 코포레이션
Priority date: 2006-04-17
Filing date: 2007-03-23
Publication date: 2009-01-30
Also published as: WO2007123619A1; EP2013745A4; CN101421714A; EP2013745A1; JP2009533780A; US20070245229A1

Abstract

이동 컴퓨팅 장치를 이용하면서 멀티미디어 노트 필기하기 위한 소프트웨어 기반 메커니즘이 제공된다. 인터페이스는 텍스트 또는 숫자 키패드, 방향 패드, 및 커맨드 버튼을 갖는 완전한 제어를 가능하게 하도록 스트림 기반으로 된다. 텍스트 데이터 및 다른 데이터 유형을 나타내는 객체를 포함하는 노트 문서는 생성된 후 클로즈되고 재방문될 수 있다. 노트 문서는 단일 세션에서 판독 또는 편집될 수 있다. 변경들은 사용자 경험의 용이성을 위하여 노트 문서에 수동 또는 자동으로 저장될 수 있다.

이동 컴퓨팅 장치, 비디오 인터페이스, 오디오 인터페이스, 키패드, 애플리케이션 프로그램, API, 메모리 제어 모듈, 내장형 카메라, 비디오 플레이어, 이미지 뷰어

Description

이동 컴퓨팅 장치에서 멀티미디어 노트 필기를 위하여 적어도 부분적으로 컴퓨팅 장치에서 실행되는 컴퓨터 구현된 방법, 이동 컴퓨팅 장치에서 사용하기에 적합한 동적 정보를 캡쳐링하기 위한 통일된 환경을 제공하는 시스템, 및 컴퓨터 판독 가능 매체{USER EXPERIENCE FOR MULTIMEDIA MOBILE NOTE TAKING}

최근에 소형 핸드헬드 컴퓨팅 장치들이 지속적으로 인기를 얻어왔다. 이 장치들은 포켓 컴퓨터, PDA(personal digital assistants), 퍼스널 오거나이저(personal organizer), H/PC, 등의 상이한 명칭들로 공지되어 있다. 또한, 셀룰러 전화와 같은 많은 휴대형 전화 시스템이 충분한 컴퓨팅 성능을 통합하여 소형 핸드헬드 컴퓨팅 장치들의 범주에 든다. 이 장치들(이후 "이동 컴퓨팅 장치들")은 대형 장치들과 동일한 기능의 대부분을 제공한다. 특히, 이동 컴퓨팅 장치들은, 워드 프로세싱, 태스크 관리, 스프레드시트 프로세싱, 어드레스 북 기능(address book function), 인터넷 브라우징, 캘린더링, 및 많은 다른 기능들을 포함하는 많은 기능들을 사용자들에게 제공한다.

많은 이동 컴퓨팅 장치들은 내장형 카메라들 및/또는 오디오 리코더들을 포함한다. 따라서, 사용자들은 멀티미디어 파일들을 기록하고, 다운로드하고, 액세스하고, 잉크 엔트리들 및 다른 유형의 문서들을 생성할 수 있다. 그러나, 사용자들이 다양한 이미지, 오디오 파일, 텍스트 데이터 등을 단일 컨텍스트, 특히 생산 성 환경(productivity environment)에서 퍼스널 컴퓨터에서 사용하는 데에 적합한 것으로 수집하는 것은 어려운 일이다. 전형적으로, 어떤 애플리케이션들은 사용자가 오디오 또는 비디오 파일에 주석달기(annotate)하는 것을 가능하게 하거나, 또는 그 반대도 마찬가지이지만, 원래의 데이터는, 대부분의 경우에, 다른 유형의 데이터와의 무결절성 결합(seamless combination)없이 그 환경 내에서 처리된다.

본 발명은 이들 및 다른 사항들에 대하여 이루어졌다.

발명의 개요

이 개요는 이하의 상세한 설명부에 더욱 상세히 설명되는 개념들의 선택을 단순 형태로 소개하기 위하여 제공된다. 이 개요는 청구된 본 발명의 주요 특징들 또는 본질적인 특징들을 식별하기 위한 것은 아니며, 청구된 본 발명의 범위를 결정하는 것을 돕기 위한 것도 아니다.

본 발명의 양태들은 이동 컴퓨팅 장치에서 상이한 데이터 유형들에 대하여 통일된 환경을 제공하기 위한 것이다. 비텍스트 데이터는 내장형 리소스들 또는 파일로부터 수신될 수 있다. 문서가 생성되고 비텍스트 데이터에 대응하는 객체들은 텍스트 데이터의 주석(annotation)과 함께 삽입될 수 있다.

텍스트 주석 및 비텍스트 데이터의 리뷰, 편집, 추가, 및 제거는 객체들의 선택에 기초하여 가능할 수 있다.

이러한 및 다른 특징들과 장점들은 이하의 상세한 설명부 및 연관된 도면들로부터 자명해질 것이다. 이전의 일반적인 설명과 이하의 상세한 설명은 모두 예시적인 것일 뿐이며 청구된 양태들을 제한하는 것이 아니라는 점이 이해되어야 한다.

도 1은 예시적인 이동 컴퓨팅 장치의 도면.

도 2는 도 1에 도시된 컴퓨터와 같이, 일 실시예에서 사용된 이동 컴퓨팅 장치의 구성요소들을 도시하는 블럭도.

도 3은 실시예들이 실시될 수 있는 네트워크된 환경을 도시하는 도면.

도 4는 일 실시예에 따른 소프트웨어 환경을 도시하는 블럭도.

도 5는 실시예들에 따른 객체들과 그들 각각의 리소스들과의 상호작용과 함께 노트 문서를 도시하는 개념도.

도 6은 이동 컴퓨팅 장치에서 동적 정보를 캡쳐링하기 위한 통일된 경험(unified experience)을 제공하는 처리를 위한 논리 흐름도.

상기에서 간단히 설명된 바와 같이, 실시예들은 작은 폼팩터(small form-factor)를 갖는 이동 컴퓨팅 장치에서 사용하는 데에 적절한 동적 정보(dynamic information)를 캡쳐링하기 위하여 상이한 데이터 유형들을 통일된 경험으로 결합하기 위한 것이다.

이하의 상세한 설명에서, 특정한 실시예들 또는 예시들이 예로서 도시되고, 설명의 일부를 형성하는 첨부 도면들에 대한 참조가 이루어진다. 본 발명의 취지 또는 범위를 벗어나지 않고서 이 양태들이 결합될 수 있고, 다른 양태들이 이용될 수 있으며, 구조적 변경들이 이루어질 수 있다. 따라서, 이하의 상세한 설명은 제한적인 의미로 이해되지 않으며, 본 발명의 범위는 첨부된 청구범위 및 그 균등물에 의해서 한정된다.

본 명세서에 사용된 용어 "노트(note)"는 리치 텍스트(rich text)와 같은 텍스트 데이터 및 객체들의 컬렉션이다. 객체는 비텍스트 데이터의 내용(content) 및 상대적 위치를 나타낸다. 용어 "리치 텍스트(rich text)"는 포맷팅, 문자 속성(볼드체, 이탤릭체, 밑줄 등)과 같은 텍스트 데이터와 연관된 추가적인 속성 정보를 포함하는 텍스트 데이터를 의미한다.

이제 도면을 잠조하여, 양태들 및 예시적인 운영 환경이 설명될 것이다. 도 1 및 이하의 설명은 본 발명이 구현될 수 있는 적절한 컴퓨팅 환경의 간단하고 일반적인 설명을 제공하기 위한 것이다. 본 발명의 실시예들은 일반적으로 퍼스널 컴퓨터에서 운영 체제를 실행하는 애플리케이션 프로그램과 연계하여 실행하는 프로그램 모듈과 관련하여 설명될 것이지만, 당업자는 본 발명의 양태들은 다른 프로그램 모듈과 결합하여 구현될 수도 있음을 인식할 것이다.

일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조, 및 다른 유형의 구조를 포함한다. 또한, 당업자는 본 발명의 실시예들이, 핸드-헬드 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그램 가능한 가전 제품, 미니 컴퓨터, 메인프레임 컴퓨터 등을 포함하는 기타 컴퓨터 시스템 구성으로 실시될 수 있는 것을 이해할 것이다. 실시예들은 또한 통신 네트워크를 통하여 연결되어 있는 원격 처 리 장치들에 의해 태스크가 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘다에 위치할 수 있다.

실시예들은 컴퓨터 프로세스(메소드), 컴퓨팅 시스템, 또는 컴퓨터 프로그램 제품이나 컴퓨터 판독 가능 매체와 같은 제품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 의해 판독 가능하고 컴퓨터 프로세스를 실행하기 위한 명령어들의 컴퓨터 프로그램을 인코딩하는 컴퓨터 저장 매체일 수 있다. 컴퓨터 프로그램 제품은 또한 컴퓨팅 시스템에 의해 판독 가능하고 컴퓨터 프로세스를 실행하기 위한 명령어들의 컴퓨터 프로그램을 인코딩하는 반송파 상에서 전파된 신호(propagated signal on a carrier)일 수 있다.

도 1을 참조해보면, 본 발명의 실시예들을 구현하기 위한 예시적인 이동 컴퓨팅 장치(100)가 도시된다. 기본 구성에서, 이동 컴퓨팅 장치(100)는 입력 구성요소 및 출력 구성요소 둘다를 갖는 핸드헬드 컴퓨터이다. 입력 구성요소는 터치 스크린 디스플레이(102) 및 입력 버튼(104)을 포함할 수 있으며 사용자가 이동 컴퓨팅 장치(100)에 정보를 입력하도록 해줄 수 있다. 이동 컴퓨팅 장치(100)는 또한 추가적인 사용자 입력을 허용하는 측면 입력 구성요소(side input element, 106)를 포함한다. 측면 입력 구성요소(106)는 로터리 스위치, 버튼, 또는 임의의 다른 유형의 수동 입력 구성요소일 수 있다. 대안의 실시예에서, 이동 컴퓨팅 장치(100)는 보다 많거나 적은 입력 구성요소들을 포함할 수 있다. 예를 들어, 디스플레이(102)는 어떤 실시예들에서는 터치 스크린이 아닐 수 있다. 다른 대안의 실 시예에서, 이동 컴퓨팅 장치는 디스플레이(102) 및 입력 버튼(104)을 갖는 셀룰러 전화와 같은 휴대형 전화 시스템이다. 이동 컴퓨팅 장치(100)는 또한 선택적인 키패드(112)를 포함할 수 있다. 선택적 키패드(112)는 물리적인 키패드이거나 터치 스크린 디스플레이 상에 생성된 "소프트" 키패드일 수 있다. 이동 컴퓨팅 장치(100)에 포함될 수 있는 또 다른 입력 장치는 내장형(on-board) 카메라(114)이다.

이동 컴퓨팅 장치(100)는 GUI(graphical user interface)를 디스플레이할 수 있는 디스플레이(102)와 같은 출력 구성요소들을 포함한다. 다른 출력 구성요소들은 스피커(108) 및 LED 조명(110)을 포함한다. 또한, 이동 컴퓨팅 장치(100)는 사용자에게 이벤트를 알리기 위해 이동 컴퓨팅 장치(100)가 진동하게 하는 진동 모듈(비도시)을 포함할 수 있다. 또 다른 실시예에서, 이동 컴퓨팅 장치(100)는 출력 신호를 제공하는 다른 수단을 제공하기 위한 헤드폰 잭(비도시)을 포함할 수 있다.

여기에서는 이동 컴퓨팅 장치(100)와 연계하여 설명되지만, 대안의 실시예에서 본 발명은, 데스크탑 환경, 랩탑 또는 노트북 컴퓨터 시스템, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그램 가능 가전제품, 네트워크 PC, 미니 컴퓨터, 메인프레임 컴퓨터 등과 같은 임의의 수의 컴퓨터 시스템들과 연계하여 이용된다. 본 발명의 실시예들은 또한 분산 컴퓨팅 환경에서 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 태스크들이 수행되고, 프로그램들은 로컬 및 원격 메모리 저장 장치들 둘다에 위치될 수 있는 분산 컴퓨팅 환경에서 실시될 수 있다. 요컨대, 복수의 환경 센서들, 사용자에게 통지를 제공하는 복수의 출력 구성요소들 및 복수의 통지 이벤트 유형들을 갖는 임의의 컴퓨터 시스템이 본 발명의 실시예들을 포함할 수 있다.

도 2는 도 1에 도시된 컴퓨팅 장치와 같은, 일 실시예에서 이용된 이동 컴퓨팅 장치의 컴포넌트를 도시하는 블럭도이다. 즉, 이동 컴퓨팅 장치(100)(도 1)는 어떤 실시예들을 구현하는 시스템(200)을 포함할 수 있다. 예를 들어, 시스템(200)은, 예를 들어, 브라우저, 이메일, 스케쥴링, 인스턴트 메시징, 및 미디어 플레이어 애플리케이션과 같은 데스크탑 또는 노트북 컴퓨터의 경우와 유사한 하나 이상의 애플리케이션들을 실행할 수 있는 "스마트폰"을 구현하는 데에 이용될 수 있다. 시스템(200)은 워싱턴 레드몬드의 MICROSOFT CORPORATION의 WINDOWS XP®, WINDOWS MOBILE 2003® 또는 WINDOWS CE®와 같은 OS를 실행할 수 있다. 어떤 실시예에서, 시스템(200)은 통합형 PDA(personal digital assistant) 및 무선 전화와 같은 컴퓨팅 장치로서 포함된다.

이 실시예에서, 시스템(200)은 프로세서(260), 메모리(262), 디스플레이(102), 및 키패드(112)를 갖는다. 메모리(262)는 일반적으로 휘발성 메모리(예를 들면, RAM) 및 비휘발성 메모리(예를 들면, ROM, 플래시 메모리 등) 둘다를 포함한다. 시스템(200)은, 이 실시예에서는 메모리(262)의 플래시 메모리부에 상주하고 프로세서(260)에서 실행하는 OS(264)를 포함한다. 키패드(112)는 푸시 버튼 숫자 다이얼링 패드(전형적인 전화기에 있는 것과 같은), 멀티키 키보드(종래의 키보드와 같은)일 수 있거나, 터치 스크린 또는 스타일러스로 인해 이동 컴퓨팅 장치에 포함되지 않을 수 있다. 디스플레이(102)는 액정 디스플레이, 또는 이동 컴퓨팅 장치에서 보통 사용되는 임의의 다른 유형의 디스플레이일 수 있다. 디스플레이(102)는 터치 감응적(touch-sensitive)일 수 있으며, 또한 입력 장치로서 기능할 것이다.

하나 이상의 애플리케이션 프로그램(266)은 메모리(262)에 로드되고 운영 체제(264) 상에서 또는 그 외부에서 실행한다. 애플리케이션 프로그램의 예들은 전화 다이얼 프로그램, 이메일 프로그램, PIM(personal information management) 프로그램, 워드 프로세싱 프로그램, 스프레드시트 프로그램, 인터넷 브라우저 프로그램 등을 포함한다. 시스템(200)은 또한 메모리(262) 내에 비휘발성 저장 장치(268)를 포함한다. 비휘발성 저장 장치(268)는 시스템이 전력 공급 중단될지라도 소실되어서는 안되는 영구 정보를 저장하는 데에 이용될 수 있다. 애플리케이션(266)은 이메일 애플리케이션에 의해 이용되는 이메일 또는 기타 메시지, PIM에 의해 이용되는 접촉 정보, 워드 프로세싱 애플리케이션에 의해 이용되는 문서 등의 정보를 비휘발성 저장 장치(268)에서 사용 및 저장할 수 있다. 동기화 애플리케이션(비도시)이 또한 시스템(200) 상에 상주하며 이것은 호스트 컴퓨터 상에 상주하는 대응하는 동기화 애플리케이션과 상호작용하여 비휘발성 저장 장치(268)에 저장된 정보가 호스트 컴퓨터에 저장된 대응 정보와 동기화되는 것을 유지하도록 프로그램된다. 어떤 실시예들에서, 비휘발성 저장 장치(268)는 OS(및 가능한 경우 다른 소프트웨어)가 저장되어 있는 상기 언급된 플래시 메모리를 포함한다.

시스템(200)은 하나 이상의 배터리들로 구현될 수 있는 전력 공급 장치(270) 를 갖는다. 전력 공급 장치(270)는 배터리들을 보충 또는 재충전하는 전력 공급된 도킹 크래들(powered dockting cradle) 또는 AC 어댑터와 같은 외부 전원을 더 포함할 수 있다.

시스템(200)은 또한 무선 주파수 통신을 송신하고 수신하는 기능을 수행하는 라디오(272)를 포함할 수 있다. 라디오(272)는 통신 반송파 또는 서비스 제공자를 통하여, 시스템(200)과 "외부 세계" 사이의 무선 연결성을 용이하게 한다. 라디오(272)로의 및 라디오(272)로부터의 송신은 OS(264)의 제어를 받으면서 수행된다. 즉, 라디오(272)에 의해 수신된 통신은 OS(264)를 통하여 애플리케이션 프로그램(266)으로 분산될 수 있으며, 그 반대의 경우도 가능하다.

라디오(272)는 시스템(200)이 네트워크를 통해서와 같이, 다른 통신 장치들과 통신하게 해준다. 라디오(272)는 통신 매체의 한 예이다. 통신 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 기타 데이터를 구현할 수 있고 임의의 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는, 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함하지만, 이에 제한되는 것은 아니다. 여기서 사용된 컴퓨터 판독 매체라는 용어는 저장 매체 및 통신 매체 둘다를 포함한다.

시스템(200)의 본 실시예는 두 가지 유형의 통지 출력 장치(notification output devices), 즉 시각적 통지를 제공하기 위하여 이용될 수 있는 LED(110) 및 청각적 통지를 제공하는 스피커(108, 도 1)와 함께 이용될 수 있는 오디오 인터페이스(274)를 구비하는 것으로 도시된다. 이 장치들은 전력 공급 장치(270)에 직접 연결되어, 작동시, 프로세서(260) 및 다른 컴포넌트들이 배터리 전력을 보존하기 위하여 셧다운할 수 있는 경우에도 통지 메커니즘에 의해 지시된 기간 동안 온 상태를 유지한다. LED(110)는 사용자가 장치의 전력 공급된 상태(powered-on status)를 나타내기 위한 조치를 취할 때까지 온(on) 상태를 무기한 유지하도록 프로그램될 수 있다. 오디오 인터페이스(274)는 가청 신호를 사용자에게 제공하고 사용자로부터 가청 신호를 수신하기 위해 이용된다. 예를 들어, 오디오 인터페이스(274)는 스피커(108)에 연결되는 것 이외에, 전화 대화를 용이하게 하는 것처럼, 가청 입력을 수신하기 위하여 마이크에 연결될 수도 있다. 본 발명의 실시예들에 따르면, 마이크는, 후술되는 바와 같이, 통지의 제어를 용이하게 하기 위한 오디오 센서로서 기능할 수도 있다.

시스템(200)은 정지 이미지, 비디오 스트림 등을 기록하기 위한 내장형 카메라(114, 도 1)의 동작을 가능하게 하는 비디오 인터페이스(276)를 더 포함할 수 있다. 어떤 실시예들에 따르면, 오디오, 비디오, 정지 이미지, 잉크 엔트리 등의 입력 장치들 중 하나를 통해 수신된 상이한 데이터 유형들은 애플리케이션(266)에 의해 텍스트 데이터와 함께 통일된(unified) 환경에서 통합될(integrated) 수 있다. 이것이 어떻게 달성될 수 있는 지에 대한 상세한 설명이 후술된다.

시스템(200)을 구현하는 이동 컴퓨팅 장치는 부가적인 특징들 또는 기능을 가질 수 있다. 예를 들어, 상기 장치는 자기 디스크, 광 디스크, 또는 테이프 등의 부가적인 데이터 저장 장치(이동식 및/또는 비이동식)를 포함할 수도 있다. 그러한 부가적인 저장 장치는 저장 장치(268)로 도 2에 도시된다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 기타 데이터 등의 정보 저장을 위한 임의의 방법 및 기술로 구현된 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함할 수 있다.

이제 도 3을 참조해보면, 예시적인 실시예들이 구현될 수 있는 네트워크된 시스템이 도시된다. 도 1의 이동 컴퓨팅 장치(100)과 같은 이동 컴퓨팅 장치에서 각종 데이터 유형들이 생성 및/또는 처리될 수 있다. 상이한 데이터 유형들의 예들은 이동 컴퓨팅 장치의 입력 장치들 중 하나를 이용하여 생성될 수 있는 이미지, 비디오, 오디오, 및 잉크 엔트리 또는 기존의 파일로부터 오픈될 수 있는 동일한 데이터 유형들 중 임의의 하나를 포함한다. 어떤 실시예들에 따르면, 텍스트 데이터와 함께 단일 문서 내에서 상이한 데이터 유형들을 통합하기 위한 메커니즘이 제공된다. 그러한 통일된 문서를 생성, 수정, 및 제공하기 위하여 필요한 조치들을 수행하는 애플리케이션이 이동 컴퓨팅 장치(300)에서 실행될 수 있다.

이동 컴퓨팅 장치(300)는, 서버(302), 데스크탑 컴퓨터(312), 및 랩탑 컴퓨터(314)와 같은 다른 컴퓨팅 장치들과 데이터를 송수신하는 네트워크된 환경에서 동작할 수 있다. 교환된 데이터는 상기 설명된 유형들 중 임의의 것을 포함할 수 있다. 또한, 이동 컴퓨팅 장치(300)는 서버(304)에 의해 관리되는 저장 시스 템(306)에 대하여 데이터를 송수신할 수 있다. 공지된 기타 컴퓨팅 장치들도 이 네트워크된 시스템에 참여할 수 있다. 통일된 문서(들)를 생성 및 처리하는 애플리케이션은 이동 컴퓨팅 장치(300)로 제한되거나, 네트워크된 환경에 참여하는 다수의 컴퓨팅 장치들에 의해 분산 방식으로 실행될 수 있다.

네트워크된 환경에 참여하는 컴퓨팅 장치들은 네트워크(들)(310)를 통해 통신할 수 있다. 네트워크(들)(310)는 하나 이상의 네트워크를 포함할 수 있다. 네트워크(들)(310)는 기업 네트워크와 같은 보안 네트워크, 또는 무선 오픈 네트워크와 같은 보안되지 않은(unsecure) 네트워크를 포함할 수 있다. 예로서, 네트워크(들)는 유선 네트워크 또는 직접 배선 접속과 같은 유선 매체, 및 음향, RF, 적외선 및 기타 무선 매체와 같은 무선 매체를 포함할 수 있으나, 이에 제한되는 것은 아니다.

이제 도 4를 참조하면, 일 실시예에 따른 소프트웨어 환경을 예시하는 블럭도가 도시된다. 이동 컴퓨팅 장치에서 상이한 데이터 유형들에 대하여 통일된 환경을 제공할 수 있는 애플리케이션의 장점들을 예시하기 위한 몇 개의 시나리오들이 설명될 수 있다. 예를 들어, 사용자는 미팅 중 이미지들 및/또는 오디오 기록들을 캡쳐링하여 이들을 텍스트 주석들과 함께 단일의 문서로 통합할 수 있다. 다른 시나리오에 따르면, 각각의 엔트리에 대한 주석들과 함께 먼저 만들어진 잉크 엔트리들과 결합된 이미지들을 이용하여 태스크 리스트가 생성될 수 있다. 두 시나리오 모두에서, 사용자는, 예를 들면, 태스크들이 완료됨에 따라 태스크 리스트를 업데이트하는 것과 같이, 통일된 문서를 반복적으로 수정하기를 원할 수 있다.

이 시나리오들은 제한적인 것이 아니라, 이동 컴퓨팅 장치의 소프트웨어 환경으로부터 획득된 상이한 데이터 유형들 및 정보의 처리시 멀티미디어 노트 필기 애플리케이션의 유연성을 예시하기 위한 것이다.

실시예들에 따르면, 애플리케이션 프로그램(302)은 텍스트 데이터 및 그 텍스트 데이터와 정렬되는 객체들을 포함하는 문서(또는 여기에서 "노트"로 호칭)를 생성하도록 구성된다. 텍스트 데이터는 텍스트의 포맷팅, 글머리 기호가 부여되거나(bulleted) 또는 번호가 표시된(numbered) 리스트들의 생성, 하이퍼링크들의 삽입 등을 허용하는 리치 텍스트일 수 있다. 객체들을 텍스트와 정렬시키는 것은 터치 스크린 기능을 포함하지 않는 이동 컴퓨팅 장치에서도 사용자가 노트를 처리할 수 있게 해준다.

객체들은 이동 컴퓨팅 장치에 의해 캡쳐링되고 수신된 상이한 유형의 데이터에 대한 플레이스홀더들(placeholders)이다. 일 실시예에 따르면, 이하의 데이터 유형들이 통일된 방식으로 문서에서 결합될 수 있다.

● 이미지들(장치의 내장형 카메라 또는 이미지 파일로부터)

● 오디오(장치의 마이크 또는 오디오 파일로부터 기록됨)

● 비디오(장치의 내장형 카메라 또는 비디오 파일로부터)

● 텍스트 주석들

● 리스트들

● 테이블들

● 잉크 엔트리들

애플리케이션 프로그램(402)은 API(application program interface, 404)를 통해 운영 체제(464)와 통신할 수 있다. 애플리케이션 프로그램(402)은 각각의 데이터 유형에 특정한 애플리케이션들을 활성화시킬 것을 OS(464)에 요청하기 위하여 API(404)의 메소드들을 호출할 수 있다. 예를 들어, 오디오 재생 프로그램은 애플리케이션 프로그램(402)에 의해 호출되는 경우 OS(464)에 의해 활성화될 수 있다. 더욱이, OS(464)는 애플리케이션 프로그램(402)과 통신하여 비디오 스트림, 잉크 엔트리 등과 같은 기타 애플리케이션들로부터의 데이터를 제공할 수 있다. 대안의 실시예들에서, 애플리케이션 프로그램(402)은 직접 OS(464)와 통신한다.

애플리케이션 프로그램(402)은 또한 OS(464), 입력/출력 제어 모듈(410) 및 입력/출력 장치(412 및 414)를 통하여 사용자와 통신한다. 입력 장치(412)는 전술된 바와 같이, 내장형 카메라, 마이크, 잉킹 캔버스 등을 포함할 수 있다. 이 실시예에서, 애플리케이션 프로그램(402)은 입력 신호들을 수신하여 각각의 객체들을 생성하고 이들을 통일된 환경을 제공하는 노트에 삽입한다. 각각의 객체와 연관된 데이터, 및 노트 자체는 OS(464) 및 메모리 제어 모듈(406)을 통해 애플리케이션 프로그램(402)에 의해 메모리 시스템(462) 내에 저장될 수 있다.

상기 설명된 실시예는 분리된 모듈들 또는 컴포넌트들에 관하여 기술되었지만, 다른 실시예들에서는 각종 모듈이나 컴포넌트들의 기능들은 다른 모듈들에 의해 수행되고/거나 더 적은 수의 모듈들로 결합될 수 있다. 또 다른 실시예에서, 상기 모듈들에 의해 수행된 기능들 중 일부는 더 많은 수의 모듈들로 분리될 수 있다.

도 5는 실시예들에 따라 포함된 객체들과 그들 각각의 리소스들의 상호작용과 함께 노트 문서를 도시하는 개념도이다. 노트(502)는 이동 컴퓨팅 장치에서 상이한 데이터 유형들에 대하여 통일된 환경을 제공하기 위하여 도 4의 애플리케이션 프로그램(402)과 같은 애플리케이션에 의해 생성되는 문서를 나타낸다. 노트(502)는 번호가 표시된 리스트인 텍스트(504), 및 추가 텍스트(more text, 506)와 같은 문서의 각종 위치들에서의 텍스트 데이터 엔트리들을 가질 수 있다. 사용자 동작들에 따라서, 객체들이 노트(502)에 삽입될 수 있다. 이미지 객체(508), 비디오 객체(510), 오디오 객체(512), 및 잉킹 객체(514)는 상이한 데이터 유형들에 대응하는 객체들을 나타낸다. 데이터 유형들은 여기에 제공된 예시적인 것들로 제한되지는 않는다. 다른 데이터 유형들도 실시예들에 따른 멀티미디어 노트 필기 애플리케이션에 의해 관리될 수 있다.

각각의 객체는 네이티브 애플리케이션(native application)(또는 동일 애플리케이션)의 세트를 이용하여 생성되고 보여질 수 있다. 다른 실시예에서, 멀티미디어 노트 필기 애플리케이션은 사용자들이 다른 애플리케이션을 활성화시킬 필요없이 데이터에 액세스하게 하는 뷰어(또는 플레이어) 모듈을 포함할 수 있다. 이미지 객체(508)는 사진(picture), 그래픽, 아이콘 등과 같은 정지 이미지 데이터를 노트에 포함하는 데에 이용될 수 있다. 이미지 객체(508)에 의해 표현된 데이터는 내장형 카메라 또는 이미지 파일 선택 UI(524)에 의해 생성될 수 있다. 이미지는 이미지 뷰어(522)를 이용하여 보여질 수 있다.

일 실시예에 따르면, 통합된 뷰어 애플리케이션은 사용자 경험을 강화하는 부가적인 이동 장치 특정 기능을 제공할 수 있다. 예를 들면, 통합된 뷰어는 하나의 사진을 그리드 존들로 분할하고 이동 컴퓨팅 장치의 키패드로부터의 키를 각각의 그리드 존에 할당할 수 있다. 이어서, 사용자가 대응 키를 누르면, 그리드 존은 줌 모드로 디스플레이될 수 있다. 이 접근법은 통상적으로 사용되는 선택된 점(예를 들면, 이미지의 중심)으로의 줌 및 이미지에서 관심있는 존의 방향으로의 팬(pan)에 비하여 사용자에게 보다 신속하고 간단하다.

비디오 객체(510)는 이미지 객체(508)와 유사한 방식으로 동작한다. 비디오 객체(510)는 내장형 카메라 또는 이미지 파일 선택 UI(528)에 의해 생성되고, 별도의 애플리케이션 또는 노트 필기 애플리케이션의 통합된 모듈일 수 있는 비디오 플레이어(526)에 의해 보여지는 비디오 스트림을 나타낸다.

오디오 객체(512)는 오디오 리코더(내장형 마이크 사용함) 또는 오디오 파일 선택 UI(532)에 의해 기록된 오디오 파일들을 나타낸다. 상기 기술된 바와 같이, 오디오 플레이어는 오디오 파일들을 청취하는 데에 이용될 수 있다.

잉킹 객체(514)는 터치 스크린형 수기 또는 도안 애플리케이션(touch screen type hand writing or drawing application)에 의해 제공된 잉킹 엔트리들을 나타낸다. 전하 결합 패드들(charge couple pads)과 같은 다른 유형의 엔트리 방법들이 또한 잉킹 엔트리를 제공하는 데에 이용될 수 있다. 잉크 편집/뷰잉 캔버스(534)는 잉킹 엔트리를 보고/거나 편집하는 데에 이용될 수 있다.

이전에 언급된 바와 같이, 모든 이동 컴퓨팅 장치들이 스타일러스형 입력 장치를 포함하는 것은 아니다. 키패드 입력만을 갖는 이동 컴퓨팅 장치들(스마트폰 과 같은)의 경우, 객체들은 장치 UI 상에 선택 가능한 방식으로 디스플레이될 수 있다. 예를 들어, 객체 주변의 사각형과 같은 하이라이팅 메커니즘은 추가적인 동작들을 위하여 객체들 중 임의의 하나가 선택될 수 있도록 키스트로크에 기초하여 이리저리 이동될 수 있다. 일단 객체가 선택되면, 사용자에게는 연관된 데이터 보기/청취, 편집, 객체를 다른 위치로 이동하기 등과 같은 옵션들이 제공될 수 있다.

도 6은 이동 컴퓨팅 장치에서 동적 정보를 캡쳐링하기 위한 통일된 경험을 제공하는 처리(600)를 위한 논리 흐름도를 도시한다. 처리(600)는 도 1 및 2에서 기술된 바와 같은 이동 컴퓨팅 장치에서 구현될 수 있다.

처리(600)는 노트를 개시하기 위한 표시가 수신되는 동작(602)에서 시작한다. 이 표시는 사진 찍기, 오디오 파일의 기록 등과 같은 객체와 연관된 데이터의 기록일 수 있다. 이 표시는 또한 멀티미디어 노트 필기 애플리케이션의 직접적인 활성화일 수 있다. 처리는 동작(602)으로부터 결정 동작(604)으로 이동한다.

결정 동작(604)에서, 텍스트 엔트리가 요구되고 있는지 여부에 대한 결정이 이루어진다. 사용자는 리스트와 같은 텍스트에서의 타이핑에 의해 노트를 시작하기를 원할 수 있다. 텍스트 엔트리가 이루어지면, 처리는 동작(606)으로 이동한다. 그렇지 않은 경우, 처리는 결정 동작(608)으로 계속된다.

동작(606)에서, 사용자에 의한 텍스트 엔트리가 노트에 배치되고 포맷팅된다. 그 후 처리는 동작(602)에 복귀한다. 결정 동작(608)에서, 객체가 노트에 삽입될지 여부에 대한 결정이 이루어진다. 노트 표시가 객체와 연관된 데이터의 기록이라면, 객체는 자동으로 입력될 수 있다. 한편, 사용자는 이미 오픈된 노트에 새로운 객체를 삽입하기를 원할 수 있다. 객체가 삽입될 것이라면, 처리는 동작(610)으로 이동한다.

동작(610)에서, 객체가 삽입된다. 객체의 그래픽 아이콘 삽입과 함께, 애플리케이션은 또한 객체와 연관된 데이터 삽입을 위한 인테그럴 모듈(integral module) 또는 네이티브 애플리케이션을 개시할 수 있다. 이것은, 예를 들면, 내장형 카메라 활성화, 오디오 기록 시작, 비디오 파일 선택을 위한 UI 활성화 등을 포함할 수 있다. 처리는 동작(610)으로부터 동작(602)으로 복귀한다.

결정 동작(608)에서 객체가 삽입되지 않을 것이라면, 처리는 객체가 리뷰될 것인지 여부에 대한 결정이 이루어지는 결정 동작(612)으로 진행한다. 기존의 노트는 상이한 데이터 유형들에 대응하는 하나 이상의 객체들을 포함할 수 있다. 사용자가 이 객체들 중 하나를 리뷰하려는 바램을 나타내면, 처리는 동작(614)으로 이동한다. 그렇지 않은 경우, 처리는 결정 동작(616)으로 계속된다.

동작(614)에서, 객체 리뷰어(object reviewer)가 활성화된다. 동작(610)에서 데이터를 생성하는 것과 유사하게, 객체와 연관된 데이터를 리뷰하기 위하여 별개의 애플리케이션이나 통합된 모듈(예를 들면, 오디오 플레이어, 비디오 플레이어, 잉킹 캔버스 등)이 이용될 수 있다. 처리는 동작(614)으로부터 동작(602)으로 복귀한다.

결정 동작(616)에서, 객체가 편집될 것인지 여부에 대한 결정이 이루어진다. 객체가 편집될 것이라면, 처리는 동작(618)으로 이동한다. 동작(618)에서는, 리뷰 동작과 유사하게 객체 에디터가 활성화된다. 이어서 처리는 동작(602)으로 복귀한 다.

결정 동작(616)에서 객체가 편집되지 않을 것이라면, 처리는 결정 동작(620)으로 진행한다. 결정 동작(620)에서, 노트가 저장될 것인지에 대한 결정이 이루어진다. 노트가 저장될 것이라면, 처리는 동작(622)으로 이동한다. 그렇지 않은 경우 처리는 동작(602)으로 복귀한다.

동작(622)에서, 업데이트 노트가 저장된다. 객체의 삽입, 제거, 및 편집 뿐만 아니라, 노트 내의 텍스트 데이터의 편집을 허용하는 사용자에 의해 노트가 반복적으로 편집될 수 있다. 동작(622) 이후에, 처리는 추가적인 동작들을 위한 호출 처리로 이동한다.

처리(600)에 포함된 동작들은 예시를 목적으로 한다. 이동 컴퓨팅 장치에서의 동적 정보의 캡쳐링을 위한 통일된 경험 제공은 여기에 설명된 원리들을 이용하는 동작들의 상이한 순서뿐만 아니라, 더 적은 수 또는 추가적인 단계들을 갖는 유사한 처리들에 의해 구현될 수 있다.

상기 설명, 예시 및 데이터는 실시예들의 구성의 이용 및 제조의 완전한 설명을 제공한다. 비록 주제가 구조적 특징들 및/또는 방법적인 행위들에 특유한 언어로 기술되었지만, 첨부된 청구범위에 정의된 주제는 반드시 상기 특징들이나 행위들로만 제한되는 것은 아니라는 것이 이해되어야 한다. 오히려, 전술된 특정한 특징들 및 행위들은 청구범위 및 실시예를 구현하는 예시적인 형태로서 개시된다.

Claims

이동 컴퓨팅 장치에서 멀티미디어 노트 필기(note taking)를 위하여 적어도 부분적으로 컴퓨팅 장치에서 실행되는 컴퓨터 구현된 방법에 있어서,

노트 표시에 응하여 노트 문서를 오픈하는 단계;

텍스트 데이터가 수신되면, 텍스트 데이터 엔트리(textual data entry)를 받아들이는 단계;

비텍스트 데이터가 수신된다면, 비텍스트 데이터를 기록하기 위한 애플리케이션을 활성화하는 단계;

상기 비텍스트 데이터를 수신하는 단계; 및

수신된 비텍스트 데이터와 연관된 객체를 삽입하는 단계 - 상기 객체는 상기 객체와 연관된 임의의 텍스트와 정렬되어 위치됨 -

를 포함하는 컴퓨터 구현된 방법.
제1항에 있어서, 상기 노트 표시는, 노트 오픈 요구, 오디오 데이터 기록 요구, 비디오 데이터 기록 요구, 이미지 데이터 기록 요구, 및 잉킹 엔트리(inking entry) 기록 요구의 집합 중 적어도 하나를 포함하는 컴퓨터 구현된 방법.
제1항에 있어서, 상기 텍스트 데이터는 풍부한 텍스트 포맷으로 되어 있는 컴퓨터 구현된 방법.
제3항에 있어서, 상기 텍스트 데이터는, 글머리 기호 리스트(bulleted list), 번호 표시 리스트(numbered list), 테이블, 하이퍼링크, 및 자유 형식 텍스트의 집합 중 적어도 하나를 포함하는 컴퓨터 구현된 방법.
제1항에 있어서, 상기 비텍스트 데이터는, 오디오 데이터, 비디오 데이터, 정지 이미지 데이터, 및 잉킹 엔트리 데이터의 집합 중 적어도 하나를 포함하는 컴퓨터 구현된 방법.
제1항에 있어서, 상기 비텍스트 데이터를 기록하기 위한 애플리케이션은, 노트 필기 애플리케이션과는 별개의 애플리케이션 및 상기 노트 필기 애플리케이션 내의 모듈 중 하나를 포함하는 컴퓨터 구현된 방법.
제1항에 있어서, 상기 객체는 상기 객체와 연관된 비텍스 데이터의 유형을 그래픽적으로 나타내는 컴퓨터 구현된 방법.
제1항에 있어서, 기존 객체의 선택시 상기 기존 객체와 연관된 비텍스트 데이터 리뷰를 위한 애플리케이션을 활성화시키는 단계를 더 포함하는 컴퓨터 구현된 방법.
제1항에 있어서,

다른 기존 객체의 선택시 또 다른 기존 객체와 연관된 비텍스트 데이터를 편집하기 위한 애플리케이션을 활성화시키는 단계를 더 포함하는 컴퓨터 구현된 방법.
제1항에 있어서, 상기 비텍스트 데이터를 기록하기 위한 애플리케이션은 파일 선택 사용자 인터페이스(UI)를 이용하여 기존 파일로부터 상기 비텍스트 데이터를 수신하도록 구성된 애플리케이션을 포함하는 컴퓨터 구현된 방법.
제1항에 있어서, 상기 노트 내의 객체들 중 적어도 하나와 연관된 상기 비텍스트 데이터가 수정될 때 상기 노트를 자동으로 업데이트하는 단계를 더 포함하는 컴퓨터 구현된 방법.
이동 컴퓨팅 장치에서 사용하기에 적합한 동적 정보를 캡쳐링하기 위한 통일된 환경을 제공하는 시스템에 있어서,

텍스트 데이터와 객체에 의해 표현된 비텍스트 데이터를 결합하는 노트 문서를 오픈하고,

상기 객체와 연관된 비텍스트 데이터의 삽입, 리뷰, 편집, 및 제거를 가능하게 하도록 구성된 노트 필기 애플리케이션;

내장형 리소스와 원격 리소스 중 하나를 이용하여 비텍스트 데이터를 기록하 도록 구성된 비텍스트 데이터 기록 애플리케이션; 및

상기 노트 문서에 배치될 상기 텍스트 데이터를 수신 및 포맷팅하도록 구성된 텍스트 에디터

를 포함하는 시스템.
제12항에 있어서, 상기 내장형 리소스는, 카메라, 마이크, 및 잉킹 캔버스의 집합 중 적어도 하나를 포함하는 시스템.
제12항에 있어서, 상기 노트 필기 애플리케이션은 각각의 객체를, 그 객체와 연관된 비텍스트 데이터의 기록, 리뷰, 및 편집을 위한 애플리케이션들의 리스트와 연관시키도록 더 구성되는 시스템.
제12항에 있어서, 상기 노트 필기 애플리케이션은 상기 객체와 연관된 비텍스트 데이터의 기록, 리뷰, 및 편집 동작들 중 하나를 수행하도록 구성된 적어도 하나의 모듈을 포함하는 시스템.
제12항에 있어서, 노트 필기 애플리케이션 인터페이스는, 텍스트 키패드, 숫자 키패드, 방향 패드, 및 커맨드 버튼의 집합 중 적어도 하나를 이용하는 상기 노트의 제어를 가능하게 하도록 스트림 기반(stream-based)인 시스템.
제12항에 있어서, 상기 노트 필기 애플리케이션은 상기 비텍스트 데이터의 적어도 일부가 수정되는 경우 상기 노트와 연관된 비텍스트 데이터를 상기 노트와 동기화시키도록 더 구성되는 시스템.
이동 컴퓨팅 장치에서 멀티미디어 노트 필기를 위한 컴퓨터 실행 가능 명령어들을 갖는 컴퓨터 판독 가능 매체에 있어서, 상기 명령어들은,

비텍스트 데이터에 대한 그래픽 표현을 노트 문서에 삽입하는 단계 - 상기 비텍스트 데이터는 상기 이동 컴퓨팅 장치의 내장형 리소스를 이용하여 기록된 것과 저장된 파일로부터 수신된 것 중 하나임 - ;

상기 노트 문서 내에서 상기 텍스트 데이터와 상기 그래픽 표현이 정렬되도록 상기 그래픽 표현과 연관된 텍스트 데이터를 동적으로 배치하는 단계; 및

상기 비텍스트 데이터가, 상기 그래픽 표현의 선택에 기초하여 편집된 것과 리뷰된 것 중 하나가 되는 것을 가능하게 하는 단계

를 포함하는 컴퓨터 판독 가능 매체.
제18항에 있어서, 이미지 기초 비텍스트 데이터가 리뷰되는 것을 가능하게 하는 단계는,

각각의 존이 상기 이동 컴퓨팅 장치의 키에 대응하도록 이미지를 그리드 존들로 제공하는 단계; 및

상기 대응하는 키의 선택에 응답하여 통상의 크기와 확대된 크기 중 하나로 상기 존들 중 하나를 제공하는 단계

를 포함하는 컴퓨터 판독 가능 매체.
제18항에 있어서,

오디오 기반 비텍스트 데이터가 리뷰되는 것을 가능하게 하는 단계는,

상기 오디오 기반 비텍스트 데이터의 특정 시간부에 상기 이동 컴퓨팅 장치의 키를 할당하는 단계; 및

대응하는 키의 선택시 상기 오디오 기반 비텍스트 데이터의 상기 특정 시간부를 재생하는 단계

를 포함하는 컴퓨터 판독 가능 매체.