KR20230169392A

KR20230169392A - 광각 화상 회의

Info

Publication number: KR20230169392A
Application number: KR1020237040599A
Authority: KR
Inventors: 피오나 피. 오리어리; 션 지. 아마디오; 기욤 알. 아르도; 제프리 티. 번스타인; 밀렌 이. 드레이어; 루카스 알. 걸링; 줄리오 씨. 에르난데스 자라고사; 마리사 알. 루; 조니 비. 만자리; 줄리안 케이. 미싱; 프라빈 사르마; 폴 지. 푸스카리치
Original assignee: 애플 인크.
Priority date: 2021-09-24
Filing date: 2022-09-23
Publication date: 2023-12-15
Also published as: WO2023049388A1; WO2023049388A4; EP4324193A1

Abstract

본 발명은 비디오 통신 세션 동안 공유되는, 책상의 표면 상에 놓인 문서들과 같은 콘텐츠를 관리하기 위한 비디오 통신 인터페이스에 대한 실시예들에 관한 것이다.

Description

광각 화상 회의

관련 출원의 상호 참조

본 출원은 2022년 9월 22일자로 출원된, 발명의 명칭이 "WIDE ANGLE VIDEO CONFERENCE"인 미국 특허 출원 제17/950,868호에 대한 우선권을 주장하고; 2022년 9월 22일자로 출원된, 발명의 명칭이 "WIDE ANGLE VIDEO CONFERENCE"인 미국 특허 출원 제17/950,900호에 대한 우선권을 주장하며; 2022년 9월 22일자로 출원된, 발명의 명칭이 "WIDE ANGLE VIDEO CONFERENCE"인 미국 특허 출원 제17/950,922호에 대한 우선권을 주장하고; 2022년 7월 25일자로 출원된, 발명의 명칭이 "WIDE ANGLE VIDEO CONFERENCE"인 미국 가특허 출원 제63/392,096호에 대한 우선권을 주장하며; 2022년 6월 30일자로 출원된, 발명의 명칭이 "WIDE ANGLE VIDEO CONFERENCE"인 미국 가특허 출원 제63/357,605호에 대한 우선권을 주장하고; 2022년 6월 5일자로 출원된, 발명의 명칭이 "WIDE ANGLE VIDEO CONFERENCE"인 미국 가특허 출원 제63/349,134호에 대한 우선권을 주장하며; 2022년 2월 8일자로 출원된, 발명의 명칭이 "WIDE ANGLE VIDEO CONFERENCE"인 미국 가특허 출원 제63/307,780호에 대한 우선권을 주장하고; 2021년 9월 24일자로 출원된, 발명의 명칭이 "WIDE ANGLE VIDEO CONFERENCE"인 미국 가특허 출원 제63/248,137호에 대한 우선권을 주장한다. 이들 출원들 각각의 내용은 이로써 그들 전체가 참고로 포함된다.

기술분야

본 발명은 대체적으로 컴퓨터 사용자 인터페이스들에 관한 것으로, 더 구체적으로는, 라이브 비디오 통신 세션을 관리하고/하거나 디지털 콘텐츠를 관리하기 위한 기법들에 관한 것이다.

컴퓨터 시스템들은 라이브 비디오 통신 세션을 위한 인터페이스를 디스플레이하기 위한 하드웨어 및/또는 소프트웨어를 포함할 수 있다.

그러나, 전자 디바이스들을 사용하여 라이브 비디오 통신 세션을 관리하기 위한 일부 기법들은 대체적으로 번거롭고 비효율적이다. 예를 들어, 일부 기존의 기술들은 복잡하고 시간 소모적인 사용자 인터페이스를 사용하는데, 이는 다중 키 누르기들 또는 키스트로크(keystroke)들을 포함할 수 있다. 기존의 기법들은 필요한 것보다 더 많은 시간을 요구하여, 사용자 시간 및 디바이스 에너지를 낭비한다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다.

따라서, 본 기법은, 라이브 비디오 통신 세션을 관리하고/하거나 디지털 콘텐츠를 관리하기 위한 더 빠르고 더 효율적인 방법들 및 인터페이스들을 전자 디바이스들에 제공한다. 그러한 방법들 및 인터페이스들은, 선택적으로, 라이브 비디오 통신 세션을 관리하고/하거나 디지털 콘텐츠를 관리하기 위한 다른 방법들을 보완하거나 대체한다. 그러한 방법들 및 인터페이스들은 사용자에 대한 인지적 부담을 감소시키고 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 그러한 방법들 및 인터페이스들은 전력을 절약하고 배터리 충전들 사이의 시간을 증가시킨다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템에서 수행되는 방법이 기술된다. 본 방법은, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하는 단계 - 라이브 비디오 통신 인터페이스는 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 포함함 -; 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 카메라들의 시야 내에 있는 장면 내의 표면에 대한 사용자 입력을 포함하는 하나 이상의 사용자 입력들을 검출하는 단계; 및 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 표면의 표현을 디스플레이하는 단계 - 표면의 표현은 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되는, 하나 이상의 카메라들에 의해 캡처된 표면의 이미지를 포함함 - 를 포함한다.

일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 - 라이브 비디오 통신 인터페이스는 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 포함함 -; 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 카메라들의 시야 내에 있는 장면 내의 표면에 대한 사용자 입력을 포함하는 하나 이상의 사용자 입력들을 검출하기 위한; 그리고 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 표면의 표현을 디스플레이하기 위한 - 표면의 표현은 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되는, 하나 이상의 카메라들에 의해 캡처된 표면의 이미지를 포함함 - 명령어들을 포함한다.

일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 - 라이브 비디오 통신 인터페이스는 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 포함함 -; 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 카메라들의 시야 내에 있는 장면 내의 표면에 대한 사용자 입력을 포함하는 하나 이상의 사용자 입력들을 검출하기 위한; 그리고 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 표면의 표현을 디스플레이하기 위한 - 표면의 표현은 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되는, 하나 이상의 카메라들에 의해 캡처된 표면의 이미지를 포함함 - 명령어들을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 하나 이상의 프로세서들; 및 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 - 라이브 비디오 통신 인터페이스는 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 포함함 -; 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 카메라들의 시야 내에 있는 장면 내의 표면에 대한 사용자 입력을 포함하는 하나 이상의 사용자 입력들을 검출하기 위한; 그리고 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 표면의 표현을 디스플레이하기 위한 - 표면의 표현은 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되는, 하나 이상의 카메라들에 의해 캡처된 표면의 이미지를 포함함 - 명령어들을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 수단 - 라이브 비디오 통신 인터페이스는 하나 이상의 카메라들에 의해 캡처된 시야 내에 있는 장면의 제1 부분의 표현을 포함함 -; 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 하나 이상의 카메라들을 통해, 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하기 위한 수단 - 이미지 데이터는 제1 제스처를 포함함 -; 및 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하는 것에 응답하여, 제1 제스처가 제1 세트의 기준들을 만족시킨다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내에 있는 장면의 제2 부분의 표현을 디스플레이하고 - 장면의 제2 부분의 표현은 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠를 포함함 -; 제1 제스처가 제1 세트의 기준들과는 상이한 제2 세트의 기준들을 만족시킨다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 장면의 제1 부분의 표현을 계속 디스플레이하기 위한 수단을 포함한다.

일부 실시예들에 따르면, 컴퓨터 프로그램 제품이 설명된다. 컴퓨터 프로그램 제품은 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함한다. 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 - 라이브 비디오 통신 인터페이스는 하나 이상의 카메라들에 의해 캡처된 시야 내에 있는 장면의 제1 부분의 표현을 포함함 -; 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 하나 이상의 카메라들을 통해, 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하기 위한 - 이미지 데이터는 제1 제스처를 포함함 -; 그리고 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하는 것에 응답하여, 제1 제스처가 제1 세트의 기준들을 만족시킨다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내에 있는 장면의 제2 부분의 표현을 디스플레이하고 - 장면의 제2 부분의 표현은 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠를 포함함 -; 제1 제스처가 제1 세트의 기준들과는 상이한 제2 세트의 기준들을 만족시킨다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 장면의 제1 부분의 표현을 계속 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템에서 수행되는 방법이 설명된다. 본 방법은, 복수의 참가자들을 포함하는 라이브 비디오 통신 세션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 사용자 입력들의 세트를 검출하는 단계; 및 하나 이상의 사용자 입력들의 세트를 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하는 단계를 포함하고, 라이브 비디오 통신 인터페이스는, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현; 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 - 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야 내에 있는 제1 장면 내의 표면의 표현을 포함함 -; 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현; 및 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 - 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야 내에 있는 제2 장면 내의 표면의 표현을 포함함 - 을 포함한다.

일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 복수의 참가자들을 포함하는 라이브 비디오 통신 세션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 사용자 입력들의 세트를 검출하기 위한; 그리고 하나 이상의 사용자 입력들의 세트를 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 명령어들을 포함하고, 라이브 비디오 통신 인터페이스는, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현; 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 - 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야 내에 있는 제1 장면 내의 표면의 표현을 포함함 -; 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현; 및 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 - 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야 내에 있는 제2 장면 내의 표면의 표현을 포함함 - 을 포함한다.

일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 복수의 참가자들을 포함하는 라이브 비디오 통신 세션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 사용자 입력들의 세트를 검출하기 위한; 그리고 하나 이상의 사용자 입력들의 세트를 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 명령어들을 포함하고, 라이브 비디오 통신 인터페이스는, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현; 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 - 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야 내에 있는 제1 장면 내의 표면의 표현을 포함함 -; 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현; 및 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 - 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야 내에 있는 제2 장면 내의 표면의 표현을 포함함 - 을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 하나 이상의 프로세서들; 및 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 하나 이상의 프로그램들은, 복수의 참가자들을 포함하는 라이브 비디오 통신 세션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 사용자 입력들의 세트를 검출하기 위한; 그리고 하나 이상의 사용자 입력들의 세트를 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 명령어들을 포함하고, 라이브 비디오 통신 인터페이스는, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현; 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 - 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야 내에 있는 제1 장면 내의 표면의 표현을 포함함 -; 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현; 및 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 - 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야 내에 있는 제2 장면 내의 표면의 표현을 포함함 - 을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 복수의 참가자들을 포함하는 라이브 비디오 통신 세션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 사용자 입력들의 세트를 검출하기 위한 수단; 및 하나 이상의 사용자 입력들의 세트를 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 수단을 포함하고, 라이브 비디오 통신 인터페이스는, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현; 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 - 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야 내에 있는 제1 장면 내의 표면의 표현을 포함함 -; 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현; 및 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 - 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야 내에 있는 제2 장면 내의 표면의 표현을 포함함 - 을 포함한다.

일부 실시예들에 따르면, 컴퓨터 프로그램 제품이 설명된다. 컴퓨터 프로그램 제품은 디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함한다. 하나 이상의 프로그램들은, 복수의 참가자들을 포함하는 라이브 비디오 통신 세션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 사용자 입력들의 세트를 검출하기 위한; 그리고 하나 이상의 사용자 입력들의 세트를 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 명령어들을 포함하고, 라이브 비디오 통신 인터페이스는, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현; 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 - 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야 내에 있는 제1 장면 내의 표면의 표현을 포함함 -; 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현; 및 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 - 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야 내에 있는 제2 장면 내의 표면의 표현을 포함함 - 을 포함한다.

일부 실시예들에 따르면, 방법이 설명된다. 본 방법은, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하는 제1 컴퓨터 시스템에서, 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 제1 뷰의 표현을 디스플레이하고; 물리적 환경의 제1 뷰의 표현을 디스플레이하는 동안, 하나 이상의 센서들을 통해, 제1 컴퓨터 시스템의 위치의 변화를 검출하며; 제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제1 뷰와는 상이한 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하는 단계를 포함한다.

일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 제1 뷰의 표현을 디스플레이하고; 물리적 환경의 제1 뷰의 표현을 디스플레이하는 동안, 하나 이상의 센서들을 통해, 제1 컴퓨터 시스템의 위치의 변화를 검출하며; 제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제1 뷰와는 상이한 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 제1 뷰의 표현을 디스플레이하고; 물리적 환경의 제1 뷰의 표현을 디스플레이하는 동안, 하나 이상의 센서들을 통해, 제1 컴퓨터 시스템의 위치의 변화를 검출하며; 제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제1 뷰와는 상이한 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하도록 구성된 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 하나 이상의 프로세서들; 및 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 하나 이상의 프로그램들은, 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 제1 뷰의 표현을 디스플레이하고; 물리적 환경의 제1 뷰의 표현을 디스플레이하는 동안, 하나 이상의 센서들을 통해, 제1 컴퓨터 시스템의 위치의 변화를 검출하며; 제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제1 뷰와는 상이한 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하도록 구성된 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 제1 뷰의 표현을 디스플레이하고; 물리적 환경의 제1 뷰의 표현을 디스플레이하는 동안, 하나 이상의 센서들을 통해, 제1 컴퓨터 시스템의 위치의 변화를 검출하며; 제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제1 뷰와는 상이한 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하기 위한 수단을 포함한다.

일부 실시예들에 따르면, 컴퓨터 프로그램 제품이 설명된다. 컴퓨터 프로그램 제품은 제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하며, 하나 이상의 프로그램들은, 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 제1 뷰의 표현을 디스플레이하고; 물리적 환경의 제1 뷰의 표현을 디스플레이하는 동안, 하나 이상의 센서들을 통해, 제1 컴퓨터 시스템의 위치의 변화를 검출하며; 제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제1 뷰와는 상이한 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 방법이 설명된다. 본 방법은, 디스플레이 생성 컴포넌트와 통신하는 컴퓨터 시스템에서, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내의 물리적 환경의 뷰에 기초하여 물리적 환경 내의 물리적 마크의 표현을 디스플레이하는 단계 - 물리적 환경의 뷰는 물리적 마크 및 물리적 배경을 포함하고, 물리적 마크의 표현을 디스플레이하는 단계는 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 단계를 포함함 -; 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 동안, 물리적 환경 내의 새로운 물리적 마크를 포함하는 데이터를 획득하는 단계; 및 물리적 환경 내의 새로운 물리적 마크를 표현하는 데이터를 획득하는 것에 응답하여, 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 새로운 물리적 마크의 표현을 디스플레이하는 단계를 포함한다.

일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 생성 컴포넌트와 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내의 물리적 환경의 뷰에 기초하여 물리적 환경 내의 물리적 마크의 표현을 디스플레이하기 위한 - 물리적 환경의 뷰는 물리적 마크 및 물리적 배경을 포함하고, 물리적 마크의 표현을 디스플레이하는 것은 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 것을 포함함 -; 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 동안, 물리적 환경 내의 새로운 물리적 마크를 포함하는 데이터를 획득하기 위한; 그리고 물리적 환경 내의 새로운 물리적 마크를 표현하는 데이터를 획득하는 것에 응답하여, 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 새로운 물리적 마크의 표현을 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 생성 컴포넌트와 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내의 물리적 환경의 뷰에 기초하여 물리적 환경 내의 물리적 마크의 표현을 디스플레이하기 위한 - 물리적 환경의 뷰는 물리적 마크 및 물리적 배경을 포함하고, 물리적 마크의 표현을 디스플레이하는 것은 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 것을 포함함 -; 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 동안, 물리적 환경 내의 새로운 물리적 마크를 포함하는 데이터를 획득하기 위한; 그리고 물리적 환경 내의 새로운 물리적 마크를 표현하는 데이터를 획득하는 것에 응답하여, 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 새로운 물리적 마크의 표현을 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트와 통신하도록 구성된 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 하나 이상의 프로세서들; 및 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내의 물리적 환경의 뷰에 기초하여 물리적 환경 내의 물리적 마크의 표현을 디스플레이하기 위한 - 물리적 환경의 뷰는 물리적 마크 및 물리적 배경을 포함하고, 물리적 마크의 표현을 디스플레이하는 것은 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 것을 포함함 -; 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 동안, 물리적 환경 내의 새로운 물리적 마크를 포함하는 데이터를 획득하기 위한; 그리고 물리적 환경 내의 새로운 물리적 마크를 표현하는 데이터를 획득하는 것에 응답하여, 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 새로운 물리적 마크의 표현을 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트와 통신하도록 구성된 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내의 물리적 환경의 뷰에 기초하여 물리적 환경 내의 물리적 마크의 표현을 디스플레이하기 위한 수단 - 물리적 환경의 뷰는 물리적 마크 및 물리적 배경을 포함하고, 물리적 마크의 표현을 디스플레이하는 것은 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 것을 포함함 -; 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 동안, 물리적 환경 내의 새로운 물리적 마크를 포함하는 데이터를 획득하기 위한 수단; 및 물리적 환경 내의 새로운 물리적 마크를 표현하는 데이터를 획득하는 것에 응답하여, 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 새로운 물리적 마크의 표현을 디스플레이하기 위한 수단을 포함한다.

일부 실시예들에 따르면, 컴퓨터 프로그램 제품이 설명된다. 컴퓨터 프로그램 제품은 디스플레이 생성 컴포넌트와 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하며, 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내의 물리적 환경의 뷰에 기초하여 물리적 환경 내의 물리적 마크의 표현을 디스플레이하기 위한 - 물리적 환경의 뷰는 물리적 마크 및 물리적 배경을 포함하고, 물리적 마크의 표현을 디스플레이하는 것은 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 것을 포함함 -; 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 동안, 물리적 환경 내의 새로운 물리적 마크를 포함하는 데이터를 획득하기 위한; 그리고 물리적 환경 내의 새로운 물리적 마크를 표현하는 데이터를 획득하는 것에 응답하여, 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 새로운 물리적 마크의 표현을 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 방법이 설명된다. 본 방법은, 디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하는 컴퓨터 시스템에서, 디스플레이 생성 컴포넌트를 통해, 전자 문서를 디스플레이하는 단계; 하나 이상의 카메라들을 통해, 하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하는 단계; 및 하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하는 것에 응답하여, 전자 문서 내에, 하나 이상의 카메라들의 시야 내에 있는 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하는 단계를 포함한다.

일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트를 통해, 전자 문서를 디스플레이하기 위한; 하나 이상의 카메라들을 통해, 하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하기 위한; 그리고 하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하는 것에 응답하여, 전자 문서 내에, 하나 이상의 카메라들의 시야 내에 있는 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트를 통해, 전자 문서를 디스플레이하기 위한; 하나 이상의 카메라들을 통해, 하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하기 위한; 그리고 하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하는 것에 응답하여, 전자 문서 내에, 하나 이상의 카메라들의 시야 내에 있는 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하도록 구성된 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 하나 이상의 프로세서들; 및 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트를 통해, 전자 문서를 디스플레이하기 위한; 하나 이상의 카메라들을 통해, 하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하기 위한; 그리고 하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하는 것에 응답하여, 전자 문서 내에, 하나 이상의 카메라들의 시야 내에 있는 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하도록 구성된 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 전자 문서를 디스플레이하기 위한 수단; 하나 이상의 카메라들을 통해, 하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하기 위한 수단; 및 하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하는 것에 응답하여, 전자 문서 내에, 하나 이상의 카메라들의 시야 내에 있는 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하기 위한 수단을 포함한다.

일부 실시예들에 따르면, 컴퓨터 프로그램 제품이 설명된다. 컴퓨터 프로그램 제품은 디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하며, 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트를 통해, 전자 문서를 디스플레이하기 위한; 하나 이상의 카메라들을 통해, 하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하기 위한; 그리고 하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하는 것에 응답하여, 전자 문서 내에, 하나 이상의 카메라들의 시야 내에 있는 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 제1 컴퓨터 시스템에서 수행되는 방법이 설명된다. 본 방법은, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 카메라들의 시야 내에 있는 표면의 시각적 표현을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 제1 사용자 입력들을 검출하는 단계; 및 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여, 제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현; 및 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 하나 이상의 카메라들의 시야의 제1 영역을 나타내는 시각적 표시 - 제1 영역은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 제2 부분을 나타냄 - 를 동시에 디스플레이하는 단계를 포함한다.

일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 제1 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 카메라들의 시야 내에 있는 표면의 시각적 표현을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 제1 사용자 입력들을 검출하기 위한; 그리고 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여, 제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현; 및 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 하나 이상의 카메라들의 시야의 제1 영역을 나타내는 시각적 표시 - 제1 영역은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 제2 부분을 나타냄 - 를 동시에 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 제1 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 카메라들의 시야 내에 있는 표면의 시각적 표현을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 제1 사용자 입력들을 검출하기 위한; 그리고 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여, 제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현; 및 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 하나 이상의 카메라들의 시야의 제1 영역을 나타내는 시각적 표시 - 제1 영역은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 제2 부분을 나타냄 - 를 동시에 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 제1 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 하나 이상의 프로세서들; 및 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 하나 이상의 프로그램들은, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 카메라들의 시야 내에 있는 표면의 시각적 표현을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 제1 사용자 입력들을 검출하기 위한; 그리고 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여, 제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현; 및 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 하나 이상의 카메라들의 시야의 제1 영역을 나타내는 시각적 표시 - 제1 영역은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 제2 부분을 나타냄 - 를 동시에 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 제1 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 카메라들의 시야 내에 있는 표면의 시각적 표현을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 제1 사용자 입력들을 검출하기 위한 수단; 및 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여, 제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현; 및 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 하나 이상의 카메라들의 시야의 제1 영역을 나타내는 시각적 표시 - 제1 영역은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 제2 부분을 나타냄 - 를 동시에 디스플레이하기 위한 수단을 포함한다.

일부 실시예들에 따르면, 컴퓨터 프로그램 제품이 설명된다. 컴퓨터 프로그램 제품은 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 제1 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함한다. 하나 이상의 프로그램들은, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 카메라들의 시야 내에 있는 표면의 시각적 표현을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 제1 사용자 입력들을 검출하기 위한; 그리고 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여, 제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현; 및 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 하나 이상의 카메라들의 시야의 제1 영역을 나타내는 시각적 표시 - 제1 영역은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 제2 부분을 나타냄 - 를 동시에 디스플레이하기 위한 명령어들을 포함한다.

일부 실시예들에 따르면, 방법이 설명된다. 본 방법은, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템에서, 하나 이상의 입력 디바이스들을 통해, 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하는 단계; 및 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 특징부의 가상 시연을 포함하는, 특징부를 사용하기 위한 지침서를 디스플레이하는 단계 - 지침서를 디스플레이하는 단계는, 컴퓨터 시스템의 속성이 제1 값을 갖는다는 결정에 따라, 제1 외관을 갖는 가상 시연을 디스플레이하는 단계; 및 컴퓨터 시스템의 속성이 제2 값을 갖는다는 결정에 따라, 제1 외관과는 상이한 제2 외관을 갖는 가상 시연을 디스플레이하는 단계를 포함함 - 를 포함한다.

일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체가 설명된다. 비일시적 컴퓨터 판독가능 저장 매체는 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 하나 이상의 입력 디바이스들을 통해, 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하기 위한; 그리고 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 특징부의 가상 시연을 포함하는, 특징부를 사용하기 위한 지침서를 디스플레이하기 위한 - 지침서를 디스플레이하는 것은, 컴퓨터 시스템의 속성이 제1 값을 갖는다는 결정에 따라, 제1 외관을 갖는 가상 시연을 디스플레이하는 것; 및 컴퓨터 시스템의 속성이 제2 값을 갖는다는 결정에 따라, 제1 외관과는 상이한 제2 외관을 갖는 가상 시연을 디스플레이하는 것을 포함함 - 명령어들을 포함한다.

일부 실시예들에 따르면, 일시적 컴퓨터 판독가능 저장 매체가 설명된다. 일시적 컴퓨터 판독가능 저장 매체는 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하며, 하나 이상의 프로그램들은, 하나 이상의 입력 디바이스들을 통해, 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하기 위한; 그리고 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 특징부의 가상 시연을 포함하는, 특징부를 사용하기 위한 지침서를 디스플레이하기 위한 - 지침서를 디스플레이하는 것은, 컴퓨터 시스템의 속성이 제1 값을 갖는다는 결정에 따라, 제1 외관을 갖는 가상 시연을 디스플레이하는 것; 및 컴퓨터 시스템의 속성이 제2 값을 갖는다는 결정에 따라, 제1 외관과는 상이한 제2 외관을 갖는 가상 시연을 디스플레이하는 것을 포함함 - 명령어들을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 하나 이상의 프로세서들; 및 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 하나 이상의 프로그램들은, 하나 이상의 입력 디바이스들을 통해, 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하기 위한; 그리고 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 특징부의 가상 시연을 포함하는, 특징부를 사용하기 위한 지침서를 디스플레이하기 위한 - 지침서를 디스플레이하는 것은, 컴퓨터 시스템의 속성이 제1 값을 갖는다는 결정에 따라, 제1 외관을 갖는 가상 시연을 디스플레이하는 것; 및 컴퓨터 시스템의 속성이 제2 값을 갖는다는 결정에 따라, 제1 외관과는 상이한 제2 외관을 갖는 가상 시연을 디스플레이하는 것을 포함함 - 명령어들을 포함한다.

일부 실시예들에 따르면, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템이 설명된다. 컴퓨터 시스템은, 하나 이상의 입력 디바이스들을 통해, 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하기 수단; 및 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 특징부의 가상 시연을 포함하는, 특징부를 사용하기 위한 지침서를 디스플레이하기 위한 수단 - 지침서를 디스플레이하기 위한 수단은, 컴퓨터 시스템의 속성이 제1 값을 갖는다는 결정에 따라, 제1 외관을 갖는 가상 시연을 디스플레이하기 위한 수단; 및 컴퓨터 시스템의 속성이 제2 값을 갖는다는 결정에 따라, 제1 외관과는 상이한 제2 외관을 갖는 가상 시연을 디스플레이하기 위한 수단을 포함함 - 을 포함한다.

일부 실시예들에 따르면, 컴퓨터 프로그램 제품이 설명된다. 컴퓨터 프로그램 제품은 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하며, 하나 이상의 프로그램들은, 하나 이상의 입력 디바이스들을 통해, 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하기 위한; 그리고 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하는 것에 응답하여, 디스플레이 생성 컴포넌트를 통해, 특징부의 가상 시연을 포함하는, 특징부를 사용하기 위한 지침서를 디스플레이하기 위한 - 지침서를 디스플레이하는 것은, 컴퓨터 시스템의 속성이 제1 값을 갖는다는 결정에 따라, 제1 외관을 갖는 가상 시연을 디스플레이하는 것; 및 컴퓨터 시스템의 속성이 제2 값을 갖는다는 결정에 따라, 제1 외관과는 상이한 제2 외관을 갖는 가상 시연을 디스플레이하는 것을 포함함 - 명령어들을 포함한다.

이러한 기능들을 수행하기 위한 실행가능 명령어들은, 선택적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 비일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다. 이러한 기능들을 수행하기 위한 실행가능 명령어들은, 선택적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다.

따라서, 디바이스들에는 라이브 비디오 통신 세션을 관리하기 위한 더 빠르고 더 효율적인 방법들 및 인터페이스들이 제공되며, 이에 의해, 그러한 디바이스들의 유효성, 효율성 및 사용자 만족도를 증가시킨다. 그러한 방법들 및 인터페이스들은 라이브 비디오 통신 세션을 관리하기 위한 다른 방법들을 보완하거나 대체할 수 있다.

다양하게 기술된 실시예들의 더 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1a는 일부 실시예들에 따른, 터치 감응형 디스플레이를 갖는 휴대용 다기능 디바이스를 예시하는 블록도이다.
도 1b는 일부 실시예들에 따른, 이벤트 처리를 위한 예시적인 컴포넌트들을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른, 터치 스크린을 갖는 휴대용 다기능 디바이스를 예시한다.
도 3은 일부 실시예들에 따른, 디스플레이 및 터치 감응형 표면을 갖는 예시적인 다기능 디바이스의 블록도이다.
도 4a는 일부 실시예들에 따른, 휴대용 다기능 디바이스 상의 애플리케이션들의 메뉴에 대한 예시적인 사용자 인터페이스를 예시한다.
도 4b는 일부 실시예들에 따른, 디스플레이와는 별개인 터치 감응형 표면을 갖는 다기능 디바이스에 대한 예시적인 사용자 인터페이스를 예시한다.
도 5a는 일부 실시예들에 따른 개인용 전자 디바이스를 예시한다.
도 5b는 일부 실시예들에 따른 개인용 전자 디바이스를 예시하는 블록도이다.
도 5c는 일부 실시예들에 따른, 전자 디바이스들 사이의 통신 세션의 예시적인 다이어그램을 예시한다.
도 6a 내지 도 6ay는 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 7은 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 방법을 예시하는 흐름도를 도시한다.
도 8은 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 방법을 예시하는 흐름도를 도시한다.
도 9a 내지 도 9t는 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 10은 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 방법을 예시하는 흐름도를 도시한다.
도 11a 내지 도 11p는 일부 실시예들에 따른, 디지털 콘텐츠를 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 12는 일부 실시예들에 따른, 디지털 콘텐츠를 관리하는 방법을 예시하는 흐름도이다.
도 13a 내지 도 13k는 일부 실시예들에 따른, 디지털 콘텐츠를 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 14는 일부 실시예들에 따른, 디지털 콘텐츠를 관리하는 방법을 예시하는 흐름도이다.
도 15는 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 방법을 예시하는 흐름도를 도시한다.
도 16a 내지 도 16q는 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 17은 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 방법을 예시하는 흐름도이다.
도 18a 내지 도 18n은 일부 실시예들에 따른, 컴퓨터 시스템 상의 특징부에 대한 지침서를 디스플레이하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 19는 일부 실시예들에 따른, 컴퓨터 시스템 상의 특징부에 대한 지침서를 디스플레이하기 위한 방법을 예시하는 흐름도이다.

이하의 설명은 예시적인 방법들, 파라미터들 등을 기재하고 있다. 그러나, 이러한 설명이 본 발명의 범주에 대한 제한으로서 의도되지 않고 그 대신에 예시적인 실시예들의 설명으로서 제공된다는 것을 인식해야 한다.

라이브 비디오 통신 세션을 관리하고/하거나 디지털 콘텐츠를 관리하기 위한 효율적인 방법들 및 인터페이스들을 제공하는 전자 디바이스들에 대한 필요성이 존재한다. 예를 들어, 콘텐츠의 공유를 개선하기 위한 전자 디바이스들에 대한 필요성이 존재한다. 그러한 기법들은, 라이브 비디오 통신 세션 동안 콘텐츠를 공유하고/하거나 전자 문서 내의 디지털 콘텐츠를 관리하는 사용자에 대한 인지적 부담을 감소시켜, 그에 의해 생산성을 향상시킬 수 있다. 추가로, 그러한 기법들은 과다한 사용자 입력들에 달리 낭비되는 프로세서 및 배터리 전력을 감소시킬 수 있다.

아래에서, 도 1a, 도 1b, 도 2, 도 3, 도 4a, 도 4b, 및 도 5a 내지 도 5c는, 라이브 비디오 통신 세션을 관리하고/하거나 디지털 콘텐츠를 관리하기 위한 기법들을 수행하기 위한 예시적인 디바이스들의 설명을 제공한다. 도 6a 내지 도 6ay는 라이브 비디오 통신 세션을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 7, 도 8 및 도 15는 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하는 방법들을 예시하는 흐름도들이다. 도 6a 내지 도 6ay의 사용자 인터페이스들은, 도 7, 도 8 및 도 15의 프로세스들을 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다. 도 9a 내지 도 9t는 라이브 비디오 통신을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 10은 일부 실시예들에 따른, 라이브 비디오 통신을 관리하는 방법들을 예시하는 흐름도이다. 도 9a 내지 도 9t의 사용자 인터페이스들은, 도 10의 프로세스를 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다. 도 11a 내지 도 11p는 디지털 콘텐츠를 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 12는 일부 실시예들에 따른, 디지털 콘텐츠를 관리하는 방법들을 예시하는 흐름도이다. 도 11a 내지 도 11p의 사용자 인터페이스들은, 도 12의 프로세스를 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다. 도 13a 내지 도 13k는 일부 실시예들에 따른, 디지털 콘텐츠를 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 14는 일부 실시예들에 따른, 디지털 콘텐츠를 관리하는 방법들을 예시하는 흐름도이다. 도 13a 내지 도 13k의 사용자 인터페이스들은, 도 14의 프로세스를 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다. 도 16a 내지 도 16o는 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 17은 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 방법들을 예시하는 흐름도이다. 도 16a 내지 도 16q의 사용자 인터페이스들은, 도 17의 프로세스를 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다. 도 18a 내지 도 18n은 일부 실시예들에 따른, 컴퓨터 시스템 상의 특징부에 대한 지침서를 디스플레이하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 19는 일부 실시예들에 따른, 컴퓨터 시스템 상의 특징부에 대한 지침서를 디스플레이하기 위한 방법들을 예시하는 흐름도이다. 도 18a 내지 도 18n의 사용자 인터페이스들은, 도 19의 프로세스를 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다.

아래에서 설명되는 프로세스들은, 사용자에게 개선된 시각적 피드백을 제공하는 것, 동작을 수행하는 데 필요한 입력들의 수를 감소시키는 것, 추가의 디스플레이된 제어부들로 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하는 것, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하는 것, 디지털 콘텐츠를 관리하는 데 있어서의 효율성을 개선하는 것, 라이브 통신 세션에서 사용자들 사이의 협업을 개선하는 것, 라이브 통신 세션 경험을 개선하는 것, 및/또는 추가 기법들을 포함한 다양한 기법들을 통해 (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스들을 더 효율적으로 만든다. 이러한 기법들은 또한, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.

게다가, 하나 이상의 단계들이 하나 이상의 조건들이 충족되었음을 조건으로 하는 본 명세서에서 설명되는 방법들에서, 설명된 방법은 다수의 반복들로 반복될 수 있어서, 반복들 동안, 방법의 단계들이 조건으로 하는 조건들 모두가 방법의 상이한 반복들로 충족되게 할 수 있다는 것이 이해되어야 한다. 예를 들어, 방법이, 조건이 만족되면 제1 단계를 그리고 조건이 만족되지 않으면 제2 단계를 수행할 것을 요구하는 경우, 당업자는, 조건이 만족되고 만족되지 않을 때까지, 청구된 단계들이 특정 순서 없이 반복된다는 것을 인식할 것이다. 따라서, 하나 이상의 조건들이 충족되었음을 조건으로 하는 하나 이상의 단계들로 설명되는 방법은, 방법에서 설명되는 조건들 각각이 충족될 때까지 반복되는 방법으로서 재작성될 수 있다. 그러나, 이는, 시스템 또는 컴퓨터 판독가능 매체가 대응하는 하나 이상의 조건들의 만족에 기초하여 조건부(contingent) 동작들을 수행하기 위한 명령어들을 포함하고, 그에 따라, 방법의 단계들이 조건으로 하는 조건들 모두가 충족될 때까지 방법의 단계들을 명시적으로 반복하지 않고서 우연성(contingency)이 만족되었는지 또는 만족되지 않았는지를 결정할 수 있는 시스템 또는 컴퓨터 판독가능 매체 청구항들에서는 요구되지 않는다. 당업자는, 또한, 조건부 단계들을 갖는 방법과 유사하게, 시스템 또는 컴퓨터 판독가능 저장 매체가 조건부 단계들 모두가 수행되었음을 보장하는 데 필요한 횟수만큼 방법의 단계들을 반복할 수 있다는 것을 이해할 것이다.

이하의 설명이 다양한 요소들을 기술하기 위해 "제1", "제2" 등과 같은 용어들을 사용하지만, 이러한 요소들이 그 용어들에 의해 제한되어서는 안 된다. 일부 실시예들에서, 이러한 용어들은 하나의 요소를 다른 요소와 구별하기 위해 사용된다. 예를 들어, 기술된 다양한 실시예들의 범주로부터 벗어남이 없이, 제1 터치가 제2 터치로 지칭될 수 있고, 이와 유사하게, 제2 터치가 제1 터치로 지칭될 수 있다. 일부 실시예들에서, 제1 터치 및 제2 터치는 동일한 터치에 대한 2개의 별개의 기준들이다. 일부 실시예들에서, 제1 터치 및 제2 터치는 둘 모두 터치들이지만, 그들이 동일한 터치인 것은 아니다.

본 명세서에서 다양하게 기술된 실시예들의 설명에 사용되는 용어는 특정 실시예들을 기술하는 목적만을 위한 것이고, 제한하려는 의도는 아니다. 다양한 기술된 실시예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수의 형태("a", "an", 및 "the")는 문맥상 명백히 달리 나타내지 않는다면 복수의 형태도 마찬가지로 포함하려는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 연관된 항목들 중 하나 이상의 항목들의 임의의 및 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 용어들 "포함한다(include)", "포함하는(including)", "포함한다(comprise)", 및/또는 "포함하는(comprising)"은, 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않음이 추가로 이해될 것이다.

용어 "~할 경우(if)"는, 선택적으로, 문맥에 따라 "~할 때(when)" 또는 "~할 시(upon)" 또는 "결정하는 것에 응답하여(in response to determining)" 또는 "검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석된다. 유사하게, 어구 "~라고 결정된 경우" 또는 "[언급된 조건 또는 이벤트가] 검출된 경우"는, 선택적으로, 문맥에 따라 "~라고 결정할 때" 또는 "~라고 결정하는 것에 응답하여" 또는 "[언급된 조건 또는 이벤트]를 검출할 시" 또는 "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여"를 의미하는 것으로 해석된다.

전자 디바이스들, 그러한 디바이스들에 대한 사용자 인터페이스들, 및 그러한 디바이스들을 사용하기 위한 연관된 프로세스들의 실시예들이 기술된다. 일부 실시예들에서, 디바이스는 PDA 및/또는 음악 재생기 기능들과 같은 다른 기능들을 또한 포함하는 휴대용 통신 디바이스, 예컨대 이동 전화기이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.(Apple Inc.)로부터의 아이폰(iPhone)®, 아이팟 터치(iPod Touch)®, 및 아이패드(iPad)® 디바이스들을 제한 없이 포함한다. 터치 감응형 표면들(예컨대, 터치 스크린 디스플레이들 및/또는 터치패드들)을 갖는 랩톱 또는 태블릿 컴퓨터들과 같은 다른 휴대용 전자 디바이스들이 선택적으로 사용된다. 일부 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라 터치 감응형 표면(예컨대, 터치 스크린 디스플레이 및/또는 터치패드)을 갖는 데스크톱 컴퓨터임이 또한 이해되어야 한다. 일부 실시예들에서, 전자 디바이스는 디스플레이 생성 구성요소와 (예컨대, 무선 통신을 통해, 유선 통신을 통해) 통신하는 컴퓨터 시스템이다. 디스플레이 생성 구성요소는 CRT 디스플레이를 통한 디스플레이, LED 디스플레이를 통한 디스플레이, 또는 이미지 투영을 통한 디스플레이와 같은 시각적 출력을 제공하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 구성요소는 컴퓨터 시스템과 통합된다. 일부 실시예들에서, 디스플레이 생성 구성요소는 컴퓨터 시스템과 별개이다. 본 명세서에 사용되는 바와 같이, 콘텐츠를 "디스플레이하는" 것은 콘텐츠를 시각적으로 생성하기 위해 유선 또는 무선 접속을 통해, 데이터(예컨대, 이미지 데이터 또는 비디오 데이터)를 통합된 또는 외부 디스플레이 생성 컴포넌트로 송신함으로써 콘텐츠(예컨대, 디스플레이 제어기(156)에 의해 렌더링되거나 디코딩된 비디오 데이터)를 디스플레이하도록 야기하는 것을 포함한다.

이하의 논의에서, 디스플레이 및 터치 감응형 표면을 포함하는 전자 디바이스가 기술된다. 그러나, 전자 디바이스가 선택적으로 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 디바이스들을 포함한다는 것이 이해되어야 한다.

디바이스는 전형적으로 다음 중 하나 이상과 같은 다양한 애플리케이션들을 지원한다: 드로잉 애플리케이션, 프레젠테이션 애플리케이션, 워드 프로세싱 애플리케이션, 웹사이트 제작 애플리케이션, 디스크 저작 애플리케이션, 스프레드시트 애플리케이션, 게임 애플리케이션, 전화 애플리케이션, 화상 회의 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 운동 지원 애플리케이션, 사진 관리 애플리케이션, 디지털 카메라 애플리케이션, 디지털 비디오 카메라 애플리케이션, 웹 브라우징 애플리케이션, 디지털 음악 재생기 애플리케이션, 및/또는 디지털 비디오 재생기 애플리케이션.

디바이스 상에서 실행되는 다양한 애플리케이션들은, 선택적으로, 터치 감응형 표면과 같은 적어도 하나의 보편적인 물리적 사용자 인터페이스 디바이스를 사용한다. 터치 감응형 표면의 하나 이상의 기능들뿐만 아니라 디바이스 상에 디스플레이되는 대응하는 정보는, 선택적으로, 하나의 애플리케이션으로부터 다음 애플리케이션으로 그리고/또는 각각의 애플리케이션 내에서 조정되고/되거나 변경된다. 이러한 방식으로, 디바이스의 (터치 감응형 표면과 같은) 보편적인 물리적 아키텍처는, 선택적으로, 사용자에게 직관적이고 투명한 사용자 인터페이스들을 이용하여 다양한 애플리케이션들을 지원한다.

이제, 터치 감응형 디스플레이들을 갖는 휴대용 디바이스들의 실시예들에 주목한다. 도 1a는 일부 실시예들에 따른, 터치 감응형 디스플레이 시스템(112)을 갖는 휴대용 다기능 디바이스(100)를 예시하는 블록도이다. 터치 감응형 디스플레이(112)는 때때로 편의상 "터치 스크린"이라고 지칭되고, 때때로 "터치 감응형 디스플레이 시스템"으로 알려져 있거나 또는 그렇게 지칭된다. 디바이스(100)는 메모리(102)(선택적으로, 하나 이상의 컴퓨터 판독가능 저장 매체들을 포함함), 메모리 제어기(122), 하나 이상의 프로세싱 유닛(CPU)들(120), 주변기기 인터페이스(118), RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 입/출력(I/O) 서브시스템(106), 다른 입력 제어 디바이스들(116), 및 외부 포트(124)를 포함한다. 디바이스(100)는 선택적으로 하나 이상의 광 센서(optical sensor)들(164)을 포함한다. 디바이스(100)는 선택적으로, 디바이스(100)(예컨대, 디바이스(100)의 터치 감응형 디스플레이 시스템(112)과 같은 터치 감응형 표면) 상에서의 접촉들의 세기를 검출하기 위한 하나 이상의 접촉 세기 센서들(165)을 포함한다. 디바이스(100)는 선택적으로, 디바이스(100) 상의 촉각적 출력들을 생성하기 위한 (예를 들어, 디바이스(100)의 터치 감응형 디스플레이 시스템(112) 또는 디바이스(300)의 터치패드(355)와 같은 터치 감응형 표면 상의 촉각적 출력들을 생성하기 위한) 하나 이상의 촉각적 출력 생성기들(167)을 포함한다. 이들 컴포넌트는 선택적으로 하나 이상의 통신 버스들 또는 신호 라인들(103)을 통해 통신한다.

명세서 및 청구범위에서 사용되는 바와 같이, 터치 감응형 표면 상에서의 접촉의 "세기"라는 용어는 터치 감응형 표면 상에서의 접촉(예컨대, 손가락 접촉)의 힘 또는 압력(단위 면적 당 힘), 또는 터치 감응형 표면 상에서의 접촉의 힘 또는 압력에 대한 대체물(대용물(proxy))을 지칭한다. 접촉의 세기는, 적어도 4개의 구별되는 값들을 포함하고 더 전형적으로는 수백 개(예컨대, 적어도 256개)의 구별되는 값들을 포함하는 일정 범위의 값들을 갖는다. 접촉의 세기는 다양한 접근법들, 및 다양한 센서들 또는 센서들의 조합들을 이용하여 선택적으로 결정(또는 측정)된다. 예를 들어, 터치 감응형 표면 아래의 또는 그에 인접한 하나 이상의 힘 센서들은 터치 감응형 표면 상의 다양한 지점들에서 힘을 측정하는 데 선택적으로 사용된다. 일부 구현예들에서는, 다수의 힘 센서들로부터의 힘 측정치들이 접촉의 추정되는 힘을 결정하기 위해 조합(예컨대, 가중 평균)된다. 유사하게, 스타일러스의 압력 감응형 팁(tip)이 터치 감응형 표면 상의 스타일러스의 압력을 결정하는 데 선택적으로 사용된다. 대안으로, 터치 감응형 표면 상에서 검출된 접촉 면적의 크기 및/또는 그에 대한 변화들, 접촉 부근의 터치 감응형 표면의 정전용량 및/또는 그에 대한 변화들, 및/또는 접촉 부근의 터치 감응형 표면의 저항 및/또는 그에 대한 변화들은 터치 감응형 표면 상에서의 접촉의 힘 또는 압력에 대한 대체물로서 선택적으로 이용된다. 일부 구현예들에서, 접촉 힘 또는 압력에 대한 대체 측정치들은 세기 임계치가 초과되었는지의 여부를 결정하는 데 직접 이용된다(예컨대, 세기 임계치는 대체 측정치들에 대응하는 단위로 기술된다). 일부 구현예들에서, 접촉 힘 또는 압력에 대한 대체 측정치들은 추정된 힘 또는 압력으로 변환되고, 추정된 힘 또는 압력은 세기 임계치가 초과되었는지의 여부를 결정하기 위해 이용된다(예를 들어, 세기 임계치는 압력의 단위로 측정된 압력 임계치이다). 사용자 입력의 속성으로서 접촉의 세기를 사용하는 것은, 그렇지 않았으면 어포던스들을 (예를 들어, 터치 감응형 디스플레이 상에) 디스플레이하고/하거나 (예를 들어, 터치 감응형 디스플레이, 터치 감응형 표면, 또는 노브(knob) 또는 버튼과 같은 물리적/기계적 제어부를 통해) 사용자 입력을 수신하기 위하여 한정된 실면적을 갖는 감소된 크기의 디바이스 상에서 사용자에 의해 액세스 가능하지 않을 수 있는 부가적인 디바이스 기능에의 사용자 액세스를 가능하게 한다.

명세서 및 청구범위에 사용되는 바와 같이, "촉각적 출력"이라는 용어는 디바이스의 이전 위치에 대한 디바이스의 물리적 변위, 디바이스의 다른 컴포넌트(예컨대, 하우징)에 대한 디바이스의 컴포넌트(예컨대, 터치 감응형 표면)의 물리적 변위, 또는 사용자의 촉각을 이용하여 사용자에 의해 검출될 디바이스의 질량 중심에 대한 컴포넌트의 변위를 지칭한다. 예컨대, 디바이스 또는 디바이스의 컴포넌트가 터치에 민감한 사용자의 표면(예컨대, 사용자의 손의 손가락, 손바닥, 또는 다른 부위)과 접촉하는 상황에서, 물리적 변위에 의해 생성된 촉각적 출력은 사용자에 의해 디바이스 또는 디바이스의 컴포넌트의 물리적 특성들의 인지된 변화에 대응하는 촉감(tactile sensation)으로서 해석될 것이다. 예컨대, 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 또는 트랙패드)의 이동은, 선택적으로, 사용자에 의해 물리적 액추에이터 버튼의 "다운 클릭" 또는 "업 클릭"으로서 해석된다. 일부 경우에, 사용자는 사용자의 이동에 의해 물리적으로 눌리는(예컨대, 변위되는) 터치 감응형 표면과 연관된 물리적 액추에이터 버튼의 이동이 없는 경우에도 "다운 클릭" 또는 "업 클릭"과 같은 촉감을 느낄 것이다. 다른 예로서, 터치 감응형 표면의 이동은, 터치 감응형 표면의 평탄성의 변화가 없는 경우에도, 선택적으로, 사용자에 의해 터치 감응형 표면의 "거칠기(roughness)"로서 해석 또는 감지된다. 사용자에 의한 터치의 이러한 해석들이 사용자의 개별화된 감각 인지(sensory perception)에 영향을 받기 쉬울 것이지만, 대다수의 사용자들에게 보편적인 많은 터치 감각 인지가 있다. 따라서, 촉각적 출력이 사용자의 특정 감각 인지(예컨대, "업 클릭", "다운 클릭", "거칠기")에 대응하는 것으로서 기술될 때, 달리 언급되지 않는다면, 생성된 촉각적 출력은 전형적인(또는 평균적인) 사용자에 대한 기술된 감각 인지를 생성할 디바이스 또는 그의 컴포넌트의 물리적 변위에 대응한다.

디바이스(100)는 휴대용 다기능 디바이스의 일례일 뿐이고, 디바이스(100)는, 선택적으로, 도시된 것보다 더 많거나 더 적은 컴포넌트들을 갖거나, 선택적으로, 둘 이상의 컴포넌트들을 조합하거나, 또는 선택적으로 컴포넌트들의 상이한 구성 또는 배열을 갖는다는 것이 이해되어야 한다. 도 1a에 도시된 다양한 컴포넌트들은 하나 이상의 신호 프로세싱 회로 및/또는 ASIC(application-specific integrated circuit)을 비롯한, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어 둘 모두의 조합으로 구현된다.

메모리(102)는, 선택적으로, 고속 랜덤 액세스 메모리를 포함하고, 또한 선택적으로, 하나 이상의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 솔리드 스테이트 메모리 디바이스(non-volatile solid-state memory device)와 같은 비휘발성 메모리를 포함한다. 메모리 제어기(122)는 선택적으로 디바이스(100)의 다른 컴포넌트들에 의한 메모리(102)에의 액세스를 제어한다.

주변기기 인터페이스(118)는 디바이스의 입력 및 출력 주변기기들을 CPU(120) 및 메모리(102)에 커플링시키는 데 사용될 수 있다. 하나 이상의 프로세서들(120)은 디바이스(100)에 대한 다양한 기능들을 수행하기 위해 그리고 데이터를 프로세싱하기 위해 메모리(102)에 저장된 (컴퓨터 프로그램들(예를 들어, 명령어들을 포함함)과 같은) 다양한 소프트웨어 프로그램들 및/또는 명령어들의 세트들을 구동 또는 실행시킨다. 일부 실시예들에서, 주변기기 인터페이스(118), CPU(120) 및 메모리 제어기(122)는, 선택적으로, 칩(104)과 같은 단일 칩 상에 구현된다. 일부 다른 실시예들에서, 이들은 선택적으로 별개의 칩들 상에서 구현된다.

RF(radio frequency) 회로부(108)는 전자기 신호들이라고도 지칭되는 RF 신호들을 수신 및 송신한다. RF 회로부(108)는 전기 신호들을 전자기 신호들로/로부터 변환하고, 전자기 신호들을 통해 통신 네트워크들 및 다른 통신 디바이스들과 통신한다. RF 회로부(108)는, 선택적으로, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, CODEC 칩셋, SIM(subscriber identity module) 카드, 메모리 등을 포함하지만 이들로 제한되지 않는, 이러한 기능들을 수행하기 위한 잘 알려진 회로부를 포함한다. RF 회로부(108)는, 선택적으로, 네트워크들, 예컨대 월드 와이드 웹(WWW)으로도 지칭되는 인터넷, 인트라넷, 및/또는 무선 네트워크, 예컨대 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network), 및 다른 디바이스들과 무선 통신에 의해 통신한다. RF 회로부(108)는, 선택적으로, 예컨대 단거리 통신 무선기기(short-range communication radio)에 의해, 근거리 통신(near field communication, NFC) 필드들을 검출하기 위한 잘 알려진 회로부를 포함한다. 무선 통신은, 선택적으로, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), EV-DO(Evolution, Data-Only), HSPA, HSPA+, DC-HSPDA(Dual-Cell HSPA), LTE(long term evolution), NFC(near field communication), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), BTLE(Bluetooth Low Energy), Wi-Fi(Wireless Fidelity)(예컨대, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g, IEEE 802.11n 및/또는 IEEE 802.11ac), VoIP(voice over Internet Protocol), Wi-MAX, 이메일용 프로토콜(예컨대, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)), 인스턴트 메시징(예컨대, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)), 및/또는 SMS(Short Message Service), 또는 본 문서의 출원일 당시 아직 개발되지 않은 통신 프로토콜들을 비롯한, 임의의 다른 적합한 통신 프로토콜을 포함하지만 이들로 제한되지는 않는, 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 이용한다.

오디오 회로부(110), 스피커(111), 및 마이크로폰(113)은 사용자와 디바이스(100) 사이에서 오디오 인터페이스를 제공한다. 오디오 회로부(110)는 주변기기 인터페이스(118)로부터 오디오 데이터를 수신하고, 그 오디오 데이터를 전기 신호로 변환하고, 그 전기 신호를 스피커(111)에 송신한다. 스피커(111)는 전기 신호를 사람이 들을 수 있는 음파로 변환한다. 오디오 회로부(110)는 또한 마이크로폰(113)에 의해 음파로부터 변환된 전기 신호를 수신한다. 오디오 회로부(110)는 전기 신호를 오디오 데이터로 변환하고, 프로세싱을 위해 오디오 데이터를 주변기기 인터페이스(118)에 송신한다. 오디오 데이터는, 선택적으로, 주변기기 인터페이스(118)에 의해 메모리(102) 및/또는 RF 회로부(108)로부터 인출되고/되거나 메모리(102) 및/또는 RF 회로부(108)로 전송된다. 일부 실시예들에서, 오디오 회로부(110)는 또한 헤드셋 잭(예컨대, 도 2의 212)을 포함한다. 헤드셋 잭은 출력-전용 헤드폰들, 또는 출력(예컨대, 한쪽 또는 양쪽 귀용 헤드폰) 및 입력(예컨대, 마이크로폰) 양쪽 모두를 갖는 헤드셋과 같은 분리가능한 오디오 입/출력 주변기기들과 오디오 회로부(110) 사이의 인터페이스를 제공한다.

I/O 서브시스템(106)은 터치 스크린(112) 및 다른 입력 제어 디바이스들(116)과 같은, 디바이스(100) 상의 입/출력 주변기기들을 주변기기 인터페이스(118)에 커플링시킨다. I/O 서브시스템(106)은 선택적으로, 디스플레이 제어기(156), 광 센서 제어기(158), 깊이 카메라 제어기(169), 세기 센서 제어기(159), 햅틱 피드백 제어기(161), 및 다른 입력 또는 제어 디바이스들을 위한 하나 이상의 입력 제어기들(160)을 포함한다. 하나 이상의 입력 제어기들(160)은 다른 입력 제어 디바이스들(116)로부터/로 전기 신호들을 수신/송신한다. 다른 입력 제어 디바이스들(116)은 선택적으로 물리적 버튼들(예컨대, 푸시 버튼(push button), 로커 버튼(rocker button) 등), 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠 등을 포함한다. 일부 실시예들에서, 입력 제어기(들)(160)는, 선택적으로, 키보드, 적외선 포트, USB 포트, 및 마우스와 같은 포인터 디바이스 중 임의의 것에 커플링된다(또는 어떤 것에도 커플링되지 않는다). 하나 이상의 버튼들(예컨대, 도 2의 208)은, 선택적으로, 스피커(111) 및/또는 마이크로폰(113)의 음량 제어를 위한 업/다운 버튼을 포함한다. 하나 이상의 버튼들은 선택적으로 푸시 버튼(예컨대, 도 2의 206)을 포함한다. 일부 실시예들에서, 전자 디바이스는 하나 이상의 입력 디바이스들과 (예컨대, 무선 통신을 통해, 유선 통신을 통해) 통신하는 컴퓨터 시스템이다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 터치 감응형 표면(예컨대, 터치 감응형 디스플레이의 일부로서 트랙패드)을 포함한다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은, 예컨대 사용자의 제스처들(예를 들어, 손 제스처들 및/또는 에어 제스처(air gesture)들)을 입력으로서 추적하기 위한 하나 이상의 카메라 센서들(예를 들어, 하나 이상의 광 센서들(164) 및/또는 하나 이상의 깊이 카메라 센서들(175))을 포함한다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 컴퓨터 시스템과 통합된다. 일부 실시예들에서, 하나 이상의 입력 디바이스들은 컴퓨터 시스템과 별개이다. 일부 실시예들에서, 에어 제스처는, 사용자가 디바이스의 일부인 입력 요소를 터치하지 않으면서(또는 디바이스의 일부인 입력 요소와 독립적으로) 검출되고, 절대적 기준에 대한 사용자의 신체의 모션(예를 들어, 지면에 대한 사용자의 팔의 각도 또는 지면에 대한 사용자의 손의 거리), 사용자의 신체의 다른 부분에 대한 사용자의 신체의 모션(예를 들어, 사용자의 어깨에 대한 사용자의 손의 이동, 사용자의 하나의 손의 사용자의 다른 손에 대한 이동, 및/또는 사용자의 손가락의 사용자의 손의 다른 손가락 또는 부분에 대한 이동), 및/또는 사용자의 신체의 부분의 절대적 모션(예를 들어, 미리 결정된 양 및/또는 속도만큼의 미리 결정된 포즈에서의 손의 이동을 포함하는 탭 제스처, 또는 사용자의 신체의 부분의 미리 결정된 회전 속도 또는 회전량을 포함하는 쉐이크 제스처)을 포함하는 에어를 통한 사용자의 신체의 부분의 검출된 모션에 기초하는 제스처이다.

푸시 버튼의 빠른 누르기(quick press)는 선택적으로 터치 스크린(112)의 잠금을 풀거나, 디바이스의 잠금을 해제하기 위해 선택적으로 터치 스크린 상의 제스처들을 사용하는 프로세스들을 시작하며, 이는 2005년 12월 23일자로 출원된 미국 특허 출원 제11/322,549호, "Unlocking a Device by Performing Gestures on an Unlock Image"(미국 특허 제7,657,849호)에 기술된 바와 같으며, 이는 이로써 그 전체가 참고로 본 명세서에 포함된다. 푸시 버튼(예컨대, 206)의 더 긴 누르기는 선택적으로 디바이스(100)의 전원을 온 또는 오프한다. 하나 이상의 버튼의 기능성은, 선택적으로, 사용자 맞춤화가 가능하다. 터치 스크린(112)은 가상 또는 소프트 버튼들 및 하나 이상의 소프트 키보드들을 구현하는 데 사용된다.

터치 감응형 디스플레이(112)는 디바이스와 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 제어기(156)는 터치 스크린(112)으로부터/으로 전기 신호들을 수신하고/하거나 송신한다. 터치 스크린(112)은 사용자에게 시각적 출력을 디스플레이한다. 시각적 출력은 선택적으로 그래픽들, 텍스트, 아이콘들, 비디오 및 이들의 임의의 조합(총칭하여 "그래픽들"로 지칭됨)을 포함한다. 일부 실시예들에서, 시각적 출력의 일부 또는 전부가 선택적으로 사용자 인터페이스 객체들에 대응한다.

터치 스크린(112)은 햅틱 및/또는 촉각적 접촉에 기초하여 사용자로부터의 입력을 수용하는 터치 감응형 표면, 센서 또는 센서들의 세트를 갖는다. 터치 스크린(112) 및 디스플레이 제어기(156)는 (메모리(102) 내의 임의의 연관된 모듈들 및/또는 명령어들의 세트들과 함께) 터치 스크린(112) 상에서의 접촉(및 접촉의 임의의 이동 또는 중단)을 검출하고, 검출된 접촉을 터치 스크린(112) 상에 디스플레이된 사용자 인터페이스 객체들(예컨대, 하나 이상의 소프트 키들, 아이콘들, 웹 페이지들 또는 이미지들)과의 상호작용으로 변환한다. 예시적인 실시예에서, 터치 스크린(112)과 사용자 사이의 접촉 지점은 사용자의 손가락에 대응한다.

터치 스크린(112)은 선택적으로 LCD(liquid crystal display) 기술, LPD(light emitting polymer display) 기술, 또는 LED(light emitting diode) 기술을 이용하지만, 다른 실시예들에서는 다른 디스플레이 기술들이 이용된다. 터치 스크린(112) 및 디스플레이 제어기(156)는, 선택적으로, 용량성, 저항성, 적외선, 및 표면 음향파 기술들뿐만 아니라 다른 근접 센서 어레이들, 또는 터치 스크린(112)과의 하나 이상의 접촉 지점을 결정하기 위한 다른 요소들을 포함하지만 이들로 한정되지 않는, 현재 공지되어 있거나 추후에 개발되는 복수의 터치 감지 기술 중 임의의 것을 사용하여, 접촉 및 그의 임의의 이동 또는 중단을 검출한다. 예시적인 실시예에서, 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.로부터의 아이폰® 및 아이팟 터치®에서 발견되는 것과 같은 투영형 상호 정전용량 감지 기술(projected mutual capacitance sensing technology)이 이용된다.

터치 스크린(112)의 일부 실시예들에서의 터치 감응형 디스플레이는, 선택적으로, 하기 미국 특허들 제6,323,846호(Westerman 외), 제6,570,557호(Westerman 외), 및/또는 제6,677,932호(Westerman), 및/또는 미국 특허 공개 공보 제2002/0015024A1호에 기재된 다중-터치 감응형 터치패드들과 유사하며, 이들 각각은 그 전체가 본 명세서에 참고로 포함된다. 그러나, 터치 스크린(112)은 디바이스(100)로부터의 시각적 출력을 디스플레이하는 반면, 터치 감응형 터치패드들은 시각적 출력을 제공하지 않는다.

터치 스크린(112)의 일부 실시예들에서의 터치 감응형 디스플레이는 하기 출원들에 기술되어 있다: (1) 2006년 5월 2일자로 출원된 미국 특허 출원 제11/381,313호, "Multipoint Touch Surface Controller"; (2) 2004년 5월 6일자로 출원된 미국 특허 출원 제10/840,862호, "Multipoint Touchscreen"; (3) 2004년 7월 30일자로 출원된 미국 특허 출원 제10/903,964호, "Gestures For Touch Sensitive Input Devices"; (4) 2005년 1월 31일자로 출원된 미국 특허 출원 제11/048,264호, "Gestures For Touch Sensitive Input Devices"; (5) 2005년 1월 18일자로 출원된 미국 특허 출원 제11/038,590호, "Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices"; (6) 2005년 9월 16일자로 출원된 미국 특허 출원 제11/228,758호, "Virtual Input Device Placement On A Touch Screen User Interface"; (7) 2005년 9월 16일자로 출원된 미국 특허 출원 제11/228,700호, "Operation Of A Computer With A Touch Screen Interface"; (8) 2005년 9월 16일자로 출원된 미국 특허 출원 제11/228,737호, "Activating Virtual Keys Of A Touch-Screen Virtual Keyboard"; 및 (9) 2006년 3월 3일자로 출원된 미국 특허 출원 제11/367,749호, "Multi-Functional Hand-Held Device". 이 출원들 모두는 그 전체가 본 명세서에 참고로 포함된다.

터치 스크린(112)은, 선택적으로, 100 dpi를 초과하는 비디오 해상도를 갖는다. 일부 실시예들에서, 터치 스크린은 대략 160 dpi의 비디오 해상도를 갖는다. 사용자는, 선택적으로, 스타일러스, 손가락 등과 같은 임의의 적합한 물체 또는 부속물을 사용하여 터치 스크린(112)과 접촉한다. 일부 실시예들에서, 사용자 인터페이스는 주로 손가락 기반 접촉들 및 제스처들을 이용하여 동작하도록 설계되는데, 이는 터치 스크린 상에서의 손가락의 더 넓은 접촉 면적으로 인해 스타일러스 기반 입력보다 덜 정밀할 수 있다. 일부 실시예들에서, 디바이스는 대략적인 손가락 기반 입력을 사용자가 원하는 액션(action)들을 수행하기 위한 정밀한 포인터/커서 위치 또는 커맨드로 변환한다.

일부 실시예들에서, 터치 스크린에 더하여, 디바이스(100)는 선택적으로, 특정 기능들을 활성화 또는 비활성화시키기 위한 터치패드를 포함한다. 일부 실시예들에서, 터치패드는, 터치 스크린과는 달리, 시각적 출력을 디스플레이하지 않는 디바이스의 터치 감응형 영역이다. 터치패드는, 선택적으로, 터치 스크린(112)과는 별개인 터치 감응형 표면 또는 터치 스크린에 의해 형성된 터치 감응형 표면의 연장부이다.

디바이스(100)는 또한 다양한 컴포넌트들에 전력을 공급하기 위한 전력 시스템(162)을 포함한다. 전력 시스템(162)은, 선택적으로, 전력 관리 시스템, 하나 이상의 전원(예컨대, 배터리, 교류 전류(alternating current, AC)), 재충전 시스템, 전력 고장 검출 회로, 전력 변환기 또는 인버터, 전력 상태 표시자(예컨대, 발광 다이오드(LED)), 및 휴대용 디바이스들 내에서의 전력의 생성, 관리 및 분배와 연관된 임의의 다른 컴포넌트들을 포함한다.

디바이스(100)는 또한 선택적으로 하나 이상의 광 센서(164)를 포함한다. 도 1a는 I/O 서브시스템(106) 내의 광 센서 제어기(158)에 커플링된 광 센서를 도시한다. 광 센서(164)는 선택적으로 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 포토트랜지스터들을 포함한다. 광 센서(164)는 하나 이상의 렌즈들을 통해 투영되는, 주변환경으로부터의 광을 수신하고, 그 광을 이미지를 표현하는 데이터로 변환한다. 이미징 모듈(143)(카메라 모듈로도 지칭됨)과 함께, 광 센서(164)는 선택적으로, 정지 이미지들 또는 비디오를 캡처한다. 일부 실시예들에서, 광 센서는 디바이스 전면 상의 터치 스크린 디스플레이(112)의 반대편인 디바이스(100)의 배면 상에 위치되어, 터치 스크린 디스플레이가 정지 및/또는 비디오 이미지 획득을 위한 뷰파인더로서 사용될 수 있게 한다. 일부 실시예들에서, 광 센서는 디바이스의 전면 상에 위치됨으로써, 사용자가 터치 스크린 디스플레이 상에서 다른 화상 회의 참가자들을 보는 동안, 선택적으로, 사용자의 이미지가 화상 회의를 위해 얻어진다. 일부 실시예들에서, 광 센서(164)의 위치는 (예를 들어, 디바이스 하우징 내의 렌즈 및 센서를 회전시킴으로써) 사용자에 의해 변경될 수 있어, 단일 광 센서(164)가 터치 스크린 디스플레이와 함께 화상 회의와 정지 및/또는 비디오 이미지 획득 둘 모두에 사용되게 한다.

디바이스(100)는 또한, 선택적으로, 하나 이상의 깊이 카메라 센서들(175)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 깊이 카메라 제어기(169)에 커플링된 깊이 카메라 센서를 도시한다. 깊이 카메라 센서(175)는 시점(예컨대, 깊이 카메라 센서)으로부터 장면 내의 물체(예컨대, 얼굴)의 3차원 모델을 생성하기 위해 주변환경으로부터 데이터를 수신한다. 일부 실시예들에서, 이미징 모듈(143)(카메라 모듈로 또한 지칭됨)과 함께, 깊이 카메라 센서(175)는 선택적으로, 이미징 모듈(143)에 의해 캡처된 이미지의 상이한 부분들의 깊이 지도를 결정하는 데 사용된다. 일부 실시예들에서, 깊이 카메라 센서는 디바이스(100)의 전면 상에 위치되어, 사용자가 터치 스크린 디스플레이 상에서 다른 화상 회의 참가자들을 보는 동안 그리고 깊이 지도 데이터를 이용하여 셀피(selfie)들을 캡처하도록, 선택적으로 깊이 정보를 갖는 사용자의 이미지가 화상 회의를 위해 획득되게 한다. 일부 실시예들에서, 깊이 카메라 센서(175)는 디바이스의 배면 상에, 또는 디바이스(100)의 배면 및 전면 상에 위치된다. 일부 실시예들에서, 깊이 카메라 센서(175)의 위치는 (예컨대, 디바이스 하우징 내의 렌즈 및 센서를 회전시킴으로써) 사용자에 의해 변경될 수 있어, 깊이 카메라 센서(175)가 터치 스크린 디스플레이와 함께 화상 회의와 정지 및/또는 비디오 이미지 획득 둘 모두에 사용되게 한다.

일부 실시예들에서, 깊이 맵(예를 들어, 깊이 맵 이미지)은 시점(예를 들어, 카메라, 광 센서, 깊이 카메라 센서)으로부터의 장면 내의 객체들의 거리에 관련된 정보(예를 들어, 값들)를 포함한다. 깊이 맵의 일 실시예에서, 각각의 깊이 픽셀은, 그의 대응하는 2차원 픽셀이 위치되는 지점의 Z-축 내의 위치를 정의한다. 일부 실시예들에서, 깊이 맵은 픽셀들로 구성되며, 여기서 각각의 픽셀은 값(예를 들어, 0 내지 255)에 의해 정의된다. 예를 들어, "0" 값은 "3차원" 장면에서 가장 먼 위치에 위치된 픽셀들을 표현하고, "255" 값은 "3차원" 장면 내의 시점(예컨대, 카메라, 광 센서, 깊이 카메라 센서)에 가장 가깝게 위치된 픽셀들을 표현한다. 다른 실시예들에서, 깊이 맵은 장면 내의 객체와 시점의 평면 사이의 거리를 표현한다. 일부 실시예들에서, 깊이 맵은 깊이 카메라의 관점에서 관심있는 객체의 다양한 특징부들의 상대적인 깊이(예를 들어, 사용자의 얼굴의 눈들, 코, 입, 귀들의 상대적인 깊이)에 관한 정보를 포함한다. 일부 실시예들에서, 깊이 맵은 디바이스가 z 방향으로 관심있는 객체의 윤곽들을 결정할 수 있게 하는 정보를 포함한다.

디바이스(100)는, 또한, 선택적으로, 하나 이상의 접촉 세기 센서들(165)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 세기 센서 제어기(159)에 커플링된 접촉 세기 센서를 도시한다. 접촉 세기 센서(165)는, 선택적으로, 하나 이상의 압전 저항 스트레인 게이지, 용량성 힘 센서, 전기적 힘 센서, 압전 힘 센서, 광학적 힘 센서, 용량성 터치 감응형 표면, 또는 다른 세기 센서들(예컨대, 터치 감응형 표면 상에서의 접촉의 힘(또는 압력)을 측정하는 데 사용되는 센서들)을 포함한다. 접촉 세기 센서(165)는 주변환경으로부터 접촉 세기 정보(예컨대, 압력 정보 또는 압력 정보에 대한 대용물)를 수신한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서는 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 시스템(112))과 함께 위치(collocate)되거나 그에 근접한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서는 디바이스(100)의 전면 상에 위치된 터치 스크린 디스플레이(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.

디바이스(100)는 또한 선택적으로 하나 이상의 근접 센서(166)를 포함한다. 도 1a는 주변기기 인터페이스(118)에 커플링된 근접 센서(166)를 도시한다. 대안으로, 근접 센서(166)는, 선택적으로, I/O 서브시스템(106) 내의 입력 제어기(160)에 커플링된다. 근접 센서(166)는, 선택적으로, 미국 특허 출원들 제11/241,839호, "Proximity Detector In Handheld Device"; 제11/240,788호, "Proximity Detector In Handheld Device"; 제11/620,702호, "Using Ambient Light Sensor To Augment Proximity Sensor Output"; 제11/586,862호, "Automated Response To And Sensing Of User Activity In Portable Devices"; 및 제11/638,251호, "Methods And Systems For Automatic Configuration Of Peripherals"에 기술된 바와 같이 수행되며, 이들은 그 전체가 본 명세서에 참고로 포함된다. 일부 실시예들에서, 근접 센서는 다기능 디바이스가 사용자의 귀 근처에 위치될 때(예컨대, 사용자가 전화 통화를 하고 있을 때) 터치 스크린(112)을 끄고 디스에이블(disable)시킨다.

디바이스(100)는, 또한, 선택적으로, 하나 이상의 촉각적 출력 생성기들(167)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 햅틱 피드백 제어기(161)에 커플링된 촉각적 출력 생성기를 도시한다. 촉각적 출력 생성기(167)는, 선택적으로, 스피커들 또는 다른 오디오 컴포넌트들과 같은 하나 이상의 전자음향 디바이스들 및/또는 모터, 솔레노이드, 전기활성 중합체, 압전 액추에이터, 정전 액추에이터, 또는 다른 촉각적 출력 생성 컴포넌트(예컨대, 전기 신호들을 디바이스 상의 촉각적 출력들로 변환하는 컴포넌트)와 같은, 에너지를 선형 모션(linear motion)으로 변환하는 전자기계 디바이스들을 포함한다. 접촉 세기 센서(165)는 햅틱 피드백 모듈(133)로부터 촉각적 피드백 생성 명령어들을 수신하여 디바이스(100)의 사용자에 의해 감지될 수 있는 디바이스(100) 상의 촉각적 출력들을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기는 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 시스템(112))과 함께 위치되거나 그에 근접하며, 선택적으로, 터치 감응형 표면을 수직으로(예컨대, 디바이스(100)의 표면 내/외로) 또는 측방향으로(예컨대, 디바이스(100)의 표면과 동일한 평면에서 전후로) 이동시킴으로써 촉각적 출력을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기 센서는 디바이스(100)의 전면 상에 위치된 터치 스크린 디스플레이(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.

디바이스(100)는 또한 선택적으로 하나 이상의 가속도계(168)를 포함한다. 도 1a는 주변기기 인터페이스(118)에 커플링된 가속도계(168)를 도시한다. 대안으로, 가속도계(168)는 선택적으로 I/O 서브시스템(106) 내의 입력 제어기(160)에 커플링된다. 가속도계(168)는, 선택적으로, 미국 특허 공개 공보 제20050190059호, "Acceleration-based Theft Detection System for Portable Electronic Devices" 및 미국 특허 공개 공보 제20060017692호, "Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer"에 기술된 바와 같이 수행되며, 이들 양측 모두는 그들 전체가 참고로 본 명세서에 포함된다. 일부 실시예들에서, 하나 이상의 가속도계들로부터 수신된 데이터의 분석에 기초하여 터치 스크린 디스플레이 상에 세로보기(portrait view) 또는 가로보기(landscape view)로 정보가 디스플레이된다. 디바이스(100)는 선택적으로, 가속도계(들)(168)에 더하여, 자력계, 및 디바이스(100)의 위치 및 배향(예컨대, 세로 또는 가로)에 관한 정보를 획득하기 위한 GPS(또는 GLONASS 또는 다른 글로벌 내비게이션 시스템) 수신기를 포함한다.

일부 실시예들에서, 메모리(102)에 저장된 소프트웨어 컴포넌트들은 운영 체제(126), 통신 모듈(또는 명령어들의 세트)(128), 접촉/모션 모듈(또는 명령어들의 세트)(130), 그래픽 모듈(또는 명령어들의 세트)(132), 텍스트 입력 모듈(또는 명령어들의 세트)(134), GPS 모듈(또는 명령어들의 세트)(135), 및 애플리케이션들(또는 명령어들의 세트들)(136)을 포함한다. 게다가, 일부 실시예들에서, 메모리(도 1a의 102 또는 도 3의 370)는 도 1a 및 도 3에 도시된 바와 같이 디바이스/글로벌 내부 상태(157)를 저장한다. 디바이스/글로벌 내부 상태(157)는, 존재하는 경우, 어느 애플리케이션들이 현재 활성 상태인지를 나타내는 활성 애플리케이션 상태; 어떤 애플리케이션들, 뷰들 또는 다른 정보가 터치 스크린 디스플레이(112)의 다양한 영역들을 점유하는지를 나타내는 디스플레이 상태; 디바이스의 다양한 센서들 및 입력 제어 디바이스들(116)로부터 획득된 정보를 포함하는 센서 상태; 및 디바이스의 위치 및/또는 자세에 관한 위치 정보 중 하나 이상을 포함한다.

운영 체제(126)(예컨대, Darwin, RTXC, LINUX, UNIX, OS X, iOS, WINDOWS, 또는 VxWorks와 같은 임베디드 운영 체제)는 일반적인 시스템 태스크들(예컨대, 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어 및 관리하기 위한 다양한 소프트웨어 컴포넌트들 및/또는 드라이버들을 포함하고, 다양한 하드웨어와 소프트웨어 컴포넌트들 사이의 통신을 용이하게 한다.

통신 모듈(128)은 하나 이상의 외부 포트(124)를 통한 다른 디바이스들과의 통신을 가능하게 하고, 또한 RF 회로부(108) 및/또는 외부 포트(124)에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 외부 포트(124)(예컨대, USB, 파이어와이어(FIREWIRE) 등)는 다른 디바이스들에 직접적으로 또는 네트워크(예컨대, 인터넷, 무선 LAN 등)를 통해 간접적으로 커플링하도록 구성된다. 일부 실시예들에서, 외부 포트는 아이팟®(애플 인크.의 상표) 디바이스들에서 사용되는 30-핀 커넥터와 동일하거나 유사하고/하거나 이와 호환가능한 멀티-핀(예컨대, 30-핀) 커넥터이다.

접촉/모션 모듈(130)은, 선택적으로, (디스플레이 제어기(156)와 함께) 터치 스크린(112), 및 다른 터치 감응형 디바이스들(예컨대, 터치패드 또는 물리적 클릭 휠)과의 접촉을 검출한다. 접촉/모션 모듈(130)은 접촉이 발생했는지의 여부를 결정하는 것(예컨대, 손가락-다운 이벤트(finger-down event)를 검출하는 것), 접촉의 세기(예컨대, 접촉의 힘 또는 압력, 또는 접촉의 힘 또는 압력에 대한 대체물)를 결정하는 것, 접촉의 이동이 있는지의 여부를 결정하여 터치 감응형 표면을 가로지르는 이동을 추적하는 것(예컨대, 하나 이상의 손가락-드래깅 이벤트(finger-dragging event)들을 검출하는 것), 및 접촉이 중지되었는지의 여부를 결정하는 것(예컨대, 손가락-업 이벤트(finger-up event) 또는 접촉 중단을 검출하는 것)과 같은, 접촉의 검출과 관련된 다양한 동작들을 수행하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 접촉/모션 모듈(130)은 터치 감응형 표면으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터에 의해 표현되는 접촉 지점의 이동을 결정하는 것은, 선택적으로, 접촉 지점의 속력(크기), 속도(크기 및 방향), 및/또는 가속도(크기 및/또는 방향의 변화)를 결정하는 것을 포함한다. 이 동작들은, 선택적으로, 단일 접촉들(예컨대, 한 손가락 접촉들)에 또는 다수의 동시 접촉들(예컨대, "멀티터치"/다수의 손가락 접촉들)에 적용된다. 일부 실시예들에서, 접촉/모션 모듈(130) 및 디스플레이 제어기(156)는 터치패드 상의 접촉을 검출한다.

일부 실시예들에서, 접촉/모션 모듈(130)은 동작이 사용자에 의해 수행되었는지 여부를 결정하는 데 (예컨대, 사용자가 아이콘에 대해 "클릭"했는지 여부를 결정하는 데) 하나 이상의 세기 임계치들의 세트를 이용한다. 일부 실시예들에서, 적어도 세기 임계치들의 서브세트가 소프트웨어 파라미터들에 따라 결정된다(예컨대, 세기 임계치들은 특정 물리적 액추에이터들의 활성화 임계치들에 의해 결정되지 않으며, 디바이스(100)의 물리적 하드웨어를 변경함이 없이 조정될 수 있다). 예를 들어, 트랙패드 또는 터치 스크린 디스플레이의 마우스 "클릭" 임계치는 트랙패드 또는 터치 스크린 디스플레이 하드웨어를 변경함이 없이 넓은 범위의 미리정의된 임계 값들 중 임의의 것으로 설정될 수 있다. 추가로, 일부 구현예들에서, 디바이스의 사용자는 (예컨대, 개별 세기 임계치들을 조정함으로써 그리고/또는 복수의 세기 임계치들을 시스템 레벨 클릭 "세기" 파라미터로 한꺼번에 조정함으로써) 일정 세트의 세기 임계치들 중 하나 이상을 조정하기 위한 소프트웨어 설정들을 제공받는다.

접촉/모션 모듈(130)은, 선택적으로, 사용자에 의한 제스처 입력을 검출한다. 터치 감응형 표면 상에서의 상이한 제스처들은 상이한 접촉 패턴들(예컨대, 검출된 접촉들의 상이한 모션들, 타이밍들, 및/또는 세기들)을 갖는다. 따라서, 제스처는, 선택적으로, 특정 접촉 패턴을 검출함으로써 검출된다. 예를 들어, 손가락 탭 제스처(finger tap gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 손가락-다운 이벤트와 동일한 위치(또는 실질적으로 동일한 위치)에서(예컨대, 아이콘의 위치에서) 손가락-업(리프트오프(liftoff)) 이벤트를 검출하는 것을 포함한다. 다른 예로서, 터치 감응형 표면 상에서 손가락 스와이프 제스처(finger swipe gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 하나 이상의 손가락-드래깅 이벤트들을 검출하고, 그에 후속하여 손가락-업(리프트오프) 이벤트를 검출하는 것을 포함한다.

그래픽 모듈(132)은, 디스플레이되는 그래픽의 시각적 효과(예컨대, 밝기, 투명도, 채도, 콘트라스트 또는 다른 시각적 속성)를 변경하기 위한 컴포넌트들을 포함하는, 터치 스크린(112) 또는 다른 디스플레이 상에서 그래픽을 렌더링 및 디스플레이하기 위한 다양한 공지된 소프트웨어 컴포넌트들을 포함한다. 본 명세서에서 사용되는 바와 같이, 용어 "그래픽"은 텍스트, 웹 페이지들, 아이콘들(예컨대, 소프트 키들을 포함하는 사용자 인터페이스 객체들), 디지털 이미지들, 비디오들, 애니메이션들 등을 제한 없이 포함하는, 사용자에게 디스플레이될 수 있는 임의의 객체를 포함한다.

일부 실시예들에서, 그래픽 모듈(132)은 사용될 그래픽을 표현하는 데이터를 저장한다. 각각의 그래픽에는, 선택적으로, 대응하는 코드가 할당된다. 그래픽 모듈(132)은, 필요한 경우, 좌표 데이터 및 다른 그래픽 속성 데이터와 함께, 디스플레이될 그래픽을 특정하는 하나 이상의 코드들을 애플리케이션들 등으로부터 수신하며, 이어서 스크린 이미지 데이터를 생성하여 디스플레이 제어기(156)에 출력한다.

햅틱 피드백 모듈(133)은 디바이스(100)와의 사용자 상호작용들에 응답하여 디바이스(100) 상의 하나 이상의 위치들에서 촉각적 출력들을 생성하기 위하여 촉각적 출력 생성기(들)(167)에 의해 이용되는 명령어들을 생성하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다.

선택적으로 그래픽 모듈(132)의 컴포넌트인 텍스트 입력 모듈(134)은 다양한 애플리케이션들(예컨대, 연락처(137), 이메일(140), IM(141), 브라우저(147), 및 텍스트 입력을 필요로 하는 임의의 다른 애플리케이션)에 텍스트를 입력하기 위한 소프트 키보드들을 제공한다.

GPS 모듈(135)은 디바이스의 위치를 결정하고, 이 정보를 다양한 애플리케이션들에서의 사용을 위해 (예컨대, 위치 기반 다이얼링에서 사용하기 위해 전화(138)에; 사진/비디오 메타데이터로서 카메라(143)에; 그리고 날씨 위젯들, 지역 옐로 페이지 위젯들 및 지도/내비게이션 위젯들과 같은 위치 기반 서비스들을 제공하는 애플리케이션들에) 제공한다.

애플리케이션들(136)은, 선택적으로, 다음의 모듈들(또는 명령어들의 세트들), 또는 이들의 서브세트 또는 수퍼세트(superset)를 포함한다:

연락처 모듈(137)(때때로 주소록 또는 연락처 목록으로 지칭됨);

전화 모듈(138);

화상 회의 모듈(139);

이메일 클라이언트 모듈(140);

인스턴트 메시징(IM) 모듈(141);

운동 지원 모듈(142);

정지 및/또는 비디오 이미지들을 위한 카메라 모듈(143);

이미지 관리 모듈(144);

비디오 재생기 모듈;

음악 재생기 모듈;

브라우저 모듈(147);

캘린더 모듈(148);

날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 사전 위젯(149-5), 및 사용자에 의해 얻어지는 다른 위젯들뿐 아니라 사용자-생성 위젯들(149-6) 중 하나 이상을 선택적으로 포함하는 위젯 모듈들(149);

사용자-생성 위젯들(149-6)을 만들기 위한 위젯 생성기 모듈(150);

검색 모듈(151);

비디오 재생기 모듈 및 음악 재생기 모듈을 통합하는 비디오 및 음악 재생기 모듈(152);

메모 모듈(153);

지도 모듈(154); 및/또는

온라인 비디오 모듈(155).

선택적으로 메모리(102) 내에 저장되는 다른 애플리케이션들(136)의 예들은 다른 워드 프로세싱 애플리케이션들, 다른 이미지 편집 애플리케이션들, 드로잉 애플리케이션들, 프레젠테이션 애플리케이션들, JAVA-인에이블형(enabled) 애플리케이션들, 암호화, 디지털 저작권 관리, 음성 인식 및 음성 복제를 포함한다.

터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 연락처 모듈(137)은, 선택적으로, 주소록 또는 연락처 목록(예컨대, 메모리(102) 또는 메모리(370) 내의 연락처 모듈(137)의 애플리케이션 내부 상태(192)에 저장됨)을 관리하는 데 사용되며, 이는 하기를 포함한다: 이름(들)을 주소록에 추가하는 것; 주소록으로부터 이름(들)을 삭제하는 것; 전화번호(들), 이메일 주소(들), 물리적 주소(들) 또는 다른 정보를 이름과 연관시키는 것; 이미지를 이름과 연관시키는 것; 이름들을 분류 및 정렬하는 것; 전화(138), 화상 회의 모듈(139), 이메일(140) 또는 IM(141)에 의한 통신을 개시하고/하거나 용이하게 하기 위해 전화번호들 또는 이메일 주소들을 제공하는 것 등.

RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 함께, 전화 모듈(138)은, 선택적으로, 전화번호에 대응하는 문자들의 시퀀스를 입력하고, 연락처 모듈(137) 내의 하나 이상의 전화번호에 액세스하고, 입력된 전화번호를 수정하고, 개별 전화번호를 다이얼링하고, 대화를 하고, 대화가 완료된 때 접속해제하거나 끊는 데 사용된다. 전술된 바와 같이, 무선 통신은 선택적으로 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 사용한다.

RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 제어기(156), 광 센서(164), 광 센서 제어기(158), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 연락처 모듈(137) 및 전화 모듈(138)과 함께, 화상 회의 모듈(139)은 사용자 지시들에 따라 사용자와 한 명 이상의 다른 참가자들 사이의 화상 회의를 개시, 시행 및 종료하도록 하는 실행가능 명령어들을 포함한다.

RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 이메일 클라이언트 모듈(140)은 사용자 지시들에 응답하여 이메일을 작성, 송신, 수신, 및 관리하도록 하는 실행가능 명령어들을 포함한다. 이미지 관리 모듈(144)과 함께, 이메일 클라이언트 모듈(140)은 카메라 모듈(143)로 촬영된 정지 또는 비디오 이미지들을 갖는 이메일을 생성 및 전송하는 것을 매우 용이하게 한다.

RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 인스턴트 메시징 모듈(141)은, 인스턴트 메시지에 대응하는 문자들의 시퀀스를 입력하고, 이전에 입력된 문자들을 수정하고, (예를 들어, 전화 기반 인스턴트 메시지들을 위한 단문자 메시지 서비스(Short Message Service, SMS) 또는 멀티미디어 메시지 서비스(Multimedia Message Service, MMS) 프로토콜을 이용하거나, 인터넷 기반 인스턴트 메시지들을 위한 XMPP, SIMPLE 또는 IMPS를 이용하여) 개개의 인스턴트 메시지를 송신하고, 인스턴트 메시지들을 수신하고, 수신된 인스턴트 메시지들을 보도록 하는 실행가능 명령어들을 포함한다. 일부 실시예들에서, 송신 및/또는 수신된 인스턴트 메시지들은 선택적으로 그래픽, 사진, 오디오 파일, 비디오 파일 및/또는 MMS 및/또는 EMS(Enhanced Messaging Service)에서 지원되는 바와 같은 다른 첨부물들을 포함한다. 본 명세서에서 사용되는 바와 같이, "인스턴트 메시징"은 전화 기반 메시지들(예컨대, SMS 또는 MMS를 이용하여 전송되는 메시지들) 및 인터넷 기반 메시지들(예컨대, XMPP, SIMPLE 또는 IMPS를 이용하여 전송되는 메시지들) 둘 모두를 지칭한다.

RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 지도 모듈(154), 및 음악 재생기 모듈과 함께, 운동 지원 모듈(142)은, (예컨대, 시간, 거리, 및/또는 열량 소비 목표와 함께) 운동들을 안출하고; 운동 센서들(스포츠 디바이스들)과 통신하고; 운동 센서 데이터를 수신하고; 운동을 모니터링하는 데 사용되는 센서들을 교정하고; 운동을 위한 음악을 선택 및 재생하고; 운동 데이터를 디스플레이, 저장 및 송신하도록 하는 실행가능 명령어들을 포함한다.

터치 스크린(112), 디스플레이 제어기(156), 광 센서(들)(164), 광 센서 제어기(158), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 이미지 관리 모듈(144)과 함께, 카메라 모듈(143)은, 정지 이미지들 또는 비디오(비디오 스트림을 포함함)를 캡처하고 이들을 메모리(102) 내에 저장하거나, 정지 이미지 또는 비디오의 특성을 수정하거나, 메모리(102)로부터 정지 이미지 또는 비디오를 삭제하도록 하는 실행가능 명령어들을 포함한다.

터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 카메라 모듈(143)과 함께, 이미지 관리 모듈(144)은 정지 및/또는 비디오 이미지들을 배열하거나, 수정(예컨대, 편집)하거나, 또는 그렇지 않으면 조작하고, 라벨링하고, 삭제하고, (예컨대, 디지털 슬라이드 쇼 또는 앨범에) 제시하고, 저장하도록 하는 실행가능 명령어들을 포함한다.

RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 브라우저 모듈(147)은, 웹 페이지들 또는 이들의 부분들뿐만 아니라 웹 페이지들에 링크된 첨부물들 및 다른 파일들을 검색하고, 그들에 링크하고, 수신하고, 그리고 디스플레이하는 것을 비롯한, 사용자 지시들에 따라 인터넷을 브라우징하도록 하는 실행가능 명령어들을 포함한다.

RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140), 및 브라우저 모듈(147)과 함께, 캘린더 모듈(148)은 사용자 지시들에 따라 캘린더들 및 캘린더들과 연관된 데이터(예컨대, 캘린더 엔트리들, 할 일 목록들 등)를 생성, 디스플레이, 수정, 및 저장하도록 하는 실행가능 명령어들을 포함한다.

RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 모듈들(149)은 사용자에 의해 선택적으로 다운로드 및 사용되거나(예컨대, 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4) 및 사전 위젯(149-5)), 또는 사용자에 의해 생성되는(예컨대, 사용자-생성 위젯(149-6)) 미니-애플리케이션들이다. 일부 실시예들에서, 위젯은 HTML(Hypertext Markup Language) 파일, CSS(Cascading Style Sheets) 파일 및 자바스크립트(JavaScript) 파일을 포함한다. 일부 실시예들에서, 위젯은 XML(Extensible Markup Language) 파일 및 자바스크립트 파일(예컨대, 야후(Yahoo)! 위젯들)을 포함한다.

RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 생성기 모듈(150)은 선택적으로 사용자에 의해 위젯들을 생성(예컨대, 웹 페이지의 사용자 특정 부분을 위젯으로 변경)하는 데 사용된다.

터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 검색 모듈(151)은 사용자 지시들에 따라 하나 이상의 검색 기준들(예컨대, 하나 이상의 사용자-특정 검색어들)에 매칭되는 메모리(102) 내의 텍스트, 음악, 사운드, 이미지, 비디오, 및/또는 다른 파일들을 검색하도록 하는 실행가능 명령어들을 포함한다.

터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 오디오 회로부(110), 스피커(111), RF 회로부(108) 및 브라우저 모듈(147)과 함께, 비디오 및 음악 재생기 모듈(152)은, 사용자가 MP3 또는 AAC 파일들과 같은 하나 이상의 파일 포맷들로 저장된 기록된 음악 및 다른 사운드 파일들을 다운로드 및 재생할 수 있도록 하는 실행가능 명령어들, 및 비디오들을 (예컨대, 터치 스크린(112) 상에서 또는 외부 포트(124)를 통해 외부의 접속된 디스플레이 상에서) 디스플레이하도록, 상영하도록, 또는 다른 방식으로 재생하도록 하는 실행가능 명령어들을 포함한다. 일부 실시예들에서, 디바이스(100)는 선택적으로 아이팟(애플 인크.의 상표)과 같은 MP3 재생기의 기능을 포함한다.

터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 메모 모듈(153)은 사용자 지시들에 따라 메모들, 할 일 목록들 등을 생성 및 관리하도록 하는 실행가능 명령어들을 포함한다.

RF 회로부(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 및 브라우저 모듈(147)과 함께, 지도 모듈(154)은 선택적으로 사용자 지시들에 따라 지도들 및 지도들과 연관된 데이터(예컨대, 운전 길 안내; 특정한 위치에 또는 그 인근의 상점들 및 다른 관심 지점들에 관한 데이터; 및 다른 위치-기반 데이터)를 수신하고, 디스플레이하고, 수정하고, 저장하는 데 사용된다.

터치 스크린(112), 디스플레이 제어기(156), 접촉/모션 모듈(130), 그래픽 모듈(132), 오디오 회로부(110), 스피커(111), RF 회로부(108), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140) 및 브라우저 모듈(147)과 함께, 온라인 비디오 모듈(155)은 사용자가 H.264와 같은 하나 이상의 파일 포맷의 온라인 비디오들에 액세스하고, 그들을 브라우징하고, (예컨대, 스트리밍 및/또는 다운로드에 의해) 수신하고, (예컨대, 터치 스크린 상에서 또는 외부 포트(124)를 통해 외부의 접속된 디스플레이 상에서) 재생하고, 특정한 온라인 비디오로의 링크와 함께 이메일을 전송하고, 그렇지 않으면 관리하게 하는 명령어들을 포함한다. 일부 실시예들에서, 이메일 클라이언트 모듈(140)보다는 오히려 인스턴트 메시징 모듈(141)이 특정 온라인 비디오로의 링크를 전송하는 데 사용된다. 온라인 비디오 애플리케이션에 대한 추가적 설명은, 2007년 6월 20일자로 출원된 미국 가특허 출원 제60/936,562호, "Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos" 및 2007년 12월 31일자로 출원된 미국 특허 출원 제11/968,067호, "Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos"에서 찾아볼 수 있으며, 이들의 내용은 이로써 그 전체가 본 명세서에 참고로 포함된다.

앞서 식별된 모듈들 및 애플리케이션들 각각은 상술한 하나 이상의 기능들 및 본 출원에 기술되는 방법들(예컨대, 본 명세서에 기술되는 컴퓨터 구현 방법들 및 다른 정보 프로세싱 방법들)을 수행하기 위한 실행가능 명령어들의 세트에 대응한다. 이들 모듈(예를 들어, 명령어들의 세트들)은 (컴퓨터 프로그램들(예를 들어, 명령어들을 포함함)과 같은) 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 이들 모듈의 다양한 서브세트들이 선택적으로 다양한 실시예들에서 조합되거나 그렇지 않으면 재배열된다. 예컨대, 비디오 재생기 모듈은 선택적으로, 음악 재생기 모듈과 함께 단일 모듈(예컨대, 도 1a의 비디오 및 음악 재생기 모듈(152)) 내에 조합된다. 일부 실시예들에서, 메모리(102)는 선택적으로, 앞서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 또한, 메모리(102)는 선택적으로, 위에서 설명되지 않은 추가의 모듈들 및 데이터 구조들을 저장한다.

일부 실시예들에서, 디바이스(100)는 디바이스 상의 미리정의된 세트의 기능들의 동작이 터치 스크린 및/또는 터치패드를 통해 전용으로 수행되는 디바이스이다. 터치 스크린 및/또는 터치패드를 디바이스(100)의 동작을 위한 주 입력 제어 디바이스로서 사용함으로써, 디바이스(100) 상의 (푸시 버튼들, 다이얼들 등과 같은) 물리적 입력 제어 디바이스들의 수가 선택적으로 감소된다.

전적으로 터치 스크린 및/또는 터치패드를 통해 수행되는 미리정의된 세트의 기능들은, 선택적으로, 사용자 인터페이스들 간의 내비게이션을 포함한다. 일부 실시예들에서, 터치패드는, 사용자에 의해 터치될 때, 디바이스(100)를 디바이스(100) 상에 디스플레이되는 임의의 사용자 인터페이스로부터 메인, 홈 또는 루트 메뉴로 내비게이팅한다. 이러한 실시예들에서, "메뉴 버튼"이 터치패드를 이용하여 구현된다. 일부 다른 실시예들에서, 메뉴 버튼은 터치패드 대신에 물리적 푸시 버튼 또는 다른 물리적 입력 제어 디바이스이다.

도 1b는 일부 실시예들에 따른, 이벤트 처리를 위한 예시적인 컴포넌트들을 예시하는 블록도이다. 일부 실시예들에서, 메모리(도 1a의 102 또는 도 3의 370)는 (예컨대, 운영 체제(126)에서의) 이벤트 분류기(170) 및 각각의 애플리케이션(136-1)(예컨대, 전술된 애플리케이션들(137 내지 151, 155, 380 내지 390) 중 임의의 것)을 포함한다.

이벤트 분류기(170)는 이벤트 정보를 수신하고, 이벤트 정보를 전달할 애플리케이션(136-1), 및 애플리케이션(136-1)의 애플리케이션 뷰(191)를 결정한다. 이벤트 분류기(170)는 이벤트 모니터(171) 및 이벤트 디스패처 모듈(event dispatcher module)(174)을 포함한다. 일부 실시예들에서, 애플리케이션(136-1)은 애플리케이션이 활성이거나 실행 중일 때 터치 감응형 디스플레이(112) 상에 디스플레이되는 현재 애플리케이션 뷰(들)를 나타내는 애플리케이션 내부 상태(192)를 포함한다. 일부 실시예들에서, 디바이스/글로벌 내부 상태(157)는 이벤트 분류기(170)에 의해 어느 애플리케이션(들)이 현재 활성인지 결정하는 데 이용되며, 애플리케이션 내부 상태(192)는 이벤트 분류기(170)에 의해 이벤트 정보를 전달할 애플리케이션 뷰들(191)을 결정하는 데 이용된다.

일부 실시예들에서, 애플리케이션 내부 상태(192)는 애플리케이션(136-1)이 실행을 재개할 때 이용될 재개 정보, 애플리케이션(136-1)에 의해 디스플레이되고 있거나 디스플레이될 준비가 된 정보를 나타내는 사용자 인터페이스 상태 정보, 사용자가 애플리케이션(136-1)의 이전 상태 또는 뷰로 되돌아가는 것을 가능하게 하기 위한 상태 큐(queue), 및 사용자에 의해 취해진 이전 액션들의 재실행(redo)/실행취소(undo) 큐 중 하나 이상과 같은 추가 정보를 포함한다.

이벤트 모니터(171)는 주변기기 인터페이스(118)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브이벤트(예를 들어, 다중 터치 제스처의 일부로서 터치 감응형 디스플레이(112) 상에서의 사용자 터치)에 대한 정보를 포함한다. 주변기기 인터페이스(118)는 I/O 서브시스템(106) 또는 센서, 예컨대, 근접 센서(166), 가속도계(들)(168), 및/또는 (오디오 회로부(110)를 통한) 마이크로폰(113)으로부터 수신하는 정보를 송신한다. 주변기기 인터페이스(118)가 I/O 서브시스템(106)으로부터 수신하는 정보는 터치 감응형 디스플레이(112) 또는 터치 감응형 표면으로부터의 정보를 포함한다.

일부 실시예들에서, 이벤트 모니터(171)는 요청들을 미리결정된 간격으로 주변기기 인터페이스(118)에 전송한다. 이에 응답하여, 주변기기 인터페이스(118)는 이벤트 정보를 송신한다. 다른 실시예들에서, 주변기기 인터페이스(118)는 중요한 이벤트(예컨대, 미리결정된 잡음 임계치를 초과하는 입력 및/또는 미리결정된 지속기간 초과 동안의 입력을 수신하는 것)가 있을 때에만 이벤트 정보를 송신한다.

일부 실시예들에서, 이벤트 분류기(170)는 또한 히트 뷰(hit view) 결정 모듈(172) 및/또는 활성 이벤트 인식기 결정 모듈(173)을 포함한다.

히트 뷰 결정 모듈(172)은 터치 감응형 디스플레이(112)가 하나 초과의 뷰를 디스플레이할 때 하나 이상의 뷰들 내에서 서브이벤트가 발생한 곳을 결정하기 위한 소프트웨어 절차들을 제공한다. 뷰들은 사용자가 디스플레이 상에서 볼 수 있는 제어부들 및 다른 요소들로 구성된다.

애플리케이션과 연관된 사용자 인터페이스의 다른 태양은 본 명세서에서 때때로 애플리케이션 뷰들 또는 사용자 인터페이스 창(user interface window)들로 지칭되는 한 세트의 뷰들인데, 여기서 정보가 디스플레이되고 터치 기반 제스처가 발생한다. 터치가 검출되는 (각각의 애플리케이션의) 애플리케이션 뷰들은 선택적으로 애플리케이션의 프로그램 또는 뷰 계층구조 내의 프로그램 레벨들에 대응한다. 예를 들어, 터치가 검출되는 최하위 레벨의 뷰는 선택적으로 히트 뷰로 지칭되고, 적절한 입력들로서 인식되는 이벤트들의 세트는, 선택적으로, 터치 기반 제스처를 시작하는 초기 터치의 히트 뷰에 적어도 부분적으로 기초하여 결정된다.

히트 뷰 결정 모듈(172)은 터치 기반 제스처의 서브이벤트들과 관련된 정보를 수신한다. 애플리케이션이 계층구조에서 조직화된 다수의 뷰들을 갖는 경우, 히트 뷰 결정 모듈(172)은 히트 뷰를, 서브이벤트를 처리해야 하는 계층구조 내의 최하위 뷰로서 식별한다. 대부분의 상황들에서, 히트 뷰는 개시되는 서브이벤트(예컨대, 이벤트 또는 잠재적 이벤트를 형성하는 서브이벤트들의 시퀀스에서의 제1 서브이벤트)가 발생하는 최하위 레벨 뷰이다. 일단 히트 뷰가 히트 뷰 결정 모듈(172)에 의해 식별되면, 히트 뷰는 전형적으로 그것이 히트 뷰로서 식별되게 한 것과 동일한 터치 또는 입력 소스와 관련된 모든 서브이벤트들을 수신한다.

활성 이벤트 인식기 결정 모듈(173)은 뷰 계층구조 내에서 어느 뷰 또는 뷰들이 서브이벤트들의 특정 시퀀스를 수신해야 하는지를 결정한다. 일부 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 히트 뷰만이 서브이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 서브이벤트의 물리적 위치를 포함하는 모든 뷰들이 적극 참여 뷰(actively involved view)들인 것으로 결정하고, 그에 따라 모든 적극 참여 뷰들이 서브이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 터치 서브이벤트들이 전적으로 하나의 특정 뷰와 연관된 영역으로 한정되었더라도, 계층구조 내의 상위 뷰들은 여전히 적극 참여 뷰들로서 유지될 것이다.

이벤트 디스패처 모듈(174)은 이벤트 정보를 이벤트 인식기(예컨대, 이벤트 인식기(180))에 디스패치한다. 활성 이벤트 인식기 결정 모듈(173)을 포함하는 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 정보를 활성 이벤트 인식기 결정 모듈(173)에 의해 결정된 이벤트 인식기에 전달한다. 일부 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 큐 내에 이벤트 정보를 저장하는데, 이벤트 정보는 각각의 이벤트 수신기(182)에 의해 인출된다.

일부 실시예들에서, 운영 체제(126)는 이벤트 분류기(170)를 포함한다. 대안으로, 애플리케이션(136-1)은 이벤트 분류기(170)를 포함한다. 또 다른 실시예들에서, 이벤트 분류기(170)는 독립형 모듈이거나, 또는 접촉/모션 모듈(130)과 같이 메모리(102)에 저장되는 다른 모듈의 일부이다.

일부 실시예들에서, 애플리케이션(136-1)은 복수의 이벤트 핸들러들(190) 및 하나 이상의 애플리케이션 뷰들(191)을 포함하며, 이들의 각각은 애플리케이션의 사용자 인터페이스의 각각의 뷰 내에 발생하는 터치 이벤트들을 처리하기 위한 명령어들을 포함한다. 애플리케이션(136-1)의 각각의 애플리케이션 뷰(191)는 하나 이상의 이벤트 인식기들(180)을 포함한다. 전형적으로, 각각의 애플리케이션 뷰(191)는 복수의 이벤트 인식기들(180)을 포함한다. 다른 실시예들에서, 이벤트 인식기들(180) 중 하나 이상은 사용자 인터페이스 키트 또는 애플리케이션(136-1)이 방법들 및 다른 속성들을 물려받는 상위 레벨 객체와 같은 별개의 모듈의 일부이다. 일부 실시예들에서, 각각의 이벤트 핸들러(190)는 데이터 업데이터(176), 객체 업데이터(177), GUI 업데이터(178), 및/또는 이벤트 분류기(170)로부터 수신된 이벤트 데이터(179) 중 하나 이상을 포함한다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176), 객체 업데이터(177) 또는 GUI 업데이터(178)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 대안으로, 애플리케이션 뷰들(191) 중 하나 이상은 하나 이상의 각각의 이벤트 핸들러(190)를 포함한다. 또한, 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178) 중 하나 이상은 각각의 애플리케이션 뷰(191) 내에 포함된다.

각각의 이벤트 인식기(180)는 이벤트 분류기(170)로부터 이벤트 정보(예컨대, 이벤트 데이터(179))를 수신하고 그 이벤트 정보로부터 이벤트를 식별한다. 이벤트 인식기(180)는 이벤트 수신기(182) 및 이벤트 비교기(184)를 포함한다. 일부 실시예들에서, 이벤트 인식기(180)는 또한 적어도 메타데이터(183) 및 이벤트 전달 명령어들(188)(선택적으로 서브이벤트 전달 명령어들을 포함함)의 서브세트를 포함한다.

이벤트 수신기(182)는 이벤트 분류기(170)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브이벤트, 예를 들어 터치 또는 터치 이동에 관한 정보를 포함한다. 서브이벤트에 따라서, 이벤트 정보는 또한 서브이벤트의 위치와 같은 추가 정보를 포함한다. 서브이벤트가 터치의 모션과 관련되는 경우, 이벤트 정보는 또한 선택적으로 서브이벤트의 속력 및 방향을 포함한다. 일부 실시예들에서, 이벤트들은 하나의 배향으로부터 다른 배향으로(예컨대, 세로 배향으로부터 가로 배향으로, 또는 그 반대로)의 디바이스의 회전을 포함하며, 이벤트 정보는 디바이스의 현재 배향(디바이스 자세로도 지칭됨)에 관한 대응하는 정보를 포함한다.

이벤트 비교기(184)는 이벤트 정보를 미리정의된 이벤트 또는 서브이벤트 정의들과 비교하고, 그 비교에 기초하여, 이벤트 또는 서브이벤트를 결정하거나, 이벤트 또는 서브이벤트의 상태를 결정 또는 업데이트한다. 일부 실시예들에서, 이벤트 비교기(184)는 이벤트 정의들(186)을 포함한다. 이벤트 정의들(186)은 이벤트들(예컨대, 서브이벤트들의 미리정의된 시퀀스들), 예를 들어 이벤트 1(187-1), 이벤트 2(187-2) 등의 정의들을 포함한다. 일부 실시예들에서, 이벤트(187) 내의 서브이벤트들은, 예를 들어, 터치 시작, 터치 종료, 터치 이동, 터치 취소, 및 다중 터치를 포함한다. 일례에서, 이벤트 1(187-1)에 대한 정의는 디스플레이된 객체 상에서의 더블 탭이다. 더블 탭은, 예를 들어, 미리결정된 페이즈(phase) 동안의 디스플레이된 객체 상의 제1 터치(터치 시작), 미리결정된 페이즈 동안의 제1 리프트오프(터치 종료), 미리결정된 페이즈 동안의 디스플레이된 객체 상의 제2 터치(터치 시작), 및 미리결정된 페이즈 동안의 제2 리프트오프(터치 종료)를 포함한다. 다른 예에서, 이벤트 2(187-2)에 대한 정의는 디스플레이된 객체 상에서의 드래깅이다. 드래깅은, 예를 들어, 미리결정된 페이즈 동안의 디스플레이된 객체 상의 터치(또는 접촉), 터치 감응형 디스플레이(112)를 가로지르는 터치의 이동, 및 터치의 리프트오프(터치 종료)를 포함한다. 일부 실시예들에서, 이벤트는 또한 하나 이상의 연관된 이벤트 핸들러들(190)에 대한 정보를 포함한다.

일부 실시예들에서, 이벤트 정의(187)는 각각의 사용자 인터페이스 객체에 대한 이벤트의 정의를 포함한다. 일부 실시예들에서, 이벤트 비교기(184)는 어느 사용자 인터페이스 객체가 서브이벤트와 연관되는지 결정하도록 히트 테스트(hit test)를 수행한다. 예를 들어, 3개의 사용자 인터페이스 객체들이 터치 감응형 디스플레이(112) 상에 디스플레이된 애플리케이션 뷰에서, 터치 감응형 디스플레이(112) 상에서 터치가 검출되는 경우, 이벤트 비교기(184)는 3개의 사용자 인터페이스 객체들 중 어느 것이 터치(서브이벤트)와 연관되어 있는지를 결정하도록 히트 테스트를 수행한다. 각각의 디스플레이된 객체가 각각의 이벤트 핸들러(190)와 연관되는 경우, 이벤트 비교기는 어느 이벤트 핸들러(190)가 활성화되어야 하는지 결정하는 데 히트 테스트의 결과를 이용한다. 예를 들어, 이벤트 비교기(184)는 히트 테스트를 트리거하는 객체 및 서브이벤트와 연관된 이벤트 핸들러를 선택한다.

일부 실시예들에서, 각각의 이벤트(187)에 대한 정의는 또한 서브이벤트들의 시퀀스가 이벤트 인식기의 이벤트 유형에 대응하는지 대응하지 않는지 여부가 결정된 후까지 이벤트 정보의 전달을 지연하는 지연된 액션들을 포함한다.

각각의 이벤트 인식기(180)가, 일련의 서브이벤트들이 이벤트 정의들(186) 내의 이벤트들 중 어떠한 것과도 매칭되지 않는 것으로 결정하는 경우, 각각의 이벤트 인식기(180)는 이벤트 불가능, 이벤트 실패, 또는 이벤트 종료 상태에 진입하고, 그 후 각각의 이벤트 인식기는 터치 기반 제스처의 후속 서브이벤트들을 무시한다. 이러한 상황에서, 만일 있다면, 히트 뷰에 대해 활성 상태로 유지되는 다른 이벤트 인식기들이 진행 중인 터치 기반 제스처의 서브이벤트들을 계속해서 추적 및 프로세싱한다.

일부 실시예들에서, 각각의 이벤트 인식기(180)는 이벤트 전달 시스템이 어떻게 적극 참여 이벤트 인식기들에 대한 서브이벤트 전달을 수행해야 하는지를 나타내는 구성가능한 속성들, 플래그(flag)들, 및/또는 목록들을 갖는 메타데이터(183)를 포함한다. 일부 실시예들에서, 메타데이터(183)는 이벤트 인식기들이 어떻게 서로 상호작용하는지, 또는 상호작용하게 되는지를 나타내는 구성가능한 속성들, 플래그들, 및/또는 목록들을 포함한다. 일부 실시예들에서, 메타데이터(183)는, 서브이벤트들이 뷰 또는 프로그램 계층구조에서의 다양한 레벨들에 전달되는지 여부를 나타내는 구성가능한 속성들, 플래그들, 및/또는 목록들을 포함한다.

일부 실시예들에서, 각각의 이벤트 인식기(180)는 이벤트의 하나 이상의 특정 서브이벤트들이 인식될 때 이벤트와 연관된 이벤트 핸들러(190)를 활성화한다. 일부 실시예들에서, 각각의 이벤트 인식기(180)는 이벤트와 연관된 이벤트 정보를 이벤트 핸들러(190)에 전달한다. 이벤트 핸들러(190)를 활성화시키는 것은 각각의 히트 뷰에 서브이벤트들을 전송(및 지연 전송)하는 것과는 별개이다. 일부 실시예들에서, 이벤트 인식기(180)는 인식된 이벤트와 연관된 플래그를 보내고, 그 플래그와 연관된 이벤트 핸들러(190)는 그 플래그를 캐치하고 미리정의된 프로세스를 수행한다.

일부 실시예들에서, 이벤트 전달 명령어들(188)은 이벤트 핸들러를 활성화하지 않으면서 서브이벤트에 관한 이벤트 정보를 전달하는 서브이벤트 전달 명령어들을 포함한다. 대신에, 서브이벤트 전달 명령어들은 일련의 서브이벤트들과 연관된 이벤트 핸들러들에 또는 적극 참여 뷰들에 이벤트 정보를 전달한다. 일련의 서브이벤트들 또는 적극 참여 뷰들과 연관된 이벤트 핸들러들은 이벤트 정보를 수신하고 미리결정된 프로세스를 수행한다.

일부 실시예들에서, 데이터 업데이터(176)는 애플리케이션(136-1)에서 이용되는 데이터를 생성 및 업데이트한다. 예를 들어, 데이터 업데이터(176)는 연락처 모듈(137)에서 이용되는 전화 번호를 업데이트하거나, 비디오 재생기 모듈에서 이용되는 비디오 파일을 저장한다. 일부 실시예들에서, 객체 업데이터(177)는 애플리케이션(136-1)에서 이용되는 객체들을 생성 및 업데이트한다. 예를 들어, 객체 업데이터(177)는 새로운 사용자 인터페이스 객체를 생성하거나, 또는 사용자 인터페이스 객체의 위치를 업데이트한다. GUI 업데이터(178)는 GUI를 업데이트한다. 예를 들어, GUI 업데이터(178)는 터치 감응형 디스플레이 상의 디스플레이를 위해 디스플레이 정보를 준비하고 이를 그래픽 모듈(132)에 전송한다.

일부 실시예들에서, 이벤트 핸들러(들)(190)는 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)를 포함하거나 이들에 액세스한다. 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)는 각각의 애플리케이션(136-1) 또는 애플리케이션 뷰(191)의 단일 모듈 내에 포함된다. 다른 실시예들에서, 이들은 둘 이상의 소프트웨어 모듈들 내에 포함된다.

터치 감응형 디스플레이 상의 사용자 터치들의 이벤트 처리에 관하여 전술한 논의는 또한 입력 디바이스들을 갖는 다기능 디바이스들(100)을 동작시키기 위한 다른 형태들의 사용자 입력들에도 적용되지만, 그 모두가 터치 스크린들 상에서 개시되는 것이 아니라는 것을 이해해야 한다. 예를 들어, 단일 또는 다수의 키보드 누르기 또는 유지(hold)와 선택적으로 조화된 마우스 이동 및 마우스 버튼 누르기; 터치패드 상에서의, 탭, 드래그, 스크롤 등과 같은 접촉 이동들; 펜 스타일러스 입력들; 디바이스의 이동; 구두 명령어들; 검출된 눈 이동들; 생체측정 입력들; 및/또는 이들의 임의의 조합은, 인식될 이벤트를 정의하는 서브이벤트들에 대응하는 입력들로서 선택적으로 이용된다.

도 2는 일부 실시예들에 따른, 터치 스크린(112)을 갖는 휴대용 다기능 디바이스(100)를 도시한다. 터치 스크린은, 선택적으로, 사용자 인터페이스(UI)(200) 내에서 하나 이상의 그래픽들을 디스플레이한다. 이러한 실시예는 물론 하기에 기술되는 다른 실시예들에서, 사용자는, 예를 들어, 하나 이상의 손가락들(202)(도면에서 축척대로 도시되지 않음) 또는 하나 이상의 스타일러스들(203)(도면에서 축척대로 도시되지 않음)을 이용하여 그래픽 상에 제스처를 행함으로써 그래픽들 중 하나 이상을 선택하는 것이 가능하게 된다. 일부 실시예들에서, 하나 이상의 그래픽의 선택은 사용자가 하나 이상의 그래픽과의 접촉을 중단할 때 발생한다. 일부 실시예들에서, 제스처는 선택적으로 디바이스(100)와 접촉한 손가락의 하나 이상의 탭들, (좌측에서 우측으로의, 우측에서 좌측으로의, 상측으로의 그리고/또는 하측으로의) 하나 이상의 스와이프들, 및/또는 (우측에서 좌측으로의, 좌측에서 우측으로의, 상측으로의 그리고/또는 하측으로의) 롤링을 포함한다. 일부 구현예들 또는 상황들에서, 그래픽과 부주의하여 접촉되면 그 그래픽은 선택되지 않는다. 예를 들면, 선택에 대응하는 제스처가 탭일 때, 애플리케이션 아이콘 위를 스윕(sweep)하는 스와이프 제스처는 선택적으로, 대응하는 애플리케이션을 선택하지 않는다.

디바이스(100)는 또한 선택적으로 "홈" 또는 메뉴 버튼(204)과 같은 하나 이상의 물리적 버튼을 포함한다. 전술된 바와 같이, 메뉴 버튼(204)은 선택적으로, 디바이스(100) 상에서 선택적으로 실행되는 애플리케이션들의 세트 내의 임의의 애플리케이션(136)으로 내비게이팅하는 데 사용된다. 대안적으로, 일부 실시예들에서, 메뉴 버튼은 터치 스크린(112) 상에 디스플레이된 GUI에서 소프트 키로서 구현된다.

일부 실시예들에서, 디바이스(100)는 터치 스크린(112), 메뉴 버튼(204), 디바이스의 전원을 온/오프하고 디바이스를 잠그기 위한 푸시 버튼(206), 음량 조절 버튼(들)(208), 가입자 식별 모듈(SIM) 카드 슬롯(210), 헤드셋 잭(212), 및 도킹/충전 외부 포트(124)를 포함한다. 푸시 버튼(206)은, 선택적으로, 버튼을 누르고 버튼을 미리정의된 시간 간격 동안 누른 상태로 유지함으로써 디바이스의 전원을 온/오프시키고/시키거나; 버튼을 누르고 미리정의된 시간 간격이 경과하기 전에 버튼을 누름해제함으로써 디바이스를 잠그고/잠그거나; 디바이스를 잠금해제하거나 잠금해제 프로세스를 개시하는 데 사용된다. 대안적인 실시예에서, 디바이스(100)는 또한 마이크로폰(113)을 통해 일부 기능들의 활성화 또는 비활성화를 위한 구두 입력을 수용한다. 디바이스(100)는 또한, 선택적으로, 터치 스크린(112) 상에서의 접촉들의 세기를 검출하기 위한 하나 이상의 접촉 세기 센서들(165) 및/또는 디바이스(100)의 사용자를 위해 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기들(167)을 포함한다.

도 3은 일부 실시예들에 따른, 디스플레이 및 터치 감응형 표면을 갖는 예시적인 다기능 디바이스의 블록도이다. 디바이스(300)가 휴대용일 필요는 없다. 일부 실시예들에서, 디바이스(300)는, 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 멀티미디어 재생기 디바이스, 내비게이션 디바이스, (어린이 학습 장난감과 같은) 교육용 디바이스, 게이밍 시스템, 또는 제어 디바이스(예컨대, 가정용 또는 산업용 제어기)이다. 디바이스(300)는 전형적으로 하나 이상의 프로세싱 유닛(CPU)들(310), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(360), 메모리(370), 및 이들 컴포넌트를 상호접속하기 위한 하나 이상의 통신 버스들(320)을 포함한다. 통신 버스들(320)은 선택적으로 시스템 컴포넌트들을 상호접속하고 이들 사이의 통신을 제어하는 회로부(때때로 칩셋이라고 지칭됨)를 포함한다. 디바이스(300)는 전형적으로 터치 스크린 디스플레이인 디스플레이(340)를 포함하는 입/출력(I/O) 인터페이스(330)를 포함한다. I/O 인터페이스(330)는 또한, 선택적으로, 키보드 및/또는 마우스(또는 다른 포인팅 디바이스)(350) 및 터치패드(355), 디바이스(300) 상에 촉각적 출력들을 생성하기 위한 촉각적 출력 생성기(357)(예컨대, 도 1a를 참조하여 전술된 촉각적 출력 생성기(들)(167)와 유사함), 및 센서들(359)(예컨대, 광 센서, 가속도 센서, 근접 센서, 터치 감응형 센서, 및/또는 도 1a를 참조하여 전술된 접촉 세기 센서(들)(165)와 유사한 접촉 세기 센서)을 포함한다. 메모리(370)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함하며; 선택적으로 하나 이상의 자기 디스크 저장 디바이스, 광 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스와 같은 비휘발성 메모리를 포함한다. 메모리(370)는 선택적으로 CPU(들)(310)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 일부 실시예들에서, 메모리(370)는 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)에 저장된 프로그램들, 모듈들, 및 데이터 구조들과 유사한 프로그램들, 모듈들, 및 데이터 구조들, 또는 이들의 서브세트를 저장한다. 또한, 메모리(370)는, 선택적으로, 휴대용 다기능 디바이스(100)의 메모리(102) 내에 존재하지 않는 추가의 프로그램들, 모듈들 및 데이터 구조들을 저장한다. 예를 들어, 디바이스(300)의 메모리(370)는, 선택적으로, 드로잉 모듈(380), 프레젠테이션 모듈(382), 워드 프로세싱 모듈(384), 웹사이트 제작 모듈(386), 디스크 저작 모듈(388), 및/또는 스프레드시트 모듈(390)을 저장하는 반면, 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)는, 선택적으로, 이러한 모듈들을 저장하지 않는다.

도 3에서의 앞서 식별된 요소들 각각은, 선택적으로, 전술된 메모리 디바이스들 중 하나 이상에 저장된다. 앞서 식별된 모듈들 각각은 상술한 기능을 수행하기 위한 명령어들의 세트에 대응한다. 위에서 식별된 모듈들 또는 컴퓨터 프로그램들(예를 들어, 명령어들의 세트들 또는 명령어들을 포함함)은 (컴퓨터 프로그램들(예를 들어, 명령어들을 포함함)과 같은) 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 다양한 실시예들에서 이들 모듈의 다양한 서브세트들이 선택적으로 조합되거나 그렇지 않으면 재배열된다. 일부 실시예들에서, 메모리(370)는 선택적으로, 앞서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 또한, 메모리(370)는 선택적으로, 위에서 설명되지 않은 추가의 모듈들 및 데이터 구조들을 저장한다.

이제, 예를 들어, 휴대용 다기능 디바이스(100) 상에서 선택적으로 구현되는 사용자 인터페이스들의 실시예들에 주목한다.

도 4a는 일부 실시예들에 따른, 휴대용 다기능 디바이스(100) 상의 애플리케이션들의 메뉴에 대한 예시적인 사용자 인터페이스를 예시한다. 유사한 사용자 인터페이스들이 선택적으로 디바이스(300) 상에 구현된다. 일부 실시예들에서, 사용자 인터페이스(400)는 하기의 요소들, 또는 그들의 서브세트나 수퍼세트를 포함한다:

셀룰러 및 Wi-Fi 신호들과 같은 무선 통신(들)을 위한 신호 세기 표시자(들)(402);

시간(404);

블루투스 표시자(405);

배터리 상태 표시자(406);

다음과 같은, 빈번하게 사용되는 애플리케이션들에 대한 아이콘들을 갖는 트레이(408):

o 부재 중 전화들 또는 음성메일 메시지들의 개수의 표시자(414)를 선택적으로 포함하는 "전화"라고 라벨링된 전화 모듈(138)에 대한 아이콘(416);

o 읽지 않은 이메일들의 개수의 표시자(410)를 선택적으로 포함하는 "메일"이라고 라벨링된 이메일 클라이언트 모듈(140)에 대한 아이콘(418);

o "브라우저"라고 라벨링된 브라우저 모듈(147)에 대한 아이콘(420);및

o 아이팟(애플 인크.의 상표) 모듈(152)로도 지칭되는, "아이팟"이라고 라벨링된 비디오 및 음악 재생기 모듈(152)에 대한 아이콘(422);및

다음과 같은, 다른 애플리케이션들에 대한 아이콘들:

o "메시지"라고 라벨링된 IM 모듈(141)에 대한 아이콘(424);

o "캘린더"라고 라벨링된 캘린더 모듈(148)에 대한 아이콘(426);

o "사진"이라고 라벨링된 이미지 관리 모듈(144)에 대한 아이콘(428);

o "카메라"라고 라벨링된 카메라 모듈(143)에 대한 아이콘(430);

o "온라인 비디오"라고 라벨링된 온라인 비디오 모듈(155)에 대한 아이콘(432);

o "주식"이라고 라벨링된 주식 위젯(149-2)에 대한 아이콘(434);

o "지도"라고 라벨링된 지도 모듈(154)에 대한 아이콘(436);

o "날씨"라고 라벨링된 날씨 위젯(149-1)에 대한 아이콘(438);

o "시계"라고 라벨링된 알람 시계 위젯(149-4)에 대한 아이콘(440);

o "운동 지원"이라고 라벨링된 운동 지원 모듈(142)에 대한 아이콘(442);

o "메모"라고 라벨링된 메모 모듈(153)에 대한 아이콘(444);및

o 디바이스(100) 및 그의 다양한 애플리케이션들(136)에 대한 설정으로의 액세스를 제공하는, "설정"이라고 라벨링된, 설정 애플리케이션 또는 모듈에 대한 아이콘(446).

도 4a에 예시된 아이콘 라벨들은 단지 예시일 뿐이라는 것에 주목해야 한다. 예를 들면, 비디오 및 음악 재생기 모듈(152)에 대한 아이콘(422)은 "음악" 또는 "음악 재생기"라고 라벨링된다. 기타 라벨들이 선택적으로 다양한 애플리케이션 아이콘들에 대해 사용된다. 일부 실시예들에서, 각각의 애플리케이션 아이콘에 대한 라벨은 각각의 애플리케이션 아이콘에 대응하는 애플리케이션의 이름을 포함한다. 일부 실시예들에서, 특정 애플리케이션 아이콘에 대한 라벨은 특정 애플리케이션 아이콘에 대응하는 애플리케이션의 이름과는 별개이다.

도 4b는 디스플레이(450)(예컨대, 터치 스크린 디스플레이(112))와는 별개인 터치 감응형 표면(451)(예컨대, 도 3의 태블릿 또는 터치패드(355))을 갖는 디바이스(예컨대, 도 3의 디바이스(300)) 상의 예시적인 사용자 인터페이스를 도시한다. 디바이스(300)는 또한, 선택적으로, 터치 감응형 표면(451) 상에서의 접촉들의 세기를 검출하기 위한 하나 이상의 접촉 세기 센서들(예컨대, 센서들(359) 중 하나 이상) 및/또는 디바이스(300)의 사용자에 대한 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기들(357)을 포함한다.

후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가 조합된) 터치 스크린 디스플레이(112) 상의 입력들을 참조하여 제공될 것이지만, 일부 실시예들에서, 디바이스는 도 4b에 도시된 바와 같이 디스플레이와 별개인 터치 감응형 표면 상에서 입력들을 검출한다. 일부 실시예들에서, 터치 감응형 표면(예컨대, 도 4b의 451)은 디스플레이(예컨대, 450) 상의 주축(예컨대, 도 4b의 453)에 대응하는 주축(예컨대, 도 4b의 452)을 갖는다. 이 실시예들에 따르면, 디바이스는 디스플레이 상의 각각의 위치들에 대응하는 위치들(예컨대, 도 4b에서, 460은 468에 대응하고, 462는 470에 대응함)에서 터치 감응형 표면(451)과의 접촉들(예컨대, 도 4b의 460 및 462)을 검출한다. 이러한 방식으로, 터치 감응형 표면(예컨대, 도 4b의 451) 상에서 디바이스에 의해 검출된 사용자 입력들(예컨대, 접촉들(460, 462) 및 그 이동들)은 터치 감응형 표면이 디스플레이와는 별개일 때 디바이스에 의해 다기능 디바이스의 디스플레이(예컨대, 도 4b의 450) 상의 사용자 인터페이스를 조작하는 데 사용된다. 유사한 방법들이, 선택적으로, 본 명세서에 기술된 다른 사용자 인터페이스들에 이용된다는 것이 이해되어야 한다.

추가적으로, 하기의 예들이 손가락 입력들(예컨대, 손가락 접촉들, 손가락 탭 제스처들, 손가락 스와이프 제스처들)을 주로 참조하여 주어지는 반면, 일부 실시예들에서, 손가락 입력들 중 하나 이상은 다른 입력 디바이스로부터의 입력(예컨대, 마우스 기반 입력 또는 스타일러스 입력)으로 대체된다는 것이 이해되어야 한다. 예컨대, 스와이프 제스처는, 선택적으로, 마우스 클릭(예컨대, 접촉 대신) 및 뒤이은 스와이프의 경로를 따른 커서의 이동(예컨대, 접촉의 이동 대신)으로 대체된다. 다른 예로서, (예컨대, 접촉의 검출에 이어 접촉을 검출하는 것을 중지하는 것 대신에) 커서가 탭 제스처의 위치 위에 위치되어 있는 동안에 탭 제스처가 선택적으로 마우스 클릭으로 대체된다. 유사하게, 다수의 사용자 입력이 동시에 검출되는 경우, 다수의 컴퓨터 마우스가 선택적으로 동시에 사용되거나, 또는 마우스와 손가락 접촉들이 선택적으로 동시에 사용되는 것으로 이해하여야 한다.

도 5a는 예시적인 개인용 전자 디바이스(500)를 도시한다. 디바이스(500)는 몸체(502)를 포함한다. 일부 실시예들에서, 디바이스(500)는 디바이스들(100, 300)(예컨대, 도 1a 내지 도 4b)에 관련하여 기술된 특징들의 일부 또는 전부를 포함할 수 있다. 일부 실시예들에서, 디바이스(500)는 터치 감응형 디스플레이 스크린(504)(이하, 터치 스크린(504))을 갖는다. 터치 스크린(504)에 대해 대안으로 또는 추가로, 디바이스(500)는 디스플레이 및 터치 감응형 표면을 갖는다. 디바이스들(100, 300)과 같이, 일부 실시예들에서, 터치 스크린(504)(또는 터치 감응형 표면)은, 선택적으로, 가해지는 접촉들(예컨대, 터치들)의 세기를 검출하기 위한 하나 이상의 세기 센서를 포함한다. 터치 스크린(504)(또는 터치 감응형 표면)의 하나 이상의 세기 센서들은 터치들의 세기를 표현하는 출력 데이터를 제공할 수 있다. 디바이스(500)의 사용자 인터페이스는 터치들의 세기에 기초하여 터치들에 응답할 수 있는데, 이는 상이한 세기들의 터치들이 디바이스(500) 상의 상이한 사용자 인터페이스 동작들을 호출할 수 있다는 것을 의미한다.

터치 세기를 검출하고 프로세싱하기 위한 예시적인 기법들은, 예를 들어, 관련 출원들: 2013년 5월 8일자로 출원되고 발명의 명칭이 "Device, Method, and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application"인 국제 특허 출원 PCT/US2013/040061호(WIPO 공개 번호 WO/2013/169849호로서 공개됨), 및 2013년 11월 11일자로 출원되고 발명의 명칭이 "Device, Method, and Graphical User Interface for Transitioning Between Touch Input to Display Output Relationships"인 국제 특허 출원 PCT/US2013/069483호(WIPO 공개 번호 WO/2014/105276호로서 공개됨)에서 찾을 수 있으며, 이들 각각은 전체적으로 본 명세서에 참고로 포함된다.

일부 실시예들에서, 디바이스(500)는 하나 이상의 입력 메커니즘들(506, 508)을 갖는다. 입력 메커니즘들(506, 508)(포함되어 있는 경우)은 물리적인 것일 수 있다. 물리적 입력 메커니즘들의 예들은 푸시 버튼들 및 회전가능 메커니즘들을 포함한다. 일부 실시예들에서, 디바이스(500)는 하나 이상의 부착 메커니즘들을 갖는다. 이러한 부착 메커니즘들(포함되어 있는 경우)은 디바이스(500)가, 예를 들어, 모자, 안경, 귀걸이, 목걸이, 셔츠, 재킷, 팔찌, 시계줄, 쇠줄(chain), 바지, 벨트, 신발, 지갑, 배낭 등에 부착될 수 있게 한다. 이 부착 메커니즘들은 디바이스(500)가 사용자에 의해 착용되도록 한다.

도 5b는 예시적인 개인용 전자 디바이스(500)를 도시한다. 일부 실시예들에서, 디바이스(500)는 도 1a, 도 1b, 및 도 3에 관련하여 기술된 컴포넌트들의 일부 또는 전부를 포함할 수 있다. 디바이스(500)는 I/O 섹션(514)을 하나 이상의 컴퓨터 프로세서들(516) 및 메모리(518)와 동작가능하게 커플링시키는 버스(512)를 갖는다. I/O 섹션(514)은 디스플레이(504)에 연결될 수 있는데, 이는 터치 감응형 컴포넌트(522), 및 선택적으로, 세기 센서(524)(예컨대, 접촉 세기 센서)를 가질 수 있다. 또한, I/O 섹션(514)은, Wi-Fi, 블루투스, 근거리 통신(NFC), 셀룰러, 및/또는 다른 무선 통신 기법들을 사용하여, 애플리케이션 및 운영 체제 데이터를 수신하기 위해 통신 유닛(530)과 접속될 수 있다. 디바이스(500)는 입력 메커니즘들(506 및/또는 508)을 포함할 수 있다. 입력 메커니즘(506)은, 선택적으로, 회전가능 입력 디바이스 또는 예를 들어 누름가능 및 회전가능 입력 디바이스이다. 일부 예들에서, 입력 메커니즘(508)은, 선택적으로, 버튼이다.

일부 예들에서, 입력 메커니즘(508)은, 선택적으로, 마이크로폰이다. 개인용 전자 디바이스(500)는, 선택적으로, GPS 센서(532), 가속도계(534), 방향 센서(540)(예컨대, 나침반), 자이로스코프(536), 모션 센서(538), 및/또는 이들의 조합과 같은, 다양한 센서들을 포함하고, 이들 모두는 I/O 섹션(514)에 동작가능하게 접속될 수 있다.

개인용 전자 디바이스(500)의 메모리(518)는, 예를 들어, 하나 이상의 컴퓨터 프로세서들(516)에 의해 실행될 때, 컴퓨터 프로세서들로 하여금, 프로세스들(700, 800, 1000, 1200, 1400, 1500, 1700, 1900(도 7, 도 8, 도 10, 도 12, 도 14, 도 15, 도 17, 도 19))을 비롯한, 후술되는 기법들을 수행하게 할 수 있는, 컴퓨터 실행가능 명령어들을 저장하기 위한 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체들을 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 명령어 실행 시스템, 장치, 또는 디바이스에 의해 또는 그와 관련하여 사용하기 위한 컴퓨터 실행가능 명령어들을 유형적으로(tangibly) 포함하거나 저장할 수 있는 임의의 매체일 수 있다. 일부 예들에서, 저장 매체는 일시적 컴퓨터 판독가능 저장 매체이다. 일부 예들에서, 저장 매체는 비일시적 컴퓨터 판독가능 저장 매체이다. 비일시적 컴퓨터 판독가능 저장 매체는 자기, 광, 및/또는 반도체 저장소들을 포함할 수 있지만, 이들로 제한되지 않는다. 이러한 저장소의 예들은 자기 디스크들, CD, DVD, 또는 블루레이 기술들에 기초한 광 디스크들은 물론, 플래시, 솔리드 스테이트 드라이브들 등과 같은 영속적 솔리드 스테이트 메모리를 포함한다. 개인용 전자 디바이스(500)는 도 5b의 컴포넌트들 및 구성에 한정되지 않고, 다수의 구성들에서 다른 또는 추가적인 컴포넌트들을 포함할 수 있다.

여기서 사용되는 바와 같이, "어포던스"라는 용어는 디바이스들(100, 300, 및/또는 500)(도 1a, 도 3, 및 도 5a 내지 도 5c)의 디스플레이 스크린 상에 선택적으로 디스플레이되는 사용자 상호작용형(user-interactive) 그래픽 사용자 인터페이스 객체를 지칭한다. 예를 들어, 이미지(예컨대, 아이콘), 버튼, 및 텍스트(예컨대, 하이퍼링크) 각각이 선택적으로 어포던스를 구성한다.

본 명세서에 사용되는 바와 같이, "포커스 선택자(focus selector)"라는 용어는 사용자와 상호작용하고 있는 사용자 인터페이스의 현재 부분을 나타내는 입력 요소를 지칭한다. 커서 또는 다른 위치 마커(location marker)를 포함하는 일부 구현예들에서, 커서가 특정 사용자 인터페이스 요소(예컨대, 버튼, 창, 슬라이더 또는 다른 사용자 인터페이스 요소) 위에 있는 동안 터치 감응형 표면(예컨대, 도 3의 터치패드(355) 또는 도 4b의 터치 감응형 표면(451)) 상에서 입력(예컨대, 누르기 입력)이 검출될 때, 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록, 커서는 "포커스 선택자"로서 기능한다. 터치 스크린 디스플레이 상의 사용자 인터페이스 요소들과의 직접적인 상호작용을 인에이블하는 터치 스크린 디스플레이(예컨대, 도 1a의 터치 감응형 디스플레이 시스템(112) 또는 도 4a의 터치 스크린(112))를 포함하는 일부 구현예들에서, 입력(예컨대, 접촉에 의한 누르기 입력)이 특정 사용자 인터페이스 요소(예컨대, 버튼, 창, 슬라이더 또는 다른 사용자 인터페이스 요소)의 위치에 있는 터치 스크린 디스플레이 상에서 검출될 때, 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록, 터치 스크린 상에서 검출된 접촉이 "포커스 선택자"로서 기능한다. 일부 구현예들에서, (예를 들어 포커스를 하나의 버튼으로부터 다른 버튼으로 움직이도록 탭 키 또는 화살표 키를 사용함으로써) 터치 스크린 디스플레이 상의 대응하는 커서의 이동 또는 접촉의 이동 없이 포커스가 사용자 인터페이스의 하나의 영역으로부터 사용자 인터페이스의 다른 영역으로 이동되며; 이러한 구현예들에서, 포커스 선택자는 사용자 인터페이스의 상이한 영역들 사이에서의 포커스의 이동에 따라 움직인다. 포커스 선택자가 갖는 특정 형태와 무관하게, 포커스 선택자는 일반적으로 (예컨대, 사용자가 상호작용하고자 하는 사용자 인터페이스의 요소를 디바이스에 나타내는 것에 의해) 사용자 인터페이스와의 사용자의 의도된 상호작용을 전달하기 위해 사용자에 의해 제어되는 사용자 인터페이스 요소(또는 터치 스크린 디스플레이 상에서의 접촉)이다. 예를 들어, 터치 감응형 표면(예컨대, 터치패드 또는 터치 스크린) 상에서 누르기 입력이 검출되는 동안 각각의 버튼 위의 포커스 선택자(예컨대, 커서, 접촉 또는 선택 박스)의 위치는 (디바이스의 디스플레이 상에 보여지는 다른 사용자 인터페이스 요소들과 달리) 사용자가 각각의 버튼을 활성화시키려고 하고 있다는 것을 나타낼 것이다.

명세서 및 청구범위에서 사용되는 바와 같이, 접촉의 "특성 세기"라는 용어는 접촉의 하나 이상의 세기들에 기초한 접촉의 특성을 지칭한다. 일부 실시예들에서, 특성 세기는 다수의 세기 샘플들에 기초한다. 특성 세기는, 선택적으로, 미리정의된 수의 세기 샘플들, 또는 (예컨대, 접촉을 검출한 이후에, 접촉의 리프트오프를 검출하기 이전에, 접촉의 이동의 시작을 검출하기 이전 또는 이후에, 접촉의 종료를 검출하기 이전에, 접촉의 세기의 증가를 검출하기 이전 또는 이후에, 그리고/또는 접촉의 세기의 감소를 검출하기 이전 또는 이후에) 미리정의된 이벤트에 대해 미리결정된 기간(예컨대, 0.05, 0.1, 0.2, 0.5, 1, 2, 5, 10초) 동안 수집된 세기 샘플들의 세트에 기초한다. 접촉의 특성 세기는, 선택적으로, 접촉의 세기들의 최대 값, 접촉의 세기들의 중간 값(mean value), 접촉의 세기들의 평균 값(average value), 접촉의 세기들의 상위 10 백분위 값(top 10 percentile value), 접촉의 세기들의 최대 값의 절반의 값, 접촉의 세기들의 최대 값의 90 퍼센트의 값 등 중 하나 이상에 기초한다. 일부 실시예들에서, 접촉의 지속기간은 (예컨대, 특성 세기가 시간의 경과에 따른 접촉의 세기의 평균일 때) 특성 세기를 결정하는 데 사용된다. 일부 실시예들에서, 동작이 사용자에 의해 수행되었는지 여부를 결정하기 위해, 특성 세기가 하나 이상의 세기 임계치들의 세트와 비교된다. 예를 들어, 하나 이상의 세기 임계치의 세트는 선택적으로 제1 세기 임계치 및 제2 세기 임계치를 포함한다. 이 예에서, 제1 임계치를 초과하지 않는 특성 세기를 갖는 접촉의 결과, 제1 동작이 행해지고, 제1 세기 임계치를 초과하지만 제2 세기 임계치를 초과하지 않는 특성 세기를 갖는 접촉의 결과, 제2 동작이 행해지며, 제2 임계치 초과의 특성 세기를 갖는 접촉의 결과, 제3 동작이 행해진다. 일부 실시예들에서, 특성 세기와 하나 이상의 임계치 간의 비교는, 제1 동작을 수행할지 제2 동작을 수행할지 결정하기 위해 사용되기보다는, 하나 이상의 동작을 수행할지 여부(예컨대, 각각의 동작을 수행할지 또는 각각의 동작을 수행하는 것을 보류할지 여부)를 결정하기 위해 사용된다.

도 5c는 전자 디바이스들(500A, 500B, 500C) 사이의 통신 세션의 예시적인 다이어그램을 도시한다. 디바이스들(500A, 500B, 500C)은 전자 디바이스(500)와 유사하고, 각각은 하나 이상의 데이터 연결부들(510), 예를 들어 인터넷 연결부, Wi-Fi 연결부, 셀룰러 연결부, 단거리 통신 연결부, 및/또는 임의의 다른 그러한 데이터 연결부 또는 네트워크를 서로 공유하여, 일정 지속시간 동안 각자의 디바이스들 사이의 오디오 및/또는 비디오 데이터의 실시간 통신을 용이하게 한다. 일부 실시예들에서, 예시적인 통신 세션은, 데이터가 전자 디바이스들 중 하나 이상으로부터 다른 전자 디바이스들로 통신되어 전자 디바이스들에서의 각자의 콘텐츠의 동시 출력을 가능하게 하는 공유 데이터 세션을 포함할 수 있다. 일부 실시예들에서, 예시적인 통신 세션은, 디바이스들(500A, 500B, 500C) 사이에서 오디오 및/또는 비디오 데이터가 통신되어서, 각자의 디바이스들의 사용자들이 전자 디바이스들을 사용하여 실시간 통신에 관여할 수 있게 하는 화상 회의 세션을 포함할 수 있다.

도 5c에서, 디바이스(500A)는 사용자 A와 연관된 전자 디바이스를 표현한다. 디바이스(500A)는 사용자 B 및 사용자 C와 각각 연관되는 디바이스들(500B, 500C)과 (데이터 연결부들(510)을 통해) 통신한다. 디바이스(500A)는 통신 세션에 대한 비디오 데이터를 캡처하는 데 사용되는 카메라(501A), 및 통신 세션과 연관된 콘텐츠를 디스플레이하는 데 사용되는 디스플레이(504A)(예컨대, 터치스크린)를 포함한다. 디바이스(500A)는, 또한, 통신 세션에 대한 오디오를 기록하기 위한 마이크로폰(예컨대, 113) 및 통신 세션에 대한 오디오를 출력하기 위한 스피커(예컨대, 111)와 같은 다른 컴포넌트들을 포함한다.

디바이스(500A)는, 디스플레이(504A)를 통해, 디바이스(500B)와 디바이스(500C) 사이의 통신 세션(예컨대, 화상 회의 세션)을 용이하게 하기 위한 사용자 인터페이스인 통신 UI(520A)를 디스플레이한다. 통신 UI(520A)는 비디오 피드(525-1A) 및 비디오 피드(525-2A)를 포함한다. 비디오 피드(525-1A)는, (예컨대, 카메라(501B)를 사용하여) 디바이스(500B)에서 캡처되고 통신 세션 동안 디바이스(500B)로부터 디바이스들(500A, 500C)로 통신되는 비디오 데이터의 표현이다. 비디오 피드(525-2A)는, (예컨대, 카메라(501C)를 사용하여) 디바이스(500C)에서 캡처되고 통신 세션 동안 디바이스(500C)로부터 디바이스들(500A, 500B)로 통신되는 비디오 데이터의 표현이다.

통신 UI(520A)는 카메라(501A)를 통해 디바이스(500A)에서 캡처된 비디오 데이터의 표현인 카메라 미리보기(550A)를 포함한다. 카메라 미리보기(550A)는 각자의 디바이스들(500B, 500C)에 디스플레이되는 사용자 A의 예상 비디오 피드를 사용자 A에게 표현한다.

통신 UI(520A)는 통신 세션의 하나 이상의 태양들을 제어하기 위한 하나 이상의 제어부들(555A)을 포함한다. 예를 들어, 제어부들(555A)은 통신 세션에 대한 오디오를 음소거하기 위한 제어부, 통신 세션에 대한 카메라 뷰를 변경하기 위한(예컨대, 어느 카메라가 통신 세션에 대한 비디오를 캡처하기 위해 사용되는지를 변경하기 위한, 줌 값을 조정하기 위한) 제어부, 통신 세션을 종료하기 위한 제어부, 통신 세션에 대한 카메라 뷰에 시각적 효과들을 적용하기 위한 제어부, 통신 세션과 연관된 하나 이상의 모드들을 활성화하기 위한 제어부를 포함할 수 있다. 일부 실시예들에서, 하나 이상의 제어부들(555A)은, 선택적으로, 통신 UI(520A) 내에 디스플레이된다. 일부 실시예들에서, 하나 이상의 제어부들(555A)은 카메라 미리보기(550A)와는 별개로 디스플레이된다. 일부 실시예들에서, 하나 이상의 제어부들(555A)은 카메라 미리보기(550A)의 적어도 일부분을 오버레이하여 디스플레이된다.

도 5c에서, 디바이스(500B)는 디바이스들(500A, 500C)과 (데이터 연결부들(510)을 통해) 통신하는, 사용자 B와 연관된 전자 디바이스를 표현한다. 디바이스(500B)는 통신 세션에 대한 비디오 데이터를 캡처하는 데 사용되는 카메라(501B), 및 통신 세션과 연관된 콘텐츠를 디스플레이하는 데 사용되는 디스플레이(504B)(예컨대, 터치스크린)를 포함한다. 디바이스(500B)는, 또한, 통신 세션에 대한 오디오를 기록하기 위한 마이크로폰(예컨대, 113) 및 통신 세션에 대한 오디오를 출력하기 위한 스피커(예컨대, 111)와 같은 다른 컴포넌트들을 포함한다.

디바이스(500B)는, 터치스크린(504B)을 통해, 디바이스(500A)의 통신 UI(520A)와 유사한 통신 UI(520B)를 디스플레이한다. 통신 UI(520B)는 비디오 피드(525-1B) 및 비디오 피드(525-2B)를 포함한다. 비디오 피드(525-1B)는, (예컨대, 카메라(501A)를 사용하여) 디바이스(500A)에서 캡처되고 통신 세션 동안 디바이스(500A)로부터 디바이스들(500B, 500C)로 통신되는 비디오 데이터의 표현이다. 비디오 피드(525-2B)는, (예컨대, 카메라(501C)를 사용하여) 디바이스(500C)에서 캡처되고 통신 세션 동안 디바이스(500C)로부터 디바이스들(500A, 500B)로 통신되는 비디오 데이터의 표현이다. 통신 UI(520B)는, 또한, 카메라(501B)를 통해 디바이스(500B)에서 캡처된 비디오 데이터의 표현인 카메라 미리보기(550B), 및 제어부들(555A)과 유사한, 통신 세션의 하나 이상의 태양들을 제어하기 위한 하나 이상의 제어부들(555B)을 포함한다. 카메라 미리보기(550B)는 각자의 디바이스들(500A, 500C)에 디스플레이되는 사용자 B의 예상 비디오 피드를 사용자 B에게 표현한다.

도 5c에서, 디바이스(500C)는 디바이스들(500A, 500B)과 (데이터 연결부들(510)을 통해) 통신하는, 사용자 C와 연관된 전자 디바이스를 표현한다. 디바이스(500C)는 통신 세션에 대한 비디오 데이터를 캡처하는 데 사용되는 카메라(501C), 및 통신 세션과 연관된 콘텐츠를 디스플레이하는 데 사용되는 디스플레이(504C)(예컨대, 터치스크린)를 포함한다. 디바이스(500C)는, 또한, 통신 세션에 대한 오디오를 기록하기 위한 마이크로폰(예컨대, 113) 및 통신 세션에 대한 오디오를 출력하기 위한 스피커(예컨대, 111)와 같은 다른 컴포넌트들을 포함한다.

디바이스(500C)는, 터치스크린(504C)을 통해, 디바이스(500A)의 통신 UI(520A) 및 디바이스(500B)의 통신 UI(520B)와 유사한 통신 UI(520C)를 디스플레이한다. 통신 UI(520C)는 비디오 피드(525-1C) 및 비디오 피드(525-2C)를 포함한다. 비디오 피드(525-1C)는, (예컨대, 카메라(501B)를 사용하여) 디바이스(500B)에서 캡처되고 통신 세션 동안 디바이스(500B)로부터 디바이스들(500A, 500C)로 통신되는 비디오 데이터의 표현이다. 비디오 피드(525-2C)는, (예컨대, 카메라(501A)를 사용하여) 디바이스(500A)에서 캡처되고 통신 세션 동안 디바이스(500A)로부터 디바이스들(500B, 500C)로 통신되는 비디오 데이터의 표현이다. 통신 UI(520C)는, 또한, 카메라(501C)를 통해 디바이스(500C)에서 캡처된 비디오 데이터의 표현인 카메라 미리보기(550C), 및 제어부들(555A, 555B)과 유사한, 통신 세션의 하나 이상의 태양들을 제어하기 위한 하나 이상의 제어부들(555C)을 포함한다. 카메라 미리보기(550C)는 각자의 디바이스들(500A, 500B)에 디스플레이되는 사용자 C의 예상 비디오 피드를 사용자 C에게 표현한다.

도 5c에 도시된 다이어그램은 3개의 전자 디바이스들 사이의 통신 세션을 표현하지만, 통신 세션은 2개 이상의 전자 디바이스들 사이에 확립될 수 있고, 통신 세션에 참가하는 디바이스들의 수는 전자 디바이스들이 통신 세션에 참여하거나 그를 떠남에 따라 변경될 수 있다. 예를 들어, 전자 디바이스들 중 하나가 통신 세션을 떠나는 경우, 통신 세션에 참가하는 것을 중단한 디바이스로부터의 오디오 및 비디오 데이터는 더 이상 참가 디바이스들 상에 표현되지 않는다. 예를 들어, 디바이스(500B)가 통신 세션에 참가하는 것을 중단하는 경우, 디바이스들(500A, 500C) 사이에 데이터 연결부(510)가 없고, 디바이스들(500C, 500B) 사이에 데이터 연결부(510)가 없다. 추가적으로, 디바이스(500A)는 비디오 피드(525-1A)를 포함하지 않고, 디바이스(500C)는 비디오 피드(525-1C)를 포함하지 않는다. 유사하게, 디바이스가 통신 세션에 참여하는 경우, 참가 디바이스와 기존 디바이스들 사이에 연결부가 확립되고, 비디오 및 오디오 데이터가 모든 디바이스들 사이에서 공유되어서, 각각의 디바이스가 다른 디바이스들로부터 통신되는 데이터를 출력할 수 있게 한다.

도 5c에 도시된 실시예는 도 6a 내지 도 6ay, 도 9a 내지 도 9t, 도 11a 내지 도 11p, 도 13a 내지 도 13k, 및 도 16a 내지 도 16q에 도시된 예시적인 통신 세션들을 포함한, 다수의 전자 디바이스들 사이의 통신 세션의 다이어그램을 표현한다. 일부 실시예들에서, 도 6a 내지 도 6ay, 도 9a 내지 도 9t, 도 13a 내지 도 13k, 및 도 16a 내지 도 16q에 도시된 통신 세션은, 통신 세션에 참가하는 다른 전자 디바이스들이 도면들에 도시되지 않는 경우에도, 2개 이상의 전자 디바이스들을 포함한다.

이제, 휴대용 다기능 디바이스(100), 디바이스(300), 또는 디바이스(500)와 같은 전자 디바이스 상에서 구현되는 사용자 인터페이스("UI")들 및 연관된 프로세스들의 실시예들에 주목한다.

도 6a 내지 도 6ay는 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이들 도면들의 사용자 인터페이스들은, 도 7, 도 8 및 도 15의 프로세스들을 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다.

도 6a 내지 도 6ay는 상이한 사용자들(예컨대, 상이한 디바이스들, 상이한 유형들의 디바이스들, 상이한 애플리케이션들이 설치된 디바이스들, 및/또는 상이한 운영 체제 소프트웨어를 갖는 디바이스들로부터의 라이브 비디오 통신 세션에 참가하는 사용자들)의 관점으로부터 라이브 비디오 통신 세션을 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다.

도 6a를 참조하면, 디바이스(600-1)는, 일부 실시예들에서 라이브 비디오 통신 세션의 참가자인 사용자(622)(예컨대, "John")에 대응한다. 디바이스(600-1)는 디스플레이(예컨대, 터치 감응형 디스플레이)(601), 및 시야(620)를 갖는 카메라(602)(예컨대, 전방 대면 카메라)를 포함한다. 일부 실시예들에서, 카메라(602)는 시야(620) 내의 물리적 환경의 이미지 데이터 및/또는 깊이 데이터를 캡처하도록 구성된다. 시야(620)는, 때때로, 본 명세서에서 이용가능한 시야, 전체 시야, 또는 카메라 시야로 지칭된다. 일부 실시예들에서, 카메라(602)는 광각 카메라(예컨대, 광각 렌즈 또는 비교적 짧은 초점 거리 및 넓은 시야를 갖는 렌즈를 포함하는 카메라)이다. 일부 실시예들에서, 디바이스(600-1)는 다수의 카메라들을 포함한다. 따라서, 라이브 비디오 통신 세션 동안 이미지 데이터를 캡처하기 위해 카메라(602)를 사용하는 디바이스(600-1)에 대한 설명이 본 명세서에서 이루어지지만, 디바이스(600-1)는 다수의 카메라들을 사용하여 이미지 데이터를 캡처할 수 있다는 것이 인식될 것이다.

도 6a를 참조하면, 디바이스(600-2)는, 일부 실시예들에서 라이브 비디오 통신 세션의 참가자인 사용자(623)(예컨대, "Jane")에 대응한다. 디바이스(600-2)는 디스플레이(예컨대, 터치 감응형 디스플레이)(683), 및 시야(688)를 갖는 카메라(682)(예컨대, 전방 대면 카메라)를 포함한다. 일부 실시예들에서, 카메라(682)는 시야(688) 내의 물리적 환경의 이미지 데이터 및/또는 깊이 데이터를 캡처하도록 구성된다. 시야(688)는, 때때로, 본 명세서에서 이용가능한 시야, 전체 시야, 또는 카메라 시야로 지칭된다. 일부 실시예들에서, 카메라(682)는 광각 카메라(예컨대, 광각 렌즈 또는 비교적 짧은 초점 거리 및 넓은 시야를 갖는 렌즈를 포함하는 카메라)이다. 일부 실시예들에서, 디바이스(600-2)는 다수의 카메라들을 포함한다. 따라서, 라이브 비디오 통신 세션 동안 이미지 데이터를 캡처하기 위해 카메라(682)를 사용하는 디바이스(600-2)에 대한 설명이 본 명세서에서 이루어지지만, 디바이스(600-2)는 다수의 카메라들을 사용하여 이미지 데이터를 캡처할 수 있다는 것이 인식될 것이다.

도시된 바와 같이, 사용자(622)("John")는 환경(615)에서 책상(621)(및 디바이스(600-1))의 전방에 위치(예컨대, 착석)된다. 일부 예들에서, 사용자(622)는 사용자(622)가 카메라(602)의 시야(620) 내에서 캡처되도록 책상(621)의 전방에 위치된다. 일부 실시예들에서, 사용자(622)에 근접한 하나 이상의 객체들은 객체들이 카메라(602)의 시야(620) 내에서 캡처되도록 위치된다. 일부 실시예들에서, 사용자(622) 및 사용자(622)에 근접한 객체들 둘 모두는 동시에 시야(620) 내에서 캡처된다. 예를 들어, 도시된 바와 같이, 드로잉(618)이 표면(619) 상에 (카메라(602)에 대해) 사용자(622)의 전방에 위치되어서, 사용자(622) 및 드로잉(618) 둘 모두가 카메라(602)의 시야(620)에서 캡처되고 표현(622-1)(디바이스(600-1)에 의해 디스플레이됨) 및 표현(622-2)(디바이스(600-2)에 의해 디스플레이됨) 내에 디스플레이되게 한다.

유사하게, 사용자(623)("Jane")는 환경(685)에서 책상(686)(및 디바이스(600-2))의 전방에 위치(예컨대, 착석)된다. 일부 예들에서, 사용자(623)는 사용자(623)가 카메라(682)의 시야(688) 내에서 캡처되도록 책상(686)의 전방에 위치된다. 도시된 바와 같이, 사용자(623)는 표현(623-1)(디바이스(600-1)에 의해 디스플레이됨) 및 표현(623-2)(디바이스(600-2)에 의해 디스플레이됨) 내에 디스플레이된다.

대체적으로, 동작 동안, 디바이스들(600-1, 600-2)은 이미지 데이터를 캡처하며, 이는, 이어서, 디바이스들(600-1, 600-2) 사이에서 교환되고, 라이브 비디오 통신 세션 동안 콘텐츠의 다양한 표현들을 디스플레이하기 위해 디바이스들(600-1, 600-2)에 의해 사용된다. 디바이스들(600-1, 600-2) 각각이 예시되어 있지만, 설명된 예들은, 주로, 디바이스(600-1) 상에 디스플레이되는 사용자 인터페이스들 및/또는 그에 의해 검출되는 사용자 입력들에 관한 것이다. 일부 예들에서, 전자 디바이스(600-2)는 라이브 비디오 통신 세션 동안 전자 디바이스(600-1)와 유사한 방식으로 동작한다는 것이 이해되어야 한다. 일부 예들에서, 디바이스들(600-1, 600-2)은 아래에서 설명되는 것들과 유사한 사용자 인터페이스들을 디스플레이하고/하거나 유사한 동작들이 수행되게 한다.

아래에서 더 상세히 설명될 바와 같이, 일부 예들에서, 그러한 표현들은 디바이스들(600-1, 600-2)의 카메라들의 시야(본 명세서에서 "시야"로도 지칭됨) 내의 표면들 및/또는 객체들의 개선된 관점을 제공하기 위해 라이브 비디오 통신 세션 동안 수정된 이미지들을 포함한다. 이미지들은, 이미지 회전 및/또는 왜곡 보정(예컨대, 이미지 스큐(skew))을 포함하지만 이에 제한되지 않는 임의의 알려진 이미지 프로세싱 기법을 사용하여 수정될 수 있다. 따라서, 이미지 데이터가 사용자에 대해 특정 위치를 갖는 카메라로부터 캡처될 수 있지만, 표현들은 이미지 데이터를 캡처하는 카메라의 관점과는 상이한 관점으로부터 사용자(및/또는 사용자의 환경 내의 표면들 또는 객체들)를 보여주는 관점을 제공할 수 있다. 도 6a 내지 도 6ay의 실시예들은 카메라(602)에 의해 캡처된 이미지 데이터가 어떻게 (디바이스(600-1) 및/또는 디바이스(600-2)에) 디스플레이되는지를 제어하기 위해 디바이스(600-1)에서 요소들을 디스플레이하고 입력들(손 제스처들을 포함함)을 검출하는 것을 개시한다. 일부 실시예들에서, 디바이스(600-2)는 카메라(602)에 의해 캡처된 이미지 데이터가 어떻게 (디바이스(600-1) 및/또는 디바이스(600-2) 중 어느 하나에) 디스플레이되는지를 제어하기 위해 디바이스(600-2)에서 유사한 요소들을 디스플레이하고 유사한 입력들(손 제스처들을 포함함)을 검출한다.

도 6a를 참조하면, 디바이스(600-1)는, 디스플레이(601) 상에, 화상 회의 인터페이스(604-1)를 디스플레이한다. 화상 회의 인터페이스(604-1)는 표현(622-1)을 포함하며, 이는, 이어서, 카메라(602)의 시야(620) 내의 물리적 환경(예컨대, 장면)의 이미지(예컨대, 비디오 스트림의 프레임)를 포함한다. 일부 예들에서, 표현(622-1)의 이미지는 전체 시야(620)를 포함한다. 다른 예들에서, 표현(622-1)의 이미지는 전체 시야(620)의 일부분(예컨대, 크롭핑된(cropped) 부분 또는 서브세트)을 포함한다. 도시된 바와 같이, 일부 예들에서, 표현(622-1)의 이미지는 사용자(622), 및/또는 드로잉(618)이 위치되는, 사용자(622)에 근접한 표면(619)을 포함한다.

화상 회의 인터페이스(604-1)는 표현(623-1)을 추가로 포함하며, 이는, 이어서, 카메라(682)의 시야(688) 내의 물리적 환경의 이미지를 포함한다. 일부 예들에서, 표현(623-1)의 이미지는 전체 시야(688)를 포함한다. 다른 예들에서, 표현(623-1)의 이미지는 전체 시야(688)의 일부분(예컨대, 크롭핑된 부분 또는 서브세트)을 포함한다. 도시된 바와 같이, 일부 예들에서, 표현(623-1)의 이미지는 사용자(623)를 포함한다. 도시된 바와 같이, 표현(623-1)은 표현(622-1)보다 더 큰 크기로 디스플레이된다. 이러한 방식으로, 사용자(622)는 라이브 통신 세션 동안 더 양호하게 사용자(623)를 관찰하고/하거나 그와 상호작용할 수 있다.

디바이스(600-2)는, 디스플레이(683) 상에, 화상 회의 인터페이스(604-2)를 디스플레이한다. 화상 회의 인터페이스(604-2)는 표현(622-2)을 포함하며, 이는, 이어서, 카메라(602)의 시야(620) 내의 물리적 환경의 이미지를 포함한다. 화상 회의 인터페이스(604-2)는 표현(623-2)을 추가로 포함하며, 이는, 이어서, 카메라(682)의 시야(688) 내의 물리적 환경의 이미지를 포함한다. 도시된 바와 같이, 표현(622-2)은 표현(623-2)보다 더 큰 크기로 디스플레이된다. 이러한 방식으로, 사용자(623)는 라이브 통신 세션 동안 더 양호하게 사용자(622)를 관찰하고/하거나 그와 상호작용할 수 있다.

도 6a에서, 디바이스(600-1)는 인터페이스(604-1)를 디스플레이한다. 인터페이스(604-1)를 디스플레이하는 동안, 디바이스(600-1)는 설정 인터페이스를 디스플레이하라는 요청에 대응하는 입력(612a)(예컨대, 스와이프 입력)을 검출한다. 입력(612a)을 검출하는 것에 응답하여, 도 6b에 도시된 바와 같이, 디바이스(600-1)는 설정 인터페이스(606)를 디스플레이한다. 도시된 바와 같이, 설정 인터페이스(606)는 일부 실시예들에서 인터페이스(604-1) 상에 오버레이된다.

일부 실시예들에서, 설정 인터페이스(606)는 디바이스(600-1)의 설정들(예컨대, 음량, 디스플레이의 밝기, 및/또는 Wi-Fi 설정들)을 제어하기 위한 하나 이상의 어포던스들을 포함한다. 예를 들어, 설정 인터페이스(606)는, 도 6b에 도시된 바와 같이, 선택될 때 디바이스(600-1)로 하여금 뷰 메뉴를 디스플레이하게 하는 뷰 어포던스(607-1)를 포함한다.

도 6b에 도시된 바와 같이, 설정 인터페이스(606)를 디스플레이하는 동안, 디바이스(600-1)는 입력(612b)을 검출한다. 입력(612b)은 일부 실시예들에서 뷰 어포던스(607-1) 상에서의 탭 제스처이다. 입력(612b)을 검출하는 것에 응답하여, 도 6c에 도시된 바와 같이, 디바이스(600-1)는 뷰 메뉴(616-1)를 디스플레이한다.

대체적으로, 뷰 메뉴(616-1)는 라이브 비디오 통신 세션 동안 표현들이 디스플레이되는 방식을 관리(예컨대, 제어)하는 데 사용될 수 있는 하나 이상의 어포던스들을 포함한다. 예로서, 특정 어포던스의 선택은 디바이스(600-1)로 하여금 인터페이스(예컨대, 인터페이스(604-1) 또는 인터페이스(604-2)) 내에 표현들을 디스플레이하게 하거나 디스플레이하는 것을 중지하게 할 수 있다.

뷰 메뉴(616-1)는, 예를 들어, 선택될 때, 디바이스(600-1)로 하여금 표면의 수정된 이미지를 포함하는 표현을 디스플레이하게 하는 표면 뷰 어포던스(610)를 포함한다. 일부 실시예들에서, 표면 뷰 어포던스(610)가 선택될 때, 사용자 인터페이스들은 도 6m의 사용자 인터페이스들로 직접 전이된다. 추가적으로 또는 대안적으로, 도 6d 내지 도 6l(아래에서 설명됨)은 도 6m의 사용자 인터페이스들 전에 디스플레이될 수 있는 다른 사용자 인터페이스들, 및 도 6m에 도시된 바와 같이 사용자 인터페이스들을 디스플레이하는 프로세스를 개시하기 위한 다른 입력들을 예시한다. 예를 들어, 뷰 메뉴(616-1)를 디스플레이하는 동안, 디바이스(600-1)는 표면 뷰 어포던스(610)의 선택에 대응하는 입력(612c)을 검출한다. 일부 예들에서, 입력(612c)은 터치 입력이다. 입력(612c)을 검출하는 것에 응답하여, 도 6m에 도시된 바와 같이, 디바이스(600-1)는 표현(624-1)을 디스플레이한다. 추가로, 입력(612c)을 검출하는 것에 응답하여, 디바이스(600-2)는 표현(624-2)을 디스플레이한다. 설명된 바와 같이, 일부 실시예들에서, 이미지는 특정 관점을 갖는 이미지를 제공하기 위해 라이브 비디오 통신 세션 동안 수정된다. 따라서, 일부 예들에서, 표현(624-1)은, 카메라(602)에 의해 캡처된 이미지 데이터로부터 이미지를 생성하고, 이미지(또는 이미지의 일부분)를 수정하며, 수정된 이미지로 표현(624-1)을 디스플레이함으로써 제공된다. 일부 실시예들에서, 이미지는, 이미지 회전 및/또는 왜곡 보정(예컨대, 이미지 스큐잉(skewing))을 포함하지만 이에 제한되지 않는 임의의 알려진 이미지 프로세싱 기법들을 사용하여 수정된다. 표현(624-2)의 이미지도 일부 실시예들에서 이러한 방식으로 제공된다.

일부 실시예들에서, 표현(624-1)의 이미지는 원하는 관점(예컨대, 표면 뷰)을 제공하도록 수정된다. 일부 실시예들에서, 표현(624-1)의 이미지는 카메라(602)에 대한 표면(619)의 위치에 기초하여 수정된다. 예로서, 디바이스(600-1)는 표면(619)이 표현(624-1)에서 더 직관적으로 관찰될 수 있도록 표현(624-1)의 이미지를 미리결정된 양(예컨대, 45도, 90도 또는 180도)만큼 회전시킬 수 있다. 예를 들어, 카메라(602)가 사용자(622)를 향하는 관점으로부터 표면(619)을 캡처하는 도 6m에 도시된 바와 같이, 표현(624-1)의 이미지는 사용자(622)의 관점으로부터 이미지의 관점을 제공하기 위해 180도만큼 회전된다. 따라서, 라이브 비디오 통신 세션 동안, 디바이스들(600-1, 600-2)은 라이브 통신 세션 동안 사용자(622)의 관점으로부터 표면(619)(및 더 나아가 드로잉(618))을 디스플레이한다. 표현(624-2)의 이미지도 일부 예들에서 이러한 방식으로 제공된다.

일부 실시예들에서, 표현(624-2)이 표면(619)의 수정된 이미지를 포함하는 동안 사용자(623)가 사용자(622)의 뷰를 유지하는 것을 보장하기 위해, 디바이스(600-2)는 표현(622-2)의 디스플레이를 유지한다. 도 6m에 도시된 바와 같이, 이러한 방식으로 표현(622-2)의 디스플레이를 유지하는 것은 인터페이스(604-2)에서 표현(622-2)의 크기 및/또는 위치를 조정하는 것을 포함할 수 있다. 선택적으로, 일부 실시예들에서, 디바이스(600-2)는 더 큰 크기의 표현(624-2)을 제공하기 위해 표현(622-2)의 디스플레이를 중지한다. 선택적으로, 일부 실시예들에서, 디바이스(600-1)는 더 큰 크기의 표현(624-1)을 제공하기 위해 표현(622-1)의 디스플레이를 중지한다.

표현들(624-1, 624-2)은 카메라(602)에 대한 드로잉(618)의 위치(예컨대, 장소 및/또는 배향)에 대해 수정되는 드로잉(618)의 이미지를 포함한다. 예를 들어, 도 6a에 도시된 바와 같이, 수정 전에, 이미지는 표현들(622-1, 622-1)에 특정 배향(예컨대, 거꾸로)을 갖는 것으로 표시된다. 이미지를 수정한 결과로서, 드로잉(618)의 이미지는 표현들(624-1, 624-2)의 관점이 사용자(622)의 관점으로부터의 것으로 보이도록 회전 및/또는 스큐잉된다. 이러한 방식으로, 드로잉(618)의 수정된 이미지는 표현들(624-1, 624-2)의 관점과는 상이한 관점을 제공하여, 사용자(623)(및/또는 사용자(622))에게 드로잉(618)의 더 자연스럽고 직접적인 뷰를 제공한다. 따라서, 드로잉(618)은 라이브 비디오 통신 세션 동안 사용자(623)에 의해 더 쉽게 그리고 직관적으로 관찰될 수 있다.

설명된 바와 같이, 표면의 수정된 이미지를 포함하는 표현은 표면 이미지 어포던스(예컨대, 표면 뷰 어포던스(610))의 선택에 응답하여 제공된다. 일부 예들에서, 표면의 수정된 뷰를 포함하는 표현은 다른 유형들의 입력들을 검출하는 것에 응답하여 제공된다.

도 6d를 참조하면, 일부 예들에서, 표면의 수정된 이미지를 포함하는 표현은 하나 이상의 제스처들에 응답하여 제공된다. 일례로서, 디바이스(600-1)는 카메라(602)를 사용하여 제스처를 검출할 수 있고, 제스처를 검출하는 것에 응답하여, 제스처가 기준들의 세트(예컨대, 제스처 기준들의 세트)를 만족시키는지 여부를 결정할 수 있다. 일부 실시예들에서, 기준들은 제스처가 포인팅(pointing) 제스처라는 요건, 및 선택적으로, 포인팅 제스처가 특정 배향을 갖고/갖거나 표면 및/또는 객체를 향한다는 요건을 포함한다. 예를 들어, 도 6d를 참조하면, 디바이스(600-1)는 제스처(612d)를 검출하고, 제스처(612d)가 드로잉(618)을 향한 포인팅 제스처라고 결정한다. 이에 응답하여, 도 6m을 참조하여 설명된 바와 같이, 디바이스(600-1)는 표면(619)의 수정된 이미지를 포함하는 표현을 디스플레이한다.

일부 실시예들에서, 기준들의 세트는 제스처가 적어도 임계 시간 동안 수행되어야 한다는 요건을 포함한다. 예를 들어, 도 6e를 참조하면, 제스처를 검출하는 것에 응답하여, 디바이스(600-1)는 사용자가 612d와 같은 제스처를 현재 수행하고 있다는 것을 디바이스(600-1)가 검출하였음을 나타내는 그래픽 객체(626)를 표현(622-1) 상에 오버레이한다. 도시된 바와 같이, 일부 실시예들에서, 디바이스(600-1)는 사용자(622)가 검출된 제스처 및/또는 그래픽 객체(626)를 더 양호하게 관찰하는 것을 돕기 위해 표현(622-1)을 확대한다.

일부 실시예들에서, 그래픽 객체(626)는 제스처(612d)가 검출된 시간을 나타내는 타이머(628)(예컨대, 수치 타이머, 시간 경과에 따라 채워지는 링, 및/또는 시간 경과에 따라 채워지는 바)를 포함한다. 일부 실시예들에서, 타이머(628)는, 또한(또는 대안적으로), 기준들의 세트를 만족시키기 위해 제스처(612d)가 계속 제공되어야 하는 임계 시간을 나타낸다. 제스처(612)가 임계 시간(예컨대, 0.5초, 2초 및/또는 5초)을 만족시키는 것에 응답하여, 설명된 바와 같이, 디바이스(600-1)는 표면의 수정된 이미지를 포함하는 표현(624-1)을 디스플레이한다(도 6m).

일부 예들에서, 그래픽 객체(626)는 디바이스(600-1)에 의해 현재 검출된 제스처의 유형을 나타낸다. 일부 예들에서, 그래픽 객체(626)는 검출된 유형의 제스처를 수행하는 손의 윤곽 및/또는 검출된 유형의 제스처의 이미지이다. 그래픽 객체(626)는, 예를 들어, 사용자(622)가 포인팅 제스처를 수행하고 있다는 것을 디바이스(600-1)가 검출하는 것에 응답하여 포인팅 제스처를 수행하는 손을 포함할 수 있다. 추가적으로 또는 대안적으로, 그래픽 객체(626)는, 선택적으로, 줌 레벨(예컨대, 장면의 제2 부분의 표현이 디스플레이되거나 디스플레이될 줌 레벨)을 나타낼 수 있다.

일부 예들에서, 수정된 이미지를 갖는 표현이 하나 이상의 스피치(speech) 입력들에 응답하여 제공된다. 예를 들어, 라이브 통신 세션 동안, 디바이스(600-1)는 도 6d의 스피치 입력(614)("Look at my drawing.")과 같은 스피치 입력을 수신한다. 이에 응답하여, 설명된 바와 같이, 디바이스(600-1)는 표면의 수정된 이미지를 포함하는 표현(624-1)을 디스플레이한다(도 6m).

일부 예들에서, 디바이스(600-1)에 의해 수신된 스피치 입력들은 디바이스(600-1)에 의해 인식가능한 임의의 표면 및/또는 객체에 대한 언급들을 포함할 수 있고, 이에 응답하여, 디바이스(600-1)는 언급된 객체 또는 표면의 수정된 이미지를 포함하는 표현을 제공한다. 예를 들어, 디바이스(600-1)는 벽(예컨대, 사용자(622) 뒤의 벽)을 언급하는 스피치 입력을 수신할 수 있다. 이에 응답하여, 디바이스(600-1)는 벽의 수정된 이미지를 포함하는 표현을 제공한다.

일부 실시예들에서, 스피치 입력들은 제스처들(예컨대, 제스처(612d))과 같은 다른 유형들의 입력들과 조합하여 사용될 수 있다. 따라서, 일부 실시예들에서, 디바이스(600-1)는 표면의 수정된 이미지를 제공하라는 요청에 대응하는 스피치 입력 및 제스처 둘 모두를 검출하는 것에 응답하여 표면(또는 객체)의 수정된 이미지를 디스플레이한다.

일부 실시예들에서, 표면 뷰 어포던스는 다른 방식들로 제공된다. 도 6f를 참조하면, 예를 들어, 화상 회의 인터페이스(604-1)는 옵션 메뉴(608)를 포함한다. 옵션 메뉴(608)는 뷰 어포던스(607-2)를 포함한, 라이브 비디오 통신 세션 동안 디바이스(600-1)를 제어하는 데 사용될 수 있는 어포던스들의 세트를 포함한다.

옵션 메뉴(608)를 디스플레이하는 동안, 디바이스(600-1)는 뷰 어포던스(607-2)의 선택에 대응하는 입력(612f)을 검출한다. 입력(612f)을 검출하는 것에 응답하여, 도 6g에 도시된 바와 같이, 디바이스(600-1)는 뷰 메뉴(616-2)를 디스플레이한다. 뷰 메뉴(616-2)는, 도 6c와 관련하여 설명된 바와 같이, 라이브 비디오 통신 세션 동안 표현들이 디스플레이되는 방식을 제어하는 데 사용될 수 있다.

옵션 메뉴(608)는 도면들 전체에 걸쳐 화상 회의 인터페이스(604-1) 내에 지속적으로 디스플레이되는 것으로 예시되어 있지만, 옵션 메뉴(608)는 디바이스(600-1)에 의해 라이브 비디오 통신 세션 동안 숨겨지고/숨겨지거나 임의의 지점에 재디스플레이될 수 있다. 예를 들어, 옵션 메뉴(608)는 사용자에 의한 하나 이상의 입력들 및/또는 비활동 기간을 검출하는 것에 응답하여 디스플레이되고/되거나 디스플레이로부터 제거될 수 있다.

표면에 대한 입력을 검출하는 것은 디바이스(600-1)로 하여금 표면의 수정된 이미지를 포함하는 표현을 디스플레이하게 하는 것으로(예를 들어, 도 6c의 입력(612c)을 검출하는 것에 응답하여, 도 6m에 도시된 바와 같이, 디바이스(600-1)는 표현(624-1)을 디스플레이함) 설명되었지만, 일부 실시예들에서, 표면에 대한 입력을 검출하는 것은 디바이스(600-1)로 하여금, 예를 들어 표현(624-1)을 디스플레이하기 전에, 미리보기 모드(예컨대, 도 6h 내지 도 6j)에 진입하게 할 수 있다.

도 6h는 디바이스(600-1)가 미리보기 모드에서 동작하고 있는 예를 예시한다. 대체적으로, 미리보기 모드는 라이브 비디오 통신 세션 동안 표현의 이미지의 일부분들 또는 영역들을 한 명 이상의 다른 사용자들에게 선택적으로 제공하는 데 사용될 수 있다.

일부 실시예들에서, 미리보기 모드에서 동작하기 전에, 디바이스(600-1)는 표면 뷰 어포던스(610)에 대한 입력(예컨대, 입력(612c))을 검출한다. 이에 응답하여, 디바이스(600-1)는 미리보기 모드를 개시한다. 미리보기 모드에서 동작하는 동안, 디바이스(600-1)는 미리보기 인터페이스(674-1)를 디스플레이한다. 미리보기 인터페이스(647-1)는 좌측 스크롤 어포던스(634-2), 우측 스크롤 어포던스(634-1), 및 미리보기(636)를 포함한다.

일부 실시예들에서, 좌측 스크롤 어포던스의 선택은 디바이스(600-1)로 하여금 미리보기(636)를 변경(예컨대, 교체)하게 한다. 예를 들어, 좌측 스크롤 어포던스(634-2) 또는 우측 스크롤 어포던스(634-1)의 선택은 디바이스(600-1)로 하여금 다양한 이미지들(사용자의 이미지, 표면의 수정되지 않은 이미지, 및/또는 표면(619)의 수정된 이미지)을 통해 순환하게 하여서, 예를 들어 미리보기(636)에 대한 입력을 검출하는 것에 응답하여, 사용자가 미리보기 모드를 종료할 시에 공유될 특정 관점을 선택할 수 있게 한다. 추가적으로 또는 대안적으로, 이들 기법들은 시야 내의 특정 표면(예컨대, 수직 및/또는 수평 표면) 및/또는 특정 부분(예컨대, 크롭핑된 부분 또는 서브세트)을 통해 순환하고/하거나 그를 선택하는 데 사용될 수 있다.

도시된 바와 같이, 일부 실시예들에서, 미리보기 사용자 인터페이스(674-1)는 디바이스(600-1)에 디스플레이되고, 디바이스(600-2)에는 디스플레이되지 않는다. 예를 들어, 디바이스(600-2)는 디바이스(600-1)가 미리보기 인터페이스(674-1)를 디스플레이하는 동안 화상 회의 인터페이스(604-2)(표현(622-2)을 포함함)를 디스플레이한다. 이와 같이, 미리보기 사용자 인터페이스(674-1)는 사용자(622)가 사용자(623)와 뷰를 공유하기 전에 뷰를 선택하도록 허용한다.

도 6i는 디바이스(600-1)가 미리보기 모드에서 동작하고 있는 예를 예시한다. 도시된 바와 같이, 디바이스(600-1)가 미리보기 모드에서 동작하고 있는 동안, 디바이스(600-1)는 미리보기 인터페이스(674-2)를 디스플레이한다. 일부 실시예들에서, 미리보기 인터페이스(674-2)는 영역들(636-1, 636-2)을 갖는 표현(676)을 포함한다. 일부 실시예들에서, 표현(676)은, 표현(622-1)에 포함된 이미지와 동일하거나 실질적으로 유사한 이미지를 포함한다. 선택적으로, 도시된 바와 같이, 표현(676)의 크기는 도 6a의 표현(622-1)보다 더 크다. 표현(676)의 위치는 표현(622-1)의 위치와는 상이하다. 화상 회의 인터페이스(604-1) 내의 유사하거나 동일한 이미지를 포함하는 표현의 크기 및/또는 위치와 비교하여 미리보기 인터페이스(674-2) 내의 표현의 크기 및/또는 위치를 조정하는 것은 사용자(622)가 사용자(623)와 이미지를 공유하기 전에 그 이미지를 더 양호하게 관찰하도록 허용한다.

일부 실시예들에서, 영역(636-1) 및 영역(636-2)은 표현(676)의 각자의 부분들에 대응한다. 예를 들어, 도시된 바와 같이, 영역(636-1)은 표현(676)의 상부 부분(예컨대, 사용자(622)의 상부 몸체를 포함하는 일부분)에 대응하고, 영역(636-2)은 표현(676)의 하부 부분(예컨대, 사용자(622)의 하부 몸체 및/또는 드로잉(618)을 포함하는 일부분)에 대응한다.

일부 실시예들에서, 영역(636-1) 및 영역(636-2)은 별개의 영역들(예컨대, 비중첩 영역들)로서 디스플레이된다. 일부 실시예들에서, 영역(636-1)과 영역(636-2)은 중첩된다. 추가적으로 또는 대안적으로, 하나 이상의 그래픽 객체들(638-1)(예컨대, 선들, 박스들, 및/또는 대시(dash)들)이 영역(636-1)을 영역(636-2)과 구별(예컨대, 시각적으로 구별)할 수 있다.

일부 실시예들에서, 미리보기 인터페이스(674-2)는 영역이 활성인지 또는 비활성인지를 나타내기 위한 하나 이상의 그래픽 객체들을 포함한다. 도 6i의 예에서, 미리보기 인터페이스(674-2)는 그래픽 객체들(641a, 641b)을 포함한다. 그래픽 객체들(641a, 641b)의 외관(예컨대, 형상, 크기, 및/또는 색상)은 일부 실시예들에서 각자의 영역이 활성 및/또는 비활성인지 여부를 나타낸다.

활성일 때, 영역은 라이브 비디오 통신 세션의 한 명 이상의 다른 사용자들과 공유된다. 예를 들어, 도 6i를 참조하면, 그래픽 사용자 인터페이스 객체(641)는 영역(636-1)이 활성임을 나타낸다. 그 결과, 영역(636-1)에 대응하는 이미지 데이터가 디바이스(600-2)에 의해 표현(622-2) 내에 디스플레이된다. 일부 예들에서, 디바이스(600-1)는 활성 영역들에 대한 이미지 데이터만을 공유한다. 일부 실시예들에서, 디바이스(600-1)는 모든 이미지 데이터를 공유하고, 활성 영역(636-1)에 대응하는 이미지 데이터의 일부분에만 기초하여 이미지를 디스플레이하도록 디바이스(600-2)에 지시한다.

인터페이스(674-2)를 디스플레이하는 동안, 디바이스(600-1)는 영역(636-2)에 대응하는 위치에서 입력(612i)을 검출한다. 입력(612i)은 일부 실시예들에서 터치 입력이다. 입력(612i)을 검출하는 것에 응답하여, 디바이스(600-1)는 영역(636-2)을 활성화한다. 그 결과, 디바이스(600-2)는 표현(624-2)과 같은, 표면(619)의 수정된 이미지를 포함하는 표현을 디스플레이한다. 일부 실시예들에서, 영역(636-1)은 입력(612i)에 응답하여 활성 상태로 유지된다(예컨대, 사용자(623)는, 예를 들어 표현(622-2)에서, 사용자(622)를 볼 수 있음). 선택적으로, 일부 실시예들에서, 디바이스(600-1)는 입력(612i)에 응답하여 영역(636-1)을 비활성화한다(예컨대, 사용자(623)는, 예를 들어 표현(622-2)에서, 사용자(622)를 더 이상 볼 수 없음).

도 6i의 예는 2개의 영역들(636-1, 636-2)을 포함하는 표현을 갖는 미리보기 모드와 관련하여 설명되지만, 일부 실시예들에서, 다른 수의 영역들이 사용될 수 있다. 예를 들어, 도 6j를 참조하면, 디바이스(600-1)는 미리보기 인터페이스(674-3)가 영역들(636a 내지 636i)을 포함하는 표현(676)을 포함하는 미리보기 모드에서 동작하고 있다.

일부 실시예들에서, 복수의 영역들은 활성이다(그리고/또는 활성화될 수 있음). 예를 들어, 도시된 바와 같이, 디바이스(600-1)는 영역들(636a 내지 636i)을 디스플레이하며, 이들 중 영역들(636a 내지 636f)이 활성이다. 그 결과, 디바이스(600-2)는 표현(622-2)을 디스플레이한다.

일부 실시예들에서, 디바이스(600-1)는 중력에 대한 임의의 각도(예컨대, 0 내지 90도)를 포함한 임의의 유형의 배향을 갖는 표면의 이미지를 수정한다. 예를 들어, 디바이스(600-1)는 표면이 수평 표면(예컨대, 중력 방향의 70 내지 110도의 범위 내에 있는 평면 내에 있는 표면)일 때 표면의 이미지를 수정할 수 있다. 다른 예로서, 디바이스(600-1)는 표면이 수직 표면(예컨대, 중력 방향의 최대 30도인 평면 내에 있는 표면)일 때 표면의 이미지를 수정할 수 있다.

인터페이스(674-3)를 디스플레이하는 동안, 디바이스(600-1)는 영역(636h)에 대응하는 위치에서 입력(612j)을 검출한다. 입력(612j)을 검출하는 것에 응답하여, 디바이스(600-1)는 영역(636-2)을 활성화한다. 그 결과, 디바이스(600-2)는 표현(624-2)과 같은, 표면(619)의 수정된 이미지를 포함하는 표현을 디스플레이한다. 일부 실시예들에서, 영역들(636a 내지 636f)은 입력(612j)에 응답하여 활성 상태로 유지된다(예컨대, 사용자(623)는, 예를 들어 표현(622-2)에서, 사용자(622)를 볼 수 있음). 선택적으로, 일부 실시예들에서, 디바이스(600-1)는 입력(612j)에 응답하여 영역들(636a 내지 636f)을 비활성화한다(예컨대, 사용자(623)는, 예를 들어 표현(622-2)에서, 사용자(622)를 더 이상 볼 수 없음).

도 6k 및 도 6l은 디바이스(600-1) 및/또는 디바이스(600-2)에 의해 디스플레이될 수 있는 예시적인 애니메이션들을 예시한다. 도 6a 내지 도 6i에서 논의된 바와 같이, 디바이스(600-1)는 수정된 이미지들을 포함하는 표현들을 디스플레이할 수 있다. 일부 실시예들에서, 디바이스(600-1) 및/또는 디바이스(600-2)는, 뷰들 사이에서 전이하고/하거나 시간 경과에 따른 이미지들에 대한 수정들을 보여주기 위한 애니메이션을 디스플레이한다. 애니메이션은, 예를 들어, 수정된 이미지를 제공하기 위해 이미지를 패닝(panning), 회전, 및/또는 달리 수정하는 것을 포함할 수 있다. 추가적으로 또는 대안적으로, 애니메이션은 표면을 향한 입력(예컨대, 표면 뷰 어포던스(610)의 선택, 제스처, 및/또는 스피치 입력)을 검출하는 것에 응답하여 발생한다.

도 6k는 디바이스(600-2)가 표현(642a)의 이미지를 패닝하고 회전시키는 예시적인 애니메이션을 예시한다. 애니메이션 동안, 표현(642a)의 이미지는 더 "오버헤드"인 관점에서 표면(619)을 관찰하도록 아래로 패닝된다. 애니메이션은, 또한, 표면(619)이 사용자(622)의 관점으로부터 관찰되도록 표현(642a)의 이미지를 회전시키는 것을 포함한다. 애니메이션의 4개의 프레임들이 도시되어 있지만, 애니메이션은 임의의 수의 프레임들을 포함할 수 있다. 선택적으로, 일부 실시예들에서, 디바이스(600-1)는 표현(예컨대, 표현(622-1))의 이미지를 패닝하고 회전시킨다.

도 6l은 디바이스(600-2)가 표현(642a)의 이미지를 확대하고 회전시키는 예를 예시한다. 애니메이션 동안, 표현(642a)은 원하는 줌 레벨이 달성될 때까지 확대된다. 애니메이션은, 또한, 설명된 바와 같이, 드로잉(618)의 이미지가 사용자(622)의 관점으로 배향될 때까지 표현(642a)을 회전시키는 것을 포함한다. 애니메이션의 4개의 프레임들이 도시되어 있지만, 애니메이션은 임의의 수의 프레임들을 포함할 수 있다. 선택적으로, 일부 실시예들에서, 디바이스(600-1)는 표현(예컨대, 표현(622-1))의 이미지를 확대하고 회전시킨다.

도 6n 내지 도 6r은 라이브 통신 세션 동안 표면의 수정된 이미지가 추가로 수정되는 예들을 예시한다.

도 6n은 사용자가 다양한 입력들을 제공하는 라이브 통신 세션의 예를 예시한다. 예를 들어, 인터페이스(678)를 디스플레이하는 동안, 디바이스(600-1)는 디바이스(600-1)의 회전에 대응하는 입력(677)을 검출한다. 도 6o에 도시된 바와 같이, 입력(677)을 검출하는 것에 응답하여, 디바이스(600-1)는 (예컨대, 카메라(602)의) 회전을 보상하기 위해 인터페이스(678)를 수정한다. 도 6o에 도시된 바와 같이, 디바이스(600-1)는 인터페이스(678)의 표현들(623-1, 624-1)을 수직 구성으로 배열한다. 추가적으로, 표현(624-1)은 디바이스(600-1)의 회전에 따라 회전되어서, 표현(624-1)의 관점이 사용자(622)에 대해 동일한 배향으로 유지되게 한다. 추가적으로, 표현(624-2)의 관점은 사용자(623)에 대해 동일한 배향으로 유지된다.

도 6n을 추가로 참조하면, 일부 예들에서, 디바이스(600-1)는 표현(624-1)의 이미지를 수정하기 위한 제어 어포던스들(648-1, 648-2)을 디스플레이한다. 제어 어포던스들(648-1, 648-2)은, 예를 들어 옵션 메뉴(608)(예컨대, 도 6b)의 어포던스의 선택에 대응하는 하나 이상의 입력들에 응답하여 디스플레이될 수 있다.

도시된 바와 같이, 일부 실시예들에서, 디바이스(600-1)는 표면의 수정된 이미지를 포함하는 표현(624-1)을 디스플레이한다. 회전 어포던스(648-1)는, 선택될 때, 디바이스(600-1)로 하여금 표현(624-1)의 이미지를 회전시키게 한다. 예를 들어, 인터페이스(678)를 디스플레이하는 동안, 디바이스(600-1)는 회전 어포던스(648-1)의 선택에 대응하는 입력(650a)을 검출한다. 입력(650a)에 응답하여, 디바이스(600-1)는 표현(624-1)의 이미지의 배향을 제1 배향(도 6n에 도시됨)으로부터 제2 배향(도 6o에 도시됨)으로 수정한다. 일부 실시예들에서, 표현(624-1)의 이미지는 미리결정된 양(예컨대, 90도)만큼 회전된다.

줌 어포던스(648-2)는, 선택될 때, 표현(624-1)의 이미지의 줌 레벨을 수정한다. 예를 들어, 도 6n에 도시된 바와 같이, 표현(624-1)의 이미지는 제1 줌 레벨(예컨대, "1X")로 디스플레이된다. 줌 어포던스(648-2)를 디스플레이하는 동안, 디바이스(600-1)는 줌 어포던스(648-2)의 선택에 대응하는 입력(650b)을 검출한다. 입력(650b)에 응답하여, 도 6q에 도시된 바와 같이, 디바이스(600-1)는 표현(624-1)의 이미지의 줌 레벨을 제1 줌 레벨(예컨대, "1X")로부터 제2 줌 레벨(예컨대, "2X")로 수정한다.

추가적으로 또는 대안적으로, 일부 실시예들에서, 화상 회의 인터페이스(604-1)는, 도 6r에 도시된 바와 같이, 표현(624-1)의 이미지의 적어도 일부분의 확대된 뷰를 디스플레이하기 위한 옵션을 포함한다. 예를 들어, 표현(624-1)을 디스플레이하는 동안, 디바이스(600-1)는 표현(624-1)의 이미지의 일부분의 확대된 뷰를 디스플레이하라는 요청에 대응하는 입력(654)(예컨대, 표면 및/또는 객체에 대한 제스처)을 검출할 수 있다. 입력(654)을 검출하는 것에 응답하여, 디바이스(600-1)는 확대된 부분(652-1)을 표현(624-1)의 제2 부분(652-2)보다 더 큰 줌 레벨로 디스플레이한다. 일부 실시예들에서, 확대되는 표현(624-1)의 이미지의 일부분은 입력(654)의 위치에 기초하여 결정된다. 일부 실시예들에서, 입력(650c)(도 6r 및 도 6q)을 검출하는 것에 응답하여, 디바이스(600-1)는 제어 어포던스들(648-1, 648-2)을 디스플레이하는 것을 중지한다.

도 6s 내지 도 6ac는 디바이스가 사용자 입력에 응답하여 표현의 이미지를 수정하는 예들을 예시한다. 아래에서 더 상세히 설명되는 바와 같이, 디바이스(600-1)는 제스처들 및/또는 오디오 입력을 포함한 비터치 사용자 입력에 응답하여 화상 회의 인터페이스(604-1) 내의 표현들(예컨대, 표현(622-1))의 이미지들을 수정하여, 그에 의해, 사용자가 라이브 비디오 통신 세션 동안 표현들을 관리 및/또는 수정하기 위해 디바이스와 상호작용하는 방식을 개선할 수 있다.

도 6s 및 도 6t는 디바이스가 제스처에 응답하여 표현의 이미지의 적어도 일부분을 가리는 예를 예시한다. 도 6s에 예시된 바와 같이, 디바이스(600-1)는 표현(622-1)의 이미지의 적어도 일부분을 수정하라는 요청에 대응하는 제스처(656a)를 검출한다. 일부 예들에서, 제스처(656a)는 사용자(622)가 사용자(622)의 입 근처에서 상향 방향으로 가리키는 제스처(예컨대, "쉿(shh)" 제스처)이다. 도 6t에 도시된 바와 같이, 이에 응답하여, 디바이스(600-1)는 표현(622-1)을 수정된 부분(658-1)(예컨대, 사용자(622)의 물리적 환경의 배경)을 포함하는 수정된 이미지를 포함하는 표현(622-1')으로 대체한다. 일부 예들에서, 이러한 방식으로 부분(658-1)을 수정하는 것은 부분(658-1)을 블러링(blurring)하는 것, 그레잉(greying)하는 것, 또는 달리 가리는 것을 포함한다. 일부 예들에서, 디바이스(600-1)는 제스처(656a)에 응답하여 부분(658-2)을 수정하지 않는다.

도 6u 및 도 6v는 디바이스가 제스처를 검출하는 것에 응답하여 표현의 이미지의 일부분을 확대하는 예를 예시한다. 도 6u에 도시된 바와 같이, 일부 실시예들에서, 디바이스(600-1)는 표현(622-1)의 적어도 일부분을 확대하라는 요청에 대응하는 포인팅 제스처(656b)를 검출한다. 도시된 바와 같이, 포인팅 제스처(656b)는 객체(660)를 향한다.

도 6v에 도시된 바와 같이, 포인팅 제스처(656b)에 응답하여, 디바이스(600-1)는, 객체(660)를 포함하는 표현(622-1)의 이미지의 일부분을 확대함으로써, 표현(622-1)을 수정된 이미지를 포함하는 표현(622-1')으로 대체한다. 일부 실시예들에서, 배율은 (예컨대, 카메라(602)에 대한) 객체(660)의 위치 및/또는 객체(660)의 크기에 기초한다.

도 6w 및 도 6x는 디바이스가 제스처를 검출하는 것에 응답하여 표현의 뷰의 일부분을 확대하는 예를 예시한다. 도 6w에 도시된 바와 같이, 일부 실시예들에서, 디바이스(600-1)는 표현(622-1)의 적어도 일부분을 확대하라는 요청에 대응하는 프레이밍(framing) 제스처(656c)를 검출한다. 도시된 바와 같이, 프레이밍 제스처(656c)는, 프레이밍 제스처(656c)가 객체(660)를 적어도 부분적으로 프레이밍하고/하거나 둘러싸고/둘러싸거나 윤곽형성함으로 인해 객체(660)를 향한다.

도 6x에 도시된 바와 같이, 프레이밍 제스처(656c)에 응답하여, 디바이스(600-1)는 객체(660)를 포함하는 표현(622-1)의 이미지의 일부분을 확대함으로써 표현(622-1)의 이미지를 수정한다. 일부 실시예들에서, 배율은 (예컨대, 카메라(602)에 대한) 객체(660)의 위치 및/또는 객체(660)의 크기에 기초한다. 추가적으로 또는 대안적으로, 표현(622-1)의 이미지의 일부분을 확대한 후에, 디바이스(600-1)는 프레이밍 제스처(656c)의 이동을 추적할 수 있다. 이에 응답하여, 디바이스(600-1)는 이미지의 상이한 부분으로 패닝할 수 있다.

도 6y 및 도 6z는 디바이스가 제스처를 검출하는 것에 응답하여 표현의 이미지를 패닝하는 예를 예시한다. 도 6y에 도시된 바와 같이, 디바이스(600-1)는 표현(622-1)의 이미지의 뷰를 특정 방향으로 패닝(예컨대, 수평으로 패닝)하라는 요청에 대응하는 포인팅 제스처(656d)를 검출한다. 도시된 바와 같이, 포인팅 제스처(656d)는 사용자(622)의 좌측으로 지향된다.

도 6z에 도시된 바와 같이, 포인팅 제스처(656d)에 응답하여, 디바이스(600-1)는 표현(622-1)을 표현(622-1)의 이미지를 포인팅 제스처(656d)의 방향으로(예컨대, 사용자(622)의 좌측으로) 패닝하는 것에 기초하는 수정된 이미지를 포함하는 표현(622-1')으로 대체한다.

일부 실시예들에서, 도 6z에 도시된 바와 같이, 사용자(622)의 일부분(예컨대, 사용자(622)의 우측 어깨)은 패닝 동작으로 인해 표현(622-1')의 이미지로부터 제외될 수 있지만, 일부 실시예들에서, 디바이스(600-1)는 사용자(622)가 이미지 내에 완전히 유지되는 것을 보장하기 위해 패닝할 때 표현(622-1')의 이미지의 줌 레벨을 조정할 수 있다.

도 6aa 및 도 6ab는 디바이스가 핀치(pinch) 및/또는 스프레드(spread) 제스처를 검출하는 것에 응답하여 표현의 줌 레벨을 수정하는 예를 예시한다. 도 6aa에 도시된 바와 같이, 일부 실시예들에서, 디바이스(600-1)는 사용자(622)가 사용자(622)의 오른손의 엄지와 검지 사이의 거리를 증가시키는 스프레드 제스처(656e)를 검출한다.

도 6ab에 도시된 바와 같이, 스프레드 제스처(656e)에 응답하여, 디바이스(600-1)는 표현(622-1)의 이미지의 일부분을 확대함으로써 표현(622-1)을 표현(622-1')으로 대체한다. 일부 실시예들에서, 배율은 (예컨대, 카메라(602)에 대한) 스프레드 제스처(656e)의 위치 및/또는 스프레드 제스처(656e)의 크기에 기초한다. 일부 실시예들에서, 이미지의 일부분은 미리결정된 줌 레벨에 따라 확대된다.

도 6aa를 참조하면, 일부 실시예들에서, 스프레드 제스처(656e)를 검출하는 것에 응답하여, 디바이스(600-1)는 표현(622-1')의 이미지의 줌 레벨을 나타내는 줌 표시자(662)를 디스플레이한다. 일단 사용자(622)가 스프레드 제스처(656e)를 완료하였고 디바이스(600-1)가 표현(622-1')의 일부분을 확대하였으면, 디바이스(600-1)는 표현(622-1')의 이미지의 현재 줌 레벨을 나타내도록 줌 표시자(662)의 디스플레이를 업데이트한다. 일부 실시예들에서, 줌 표시자(662)는 사용자(622)가 제스처(656e)를 수행함에 따라 동적으로 업데이트된다.

스프레드 제스처(656e)에 응답하여 이미지의 줌 레벨을 증가시키는 것과 관련하여 본 명세서에서 설명이 이루어지지만, 일부 예들에서, 이미지의 줌 레벨은 제스처(예컨대, 핀치 제스처와 같은 다른 유형의 제스처)에 응답하여 감소된다.

도 6ac는 표현의 이미지를 수정하는 데 사용될 수 있는 다양한 제스처들을 예시한다. 일부 실시예들에서, 예를 들어, 사용자는 제스처들을 사용하여 줌 레벨을 나타낼 수 있다. 예로서, 제스처(664)는 표현의 이미지의 줌 레벨이 "1X"이어야 함을 나타내는 데 사용될 수 있고, 제스처(664)를 검출하는 것에 응답하여, 디바이스(600-1)는 "1X" 줌 레벨을 갖도록 표현의 이미지를 수정할 수 있다. 유사하게, 제스처(666)는 표현의 이미지의 줌 레벨이 "2X"이어야 함을 나타내는 데 사용될 수 있고, 제스처(666)를 검출하는 것에 응답하여, 디바이스(600-1)는 "2X" 줌 레벨을 갖도록 표현의 이미지를 수정할 수 있다. 2개의 줌 레벨들(예컨대, "1X" 및 "2X" 줌 레벨)이 도 6ac에 대해 설명되지만, 일부 실시예들에서, 디바이스(600-1)는 동일한 제스처 또는 상이한 제스처를 사용하여 표현의 이미지를 다른 줌 레벨들(예컨대, 0.5X, 3X, 5X, 또는 10X)로 수정할 수 있다. 일부 실시예들에서, 디바이스(600-1)는 표현의 이미지를 3개 이상의 상이한 줌 레벨들로 수정할 수 있다. 일부 실시예들에서, 줌 레벨들은 이산적이거나 연속적이다.

다른 예로서, 사용자(622)가 그들의 손가락들을 구부리는 제스처가 줌 레벨을 조정하는 데 사용될 수 있다. 예를 들어, 제스처(668)(예컨대, 예를 들어 손(668a)의 손등이 카메라를 향해 배향될 때, 사용자의 손의 손가락들이 카메라로부터 멀어지는 방향(668b)으로 구부러지는 제스처)는 이미지의 줌 레벨이 증가(예컨대, 줌인)되어야 함을 나타내는 데 사용될 수 있다. 제스처(670)(예컨대, 예를 들어 손(668a)의 손바닥이 카메라를 향해 배향될 때, 사용자의 손의 손가락들이 카메라를 향하는 방향(670b)으로 구부러지는 제스처)는 이미지의 줌 레벨이 감소(예컨대, 줌아웃)되어야 함을 나타내는 데 사용될 수 있다.

도 6ad 및 도 6ae는 사용자가 2개의 디바이스들을 사용하여 라이브 비디오 통신 세션에 참가하는 예들을 예시한다.

일례로서, 도 6ad에 도시된 바와 같이, 사용자(623)는 라이브 비디오 통신 세션 동안 추가 디바이스(600-3)를 사용하고 있다. 일부 실시예들에서, 디바이스들(600-2, 600-3)은 상이한 뷰들을 갖는 이미지들을 포함하는 표현들을 동시에 디스플레이한다. 예를 들어, 디바이스(600-3)가 표현(622-2)을 디스플레이하는 동안, 디바이스(600-2)는 표현(624-2)을 디스플레이한다.

일부 실시예들에서, 디바이스(600-2)는 사용자(622)에 대한 표면(619)의 위치에 대응하는 방식으로 책상(686) 상에 사용자(623)의 전방에 위치된다. 따라서, 사용자(623)는 물리적 환경에서 사용자(622)가 표면(619)을 관찰하는 것과 유사한 방식으로 표현(624-2)(표면(619)의 이미지를 포함함)을 관찰할 수 있다.

도 6ae에 도시된 바와 같이, 라이브 통신 세션 동안, 사용자(623)는, 디바이스(600-2)를 이동시킴으로써, 표현(624-2) 내에 디스플레이되는 이미지를 수정할 수 있다. 사용자(623)가 디바이스(600-2)의 배향을 변경하는 것에 응답하여, 디바이스(600-2)는, 예를 들어 디바이스(600-2)의 배향의 변화에 대응하는 방식으로, 표현(624-2)의 이미지를 수정한다. 예를 들어, 사용자(623)가 디바이스(600-2)를 기울이는 것에 응답하여, 디바이스(600-2)는 표면(619)의 다른 부분들을 디스플레이하도록 상향으로 패닝한다. 이러한 방식으로, 사용자(623)는, 디바이스(600-2)가 상이한 배향에 있을 때, 그렇지 않을 경우 디스플레이되지 않는 표면(619)의 다양한 부분들을 관찰하기 위해, (임의의 방향으로) 디바이스(600-2)의 배향을 변경할 수 있다.

도 6af 내지 도 6al은 도 6a 내지 도 6ae를 참조하여 예시되고 설명된 다양한 사용자 인터페이스들에 액세스하기 위한 실시예들을 예시한다. 도 6af 내지 도 6al에 도시된 실시예들에서, 인터페이스들은 랩톱(예컨대, John의 디바이스(6100-1) 및/또는 Jane의 디바이스(6100-2))을 사용하여 예시된다. 도 6af 내지 도 6al에 예시된 실시예들은 태블릿(예컨대, John의 태블릿(600-1) 및/또는 Jane의 디바이스(600-2))과 같은 상이한 디바이스를 사용하여 구현될 수 있다는 것이 인식되어야 한다. 유사하게, 도 6a 내지 도 6ae에 예시된 실시예들은 John의 디바이스(6100-1) 및/또는 Jane의 디바이스(6100-2)와 같은 상이한 디바이스를 사용하여 구현될 수 있다. 따라서, 도 6a 내지 도 6ae와 관련하여 위에서 설명된 다양한 동작들 또는 특징부들은 간결함을 위해 아래에서 반복되지 않는다. 예를 들어, 도 6a 내지 도 6ae와 관련하여 논의된 애플리케이션들, 인터페이스들(예컨대, 604-1 및/또는 604-2), 및 디스플레이된 요소들(예컨대, 622-1, 622-2, 623-1, 623-2, 624-1, 및/또는 624-2)은 도 6af 내지 도 6al과 관련하여 논의된 애플리케이션들, 인터페이스들(예컨대, 6121 및/또는 6131), 및 디스플레이된 요소들(예컨대, 6124, 6132, 6122, 6134, 6116, 6140, 및/또는 6142)과 유사하다. 따라서, 이들 애플리케이션들, 인터페이스들, 및 디스플레이된 요소들의 상세사항들은 간결함을 위해 아래에서 반복되지 않을 수 있다.

도 6af는 디스플레이(6101), 하나 이상의 카메라들(6102), 및 키보드(6103)(이는, 일부 실시예들에서, 트랙패드를 포함함)를 포함하는 John의 디바이스(6100-1)를 도시한다. John의 디바이스(6100-1)는, 디스플레이(6101)를 통해, 카메라 애플리케이션 아이콘(6108) 및 화상 회의 애플리케이션 아이콘(6110)을 포함하는 홈 스크린을 디스플레이한다. 카메라 애플리케이션 아이콘(6108)은 카메라(6102)에 액세스하는 데 사용될 수 있는, John의 디바이스(6100-1) 상에서 동작하는 카메라 애플리케이션에 대응한다. 화상 회의 애플리케이션 아이콘(6110)은, 도 6a 내지 도 6ae를 참조하여 위에서 논의된 것과 유사한 라이브 비디오 통신 세션(예컨대, 화상 통화 및/또는 화상 채팅)을 개시하고/하거나 그에 참가하는 데 사용될 수 있는, John의 디바이스(6100-1) 상에서 동작하는 화상 회의 애플리케이션에 대응한다. John의 디바이스(6100-1)는, 또한, 동적 영역(6106)에 디스플레이되는 아이콘들의 서브세트를 포함한 다양한 애플리케이션 아이콘들을 포함하는 도크(dock)(6104)를 디스플레이한다. 동적 영역(6106)에 디스플레이된 아이콘들은 John의 디바이스(6100-1) 상에서 활성인(예컨대, 개시된, 열린, 및/또는 사용 중인) 애플리케이션들을 표현한다. 도 6af에서, 카메라 애플리케이션 및 화상 회의 애플리케이션 중 어느 것도 현재 활성이지 않다. 따라서, 카메라 애플리케이션 또는 화상 회의 애플리케이션을 표현하는 아이콘들은 동적 영역(6106)에 디스플레이되지 않고, John의 디바이스(6100-1)는 라이브 비디오 통신 세션에 참가하고 있지 않다.

도 6af에서, John의 디바이스(6100-1)는 카메라 애플리케이션 아이콘(6108)을 선택하는 커서(6112)에 의해 표시되는 바와 같은 입력(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 이에 응답하여, 도 6ag에 도시된 바와 같이, John의 디바이스(6100-1)는 카메라 애플리케이션을 개시하고, 카메라 애플리케이션 윈도우(6114)를 디스플레이한다. 도 6ag에 도시된 실시예에서, 카메라 애플리케이션은, 예를 들어 도 6m에 도시되고 위에서 설명된 표현(624-1)과 유사한 표면 뷰(6116)를 생성하기 위해 카메라(6102)에 액세스하는 데 사용되고 있다. 일부 실시예들에서, 카메라 애플리케이션은, 예를 들어 확장된 시야 모드(이는 카메라(6102)의 확장된 시야를 제공함) 및 표면 뷰 모드(이는 도 6ag에 예시된 표면 뷰를 제공함)와 같은 상이한 모드들(예컨대, 사용자 선택가능 모드들)을 가질 수 있다. 따라서, 표면 뷰(6116)는, 카메라(6102)를 사용하여 획득되고 카메라 애플리케이션에 의해 수정(예컨대, 확대, 회전, 크롭핑, 및/또는 스큐잉)되어 도 6ag에 도시된 표면 뷰(6116)를 생성하는 이미지 데이터의 뷰를 표현한다. 추가적으로, John의 랩톱이 카메라 애플리케이션을 개시하였기 때문에, 카메라 애플리케이션 아이콘(6108-1)이 도크(6104)의 동적 영역(6106)에 디스플레이되어, 카메라 애플리케이션이 활성임을 나타낸다. 일부 실시예들에서, 애플리케이션 아이콘들(예컨대, 6108-1)은, 그들이 도크의 동적 영역에 추가될 때, 애니메이션화된 효과(예컨대, 바운싱)를 갖고서 디스플레이된다.

도 6ag에서, John의 디바이스(6100-1)는 화상 회의 애플리케이션 아이콘(6110)을 선택하는 입력(6118)을 검출한다. 이에 응답하여, 도 6ah에 도시된 바와 같이, John의 디바이스(6100-1)는 화상 회의 애플리케이션을 개시하고, 동적 영역(6106)에 화상 회의 애플리케이션 아이콘(6110-1)을 디스플레이하며, 화상 회의 애플리케이션 윈도우(6120)를 디스플레이한다. 화상 회의 애플리케이션 윈도우(6120)는 인터페이스(604-1)와 유사한 화상 회의 인터페이스(6121)를 포함하고, Jane의 비디오 피드(6122)(표현(623-1)과 유사함) 및 John의 비디오 피드(6124)(표현(622-1)과 유사함)를 포함한다. 일부 실시예들에서, John의 디바이스(6100-1)는, 입력(6118) 후 하나 이상의 추가 입력들을 검출한 후에, 화상 회의 인터페이스(6121)를 갖는 화상 회의 애플리케이션 윈도우(6120)를 디스플레이한다. 예를 들어, 그러한 입력들은 Jane의 랩톱과의 화상 통화를 개시하기 위한 또는 Jane의 랩톱과의 화상 통화에 참가하라는 요청을 수락하기 위한 입력들일 수 있다.

도 6ah에서, John의 디바이스(6100-1)는 카메라 애플리케이션 윈도우(6114) 상에 부분적으로 오버레이되는 화상 회의 애플리케이션 윈도우(6120)를 디스플레이한다. 일부 실시예들에서, John의 디바이스(6100-1)는 카메라 애플리케이션 아이콘(6108)의 선택, 아이콘(6108-1)의 선택, 및/또는 카메라 애플리케이션 윈도우(6114) 상에서의 입력을 검출하는 것에 응답하여 카메라 애플리케이션 윈도우(6114)를 전방 또는 전경으로 가져올 수 있다(예컨대, 화상 회의 애플리케이션 윈도우(6120) 상에 부분적으로 오버레이될 수 있음). 유사하게, 화상 회의 애플리케이션 윈도우(6120)는 화상 회의 애플리케이션 아이콘(6110)의 선택, 아이콘(6110-1)의 선택, 및/또는 화상 회의 애플리케이션 윈도우(6120) 상에서의 입력을 검출하는 것에 응답하여 전방 또는 전경으로 가져와질 수 있다(예컨대, 카메라 애플리케이션 윈도우(6114)를 부분적으로 오버레이할 수 있음).

도 6ah에서, John의 디바이스(6100-1)는 Jane의 디바이스(6100-2)와의 라이브 비디오 통신 세션에 참가하는 것으로 도시된다. 따라서, Jane의 디바이스(6100-2)는 John의 디바이스(6100-1) 상의 화상 회의 애플리케이션 윈도우(6120)와 유사한 화상 회의 애플리케이션 윈도우(6130)를 디스플레이하는 것으로 묘사된다. 화상 회의 애플리케이션 윈도우(6130)는 인터페이스(604-2)와 유사한 화상 회의 인터페이스(6131)를 포함하고, John의 비디오 피드(6132)(표현(622-2)과 유사함) 및 Jane의 비디오 피드(6134)(표현(623-2)과 유사함)를 포함한다.

도 6ah에 도시된 실시예에서, 화상 회의 애플리케이션은 비디오 피드(6124) 및 비디오 피드(6132)를 생성하기 위해 카메라(6102)에 액세스하는 데 사용되고 있다. 따라서, 비디오 피드들(6124, 6132)은, 카메라(6102)를 사용하여 획득되고 화상 회의 애플리케이션에 의해 수정(예컨대, 확대 및/또는 크롭핑)되어 비디오 피드(6124) 및 비디오 피드(6132)에 표시된 이미지(예컨대, 비디오)를 생성하는 이미지 데이터의 뷰를 표현한다. 일부 실시예들에서, 카메라 애플리케이션 및 화상 회의 애플리케이션은 상이한 카메라들을 사용하여 각자의 비디오 피드들을 제공할 수 있다.

화상 회의 애플리케이션 윈도우(6120)는 메뉴 옵션(6126)을 포함하며, 이는 라이브 비디오 통신 세션에서 콘텐츠를 공유하기 위한 상이한 옵션들을 디스플레이하도록 선택될 수 있다. 도 6ah에서, John의 디바이스(6100-1)는 메뉴 옵션(6126)을 선택하는 입력(6128)을 검출하고, 이에 응답하여, 도 6ai에 도시된 바와 같이, 공유 메뉴(6136)를 디스플레이한다. 공유 메뉴(6136)는 공유 옵션들(6136-1, 6136-2, 6136-3)을 포함한다. 공유 옵션(6136-1)은 카메라 애플리케이션으로부터 콘텐츠를 공유하도록 선택될 수 있는 옵션이다. 공유 옵션(6136-2)은 John의 디바이스(6100-1)의 데스크톱으로부터 콘텐츠를 공유하도록 선택될 수 있는 옵션이다. 공유 옵션(6136-3)은 프레젠테이션 애플리케이션으로부터 콘텐츠를 공유하도록 선택될 수 있는 옵션이다. 공유 옵션(6136-1) 상에서 입력(6138)을 검출하는 것에 응답하여, 도 6aj 및 도 6ak에 도시된 바와 같이, John의 디바이스(6100-1)는 카메라 애플리케이션으로부터 콘텐츠를 공유하기 시작한다.

도 6aj에서, John의 디바이스(6100-1)는 라이브 비디오 통신 세션에서 Jane의 디바이스(6100-2)와 공유되는 표면 뷰(6140)를 포함하도록 화상 회의 인터페이스(6121)를 업데이트한다. 도 6aj에 도시된 실시예에서, John의 디바이스(6100-1)는 카메라 애플리케이션을 사용하여 생성된 비디오 피드(카메라 애플리케이션 윈도우(6114) 내에 표면 뷰(6116)로서 표시됨)를 공유하고, 비디오 피드의 표현을 화상 회의 애플리케이션 윈도우(6120) 내에 표면 뷰(6140)로서 디스플레이한다. 추가적으로, John의 랩톱은 (예컨대, 표면 뷰를 다른 비디오 피드들보다 더 큰 크기로 디스플레이함으로써) 화상 회의 인터페이스(6121) 내의 표면 뷰(6140)의 디스플레이를 강조하고, Jane의 비디오 피드(6122)의 디스플레이된 크기를 감소시킨다. 도 6aj에서, John의 디바이스(6100-1)는 화상 회의 애플리케이션 윈도우(6120) 내에 John의 비디오 피드(6124) 및 Jane의 비디오 피드(6122)와 동시에 표면 뷰(6140)를 디스플레이한다. 일부 실시예들에서, 화상 회의 애플리케이션 윈도우(6120) 내의 John의 비디오 피드(6124) 및/또는 Jane의 비디오 피드(6122)의 디스플레이는 선택적이다.

Jane의 디바이스(6100-2)는 John의 디바이스(6100-1)에 의해 공유되는 (카메라 애플리케이션으로부터의) 표면 뷰인 표면 비디오 피드(6142)를 보여주도록 화상 회의 인터페이스(6131)를 업데이트한다. 도 6aj에 도시된 바와 같이, Jane의 디바이스(6100-2)는 Jane의 비디오 피드(6134) 및 John의 비디오 피드(6132)와 동시에 표면 비디오 피드를 보여주기 위해 화상 회의 인터페이스(6131)에 표면 비디오 피드(6142)를 추가하며, John의 비디오 피드는, 선택적으로, 표면 비디오 피드(6142)의 추가를 수용하도록 크기조정되었다. 일부 실시예들에서, Jane의 디바이스(6100-2)는 John의 비디오 피드(6132) 및/또는 Jane의 비디오 피드(6134)를 표면 비디오 피드(6142)로 대체한다.

도 6ak는 공유 옵션(6136-1) 상에서 입력(6138)을 검출하는 것에 응답하여 카메라 애플리케이션으로부터의 콘텐츠의 공유를 도시하는 대안적인 실시예를 예시한다. 도 6ak에서, John의 랩톱은 표면 뷰(6116)를 갖는 카메라 애플리케이션 윈도우(6114)를 디스플레이한다(선택적으로, 화상 회의 애플리케이션 윈도우(6120)를 최소화하거나 숨김). John의 디바이스(6100-1)는, 또한, John의 비디오 피드(6115)(John의 비디오 피드(6124)와 유사함) 및 Jane의 비디오 피드(6117)(Jane의 비디오 피드(6122)와 유사함)를 디스플레이하며, 이는 John의 랩톱이 라이브 비디오 통신 세션(예컨대, 화상 회의 애플리케이션에 의해 제공되는 화상 채팅)에서 Jane의 디바이스(6100-2)와 표면 뷰(6116)를 공유하고 있음을 나타낸다. 일부 실시예들에서, John의 비디오 피드(6115) 및/또는 Jane의 비디오 피드(6117)의 디스플레이는 선택적이다. 도 6aj에 도시된 실시예와 유사하게, Jane의 디바이스(6100-2)는 John의 디바이스(6100-1)에 의해 공유되는 (카메라 애플리케이션으로부터의) 표면 뷰인 표면 비디오 피드(6142)를 보여준다.

도 6al은 도 6af 내지 도 6ak에 도시된 실시예들에 대한, 카메라(6102)의 시야, 및 화상 회의 애플리케이션 및 카메라 애플리케이션에 사용되고 있는 시야의 일부분들을 표현하는 개략도를 예시한다. 예를 들어, 도 6al에서, John의 랩톱(6100)의 프로파일 뷰가 John의 물리적 환경에 도시되어 있다. 파선(6145-1) 및 점선(6147-2)은, 일부 실시예들에서 광각 카메라인 카메라(6102)의 시야의 외부 치수들을 표현한다. 카메라(6102)의 집합적인 시야는 셰이딩된(shaded) 영역들(6144, 6146, 6148)에 의해 표시된다. 카메라 애플리케이션(예컨대, 표면 뷰(6116))에 사용되고 있는 카메라 시야의 일부분은 점선들(6147-1, 6147-2) 및 셰이딩된 영역들(6146, 6148)에 의해 표시된다. 다시 말하면, 표면 뷰(6116)(및 표면 뷰(6140))는 점선(6147-1)과 점선(6147-2) 사이에 있는 셰이딩된 영역들(6146, 6148)에 의해 표현되는 카메라의 시야의 일부분을 사용하여 카메라 애플리케이션에 의해 생성된다. 화상 회의 애플리케이션(예컨대, John의 비디오 피드(6124))에 사용되고 있는 카메라 시야의 일부분은 파선들(6145-1, 6145-2) 및 셰이딩된 영역들(6144, 6146)에 의해 표시된다. 다시 말하면, John의 비디오 피드(6124)는 파선(6145-1)과 파선(6145-2) 사이에 있는 셰이딩된 영역들(6144, 6146)에 의해 표현되는 카메라의 시야의 일부분을 사용하여 화상 회의 애플리케이션에 의해 생성된다. 셰이딩된 영역(6146)은 각자의 카메라 및 화상 회의 애플리케이션들에 대한 비디오 피드들을 생성하는 데 사용되고 있는 카메라 시야의 일부분의 중첩을 표현한다.

도 6am 내지 도 6ay는, 도 6a 내지 도 6al을 참조하여 예시되고 설명된 다양한 사용자 인터페이스들 및 뷰들을 제어하고/하거나 그와 상호작용하기 위한 실시예들을 예시한다. 도 6am 내지 도 6ay에 도시된 실시예들에서, 인터페이스들은 태블릿(예컨대, John의 태블릿(600-1) 및/또는 Jane의 디바이스(600-2)) 및 컴퓨터(예컨대, Jane의 컴퓨터(600-4))를 사용하여 예시된다. 도 6am 내지 도 6ay에 예시된 실시예들은, 선택적으로, 랩톱(예컨대, John의 디바이스(6100-1) 및/또는 Jane의 디바이스(6100-2))과 같은 상이한 디바이스를 사용하여 구현된다. 유사하게, 도 6a 내지 도 6al에 예시된 실시예들은, 선택적으로, Jane의 컴퓨터(6100-2)와 같은 상이한 디바이스를 사용하여 구현된다. 따라서, 도 6a 내지 도 6al과 관련하여 위에서 설명된 다양한 동작들 또는 특징부들은 간결함을 위해 아래에서 반복되지 않는다.

추가적으로, 도 6a 내지 도 6al과 관련하여 논의된 하나 이상의 카메라들(예컨대, 602, 682, 및/또는 6102)에 의해 제공되는 애플리케이션들, 인터페이스들(예컨대, 604-1, 604-2, 6121, 및/또는 6131) 및 시야들(예컨대, 620, 688, 6145-1, 및 6147-2)은 도 6am 내지 도 6ay와 관련하여 논의된 카메라(예컨대, 602)에 의해 제공되는 애플리케이션들, 인터페이스들(예컨대, 604-4) 및 시야들(예컨대, 620)과 유사하다. 따라서, 이들 애플리케이션들, 인터페이스들, 및 시야들의 상세사항들은 간결함을 위해 아래에서 반복되지 않을 수 있다. 추가적으로, 도 6a 내지 도 6al과 관련하여 논의된 디스플레이된 요소들(예컨대, 622-1, 622-2, 623-1, 623-2, 624-1, 624-2, 6121, 및/또는 6131)과 연관된 뷰들을 제어하기 위해 디바이스(600-1)에 의해 검출되는 옵션들 및 요청들(예컨대, 입력들 및/또는 손 제스처들)은, 선택적으로, 도 6am 내지 도 6ay와 관련하여 논의된 디스플레이된 요소들(예컨대, 622-1, 622-4, 623-1, 623-4, 6214, 및/또는 6216)과 연관된 뷰들을 제어하기 위해 디바이스(600-2) 및/또는 디바이스(600-4)에 의해 검출된다(예컨대, 사용자(623)는, 선택적으로, 디바이스(600-1) 및/또는 디바이스(600-2)로 하여금 표면의 수정된 이미지를 포함하는 표현(624-1)을 제공하게 하기 위한 입력을 제공함). 추가적으로, 도 6am 내지 도 6ay의 디바이스들(600-1, 600-2)은 가로 배향에 있는 것으로 설명되고 묘사된다. 일부 실시예들에서, 디바이스(600-1) 및/또는 디바이스(600-2)는 도 6o의 디바이스(600-1)와 유사하게 세로 배향에 있다. 따라서, 디바이스(600-2)에 의해 검출되는 이들 옵션들 및 요청들의 상세사항들은 간결함을 위해 아래에서 반복되지 않을 수 있다.

도 6am 내지 도 6aj는 물리적 환경의 뷰를 제어하기 위한 예시적인 사용자 인터페이스들을 예시하고 설명한다. 이들 도면들의 사용자 인터페이스들은, 도 15의 프로세스들을 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다. 도 6am에서, 디바이스(600-1) 및 디바이스(600-4)는 각각 인터페이스들(604-1, 604-4)을 디스플레이한다. 인터페이스(604-1)는 표현(622-1)을 포함하고, 인터페이스(604-4)는 표현(622-4)을 포함한다. 표현들(622-1, 622-4)은 시야(620)의 일부분, 구체적으로는 셰이딩된 영역(6206)으로부터의 이미지 데이터의 이미지들을 포함한다. 예시된 바와 같이, 표현들(622-1, 622-4)은 사용자(622)의 머리 및 상부 몸통의 이미지를 포함하고, 책상(621) 상의 드로잉(618)의 이미지를 포함하지 않는다. 인터페이스들(604-1, 604-4)은 카메라(6202)의 시야(6204) 내에 있는 사용자(223)의 이미지를 포함하는 표현들(623-1, 623-4)을 각각 포함한다. 인터페이스들(604-1, 604-4)은 디바이스들(600-1, 600-4)이 이미지 데이터가 어떻게 디스플레이되는지를 관리하도록 허용하는 (도 6f 및 도 6g를 포함하여, 602에 의해 캡처되고/되거나 카메라(6202)에 의해 캡처된 이미지 데이터를 제어하기 위한, 도 6a 내지 도 6ae와 관련하여 논의된 옵션 메뉴(608)와 유사한) 옵션 메뉴(609)를 추가로 포함한다.

도 6an에서, 사용자(623)는 라이브 비디오 통신 세션 동안 디바이스(600-2)를 디바이스(600-4) 근처로 가져온다. 도시된 바와 같이, (예컨대, 무선 통신을 통해) 디바이스(600-2)를 검출하는 것에 응답하여, 디바이스(600-4)는 추가하기 통지(add notification)(6210a)를 디스플레이한다. 유사하게, 디바이스(600-4)를 검출하는 것에 응답하여, 디바이스(600-2)는, 디스플레이(683)(예컨대, 터치 감응형 디스플레이)를 통해, 추가하기 통지(6210b)를 디스플레이한다. 일부 실시예들에서, 디바이스들(600-2, 600-4)은 특정 디바이스 기준들을 사용하여 추가하기 통지들(6210a, 6210b)의 디스플레이를 트리거한다. 일부 실시예들에서, 특정 디바이스 기준들은, 만족될 때, 추가하기 통지들(6210a 및/또는 6210b)의 디스플레이를 트리거하는, 디바이스(600-2)의 특정 위치(예컨대, 장소, 배향, 및/또는 각도)에 대한 기준을 포함한다. 그러한 실시예들에서, 디바이스(600-2)의 특정 위치(예컨대, 장소, 배향, 및/또는 각도)는, 디바이스(600-2)가 특정 각도를 갖거나 각도들의 범위(예컨대, 디바이스가 수평이고/이거나 책상(686) 상에 평평하게 놓여 있음을 나타내는 각도 또는 각도들의 범위) 내에 있고/있거나 디스플레이(683)가 (예컨대, 책상을(686)을 향해 아래로 향하는 것과는 대조적으로) 위로 향한다는 기준을 포함한다. 일부 실시예들에서, 특정 디바이스 기준들은 디바이스(600-2)가 디바이스(600-4) 근처에 있다는(예컨대, 디바이스(600-4)의 임계 거리 내에 있다는) 기준을 포함한다. 일부 실시예들에서, 디바이스(600-2)는 (예컨대, 위치 데이터 및/또는 단거리 무선 통신들, 예를 들어 블루투스 및/또는 NFC를 사용하여) 디바이스(600-4)와 무선 통신하여 디바이스(600-2)의 위치 및/또는 근접도를 통신한다. 일부 실시예들에서, 특정 디바이스 기준들은 디바이스(600-2) 및 디바이스(600-4)가 동일한 사용자와 연관된다는(예컨대, 그에 의해 사용되고 있고/있거나 그에 의해 로그인된다는) 기준을 포함한다. 일부 실시예들에서, 특정 디바이스 기준들은 디바이스(600-2)가 특정 상태(예컨대, 잠기고/잠기거나 디스플레이의 전원이 꺼져 있는 것과는 대조적으로, 잠금해제되고/되거나 디스플레이의 전원이 켜져 있음)를 갖는다는 기준을 포함한다.

도 6an에서, 연결 통지(connect notification)들(6210a 내지 6210b)은 라이브 비디오 통신 세션에서 디바이스(600-4)를 포함하는 표시를 포함한다. 예를 들어, 추가하기 통지들(6210a 내지 6210b)은 카메라(602)에 의해 캡처된 시야(620)의 이미지를 포함하는, 디바이스(600-2) 상에 디스플레이하기 위한 표현을 추가하는 표시를 포함한다. 일부 실시예들에서, 추가하기 통지들(6210a 내지 6210b)은 카메라(6202)에 의해 캡처된 시야(6204)의 이미지를 포함하는, 디바이스(600-1) 상에 디스플레이하기 위한 표현을 추가하는 표시를 포함한다.

도 6an에서, 추가하기 통지들(6210a, 6210b)은, 선택될 때, 디바이스(600-2)를 라이브 비디오 통신 세션에 추가(예컨대, 연결)하는 수락 어포던스들(6212a, 6212b)을 포함한다. 통지들(6210a, 6210b)은, 선택될 때, 디바이스(600-2)를 라이브 비디오 통신 세션에 추가하지 않고서 각각 통지들(6210a, 6210b)을 해제하는 거절 어포던스들(6213a, 6213b)을 포함한다. 수락 어포던스(6212b)를 디스플레이하는 동안, 디바이스(600-2)는 수락 어포던스(6212b)를 향한 입력(6250an)(예컨대, 탭, 마우스 클릭, 또는 다른 선택 입력)을 검출한다. 입력(6250an)을 검출하는 것에 응답하여, 도 6ao에 도시된 바와 같이, 디바이스(600-2)는 인터페이스(604-2)를 디스플레이한다.

도 6ao에서, 인터페이스(604-2)는 (예컨대, 도 6a 내지 도 6ae를 참조하여) 본 명세서에서 설명된 인터페이스(604-2) 및 (예컨대, 도 6ah 내지 도 6ak를 참조하여) 본 명세서에서 설명된 바와 같은 화상 회의 인터페이스(6131)와 유사하지만, 상이한 상태를 갖는다. 예를 들어, 도 6ao의 인터페이스(604-2)는 표현들(622-2, 623-2), John의 비디오 피드(6132) 및 Jane의 비디오 피드(6134), 및 옵션 메뉴(609)를 포함하지 않는다. 일부 실시예들에서, 도 6ao의 인터페이스(604-2)는, 표현들(622-2, 623-2), John의 비디오 피드(6132) 및 Jane의 비디오 피드(6134), 및/또는 옵션 메뉴(609) 중 하나 이상을 포함한다.

도 6ao에서, 인터페이스(604-2)는 카메라(602)에 의해 캡처된 비디오 피드의 조정가능 뷰(6214)(John의 비디오 피드(6132) 및 표현(622-2)과 유사하지만, 시야(620)의 상이한 부분을 포함함)를 포함한다. 조정가능 뷰(6214)는 셰이딩된 영역(6217)에 대응하는 시야(620)의 일부분과 연관된다. 일부 실시예들에서, 도 6ao의 인터페이스(604-2)는 표현들(622-4, 623-4) 및/또는 옵션 메뉴(609)를 포함한다. 일부 실시예들에서, 표현들(622-4, 623-4) 및/또는 옵션 메뉴(609)는 디바이스(600-2) 및/또는 디바이스(600-4)에서 검출된 입력에 응답하여 인터페이스(604-4)로부터 인터페이스(604-2)로 이동되어 조정가능 뷰(6214)와 동시에 디스플레이된다. 그러한 실시예들에서, 디스플레이(6201)는 디스플레이(604-1)의 2차 디스플레이(예컨대, 확장 디스플레이)로서 작용하고/하거나 그 반대의 경우도 가능하다.

도 6ao에서, 도 6an에서의 입력(6250an)의 검출에 응답하여, 도 6ao에 도시된 바와 같이, 디바이스(600-1)는 인터페이스(604-1)를 디스플레이한다(그리고/또는 디바이스(600-2)는 디바이스(600-1)로 하여금 그를 디스플레이하게 함). 도 6ao의 인터페이스(604-1)는 도 6an의 인터페이스(604-1)와 유사하지만, 상이한 상태를 갖는다(예컨대, 표현들(623-1, 622-1)은 크기가 더 작고 상이한 위치들에 있음). 인터페이스(604-1)는 디바이스(600-2)에 디스플레이되는 조정가능 뷰(6214)와 유사한 조정가능 뷰(6216)를 포함한다(예컨대, 조정가능 뷰(6216)는 셰이딩된 영역(6217)에 대응하는 시야(620)의 일부분과 연관됨). 조정가능 뷰(6216)는 본 명세서에 설명된 입력들(예컨대, 디바이스(600-2)의 이동들)이 디바이스(600-2)에 의해 검출될 때 조정가능 뷰(6214)와 유사한 이미지들을 포함하도록 업데이트된다. 조정가능 뷰(6216)를 디스플레이하는 것은 사용자(624)가 시야(620)의 어떤 부분을 현재 관찰하고 있는지를 사용자(622)가 보도록 허용하는데, 그 이유는, 아래에서 더 상세히 설명되는 바와 같이, 사용자(623)가, 선택적으로, 시야(620) 내의 어떤 뷰가 디스플레이되는지를 제어하기 때문이다.

도 6ao에서, 인터페이스(604-2)를 디스플레이하는 동안, 디바이스(600-2)는 디바이스(600-2)의 이동(6218ao)을 검출한다. 이동(6218ao)을 검출하는 것에 응답하여, 디바이스(600-2)는 도 6ap의 인터페이스(602-4)를 디스플레이한다. 추가적으로, 이동(6218ao)을 검출하는 것에 응답하여, 디바이스(600-2)는 디바이스(600-1)로 하여금 도 6ap의 인터페이스(604-1)를 디스플레이하게 한다.

도 6ap에서, 인터페이스(602-4)는 업데이트된 조정가능 뷰(6214)를 포함한다. 도 6ap의 조정가능 뷰(6214)는 도 6ao의 조정가능 뷰(6214)와 비교하여 시야(620) 내의 상이한 뷰이다. 예를 들어, 도 6ap의 셰이딩된 영역(6217)은 도 6ao의 셰이딩된 영역(6217)에 대해 이동하였다. 특히, 카메라(602)는 이동하지 않았다. 일부 실시예들에서, 디바이스(600-2)의 이동(6218ao)은 조정가능 뷰(6214)의 변화량에 대응한다(예컨대, 그에 비례함). 예를 들어, 일부 실시예들에서, 디바이스(600-2)가 (예컨대, 중력에 대해) 회전하는 각도의 크기는 조정가능 뷰(6214)의 변화량(예컨대, 이미지 데이터가 새로운 화각을 포함하도록 패닝되는 양)에 대응한다. 일부 실시예들에서, 디바이스(600-2)의 이동(예컨대, 이동(6218ao))의 방향(예컨대, 아래로 기울임 및/또는 아래로 회전함)은 조정가능 뷰(6214)의 변화의 방향에 대응한다(예컨대, 아래로 패닝함). 일부 실시예들에서, 이동(예컨대, 이동(6218))의 가속도 및/또는 속도는 조정가능 뷰(6214)가 변화하는 속도에 대응한다. 일부 실시예들에서, 디바이스(600-2)(및/또는 디바이스(600-1))는 도 6ao의 조정가능 뷰(6214)로부터 도 6ap의 조정가능 뷰(6214)로의 점진적인 전이(예컨대, 시리즈 뷰들)를 디스플레이한다. 추가적으로 또는 대안적으로, 도 6ap에 도시된 바와 같이, 디바이스(600-2)는 책상(686) 상에 평평하게 놓여 있다. 일부 실시예들에서, 특정 위치 또는 위치들의 미리정의된 범위 내의 위치(예컨대, 수평 및/또는 디스플레이 업)를 검출하는 것에 응답하여, 디바이스(600-2)는 도 6ap의 조정가능 뷰(6214)를 디스플레이한다. 도시된 바와 같이, 도 6ao에서의 이동(6218ao)은 도 6ap에서 디바이스(600-2)가 표현들(622-4, 623-4)(및/또는 디바이스(600-1) 상의 표현들(623-1, 622-1))을 업데이트하게 하지 않는다.

도 6ap에서, 조정가능 뷰(6214) 내의 드로잉(618)의 이미지는 도 6ao의 조정가능 뷰(6214) 내의 드로잉(618)의 이미지의 관점과는 상이한 관점에 있다. 예를 들어, 도 6ap의 조정가능 뷰(6214)는 평면 뷰 관점을 포함하는 반면, 도 6ao의 조정가능 뷰(6214)는 측면 뷰와 평면 뷰의 조합을 포함하는 관점을 포함한다. 일부 실시예들에서, 도 6ap의 조정가능 뷰(6214)에 포함된 드로잉의 이미지는 도 6a 내지 도 6al을 참조하여 설명된 유사한 기법들을 사용하여 수정(예컨대, 스큐잉 및/또는 확대)된 이미지 데이터에 기초한다. 일부 실시예들에서, 도 6ao의 조정가능 뷰(6214)에 포함된 드로잉의 이미지는, 도 6ap의 조정가능 뷰(6214) 내의 드로잉(618)의 이미지와는 상이한 방식으로(예컨대, 더 적은 정도로) 수정되었고/되었거나(예컨대, 도 6ap에 적용된 스큐의 양 및/또는 배율의 양과 비교하여 덜 스큐잉되고/되거나 덜 확대됨) 수정(예컨대, 스큐잉 및/또는 확대)되지 않은 이미지 데이터에 기초한다. 평면 뷰 관점을 제공하는 것은, 그가 사용자(623)가 사용자(622)의 맞은편에 앉아 책상(621)의 표면(619)을 내려다보고 있었다면 사용자(623)가 가졌을 뷰와 유사하였을 드로잉의 뷰를 사용자(623)에게 제공하기 때문에, 콘텐츠를 협업하고 공유하는 데 더 큰 용이함을 제공한다.

도 6ap에서, 인터페이스(604-1)의 조정가능 뷰(6216)도 유사한 방식으로 업데이트되었다. 일부 실시예들에서, 조정가능 뷰(6216) 및/또는 조정가능 뷰(6214)의 이미지들은, 도 6a 내지 도 6al을 참조하여 설명된 바와 같이, 카메라(602)에 대한 표면(619)의 위치에 기초하여 수정된다. 그러한 실시예들에서, 디바이스(600-1) 및/또는 디바이스(600-2)는 조정가능 뷰(6214)의 이미지를 드로잉(618)의 이미지가 조정가능 뷰(6216) 및/또는 조정가능 뷰(6214)에서 더 직관적으로 관찰될 수 있도록 하는 양(예컨대, 45도, 90도, 또는 180도)만큼 회전시킨다(예컨대, 드로잉(618)의 이미지는 집이 거꾸로 된 것과는 대조적으로 위쪽이 위로 오도록 디스플레이됨).

도 6ap에서, 사용자(623)는 스타일리스트(stylist)(6220)를 사용하여 조정가능 뷰(6214)에 숫자 마크들을 적용한다. 예를 들어, 도 6ap의 조정가능 뷰(6214)를 디스플레이하는 동안, 디바이스(600-2)는 (예컨대, 스타일리스트(6220)를 사용하여) 조정가능 뷰(6214)에 디지털 마크들을 추가하라는 요청에 대응하는 입력을 검출한다. 조정가능 뷰(6214)에 디지털 마크들을 추가하라는 요청에 대응하는 입력을 검출하는 것에 응답하여, 도 6ao에 도시된 바와 같이, 디바이스(600-2)는 인터페이스(604-2)를 디스플레이한다. 추가적으로 또는 대안적으로, 조정가능 뷰(6214)에 디지털 마크들을 추가하라는 요청에 대응하는 입력을 검출하는 것에 응답하여, 도 6aq에 도시된 바와 같이, 디바이스(600-1)는 인터페이스(604-1)를 디스플레이한다(그리고/또는 디바이스(600-2)는 디바이스(600-1)로 하여금 그를 디스플레이하게 함).

도 6aq에서, 인터페이스(602-4)는 조정가능 뷰(6214) 내에 디지털 태양(6222)을 포함하고, 인터페이스(602-1)는 조정가능 뷰(6214) 내에 디지털 태양(6223)을 포함한다. 둘 모두의 디바이스들에 디지털 태양을 디스플레이하는 것은 사용자들(623, 622)이 비디오 통신 세션을 통해 협업하도록 허용한다. 추가적으로, 도시된 바와 같이, 디지털 태양(6222)은 드로잉(618)의 이미지에 대해 일정 위치를 갖는다. 아래에서 더 상세히 설명되는 바와 같이, 디바이스(600-1)가 추가 이동을 검출하고/하거나 드로잉(618)이 표면(619) 상에서 이동하는 경우에도, 디지털 태양(6222)은 드로잉(618)의 이미지에 대해 그의 위치를 유지한다. 일부 실시예들에서, 디바이스(600-2)는, 디지털 태양(6222)이 디스플레이되어야 하는 장소(및/또는 디스플레이되어야 하는지)를 결정하기 위해, 이미지 데이터에서 검출된 디지털 마크들(예컨대, 디지털 태양(6223))과 객체들(예컨대, 집) 사이의 관계에 대응하는 데이터를 저장한다. 일부 실시예들에서, 디바이스(600-2)는, 디지털 태양(6222)이 디스플레이되어야 하는 장소(및/또는 디스플레이되어야 하는지)를 결정하기 위해, 디지털 마크들(예컨대, 디지털 태양(6223))과 디바이스(600-2)의 위치 사이의 관계에 대응하는 데이터를 저장한다. 일부 실시예들에서, 디바이스(600-2)는 시야(620) 내의 다른 뷰들에 적용되는 디지털 마크들을 검출한다. 예를 들어, 디지털 마크들은 도 6ar의 조정가능 뷰(6214) 내의 사용자(622)의 머리의 이미지와 같은 사용자의 머리의 이미지에 적용될 수 있다.

도 6aq에서, 인터페이스(604-2)는 조정가능 뷰(6214) 내의 이미지를 수정하기 위한 제어 어포던스(648-1)(도 6n의 제어 어포던스(648-1)와 유사함)를 포함한다. 회전 어포던스(648-1)는, 선택될 때, 도 6n에서 제어 어포던스(648-1)가 표현(624-1)의 이미지를 수정하는 방법과 유사하게, 디바이스(600-1)(및/또는 디바이스(600-2))로 하여금 조정가능 뷰(6214)의 이미지를 회전시키게 한다.

도 6aq에서, 일부 실시예들에서, 인터페이스(604-2)는 도 6n의 줌 어포던스(648-2)와 유사한 줌 어포던스를 포함한다. 그러한 실시예들에서, 줌 어포던스는, 도 6n에서 줌 어포던스(648-2)가 표현(624-1)의 이미지를 수정하는 방법과 유사하게, 조정가능 뷰(6214) 내의 이미지를 수정한다. 제어 어포던스들(648-1, 648-2)은, 예를 들어 옵션 메뉴(609)(예컨대, 도 6am)의 어포던스의 선택에 대응하는 하나 이상의 입력들에 응답하여 디스플레이될 수 있다.

도 6aq에서, 일부 실시예들에서, 도 9k 내지 도 9n에서 설명되는, 마크업(markup)(956)이 표면(908b) 상에 투영되는 방법과 유사하게, 디지털 태양(6222)이 드로잉(618)의 물리적 표면 상에 투영된다. 그러한 실시예들에서, 전자 디바이스(예컨대, 프로젝터 및/또는 발광 프로젝터)가 물리적 환경(915) 내에 디지털 태양(6222)의 이미지 및/또는 렌더링을 투영하는 데 사용된다. 예를 들어, 전자 디바이스는 도 9k 내지 도 9n과 관련하여 설명되는 기법들을 사용하여 드로잉(618)에 대한 디지털 태양(6222)의 상대 위치에 기초하여 디지털 태양의 투영이 드로잉(618) 옆에 디스플레이되게 할 수 있다.

도 6aq에서, 조정가능 뷰(6214) 내에 디지털 태양(6222)을 디스플레이하는 동안, 디바이스(600-2)는 이동(6218aq)(예컨대, 회전 및/또는 들어올림)을 검출한다. 이동(6218aq)을 검출하는 것에 응답하여, 도 6ar에 도시된 바와 같이, 디바이스(600-2)는 인터페이스(604-2)를 디스플레이한다. 이동(6218aq)을 검출하는 것에 응답하여, 도 6ar에 도시된 바와 같이, 디바이스(600-1)는 인터페이스(604-1)를 디스플레이한다(그리고/또는 디바이스(600-2)는 디바이스(600-1)로 하여금 그를 디스플레이하게 함).

도 6ar에서, 인터페이스(604-2)는 업데이트된 조정가능 뷰(6214)(이는 인터페이스(606-1) 내의 업데이트된 조정가능 뷰(6216)에 대응함)를 포함한다. 도 6ar의 조정가능 뷰(6214)는 도 6aq의 조정가능 뷰(6214)와 비교하여 시야(620) 내의 상이한 뷰이다. 예를 들어, 도 6ap의 셰이딩된 영역(6217)은 도 6aq의 셰이딩된 영역(6217)에 대해 이동하였다. 일부 실시예들에서, 이동(6218aq)의 방향(예컨대, 위로 기울임)은 뷰의 변화의 방향(예컨대, 위로 패닝함)에 대응한다. 추가적으로, 셰이딩된 영역(6217)은, 더 어두운 셰이딩된 영역(6224)에 의해 묘시된 바와 같이, 셰이딩된 영역(6206)과 중첩된다. 더 어두운 셰이딩된 영역(6224)은 업데이트된 조정가능 뷰(6214)가 표현(622-4)에 사용되는 이미지 데이터의 일부분에 기초한다는 개략적인 표현이다. 이동(6218aq)이 (예컨대, 드로잉(618)의 뷰가 아니라 그리고/또는 사용자(622)의 얼굴로) 뷰를 변경하는 결과를 가져왔기 때문에, 디바이스(600-2)는 조정가능 뷰(6214) 내에 디지털 태양(6222)을 더 이상 디스플레이하지 않는다.

도 6ar에서, 조정가능 뷰(6214)는 경계 표시자(6226)를 포함한다. 경계 표시자(6226)는 경계에 도달하였음을 나타낸다. 일부 실시예들에서, 경계는 시야(620)(또는 카메라(602)에 의해 캡처된 환경)의 어떤 부분이 디스플레이를 위해 제공되는지에 한계를 설정하도록 (예컨대, 사용자에 의해) 구성된다. 예를 들어, 사용자(622)는 어떤 부분이 사용자(623)에게 이용가능한지를 제한할 수 있다. 일부 실시예들에서, 경계는 시야(620)를 제공하는 카메라(602)(예컨대, 이미지 센서들 및/또는 렌즈들)의 물리적 제한들에 의해 한정된다. 도 6ar에서, 셰이딩된 영역(6217)은 시야(620)의 한계들에 도달하지 않았다. 이와 같이, 경계 표시자(6226)는 시야(620)의 어떤 부분이 디스플레이를 위해 제공되는지를 제한하는 구성가능 설정에 기초한다. 도 6at를 간단히 참조하면, 경계 표시자(6226)는 조정가능 뷰(6214)에 제공된 관점이 시야(620)의 에지에 도달하였다는 결정에 응답하여 디스플레이된다.

도 6ar에서, 경계 표시자(6226)는 크로스 해칭으로 묘사되어 있다. 일부 실시예들에서, 보안 경계 표시자(6226)는 조정가능 뷰(6214)(및/또는 조정가능 뷰(6216))에 적용되는 시각적 효과(예컨대, 블러 및/또는 페이드)이다. 일부 실시예들에서, 경계 표시자(6226)는 경계의 위치를 나타내기 위해 조정가능 뷰(6214)(및/또는 6216)의 에지를 따라 디스플레이된다. 도 6ar에서, 경계 표시자(6226)는 상단 및 측부 에지를 따라 디스플레이되어, 사용자가 경계 표시자들(6226)의 위 및/또는 더 옆을 볼 수 없음을 나타낸다. 도 6ar에서 인터페이스(604-2)를 디스플레이하는 동안, 디바이스(600-2)는 이동(6218ar)(예컨대, 회전 및/또는 하강)을 검출한다. 이동(6218ar)을 검출하는 것에 응답하여, 도 6as에 도시된 바와 같이, 디바이스(600-2)는 인터페이스(604-2)를 디스플레이한다. 이동(6218ar)을 검출하는 것에 응답하여, 도 6as에 도시된 바와 같이, 디바이스(600-1)는 인터페이스(604-2)를 디스플레이한다(그리고/또는 디바이스(600-2)는 디바이스(600-1)로 하여금 그를 디스플레이하게 함).

도 6as에서, 인터페이스(604-2)는 드로잉(618)의 이미지를 포함하는 업데이트된 조정가능 뷰(6214)를 포함한다. 도 6as에서, 디바이스(600-2)는 도 6ao에서 디바이스(600-2)가 있었던 바와 유사한 위치에 있다. 이와 같이, 도 6as의 조정가능 뷰(6214)는 도 6ao의 조정가능 뷰(6214) 내의 드로잉(618)의 이미지의 관점과 동일한, 조정가능 뷰(6214) 내의 드로잉(618)의 이미지의 관점을 포함한다. 특히, 디바이스(600-2)는 도 6as의 조정가능 뷰(6214) 내에 디지털 태양(6222)을 디스플레이한다. 도 6as의 드로잉(618)의 집에 대한 디지털 태양(6222)의 위치는, 상이한 뷰에 기초한 약간의 차이들을 제외하고는, 도 6aq의 드로잉(618)의 집에 대한 디지털 태양(6222)의 위치와 유사하다. 이와 같이, 디지털 태양(6222)은, 마치 그가 드로잉(618) 옆에 그려진 것처럼, 물리적 공간에 고정된 것으로 보인다. 물리적 공간에 디지털 마크의 위치를 고정시키는 것은 사용자들 사이의 더 양호한 협업을 용이하게 하는데, 그 이유는 사용자가 하나의 뷰에서 디지털 방식으로 그리거나 필기할 수 있고, 디바이스를 이동시켜 상이한 뷰를 볼 수 있으며, 이어서 디바이스를 다시 이동시켜 디지털 드로잉들 또는 필기문들 및 그들이 작성된 콘텍스트를 재디스플레이할 수 있기 때문이다.

명확성을 위해, 셰이딩된 영역들(6217, 6206) 및 시야(620)는 도 6as 내지 도 6au로부터 생략되었다. 일부 실시예들에서, 표현들(622-1) 및 조정가능 뷰들(6214, 6216)은 도 6ao의 셰이딩된 영역들(6217, 6206) 및 시야(620)와 연관된 뷰들에 대응한다.

도 6as에서, 디바이스(600-2)(및/또는 디바이스(600-1))는 드로잉(618)의 이동을 검출하고, 조정가능 뷰(6214) 내의 드로잉(618)의 이미지의 디스플레이를 유지한다. 일부 실시예들에서, 디바이스(600-2)(및/또는 디바이스(600-1))는 이미지 보정 소프트웨어를 사용하여 이미지 데이터를 수정(예컨대, 주밍, 스큐잉, 및/또는 회전)하여서 조정가능 뷰(6214) 내의 드로잉(618)의 이미지의 디스플레이를 유지한다. 인터페이스(604-2)를 디스플레이하는 동안, 디바이스(600-2)(및/또는 디바이스(600-1))는 드로잉(618)의 수평 이동(6230)을 검출한다. 드로잉(618)의 수평 이동(6230)을 검출하는 것에 응답하여, 도 6at에 도시된 바와 같이, 디바이스(600-2)는 인터페이스(604-2)를 디스플레이한다. 일부 실시예들에서, 드로잉(618)의 수평 이동(6230)을 검출하는 것에 응답하여, 도 6at에 도시된 바와 같이, 디바이스(600-1)는 인터페이스(604-2)를 디스플레이한다(그리고/또는 디바이스(600-2)는 디바이스(600-1)로 하여금 그를 디스플레이하게 함). 일부 실시예들에서, 디바이스(600-1)가 드로잉(618)의 수평 이동(6230)을 검출하는 것에 응답하여, 도 6at에 도시된 바와 같이, 디바이스(600-2)는 인터페이스(602-4)를 디스플레이한다(그리고/또는 디바이스(600-1)는 디바이스(600-2)로 하여금 그를 디스플레이하게 함).

도 6at에서, 드로잉(618)은 카메라(602)로부터 더 멀리 떨어진(예컨대, 그리고 그 옆에 있는) 책상의 에지(621)로 이동되었다. 위치의 변화에도 불구하고, 도 6at의 인터페이스(602-4)는 도 6as의 인터페이스(602-4)의 조정가능 뷰(6214) 내의 드로잉(618)의 이미지로부터 거의 변경되지 않은 것으로 보이는 조정가능 뷰(6214) 내의 드로잉(618)의 이미지를 포함한다. 예를 들어, 조정가능 뷰(6214)는, 도 6as에서의 드로잉(618)의 위치와 유사하게, 드로잉(618)이 여전히 카메라(602)의 바로 전방에 있는 것으로 보이게 하는 관점을 제공한다. 일부 실시예들에서, 디바이스(600-2)(및/또는 디바이스(600-1))는 카메라(602)에 대한 새로운 위치에 기초하여 드로잉(618)의 이미지를 (예컨대, 스큐잉 및/또는 확대함으로써) 보정하기 위해 이미지 보정 소프트웨어를 사용한다. 일부 실시예들에서, 디바이스(600-2)(및/또는 디바이스(600-1))는 객체 검출 소프트웨어를 사용하여, 드로잉(618)이 카메라(602)에 대해 이동함에 따라 드로잉을 추적한다. 일부 실시예들에서, 도 6at의 인터페이스(604-2)의 조정가능 뷰(6214)는 카메라(602)의 위치(예컨대, 장소, 배향, 및/또는 회전)의 어떠한 변화 없이 제공된다.

도 6at에서, 디바이스(600-2)는 조정가능 뷰(6214)(조정가능 뷰(6216) 내에 디바이스(600-1)에 의해 디스플레이되는 조정가능 뷰(6214)와 유사함) 내에 경계 표시자(6226)를 디스플레이한다. 도 6ar과 관련하여 위에서 논의된 바와 같이, 경계 표시자(6226)는 시야 또는 물리적 공간의 한계에 도달하였음을 나타낸다. 도 6at에서, 디바이스(600-2)는 조정가능 뷰(6214) 내에 경계 표시자(6226)를 디스플레이하여, 시야(620)의 에지에 도달하였음을 나타낸다. 경계 표시자(6226)는 조정가능 뷰(6214)(및 조정가능 뷰(6216))의 우측 에지를 따라 있으며, 이는 현재 뷰의 우측에 있는 뷰들이 카메라(602)의 시야를 초과함을 나타낸다.

도 6at에서, 디지털 태양(6222)은 도 6as의 조정가능 뷰(6214) 내의 드로잉(618)의 이미지 내의 집에 대한 디지털 태양(6222)의 각자의 위치와 유사한, 조정가능 뷰(6214) 내의 드로잉(618)의 이미지 내의 집에 대한 각자의 위치를 유지한다. 일부 실시예들에서, 디바이스(600-2)(및/또는 디바이스(600-1))는 드로잉(618)의 새로운 위치에 기초하여 보정된 드로잉(618)의 이미지 상에 오버레이되는 디지털 태양(6222)을 디스플레이한다.

도 6as로 잠시 돌아가서, 인터페이스(602-4)를 디스플레이하는 동안, 디바이스(600-2)(및/또는 디바이스(600-1))는 드로잉(618)의 회전(6232)을 검출한다. 드로잉(618)의 회전(6232)을 검출하는 것에 응답하여, 도 6au에 도시된 바와 같이, 디바이스(600-2)는 인터페이스(604-2)를 디스플레이한다. 일부 실시예들에서, 드로잉(618)의 회전(6232)을 검출하는 것에 응답하여, 도 6au에 도시된 바와 같이, 디바이스(600-2)는 디바이스(600-1)로 하여금 인터페이스(601-4)를 디스플레이하게 한다. 일부 실시예들에서, 디바이스(600-1)가 드로잉(618)의 회전(6232)을 검출하는 것에 응답하여, 도 6au에 도시된 바와 같이, 디바이스(600-2)는 인터페이스(602-4)를 디스플레이한다(또는 디바이스(600-1)는 디바이스(600-2)로 하여금 그를 디스플레이하게 함).

도 6au에서, 드로잉(618)은 책상의 에지(621)에 대해 회전되었다. 위치의 변화에도 불구하고, 도 6au의 인터페이스(602-4)는 도 6as의 인터페이스(604-2)의 조정가능 뷰(6214) 내의 드로잉(618)의 이미지로부터 거의 변경되지 않은 것으로 보이는 조정가능 뷰(6214) 내의 드로잉(618)의 이미지를 포함한다. 즉, 도 6au의 조정가능 뷰(6214)는, 도 6as에서의 드로잉(618)의 위치와 유사하게, 마치 드로잉(618)이 회전되지 않은 것처럼 보이게 하는 관점을 제공한다. 일부 실시예들에서, 디바이스(600-2)(및/또는 디바이스(600-1))는 카메라(602)에 대한 새로운 위치에 기초하여 드로잉(618)의 이미지를 (예컨대, 스큐잉 및/또는 회전시킴으로써) 보정하기 위해 이미지 보정 소프트웨어를 사용한다. 일부 실시예들에서, 디바이스(600-2)(및/또는 디바이스(600-1))는 객체 검출 소프트웨어를 사용하여, 드로잉(618)이 카메라(602)에 대해 회전함에 따라 드로잉을 추적한다. 일부 실시예들에서, 도 6au의 인터페이스(604-2)의 조정가능 뷰(6214)는 카메라(602)의 위치(예컨대, 장소, 배향, 및/또는 회전)의 어떠한 변화 없이 제공된다. 조정가능 뷰(6216)는 조정가능 뷰(6214)와 유사한 방식으로 업데이트된다.

도 6au에서, 디지털 태양(6222)은 도 6as의 조정가능 뷰(6214) 내의 드로잉(618)의 이미지 내의 집에 대한 디지털 태양(6222)의 위치와 유사한, 조정가능 뷰(6214) 내의 드로잉(618)의 이미지 내의 집에 대한 위치를 유지한다. 일부 실시예들에서, 디바이스(600-2)(및/또는 디바이스(600-1))는 드로잉(618)의 회전에 기초하여 보정된 드로잉(618)의 이미지 상에 오버레이되는 디지털 태양(6222)을 디스플레이한다.

도 6av에서, 디바이스(600-2)는, 도 6au의 인터페이스(604-2)와 유사하지만 상이한 상태를 갖는 인터페이스(604-2)를 디스플레이한다(예컨대, John의 표현(622-2) 및 옵션 메뉴(609)가 사용자 인터페이스(604-2)에 추가되었음). 디바이스(600-4)는 더 이상 라이브 통신 세션에서 사용되고 있지 않다. 추가적으로, 디바이스(600-2)는 도 6au에서의 그의 위치로부터 도 6aq에서 디바이스(600-2)가 가졌던 동일한 위치로 이동되었다. 이와 같이, 디바이스(600-2)는 도 6aq의 조정가능 뷰(6214)와 동일한 관점을 포함하도록 도 6av의 조정가능 뷰(6214)를 업데이트한다. 예시된 바와 같이, 조정가능 뷰(6214)는 평면 뷰 관점을 포함한다. 추가적으로, 디지털 태양(6222)은 도 6aq의 조정가능 뷰(6214) 내의 드로잉(618)의 이미지 내의 집에 대한 디지털 태양(6222)의 동일한 위치를 갖는 것으로 디스플레이된다.

도 6av에서, 조정가능 뷰(6214) 내에 디지털 태양(6222)을 디스플레이하는 동안, 디바이스(600-2)는 이동(6218av)(예컨대, 회전 및/또는 들어올림)을 검출한다. 이동(6218av)을 검출하는 것에 응답하여, 도 6aw에 도시된 바와 같이, 디바이스(600-2)는 인터페이스(604-2)를 디스플레이한다. 이동(6218aw)을 검출하는 것에 응답하여, 도 6aw에 도시된 바와 같이, 디바이스(600-1)는 인터페이스(604-1)를 디스플레이한다(그리고/또는 디바이스(600-2)는 디바이스(600-1)로 하여금 그를 디스플레이하게 함).

도 6aw에서, 인터페이스(604-2)는 도 6ar의 조정가능 뷰(6214)와 유사한 업데이트된 조정가능 뷰(6214)(이는 인터페이스(606-1) 내의 업데이트된 조정가능 뷰(6216)에 대응함)를 포함한다. 특히, 디바이스는 이동(6218aw)을 검출하는 것에 응답하여 표현(622-2)을 업데이트하지 않는다. 따라서, 일부 실시예들에서, 디바이스(600-2)는 디바이스(600-2)의 위치에 기초하여 업데이트되는 동적 표현, 및 디바이스(600-2)의 위치에 기초하여 업데이트되지 않는 정적 표현을 디스플레이한다. 인터페이스(604-2)는, 또한, 도 6ar의 경계 표시자(6226)와 유사한, 조정가능 뷰(6214) 내의 경계 표시자(6226)를 포함한다.

도 6aw에서, 인터페이스(604-2)를 디스플레이하는 동안, 디바이스(600-2)는 이동(6218aw)(예컨대, 회전 및/또는 하강)을 검출한다. 이동(6218aw)을 검출하는 것에 응답하여, 도 6ax에 도시된 바와 같이, 디바이스(600-2)는 인터페이스(604-2)를 디스플레이한다. 이동(6218aw)을 검출하는 것에 응답하여, 도 6ax에 도시된 바와 같이, 디바이스(600-1)는 인터페이스(604-1)를 디스플레이한다(그리고/또는 디바이스(600-2)는 디바이스(600-1)로 하여금 그를 디스플레이하게 함).

도 6ax에서, 인터페이스(604-2)는 업데이트된 조정가능 뷰(6214)(이는 인터페이스(606-1) 내의 업데이트된 조정가능 뷰(6216)에 대응함)를 포함한다. 조정가능 뷰(6214)가 표현(622-2)에 의해 제공되는 실질적으로 동일한 뷰이기 때문에, 셰이딩된 영역(6206)은 셰이딩된 영역(6217)과 중첩된다. 이동(6218aq)이, 드로잉(618)의 뷰가 아니라 그리고/또는 사용자(622)의 얼굴로 뷰를 변경하는 결과를 가져오기 때문에, 디바이스(600-2)는 조정가능 뷰(6214) 내에 디지털 태양(6222)을 더 이상 디스플레이하지 않는다. 도 6ax에서 인터페이스(604-2)를 디스플레이하는 동안, 디바이스(600-2)(및/또는 디바이스(600-1))는 표면 뷰를 디스플레이하라는 요청에 대응하는 하나 이상의 입력들의 세트(예컨대, 도 6a 내지 도 6al을 참조하여 설명된 입력들 및/또는 손 제스처들과 유사함)를 검출한다. 일부 그러한 실시예들에서, 도 6c의 616-1, 도 6g의 616-2, 도 6h의 미리보기 모드(674-1), 도 6i의 미리보기 모드(674-2)의 표현(676), 도 6j의 미리보기 모드 인터페이스(674-3)의 표현(676), 도 6n 내지 도 6q의 어포던스들(648-1, 648-2, 648-3)은 디바이스(600-2)에 디스플레이되어, 디바이스(600-2)가 디바이스(600-1)에서의 검출된 입력들과 동일한 방식으로 드로잉(618)의 수정된 이미지의 표현을 제어하도록 허용한다. 표면 뷰를 디스플레이하라는 요청에 대응하는 하나 이상의 입력들의 세트를 검출하는 것에 응답하여, 도 6ay에 도시된 바와 같이, 디바이스(600-2)는 인터페이스(604-2)를 디스플레이한다. 추가적으로 또는 대안적으로, 하나 이상의 입력들의 세트를 검출하는 것에 응답하여, 도 6ay에 도시된 바와 같이, 디바이스(600-1)는 인터페이스(604-2)를 디스플레이한다. 일부 실시예들에서, 디바이스(600-1)는, 도 6a 내지 도 6al을 참조하여 설명된 바와 같이, 하나 이상의 입력들의 세트를 검출한다. 일부 실시예들에서, 디바이스(600-2)는 하나 이상의 입력들의 세트를 검출한다. 그러한 실시예들에서, 디바이스(600-2)는 도 6f를 참조하여 설명된 옵션 메뉴(608)의 뷰 어포던스(607-2)와 유사한 옵션 메뉴(609)의 뷰 어포던스(6236)의 선택을 검출한다. 이에 응답하여, 도 6g를 참조하여 설명된 바와 같은 뷰 메뉴(616-2)와 유사한 뷰 메뉴는 원격 참가자의 표면 뷰의 디스플레이를 요청하기 위한 어포던스를 포함한다.

도 6ay에서, 조정가능 뷰(6214)는, 예를 들어 도 6m에 도시되고 위에서 설명된 표현(624-1)과 유사한 표면 뷰를 포함한다. 도 6ay에 도시된 바와 같이, 조정가능 뷰(6214)는, 도 6a 내지 도 6al과 관련하여 더 상세히 설명된 바와 같이, 사용자(622)가 물리적 환경에서 드로잉(618)을 내려다볼 때 갖는 관점과 유사한, 디바이스(600-2) 상에 디스플레이된 드로잉(618)의 이미지를 내려다보는 관점을 사용자(623)가 갖도록 수정되는 이미지를 포함한다. 특히, 도 6ay의 디지털 태양(6222)은, 도 6aq의 디지털 태양(6222)과 마찬가지로, 조정가능 뷰(6214) 내의 드로잉(618)의 이미지 내의 집에 대해 동일한 위치를 갖는 것으로 디스플레이된다.

도 7은 일부 실시예들에 따른, 컴퓨터 시스템을 사용하여 라이브 비디오 통신 세션을 관리하기 위한 방법을 예시하는 흐름도이다. 방법(700)은 디스플레이 생성 컴포넌트(예컨대, 601, 683, 및/또는 6101)(예컨대, 디스플레이 제어기, 터치 감응형 디스플레이 시스템, 및/또는 모니터), 하나 이상의 카메라들(예컨대, 602, 682, 및/또는 6102)(예컨대, 적외선 카메라, 깊이 카메라, 및/또는 가시광 카메라), 및 하나 이상의 입력 디바이스들(예컨대, 601, 683, 및/또는 6103)(예컨대, 터치 감응형 표면, 키보드, 제어기, 및/또는 마우스)과 통신하는 컴퓨터 시스템(예컨대, 600-1, 600-2, 600-3, 600-4, 906a, 906b, 906c, 906d, 6100-1, 6100-2, 1100a, 1100b, 1100c, 및/또는 1100d)(예컨대, 스마트폰, 태블릿, 랩톱 컴퓨터, 및/또는 데스크톱 컴퓨터)(예컨대, 100, 300, 또는 500)에서 수행된다. 방법(700)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서들은 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.

아래에서 설명되는 바와 같이, 방법(700)은 라이브 비디오 통신 세션을 관리하기 위한 직관적인 방식을 제공한다. 본 방법은 라이브 비디오 통신 세션을 관리하는 것에 대한 사용자의 인지적 부담을 감소시켜서, 그에 의해, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 더 빠르고 더 효율적으로 라이브 비디오 통신 세션을 관리할 수 있게 하는 것은 전력을 절약하고 배터리 충전들 사이의 시간을 증가시킨다.

방법(700)에서, 컴퓨터 시스템(예컨대, 600-1, 600-2, 6100-1, 및/또는 6100-2)은, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스(예컨대, 604-1, 604-2, 6120, 6121, 6130, 및/또는 6131)(예컨대, 착신 및/또는 발신 라이브 오디오/비디오 통신 세션을 위한 인터페이스)를 디스플레이한다(702). 일부 실시예들에서, 라이브 통신 세션은 적어도 컴퓨터 시스템(예컨대, 제1 컴퓨터 시스템)과 제2 컴퓨터 시스템 사이에서 이루어진다.

라이브 비디오 통신 인터페이스는 하나 이상의 카메라들의 시야의 적어도 일부분(예컨대, 620, 688, 6144, 6146, 및/또는 6148)의 표현(예컨대, 622-1, 622-2, 6124, 및/또는 6132)(예컨대, 제1 표현)을 포함한다. 일부 실시예들에서, 제1 표현은 물리적 환경의 이미지들(예컨대, 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 장면 및/또는 구역)을 포함한다. 일부 실시예들에서, 표현은 하나 이상의 카메라들의 시야의 일부분(예컨대, 제1 크롭핑된 부분)을 포함한다. 일부 실시예들에서, 표현은 정적 이미지를 포함한다. 일부 실시예들에서, 표현은 일련의 이미지들(예컨대, 비디오)을 포함한다. 일부 실시예들에서, 표현은 하나 이상의 카메라들의 시야(또는 그의 일부분)의 라이브(예컨대, 실시간) 비디오 피드를 포함한다. 일부 실시예들에서, 시야는 하나 이상의 카메라들의 물리적 특성들(예컨대, 배향, 렌즈, 렌즈의 초점 거리, 및/또는 센서 크기)에 기초한다. 일부 실시예들에서, 표현은 윈도우(예컨대, 제1 윈도우) 내에 디스플레이된다. 일부 실시예들에서, 시야의 적어도 일부분의 표현은 제1 사용자의 이미지(예컨대, 제1 사용자의 얼굴)를 포함한다. 일부 실시예들에서, 시야의 적어도 일부분의 표현은 라이브 비디오 통신 세션을 제공하는 애플리케이션(예컨대, 6110)에 의해 제공된다. 일부 실시예들에서, 시야의 적어도 일부분의 표현은 라이브 비디오 통신 세션을 제공하는 애플리케이션(예컨대, 6110)과는 상이한 애플리케이션(예컨대, 6108)에 의해 제공된다.

라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 컴퓨터 시스템(예컨대, 600-1, 600-2, 6100-1, 및/또는 6100-2)은, 하나 이상의 입력 디바이스들(예컨대, 601, 683, 및/또는 6103)을 통해, 하나 이상의 카메라들의 시야 내에 있는 장면(예컨대, 물리적 환경) 내의 표면(예컨대, 619)(예컨대, 물리적 표면; 책상의 표면 및/또는 책상 상에 놓인 객체(예컨대, 책, 종이, 태블릿)의 표면; 또는 벽의 표면 및/또는 벽 상의 객체(예컨대, 화이트보드 또는 블랙보드)의 표면; 또는 다른 표면(예컨대, 독립형 화이트보드 또는 블랙보드))에 대한 사용자 입력(예컨대, 612c, 612d, 614, 612g, 612i, 612j, 6112, 6118, 6128, 및/또는 6138)(예컨대, 터치 감응형 표면 상에서의 탭, 키보드 입력, 마우스 입력, 트랙패드 입력, 제스처(예컨대, 손 제스처), 및/또는 오디오 입력(예컨대, 음성 커맨드))을 포함하는 하나 이상의 사용자 입력들을 검출한다(704). 일부 실시예들에서, 사용자 입력은 표면의 뷰를 디스플레이하라는 요청에 대응한다. 일부 실시예들에서, 하나 이상의 입력 디바이스들을 통해 사용자 입력을 검출하는 것은 제스처(예컨대, 손 제스처, 눈 제스처, 또는 다른 신체 제스처)를 포함하는 하나 이상의 카메라들의 시야의 이미지 데이터를 획득하는 것을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은, 이미지 데이터로부터, 제스처가 미리결정된 기준들을 만족시킨다고 결정한다.

하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 컴퓨터 시스템(예컨대, 600-1, 600-2, 6100-1, 및/또는 6100-2)은, 디스플레이 생성 컴포넌트(예컨대, 601, 683, 및/또는 6101)를 통해, 표면의 표현(예컨대, 이미지 및/또는 비디오)(예컨대, 624-1, 624-2, 6140, 및/또는 6142)(예컨대, 제2 표현)을 디스플레이한다. 일부 실시예들에서, 표면의 표현은 하나 이상의 카메라들에 의해 캡처된 시야를 디지털 방식으로 주밍 및/또는 패닝함으로써 획득된다. 일부 실시예들에서, 표면의 표현은 하나 이상의 카메라들을 이동(예컨대, 병진 및/또는 회전)시킴으로써 획득된다. 일부 실시예들에서, 제2 표현은 윈도우(예컨대, 제2 윈도우, 제1 표현이 디스플레이되는 동일한 윈도우, 또는 제1 표현이 디스플레이되는 윈도우와는 상이한 윈도우) 내에 디스플레이된다. 일부 실시예들에서, 제2 윈도우는 제1 윈도우와는 상이하다. 일부 실시예들에서, 제2 윈도우(예컨대, 6140 및/또는 6142)는 (예컨대, 도 6aj에 도시된 바와 같이) 라이브 비디오 통신 세션을 제공하는 애플리케이션(예컨대, 6110)에 의해 제공된다. 일부 실시예들에서, 제2 윈도우(예컨대, 6114)는 (예컨대, 도 6ak에 도시된 바와 같이) 라이브 비디오 통신 세션을 제공하는 애플리케이션과는 상이한 애플리케이션(예컨대, 6108)에 의해 제공된다. 일부 실시예들에서, 제2 표현은 하나 이상의 카메라들의 시야의 크롭핑된 부분(예컨대, 제2 크롭핑된 부분)을 포함한다. 일부 실시예들에서, 제2 표현은 제1 표현과는 상이하다. 일부 실시예들에서, 제2 표현은, 제2 표현이 제1 표현 내에 디스플레이되는 일부분(예컨대, 제1 크롭핑된 부분)과는 상이한 시야의 일부분(예컨대, 제2 크롭핑된 부분)(예컨대, 패닝된 뷰, 줌아웃된 뷰, 및/또는 줌인된 뷰)을 디스플레이하기 때문에, 제1 표현과는 상이하다. 일부 실시예들에서, 제2 표현은 제1 표현에 포함되지 않는 장면의 일부분의 이미지들을 포함하고/하거나, 제1 표현은 제2 표현에 포함되지 않는 장면의 일부분의 이미지들을 포함한다. 일부 실시예들에서, 표면은 제1 표현 내에 디스플레이되지 않는다.

표면의 표현(예컨대, 624-1, 624-2, 6140, 및/또는 6142)은 하나 이상의 카메라들에 대한 표면의 위치(예컨대, 장소 및/또는 배향)에 기초하여 (예컨대, 표면의 이미지의 왜곡을 보정하기 위해) 수정(예컨대, 조정, 조작, 보정)되는(또는 수정된), 하나 이상의 카메라들(예컨대, 602, 682, 및/또는 6102)에 의해 캡처된 표면(예컨대, 619)의 이미지(예컨대, 사진, 비디오, 및/또는 라이브 비디오 피드)(때때로 표면의 수정된 이미지의 표현으로 지칭됨)를 포함한다. 일부 실시예들에서, 제2 표현 내에 디스플레이되는 표면의 이미지는 이미지 프로세싱 소프트웨어(예컨대, 하나 이상의 카메라들에 의해 캡처된 이미지 데이터를 스큐잉, 회전, 플립핑(flipping), 및/또는 달리 조작함)를 사용하여 수정되는 이미지 데이터에 기초한다. 일부 실시예들에서, 제2 표현 내에 디스플레이되는 표면의 이미지는 카메라를 물리적으로 조정하지 않고서(예컨대, 카메라를 회전시키지 않고서, 카메라를 들어올리지 않고서, 카메라를 낮추지 않고서, 카메라의 각도를 조정하지 않고서, 그리고/또는 카메라의 물리적 컴포넌트(예컨대, 렌즈 및/또는 센서)를 조정하지 않고서) 수정된다. 일부 실시예들에서, 제2 표현 내에 디스플레이되는 표면의 이미지는 카메라가 표면을 가리키는(예컨대, 표면을 향하는, 표면을 겨냥하는, 표면에 수직인 축을 따라 가리키는) 것으로 보이도록 수정된다. 일부 실시예들에서, 제2 표현 내에 디스플레이되는 표면의 이미지는 카메라의 시선이 표면에 수직인 것으로 보이도록 보정된다. 일부 실시예들에서, 제1 표현 내에 디스플레이되는 장면의 이미지는 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되지 않는다. 일부 실시예들에서, 표면의 표현은 제1 표현과 동시에 디스플레이된다(예컨대, (예컨대, 컴퓨터 시스템의 사용자의) 제1 표현은 유지되고, 표면의 이미지는 별개의 윈도우 내에 디스플레이됨). 일부 실시예들에서, 표면의 이미지는 (예컨대, 라이브 비디오 통신 세션 동안) 실시간으로 자동적으로 수정된다. 일부 실시예들에서, 표면의 이미지는 하나 이상의 제1 카메라들에 대한 표면의 위치에 기초하여 (예컨대, 사용자 입력 없이) 자동적으로 수정된다. 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되는 표면의 이미지를 포함하는 표면의 표현을 디스플레이하는 것은, 사용자로부터의 추가 입력을 요구하지 않고서 카메라에 대한 그의 위치에도 불구하고 표면의 더 명확한 뷰를 제공함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 컴퓨터 시스템(예컨대, 600-1 및/또는 600-2)은, 라이브 비디오 통신 세션 동안, 하나 이상의 카메라들 중 하나의 카메라(예컨대, 602)(예컨대, 광각 카메라)에 의해 캡처된 이미지 데이터를 수신한다. 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 카메라에 의해 캡처된 이미지 데이터에 기초하여 시야의 적어도 일부분의 표현(예컨대, 622-1 및/또는 622-2)(예컨대, 제1 표현)을 디스플레이한다. 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 카메라에 의해 캡처된 이미지 데이터에 기초하여 표면의 표현(예컨대, 624-1 및/또는 624-2)(예컨대, 제2 표현)을 디스플레이한다(예컨대, 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 및 표면의 표현은 하나 이상의 카메라들 중 단일(예컨대, 단지 하나의) 카메라에 의해 캡처된 이미지 데이터에 기초함). 시야의 적어도 일부분의 표현 및 동일한 카메라로부터 캡처된 표면의 표현을 디스플레이하는 것은, 사용자로부터의 입력을 요구하지 않고서 상이한 관점들에서 동일한 카메라에 의해 캡처된 콘텐츠를 디스플레이함으로써 비디오 통신 세션 경험을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들(및/또는 디바이스들)의 수를 감소시킨다.

일부 실시예들에서, 표면의 이미지는 하나 이상의 카메라들의 시야의 적어도 일부분의 표현에 대해 표면의 이미지를 회전시킴으로써 (예컨대, 컴퓨터 시스템에 의해) 수정된다(예컨대, 624-2 내의 표면의 이미지는 표현(622-2)에 대해 180도만큼 회전됨). 일부 실시예들에서, 표면의 표현은 하나 이상의 카메라들의 시야의 적어도 일부분의 표현에 대해 180도만큼 회전된다. 하나 이상의 카메라들의 시야의 적어도 일부분의 표현에 대해 표면의 이미지를 회전시키는 것은, 사용자로부터의 입력을 요구하지 않고서, 표면과 연관된 콘텐츠가 시야의 다른 부분들과는 상이한 관점으로부터 관찰될 수 있기 때문에, 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 표면의 이미지는 하나 이상의 카메라들의 시야 내의 사용자(예컨대, 622)(예컨대, 사용자의 위치)에 대한 표면(예컨대, 619)의 위치(예컨대, 장소 및/또는 배향)에 기초하여 회전된다. 일부 실시예들에서, (예컨대, 사용자의 이미지와 표면의 이미지가 동일한 카메라 각도로 캡처되더라도) 사용자의 표현은 제1 각도로 디스플레이되고, 표면의 이미지는 제1 각도와는 상이한 제2 각도로 회전된다. 하나 이상의 카메라들의 시야 내의 사용자에 대한 표면의 위치에 기초하여 표면의 이미지를 회전시키는 것은, 사용자로부터의 입력을 요구하지 않고서, 표면과 연관된 콘텐츠가 표면의 위치에 기초하는 관점으로부터 관찰될 수 있기 때문에, 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 표면이 하나 이상의 카메라들의 시야 내의 사용자에 대해 제1 위치(예컨대, 미리정의된 위치)에(예컨대, 사용자의 전방에, 사용자와 하나 이상의 카메라들 사이에, 그리고/또는 실질적으로 수평인 평면 내에) 있다는(예컨대, 도 6a에서 표면(619)은 책상(621) 상에 사용자(622)의 전방에 위치됨) 결정에 따라, 표면의 이미지는 하나 이상의 카메라들의 시야 내의 사용자의 표현에 대해 적어도 45도만큼 회전된다(예컨대, 도 6m에서 표현(624-1) 내의 표면(619)의 이미지는 표현(622-1)에 대해 180도만큼 회전됨). 일부 실시예들에서, 표면의 이미지는 160도 내지 200도의 범위 내에서(예컨대, 180도) 회전된다. 일부 실시예들에서, 표면이 하나 이상의 카메라들의 시야 내의 사용자에 대해 제1 위치에(예컨대, 사용자의 전방에, 사용자와 하나 이상의 카메라들 사이에, 그리고/또는 실질적으로 수평인 평면 내에) 있다는 결정에 따라, 표면의 이미지는 제1 양만큼 회전된다. 일부 실시예들에서, 제1 양은 160도 내지 200도의 범위 내에 있다(예컨대, 180도). 일부 실시예들에서, 표면이 하나 이상의 카메라들의 시야 내의 사용자에 대해 제2 위치에(예컨대, 사용자 옆에, 사용자와 하나 이상의 카메라들 사이에, 그리고/또는 실질적으로 수평인 평면 내에) 있다는 결정에 따라, 표면의 이미지는 제2 양만큼 회전된다. 일부 실시예들에서, 제2 양은 45도 내지 120도의 범위 내에 있다(예컨대, 90도). 표면이 사용자에 대해 제1 위치에 있을 때 표면의 이미지를 하나 이상의 카메라들의 시야 내에 캡처된 사용자의 표현에 대해 적어도 45도만큼 회전시키는 것은, 사용자로부터의 추가 입력을 요구하지 않고서, 더 자연스럽고 직관적인 이미지를 제공하도록 이미지를 조정함으로써, 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공하고, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행한다.

일부 실시예들에서, 시야의 적어도 일부분의 표현은 사용자를 포함하고 표면의 표현과 동시에 디스플레이된다(예컨대, 도 6m의 표현들(622-1, 624-1) 또는 표현들(622-2, 624-2)). 일부 실시예들에서, 시야의 적어도 일부분의 표현 및 표면의 표현은 동일한 카메라(예컨대, 하나 이상의 카메라들 중 단일 카메라)에 의해 캡처되고 동시에 디스플레이된다. 일부 실시예들에서, 시야의 적어도 일부분의 표현 및 표면의 표현은 동시에 디스플레이되는 별개의 윈도우들 내에 디스플레이된다. 시야의 적어도 일부분의 표현에 사용자를 포함하고, 표현을 표면의 표현과 동시에 디스플레이하는 것은, 사용자로부터의 추가 입력을 요구하지 않고서, 표면의 표현이 디스플레이되는 동안 사용자가 참가자의 반응을 관찰하도록 허용함으로써, 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공하고, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행한다.

일부 실시예들에서, 하나 이상의 사용자 입력들을 검출하는 것에 응답하여 그리고 표면의 표현을 디스플레이하기 전에, 컴퓨터 시스템은 (예컨대, 도 6h 내지 도 6j에 도시된 바와 같이)(예컨대, 라이브 비디오 통신 인터페이스의 미리보기 모드에서) 하나 이상의 카메라들의 시야에 대한 이미지 데이터의 미리보기를 디스플레이하고, 미리보기는 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되지 않은 표면의 이미지(때때로 표면의 수정되지 않은 이미지의 표현으로 지칭됨)를 포함한다. 일부 실시예들에서, 시야의 미리보기는 표면의 이미지의 표현을 디스플레이한 후에(예컨대, 표면의 표현의 선택에 대응하는 사용자 입력을 검출하는 것에 응답하여) 디스플레이된다. 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되지 않은 표면의 이미지를 포함하는 미리보기를 디스플레이하는 것은, 사용자가 왜곡 보정이 적용되지 않은 것으로서 미리보기 내의 표면을 신속하게 식별하도록 허용하며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 하나 이상의 카메라들의 시야에 대한 이미지 데이터의 미리보기를 디스플레이하는 것은 하나 이상의 카메라들의 시야(예컨대, 그 내의 표면들)의 각자의 부분들에 대응하는 복수의 선택가능 옵션들(예컨대, 도 6i의 636-1 및/또는 636-2, 또는 도 6j의 636a 내지 636i)을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들의 시야의 각자의 부분들에 대응하는 복수의 옵션들 중 하나를 선택하는 입력(예컨대, 612i 또는 612j)을 검출한다. 하나 이상의 카메라들의 시야의 각자의 부분들에 대응하는 복수의 옵션들 중 하나를 선택하는 입력을 검출하는 것에 응답하여, 그리고 하나 이상의 카메라들의 시야의 각자의 부분들에 대응하는 복수의 옵션들 중 하나를 선택하는 입력이 하나 이상의 카메라들의 시야의 제1 부분에 대응하는 제1 옵션에 대한 것이라는 결정에 따라, 컴퓨터 시스템은 하나 이상의 카메라들의 시야의 제1 부분에 기초하여 표면의 표현을 디스플레이한다(예컨대, 도 6j에서의 636h의 선택은 대응하는 부분의 디스플레이를 야기함)(예컨대, 컴퓨터 시스템은 시야의 제1 부분의 이미지의 수정된 버전을, 선택적으로 제1 왜곡 보정으로 디스플레이함). 하나 이상의 카메라들의 시야의 각자의 부분들에 대응하는 복수의 옵션들 중 하나를 선택하는 입력을 검출하는 것에 응답하여, 그리고 하나 이상의 카메라들의 시야의 각자의 부분들에 대응하는 복수의 옵션들 중 하나를 선택하는 입력이 하나 이상의 카메라들의 시야의 제2 부분에 대응하는 제2 옵션에 대한 것이라는 결정에 따라, 컴퓨터 시스템은 하나 이상의 카메라들의 시야의 제2 부분에 기초하여 표면의 표현을 디스플레이하며(예컨대, 도 6j에서의 636g의 선택은 대응하는 부분의 디스플레이를 야기함)(예컨대, 컴퓨터 시스템은 시야의 제2 부분의 이미지의 수정된 버전을, 선택적으로 제1 왜곡 보정과는 상이한 제2 왜곡 보정으로 디스플레이함), 여기에서 제2 옵션은 제1 옵션과는 상이하다. 이미지 데이터의 미리보기 내에 하나 이상의 카메라들의 시야의 각자의 부분들에 대응하는 복수의 선택가능 옵션들을 디스플레이하는 것은, 사용자가 화상 회의 인터페이스 내에 표현으로서 디스플레이될 수 있는 시야의 일부분들을 식별하도록 허용하며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 하나 이상의 카메라들의 시야에 대한 이미지 데이터의 미리보기를 디스플레이하는 것은 미리보기의 복수의 영역들(예컨대, 별개의 영역들, 비중첩 영역들, 직사각형 영역들, 정사각형 영역들, 및/또는 사분면들)(예컨대, 도 6i의 636-1, 636-2, 및/또는 도 6j의 636a 내지 636i)을 디스플레이하는 것을 포함한다(예컨대, 하나 이상의 영역들은 시야에 대한 이미지 데이터의 별개의 부분들에 대응할 수 있음). 일부 실시예들에서, 컴퓨터 시스템은 복수의 영역들 중 하나 이상의 영역들에 대응하는 사용자 입력(예컨대, 612i 및/또는 612j)을 검출한다. 하나 이상의 영역들에 대응하는 사용자 입력을 검출하는 것에 응답하여, 그리고 하나 이상의 영역들에 대응하는 사용자 입력이 하나 이상의 영역들 중 제1 영역에 대응한다는 결정에 따라, 컴퓨터 시스템은 (예컨대, 도 6i 및 도 6j를 참조하여 설명된 바와 같이)(예컨대, 제1 영역에 기초한 왜곡 보정으로) 라이브 비디오 통신 인터페이스 내에 제1 영역의 표현을 디스플레이한다. 하나 이상의 영역들에 대응하는 사용자 입력을 검출하는 것에 응답하여, 그리고 하나 이상의 영역들에 대응하는 사용자 입력이 하나 이상의 영역들 중 제2 영역에 대응한다는 결정에 따라, 컴퓨터 시스템은 (예컨대, 제1 영역에 기초한 왜곡 보정과는 상이한, 제2 영역에 기초한 왜곡 보정으로) 라이브 비디오 통신 인터페이스 내에 표현으로서 제2 영역의 표현을 디스플레이한다. 라이브 비디오 통신 인터페이스 내에 제1 영역의 표현 또는 제2 영역의 표현을 디스플레이하는 것은, 사용자가 라이브 비디오 통신 인터페이스 내에 디스플레이되는 것을 효율적으로 관리하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 하나 이상의 사용자 입력들은 하나 이상의 카메라들의 시야에서의 제스처(예컨대, 612d)(예컨대, 신체 제스처, 손 제스처, 머리 제스처, 팔 제스처, 및/또는 눈 제스처)(예컨대, 물리적 위치 표면에 대한, 하나 이상의 카메라들의 시야에서 수행되는 제스처)를 포함한다. 입력으로서 하나 이상의 카메라들의 시야에서의 제스처를 이용하는 것은, 사용자가, 디바이스를 물리적으로 터치하지 않고서, 디스플레이되는 것을 제어하도록 허용함으로써, 비디오 통신 세션 경험을 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 컴퓨터 시스템은 표면 뷰 옵션(예컨대, 610)(예컨대, 아이콘, 버튼, 어포던스, 및/또는 사용자 상호작용형 그래픽 인터페이스 객체)을 디스플레이하며, 여기에서 하나 이상의 사용자 입력들은 표면 뷰 옵션에 대한 입력(예컨대, 612c 및/또는 612g)(예컨대, 터치 감응형 표면 상에서의 탭 입력, 커서가 표면 뷰 옵션 위에 있는 동안 마우스로 클릭하는 것, 또는 시선이 표면 뷰 옵션으로 지향되는 동안의 에어 제스처)을 포함한다. 일부 실시예들에서, 표면 뷰 옵션은 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 내에 디스플레이된다. 표면 뷰 옵션을 디스플레이하는 것은, 사용자가 라이브 비디오 통신 인터페이스 내에 디스플레이되는 것을 효율적으로 관리하도록 허용함으로써, 비디오 통신 세션 경험을 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 컴퓨터 시스템은 표면 뷰 옵션의 선택에 대응하는 사용자 입력을 검출한다. 표면 뷰 옵션의 선택에 대응하는 사용자 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 (예컨대, 도 6h 내지 도 6j에 도시된 바와 같이)(예컨대, 라이브 비디오 통신 인터페이스의 미리보기 모드에서) 하나 이상의 카메라들의 시야에 대한 이미지 데이터의 미리보기를 디스플레이하고, 미리보기는 하나 이상의 카메라들의 시야의 적어도 일부분을 포함하는 하나 이상의 카메라들의 시야의 복수의 부분들(예컨대, 도 6i의 636-1, 636-2, 및/또는 도 6j의 636a 내지 636i)을 포함하며, 여기에서 미리보기는 시야의 활성 부분(예컨대, 도 6i의 641-1, 및/또는 도 6j의 640a 내지 640f)(예컨대, 라이브 비디오 통신 세션의 다른 참가자들에게 송신되고 있고/있거나 그에 의해 디스플레이되고 있는 시야의 일부분)의 시각적 표시(예컨대, 텍스트, 그래픽, 아이콘, 및/또는 색상)를 포함한다. 일부 실시예들에서, 시각적 표시는 시야의 복수의 부분들 중 단일 부분(예컨대, 단지 하나의 부분)이 활성임을 나타낸다. 일부 실시예들에서, 시각적 표시는 시야의 복수의 부분들 중 2개 이상의 부분들이 활성임을 나타낸다. 하나 이상의 카메라들의 시야의 복수의 부분들의 미리보기를 디스플레이하는 것 - 미리보기는 시야의 활성 부분의 시각적 표시를 포함함 - 은, 시야의 어느 부분이 활성인지에 대한 피드백을 사용자에게 제공함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 컴퓨터 시스템은 표면 뷰 옵션의 선택에 대응하는 사용자 입력(예컨대, 612c, 612d, 614, 612g, 612i, 및/또는 612j)을 검출한다. 표면 뷰 옵션의 선택에 대응하는 사용자 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 (예컨대, 도 6i 및 도 6j에서 설명된 바와 같이)(예컨대, 라이브 비디오 통신 인터페이스의 미리보기 모드에서) 하나 이상의 카메라들의 시야에 대한 이미지 데이터의 미리보기(예컨대, 674-2 및/또는 674-3)를 디스플레이하고, 미리보기는 (예컨대, 도 6i 및 도 6j에서 설명된 바와 같이) 하나 이상의 카메라들의 시야의 표현 상에 오버레이되는 복수의 선택가능한 시각적으로 구별되는 부분들을 포함한다. 하나 이상의 카메라들의 시야의 표현 상에 오버레이되는 복수의 선택가능한 시각적으로 구별되는 부분들을 포함하는 미리보기를 디스플레이하는 것은, 시야의 어느 부분들이 비디오 통신 세션 동안 표현으로서 디스플레이하기 위해 선택가능한지에 대한 피드백을 사용자에게 제공함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 표면은 장면 내의 (예컨대, 도 6j에 도시된 바와 같은) 수직 표면(예컨대, 벽, 이젤(easel), 및/또는 화이트보드)이다(예컨대, 표면은 중력 방향의 미리결정된 각도(예컨대, 5도, 10도, 또는 20도) 내에 있음). 하나 이상의 카메라들에 대한 수직 표면의 위치에 기초하여 수정되는 수직 표면의 이미지를 포함하는 수직 표면의 표현을 디스플레이하는 것은, 사용자로부터의 추가 입력을 요구하지 않고서 카메라에 대한 그의 위치에도 불구하고 수직 표면의 더 명확한 뷰를 제공함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 표면은 장면 내의 수평 표면(예컨대, 619)(예컨대, 테이블, 플로어, 및/또는 책상)이다(예컨대, 표면은 중력 방향에 수직인 평면의 미리결정된 각도(예컨대, 5도, 10도, 또는 20도) 내에 있음). 하나 이상의 카메라들에 대한 수평 표면의 위치에 기초하여 수정되는 수평 표면의 이미지를 포함하는 수평 표면의 표현을 디스플레이하는 것은, 사용자로부터의 추가 입력을 요구하지 않고서 카메라에 대한 그의 위치에도 불구하고 수평 표면의 더 명확한 뷰를 제공함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 표면의 표현을 디스플레이하는 것은 표면의 제1 뷰(예컨대, 도 6n의 624-1)를 (예컨대, 제1 회전 각도 및/또는 제1 줌 레벨로) 디스플레이하는 것을 포함한다. 일부 실시예들에서, 표면의 제1 뷰를 디스플레이하는 동안, 컴퓨터 시스템은 하나 이상의 시프트 뷰(shift-view) 옵션들(예컨대, 648-1 및/또는 648-2)(예컨대, 버튼들, 아이콘들, 어포던스들, 및/또는 사용자 상호작용형 그래픽 사용자 인터페이스 객체들)을 디스플레이한다. 컴퓨터 시스템은 하나 이상의 시프트 뷰 옵션들 중 각자의 시프트 뷰 옵션에 대한 사용자 입력(예컨대, 650a 및/또는 650b)을 검출한다. 각자의 시프트 뷰 옵션에 대한 사용자 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 표면의 제1 뷰와는 상이한 표면의 제2 뷰(예컨대, 도 6p의 624-1 및/또는 도 6q의 624-1)(예컨대, 제1 회전 각도와는 상이한 제2 회전 각도 및/또는 제1 줌 레벨과는 상이한 제2 줌 레벨)를 디스플레이한다(예컨대, 표면의 뷰를 제1 뷰로부터 제2 뷰로 시프트시킴). 표면의 제1 뷰에 현재 디스플레이되고 있는 표면의 제2 뷰를 디스플레이하기 위한 시프트 뷰 옵션을 제공하는 것은, 사용자가 상이한 관점에서 표면과 연관된 콘텐츠를 관찰하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 표면의 제1 뷰를 디스플레이하는 것은 제1 방식으로(예컨대, 도 6n에 도시된 바와 같이)(예컨대, 제1 왜곡 보정이 적용된 상태로) 수정되는 표면의 이미지를 디스플레이하는 것을 포함하고, 표면의 제2 뷰를 디스플레이하는 것은 제1 방식과는 상이한 제2 방식으로(예컨대, 도 6p 및/또는 도 6q에 도시된 바와 같이)(예컨대, 제2 왜곡 보정이 적용된 상태로) 수정되는 표면의 이미지를 디스플레이하는 것을 포함한다(예컨대, 컴퓨터 시스템은 디스플레이될 표면의 뷰(예컨대, 배향 및/또는 줌)에 기초하여 표면의 이미지에 적용되는 왜곡 보정을 변경함(예컨대, 시프트시킴)). 제1 방식으로 수정되는 표면의 이미지를 디스플레이하고 표면의 제2 뷰를 디스플레이하는 것이 제2 방식으로 수정되는 표면의 이미지를 디스플레이하는 것을 포함하는 것은, 사용자가 사용자로부터의 추가 입력을 요구하지 않고서 수정되는 콘텐츠를 자동적으로 관찰하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 표면의 표현은 (예컨대, 도 6n에 도시된 바와 같이) 제1 줌 레벨로 디스플레이된다. 일부 실시예들에서, 표면의 표현을 제1 줌 레벨로 디스플레이하는 동안, 컴퓨터 시스템은 표면의 표현의 줌 레벨을 변경하라는 요청(예컨대, 줌 옵션(예컨대, 버튼, 아이콘, 어포던스, 및/또는 사용자 상호작용형 사용자 인터페이스 요소)의 선택)에 대응하는 사용자 입력(예컨대, 650b 및/또는 654)을 검출한다. 표면의 표현의 줌 레벨을 변경하라는 요청에 대응하는 사용자 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 (예컨대, 도 6q 및/또는 도 6r에 도시된 바와 같이) 표면의 표현을 제1 줌 레벨과는 상이한 제2 줌 레벨로 디스플레이한다(예컨대, 줌인 또는 줌아웃함). 표면의 표현의 줌 레벨을 변경하라는 요청에 대응하는 사용자 입력이 검출될 때 표면의 표현을 제1 줌 레벨과는 상이한 제2 줌 레벨로 디스플레이하는 것은, 사용자가 추가 입력 없이 상이한 세분화(granularity) 레벨로 표면과 연관된 콘텐츠를 관찰하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 개선된 시각적 피드백 및 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 컴퓨터 시스템은, 선택될 때, 표면의 표현이 디스플레이되게 하는 선택가능 제어 옵션(예컨대, 610, 6126, 및/또는 6136-1)(예컨대, 버튼, 아이콘, 어포던스, 및/또는 사용자 상호작용형 그래픽 사용자 인터페이스 객체)을 (예컨대, 선택될 때, 컴퓨터 시스템의 파라미터를 설정하고/하거나 기능을 수행하는 복수의 선택가능 제어 옵션들을 포함하는 사용자 인터페이스(예컨대, 메뉴, 도크 영역, 홈 스크린, 및/또는 제어 센터) 내에, 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 내에, 및/또는 라이브 비디오 통신 인터페이스 내에) 디스플레이한다. 일부 실시예들에서, 하나 이상의 입력들은 제어 옵션의 선택에 대응하는 사용자 입력(예컨대, 612c 및/또는 612g)을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은, 선택될 때, 사용자의 표현이 라이브 비디오 통신 세션에서 디스플레이되게 하고 표면의 표현이 디스플레이되는 것이 중지되게 하는 제2 제어 옵션을 (예컨대, 라이브 비디오 통신 인터페이스 내에 및/또는 상이한 애플리케이션의 사용자 인터페이스 내에) 디스플레이한다. 선택될 때, 표면의 표현을 디스플레이하는 제어 옵션을 디스플레이하는 것은, 사용자가 어떤 콘텐츠가 디스플레이되는지를 수정하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 라이브 비디오 통신 세션은 컴퓨터 시스템(예컨대, 600-1, 600-2, 6100-1, 및/또는 6100-2)에서 동작하는 제1 애플리케이션(예컨대, 6110)(예컨대, 화상 회의 애플리케이션 및/또는 착신 및/또는 발신 라이브 오디오/비디오 통신 세션을 제공하기 위한 애플리케이션)에 의해 제공된다. 일부 실시예들에서, 선택가능 제어 옵션(예컨대, 610, 6126, 6136-1, 및/또는 6136-3)은 제1 애플리케이션과는 상이한 제2 애플리케이션(예컨대, 6108)(예컨대, 카메라 애플리케이션 및/또는 프레젠테이션 애플리케이션)과 연관된다.

일부 실시예들에서, 하나 이상의 입력들을 검출하는 것에 응답하여 - 하나 이상의 입력들은 제어 옵션(예컨대, 6126 및/또는 6136-3)의 선택에 대응하는 사용자 입력(예컨대, 6128 및/또는 6138)을 포함함 -, 컴퓨터 시스템(예컨대, 600-1, 600-2, 6100-1, 및/또는 6100-2)은 제2 애플리케이션(예컨대, 6108)의 사용자 인터페이스(예컨대, 6140)(예컨대, 제2 애플리케이션의 제1 사용자 인터페이스)를 디스플레이한다. 하나 이상의 입력들을 검출하는 것에 응답하여 - 하나 이상의 입력들은 제어 옵션의 선택에 대응하는 사용자 입력을 포함함 -, 제2 애플리케이션의 사용자 인터페이스를 디스플레이하는 것은, 다양한 메뉴 옵션들을 내비게이팅할 필요 없이 제2 애플리케이션에 대한 액세스를 제공하며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다. 일부 실시예들에서, 제2 애플리케이션의 사용자 인터페이스를 디스플레이하는 것은 제2 애플리케이션을 개시하는 것, 활성화하는 것, 여는 것, 및/또는 전경으로 가져오는 것을 포함한다. 일부 실시예들에서, 제2 애플리케이션의 사용자 인터페이스를 디스플레이하는 것은 제2 애플리케이션을 사용하여 표면의 표현을 디스플레이하는 것을 포함한다.

일부 실시예들에서, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스(예컨대, 6121 및/또는 6131)를 디스플레이하기 전에(예컨대, 그리고 제1 애플리케이션(예컨대, 6110)이 개시되기 전에), 컴퓨터 시스템(예컨대, 600-1, 600-2, 6100-1, 및/또는 6100-2)은 제2 애플리케이션(예컨대, 6108)의 사용자 인터페이스(예컨대, 6114 및/또는 6116)(예컨대, 제2 애플리케이션의 제2 사용자 인터페이스)를 디스플레이한다. 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 전에, 제2 애플리케이션의 사용자 인터페이스를 디스플레이하는 것은, 라이브 비디오 통신 인터페이스에 액세스할 필요 없이 제2 애플리케이션에 대한 액세스를 제공하며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 일부 실시예들에서, 제2 애플리케이션은 제1 애플리케이션이 개시되기 전에 개시된다. 일부 실시예들에서, 제1 애플리케이션은 제2 애플리케이션이 개시되기 전에 개시된다.

일부 실시예들에서, 라이브 비디오 통신 세션(예컨대, 6120, 6121, 6130, 및/또는 6131)은 컴퓨터 시스템(예컨대, 600-1, 600-2, 6100-1, 및/또는 6100-2)에서 동작하는 제3 애플리케이션(예컨대, 6110)(예컨대, 화상 회의 애플리케이션)을 사용하여 제공된다. 일부 실시예들에서, 표면의 표현(예컨대, 6116 및/또는 6140)은 제3 애플리케이션과는 상이한 제4 애플리케이션(예컨대, 6108)에 의해 제공된다(예컨대, 그의 사용자 인터페이스를 사용하여 디스플레이됨).

일부 실시예들에서, 표면의 표현(예컨대, 6116 및/또는 6140)은 라이브 비디오 통신 세션(예컨대, 6120 및/또는 6121)에서 디스플레이되는 제4 애플리케이션(예컨대, 6108)의 사용자 인터페이스(예컨대, 6114)(예컨대, 제4 애플리케이션의 애플리케이션 윈도우)를 사용하여 디스플레이된다(예컨대, 제4 애플리케이션의 애플리케이션 윈도우는 제3 애플리케이션(예컨대, 6110)을 사용하여 디스플레이되고 있는 라이브 비디오 통신 인터페이스와 함께 디스플레이됨). 라이브 비디오 통신 세션에서 디스플레이되는 제4 애플리케이션의 사용자 인터페이스를 사용하여 표면의 표현을 디스플레이하는 것은, 제4 애플리케이션에 대한 액세스를 제공하며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 일부 실시예들에서, 제4 애플리케이션의 사용자 인터페이스(예컨대, 제4 애플리케이션의 애플리케이션 윈도우)는 라이브 비디오 통신 인터페이스와는 별개이고 구별된다.

일부 실시예들에서, 컴퓨터 시스템(예컨대, 600-1, 600-2, 6100-1, 및/또는 6100-2)은, 디스플레이 생성 컴포넌트(예컨대, 601, 683, 및/또는 6101)를 통해, 제4 애플리케이션 이외의 애플리케이션에 대응하는 하나 이상의 그래픽 요소들(예컨대, 6110-1)의 세트(예컨대, 상이한 애플리케이션들에 각각 대응하는 애플리케이션 아이콘들의 세트)를 포함하는(예컨대, 그를 디스플레이하도록 구성가능한) 영역(예컨대, 6104 및/또는 6106)에 제4 애플리케이션(예컨대, 카메라 애플리케이션 아이콘(6108)과 연관된 카메라 애플리케이션)에 대응하는 그래픽 요소(예컨대, 6108, 6108-1, 6126 및/또는 6136-1)(예컨대, 선택될 때, 제4 애플리케이션을 개시하고/하거나 열고/열거나 전경으로 가져오는 선택가능 아이콘, 버튼, 어포던스, 및/또는 사용자 상호작용형 그래픽 사용자 인터페이스 객체)를 디스플레이하는 것을 포함하여, 제4 애플리케이션에 대응하는 그래픽 요소를 디스플레이한다. 제4 애플리케이션 이외의 애플리케이션에 대응하는 하나 이상의 그래픽 요소들의 세트를 포함하는 영역에 제4 애플리케이션에 대응하는 그래픽 요소를 디스플레이하는 것은, 다양한 메뉴 옵션들을 내비게이팅할 필요 없이 제4 애플리케이션에 액세스하기 위한 제어부들을 제공하며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 일부 실시예들에서, 제4 애플리케이션에 대응하는 그래픽 요소는 애플리케이션 도크(예컨대, 6104 및/또는 6106)(예컨대, 각자의 애플리케이션들을 개시하기 위한 복수의 애플리케이션 아이콘들을 포함하는 디스플레이의 영역) 내에 디스플레이되고/되거나 그에 추가되고/되거나 그에 인접하게 디스플레이된다. 일부 실시예들에서, 하나 이상의 그래픽 요소들의 세트는 라이브 비디오 통신 세션을 제공하는 제3 애플리케이션(예컨대, 화상 회의 애플리케이션 아이콘(6110)과 연관된 화상 회의 애플리케이션)에 대응하는 그래픽 요소(예컨대, 6110-1)를 포함한다. 일부 실시예들에서, 하나 이상의 사용자 입력들(예컨대, 6112 및/또는 6118)(예컨대, 제4 애플리케이션에 대응하는 그래픽 요소 상에서의 입력을 포함함)을 검출하는 것에 응답하여, 컴퓨터 시스템은, 예컨대 애플리케이션 도크에서 바운싱하는, 제4 애플리케이션에 대응하는 그래픽 요소의 애니메이션을 디스플레이한다.

일부 실시예들에서, 표면의 표현을 디스플레이하는 것은, (예컨대, 도 6k 및 도 6l에 도시된 바와 같이), 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야의 적어도 일부분의 표현의 디스플레이로부터 표면의 표현의 디스플레이로의 전이(예컨대, 팬 전이, 줌 전이, 및/또는 회전 전이 중 하나 이상을 포함하는, 시간 경과에 따라 복수의 중간 상태들을 통해 점진적으로 진행하는 전이)의 애니메이션을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 애니메이션화된 전이는, 이미지 데이터가 표면의 수정된 이미지의 표현을 디스플레이하도록 수정될 때까지, 하나 이상의 카메라들로부터의 시야의 이미지 데이터에 대한 수정을 포함한다(예컨대, 여기에서 수정은 이미지 데이터를 패닝, 주밍, 및/또는 회전시키는 것을 포함함). 하나 이상의 카메라들의 시야의 적어도 일부분의 표현의 디스플레이로부터 표면의 표현의 디스플레이로의 애니메이션화된 전이를 디스플레이하는 것은, 사용자가 하나 이상의 카메라들을 상이한 배향으로 이동시키고 있는 효과를 생성함으로써 비디오 통신 세션 경험을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 컴퓨터 시스템은 제2 디스플레이 생성 컴포넌트(예컨대, 683)와 통신하는 제2 컴퓨터 시스템(예컨대, 600-1 및/또는 600-2)(예컨대, 데스크톱 컴퓨터 및/또는 랩톱 컴퓨터)과 (예컨대, 라이브 통신 세션을 통해) 통신한다. 일부 실시예들에서, 제2 컴퓨터 시스템은 (예컨대, 도 6m에 도시된 바와 같이) 디스플레이 생성 컴포넌트 상에 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 디스플레이한다. 제2 컴퓨터 시스템은, 또한, (예컨대, 도 6m에 도시된 바와 같이) (예컨대, 디스플레이 생성 컴포넌트 상에 디스플레이되는 하나 이상의 카메라들의 시야의 적어도 일부분의 표현과 동시에) 제2 디스플레이 생성 컴포넌트 상에서의 표면의 표현의 디스플레이를 야기한다. 디스플레이 생성 컴포넌트 상에 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 디스플레이하고, 제2 디스플레이 생성 컴포넌트 상에서의 표면의 표현의 디스플레이를 야기하는 것은, 사용자가 2개의 디스플레이들을 이용하여 각각의 표현의 뷰를 최대화하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제2 컴퓨터 시스템의 배향의 변화를 검출하는 것(또는 제2 컴퓨터 시스템의 배향의 변화의 표시를 수신하는 것)(예컨대, 제2 컴퓨터 시스템이 기울어짐)에 응답하여, 제2 컴퓨터 시스템은 (예컨대, 도 6ae에 도시된 바와 같이) 제2 디스플레이 생성 컴포넌트에 디스플레이되는 표면의 표현의 디스플레이를 표면의 제1 뷰를 디스플레이하는 것으로부터 제1 뷰와는 상이한 표면의 제2 뷰를 디스플레이하는 것으로 업데이트한다. 일부 실시예들에서, 제2 컴퓨팅 시스템의 위치(예컨대, 장소 및/또는 배향)는 표면의 어떤 뷰가 제2 디스플레이 생성 컴포넌트에 디스플레이되는지를 제어한다. 제2 컴퓨터 시스템의 배향의 변화를 검출하는 것에 응답하여, 제2 디스플레이 생성 컴포넌트에 디스플레이되는 표면의 표현의 디스플레이를 표면의 제1 뷰를 디스플레이하는 것으로부터 제1 뷰와는 상이한 표면의 제2 뷰를 디스플레이하는 것으로 업데이트하는 것은, 사용자가, 제2 디바이스를 이용하여, 제2 컴퓨터 시스템을 이동시킴으로써 표면의 뷰를 수정하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 표면의 표현을 디스플레이하는 것은 하나 이상의 카메라들의 시야의 적어도 일부분의 표현의 디스플레이로부터 표면의 표현의 디스플레이로의 전이의 애니메이션을 디스플레이하는 것을 포함하며, 여기에서 애니메이션은, (예컨대, 도 6k에 도시된 바와 같이) 하나 이상의 카메라들의 시야의 뷰를 패닝하고 하나 이상의 카메라들의 시야의 뷰를 회전시키는 것(예컨대, 하나 이상의 카메라들의 시야의 뷰를 제1 위치 및 제1 배향에 있는 사용자의 뷰로부터 제2 위치 및 제2 배향에 있는 표면의 뷰로 동시에 패닝 및 회전시키는 것)을 포함한다. 하나 이상의 카메라들의 시야의 뷰를 패닝하고 하나 이상의 카메라들의 시야의 뷰를 회전시키는 것을 포함하는 애니메이션을 디스플레이하는 것은, 사용자가 표면의 이미지가 어떻게 수정되는지를 관찰하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 표면의 표현을 디스플레이하는 것은 하나 이상의 카메라들의 시야의 적어도 일부분의 표현의 디스플레이로부터 표면의 표현의 디스플레이로의 전이의 애니메이션을 디스플레이하는 것을 포함하며, 여기에서 애니메이션은, (예컨대, 도 6l에 도시된 바와 같이) 하나 이상의 카메라들의 시야의 뷰를 주밍(예컨대, 줌인 또는 줌아웃)하고 하나 이상의 카메라들의 시야의 뷰를 회전시키는 것(예컨대, 하나 이상의 카메라들의 시야의 뷰를 제1 줌 레벨 및 제1 배향에 있는 사용자의 뷰로부터 제2 줌 레벨 및 제2 배향에 있는 표면의 뷰로 동시에 주밍 및 회전시키는 것)을 포함한다. 하나 이상의 카메라들의 시야의 뷰를 주밍하고 하나 이상의 카메라들의 시야의 뷰를 회전시키는 것을 포함하는 애니메이션을 디스플레이하는 것은, 사용자가 표면의 이미지가 어떻게 수정되는지를 관찰하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

방법(700)(예컨대, 도 7)과 관련하여 위에서 설명된 프로세스들의 상세사항들은, 또한, 본 명세서에서 설명되는 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법들(800, 1000, 1200, 1400, 1500, 1700, 1900)은, 선택적으로, 방법(700)을 참조하여 위에서 설명된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법들(800, 1000, 1200, 1400, 1500, 1700, 1900)은 라이브 비디오 통신 세션을 관리하기 위한, (예컨대, 사용자와 연관된) 로컬 컴퓨터 또는 (예컨대, 상이한 사용자와 연관된) 원격 컴퓨터의 카메라에 의해 캡처된 이미지 데이터를 수정하기 위한, 물리적 마크들을 디지털 문서 내에 디스플레이하고/하거나 그에 추가하는 것을 돕기 위한, 콘텐츠의 더 양호한 협업 및 공유를 용이하게 하기 위한, 그리고/또는 (예컨대, 표면 뷰를 공유하기 전에 그리고/또는 표면 뷰가 공유되고 있는 동안) 표면 뷰의 어떤 부분들이 공유되는지를 관리하기 위한 방법(700)의 특성들을 포함할 수 있다. 간결함을 위해, 이 상세사항들은 본 명세서에서 반복되지 않는다.

도 8은 일부 실시예들에 따른, 컴퓨터 시스템을 사용하여 라이브 비디오 통신 세션을 관리하기 위한 방법을 예시하는 흐름도이다. 방법(800)은 디스플레이 생성 컴포넌트(예컨대, 601, 683, 6201, 및/또는 1101)(예컨대, 디스플레이 제어기, 터치 감응형 디스플레이 시스템, 및/또는 모니터), 하나 이상의 카메라들(예컨대, 602, 682, 6202, 및/또는 1102a 내지 1102d)(예컨대, 적외선 카메라, 깊이 카메라, 및/또는 가시광 카메라), 및 하나 이상의 입력 디바이스들(예컨대, 터치 감응형 표면, 키보드, 제어기, 및/또는 마우스)과 통신하는 컴퓨터 시스템(예컨대, 스마트폰, 태블릿, 랩톱 컴퓨터, 및/또는 데스크톱 컴퓨터)(예컨대, 100, 300, 500, 600-1, 600-2, 600-3, 600-4, 906a, 906b, 906c, 906d, 6100-1, 6100-2, 1100a, 1100b, 1100c, 및/또는 1100d)에서 수행된다. 방법(800)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서들은 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.

아래에서 설명되는 바와 같이, 방법(800)은 라이브 비디오 통신 세션을 관리하기 위한 직관적인 방식을 제공한다. 본 방법은 라이브 비디오 통신 세션을 관리하는 것에 대한 사용자의 인지적 부담을 감소시켜서, 그에 의해, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 더 빠르고 더 효율적으로 라이브 비디오 통신 세션을 관리할 수 있게 하는 것은 전력을 절약하고 배터리 충전들 사이의 시간을 증가시킨다.

방법(800)에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스(예컨대, 604-1)(예컨대, 착신 및/또는 발신 라이브 오디오/비디오 통신 세션을 위한 인터페이스)를 디스플레이한다(802). 일부 실시예들에서, 라이브 통신 세션은 적어도 컴퓨터 시스템(예컨대, 제1 컴퓨터 시스템)과 제2 컴퓨터 시스템 사이에서 이루어진다. 라이브 비디오 통신 인터페이스는 하나 이상의 카메라들에 의해 캡처된 시야 내에 있는 장면의 제1 부분(예컨대, 물리적 환경의 일부분(예컨대, 구역))의 표현(예컨대, 622-1)(예컨대, 제1 표현)을 포함한다. 일부 실시예들에서, 제1 표현은 윈도우(예컨대, 제1 윈도우) 내에 디스플레이된다. 일부 실시예들에서, 장면의 제1 부분은 하나 이상의 카메라들에 의해 캡처된 시야의 제1 부분(예컨대, 크롭핑된 부분(예컨대, 제1 크롭핑된 부분))에 대응한다.

라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 컴퓨터 시스템은, 하나 이상의 카메라들을 통해, 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하고, 이미지 데이터는 제1 제스처(예컨대, 656b)(예컨대, 손 제스처)를 포함한다(804). 일부 실시예들에서, 제스처는 하나 이상의 카메라들의 시야 내에서 수행된다. 일부 실시예들에서, 이미지 데이터는 하나 이상의 카메라들의 시야에 대한 것이다. 일부 실시예들에서, 제스처는 장면의 표현 내에 디스플레이된다. 일부 실시예들에서, 제스처는 (예컨대, 제스처가 현재 디스플레이되고 있지 않은 하나 이상의 카메라들의 시야의 일부분에서 검출되기 때문에) 제1 장면의 표현 내에 디스플레이되지 않는다. 일부 실시예들에서, 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 오디오 입력이 하나 이상의 입력 디바이스들을 통해 획득되고, 오디오 입력이 오디오 기준들의 세트를 만족시킨다는 결정은 제스처가 제1 세트의 기준들을 만족시킨다는 결정을 대신할 수 있다(예컨대, 그를 대신함).

하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하는 것에 응답하여(및/또는 오디오 입력을 획득하는 것에 응답하여), 그리고 제1 제스처가 제1 세트의 기준들을 만족시킨다는 결정에 따라, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내에 있는 장면의 제2 부분의 표현(예컨대, 622-2')(예컨대, 제2 표현)을 디스플레이하고, 장면의 제2 부분의 표현은 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠를 포함한다. 일부 실시예들에서, 제2 표현은 윈도우(예컨대, 제2 윈도우) 내에 디스플레이된다. 일부 실시예들에서, 제2 윈도우는 제1 윈도우와는 상이하다. 일부 실시예들에서, 제1 세트의 기준들은 제스처를 인식하기 위한 기준들의 미리결정된 세트이다. 일부 실시예들에서, 제1 세트의 기준들은 사용자의 하나 이상의 손들의 제스처(예컨대, 이동 및/또는 정적 포즈)(예컨대, 한 손 제스처 및/또는 두 손 제스처)에 대한 기준을 포함한다. 일부 실시예들에서, 제1 세트의 기준들은 사용자의 하나 이상의 손들의 위치(예컨대, 장소 및/또는 배향)(예컨대, 하나 이상의 손가락들 및/또는 하나 이상의 손바닥들의 위치)에 대한 기준을 포함한다. 일부 실시예들에서, 기준들은 사용자의 손(들) 이외의 사용자의 신체의 일부분(예컨대, 얼굴, 눈들, 머리, 및/또는 어깨들)의 제스처에 대한 기준을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들을 물리적으로 조정하지 않고서 디지털 방식으로 패닝 및/또는 주밍함으로써 장면의 제2 부분의 표현을 디스플레이한다. 일부 실시예들에서, 제2 부분의 표현은 제1 부분의 표현에 포함되지 않는 시각적 콘텐츠를 포함한다. 일부 실시예들에서, 제2 부분의 표현은 제1 부분의 표현에 포함되는 시각적 콘텐츠의 적어도 일부분을 포함하지 않는다. 일부 실시예들에서, 제2 부분의 표현은 제1 부분에 포함된 시각적 콘텐츠의 적어도 일부분(그러나 전부는 아님)을 포함한다(예컨대, 제2 부분 및 제1 부분은 일부 중첩 시각적 콘텐츠를 포함함). 일부 실시예들에서, 제2 부분의 표현을 디스플레이하는 것은 하나 이상의 카메라들의 시야의 일부분(예컨대, 크롭핑된 부분)을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 부분의 표현 및 제2 부분의 표현은 하나 이상의 카메라들(예컨대, 단일 카메라)의 동일한 시야에 기초한다. 일부 실시예들에서, 제2 부분의 표현을 디스플레이하는 것은 제1 부분의 표현을 디스플레이하는 것으로부터 동일한 윈도우 내에 제2 부분의 표현을 디스플레이하는 것으로 전이하는 것을 포함한다. 일부 실시예들에서, 오디오 입력이 오디오 기준들의 세트를 만족시킨다는 결정에 따라, 장면의 제2 부분의 표현이 디스플레이된다.

하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하는 것에 응답하여(및/또는 오디오 입력을 획득하는 것에 응답하여), 그리고 제1 제스처가 제1 세트의 기준들과는 상이한 제2 세트의 기준들을 만족시킨다는(예컨대, 제1 세트의 기준들을 만족시키지 않는다는) 결정에 따라, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 장면의 제1 부분의 표현(예컨대, 제1 표현)을 계속 디스플레이한다(예컨대, 그의 디스플레이를 유지함)(예컨대, 제스처(612d)가 제2 세트의 기준들을 만족시키는(예컨대, 제1 세트의 기준들을 만족시키지 않는) 경우 도 6d 및 도 6e의 표현들(622-1, 622-2)은 계속 디스플레이됨)(810). 일부 실시예들에서, 오디오 입력이 오디오 기준들의 세트를 만족시키지 않는다는 결정에 따라, 디스플레이 생성 컴포넌트를 통해, 장면의 제1 부분의 표현을 계속 디스플레이한다. 제1 제스처가 제1 세트의 기준들을 만족시킬 때 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠를 포함하는 장면의 제2 부분의 표현을 디스플레이하는 것은, 카메라의 시야에서 수행되는 제스처에 기초하여 시각적 콘텐츠를 제어함으로써 사용자 인터페이스를 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 장면의 제1 부분의 표현은 장면의 제2 부분의 표현(예컨대, 도 6m의 표현들(622-1, 624-1))과 동시에 디스플레이된다(예컨대, 장면의 제1 부분의 표현은 제1 윈도우 내에 디스플레이되고, 장면의 제2 부분의 표현은 제2 윈도우 내에 디스플레이됨). 일부 실시예들에서, 장면의 제2 부분의 표현을 디스플레이한 후에, 사용자 입력이 검출된다. 사용자 입력을 검출하는 것에 응답하여, 장면의 제1 부분의 표현은 장면의 제2 부분과 동시에 디스플레이되도록 디스플레이된다(예컨대, 재디스플레이됨). 장면의 제1 부분의 표현을 장면의 제2 부분의 표현과 동시에 디스플레이하는 것은, 사용자가 상이한 시각적 콘텐츠를 동시에 보도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하는 것에 응답하여, 그리고 제1 제스처가, 제1 세트의 기준들 및 제2 세트의 기준들과는 상이한 제3 세트의 기준들을 만족시킨다는 결정에 따라, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내에 있는 장면의 제3 부분의 표현을 디스플레이하고, 장면의 제3 부분의 표현은 (예컨대, 도 6y 및 도 6z에 도시된 바와 같이) 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠, 및 장면의 제2 부분의 표현과는 상이한 시각적 콘텐츠를 포함한다. 일부 실시예들에서, 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠, 및 장면의 제2 부분의 표현과는 상이한 시각적 콘텐츠를 포함하는 장면의 제3 부분을 디스플레이하는 것은, 하나 이상의 카메라들에 의해 캡처된 이미지 데이터에 적용되는 왜곡 보정을 변경하는 것(예컨대, 장면의 제1 부분의 표현에 적용되는 왜곡 보정 및/또는 장면의 제2 부분의 표현에 적용되는 왜곡 보정과 비교하여 상이한 왜곡 보정을 장면의 제3 부분의 표현에 적용하는 것)을 포함한다. 제1 제스처가, 제1 세트의 기준들 및 제2 세트의 기준들과는 상이한 제3 세트의 기준들을 만족시킬 때, 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠, 및 장면의 제2 부분의 표현과는 상이한 시각적 콘텐츠를 포함하는 장면의 제3 부분의 표현을 디스플레이하는 것은, 사용자가 카메라의 시야에서의 상이한 제스처들을 사용하여 상이한 시각적 콘텐츠를 디스플레이하도록 허용함으로써 사용자 인터페이스를 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 장면의 제2 부분의 표현을 디스플레이하는 동안, 컴퓨터 시스템은 사용자의 손의 이동(예컨대, 장면의 상이한 부분으로의 도 6x의 프레임 제스처(656c)의 이동)을 포함하는 이미지 데이터를 획득한다. 사용자의 손의 이동을 포함하는 이미지 데이터를 획득하는 것에 응답하여, (예컨대, 도 6x를 참조하여 설명된 바와 같이) 컴퓨터 시스템은, 장면의 제2 부분으로부터, 장면의 제2 부분과는 상이하고 사용자의 손을 포함하는 장면의 제4 부분으로의 사용자의 손의 이동을 추적하는 것을 포함하여, 장면의 제4 부분의 표현을 디스플레이한다. 일부 실시예들에서, 제1 왜곡 보정(예컨대, 제1 양 및/또는 방식의 왜곡 보정)이 장면의 제2 부분의 표현에 적용된다. 일부 실시예들에서, 제1 왜곡 보정과는 상이한 제2 왜곡 보정(예컨대, 제2 양 및/또는 방식의 왜곡 보정)이 장면의 제4 부분의 표현에 적용된다. 일부 실시예들에서, 시프트의 양(예컨대, 패닝의 양)은 사용자의 손의 이동의 양에 대응한다(예컨대, 비례함)(예컨대, 팬의 양은 사용자의 제스처의 이동의 양에 기초함). 일부 실시예들에서, 장면의 제2 부분 및 장면의 제4 부분은 동일한 이미지 데이터로부터의 크롭핑된 부분들이다. 일부 실시예들에서, 장면의 제2 부분으로부터 장면의 제4 부분으로의 전이는 하나 이상의 카메라들의 배향을 수정하지 않고서 달성된다. 사용자의 손의 이동을 포함하는 이미지 데이터를 획득하는 것에 응답하여, 장면의 제2 부분으로부터 장면의 제4 부분으로의 사용자의 손의 이동을 추적하는 것을 포함하여, 장면의 제2 부분과는 상이하고 사용자의 손을 포함하는 장면의 제4 부분의 표현을 디스플레이하는 것은, 사용자가 카메라의 시야에서의 그 또는 그녀의 손의 이동을 사용하여 장면의 상이한 부분들을 디스플레이하도록 허용함으로써 사용자 인터페이스를 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 장면의 제1 부분의 표현 또는 장면의 제2 부분의 표현을 디스플레이하는 동안) 제3 제스처(예컨대, 612d, 654, 656b, 656c, 656e, 664, 666, 668, 및/또는 670)를 포함하는 이미지 데이터를 획득한다. 제3 제스처를 포함하는 이미지 데이터를 획득하는 것에 응답하여, 그리고 제3 제스처가 주밍 기준들을 만족시킨다는 결정에 따라, (예컨대, 도 6r, 도 6v, 도 6x, 및/또는 도 6ab에 도시된 바와 같이) 컴퓨터 시스템은 장면의 일부분의 각자의 표현의 줌 레벨(예컨대, 장면의 제1 부분의 표현 및/또는 장면의 제2 부분의 표현의 줌 레벨)을 제1 줌 레벨로부터 제1 줌 레벨과는 상이한 제2 줌 레벨로 변경한다(예컨대, 줌인 및/또는 줌아웃함). 일부 실시예들에서, 제3 제스처가 주밍 기준들을 만족시키지 않는다는 결정에 따라, 컴퓨터 시스템은 장면의 일부분의 각자의 표현의 줌 레벨을 (예컨대, 제1 줌 레벨로) 유지한다(예컨대, 컴퓨터 시스템은 장면의 일부분의 각자의 표현의 줌 레벨을 변경하지 않음). 일부 실시예들에서, 장면의 일부분의 각자의 표현의 줌 레벨을 제1 줌 레벨로부터 제2 줌 레벨로 변경하는 것은, 하나 이상의 카메라들에 의해 캡처된 이미지 데이터에 적용되는 왜곡 보정을 변경하는 것(예컨대, 줌 레벨을 변경하기 전에 장면의 일부분의 각자의 표현에 적용되는 왜곡 보정과 비교하여 상이한 왜곡 보정을 장면의 일부분의 각자의 표현에 적용하는 것)을 포함한다. 제3 제스처가 주밍 기준들을 만족시킬 때, 장면의 일부분의 각자의 표현의 줌 레벨을 제1 줌 레벨로부터 제1 줌 레벨과는 상이한 제2 줌 레벨로 변경하는 것은, 사용자가 카메라의 시야에서 수행되는 제스처를 사용하여 줌 레벨을 수정하도록 허용함으로써 사용자 인터페이스를 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 제3 제스처는 포인팅 제스처(예컨대, 656b)를 포함하고, 줌 레벨을 변경하는 것은 (예컨대, 도 6v에 도시된 바와 같이) 포인팅 제스처에 대응하는 장면의 구역(예컨대, 사용자가 물리적으로 가리키고 있는 장면의 구역)을 줌인하는 것을 포함한다. 포인팅 제스처에 대응하는 장면의 구역을 줌인하는 것은, 사용자가 카메라의 시야에서 수행되는 제스처를 사용하여, 줌인할 장면의 특정 구역을 특정하도록 허용함으로써 사용자 인터페이스를 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 제1 줌 레벨로 디스플레이되는 각자의 표현은 장면의 제1 위치에 중심설정되고, 제2 줌 레벨로 디스플레이되는 각자의 표현은 장면의 제1 위치에 중심설정된다(예컨대, 도 6ac의 제스처들(664, 666, 668, 또는 670)에 응답하여, 도 6m의 표현들(624-1, 622-2)은 주밍되고 드로잉(618) 상에 중심설정된 상태로 유지됨). 제1 줌 레벨로 디스플레이되는 각자의 표현을 장면의 제1 위치에 중심설정되는 것으로 그리고 제2 줌 레벨로 디스플레이되는 각자의 표현을 장면의 제1 위치에 중심설정되는 것으로 디스플레이하는 것은, 사용자가, 줌이 적용된 후에 표현에 대한 중심을 지정하지 않고서, 카메라의 시야에서 수행되는 제스처를 사용하여 줌 레벨을 변경하도록 허용함으로써, 사용자 인터페이스를 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 개선된 시각적 피드백 및 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 각자의 표현의 줌 레벨을 변경하는 것은 (예컨대, 도 6r에 도시된 바와 같이) 각자의 표현의 제1 부분의 줌 레벨을 제1 줌 레벨로부터 제2 줌 레벨로 변경하는 것; 및 각자의 표현의, 제1 부분과는 상이한 제2 부분을 제1 줌 레벨로 디스플레이하는 것(예컨대, 그의 디스플레이를 유지하는 것)을 포함한다. 각자의 표현의 제1 부분의 줌 레벨을 제1 줌 레벨로부터 제2 줌 레벨로 그리고 각자의 표현의 제2 부분을 제1 줌 레벨로 디스플레이하는 것은, 사용자가, 표현의 다른 부분들의 줌 레벨을 변경하지 않고서, 카메라의 시야에서 수행되는 제스처를 사용하여 표현의 특정 부분의 줌 레벨을 변경하도록 허용함으로써, 비디오 통신 세션 경험을 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 개선된 시각적 피드백 및 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하는 것에 응답하여, 그리고 제1 제스처가 제1 세트의 기준들을 만족시킨다는 결정에 따라, 제스처(예컨대, 미리정의된 제스처)가 검출되었다는 제1 그래픽 표시(예컨대, 626)(예컨대, 텍스트, 그래픽, 색상, 및/또는 애니메이션)를 디스플레이한다. 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하는 것에 응답하여, 제스처가 검출되었다는 제1 그래픽 표시를 디스플레이하는 것은, 제스처가 검출될 때의 표시를 제공함으로써 사용자 인터페이스를 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제1 그래픽 표시를 디스플레이하는 것은, 제1 제스처가 제1 유형의 제스처(예컨대, 도 6w의 프레이밍 제스처(656c)는 주밍 제스처임)(예컨대, 줌 제스처, 팬 제스처, 및/또는 이미지를 회전시키기 위한 제스처)를 포함한다는(예컨대, 제1 유형의 제스처라는) 결정에 따라, 제1 그래픽 표시를 제1 외관으로 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 그래픽 표시를 디스플레이하는 것은, 또한, 제1 제스처가 제2 유형의 제스처(예컨대, 도 6y의 포인팅 제스처(656d)는 패닝 제스처임)(예컨대, 줌 제스처, 팬 제스처, 및/또는 이미지를 회전시키기 위한 제스처)를 포함한다는(예컨대, 제2 유형의 제스처라는) 결정에 따라, 제1 그래픽 표시를 제1 외관과는 상이한 제2 외관으로 디스플레이하는 것을 포함한다(예컨대, 제1 그래픽 표시의 외관은 어떤 유형의 동작이 수행될 것인지를 나타낼 수 있음). 제1 제스처가 제1 유형의 제스처를 포함할 때, 제1 그래픽 표시를 제1 외관으로 디스플레이하고, 제1 제스처가 제2 유형의 제스처를 포함할 때, 제1 그래픽 표시를 제1 외관과는 상이한 제2 외관으로 디스플레이하는 것은, 검출되는 제스처의 유형의 표시를 제공함으로써 사용자 인터페이스를 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하는 것에 응답하여, 그리고 제1 제스처가 제4 세트의 기준들을 만족시킨다는 결정에 따라, 임계 시간을 만족시키는 것을 향한 진행(예컨대, 장면의 제2 부분의 표현을 디스플레이하는 것으로 전이하는 것을 향한 진행 및/또는 장면의 제2 부분의 표현이 디스플레이될 때까지의 시간의 카운트다운)을 나타내는 제2 그래픽 객체(예컨대, 626)(예컨대, 카운트다운 타이머, 시간 경과에 따라 채워지는 링, 및/또는 시간 경과에 따라 채워지는 바)를 (예컨대, 장면의 제2 부분의 표현을 디스플레이하기 전에) 디스플레이한다. 일부 실시예들에서, 제1 세트의 기준들은 제1 제스처가 임계 시간 동안 유지되는 경우 충족되는 기준을 포함한다. 제1 제스처가 제4 세트의 기준들을 만족시킬 때, 임계 시간을 만족시키는 것을 향한 진행을 나타내는 제2 그래픽 객체를 디스플레이하는 것은, 디바이스가 요청된 기능을 실행하기 전에 제스처가 얼마나 오랫동안 수행되어야 하는지의 표시를 제공함으로써 사용자 인터페이스를 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제1 세트의 기준들은 (예컨대, 도 6d 및 도 6e를 참조하여 설명된 바와 같이) 제1 제스처가 임계 시간 동안 유지되는 경우 충족되는 기준을 포함한다(예컨대, 컴퓨터 시스템은 제1 제스처가 임계 시간 동안 유지되는 경우 제2 부분의 표현을 디스플레이함). 제1 제스처가 임계 시간 동안 유지되는 경우 충족되는 기준을 제1 세트의 기준들에 포함하는 것은, 짧고 우발적인 제스처들에 기초한 원치 않는 동작들의 수를 감소시킴으로써 사용자 인터페이스를 향상시키며, 이는 원치 않는 동작을 교정하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 제2 그래픽 객체는 (예컨대, 도 6d 및 도 6e를 참조하여 설명된 바와 같이) 타이머(예컨대, 수치 타이머, 아날로그 타이머, 및/또는 디지털 타이머)이다. 제2 그래픽 객체를 타이머를 포함하는 것으로 디스플레이하는 것은, 사용자가, 디바이스가 요청된 기능을 실행하기 전에 제스처가 얼마나 오랫동안 수행되어야 하는지를 효율적으로 식별하도록 허용함으로써, 사용자 인터페이스를 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제2 그래픽 객체는 (예컨대, 도 6d 및 도 6e를 참조하여 설명된 바와 같이) 제스처(예컨대, 제1 제스처 및/또는 손 제스처)의 표현의 윤곽을 포함한다. 제2 그래픽 객체를 제스처의 표현의 윤곽을 포함하는 것으로 디스플레이하는 것은, 사용자가, 디바이스가 요청된 기능을 실행하기 전에 어떤 유형의 제스처가 수행될 필요가 있는지를 효율적으로 식별하도록 허용함으로써, 사용자 인터페이스를 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제2 그래픽 객체는 줌 레벨(예컨대, 662)(예컨대, "1X" 및/또는 "2X"의 그래픽 표시 및/또는 장면의 제2 부분의 표현이 디스플레이되거나 디스플레이될 줌 레벨의 그래픽 표시)을 나타낸다. 일부 실시예들에서, 제2 그래픽 객체는, 선택될 때, 장면의 제2 부분의 표현의 줌 레벨을 선택(예컨대, 변경)하는 선택가능(예컨대, 스위치, 버튼, 및/또는 토글)이다. 제2 그래픽 객체를 줌 레벨을 나타내는 것으로 디스플레이하는 것은, 현재 및/또는 미래의 줌 레벨의 표시를 제공함으로써 사용자 인터페이스를 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 장면의 제2 부분의 표현을 디스플레이하기 전에, 컴퓨터 시스템은 오디오 입력(예컨대, 614)을 검출하며, 여기에서 제1 세트의 기준들은 오디오 입력에 기초하는(예컨대, 제1 제스처가 오디오 입력과 동시에 검출되고/되거나 오디오 입력이 오디오 입력 기준들을 충족시킨다는(예컨대, 제1 제스처와 매칭되는 음성 커맨드를 포함한다는)) 기준을 포함한다. 일부 실시예들에서, 오디오 입력을 검출하는 것에 응답하여. 그리고 오디오 입력이 오디오 입력 기준들을 만족시킨다는 결정에 따라, 컴퓨터 시스템은 장면의 제2 부분의 표현을 디스플레이한다(예컨대, 제1 제스처가 제1 세트의 기준들을 만족시키지 않는 경우에도, 제1 제스처를 검출하지 않고서, 오디오 입력은 컴퓨터 시스템으로 하여금 (예컨대, 제1 제스처를 검출하는 것 및 제1 제스처가 제1 세트의 기준들을 만족시킨다는 결정 대신에) 장면의 제2 부분의 표현을 디스플레이하게 하기에 (단독으로) 충분함). 일부 실시예들에서, 오디오 입력에 기초한 기준은 제1 세트의 기준들을 만족시키기 위해 충족되어야 한다(예컨대, 컴퓨터 시스템으로 하여금 장면의 제2 부분의 표현을 디스플레이하게 하는 데 제1 제스처 및 오디오 입력 둘 모두가 요구됨). 장면의 제2 부분의 표현을 디스플레이하기 전에, 오디오 입력을 검출하고, 오디오 입력에 기초하는 기준을 이용하는 것은, 사용자가 요청을 말함으로써 디스플레이되는 시각적 콘텐츠를 제어할 수 있기 때문에 사용자 인터페이스를 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 제1 제스처는 포인팅 제스처(예컨대, 656b)를 포함한다. 일부 실시예들에서, 장면의 제1 부분의 표현은 제1 줌 레벨로 디스플레이된다. 일부 실시예들에서, 제2 부분의 표현을 디스플레이하는 것은, 포인팅 제스처가 장면 내의 객체(예컨대, 660)(예컨대, 책, 드로잉, 전자 디바이스, 및/또는 표면)에 대한 것이라는 결정에 따라, 객체의 표현을 제1 줌 레벨과는 상이한 제2 줌 레벨로 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제2 줌 레벨은 객체의 위치 및/또는 크기(예컨대, 하나 이상의 카메라들로부터의 객체의 거리)에 기초한다. 예를 들어, 제2 줌 레벨은 더 큰 객체들 또는 하나 이상의 카메라들에 더 가까운 객체들에 대해서보다, 더 작은 객체들 또는 하나 이상의 카메라들로부터 더 멀리 떨어진 객체들에 대해 더 클 수 있다(예컨대, 더 많은 양의 줌). 일부 실시예들에서, 객체의 표현에 적용되는 왜곡 보정(예컨대, 왜곡 보정의 양 및/또는 방식)은 객체의 위치 및/또는 크기에 기초한다. 예를 들어, 객체의 표현에 적용되는 왜곡 보정은 더 작은 객체들 또는 하나 이상의 카메라들로부터 더 멀리 떨어진 객체들에 대해서보다, 더 큰 객체들 또는 하나 이상의 카메라들에 더 가까운 객체들에 대해 더 클 수 있다(예컨대, 더 많은 보정). 포인팅 제스처가 장면 내의 객체에 대한 것일 때, 객체의 표현을 제1 줌 레벨과는 상이한 제2 줌 레벨로 디스플레이하는 것은, 사용자가 디바이스를 터치하지 않고서 객체를 줌인하도록 허용함으로써 사용자 인터페이스를 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 제1 제스처는 프레이밍 제스처(예컨대, 656c)(예컨대, 두 손이 정사각형을 만듦)를 포함한다. 일부 실시예들에서, 장면의 제1 부분의 표현은 제1 줌 레벨로 디스플레이된다. 일부 실시예들에서, 제2 부분의 표현을 디스플레이하는 것은, 프레이밍 제스처가 장면 내의 객체(예컨대, 660)(예컨대, 책, 드로잉, 전자 디바이스, 및/또는 표면)에 대한 것이라는(예컨대, 그를 프레이밍하고/하거나 둘러싸고/둘러싸거나 윤곽형성한다는) 결정에 따라, (예컨대, 도 6x에 도시된 바와 같이) 객체의 표현을 제1 줌 레벨과는 상이한 제2 줌 레벨로 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제2 줌 레벨은 객체의 위치 및/또는 크기(예컨대, 하나 이상의 카메라들로부터의 객체의 거리)에 기초한다. 예를 들어, 제2 줌 레벨은 더 큰 객체들 또는 하나 이상의 카메라들에 더 가까운 객체들에 대해서보다, 더 작은 객체들 또는 하나 이상의 카메라들로부터 더 멀리 떨어진 객체들에 대해 더 클 수 있다(예컨대, 더 많은 양의 줌). 일부 실시예들에서, 객체의 표현에 적용되는 왜곡 보정(예컨대, 왜곡 보정의 양 및/또는 방식)은 객체의 위치 및/또는 크기에 기초한다. 예를 들어, 객체의 표현에 적용되는 왜곡 보정은 더 작은 객체들 또는 하나 이상의 카메라들로부터 더 멀리 떨어진 객체들에 대해서보다, 더 큰 객체들 또는 하나 이상의 카메라들에 더 가까운 객체들에 대해 더 클 수 있다(예컨대, 더 많은 보정). 일부 실시예들에서, 제2 줌 레벨은 프레이밍 제스처의 위치 및/또는 크기(예컨대, 프레이밍 제스처를 행하는 두 손들 사이의 거리 및/또는 하나 이상의 카메라들로부터의 프레이밍 제스처의 거리)에 기초한다. 예를 들어, 제2 줌 레벨은 더 작은 프레이밍 제스처들 또는 하나 이상의 카메라들에 더 가까운 프레이밍 제스처들에 대해서보다, 더 큰 프레이밍 제스처들 또는 하나 이상의 카메라들로부터 더 멀리 떨어진 프레이밍 제스처들에 대해 더 클 수 있다(예컨대, 더 많은 양의 줌). 일부 실시예들에서, 객체의 표현에 적용되는 왜곡 보정(예컨대, 왜곡 보정의 양 및/또는 방식)은 프레이밍 제스처의 위치 및/또는 크기에 기초한다. 예를 들어, 객체의 표현에 적용되는 왜곡 보정은 더 작은 프레이밍 제스처들 또는 하나 이상의 카메라들로부터 더 멀리 떨어진 프레이밍 제스처들에 대해서보다, 더 큰 프레이밍 제스처들 또는 하나 이상의 카메라들에 더 가까운 프레이밍 제스처들에 대해 더 클 수 있다(예컨대, 더 많은 보정). 프레이밍 제스처가 장면 내의 객체에 대한 것일 때, 객체의 표현을 제1 줌 레벨과는 상이한 제2 줌 레벨로 디스플레이하는 것은, 사용자가 디바이스를 터치하지 않고서 객체를 줌인하도록 허용함으로써 사용자 인터페이스를 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 제1 제스처는 포인팅 제스처(예컨대, 656d)를 포함한다. 일부 실시예들에서, 제2 부분의 표현을 디스플레이하는 것은, 포인팅 제스처가 제1 방향으로 이루어진다는 결정에 따라, (예컨대, 도 6y 및 도 6z에 도시된 바와 같이) (예컨대, 하나 이상의 카메라들을 물리적으로 패닝하지 않고서) 이미지 데이터를 포인팅 제스처의 제1 방향으로 패닝하는 것을 포함한다. 일부 실시예들에서, 이미지 데이터를 포인팅 제스처의 제1 방향으로 패닝하는 것은 하나 이상의 카메라들에 의해 캡처된 이미지 데이터에 적용되는 왜곡 보정을 변경하는 것(예컨대, 장면의 제1 부분의 표현에 적용되는 왜곡 보정과 비교하여 상이한 왜곡 보정을 장면의 제2 부분의 표현에 적용하는 것)을 포함한다. 일부 실시예들에서, 제2 부분의 표현을 디스플레이하는 것은, 포인팅 제스처가 제2 방향으로 이루어진다는 결정에 따라, (예컨대, 하나 이상의 카메라들을 물리적으로 패닝하지 않고서) 이미지 데이터를 포인팅 제스처의 제2 방향으로 패닝하는 것을 포함한다. 일부 실시예들에서, 이미지 데이터를 포인팅 제스처의 제2 방향으로 패닝하는 것은 하나 이상의 카메라들에 의해 캡처된 이미지 데이터에 적용되는 왜곡 보정을 변경하는 것(예컨대, 장면의 제1 부분의 표현에 적용되는 왜곡 보정 및/또는 이미지 데이터를 포인팅 제스처의 제1 방향으로 패닝할 때 적용되는 왜곡 보정과 비교하여 상이한 왜곡 보정을 장면의 제2 부분의 표현에 적용하는 것)을 포함한다. 이미지 데이터를 포인팅 제스처의 각자의 방향으로 패닝하는 것은, 사용자가 디바이스를 터치하지 않고서 이미지 데이터를 패닝하도록 허용함으로써 사용자 인터페이스를 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 장면의 제1 부분의 표현을 디스플레이하는 것은 사용자의 표현을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제2 부분의 표현을 디스플레이하는 것은 (예컨대, 도 6z에 도시된 바와 같이) (예컨대, 이미지 데이터를 포인팅 제스처의 제1 방향 및/또는 제2 방향으로 패닝하는 동안) 사용자의 표현의 디스플레이를 유지하는 것을 포함한다. 사용자의 표현을 유지하는 동안 이미지 데이터를 패닝하는 것은, 이미지 데이터를 패닝함에도 불구하고 참가자들이 여전히 사용자를 관찰할 수 있는 것을 보장함으로써 비디오 통신 세션 경험을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 제1 제스처는 손 제스처(예컨대, 656e)를 포함한다(예컨대, 손 제스처임). 일부 실시예들에서, 장면의 제1 부분의 표현을 디스플레이하는 것은 장면의 제1 부분의 표현을 제1 줌 레벨로 디스플레이하는 것을 포함한다. 일부 실시예들에서, 장면의 제2 부분의 표현을 디스플레이하는 것은 (예컨대, 도 6aa 및 도 6ab에 도시된 바와 같이) 장면의 제2 부분의 표현을 제1 줌 레벨과는 상이한 제2 줌 레벨로 디스플레이하는 것을 포함한다(예컨대, 컴퓨터 시스템은, 손 제스처를 검출하는 것에 응답하여, 그리고 선택적으로, 제1 제스처가 줌 커맨드에 대응하는 손 제스처를 포함한다는(예컨대, 손 제스처의 포즈 및/또는 이동이 줌 커맨드에 대응하는 기준들의 세트를 만족시킨다는) 결정에 따라, 하나 이상의 카메라들에 의해 캡처된 장면의 뷰를 줌인 및/또는 줌아웃함). 일부 실시예들에서, 제1 세트의 기준들은 손 제스처의 포즈에 기초하는 기준을 포함한다. 일부 실시예들에서, 장면의 제2 부분의 표현을 제1 줌 레벨과는 상이한 제2 줌 레벨로 디스플레이하는 것은 하나 이상의 카메라들에 의해 캡처된 이미지 데이터에 적용되는 왜곡 보정을 변경하는 것(예컨대, 장면의 제1 부분의 표현에 적용되는 왜곡 보정과 비교하여 상이한 왜곡 보정을 장면의 제2 부분의 표현에 적용하는 것)을 포함한다. 제1 제스처가 손 제스처일 때 줌 레벨을 제1 줌 레벨로부터 제2 줌 레벨로 변경하는 것은, 사용자가 디바이스를 터치하지 않고서 그 또는 그녀의 손(들)을 사용하여 줌 레벨을 수정하도록 허용함으로써 사용자 인터페이스를 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 장면의 제2 부분의 표현을 제2 줌 레벨로 디스플레이하라는 손 제스처는 줌의 양에 대응하는 2개의 손가락들을 들어올린 손 포즈(예컨대, 666)를 포함한다. 일부 실시예들에서, 손 제스처가 2개의 손가락들을 들어올린 손 포즈를 포함한다는 결정에 따라, 컴퓨터 시스템은 장면의 제2 부분의 표현을 미리결정된 줌 레벨(예컨대, 2X 줌)로 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 장면의 표현을 얼마나 많은 손가락들이 들어올려져 있는지에 기초하는 줌 레벨(예컨대, 1X 줌의 경우 한 손가락, 2X 줌의 경우 두 손가락, 또는 0.5X 줌의 경우 세 손가락)로 디스플레이한다. 일부 실시예들에서, 제1 세트의 기준들은 손 제스처에서 들어올려져 있는 손가락들의 수에 기초하는 기준을 포함한다. 다수의 손가락들을 이용하여 줌 레벨을 변경하는 것은, 사용자가 줌 레벨들 사이에서 신속하고 효율적으로 스위칭하도록 허용함으로써 사용자 인터페이스를 향상시키며, 이는 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행한다.

일부 실시예들에서, 장면의 제2 부분의 표현을 제2 줌 레벨로 디스플레이하라는 손 제스처는 줌의 양에 대응하는 손의 (예컨대, 하나 이상의 카메라들을 향한 그리고/또는 그로부터 멀어지는) 이동(예컨대, 도 6ac에 도시된 바와 같은 668 및/또는 670)(및 선택적으로, 열린 손바닥이 하나 이상의 카메라들을 향하거나 그로부터 멀리 향하는 상태의 손 포즈)을 포함한다. 일부 실시예들에서, 손 제스처의 이동이 제1 방향으로(예컨대, 하나 이상의 카메라들을 향해 또는 사용자로부터 멀어지게) 이루어진다는 결정에 따라, 컴퓨터 시스템은 줌아웃하고(예컨대, 제2 줌 레벨이 제1 줌 레벨 미만임); 손 제스처의 이동이 제1 방향과는 상이한 제2 방향으로(예컨대, 제1 방향과 반대로, 하나 이상의 카메라들로부터 멀어지게, 그리고/또는 사용자를 향해) 이루어진다는 결정에 따라, 컴퓨터 시스템은 줌인한다(예컨대, 제2 줌 레벨이 제1 줌 레벨 미만임). 일부 실시예들에서, 줌 레벨은 이동의 양에 기초하여 수정된다(예컨대, 더 많은 양의 이동은 줌 레벨의 더 큰 변화에 대응하고, 더 적은 양의 이동은 줌의 더 작은 변화에 대응함). 일부 실시예들에서, 손 제스처의 이동이 제1 양의 이동을 포함한다는 결정에 따라, 컴퓨터 시스템은 제1 줌 양만큼 주밍하고(예컨대, 제2 줌 레벨은 제1 줌 레벨보다 제1 양만큼 크거나 작음); 손 제스처의 이동이 제1 양의 이동과는 상이한 제2 양의 이동을 포함한다는 결정에 따라, 컴퓨터 시스템은 제1 줌 양과는 상이한 제2 줌 양만큼 주밍한다(예컨대, 제2 줌 레벨은 제1 줌 레벨보다 제2 양만큼 크거나 작음). 일부 실시예들에서, 제1 세트의 기준들은 손 제스처의 이동의 이동(예컨대, 방향, 속도, 및/또는 크기)에 기초하는 기준을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 손 제스처의 이동에 따라 장면의 표현을 디스플레이(예컨대, 조정)한다. 손 제스처의 이동을 이용하여 줌 레벨을 변경하는 것은, 사용자가 줌 레벨을 미세 조정하도록 허용함으로써 사용자 인터페이스를 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 장면의 제1 부분의 표현은 장면의 제1 구역(예컨대, 658-1)(예컨대, 전경 및/또는 사용자)의 표현, 및 장면의 제2 구역(예컨대, 658-2)(예컨대, 배경 및/또는 사용자 외측의 일부분)의 표현을 포함한다. 일부 실시예들에서, 장면의 제2 부분의 표현을 디스플레이하는 것은 (예컨대, 도 6t에 도시된 바와 같이) 장면의 제1 구역의 표현의 외관을 유지하는 것, 및 장면의 제2 구역(예컨대, 배경 및/또는 사용자 외측의 일부분)의 표현의 외관을 수정하는 것(예컨대, 어둡게 하는 것, 틴팅(tinting)하는 것, 및/또는 블러링하는 것)을 포함한다. 장면의 제2 구역의 표현의 외관을 수정하는 동안 장면의 제1 구역의 표현의 외관을 유지하는 것은, 사용자가, 사용자가 특정 구역들에 참가자의 주의를 집중시키기를 원하는 경우 및/또는 사용자가 특정 구역이 디스플레이될 때 그가 나타나는 방식을 좋아하지 않는 경우, 특정 구역의 외관을 조작하도록 허용함으로써, 비디오 통신 세션 경험을 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

방법(800)(예컨대, 도 8)과 관련하여 위에서 설명된 프로세스들의 상세사항들은, 또한, 본 명세서에서 설명되는 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법들(700, 1000, 1200, 1400, 1500, 1700, 1900)은, 선택적으로, 방법(800)을 참조하여 위에서 설명된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법들(700, 1000, 1200, 1400, 1500, 1700, 1900)은 라이브 통신 세션을 관리하기 위한, (예컨대, 사용자와 연관된) 로컬 컴퓨터 또는 (예컨대, 상이한 사용자와 연관된) 원격 컴퓨터의 카메라에 의해 캡처된 이미지 데이터를 수정하기 위한, 물리적 마크들을 디지털 문서에 추가하는 것을 돕기 위한, 콘텐츠의 더 양호한 협업 및 공유를 용이하게 하기 위한, 그리고/또는 (예컨대, 표면 뷰를 공유하기 전에 그리고/또는 표면 뷰가 공유되고 있는 동안) 표면 뷰의 어떤 부분들이 공유되는지를 관리하기 위한 비터치 입력을 포함할 수 있다. 간결함을 위해, 이 상세사항들은 본 명세서에서 반복되지 않는다.

도 9a 내지 도 9t는 일부 실시예들에 따른, 라이브 비디오 통신 세션 동안 다수의 상이한 표면들의 이미지들을 디스플레이하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이들 도면들의 사용자 인터페이스들은, 도 10의 프로세스들을 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다.

도 9a에서, 제1 사용자(902a)(예컨대, "사용자 1")는 제1 표면(908a)(예컨대, 책상 및/또는 테이블) 상에 위치된 제1 전자 디바이스(906a)를 포함하는 제1 물리적 환경(904a) 내에 위치된다. 게다가, 제2 사용자(902b)(예컨대, "사용자 2")는 제2 표면(908b) 상에 각각 위치된 제2 전자 디바이스(906b) 및 책(910)을 포함하는 제2 물리적 환경(904b)(예컨대, 제1 물리적 환경(904a)으로부터 원격인 물리적 환경) 내에 위치된다. 유사하게, 제3 사용자(902c)(예컨대, "사용자 3")는 제3 표면(908c) 상에 각각 위치된 제3 전자 디바이스(906c) 및 접시(912)를 포함하는 제3 물리적 환경(904c)(예컨대, 제1 물리적 환경(904a) 및/또는 제2 물리적 환경(904b)으로부터 원격인 물리적 환경) 내에 위치된다. 더 나아가, 제4 사용자(902d)(예컨대, "사용자 4")는 제4 표면(908d) 상에 각각 위치된 제4 전자 디바이스(906d) 및 제5 전자 디바이스(914)를 포함하는 제4 물리적 환경(904d)(예컨대, 제1 물리적 환경(904a), 제2 물리적 환경(904b), 및/또는 제3 물리적 환경(904c)으로부터 원격인 물리적 환경) 내에 위치된다.

도 9a에서, 제1 사용자(902a), 제2 사용자(902b), 제3 사용자(902c), 및 제4 사용자(902d) 각각은 각각 제1 전자 디바이스(906a), 제2 전자 디바이스(906b), 제3 전자 디바이스(906c), 및 제4 전자 디바이스(906d)를 통해 서로 라이브 비디오 통신 세션(예컨대, 화상 통화 및/또는 화상 채팅)에 참가하고 있다. 일부 실시예들에서, 제1 사용자(902a), 제2 사용자(902b), 제3 사용자(902c), 및 제4 사용자(902d)는, 서로와의 직접 통신(예컨대, 전화기 및/또는 전자 디바이스의 사용 없이 서로 직접 말하고/말하거나 통신하는 것)이 가능하지 않도록, 서로 원격 물리적 환경들 내에 위치된다. 이와 같이, 제1 전자 디바이스(906a), 제2 전자 디바이스(906b), 제3 전자 디바이스(906c), 및 제4 전자 디바이스(906d)는 오디오 데이터, 이미지 데이터, 및/또는 비디오 데이터가 캡처되고 제1 전자 디바이스(906a), 제2 전자 디바이스(906b), 제3 전자 디바이스(906c), 및 제4 전자 디바이스(906d) 사이에서 송신될 수 있게 하기 위해 서로 통신한다(예컨대, 서버를 통한 간접 통신). 예를 들어, 전자 디바이스들(906a 내지 906d) 각각은 전자 디바이스들(906a 내지 906d) 사이에서 송신되는 이미지 데이터 및/또는 비디오 데이터를 캡처하는 카메라들(909a 내지 909d)(도 9b에 도시됨)을 각각 포함한다. 게다가, 전자 디바이스들(906a 내지 906d) 각각은 동작 동안 전자 디바이스들(906a 내지 906d) 사이에서 송신되는 오디오 데이터를 캡처하는 마이크로폰을 포함한다.

도 9b 내지 도 9i, 도 9l, 도 9n, 도 9p, 도 9s, 및 도 9t는 라이브 비디오 통신 세션 동안 전자 디바이스들(906a 내지 906d) 상에 디스플레이되는 예시적인 사용자 인터페이스들을 예시한다. 전자 디바이스들(906a 내지 906d) 각각이 예시되어 있지만, 설명된 예들은, 주로, 제1 전자 디바이스(906a) 상에 디스플레이되는 사용자 인터페이스들 및/또는 그에 의해 검출되는 사용자 입력들에 관한 것이다. 일부 예들에서, 전자 디바이스들(906b 내지 906d)은 라이브 비디오 통신 세션 동안 전자 디바이스(906a)와 유사한 방식으로 동작한다는 것이 이해되어야 한다. 따라서, 일부 예들에서, 전자 디바이스들(906b 내지 906d)은 유사한 사용자 인터페이스들(어느 사용자(902b 내지 902d)가 대응하는 전자 디바이스(906b 내지 906d)와 연관되는지에 기초하여 수정됨)을 디스플레이하고/하거나, 제1 전자 디바이스(906a)를 참조하여 아래에서 설명되는 것들과 유사한 동작들이 수행되게 한다.

도 9b에서, 제1 전자 디바이스(906a)(예컨대, 제1 사용자(902a)와 연관된 전자 디바이스)는, 디스플레이(907a)를 통해, 제1 사용자(902a)가 참가하고 있는 라이브 비디오 통신 세션과 연관된 제1 통신 사용자 인터페이스(916a)를 디스플레이하고 있다. 제1 통신 사용자 인터페이스(916a)는 카메라(909a)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제1 표현(918a), 카메라(909b)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제2 표현(918b), 카메라(909c)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제3 표현(918c), 및 카메라(909d)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제4 표현(918d)을 포함한다. 도 9b에서, 제1 표현(918a)은 제2 표현(918b), 제3 표현(918c), 및 제4 표현(918d)보다 더 작은 크기로 디스플레이되어, 제1 사용자(902a)가 통신하고 있는 사용자들(902b 내지 902d)의 표현들을 위한 추가 공간을 디스플레이(907a) 상에 제공한다. 일부 실시예들에서, 제1 표현(918a)은 제2 표현(918b), 제3 표현(918c), 및 제4 표현(918d)과 동일한 크기로 디스플레이된다. 제1 통신 사용자 인터페이스(916a)는, 또한, 사용자 입력을 통해 선택될 때, 제1 전자 디바이스(906a)로 하여금 제1 통신 사용자 인터페이스(916a) 및/또는 라이브 비디오 통신 세션의 하나 이상의 설정들을 조정하게 하는 사용자 인터페이스 객체들(920a 내지 920e)을 갖는 메뉴(920)를 포함한다.

제1 전자 디바이스(906a)와 유사하게, 도 9b에서, 제2 전자 디바이스(906b)(예컨대, 제2 사용자(902b)와 연관된 전자 디바이스)는, 디스플레이(907b)를 통해, 제2 사용자(902b)가 참가하고 있는 라이브 비디오 통신 세션과 연관된 제1 통신 사용자 인터페이스(916b)를 디스플레이하고 있다. 제1 통신 사용자 인터페이스(916b)는 카메라(909a)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제1 표현(922a), 카메라(909b)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제2 표현(922b), 카메라(909c)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제3 표현(922c), 및 카메라(909d)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제4 표현(922d)을 포함한다.

도 9b에서, 제3 전자 디바이스(906c)(예컨대, 제3 사용자(902c)와 연관된 전자 디바이스)는, 디스플레이(907c)를 통해, 제3 사용자(902c)가 참가하고 있는 라이브 비디오 통신 세션과 연관된 제1 통신 사용자 인터페이스(916c)를 디스플레이하고 있다. 제1 통신 사용자 인터페이스(916c)는 카메라(909a)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제1 표현(924a), 카메라(909b)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제2 표현(924b), 카메라(909c)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제3 표현(924c), 및 카메라(909d)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제4 표현(924d)을 포함한다.

더 나아가, 도 9b에서, 제4 전자 디바이스(906d)(예컨대, 제4 사용자(902d)와 연관된 전자 디바이스)는, 디스플레이(907d)를 통해, 제4 사용자(902d)가 참가하고 있는 라이브 비디오 통신 세션과 연관된 제1 통신 사용자 인터페이스(916d)를 디스플레이하고 있다. 제1 통신 사용자 인터페이스(916d)는 카메라(909a)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제1 표현(926a), 카메라(909b)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제2 표현(926b), 카메라(909c)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제3 표현(926c), 및 카메라(909d)를 통해 캡처된 이미지 데이터에 대응하는 이미지를 포함하는 제4 표현(926d)을 포함한다.

일부 실시예들에서, 전자 디바이스들(906 내지 906d)은 하나 이상의 표현들의 이미지를 수정하도록 구성된다. 일부 실시예들에서, 사용자 입력을 검출하는 것에 응답하여 이미지들에 대해 수정들이 이루어진다. 라이브 비디오 통신 세션 동안, 예를 들어, 제1 전자 디바이스(906a)는 전자 디바이스들(906b 내지 906d)로부터 데이터(예컨대, 이미지 데이터, 비디오 데이터, 및/또는 오디오 데이터)를 수신하고, 이에 응답하여, 수신된 데이터에 기초하여 표현들(918b 내지 918d)을 디스플레이한다. 일부 실시예들에서, 제1 전자 디바이스(906a)는, 그 후에, 전자 디바이스들(906b 내지 906d)로부터 수신된 데이터를 조정, 변환, 및/또는 조작하여, 표현들(918b 내지 918d)의 이미지를 수정(예컨대, 조정, 변환, 조작, 및/또는 변경)한다. 예를 들어, 일부 실시예들에서, 제1 전자 디바이스(906a)는 제2 전자 디바이스(906b), 제3 전자 디바이스(906c), 및/또는 제4 전자 디바이스(906d)로부터 수신된 이미지에 스큐 및/또는 왜곡 보정을 적용한다. 일부 예들에서, 이러한 방식으로 이미지를 수정하는 것은 제1 전자 디바이스(906a)가 상이한 관점(예컨대, 표면들(908b 내지 908d)의 오버헤드 관점)으로부터 물리적 환경들(904b 내지 904d) 중 하나 이상을 디스플레이하도록 허용한다. 일부 실시예들에서, 제1 전자 디바이스(906a)는, 추가적으로 또는 대안적으로, 전자 디바이스들(906b 내지 906d)로부터 수신된 이미지 데이터에 회전을 적용함으로써 표현들의 하나 이상의 이미지들을 수정한다. 일부 실시예들에서, 제1 전자 디바이스(906)는 전자 디바이스들(906b 내지 906d) 중 적어도 하나로부터 조정, 변환, 및/또는 조작된 데이터를 수신하여서, 제1 전자 디바이스(906a)가 전자 디바이스들(906b 내지 906d) 중 적어도 하나로부터 수신된 이미지 데이터에 스큐, 왜곡 보정, 및/또는 회전을 적용하지 않고서 표현들(918b 내지 918d)을 디스플레이하게 한다. 도 9c에서, 예를 들어, 제1 전자 디바이스(906a)는 제1 통신 사용자 인터페이스들(916a)을 디스플레이한다. 도시된 바와 같이, 제2 사용자(902b)는 제2 물리적 환경(904b) 내의 제2 표면(908b) 상에 위치된 책(910)을 향해 제스처(949)(예컨대, 제2 사용자(902b)가 그들의 손 및/또는 손가락으로 책을 가리킴)를 수행하였다. 제2 전자 디바이스(906b)의 카메라(909b)는 제스처(949)를 행하는 제2 사용자(902b)의 이미지 데이터 및/또는 비디오 데이터를 캡처한다. 제1 전자 디바이스(906a)는 제2 전자 디바이스(906b)에 의해 캡처된 이미지 데이터 및/또는 비디오 데이터를 수신하고, 제2 사용자(902b)가 제2 표면(908b) 상에 위치된 책(910)을 향해 제스처(949)를 행하는 것을 보여주는 제2 표현들(918b)을 디스플레이한다.

도 9d 및 도 9e를 참조하면, 제1 전자 디바이스(906a)는 제2 사용자(902b)에 의해 수행된 제스처(949)를 검출하고(그리고/또는 제2 전자 디바이스(906b)에 의해 검출된 제스처(949)를 나타내는 데이터를 수신함), 제스처(949)를 제2 사용자(902b)에 대응하는 제2 표현(918b)의 이미지를 수정하라는(예컨대, 제2 표현(918b)에 포함된 제2 물리적 환경(904b)의 일부분 및/또는 관점에 대한 수정을 야기하라는) 요청으로서 인식한다. 특히, 제1 전자 디바이스(906a)는 제2 사용자(902b)에 의해 수행된 제스처(949)가 책(910)을 포함하는 표면(908b)의 확대 및/또는 클로즈업 뷰를 보여주도록 제2 표현(918b)의 이미지를 수정하라는 요청이라는 표시를 인식 및/또는 수신한다. 따라서, 도 9d에서, 제1 전자 디바이스(906a)는 표면(908b)의 확대 및/또는 클로즈업 뷰를 보여주도록 제2 표현(918b)을 수정한다. 유사하게, 전자 디바이스들(906b 내지 906d)도 제스처(949)에 응답하여 제2 표현들(922b, 924b, 926d)의 이미지들을 수정한다.

도 9d에서, 제3 사용자(902c) 및 제4 사용자(902d)도 제스처를 수행하였고/하였거나, 각각 제3 사용자(902c)에 대응하는 표현들(예컨대, 제3 표현들(918c, 922c, 924c, 926c)) 및 제4 사용자(902d)에 대응하는 표현들(예컨대, 제4 표현들(918d, 922d, 924d, 926d))의 이미지를 수정하라는 요청을 표현하는 사용자 입력을 제공하였다. 도 9a 내지 도 9g를 참조하면, 제3 사용자(902c)는 제스처(949)(예컨대, 표면(908c)을 가리킴)를 제공할 수 있고/있거나, 전자 디바이스들(906a 내지 906d) 중 하나 이상에 의해 검출될 때, 전자 디바이스들(906a 내지 906d)로 하여금 제3 표면(908c)의 확대 및/또는 클로즈업 뷰를 보여주도록 제3 표현들(918c, 922c, 924c, 926c)을 각각 수정하게 하는 하나 이상의 사용자 입력들(예컨대, 어포던스들(607-1, 607-2, 및/또는 610)을 선택하는 사용자 입력들(612b, 612c, 612f, 및/또는 612g))을 제공할 수 있다. 유사하게, 제4 사용자(902d)는 제스처(949)(예컨대, 표면(908d)을 가리킴)를 제공할 수 있고/있거나, 전자 디바이스들(906a 내지 906d) 중 하나 이상에 의해 검출될 때, 전자 디바이스들(906a 내지 906d)로 하여금 제4 표면(908d)의 확대 및/또는 클로즈업 뷰를 보여주도록 제4 표현들(918d, 922d, 924d, 926d)을 수정하게 하는 하나 이상의 사용자 입력들(예컨대, 어포던스들(607-1, 607-2, 및/또는 610)을 선택하는 사용자 입력들(612b, 612c, 612f, 및/또는 612g))을 제공할 수 있다.

(예컨대, 제2 전자 디바이스(906b)로부터 수신된 이미지 데이터 및/또는 비디오 데이터를 통해 그리고/또는 제2 전자 디바이스(906b)가 제스처(949)를 검출하는 것을 나타내는 데이터를 통해) 제스처(949)의 표시를 그리고/또는 사용자들(902b 내지 902d)에 의해 제공되는 하나 이상의 사용자 입력들을 수신하는 것에 응답하여, 제1 전자 디바이스(906a)는 이미지 데이터를 수정하여서, 표현들(918b 내지 918d)이, 표면들(908b 내지 908d)에 대한 카메라들(909b 내지 909d)의 배향을 이동 및/또는 달리 변경하지 않고서, 각자의 표면들(908b 내지 908d)의 전방에 앉아 있는 사용자(902b 내지 902d)의 관점으로부터의 표면들(908b 내지 908d)의 확대 및/또는 클로즈업 뷰를 포함하게 한다. 일부 실시예들에서, 이러한 방식으로 표현들의 이미지들을 수정하는 것은 표현들에 대응하는 이미지 데이터에 스큐, 왜곡 보정 및/또는 회전을 적용하는 것을 포함한다. 일부 실시예들에서, 적용되는 스큐 및/또는 왜곡 보정의 양은 카메라들(909b 내지 909d)과 각자의 표면들(908b 내지 908d) 사이의 거리에 적어도 부분적으로 기초하여 결정된다. 일부 그러한 실시예들에서, 제1 전자 디바이스(906a)는 제2 전자 디바이스(906b), 제3 전자 디바이스(906c), 및 제4 전자 디바이스(906d) 각각으로부터 수신된 데이터에 상이한 양들의 스큐 및/또는 왜곡 보정을 적용한다. 일부 실시예들에서, 제1 전자 디바이스(906a)는 데이터를 수정하여서, 카메라들(909b 내지 909d)을 통해 캡처된 물리적 환경의 표현이 카메라들(909b 내지 909d)의 실제 위치에 대해 회전되게 한다(예컨대, 제1 통신 사용자 인터페이스들(916a 내지 916d) 상에 디스플레이된 표면들(908b 내지 908d)의 표현들이 표면들(908b 내지 908d)에 대한 카메라들(909b 내지 909d)의 실제 위치에 대해 180도만큼 그리고/또는 상이한 관점으로부터 회전된 것으로 보이게 함). 일부 실시예들에서, 제1 전자 디바이스(906a)는 각각 표면들(908b 내지 908d)에 대한 카메라들(909b 내지 909d)의 위치에 기초하여 데이터에 일정량의 회전을 적용한다. 이와 같이, 일부 실시예들에서, 제1 전자 디바이스들(906a)은 제2 전자 디바이스(906b), 제3 전자 디바이스(906c), 및/또는 제4 전자 디바이스(906d)로부터 수신된 데이터에 상이한 양의 회전을 적용한다.

따라서, 도 9d에서, 제1 전자 디바이스(906a)는, 책(910)을 갖는 표면(908b)의 확대 및/또는 클로즈업 뷰를 포함하는 제2 물리적 환경(904b)의 수정된 이미지를 갖는 제2 표현(918b), 접시(912)를 갖는 표면(908c)의 확대 및/또는 클로즈업 뷰를 포함하는 제3 물리적 환경(904c)의 수정된 이미지를 갖는 제3 표현(918c), 및 제5 전자 디바이스(914)를 갖는 표면(908d)의 확대 및/또는 클로즈업 뷰를 포함하는 제4 물리적 환경(904d)의 수정된 이미지를 갖는 제4 표현(918d)을 디스플레이한다. 제1 전자 디바이스(906a)가 제1 표현(918a)의 수정을 요청하는 제스처 및/또는 사용자 입력의 표시를 검출 및/또는 수신하지 않기 때문에, 제1 전자 디바이스(906a)는 도 9b 및 도 9c에 도시되었던 제1 사용자(902a) 및/또는 제1 물리적 환경(904a)의 뷰로 제1 표현(918a)을 유지한다.

일부 실시예들에서, 제1 전자 디바이스(906a)는 외부 디바이스(예컨대, 라이브 비디오 통신 세션에 참가하는 데 사용되지 않는 전자 디바이스)가 표현들 중 하나 이상 내에 디스플레이 및/또는 포함된다고 결정한다(예컨대, 포함된다는 것을 검출함). 이에 응답하여, 제1 전자 디바이스(906a)는, 선택적으로, 외부 디바이스의 스크린 상에 디스플레이되는 콘텐츠의 뷰가 하나 이상의 표현들에 공유 및/또는 달리 포함될 수 있게 할 수 있다. 예를 들어, 일부 그러한 실시예들에서, 제5 전자 디바이스(914)는 (예컨대, 직접, 제4 전자 디바이스(906d)를 통해, 및/또는 서버와 같은 다른 외부 디바이스를 통해) 제1 전자 디바이스(906a)와 통신하고, 제5 전자 디바이스(914)에 의해 현재 디스플레이되고 있는 사용자 인터페이스 및/또는 다른 이미지들과 관련된 데이터를 제공(예컨대, 송신)한다. 따라서, 제1 전자 디바이스(906a)는 제4 표현(918d)으로 하여금 수신된 데이터에 기초하여 제5 전자 디바이스(914)에 의해 디스플레이되는 사용자 인터페이스 및/또는 이미지들을 포함하게 할 수 있다. 일부 실시예들에서, 제1 전자 디바이스(906a)는 제5 전자 디바이스(914) 없이 제4 표현(918d)을 디스플레이하고, 대신에, 제5 전자 디바이스(914) 상에 현재 디스플레이된 사용자 인터페이스 및/또는 이미지들을 갖는 제4 표현(918d)만을 디스플레이한다(예컨대, 제5 전자 디바이스(914)의 사용자 인터페이스는 표현(918d)의 전체를 실질적으로 채우도록 적응됨).

일부 실시예들에서, 추가로, 표현의 이미지를 수정하는 것에 응답하여, 제1 전자 디바이스(906a)는, 또한, 사용자의 표현을 디스플레이한다. 이러한 방식으로, 사용자(902a)는 수정된 이미지가 디스플레이되는 동안 사용자를 여전히 관찰할 수 있다. 예를 들어, 도 9d에 도시된 바와 같이, 제2 표현(918b)의 이미지의 수정을 요청하는 제스처를 검출하는 것에 응답하여, 제1 전자 디바이스(906a)는 제2 표현(918b) 내에 제2 사용자(902b)의 제5 표현(928a)을 갖는 제1 통신 사용자 인터페이스(916a)를 디스플레이한다(예컨대, 그리고 전자 디바이스들(906b 내지 906d)은 제5 표현들(928b 내지 928d)을 디스플레이함). 도 9d에서, 제5 표현(928a)은, 표면(908b) 및/또는 제2 표현(918b)에 포함된 제2 물리적 환경(904b)의 일부분과는 별개이고 구별되는 제2 물리적 환경(904b)의 일부분을 포함한다. 예를 들어, 제2 표현(918b)은 표면(908b)의 뷰를 포함하지만, 표면(908b)은 제5 표현(928a)에서는 보이지 않는다. 제2 표현(918b) 및 제5 표현(928a)은 제2 물리적 환경(904b)의 별개의 부분들을 디스플레이하지만, 일부 실시예들에서, 제2 표현(918b)에 포함된 제2 물리적 환경(904b)의 뷰 및 제5 표현(928a)에 포함된 제2 물리적 환경(904b)의 뷰는 둘 모두 제2 전자 디바이스(906b)의 카메라(909b)와 같은 동일한 카메라를 통해 캡처된다.

유사하게, 도 9d에서, 제3 사용자(902c)에 대응하는 제3 표현(918c)의 이미지를 수정하라고 요청하는 제스처를 검출하는 것에 응답하여, 제1 전자 디바이스(906a)는 제3 표현(918c) 내에 제6 표현(930a)을 디스플레이한다(예컨대, 그리고 전자 디바이스들(906b 내지 906d)은 제6 표현들(930b 내지 930d)을 디스플레이함). 추가로, 제4 표현(918d)의 이미지를 수정하라고 요청하는 제스처를 검출하는 것에 응답하여, 제1 전자 디바이스(906a)는 제4 표현(918d) 내에 제7 표현(932a)을 디스플레이한다(예컨대, 그리고 전자 디바이스들(906b 내지 906d)은 제7 표현들(932b 내지 932d)을 디스플레이함).

제5 표현(928a)은 제2 표현(918b) 내에 전체적으로 디스플레이되는 것으로 도시되어 있지만, 일부 실시예들에서, 제5 표현(928a)은 제2 표현(918b)에 인접하게 그리고/또는 그 내에 부분적으로 디스플레이된다. 유사하게, 일부 실시예들에서, 제6 표현(930a) 및 제7 표현(932a)은 제3 표현(918c) 및 제4 표현(918d)에 인접하게 그리고/또는 그 내에 부분적으로 디스플레이된다. 일부 실시예들에서, 제5 표현(928a)은 제2 표현(918b)의 미리결정된 거리(예컨대, 제5 표현(928a)의 중심과 제2 표현(918b)의 중심 사이의 거리) 내에 디스플레이되고, 제6 표현(930a)은 제3 표현(918c)의 미리결정된 거리(예컨대, 제6 표현(930a)의 중심과 제3 표현(918c)의 중심 사이의 거리) 내에 디스플레이되며, 제7 표현(932a)은 제4 표현(918d)의 미리결정된 거리(예컨대, 제7 표현(932a)의 중심과 제4 표현(918d)의 중심 사이의 거리) 내에 디스플레이된다. 일부 실시예들에서, 제1 통신 사용자 인터페이스(916a)는 표현들(928a, 930a, 및/또는 932a) 중 하나 이상을 포함하지 않는다.

도 9d에서, 제2 표현(918b), 제3 표현(918c), 및 제4 표현(918d)은, 각각, 서로 중첩되지 않거나 달리 오버레이된 것으로 보이지 않는 별개의 표현들로서 제1 통신 사용자 인터페이스(916a) 상에 디스플레이된다. 다시 말하면, 제1 통신 사용자 인터페이스(916a)의 제2 표현(918b), 제3 표현(918c), 및 제4 표현(918d)은 서로 중첩되지 않는 미리정의된 시각적 구역들 내에 나란히 배열된다.

도 9d에서, 제1 전자 디바이스(906a)는 메뉴(920)의 비디오 프레이밍 사용자 인터페이스 객체(920d)의 선택에 대응하는 사용자 입력(950a)(예컨대, 탭 제스처)을 검출한다. 사용자 입력(950a)을 검출하는 것에 응답하여, 도 9d에 도시된 바와 같이, 제1 전자 디바이스(906a)는 테이블 뷰(table view) 사용자 인터페이스 객체(934a) 및 표준 뷰(standard view) 사용자 인터페이스 객체(934b)를 디스플레이한다. 표준 뷰 사용자 인터페이스 객체(934b)는 제1 통신 사용자 인터페이스(916a)가, 현재, 라이브 비디오 통신 세션에 대한 표준 뷰 및/또는 모드에 있음을 나타내는 표시자(936)(예컨대, 체크 마크)를 포함한다. 라이브 비디오 통신 세션에 대한 표준 뷰 및/또는 모드는, 서로 인접하게(예컨대, 나란히) 위치되고 이격되는 표현들(918a 내지 918d)의 위치들 및/또는 레이아웃에 대응한다. 도 9d에서, 제1 전자 디바이스(906a)는 테이블 뷰 사용자 인터페이스 객체(934a)의 선택에 대응하는 사용자 입력(950b)(예컨대, 탭 제스처)을 검출한다. 사용자 입력(950b)을 검출하는 것에 응답하여, 도 9e에 도시된 바와 같이, 제1 전자 디바이스(906a)는 제2 통신 사용자 인터페이스(938a)를 디스플레이한다. 게다가, 제1 전자 디바이스(906a)가 사용자 입력(950b)을 검출한 후에, 도 9e에 도시된 바와 같이, 전자 디바이스들(906b 내지 906d)은 전자 디바이스들(906b 내지 906d)이 각각 제2 통신 사용자 인터페이스들(938b 내지 938d)을 디스플레이할 것을 요청하는 표시를 (예컨대, 제1 전자 디바이스(906a)로부터 그리고/또는 서버를 통해) 수신한다.

도 9e에서, 제2 통신 사용자 인터페이스(938a)는 테이블 뷰 영역(940) 및 제1 표현(942)을 포함한다. 테이블 뷰 영역(940)은, 제2 사용자(902b)가 테이블 뷰 영역(940)의 제1 위치(940a)에 위치되는, 제2 물리적 환경(904b)에 대응하는 제1 하위 영역(944), 제3 사용자(902c)가 테이블 뷰 영역(940)의 제2 위치(940b)에 위치되는, 제3 물리적 환경(904c)에 대응하는 제2 하위 영역(946), 및 제4 사용자(902d)가 테이블 뷰 영역(940)의 제3 위치(940c)에 위치되는, 제4 물리적 환경(904d)에 대응하는 제3 하위 영역(948)을 포함한다. 도 9e에서, 제1 하위 영역(944), 제2 하위 영역(946), 및 제3 하위 영역(948)은 경계(952)를 통해 분리되어, 각각 사용자들(902b, 902c, 902d)에 대응하는 테이블 뷰 영역(940)의 위치들(940a 내지 940c)을 강조한다. 그러나, 일부 실시예들에서, 제1 전자 디바이스(906a)는 제2 통신 사용자 인터페이스(938a) 상에 경계들(952)을 디스플레이하지 않는다.

일부 실시예들에서, 테이블 뷰 영역(예컨대, 테이블 뷰 영역(940))은 테이블 뷰 사용자 인터페이스 객체(934a)의 선택이 검출될 때, 수정된 표면 뷰를 제공하는 각각의 전자 디바이스에 대한 하위 영역들을 포함한다. 예를 들어, 도 9e에 도시된 바와 같이, 테이블 뷰 영역(940)은 디바이스들(906b 내지 906d)에 각각 대응하는 3개의 하위 영역들(944, 946, 948)을 포함한다.

도 9e에 도시된 바와 같이, 테이블 뷰 영역(940)은 표면(908b)의 제1 표현(944a), 표면(908c)의 제2 표현(946a), 및 표면(908d)의 제3 표현(948a)을 포함한다. 제1 표현(944a), 제2 표현(946a), 및 제3 표현(948a)은 테이블 뷰 영역(940)의 표면(954) 상에 위치되어서, 책(910), 접시(912), 및 제5 전자 디바이스(914) 각각이 공통 표면(예컨대, 표면(954)) 상에 위치되는 것으로 보이게 한다. 일부 실시예들에서, 표면(954)은 가상 표면(예컨대, 배경 이미지, 배경 색상, 책상 및/또는 테이블의 표면을 표현하는 이미지)이다.

일부 실시예들에서, 표면(954)은 사용자들(902a 내지 902d)이 위치되는 물리적 환경들(904a 내지 904d) 내의 임의의 표면을 나타내지 않는다. 일부 실시예들에서, 표면(954)은 물리적 환경들(904a 내지 904d) 중 하나 내에 위치된 실제 표면의 재현(예컨대, 그의 외삽, 그의 이미지, 그의 시각적 복제)이다. 예를 들어, 일부 실시예들에서, 표면(954)은 제1 전자 디바이스(906a)가 사용자 입력(950b)을 검출할 때 제1 물리적 환경(904a) 내의 표면(908a)의 재현을 포함한다. 일부 실시예들에서, 표면(954)은 테이블 뷰 영역(940)의 특정 위치(예컨대, 제1 위치(640a))에 대응하는 실제 표면의 재현을 포함한다. 예를 들어, 일부 실시예들에서, 표면(954)은, 제1 하위 영역(944)이 테이블 뷰 영역(940)의 제1 위치(940a)에 있고 제1 하위 영역(944)이 표면(908b)에 대응할 때, 제2 물리적 환경(904b) 내의 표면(908b)의 재현을 포함한다.

게다가, 도 9e에서, 제1 하위 영역(944)은 제2 사용자(902b)의 제4 표현(944b)을 포함하고, 제2 하위 영역(946)은 제3 사용자(902c)의 제5 표현(946b)을 포함하며, 제3 하위 영역(948)은 제4 사용자(902d)의 제6 표현(948b)을 포함한다. 전술된 바와 같이, 제1 표현(944a) 및 제4 표현(944b)은 제2 물리적 환경(904b)의 상이한 부분들에 대응한다(예컨대, 상이한 뷰들에 대한 것임). 유사하게, 제2 표현(946a) 및 제5 표현(946b)은 제3 물리적 환경(904c)의 상이한 부분들에 대응한다. 더 나아가, 제3 표현(948a) 및 제6 표현(948b)은 제4 물리적 환경(904d)의 상이한 부분들에 대응한다. 일부 실시예들에서, 제2 통신 사용자 인터페이스들(938a 내지 938d)은 제4 표현(944b), 제5 표현(946b), 및 제6 표현(948b)을 디스플레이하지 않는다.

일부 실시예들에서, 테이블 뷰 영역(940)은 동일한 배향으로 디바이스들(906a 내지 906d) 각각에 의해 디스플레이된다(예컨대, 하위 영역들(944, 946, 948)은 제2 통신 사용자 인터페이스들(938a 내지 938d) 각각 상에서 동일한 위치들에 있음).

일부 실시예들에서, 사용자(902a)는 상이한 관점으로부터 표면들(908b 내지 908d)의 하나 이상의 표현들을 관찰하기 위해 테이블 뷰 영역(940)의 배향(예컨대, 경계들(952)에 의해 형성된 축(952a)에 대한 하위 영역들(944, 946, 948)의 위치)을 수정하기를 원할 수 있다. 예를 들어, 도 9e에서, 제1 전자 디바이스(906a)는 테이블 뷰 영역(940)을 회전시키라는 요청에 대응하는 사용자 입력(950c)(예컨대, 스와이프 제스처)을 검출한다. 사용자 입력(950c)을 검출하는 것에 응답하여, 도 9g에 도시된 바와 같이, 제1 전자 디바이스(906a)는 제2 통신 사용자 인터페이스들(938a 내지 938d) 각각의 테이블 뷰 영역(940)으로 하여금 (예컨대, 축(952a)을 중심으로) 하위 영역들(944, 946, 948)을 회전시키게 한다. 도 9e는 제1 전자 디바이스(906a)가 사용자 입력(950c)을 검출하는 것을 도시하지만, 일부 실시예들에서, 사용자 입력(950c)은 전자 디바이스들(906a 내지 906d) 중 임의의 하나에 의해 검출될 수 있고, 제2 통신 사용자 인터페이스들(938a 내지 938d) 각각의 테이블 뷰 영역(940)으로 하여금 회전하게 할 수 있다.

일부 실시예들에서, 테이블 뷰 영역(940)을 회전시킬 때, 전자 디바이스(906a)는 테이블 뷰 영역(940)의 회전을 예시하는 애니메이션을 디스플레이한다. 예를 들어, 도 9f에서, 전자 디바이스(906a)는 애니메이션(예컨대, 다중 프레임 애니메이션)의 프레임을 디스플레이한다. 애니메이션의 단일 프레임이 도 9f에 도시되어 있지만, 전자 디바이스(906a)는 임의의 수의 프레임들을 갖는 애니메이션을 디스플레이할 수 있다는 것이 인식될 것이다.

도 9f에 도시된 바와 같이, 테이블 뷰 영역(940)의 회전으로 인해, 책(910), 접시(912), 및 제5 전자 디바이스(914)는 제2 통신 사용자 인터페이스들(938a 내지 938d) 상의 그들의 각자의 위치들(도 9e)과 비교하여 시계 방향으로 이동하였다. 일부 실시예들에서, 책(910), 접시(912), 및 제5 전자 디바이스(914)는 사용자 입력(950c)의 지향성 컴포넌트에 기초한 방향(예컨대, 축(952a)을 중심으로 하는 방향)으로 이동한다. 예를 들어, 사용자 입력(950c)은 테이블 뷰 영역(940)의 하위 영역(948) 상에서의 좌측 스와이프 제스처를 포함하여, 그에 의해, 하위 영역(948)(및 하위 영역들(944, 946))으로 하여금 축(952a)을 중심으로 시계 방향 위치로 이동하게 한다. 일부 실시예들에서, 전자 디바이스들(906a 내지 906d) 중 하나 이상은 애니메이션의 하나 이상의 프레임들을 디스플레이하지 않는다(예컨대, 사용자 입력(950c)을 검출한 제1 전자 디바이스(906a)만이 애니메이션을 디스플레이함).

도 9g에서, 전자 디바이스(906a)는, 테이블 뷰 영역(940)이 회전된 후에(예컨대, 애니메이션의 마지막 프레임이 디스플레이된 후에), 각각 제2 통신 사용자 인터페이스들(938a 내지 938d)을 디스플레이한다. 예를 들어, 테이블 뷰 영역(940)은 테이블 뷰 영역(940)의 제1 위치(940a)에 있는 제3 하위 영역(948), 테이블 뷰 영역(940)의 제2 위치(940b)에 있는 제1 하위 영역(944), 및 테이블 뷰 영역(940)의 제3 위치(940c)에 있는 제2 하위 영역(946)을 포함한다. 도 9g에서, 제1 전자 디바이스(906a)는 테이블 뷰 영역(940) 상의 하위 영역들(944, 946, 948)의 위치들의 변화에 응답하여 책(910), 접시(912), 및 제5 전자 디바이스(914) 각각의 배향을 수정한다. 예를 들어, 책(910)의 배향은 책(910)의 초기 배향(도 9e)과 비교하여 180도만큼 회전되었다. 일부 실시예들에서, 표현들(944a, 946a, 및/또는 948a)은, 마치 사용자들(902b 내지 902d)이 테이블 주위에 앉아 있는 것처럼(예컨대, 그리고 각각의 사용자(902a 내지 902d)가 테이블 뷰 영역(940)의 제1 위치(940a)에 앉아 있는 관점으로부터 표면(954)을 관찰하고 있는 것처럼) 표현들이 표면(954) 주위에 배향되는 것으로 보이도록 (예컨대, 사용자 입력(950c)에 응답하여) 수정된다.

일부 실시예들에서, 전자 디바이스들(906a 내지 906d)은 서로 동일한 배향으로 테이블 뷰 영역(940)을 디스플레이하지 않는다(예컨대, 동일한 위치들(940a 내지 940c)에 위치된 하위 영역들(944, 946, 948)). 일부 그러한 실시예들에서, 테이블 뷰 영역(940)은 테이블 뷰 영역(940)을 디스플레이하는 각자의 전자 디바이스(906a 내지 906d)에 대응하는 제1 위치(940a)에 하위 영역(944, 946, 및/또는 948)을 포함한다(예컨대, 제2 전자 디바이스(906b)는 제1 위치(940a)에 하위 영역(944)을 디스플레이하고, 제3 전자 디바이스(906c)는 제1 위치(940a)에 하위 영역(946)을 디스플레이하며, 제4 전자 디바이스(906d)는 제1 위치(940a)에 하위 영역(948)을 디스플레이함). 일부 실시예들에서, 사용자 입력(950c)을 검출하는 것에 응답하여, 제1 전자 디바이스(906a)는 제1 전자 디바이스(906a) 상에 디스플레이되는 테이블 뷰 영역(940)의 배향에 대한 수정만을 야기한다(그리고 전자 디바이스들(906b 내지 906d) 상에 표시되는 테이블 뷰 영역(940)은 그렇지 않음).

도 9g에서, 제1 전자 디바이스(906a)는 테이블 뷰 영역(940)의 하위 영역(944)에 대응하는 위치에서 사용자 입력(950d)(예컨대, 탭 제스처, 더블 탭 제스처, 핀치해제 제스처, 및/또는 길게 누르기 제스처)을 검출한다. 사용자 입력(950d)을 검출하는 것에 응답하여, 제1 전자 디바이스(906a)는 제2 통신 사용자 인터페이스(938a)로 하여금 테이블 뷰 영역(940)의 디스플레이를 수정(예컨대, 확대)하게 하고/하거나 표면(908b)의 제1 표현(944a)의 외관을 확대하게 한다. 사용자 입력(950d)을 검출하는 것에 응답하여, 제1 전자 디바이스(906a)는 전자 디바이스들(906b 내지 906d)로 하여금 제1 표현(944a)의 외관을 수정(예컨대, 확대) 및/또는 확대하게 한다. 도 9h에 도시된 바와 같이, 이는 일부 예들에서 책(910)을 확대하는 것을 포함한다. 일부 실시예들에서, 제1 전자 디바이스(906a)는 (예컨대, 사용자 입력(950d)을 검출하는 것에 응답하여) 전자 디바이스들(906b 내지 906d)로 하여금 제1 표현(944a)의 외관을 수정(예컨대, 확대) 및/또는 확대하게 하지 않는다.

도 9h에서, 테이블 뷰 영역(940)은, 하위 영역(944)의 뷰를 확대하고 그에 따라 책(910)의 뷰를 확대하도록 수정된다. 게다가, 사용자 입력(950d)을 검출하는 것에 응답하여, 제1 전자 디바이스(906a)는 책(910)의 배향(예컨대, 제1 표현(944a)의 배향)이 도 9g에 도시된 책(910)의 배향과 비교할 때 180도만큼 회전되게 하도록 테이블 뷰 영역(940)을 수정한다.

제2 통신 사용자 인터페이스들(938a 내지 938d)은 사용자들(902a 내지 902d)이 라이브 비디오 통신 세션 동안 디지털 마크업들을 또한 공유할 수 있게 한다. 이러한 방식으로 공유되는 디지털 마크업들은, 일부 경우들에서, 전자 디바이스들(906a 내지 906d)에 의해 디스플레이되고, 선택적으로, 제2 통신 사용자 인터페이스들(938a 내지 938d) 상에 포함된 하나 이상의 표현들 상에 오버레이된다. 예를 들어, 통신 사용자 인터페이스(938a)를 디스플레이하는 동안, 제1 전자 디바이스(906a)는, 도 9i에 도시된 바와 같이, 제1 표현(944a) 상에 마크업(예컨대, 디지털 핸드라이팅, 드로잉, 및/또는 낙서(scribbling))을 추가 및/또는 디스플레이하라는(예컨대, 책(910)을 포함하는 제1 표현(944a) 상에 오버레이됨) 요청에 대응하는 사용자 입력(950e)(예컨대, 탭 제스처, 탭 및 스와이프 제스처, 및/또는 낙서 제스처)을 검출한다. 게다가, 사용자 입력(950e)을 검출하는 것에 응답하여, 제1 전자 디바이스(906a)는 전자 디바이스들(906b 내지 906d)로 하여금 제1 표현(944a) 상에 마크업(956)을 디스플레이하게 한다. 도 9i에서, 책(910)은 테이블 뷰 영역(940) 내의 제1 위치(955a)에 디스플레이된다.

도 9i에서, 디바이스(906a)는 제1 표현(944a) 상에 마크업(956)(예컨대, 필기체 "hi")을 디스플레이하여서, 마크업(956)이 제1 표현(944a)에 포함된 책(910)의 위치(957)에(예컨대, 책(910)의 페이지 상에) 필기된 것으로 보이게 한다. 일부 실시예들에서, 전자 디바이스(906a)는 마크업(956)이 미리결정된 기간(예컨대, 10초, 30초, 60초, 및/또는 2분) 동안 디스플레이된 후에 제2 통신 사용자 인터페이스(938a) 상에 마크업(956)을 디스플레이하는 것을 중지한다.

일부 실시예들에서, 하나 이상의 디바이스들이 물리적 환경 내에 마크업(956)의 이미지 및/또는 렌더링을 투영하는 데 사용될 수 있다. 예를 들어, 도 9j에 도시된 바와 같이, 제2 전자 디바이스(906b)는 제2 물리적 환경(904b) 내의 책(910) 상에 투영(958)이 디스플레이되게 할 수 있다. 도 9j에서, 제2 전자 디바이스(906b)는 표면(908b) 상에 위치된 프로젝터(960)(예컨대, 발광 프로젝터)와 통신(예컨대, 유선 통신 및/또는 무선 통신)한다. 제1 전자 디바이스(906a)가 사용자 입력(950e)을 검출하였다는 표시를 수신하는 것에 응답하여, 제2 전자 디바이스(906b)는 프로젝터(960)로 하여금 표면(908b) 상에 위치된 책(910) 상에 투영(958)을 방출하게 한다. 일부 실시예들에서, 프로젝터(960)는 제1 표현(944a) 상의 사용자 입력(950e)의 위치에 기초하여 표면(908b) 상에 투영(958)을 투영할 위치를 나타내는 데이터를 수신한다. 다시 말하면, 프로젝터(960)는 제2 전자 디바이스(906b) 상에 디스플레이된 제1 표현(944a) 상의 마크업(956)의 위치 및/또는 외관과 실질적으로 동일한 것으로 제2 사용자(902b)에게 보이는 책(910)의 위치(961) 상에 투영(958)을 투영하도록 구성된다.

도 9j에서, 제2 사용자(902b)는 제2 물리적 환경(904b) 내의 표면(908b)에 대해 제1 위치(962a)에서 책(910)을 유지하고 있다. 도 9k에서, 제2 사용자(902b)는 책(910)을 제2 물리적 환경(904b) 내의 표면(908b)에 대해 제1 위치(962a)로부터 제2 위치(962b)로 이동시킨다.

도 9k에서, 제1 위치(962a)로부터 제2 위치(962b)로의 책(910)의 이동을 검출하는 것에 응답하여, 제2 전자 디바이스(906b)는 프로젝터(960)로 하여금 책(910)의 이동에 대응하는 방식으로 투영(958)을 이동시키게 한다. 예를 들어, 투영(958)은 투영(958)이 책(910)의 동일한 상대 위치, 즉 위치(961)에 유지되도록 프로젝터(960)에 의해 투영된다. 따라서, 제2 사용자(902b)가 책(910)을 제1 위치(962a)로부터 제2 위치(962b)로 이동시킴에도 불구하고, 프로젝터(960)는 책(910)의 위치(961)에 투영(958)을 투영하여서, 투영(958)이 책(910)과 함께 이동하게 하고 책(910)에 대해 동일한 장소(예컨대, 위치(961))에 있는 것으로 그리고/또는 동일한 배향을 갖는 것으로 보이게 한다. 일부 실시예들에서, 제2 전자 디바이스(906b)는 프로젝터(960)로 하여금 제2 물리적 환경(904b) 내의 책(910)의 각도, 장소, 위치, 및/또는 배향의 검출된 변화들에 응답하여 제2 물리적 환경(904b) 내의 투영(958)의 위치를 수정하게 한다.

추가로, 제1 전자 디바이스(906a)는 제2 사용자(902b)에 의한 책(910)의 물리적 이동에 기초하여 제2 통신 사용자 인터페이스(938a) 상에 책(910)의 이동을 디스플레이한다. 예를 들어, 제1 위치(962a)로부터 제2 위치(962b)로의 책(910)의 이동을 검출하는 것에 응답하여, 도 9l에 도시된 바와 같이, 제1 전자 디바이스(906a)는 테이블 뷰 영역(940) 내에 책(910)의 이동(예컨대, 제1 표현(944a))을 디스플레이한다. 도 9l에서, 제2 통신 사용자 인터페이스(938a)는 도 9i에 도시된 제1 위치(955a)의 좌측에 있는 테이블 뷰 영역(940) 내의 제2 위치(955b)에 있는 책(910)을 보여준다. 게다가, 전자 디바이스(906a)는 책(910) 상의 위치(957)(예컨대, 책(910)에 대한 마크업(956)의 동일한 위치)에 마크업(956)의 디스플레이를 유지한다. 따라서, 제1 전자 디바이스(906a)는, 제2 물리적 환경(904b) 내에서의 그리고/또는 제2 통신 사용자 인터페이스(938a)의 테이블 뷰 영역(940) 내에서의 책(910)의 이동에도 불구하고, 제2 통신 사용자 인터페이스(938a)로 하여금 책(910)에 대한 마크업(956)의 위치를 유지하게 한다.

전자 디바이스들(906a 내지 906d)은, 또한, 마크업(956)을 수정할 수 있다. 예를 들어, 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 전자 디바이스들(906a 내지 906d)은 제2 통신 사용자 인터페이스들(938a 내지 938d) 각각 상에 디스플레이되는 마크업(956)의 전부 또는 일부분에 추가하고/하거나 그의 색상을 변경하고/하거나 그의 스타일을 변경하고/하거나 그를 삭제할 수 있다. 일부 실시예들에서, 전자 디바이스들(906a 내지 906d)은, 예를 들어 사용자(902b)가 책(910)의 페이지들을 넘기는 것에 기초하여, 마크업(956)을 수정할 수 있다. 도 9m에서, 제2 사용자(902b)는 책(910)의 페이지를 넘겨서, 도 9n에 도시된 바와 같이, 책(910)의 새로운 페이지(964)가 노출되게(예컨대, 펼쳐지게 그리고 제2 사용자(902b)의 뷰 내에 있게) 한다. 도 9n에서, 제2 전자 디바이스(906b)는 제2 사용자(902b)가 책(910)의 페이지를 페이지(964)로 넘겼다는 것을 검출하고, 마크업(956)을 디스플레이하는 것을 중지한다. 일부 실시예들에서, 제2 사용자(902b)가 책(910)의 페이지를 넘겼다는 것을 검출하는 것에 응답하여, 제2 전자 디바이스(906b)는, 또한, 프로젝터(960)로 하여금 제2 물리적 환경(904b) 내에 투영(958)을 투영하는 것을 중지하게 한다. 게다가, 일부 실시예들에서, 제2 사용자(902b)가 책의 페이지를 다시 이전 페이지(예컨대, 도 9i 내지 도 9l에 도시된 책(910)의 페이지)로 넘겼다는 것을 검출하는 것에 응답하여, 제2 전자 디바이스(906b)는 마크업(956) 및/또는 투영(958)이 (예컨대, 제2 통신 사용자 인터페이스들(938a 내지 938d) 상에 그리고/또는 제2 물리적 환경(904b) 내의 책(910) 상에) 재디스플레이되게 하도록 구성된다.

하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 전자 디바이스들(906a 내지 906d)은 라이브 비디오 통신 세션 동안 디스플레이되는 하나 이상의 표현들에 포함된 콘텐츠의 분석에 기초하여 하나 이상의 출력들(예컨대, 오디오 출력들 및/또는 시각적 출력들, 예를 들어 통지들)을 추가로 제공할 수 있다. 도 9n에서, 책(910)의 페이지(964)는 제2 사용자(902b)가 책(910)의 페이지를 넘기는 것에 응답하여 제2 통신 사용자 인터페이스들(938a 내지 938d) 상에 전자 디바이스들(906a 내지 906d)에 의해 디스플레이되는 콘텐츠(966)(예컨대, "What is the square root of 121?")를 포함한다. 도 9n에 도시된 바와 같이, 책(910)의 콘텐츠(966)는 질문을 제기한다. 일부 경우들에서, 제2 사용자(902b)(예컨대, 책(910)을 물리적으로 소유하고 있는 사용자)는 질문에 대한 답을 알지 못할 수 있고, 질문에 대한 답을 얻기를 원할 수 있다.

도 9o에서, 제2 전자 디바이스(906b)는 제2 사용자(902b)에 의해 제공되는 음성 커맨드(950f)(예컨대, "Hey Assistant, what is the answer?")를 수신한다. 음성 커맨드(950f)를 수신하는 것에 응답하여, 도 9p에 도시된 바와 같이, 제2 전자 디바이스(906b)는 음성 어시스턴트 사용자 인터페이스 객체(967)를 디스플레이한다.

도 9p에서, 제2 전자 디바이스(906b)는 제2 전자 디바이스(906b)가 음성 커맨드(950f)를 수신하였음을 확인하는 음성 어시스턴트 사용자 인터페이스 객체(967)를 디스플레이한다(예컨대, 음성 어시스턴트 사용자 인터페이스 객체(967)는 음성 커맨드 "Hey Assistant, what is the answer?"의 스피치에 대응하는 텍스트를 디스플레이함). 도 9p에 도시된 바와 같이, 제1 전자 디바이스(906a), 제3 전자 디바이스(906c), 및 제4 전자 디바이스(906d)는 음성 커맨드(950f)를 검출하지 않고, 그에 따라, 음성 어시스턴트 사용자 인터페이스 객체(967)를 디스플레이하지 않는다.

도 9p에서, 음성 커맨드(950f)를 수신하는 것에 응답하여, 제2 전자 디바이스(906b)는 제2 물리적 환경(904b) 내의 그리고/또는 제2 표현(922b)에 포함된 콘텐츠(966)를 식별한다. 일부 실시예들에서, 제2 전자 디바이스(906b)는 책(910)의 페이지(964) 상의 콘텐츠(966)를 인식하기 위해 테이블 뷰 영역(940)의 분석(예컨대, 텍스트 인식 분석)을 수행함으로써 콘텐츠(966)를 식별한다. 일부 실시예들에서, 콘텐츠(966)를 검출하는 것에 응답하여, 제2 전자 디바이스(906b)는 검출된 콘텐츠(966)에 기초하여 하나 이상의 태스크들이 수행되어야 하는지 여부를 결정한다. 그렇다면, 디바이스(906b)는 태스크를 식별하고 수행한다. 예를 들어, 제2 전자 디바이스(906b)는 콘텐츠(966)를 인식하고, 콘텐츠(966)가 "What is the square root of 121?"이라는 질문을 제기한다고 결정한다. 그 후에, 제2 전자 디바이스(906b)는 콘텐츠(966)에 의해 제기된 질문에 대한 답을 결정한다. 일부 실시예들에서, 제2 전자 디바이스(906b)는 도출된 태스크를 로컬로(예컨대, 제2 전자 디바이스(906b)의 메모리에 포함 및/또는 저장된 소프트웨어 및/또는 데이터를 사용하여) 및/또는 원격으로(예컨대, 태스크의 적어도 일부를 수행하기 위해 서버와 같은 외부 디바이스와 통신함) 수행한다.

태스크(예컨대, 121의 제곱근의 계산)를 수행한 후에, 제2 전자 디바이스(906b)는 답을 포함하는 응답을 제공(예컨대, 출력)한다. 일부 예들에서, 응답은, 도 9q에 도시된 바와 같이, 오디오 출력(968)으로서 제공된다. 도 9q에서, 오디오 출력(968)은 콘텐츠(966)에 의해 제기된 답을 나타내는 스피치를 포함한다.

일부 실시예들에서, 라이브 비디오 통신 세션 동안, 전자 디바이스들(906a 내지 906d)은 표면들 상에 위치된 객체들 및/또는 콘텐츠의 유형에 기초하여 상이한 사용자 인터페이스들을 디스플레이하도록 구성된다. 도 9r 및 도 9s는, 예를 들어, 사용자들(902b 내지 902d)이 라이브 비디오 통신 세션 동안 각각 표면들(908b 내지 908d)의 전방에 위치되는(예컨대, 앉아 있는) 예들을 예시한다. 표면들(908b 내지 908d)은 각각 제1 드로잉(970)(예컨대, 말), 제2 드로잉(972)(예컨대, 나무), 및 제3 드로잉(974)(예컨대, 사람)을 포함한다.

다수의 드로잉들의 표현들을 디스플레이하라는 요청을 수신하는 것에 응답하여, 전자 디바이스들(906a 내지 906d)은 드로잉들(970, 972, 974)을 서로 오버레이하도록 그리고/또는 표현들로부터 물리적 환경들(904a 내지 904d) 내의 물리적 객체들을 제거하도록(예컨대, 카메라들(909a 내지 909d)을 통해 캡처된 데이터를 수정하는 것을 통해 물리적 객체들을 제거하도록) 구성된다. 도 9s에서, 물리적 환경들(904b 내지 904d)의 표현들을 수정하라고 요청하는 사용자 입력(예컨대, 사용자 입력(950b))을 검출하는 것에 응답하여, 전자 디바이스들(906a 내지 906d)은 각각 제3 통신 사용자 인터페이스들(976a 내지 976d)을 디스플레이한다. 도 9s에서, 제1 전자 디바이스(906a)는, 드로잉 영역(978) 및 제1 표현(980)(예컨대, 제1 사용자(902a)의 표현)을 포함하는 제3 통신 사용자 인터페이스(976a)를 디스플레이한다. 드로잉 영역(978)은 제1 드로잉(970)에 대응하는 제1 드로잉 표현(978a), 제2 드로잉(972)에 대응하는 제2 드로잉 표현(978b), 및 제3 드로잉(974)에 대응하는 제3 드로잉 표현(978c)을 포함한다. 도 9s에서, 제1 드로잉 표현(978a), 제2 드로잉 표현(978b), 및 제3 드로잉 표현(978c)은 단일 표면(예컨대, 한 장의 종이) 상에 병치(예컨대, 오버레이)되어서, 제1 드로잉(970), 제2 드로잉(972), 및 제3 드로잉(974)이 단일 연속 드로잉인 것으로 보이게 한다. 다시 말하면, 제1 드로잉 표현(978a), 제2 드로잉 표현(978b), 및 제3 드로잉 표현(978c)은 경계들에 의해 분리되지 않고/않거나 각각 표면들(908b 내지 908d) 상에 위치되는 것으로 디스플레이되지 않는다. 대신에, 제1 전자 디바이스(906a)(및/또는 전자 디바이스들(906b 내지 906d))는 그들이 그려진 물리적인 여러 장의 종이로부터 제1 드로잉(970), 제2 드로잉(972), 및 제3 드로잉(974)을 추출하고, 도면들(970, 972, 974)이 생성된 물리적인 여러 장의 종이 없이 제1 드로잉 표현(978a), 제2 드로잉 표현(978b), 및 제3 드로잉 표현(978c)을 디스플레이한다.

일부 실시예들에서, 표면(982)은 사용자들(902a 내지 902d)이 위치되는 물리적 환경들(904a 내지 904d) 내의 임의의 표면을 나타내지 않는 가상 표면이다. 일부 실시예들에서, 표면(982)은 물리적 환경들(904a 내지 904d) 중 하나 내에 위치된 실제 표면 및/또는 객체(예컨대, 한 장의 종이)의 재현(예컨대, 그의 외삽, 그의 이미지, 그의 시각적 복제)이다.

게다가, 드로잉 영역(978)은 제2 사용자(902b)의 제4 표현(983a), 제3 사용자(902c)의 제5 표현(983b), 및 제4 사용자(902d)의 제6 표현(983c)을 포함한다. 일부 실시예들에서, 제1 전자 디바이스(906a)는 제4 표현(983a), 제5 표현(983b), 및 제6 표현(983c)을 디스플레이하지 않고, 대신에, 제1 드로잉 표현(978a), 제2 드로잉 표현(978b), 및 제3 드로잉 표현(978c)만을 디스플레이한다.

전자 디바이스들(906a 내지 906d)은, 또한, 드로잉들을 포함하지 않는 콘텐츠를 드로잉 영역(978) 상에 디스플레이 및/또는 오버레이할 수 있다. 도 9s에서, 제1 전자 디바이스(906a)는 메뉴(920)의 공유 사용자 인터페이스 객체(984)의 선택에 대응하는 사용자 입력(950g)(예컨대, 탭 제스처)을 검출한다. 사용자 입력(950g)을 검출하는 것에 응답하여, 도 9t에 도시된 바와 같이, 제1 전자 디바이스(906a)는, 콘텐츠(예컨대, 오디오, 비디오, 문서, 제1 전자 디바이스(906a)의 디스플레이(907a) 상에 현재 디스플레이된 것, 및/또는 다른 멀티미디어 콘텐츠)를 전자 디바이스들(906b 내지 906d)과 공유하고 콘텐츠(986)를 제3 통신 사용자 인터페이스들(976a 내지 976d) 상에 디스플레이하기 위한 프로세스를 개시한다.

도 9t에서, 제1 전자 디바이스(906a)는 제3 통신 사용자 인터페이스(976a) 상에 콘텐츠(986)를 디스플레이한다(그리고 전자 디바이스들(906b 내지 906d)은 각각 제3 통신 사용자 인터페이스들(976b 내지 976d) 상에 콘텐츠(986)를 디스플레이함). 도 9t에서, 콘텐츠(986)는 제1 드로잉 표현(978a)과 제3 드로잉 표현(978c) 사이에서 드로잉 영역(978) 내에 디스플레이된다. 콘텐츠(986)는 막대 그래프(986a)를 포함하는 프레젠테이션으로서 예시되어 있다. 일부 실시예들에서, 제1 전자 디바이스(906a)를 통해 공유되는 콘텐츠는 오디오 콘텐츠, 비디오 콘텐츠, 이미지 콘텐츠, 다른 유형의 문서(예컨대, 텍스트 문서 및/또는 스프레드시트 문서), 제1 전자 디바이스(906a)의 디스플레이(907a)에 의해 현재 디스플레이된 것의 묘사, 및/또는 다른 멀티미디어 콘텐츠일 수 있다. 도 9t에서, 콘텐츠(986)는 제3 통신 사용자 인터페이스(976a)의 드로잉 영역(978) 내에 제1 전자 디바이스(906a)에 의해 디스플레이된다. 일부 실시예들에서, 콘텐츠(986)는 제3 통신 사용자 인터페이스(976a) 상의 다른 적합한 위치에 디스플레이된다. 일부 실시예들에서, 콘텐츠(986)의 위치는 사용자 입력(예컨대, 콘텐츠(986)에 대응하는 탭 및/또는 스와이프 제스처)을 검출하는 것에 응답하여 전자 디바이스들(906a 내지 906d) 중 하나 이상에 의해 수정될 수 있다.

도 10은 일부 실시예들에 따른, 컴퓨터 시스템을 사용하여 라이브 비디오 통신 세션 동안 다수의 상이한 표면들의 이미지들을 디스플레이하기 위한 흐름도이다. 방법(1000)은 디스플레이 생성 컴포넌트(예컨대, 907a, 907b, 907c, 및/또는 907d)(예컨대, 디스플레이 제어기, 터치 감응형 디스플레이 시스템, 및/또는 모니터), 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)(예컨대, 적외선 카메라, 깊이 카메라, 및/또는 가시광 카메라), 및 하나 이상의 입력 디바이스들(예컨대, 907a, 907b, 907c, 및/또는 907d)(예컨대, 터치 감응형 표면, 키보드, 제어기, 및/또는 마우스)과 통신하는 제1 컴퓨터 시스템(예컨대, 100, 300, 500, 906a, 906b, 906c, 906d, 600-1, 600-2, 600-3, 600-4, 6100-1, 6100-2, 1100a, 1100b, 1100c, 및/또는 1100d)(예컨대, 스마트폰, 태블릿, 랩톱 컴퓨터, 및/또는 데스크톱 컴퓨터)에서 수행된다. 방법(1000)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서들은 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.

아래에서 설명되는 바와 같이, 방법(1000)은 라이브 비디오 통신 세션 동안 다수의 상이한 표면들의 이미지들을 디스플레이하기 위한 직관적인 방식을 제공한다. 본 방법은 라이브 비디오 통신 세션을 관리하는 것에 대한 사용자의 인지적 부담을 감소시켜서, 그에 의해, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 더 빠르고 더 효율적으로 라이브 비디오 통신 세션을 관리할 수 있게 하는 것은 전력을 절약하고 배터리 충전들 사이의 시간을 증가시킨다.

방법(1000)에서, 제1 컴퓨터 시스템은 복수의 참가자들(예컨대, 902a 내지 902d)(일부 실시예들에서, 복수의 참가자들은 제1 사용자 및 제2 사용자를 포함함)을 포함하는 라이브 비디오 통신 세션의 사용자 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)를 디스플레이하라는 요청에 대응하는 하나 이상의 사용자 입력들(예컨대, 949, 950a, 및/또는 950b)(예컨대, 터치 감응형 표면 상에서의 하나 이상의 탭들, 하나 이상의 제스처들(예컨대, 손 제스처, 머리 제스처, 및/또는 눈 제스처), 및/또는 하나 이상의 오디오 입력들(예컨대, 음성 커맨드))의 세트를 검출한다(1002).

하나 이상의 사용자 입력들(예컨대, 949, 950a, 및/또는 950b)의 세트를 검출하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은, 디스플레이 생성 컴포넌트(예컨대, 907a, 907b, 907c, 및/또는 907d)를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)(예컨대, 착신 및/또는 발신 라이브 오디오/비디오 통신 세션을 위한 인터페이스)를 디스플레이한다(1004). 일부 실시예들에서, 라이브 통신 세션은 적어도 컴퓨터 시스템(예컨대, 제1 컴퓨터 시스템)과 제2 컴퓨터 시스템 사이에서 이루어진다. 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)는 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 포함한다(예컨대, 동시에 포함함)(1006). 일부 실시예들에서, 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)은 제1 사용자(예컨대, 제1 사용자의 얼굴)를 포함한다. 일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)은 하나 이상의 제1 카메라들의 시야의 일부분(예컨대, 크롭핑된 부분)이다.

라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)는 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 포함하고(예컨대, 동시에 포함함), 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야 내에 있는 제1 장면 내의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d)(예컨대, 제1 표면)의 표현을 포함한다(1008). 일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 일부분(예컨대, 크롭핑된 부분)이다. 일부 실시예들에서, 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c) 및 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 동일한 시야에 기초한다. 일부 실시예들에서, 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)은 단일 광각 카메라이다.

라이브 비디오 통신 인터페이스는 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 포함한다(예컨대, 동시에 포함함)(1010). 일부 실시예들에서, 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)은 제2 사용자(예컨대, 902a, 902b, 902c, 및/또는 902d)(예컨대, 제2 사용자의 얼굴)를 포함한다. 일부 실시예들에서, 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)은 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 일부분(예컨대, 크롭핑된 부분)이다.

라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)는 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 포함하고(예컨대, 동시에 포함함), 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야 내에 있는 제2 장면 내의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d)(예컨대, 제2 표면)의 표현을 포함한다(1012). 일부 실시예들에서, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 일부분(예컨대, 크롭핑된 부분)이다. 일부 실시예들에서, 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c) 및 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 동일한 시야에 기초한다. 일부 실시예들에서, 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)은 단일 광각 카메라이다. 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 및 제2 표현(제1 장면 내의 표면의 제2 표현) 및 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 및 제2 표현(제2 장면 내의 표면의 제2 표현)을 디스플레이하는 것은, 참가자들이 협업하고 서로의 공유된 콘텐츠를 관찰하는 방법을 개선함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은, 라이브 비디오 통신 세션 동안, 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d) 중 하나의 제1 카메라(예컨대, 909a, 909b, 909c, 및/또는 909d)(예컨대, 광각 카메라)에 의해 캡처된 이미지 데이터를 수신한다. 일부 실시예들에서, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)를 디스플레이하는 것은, 디스플레이 생성 컴포넌트를 통해, 제1 카메라(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터에 기초하여 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 디스플레이하는 것; 및 디스플레이 생성 컴포넌트(예컨대, 907a, 907b, 907c, 및/또는 9078d)를 통해, 제1 카메라(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터에 기초하여 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 표면의 표현을 포함함)을 디스플레이하는 것을 포함한다(예컨대, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현 및 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 동일한 카메라(예컨대, 단일 카메라)에 의해 캡처된 이미지 데이터를 포함함). 제1 카메라에 의해 캡처된 이미지 데이터에 기초하여 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현 및 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현을 디스플레이하는 것은, 사용자로부터의 추가 입력을 요구하지 않고서 상이한 관점들에서 동일한 카메라를 사용하여 다수의 표현들을 디스플레이함으로써 비디오 통신 세션 경험을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들(및/또는 디바이스들)의 수를 감소시킨다.

일부 실시예들에서, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)를 디스플레이하는 것은, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)으로부터 미리결정된 거리(예컨대, 제1 표현의 중심 또는 에지와 제2 표현의 중심 또는 에지 사이의 거리) 내에 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 디스플레이하는 것; 및 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)으로부터 미리결정된 거리(예컨대, 제1 표현의 중심 또는 에지와 제2 표현의 중심 또는 에지 사이의 거리) 내에 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 디스플레이하는 것을 포함한다. 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현으로부터 미리결정된 거리 내에 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현을 그리고 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현으로부터 미리결정된 거리 내에 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현을 디스플레이하는 것은, 사용자로부터의 추가 입력을 요구하지 않고서, 사용자가 표면의 어느 표현이 어느 참가자와 연관되는지(또는 그에 의해 공유하는지)를 용이하게 식별하도록 허용함으로써, 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)를 디스플레이하는 것은 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)과 중첩되는(예컨대, 그 상에 적어도 부분적으로 오버레이되거나 그에 의해 적어도 부분적으로 오버레이되는) 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 및 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)의 공통 배경(예컨대, 954 및/또는 982)(예컨대, 테이블, 책상, 플로어, 또는 벽의 표현) 상에 또는 동일한 시각적으로 구별되는 구역 내에 디스플레이된다. 일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)과 중첩시키는 것은, (예컨대, 사용자들이 그들의 콘텐츠를 조합하도록 허용함으로써) 라이브 비디오 통신 세션에서 참가자들(예컨대, 902a, 902b, 902c, 및/또는 902d) 사이의 협업을 가능하게 한다. 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현과 중첩되는 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현을 디스플레이하는 것은, 참가자들이 상이한 표면들의 표현들을 통합하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)를 디스플레이하는 것은, 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d)의 제1 시각적으로 정의된 구역(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d)에 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 디스플레이하는 것; 및 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d)의 제2 시각적으로 정의된 구역(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d)에(예컨대, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현에 인접하게 그리고/또는 그와 나란히) 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 시각적으로 정의된 구역(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d)은 제2 시각적으로 정의된 구역(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d)과 중첩되지 않는다. 일부 실시예들에서, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 및 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 그리드 패턴으로, 수평 행으로, 또는 수직 열로 디스플레이된다. 각각 제1 및 제2 시각적으로 정의된 구역에 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 및 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현을 디스플레이하는 것은, 참가자들이 상이한 표면들의 표현들을 쉽게 구별하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터가 캡처된 것으로 보이는 관점을 변경하기 위해 제1 왜곡 보정(예컨대, 스큐 보정)으로 보정되는, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터에 기초한다. 일부 실시예들에서, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터가 캡처된 것으로 보이는 관점을 변경하기 위해 제2 왜곡 보정(예컨대, 스큐 보정)으로 보정되는, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터에 기초한다. 일부 실시예들에서, 왜곡 보정(예컨대, 스큐 보정)은 하나 이상의 각자의 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 대한 각자의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d)의 위치(예컨대, 장소 및/또는 배향)에 기초한다. 일부 실시 예에서, 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c) 및 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은 동일한 관점(예컨대, 단일 관점을 갖는 단일 카메라)으로부터 촬영된 이미지 데이터에 기초하지만, 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은 사용자가 상이한 관점들을 갖는 다수의 카메라들을 사용하고 있는 효과를 제공하도록 보정된다(예컨대, 스큐잉되거나 상이한 양만큼 스큐잉됨). 이미지 데이터가 캡처되는 관점을 변경하기 위해 왜곡 보정을 사용하여 보정되는 이미지 데이터에 제2 표현들을 기초하는 것은, 사용자로부터의 추가 입력을 요구하지 않고서 공유 콘텐츠를 관찰하기 위한 더 양호한 관점을 제공함으로써 비디오 통신 세션 경험을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제1 장면 내의 표면의 표현)은 제1 왜곡 보정(예컨대, 제1 스큐 보정)(일부 실시예들에서, 제1 왜곡 보정은 하나 이상의 제1 카메라들에 대한 제1 장면 내의 표면의 위치(예컨대, 장소 및/또는 배향)에 기초함)으로 보정되는, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터에 기초한다. 일부 실시예들에서, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제2 장면 내의 표면의 표현)은 제1 왜곡 보정과는 상이한 제2 왜곡 보정(예컨대, 제2 스큐 보정)(예컨대, 제2 왜곡 보정은 하나 이상의 제2 카메라들에 대한 제2 장면 내의 표면의 위치(예컨대, 장소 및/또는 배향)에 기초함)으로 보정되는, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터에 기초한다. 제1 왜곡 보정에 의해 보정되는, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들에 의해 캡처된 이미지 데이터에 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현을 기초하고, 제1 왜곡 보정과는 상이한 제2 왜곡 보정에 의해 보정되는, 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들에 의해 캡처된 이미지 데이터에 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현을 기초하는 것은, 각자의 장면 내의 그의 위치에 관계없이 표면의 왜곡되지 않은 뷰를 제공함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제1 장면 내의 표면의 표현)은 제1 장면 내의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d)의 위치(예컨대, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 위치에 대한 제1 장면 내의 표면의 위치)에 대해 회전되는, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터에 기초한다. 일부 실시예들에서, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제2 장면 내의 표면의 표현)은 제2 장면 내의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d)의 위치(예컨대, 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 위치에 대한 제2 장면 내의 표면의 위치)에 대해 회전되는, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터에 기초한다. 일부 실시예들에서, 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c) 및 표면의 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은 동일한 관점(예컨대, 단일 관점을 갖는 단일 카메라)으로부터 촬영된 이미지 데이터에 기초하지만, 표면의 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은 사용자가 상이한 관점들을 갖는 다수의 카메라들을 사용하고 있는 효과를 제공하도록 회전된다. 제1 장면 내의 표면의 위치에 대해 회전되는, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들에 의해 캡처된 이미지 데이터에 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현을 기초하고/하거나, 제2 장면 내의 표면의 위치에 대해 회전되는, 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들에 의해 캡처된 이미지 데이터에 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현을 기초하는 것은, 그렇지 않을 경우 거꾸로 보이거나 방향전환되었을 표면의 더 양호한 뷰를 제공함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제1 장면 내의 표면의 표현)은 제1 장면 내의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d)의 위치(예컨대, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 위치에 대한 제1 장면 내의 표면의 위치)에 대해 제1 양만큼 회전되는, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터에 기초한다. 일부 실시예들에서, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제2 장면 내의 표면의 표현)은 제2 장면 내의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d)의 위치(예컨대, 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 위치에 대한 제2 장면 내의 표면의 위치)에 대해 제2 양만큼 회전되는, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터에 기초하며, 여기에서 제1 양은 제2 양과는 상이하다. 일부 실시예들에서, 각자의 장면 내의 각자의 표면의 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)은 (예컨대, 하나 이상의 각자의 카메라들의 위치에 대한) 각자의 장면 내의 각자의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d)의 배향과는 상이한 배향으로 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d) 내에 디스플레이된다. 일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제1 장면 내의 표면의 표현)은 제1 왜곡 보정으로 보정되는, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터에 기초한다. 일부 실시예들에서, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제2 장면 내의 표면의 표현)은 제1 왜곡 보정과는 상이한 제2 왜곡 보정으로 보정되는, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)에 의해 캡처된 이미지 데이터에 기초한다. 제1 양만큼 회전되는, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들에 의해 캡처된 이미지 데이터에 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현을 기초하고, 제1 왜곡 보정과는 상이한 제2 양만큼 회전되는, 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들에 의해 캡처된 이미지 데이터에 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현을 기초하는 것은, 각자의 장면 내의 그의 위치에 관계없이 표면의 더 직관적이고 자연스러운 뷰를 제공함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)를 디스플레이하는 것은, 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d) 내에, (예컨대, 배경, 가상 테이블, 또는 캡처된 이미지 데이터에 기초한 테이블의 표현 내에) 그래픽 객체(예컨대, 954 및/또는 982)를 디스플레이하는 것을 포함한다. 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)를 디스플레이하는 것은, 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d) 내에 그리고 디스플레이 생성 컴포넌트(예컨대, 907a, 907b, 907c, 및/또는 907d)를 통해, 그래픽 객체(예컨대, 954 및/또는 982) 상의(예컨대, 그 상에 오버레이됨) 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제1 장면 내의 표면의 표현); 및 그래픽 객체(예컨대, 954 및/또는 982) 상의(예컨대, 그 상에 오버레이됨) 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제2 장면 내의 표면의 표현)을 동시에 디스플레이하는 것을 포함한다(예컨대, 제1 장면 내의 표면의 표현 및 제2 장면 내의 표면의 표현은 둘 모두 라이브 비디오 통신 인터페이스 내의 가상 테이블 상에 디스플레이됨). 그래픽 객체 상에 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 및 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 둘 모두를 디스플레이하는 것은, 각자의 장면에서 표면의 외관이 어떤지에 관계없이 공유 콘텐츠에 대한 공통 배경을 제공함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공하고. 시각적 주의산만을 감소시키며, 사용자가 배경 상에 상이한 객체들을 수동으로 배치할 필요성을 제거한다.

일부 실시예들에서, 그래픽 객체(예컨대, 954 및/또는 982) 상의 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제1 장면 내의 표면의 표현), 및 그래픽 객체(예컨대, 954 및/또는 982) 상의 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제2 장면 내의 표면의 표현)을 동시에 디스플레이하는 동안, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은, 하나 이상의 입력 디바이스들(예컨대, 907a, 907b, 907c, 및/또는 907d)을 통해, 제1 사용자 입력(예컨대, 950d)을 검출한다. 제1 사용자 입력(예컨대, 950d)을 검출하는 것에 응답하여, 그리고 제1 사용자 입력(예컨대, 950d)이 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제1 장면 내의 표면의 표현)에 대응한다는 결정에 따라, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제1 장면 내의 표면의 표현)의(예컨대, 그를 줌인하는) 줌 레벨을 변경한다(예컨대, 증가시킴). 일부 실시예들에서, 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은, 라이브 비디오 통신 세션의 사용자 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d) 내의 다른 객체들(예컨대, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c), 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c), 및/또는 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c))의 줌 레벨을 변경하지 않고서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)의 줌 레벨을 변경한다. 입력(예컨대, 950d)을 검출하는 것에 응답하여, 그리고 제1 사용자 입력(예컨대, 950d)이 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제2 장면 내의 표면의 표현)에 대응한다는 결정에 따라, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제2 장면 내의 표면의 표현)의(예컨대, 그를 줌인하는) 줌 레벨을 변경한다(예컨대, 증가시킴). 일부 실시예들에서, 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은, 라이브 비디오 통신 세션의 사용자 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d) 내의 다른 객체들(예컨대, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c), 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c), 및/또는 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944b, 946b, 및/또는 948b))의 줌 레벨을 변경하지 않고서, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)의 줌 레벨을 변경한다. 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 또는 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현의 줌 레벨을 변경하는 것은, 개선된 입력(예컨대, 제스처) 시스템을 제공함으로써 라이브 비디오 통신 인터페이스를 향상시키며, 이는 사용자가 복잡한 메뉴들을 통해 내비게이팅할 것을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 제공한다. 추가적으로, 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 또는 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현의 줌 레벨을 변경하는 것은, 사용자가 상이한 세분화 레벨들로 표면과 연관된 콘텐츠를 관찰하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 그래픽 객체(예컨대, 954 및/또는 982)는 제1 장면 또는 제2 장면 내의 물리적 객체(예컨대, 908a, 908b, 908c, 및/또는 908d)의 이미지(예컨대, 하나 이상의 제1 카메라들 또는 하나 이상의 제2 카메라들에 의해 캡처된 객체의 이미지)에 기초한다. 제1 장면 또는 제2 장면 내의 물리적 객체의 이미지에 그래픽 객체를 기초하는 것은, 사용자로부터의 추가 입력을 요구하지 않고서 그래픽 객체의 특정 및/또는 맞춤화된 외관을 제공함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 그래픽 객체(예컨대, 954 및/또는 982) 상의 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제1 장면 내의 표면의 표현), 및 그래픽 객체(예컨대, 954 및/또는 982) 상의 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제2 장면 내의 표면의 표현)을 동시에 디스플레이하는 동안, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은, 하나 이상의 입력 디바이스들(예컨대, 907a, 907b, 907c, 및/또는 907d)을 통해, 제2 사용자 입력(예컨대, 950c)(예컨대, 탭, 마우스 클릭, 및/또는 드래그)을 검출한다. 제2 사용자 입력(예컨대, 950c)을 검출하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 그래픽 객체(예컨대, 954 및/또는 982) 상의 제1 위치(예컨대, 940a, 940b, 및/또는 940c)로부터 그래픽 객체(예컨대, 954 및/또는 982) 상의 제2 위치(예컨대, 940a, 940b, 및/또는 940c)로 이동(예컨대, 회전)시킨다. 제2 사용자 입력(예컨대, 950c)을 검출하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906c)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 그래픽 객체(예컨대, 954 및/또는 982) 상의 제3 위치(예컨대, 940a, 940b, 및/또는 940c)로부터 그래픽 객체(예컨대, 954 및/또는 982) 상의 제4 위치(예컨대, 940a, 940b, 940c, 및/또는 940d)로 이동(예컨대, 회전)시킨다. 제2 사용자 입력(예컨대, 950c)을 검출하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 그래픽 객체(예컨대, 954 및/또는 982) 상의 제5 위치(예컨대, 940a, 940b, 및/또는 940c)로부터 그래픽 객체(예컨대, 954 및/또는 982) 상의 제6 위치(예컨대, 940a, 940b, 및/또는 940c)로 이동(예컨대, 회전)시킨다. 제2 사용자 입력(예컨대, 950c)을 검출하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 그래픽 객체(예컨대, 954 및/또는 982) 상의 제7 위치(예컨대, 940a, 940b, 및/또는 940c)로부터 그래픽 객체(예컨대, 954 및/또는 982) 상의 제8 위치(예컨대, 940a, 940b, 및/또는 940c)로 이동(예컨대, 회전)시킨다. 일부 실시예들에서, 표현들은 서로에 대한 위치들을 유지한다. 일부 실시예들에서, 표현들은 동시에 이동된다. 일부 실시예들에서, 표현들은, 선택적으로 서로에 대한 테이블 주위의 그들의 위치들을 유지하면서, (예컨대, 시계 방향 또는 반시계 방향으로) 테이블 주위로 회전되며, 이는 참가자에게 그 또는 그녀가 테이블에서 상이한 위치(예컨대, 좌석)를 갖는다는 인상을 줄 수 있다. 일부 실시예들에서, 각각의 표현은 초기 위치로부터 다른 표현의 이전 위치(예컨대, 인접 표현의 이전 위치)로 이동된다. 일부 실시예들에서, 제1 표현들(예컨대, 이는 사용자(예컨대, 그 또는 그녀의 드로잉의 뷰를 공유하고 있는 사용자)의 표현을 포함함)을 이동시키는 것은 참가자가 어느 표면이 어느 사용자와 연관되어 있는지를 알도록 허용한다. 일부 실시예들에서, 제2 사용자 입력(예컨대, 950c)을 검출하는 것에 응답하여, 컴퓨터 시스템은 표면의 적어도 2개의 표현들(예컨대, 제1 장면 내의 표면의 표현 및 제2 장면 내의 표면의 표현)의 위치를 이동시킨다. 일부 실시예들에서, 제2 사용자 입력(예컨대, 950c)을 검출하는 것에 응답하여, 컴퓨터 시스템은 사용자의 적어도 2개의 표현들(예컨대, 하나 이상의 제1 카메라들의 시야의 제1 표현 및 하나 이상의 제2 카메라들의 시야의 제1 표현)의 위치를 이동시킨다. 제2 사용자 입력에 응답하여 각자의 표현들을 이동시키는 것은, 사용자가 추가 입력 없이 다수의 표현들을 시프트시키도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행한다.

일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 그래픽 객체(예컨대, 954 및/또는 982) 상의 제1 위치(예컨대, 940a, 940b, 및/또는 940c)로부터 그래픽 객체(예컨대, 954 및/또는 982) 상의 제2 위치(예컨대, 940a, 940b, 및/또는 940c)로 이동시키는 것은 그래픽 객체(예컨대, 954 및/또는 982) 상의 제1 위치(예컨대, 940a, 940b, 및/또는 940c)로부터 그래픽 객체(예컨대, 954 및/또는 982) 상의 제2 위치(예컨대, 940a, 940b, 및/또는 940c)로 이동하는 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)의 애니메이션을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 그래픽 객체(예컨대, 954 및/또는 982) 상의 제3 위치(예컨대, 940a, 940b, 및/또는 940c)로부터 그래픽 객체(예컨대, 954 및/또는 982) 상의 제4 위치(예컨대, 940a, 940b, 및/또는 940c)로 이동시키는 것은 그래픽 객체(예컨대, 954 및/또는 982) 상의 제3 위치(예컨대, 940a, 940b, 및/또는 940c)로부터 그래픽 객체(예컨대, 954 및/또는 982) 상의 제4 위치(예컨대, 940a, 940b, 및/또는 940c)로 이동하는 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)의 애니메이션을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 그래픽 객체(예컨대, 954 및/또는 982) 상의 제5 위치(예컨대, 940a, 940b, 및/또는 940c)로부터 그래픽 객체(예컨대, 954 및/또는 982) 상의 제6 위치(예컨대, 940a, 940b, 및/또는 940c)로 이동시키는 것은 그래픽 객체(예컨대, 954 및/또는 982) 상의 제5 위치(예컨대, 940a, 940b, 및/또는 940c)로부터 그래픽 객체(예컨대, 954 및/또는 982) 상의 제6 위치(예컨대, 940a, 940b, 및/또는 940c)로 이동하는 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)의 애니메이션을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 그래픽 객체(예컨대, 954 및/또는 982) 상의 제7 위치(예컨대, 940a, 940b, 및/또는 940c)로부터 그래픽 객체(예컨대, 954 및/또는 982) 상의 제8 위치(예컨대, 940a, 940b, 및/또는 940c)로 이동시키는 것은 그래픽 객체(예컨대, 954 및/또는 982) 상의 제7 위치(예컨대, 940a, 940b, 및/또는 940c)로부터 그래픽 객체(예컨대, 954 및/또는 982) 상의 제8 위치(예컨대, 940a, 940b, 및/또는 940c)로 이동하는 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)의 애니메이션을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 표현들을 이동시키는 것은, 선택적으로 서로에 대한 그들의 위치들을 유지하면서, 테이블 주위로 (예컨대, 함께 또는 동시에) 회전하는 표현들의 애니메이션을 디스플레이하는 것을 포함한다. 표현들의 각자의 이동의 애니메이션을 디스플레이하는 것은, 사용자가 다수의 표현들이 어떻게 그리고/또는 어디로 이동하고 있는지를 신속하게 식별하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)를 디스플레이하는 것은, 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)보다 더 작은 크기로(그리고 선택적으로, 그에 인접하게, 그 상에 오버레이되어, 그리고/또는 그로부터 미리정의된 거리 내에) 디스플레이하는 것(예컨대, 제1 장면 내의 사용자의 표현은 제1 장면 내의 표면의 표현보다 작음); 및 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)보다 더 작은 크기로(그리고 선택적으로, 그에 인접하게, 그 상에 오버레이되어, 그리고/또는 그로부터 미리정의된 거리 내에) 디스플레이하는 것(예컨대, 제2 장면 내의 사용자의 표현은 제2 장면 내의 표면의 표현보다 작음)을 포함한다. 하나 이상의 제1 카메라들의 시야의 제1 표현을 하나 이상의 제1 카메라들의 시야의 제2 표현보다 더 작은 크기로 디스플레이하고, 하나 이상의 제2 카메라들의 시야의 제1 표현을 하나 이상의 제2 카메라들의 시야의 제2 표현보다 더 작은 크기로 디스플레이하는 것은, 사용자가 누가 표면의 뷰를 공유하고 있는지의 콘텍스트를 신속하게 식별하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 일부 실시예들에서, 그래픽 객체(예컨대, 954 및/또는 982) 상의 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제1 장면 내의 표면의 표현), 및 그래픽 객체(예컨대, 954 및/또는 982) 상의 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제2 장면 내의 표면의 표현)을 동시에 디스플레이하는 동안, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 그래픽 객체(예컨대, 954 및/또는 982) 상의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)의 위치에 기초하는(그리고/또는 선택적으로, 라이브 비디오 통신 인터페이스 내의 하나 이상의 제1 카메라들의 시야의 제1 표현의 위치에 기초하는) 배향으로 디스플레이한다. 추가로, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 그래픽 객체(예컨대, 954 및/또는 982) 상의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)의 위치에 기초하는(그리고/또는 선택적으로, 라이브 비디오 통신 인터페이스 내의 하나 이상의 제2 카메라들의 시야의 제1 표현의 위치에 기초하는) 배향으로 디스플레이한다. 일부 실시예들에서, 각자의 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 각자의 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)이 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d) 내의 제1 위치에 디스플레이된다는 결정에 따라, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 각자의 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 각자의 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 제1 배향으로 디스플레이하고; 각자의 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 각자의 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)이 제1 위치와는 상이한, 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d) 내의 제2 위치에 디스플레이된다는 결정에 따라, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 각자의 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 각자의 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제1 표현(예컨대, 928a 내지 928d, 930a 내지 930d, 932a 내지 932d, 944a, 946a, 948a, 983a, 983b, 및/또는 983c)을 제1 배향과는 상이한 제2 배향으로 디스플레이한다. 하나 이상의 제1 카메라들의 시야의 제1 표현을 그래픽 객체 상의 하나 이상의 제1 카메라들의 시야의 제2 표현의 위치에 기초하는 배향으로 디스플레이하고, 하나 이상의 제2 카메라들의 시야의 제1 표현을 그래픽 객체 상의 하나 이상의 제2 카메라들의 시야의 제2 표현의 위치에 기초하는 배향으로 디스플레이하는 것은, 표현들이 그래픽 객체 상에 디스플레이되는 방법을 개선함으로써 비디오 통신 세션 경험을 향상시키며, 이는 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행한다.

일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제1 장면 내의 표면의 표현)은 제1 장면 내의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d) 상의 드로잉(예컨대, 970, 972, 및/또는 974)(예컨대, 펜, 연필, 및/또는 마커를 사용하여 행해진 마킹)의 표현(예컨대, 978a, 978b, 및/또는 978c)을 포함하고/하거나; 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제2 장면 내의 표면의 표현)은 제2 장면 내의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d) 상의 드로잉(예컨대, 970, 972, 및/또는 974)(예컨대, 펜, 연필 및/또는 마커를 사용하여 행해진 마킹)의 표현(예컨대, 978a, 978b, 및/또는 978c)을 포함한다. 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현의 일부로서 제1 장면 내의 표면 상의 드로잉의 표현을 포함하고/하거나, 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현의 일부로서 제2 장면 내의 표면 상의 드로잉의 표현을 포함하는 것은, 참가자들이 특정 콘텐츠를 논의하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 참가자들 사이의 개선된 협업 및 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제1 장면 내의 표면의 표현)은 제1 장면 내의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d) 상의 물리적 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)(예컨대, 정찬용 접시(dinner plate) 및/또는 전자 디바이스)의 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 포함하고/하거나; 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(예컨대, 제2 장면 내의 표면의 표현)은 제2 장면 내의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d) 상의 물리적 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)(예컨대, 정찬용 접시 및/또는 전자 디바이스)의 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 포함한다. 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현의 일부로서 제1 장면 내의 표면 상의 물리적 객체의 표현을 포함하고/하거나, 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현의 일부로서 제2 장면 내의 표면 상의 물리적 객체의 표현을 포함하는 것은, 참가자들이 특정 객체와 연관된 물리적 객체들을 관찰하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 참가자들 사이의 개선된 협업 및 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)를 디스플레이하는 동안, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은, 하나 이상의 입력 디바이스들(예컨대, 907a, 907b, 907c, 및/또는 907d)을 통해, 제3 사용자 입력(예컨대, 950e)을 검출한다. 제3 사용자 입력(예컨대, 950e)을 검출하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 제3 사용자 입력(예컨대, 950e)에 따라 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내에 시각적 마크업 콘텐츠(예컨대, 956)(예컨대, 핸드라이팅)를 디스플레이한다(예컨대, 그에 시각적 마크업 콘텐츠를 추가함). 일부 실시예들에서, 시각적 마킹들(예컨대, 956)은 시스템의 각자의 디스플레이 생성 컴포넌트(예컨대, 907a, 907b, 907c, 및/또는 907d)를 사용하여 제1 컴퓨팅 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d) 및 제2 컴퓨팅 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d) 둘 모두에 동시에 디스플레이된다. 제3 사용자 입력에 따라 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내에 시각적 마크업 콘텐츠를 디스플레이하는 것은, 참가자들이 콘텐츠를 협업하고 공유하는 방법을 개선함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 시각적 마크업 콘텐츠(예컨대, 956)는 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내의 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)(예컨대, 제2 장면 내의 물리적 객체 또는 가상 객체)의 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 상에 디스플레이된다. 일부 실시예들에서, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내의 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)의 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 상에 시각적 마크업 콘텐츠(예컨대, 956)를 디스플레이하는 동안, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내의 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)의 이동의 표시를 수신한다(예컨대, 이동을 검출함). 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내의 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)의 이동의 표시를 수신하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)의 이동에 따라 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내의 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)의 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 이동시키고; 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)의 표현에 대한 시각적 마크업 콘텐츠(예컨대, 956)의 위치를 유지하는 것을 포함하여, 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)의 이동에 따라 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내의 시각적 마크업 콘텐츠(예컨대, 956)를 이동시킨다. 객체의 이동에 따라 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 객체의 표현을 이동시키고, 객체의 표현에 대한 시각적 마크업 콘텐츠의 위치를 유지하는 것을 포함하여, 객체의 이동에 따라 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 시각적 마크업 콘텐츠를 이동시키는 것은, 사용자로부터의 어떠한 추가 입력도 요구하지 않고서 물리적 환경 내의 객체의 물리적 이동에 응답하여 표현들 및 시각적 마크업 콘텐츠를 자동적으로 이동시킴으로써 비디오 통신 세션 경험을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 시각적 마크업 콘텐츠(예컨대, 954)는 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내의 페이지(예컨대, 910)(예컨대, 제2 장면 내의 물리적 책의 페이지, 제2 장면 내의 한 장의 종이, 책의 가상 페이지, 또는 한 장의 가상 종이)의 표현 상에 디스플레이된다. 일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 페이지가 넘겨졌다는(예컨대, 페이지를 넘겼다는; 시각적 마크업 콘텐츠가 디스플레이되는 페이지의 표면이 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들에 더 이상 가시적이지 않다는) 표시를 수신한다(예컨대, 검출함). 페이지가 넘겨졌다는 표시를 수신(예컨대, 검출)하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 시각적 마크업 콘텐츠(예컨대, 956)의 디스플레이를 중지한다. 페이지가 넘겨졌다는 표시를 수신하는 것에 응답하여, 시각적 마크업 콘텐츠의 디스플레이를 중지하는 것은, 사용자로부터의 어떠한 추가 입력도 요구하지 않고서 콘텐츠가 더 이상 관련 없을 때 그를 자동적으로 제거함으로써 비디오 통신 세션 경험을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 시각적 마크업 콘텐츠(예컨대, 956)의 디스플레이를 중지한 후에, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 페이지가 재디스플레이된다는(예컨대, 그로 되돌아간다는; 시각적 마크업 콘텐츠가 디스플레이되었던 페이지의 표면이 다시 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들에 가시적이라는) 표시를 수신한다(예컨대, 검출함). 페이지가 재디스플레이된다는 표시를 수신하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내의 페이지(예컨대, 910)의 표현 상에 시각적 마크업 콘텐츠(예컨대, 956)를 디스플레이한다(예컨대, 재디스플레이함). 일부 실시예들에서, 시각적 마크업 콘텐츠(예컨대, 956)는 페이지가 넘겨지기 전에 시각적 마크업 콘텐츠(예컨대, 956)가 가졌던 바와 동일한, 페이지에 대한 배향으로 디스플레이된다(예컨대, 재디스플레이됨). 페이지가 재디스플레이된다는 표시를 수신하는 것에 응답하여, 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 페이지의 표현 상에 시각적 마크업 콘텐츠를 디스플레이하는 것은, 사용자로부터의 어떠한 추가 입력도 요구하지 않고서 콘텐츠가 관련 있을 때 그를 자동적으로 재디스플레이함으로써 비디오 통신 세션 경험을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내에 시각적 마크업 콘텐츠(예컨대, 956)를 디스플레이하는 동안, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 라이브 비디오 통신 세션에서 시각적 마크업 콘텐츠(예컨대, 956)를 수정하라는(예컨대, 그의 전부 또는 일부를 제거하고/하거나 그에 추가하라는), 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)에 의해 검출된 요청의 표시를 수신한다. 라이브 비디오 통신 세션에서 시각적 마크업 콘텐츠(예컨대, 956)를 수정하라는, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)에 의해 검출된 요청의 표시를 수신하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 시각적 마크업 콘텐츠(예컨대, 956)를 수정하라는 요청에 따라 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내의 시각적 마크업 콘텐츠(예컨대, 956)를 수정한다. 시각적 마크업 콘텐츠를 수정하라는 요청에 따라 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 시각적 마크업 콘텐츠를 수정하는 것은, 참가자들이 원래의 시각적 마크업 콘텐츠 생성자로부터의 입력을 요구하지 않고서 다른 참가자들 콘텐츠를 수정하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내에 시각적 마크업 콘텐츠(예컨대, 956)를 디스플레이한 후에(예컨대, 초기에 디스플레이한 후에), 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 시간(예컨대, 5초, 30초, 1분, 및/또는 5분) 경과에 따라 시각적 마크업 콘텐츠(예컨대, 956)의 디스플레이를 페이드 아웃(fade out)한다(예컨대, 그의 가시성을 감소시킴, 블러 아웃함, 디졸브(dissolve)함, 및/또는 디밍(dimming)함). 일부 실시예들에서, 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은, 제3 사용자 입력(예컨대, 950e)이 검출된 이후로 임계 시간(예컨대, 0초, 30초, 1분, 및/또는 5분)이 경과하였다는 결정에 따라, 시각적 마크업 콘텐츠(예컨대, 956)의 디스플레이를 페이드 아웃하기 시작한다. 일부 실시예들에서, 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 시각적 마크업 콘텐츠(예컨대, 956)가 디스플레이되는 것이 중지될 때까지 시각적 마크업 콘텐츠(예컨대, 956)를 계속 페이드 아웃한다. 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내에 시각적 마크업 콘텐츠를 디스플레이한 후에, 시간 경과에 따라 시각적 마크업 콘텐츠의 디스플레이를 페이드 아웃하는 것은, 사용자로부터의 어떠한 추가 입력도 요구하지 않고서 콘텐츠가 더 이상 관련 없을 때 그를 자동적으로 제거함으로써 비디오 통신 세션 경험을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 제1 장면 내의 표면(예컨대, 908a, 908b, 908c, 및/또는 908d)(예컨대, 제1 표면)의 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)을 포함하는 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)를 디스플레이하는 동안, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은, 하나 이상의 입력 디바이스들을 통해, 질의(예컨대, 구두 질문)를 포함하는 스피치 입력(예컨대, 950f)을 검출한다. 스피치 입력(예컨대, 950f)을 검출하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 및/또는 제2 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제2 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c) 내의 시각적 콘텐츠(예컨대, 966)(예컨대, 텍스트 및/또는 그래픽)에 기초하여 질의에 대한 응답(예컨대, 968)(예컨대, 오디오 및/또는 그래픽 출력)을 출력한다. 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 및/또는 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 시각적 콘텐츠에 기초하여 질의에 대한 응답을 출력하는 것은, 사용자로부터의 추가 스피치 입력에 대한 필요 없이 시각적 콘텐츠에 기초하여 관련 응답을 자동적으로 출력함으로써 라이브 비디오 통신 사용자 인터페이스를 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d)를 디스플레이하는 동안, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)(또는 선택적으로, 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현)이 제3 디스플레이 생성 컴포넌트와 통신하는(예컨대, 그를 포함하는) 제1 장면 내의(또는 선택적으로, 각각 제2 장면 내의) 제3 컴퓨터 시스템(예컨대, 914)의 표현(예컨대, 918d, 922d, 924d, 926d, 및/또는 948a)을 포함한다는 것을 검출한다. 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)의 하나 이상의 제1 카메라들(예컨대, 909a, 909b, 909c, 및/또는 909d)의 시야의 제2 표현(예컨대, 918b 내지 918d, 922b 내지 922d, 924b 내지 924d, 926b 내지 926d, 944a, 946a, 948a, 978a, 978b, 및/또는 978c)이 제3 디스플레이 생성 컴포넌트와 통신하는 제1 장면 내의 제3 컴퓨터 시스템(예컨대, 914)의 표현(예컨대, 918d, 922d, 924d, 926d, 및/또는 948a)을 포함한다는 것을 검출하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은, 라이브 비디오 통신 인터페이스(예컨대, 916a 내지 916d, 938a 내지 938d, 및/또는 976a 내지 976d) 내에, 제3 디스플레이 생성 컴포넌트 상에 디스플레이되는 시각적 콘텐츠에 대응하는, 제3 컴퓨팅 시스템(예컨대, 914)으로부터 수신된 디스플레이 데이터에 대응하는 시각적 콘텐츠를 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은, 제3 컴퓨팅 시스템(예컨대, 914)으로부터, 제3 디스플레이 생성 컴포넌트 상에 디스플레이되는 시각적 콘텐츠에 대응하는 디스플레이 데이터를 수신한다. 일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 (예컨대, 스크린 공유를 통해) 라이브 통신 세션과 독립적으로 제3 컴퓨팅 시스템(예컨대, 914)과 통신한다. 일부 실시예들에서, 제3 컴퓨팅 시스템(예컨대, 914)으로부터 수신된 디스플레이 데이터에 대응하는 시각적 콘텐츠를 디스플레이하는 것은, 제3 디스플레이 생성 컴포넌트 상에 디스플레이되는 콘텐츠의 더 높은 해상도 및 더 정확한 표현을 제공함으로써 라이브 비디오 통신 세션을 향상시킨다. 제3 디스플레이 생성 컴포넌트 상에 디스플레이되는 시각적 콘텐츠에 대응하는, 제3 컴퓨팅 시스템으로부터 수신된 디스플레이 데이터에 대응하는 시각적 콘텐츠를 디스플레이하는 것은, 사용자로부터의 어떠한 추가 입력도 요구하지 않고서 제3 디스플레이 컴포넌트 상에 있는 것의 더 높은 해상도 및 더 정확한 표현을 제공함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은, 물리적 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)(예컨대, 예컨대 제1 장면 내의 테이블, 책, 및/또는 한 장의 종이와 같은 물리적 객체) 상에, 라이브 비디오 통신 세션에 포함되는 콘텐츠(예컨대, 958)(예컨대, 예컨대 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내에 표현되는 제2 장면 내의 가상 마크업 콘텐츠 및/또는 시각적 콘텐츠)를 디스플레이한다(또는 선택적으로, 예컨대 제1 컴퓨터 시스템과 통신하는 제2 디스플레이 생성 컴포넌트를 통해 투영함). 일부 실시예들에서, 물리적 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974) 상에 디스플레이되는 콘텐츠(예컨대, 958)는 시각적 마크업 콘텐츠(예컨대, 956)(예컨대, 제3 사용자 입력을 검출하는 것에 응답하여 수신되는 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 시각적 마크업 콘텐츠)를 포함한다. 일부 실시예들에서, 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 물리적 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)의 이동의 표시를 수신하고(예컨대, 이동을 검출함), 이에 응답하여, 물리적 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)에 대한 콘텐츠(예컨대, 958)의 위치(예컨대, 961)를 유지하는 것을 포함하여, 물리적 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974)의 이동에 따라, 물리적 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974) 상에 디스플레이된 콘텐츠(예컨대, 958)를 이동시킨다. 일부 실시예들에서, 콘텐츠(예컨대, 958)는 물리적 페이지(예컨대, 책(910)의 페이지) 상에 디스플레이되고, 페이지가 넘겨졌다는 표시를 수신하는 것에 응답하여, 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 페이지 상에 콘텐츠(예컨대, 958)를 디스플레이하는 것을 중지한다. 일부 실시예들에서, 콘텐츠(예컨대, 958)의 디스플레이를 중지한 후에, 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 페이지가 되돌아갔다는 표시를 수신하고, 이에 응답하여, 페이지 상에 콘텐츠(예컨대, 958)를 디스플레이한다(예컨대, 재디스플레이함). 일부 실시예들에서, 컴퓨터 시스템(예컨대, 906a, 906b, 906c 및/또는 906d)은 콘텐츠(예컨대, 958)를 수정하라는 요청의 표시를 (예컨대, 제1 및/또는 제2 컴퓨터 시스템으로부터) 수신하는 것에 응답하여 콘텐츠(예컨대, 958)를 수정한다. 일부 실시예들에서, 물리적 객체(예컨대, 910, 912, 914, 970, 972, 및/또는 974) 상에 콘텐츠(예컨대, 958)를 디스플레이한 후에, 컴퓨터 시스템(예컨대, 906a, 906b, 906c, 및/또는 906d)은 시간 경과에 따라 콘텐츠(예컨대, 958)의 디스플레이를 페이드 아웃한다. 물리적 객체 상에, 라이브 비디오 통신 세션에 포함되는 콘텐츠를 디스플레이하는 것은, 사용자들이 혼합 현실 환경에서 협업하도록 허용함으로써 비디오 통신 세션 경험을 향상시키며, 이는 개선된 시각적 피드백을 제공한다.

방법(1000)(예컨대, 도 10)과 관련하여 위에서 설명된 프로세스들의 상세사항들은, 또한, 본 명세서에서 설명되는 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법들(700, 800, 1200, 1400, 1500, 1700, 1900)은, 선택적으로, 방법(1000)을 참조하여 위에서 설명된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법들(700, 800, 1200, 1400, 1500, 1700, 1900)은 라이브 비디오 통신 세션 동안 다수의 상이한 표면들의 이미지들을 디스플레이하기 위한, (예컨대, 사용자들 및/또는 표면들의) 다수의 상이한 뷰들이 사용자 인터페이스 내에 어떻게 배열되는지를 관리하기 위한, 물리적 마크들에 대응하는 디지털 마크들을 추가하기 위한 협업 구역을 제공하기 위한, 그리고/또는 콘텐츠의 더 양호한 협업 및 공유를 용이하게 하기 위한 방법(1000)의 특성들을 포함할 수 있다. 간결함을 위해, 이 상세사항들은 본 명세서에서 반복되지 않는다.

도 11a 내지 도 11p는 일부 실시예들에 따른, 물리적 마크의 이미지들을 디스플레이하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이들 도면들의 사용자 인터페이스들은, 도 12의 프로세스들을 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다. 일부 실시예들에서, 디바이스(1100a)는 디바이스들(100, 300, 및/또는 500)의 하나 이상의 특징부들을 포함한다. 일부 실시예들에서, 도 6a 내지 도 6ay 및 도 9a 내지 도 9t와 관련하여 논의된 하나 이상의 카메라들(예컨대, 602, 682, 6102, 및/또는 906a 내지 906d)에 의해 제공되는 애플리케이션들, 애플리케이션 아이콘들(예컨대, 6110-1 및/또는 6108-1), 인터페이스들(예컨대, 604-1, 604-2, 604-3, 604-4, 916a 내지 916d, 6121 및/또는 6131), 시야들(예컨대, 620, 688, 6145-1, 및 6147-2)은 도 11a 내지 도 11p와 관련하여 논의된 카메라들(예컨대, 1102a)에 의해 제공되는 애플리케이션들, 애플리케이션 아이콘들(예컨대, 1110, 1112, 및/또는 1114) 및 시야(예컨대, 1120)와 유사하다. 따라서, 이들 애플리케이션들, 인터페이스들, 및 시야들의 상세사항들은 간결함을 위해 아래에서 반복되지 않을 수 있다.

도 11a에서, 디바이스(1100a)의 카메라(1102a)는 사용자(1104a)(예컨대, John)의 얼굴 및 표면(1106a) 둘 모두를 포함하는 이미지를 캡처한다. 사용자(1104a) 및 표면(1106a)의 측면도의 개략적인 표현에 도시된 바와 같이, 카메라(1102a)는, 셰이딩된 영역(1108)에 의해 묘사된 사용자(1104)의 뷰 및 셰이딩된 영역(1109)에 의해 묘사된 표면(1106a)의 뷰를 포함하는 시야(1120)를 포함한다.

도 11a에서, 디바이스(1100a)는 디스플레이(1101) 상에 사용자 인터페이스를 디스플레이한다. 사용자 인터페이스는 프레젠테이션 애플리케이션과 연관된 프레젠테이션 애플리케이션 아이콘(1114)을 포함한다. 사용자 인터페이스는, 또한, 비디오 통신 애플리케이션과 연관된 비디오 통신 애플리케이션 아이콘(1112)을 포함한다. 도 11a의 사용자 인터페이스를 디스플레이하는 동안, 디바이스(1100a)는 프레젠테이션 애플리케이션 아이콘(1114)을 향한 마우스 클릭(1115a)을 검출한다. 마우스 클릭(1115a)을 검출하는 것에 응답하여, 도 11b에 도시된 바와 같이, 디바이스(1100a)는 프레젠테이션 애플리케이션 인터페이스(1116)와 유사한 프레젠테이션 애플리케이션 인터페이스를 디스플레이한다.

도 11b에서, 프레젠테이션 애플리케이션 인터페이스(1116)는 슬라이드(1118)를 갖는 문서를 포함한다. 묘사된 바와 같이, 슬라이드(1118)는 슬라이드 콘텐츠(1120a 내지 1120c)를 포함한다. 일부 실시예들에서, 슬라이드 콘텐츠(1120a 내지 1120c)는 디지털 콘텐츠를 포함한다. 일부 실시예들에서, 슬라이드 콘텐츠(1120a 내지 1120c)는 문서와 연관되어 저장된다. 일부 실시예들에서, 슬라이드 콘텐츠(1120a 내지 1120c)는 카메라(1102a)에 의해 캡처된 이미지 데이터에 기초하여 추가되지 않은 디지털 콘텐츠를 포함한다. 일부 실시예들에서, 슬라이드 콘텐츠(1120a 내지 1120c)는 카메라(1102a) 이외의 디바이스들로부터 검출된 입력들에 기초하여(예컨대, 차트들, 표들, 및/또는 형상들과 같은, 프레젠테이션 애플리케이션에 의해 제공되는 객체들 또는 이미지들과 연관된 어포던스들(1148)을 선택하는 입력에 기초하여) 생성되었다. 일부 실시예들에서, 슬라이드 콘텐츠(1120c)는 디바이스(1100)의 키보드 상에서의 입력을 수신하는 것에 기초하여 추가된 디지털 텍스트를 포함한다.

도 11b는, 또한, 표면(1106a) 및 사용자(1104a)의 손(1124)의 평면 뷰의 개략적인 표현을 도시한다. 이러한 개략적인 표현은 사용자(1104a)가, 선택적으로, 필기구(1126)를 사용하여 그리거나 필기하는 노트북(notebook)을 묘사한다.

도 11b에서, 프레젠테이션 애플리케이션 인터페이스(1116)는 이미지 캡처 어포던스(1127)를 포함한다. 이미지 캡처 어포던스(1127)는, 선택적으로, 카메라(1102a)에 의해 캡처된 이미지 데이터(예컨대, 정지 이미지, 비디오, 및/또는 라이브 카메라 피드로부터의 이미지들)를 사용하여 문서 및/또는 프레젠테이션 애플리케이션 인터페이스(1116) 내의 물리적 콘텐츠의 이미지들의 디스플레이를 제어한다. 일부 실시예들에서, 이미지 캡처 어포던스(1127)는, 선택적으로, 카메라(1102a) 이외의 카메라(예컨대, 디바이스(1100a)와의 비디오 통신 세션에 있는 디바이스와 연관된 카메라)에 의해 캡처된 이미지 데이터를 사용하여 문서 및/또는 프레젠테이션 애플리케이션 인터페이스(1116) 내의 물리적 콘텐츠의 이미지들을 디스플레이하는 것을 제어한다. 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이하는 동안, 디바이스(1100a)는 이미지 캡처 어포던스(1127)를 향한 입력(예컨대, 마우스 클릭(1115b) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1115b)을 검출하는 것에 응답하여, 도 11c에 도시된 바와 같이, 디바이스(1100a)는 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이한다.

도 11c에서, 프레젠테이션 애플리케이션 인터페이스(1116)는 도 11b의 슬라이드(1118)와 비교하여 업데이트된 슬라이드(1118)를 포함한다. 도 11c의 슬라이드(1118)는 카메라(1102a)에 의해 캡처된 라이브 비디오 피드 이미지를 포함한다. 이미지 캡처 어포던스(1127)의 선택을 검출하는 것에 응답하여(예컨대, 캡처 어포던스(1127)가 인에이블될 때), 디바이스(1100a)는 (예컨대, 카메라(1102a)에 의해 캡처된) 라이브 비디오 피드 이미지 데이터에 기초하여 슬라이드(1118)를 연속적으로 업데이트한다. 일부 실시예들에서, 이미지 캡처 어포던스(1127)의 다른 선택을 검출하는 것에 응답하여, 디바이스(1100a)는 (예컨대, 이미지 캡처 어포던스(1127)가 디스에이블될 때) 라이브 비디오 피드 이미지 데이터를 디스플레이하지 않는다. 본 명세서에서 설명된 바와 같이, 일부 실시예들에서, 라이브 비디오 피드 이미지로부터의 콘텐츠는, 선택적으로, (예컨대, 이미지를 복사 및/또는 임포팅(importing)하는 것에 기초하여) 이미지 캡처 어포던스(1127)가 디스에이블될 때 디스플레이된다. 그러한 실시예들에서, 라이브 비디오 피드 이미지로부터의 콘텐츠는, 라이브 비디오 피드 이미지로부터의 콘텐츠가 카메라(1102a)에 의해 캡처된 새로운 이미지 데이터에 기초하여 업데이트되지 않더라도, 계속 디스플레이된다.

도 11c에서, 디바이스(1100a)는, 손(1124) 및 나무(1128)의 이미지 데이터를 캡처하는 것에 대응하는 손 이미지(1336) 및 나무 이미지(1134)를 디스플레이한다. 묘사된 바와 같이, 손 이미지(1336) 및 나무 이미지(1134)는 슬라이드(1118) 상에 오버레이된다. 프레젠테이션 애플리케이션 인터페이스(1116)는, 또한, 슬라이드(1118) 상에 오버레이되는 노트북 라인 이미지(1132)를 포함하며, 여기에서 노트북 라인 이미지(1132)는 노트북 라인들(1130)의 캡처된 이미지 데이터에 대응한다. 일부 실시예들에서, 디바이스(1100a)는 슬라이드 콘텐츠(1120a 내지 1120c) 상에 오버레이되는 것으로 나무 이미지(1134) 및/또는 노트북 라인 이미지(1132)를 디스플레이한다. 일부 실시예들에서, 디바이스(1100a)는 나무 이미지(1134) 상에 오버레이되는 것으로 슬라이드 콘텐츠(1120a 내지 1120c)를 디스플레이한다.

도 11c에서, 프레젠테이션 애플리케이션 인터페이스(1116)는 손 이미지(1136) 및 필기구 이미지(1138)를 포함한다. 손 이미지(1136)는 사용자(1104a)의 손(1124)의 라이브 비디오 피드 이미지이다. 필기구 이미지(1138)는 필기구(1126)의 라이브 비디오 피드 이미지이다. 일부 실시예들에서, 디바이스(1100a)는 슬라이드 콘텐츠(1120a 내지 1120c)(예컨대, 슬라이드 콘텐츠(1120a 내지 1120c), 저장된 라이브 비디오 피드 이미지들, 및/또는 임포팅된 라이브 비디오 피드 이미지 데이터) 상에 오버레이되는 것으로 손 이미지(1136) 및/또는 필기구 이미지(1138)를 디스플레이한다.

도 11c에서, 프레젠테이션 애플리케이션 인터페이스(1116)는 카메라(1102a)에 의해 캡처된 이미지 콘텐츠를 관리하기 위한 옵션들을 디스플레이하기 위한 이미지 설정 어포던스(1136)를 포함한다. 일부 실시예들에서, 이미지 설정 어포던스(1136)는 다른 카메라들(예컨대, 본 명세서에서 설명된 바와 같이, 화상 회의 동안 디바이스(1100a)와 통신하는 디바이스들에 의해 캡처된 이미지 데이터와 연관된 카메라들)에 의해 캡처된 이미지 콘텐츠를 관리하기 위한 옵션들을 포함한다. 도 11c에서, 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이하는 동안, 디바이스(1100a)는 이미지 설정 어포던스(1136)를 향한 마우스 클릭(1115c)을 검출한다. 마우스 클릭(1115c)을 검출하는 것에 응답하여, 도 11d에 도시된 바와 같이, 디바이스(1100a)는 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이한다.

도 11d에서, 디바이스(1100a)는, 선택적으로, 슬라이드(1118) 상의 캡처된 이미지 데이터를 수정한다. 묘사된 바와 같이, 프레젠테이션 애플리케이션 인터페이스(1116)는 배경 설정 어포던스들(1140a 내지 1140c), 손 설정 어포던스(1142), 및 마킹 기구 어포던스(1144)를 포함한다. 배경 설정 어포던스들(1140a 내지 1140c)은 카메라(1102)에 의해 캡처된 물리적 드로잉들 및/또는 핸드라이팅의 배경의 표현을 수정하기 위한 옵션들을 제공한다. 일부 실시예들에서, 배경 설정 어포던스들(1140a 내지 1140c)은 디바이스(1100a)가 (예컨대, 슬라이드(1118) 상의 핸드라이팅 및/또는 다른 콘텐츠의 표현에 대한) 물리적 드로잉의 배경의 표현의 강조도(degree of emphasis)를 변경하도록 허용한다. 배경은, 선택적으로, 표면(1106a) 및/또는 노트북의 일부분이다. 배경 설정 어포던스(1140a)를 선택하는 것은, 선택적으로, (예컨대, 이미지의 불투명도를 0%로 설정함으로써) 배경의 디스플레이를 완전히 제거하거나, (예컨대, 이미지의 불투명도를 100%로 설정함으로써) 배경을 완전히 디스플레이한다. 배경 설정 어포던스들(1140b, 1140c)을 선택하는 것은, 선택적으로, (예컨대, 이미지의 불투명도를 100%로부터 75%, 50%, 25%, 또는 0% 초과의 다른 값으로 변경함으로써) 배경의 디스플레이를 점진적으로 강조해제 및/또는 제거하거나, (예컨대, 이미지의 불투명도를 증가시킴으로써) 배경을 점진적으로 강조하고/하거나 더 가시적이게 또는 두드러지게 한다. 일부 실시예들에서, 디바이스(1100a)는 객체 검출 소프트웨어 및/또는 깊이 맵을 사용하여 배경, 물리적 드로잉의 표면, 및/또는 핸드라이팅을 식별한다. 일부 실시예들에서, 배경 설정 어포던스들(1140a 내지 1140c)은, 본 명세서에서 설명된 바와 같이, 비디오 통신 세션 동안 디바이스(1100a)와 통신하는 디바이스들과 연관된 카메라들에 의해 캡처된 물리적 드로잉들 및/또는 핸드라이팅의 배경의 디스플레이를 수정하기 위한 옵션들을 제공한다.

도 11d에서, 손 설정(1142)은 손 이미지(1136)를 수정하기 위한 옵션을 제공한다. 일부 실시예들에서, 손 설정(1142)은, 본 명세서에서 설명된 바와 같이, 비디오 통신 동안 디바이스(1100a)와 통신하는 디바이스들과 연관된 카메라들에 의해 캡처되는 다른 사용자의 손들의 이미지들을 수정하기 위한 옵션을 제공한다. 일부 실시예들에서, 디바이스(1100a)는 객체 검출 소프트웨어 및/또는 깊이 맵을 사용하여 사용자 손(들)의 이미지들을 식별한다. 일부 실시예들에서, 손 설정 어포던스(1142)를 향한 마우스 클릭을 검출하는 것에 응답하여, 디바이스(1100a)는 사용자의 손의 이미지(예컨대, 손 이미지(1136))를 디스플레이하지 않는다.

도 11d에서, 마킹 기구 설정(1144)은 카메라(1102a)에 의해 캡처되는 필기구 이미지(1138)를 수정하기 위한 옵션을 제공한다. 일부 실시예들에서, 마킹 기구 설정(1144)은, 본 명세서에서 설명된 바와 같이, 비디오 통신 세션 동안 디바이스(1100a)와 통신하는 디바이스와 연관된 카메라에 의해 캡처된 마킹 기구들의 이미지들을 수정하기 위한 옵션을 제공한다. 일부 실시예들에서, 디바이스(1100a)는 객체 검출 소프트웨어 및/또는 깊이 맵을 사용하여 마킹 기구의 이미지들을 식별한다. 일부 실시예들에서, 마킹 기구 어포던스(1144)를 향한 입력(예컨대, 마우스 클릭, 탭, 및/또는 다른 선택 입력)을 검출하는 것에 응답하여, 디바이스(1100a)는 마킹 기구의 이미지(예컨대, 필기구 이미지(1138))를 디스플레이하지 않는다.

도 11d에서, 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이하는 동안, 디바이스(1100a)는 제어부(1140b)를 향한 입력(예컨대, 마우스 클릭(1115d) 및/또는 다른 선택 입력)(예컨대, 제어부(1140b)의 슬라이더를 조정하는 마우스 클릭 및 드래그를 포함함)을 검출한다. 마우스 클릭(1115d)을 검출하는 것에 응답하여, 도 11e에 도시된 바와 같이, 디바이스(1100a)는 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이한다.

도 11e에서, 디바이스(1100a)는 프레젠테이션 애플리케이션 인터페이스(1116)에서 노트북 라인 이미지(1132)를 업데이트한다. 도 11e의 노트북 라인 이미지(1132)는 그가 실선으로 묘사되어 있는 도 11d의 노트북 라인 이미지(1132)와 비교하여 수정되었음을 나타내기 위해 파선으로 묘사되어 있다. 일부 실시예들에서, 수정은 도 11d의 노트북 라인 이미지(1132)의 불투명도와 비교하여 도 11e의 노트북 라인 이미지(1132)의 불투명도를 감소시키는 것(및/또는 투명도를 증가시키는 것)에 기초한다. 도 11d에 도시된 바와 같이, 배경 불투명도 설정은 100%로 설정된다. 도 11e에 도시된 바와 같이, 배경 불투명도 설정은 50%로 설정된다.

도 11e에서, 디바이스(1100a)는 디바이스(1100a)가 노트북 라인 이미지(1132)를 수정할 때 나무 이미지(1134)를 수정하지 않는다. 묘사된 바와 같이, 도 11e의 나무 이미지(1134)는 도 11d의 나무 이미지(1134)와 동일한 외관을 갖는다. 추가적으로, 디바이스(1100a)는 디바이스(1100a)가 노트북 라인 이미지(1132)를 수정할 때 필기구 이미지(1138)를 수정하지 않는다. 묘사된 바와 같이, 도 11e의 필기구 이미지(1138)는 도 11d의 필기구 이미지(1138)와 동일한 외관을 갖는다. 게다가, 디바이스(1100a)는 디바이스(1100a)가 노트북 라인 이미지(1132)를 수정할 때 슬라이드 콘텐츠(1120a 내지 1120c)를 수정하지 않는다. 묘사된 바와 같이, 도 11e의 슬라이드 콘텐츠(1120a 내지 1120c)는 도 11d의 슬라이드 콘텐츠(1120a 내지 1120c)와 동일한 외관을 갖는다.

도 11e에서, 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이하는 동안, 디바이스(1100a)는 제어부(1140b)를 향한 입력(예컨대, 마우스 클릭(1115e) 및/또는 다른 선택 입력)(예컨대, 제어부(1140b)의 슬라이더를 조정하는 마우스 클릭 및 드래그를 포함함)을 검출한다. 마우스 클릭(1115e)을 검출하는 것에 응답하여, 도 11f에 도시된 바와 같이, 디바이스(1100a)는 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이한다.

도 11f에서, 디바이스(1100a)는 프레젠테이션 애플리케이션 인터페이스(1116)에서 노트북 라인 이미지(1132)를 제거한다. 노트북 라인 이미지(1132)는 그가 제거되었음을 나타내기 위해 도 11f에 도시되지 않는다. 일부 실시예들에서, 노트북 라인 이미지(1132)는 도 11f의 노트북 라인 이미지(1132)의 불투명도를 감소시키는 것(및/또는 투명도를 증가시키는 것)에 기초하여 제거된다. 예를 들어, 도 11f에 도시된 바와 같이, 배경 불투명도 설정은 50%로 설정된 도 11d의 배경 불투명도 설정과 비교하여 0.0%로 설정된다.

도 11f에서, 디바이스(1100a)는 디바이스(1100a)가 노트북 라인 이미지(1132)를 제거할 때 나무 이미지(1134)를 제거하지 않는다. 디바이스(1100a)는 디바이스(1100a)가 노트북 라인 이미지(1132)를 제거할 때 필기구 이미지(1138)를 제거하지 않는다. 디바이스(1100a)는 디바이스(1100a)가 노트북 라인 이미지(1132)를 제거할 때 슬라이드 콘텐츠(1120a 내지 1120c)를 제거하지 않는다.

도 11g에서, 디바이스(1100a)는 노트북 상에 그려진 태양(1150)의 이미지를 포함하는 태양 이미지(1152)를 포함하도록 프레젠테이션 애플리케이션 인터페이스(1116)를 업데이트한다. 특히, 디바이스(1100a)는 카메라(1102a)에 의해 캡처된 라이브 비디오 피드에 기초하여 프레젠테이션 애플리케이션 인터페이스(1116)를 업데이트한다. 일부 실시예들에서, 디바이스(1100a)는 상이한 카메라(예컨대, 화상 회의 동안 디바이스(1100a)와 통신하는 디바이스와 연관된 카메라 및/또는 카메라(1102a) 이외의 카메라)에 의해 캡처된 라이브 비디오 피드에 기초하여 프레젠테이션 애플리케이션 인터페이스(1116)를 업데이트한다.

도 11g에서, 프레젠테이션 애플리케이션 인터페이스(1116)는 임포트(import) 어포던스(1154)를 포함한다. 임포트 어포던스(1154)는, 라이브 비디오 피드 이미지 데이터에 대한 나무 이미지(1134) 및/또는 태양 이미지(1152)를 전자 문서로 임포팅하여 이미지들이 저장되고/되거나 편집가능하게 하기 위한 옵션을 제공한다. 일부 실시예들에서, 나무 이미지(1134) 및/또는 태양 이미지(1152)를 임포팅하는 것은 사용자가 이미지를 저장 및/또는 편집하도록 허용한다. 일부 실시예들에서, 나무 이미지(1134) 및/또는 태양 이미지(1152)를 임포팅하는 것은 사용자가 그렇지 않을 경우 이미지가 임포팅되지 않았다면 이용불가능하였을 방식들로 이미지를 편집하도록 허용한다. 일부 실시예들에서, 나무 이미지(1134) 및/또는 태양 이미지(1152)는 배경의 불투명도 설정에 기초하여 배경의 이미지들(예컨대, 노트북 라인 이미지(1132))을 임포팅하지 않고서 임포팅된다.

도 11g에서, 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이하는 동안, 디바이스(1100a)는 임포트 어포던스(1154)를 향한 입력(예컨대, 마우스 클릭(1115g) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1115g)을 검출하는 것에 응답하여, 도 11h에 도시된 바와 같이, 디바이스(1100a)는 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이한다.

도 11h에서, 프레젠테이션 애플리케이션 인터페이스(1116)는 임포팅된 나무(1156) 및 임포팅된 태양(1154)을 포함한다. 일부 실시예들에서, 디바이스(1100a)는, 어느 이미지를 임포팅할지의 선택을 검출하는 것에 응답하여(예컨대, 사용자는 나무 이미지(1134)를 임포팅할지 그리고/또는 태양 이미지(1152)를 임포팅할지를 선택할 수 있음), 임포팅된 나무(1156)(또는 임포팅된 태양(1154)) 및 임포팅되지 않은 태양(1154)(및 임포팅되지 않은 나무(1156))을 디스플레이한다. 임포팅된 나무(1156) 및 임포팅된 태양(1154)은 임포팅된 나무(1156) 및 임포팅된 태양(1154)이 임포팅되었음을 나타내기 위해 도 11g의 나무 이미지(1134) 및/또는 태양 이미지(1152)와는 상이한 외관으로 묘사된다.

도 11h에서, 디바이스(1100a)는, 손(1124) 및 필기구(1126)가 카메라(1102a)의 시야 내에 있더라도, 손 이미지(1136) 및 필기구 이미지(1138)를 디스플레이하지 않는다. 일부 실시예들에서, 디바이스(1100a)는 마킹 기구 설정(1144) 및 손 설정(1142)이 디스에이블되는 것에 기초하여 손 이미지(1136) 및 필기구 이미지(1138)를 디스플레이하지 않는다. 그러한 실시예들에서, 디바이스(1100a)는, 이미지 캡처 어포던스(1127)에 의해 묘시된 바와 같이, 디바이스(1100a)가 라이브 캡처 모드에 있더라도, 손 이미지(1136) 및 필기구 이미지(1138)를 디스플레이하지 않는다. 일부 실시예들에서, 도 11h의 디바이스(1100a)는 (예컨대, 이미지 캡처 어포던스(1127)가 디스에이블된 상태에 있는 것에 기초하여) 라이브 캡처 모드에 있지 않고, 따라서, 손 이미지(1136) 및 필기구 이미지(1138)를 디스플레이하지 않는다.

도 11h에서, 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이하는 동안, 디바이스(1100a)는 임포팅된 나무(1156)를 향한 입력(예컨대, 마우스 클릭(1115h) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1115h)을 검출하는 것에 응답하여, 도 11i에 도시된 바와 같이, 디바이스(1100a)는 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이한다.

도 11i에서, 디바이스(1100a)는 임포팅된 나무(1156)를 편집하기 위한 옵션들을 갖는 편집 메뉴(1158)를 디스플레이한다. 편집 메뉴(1158)는 (예컨대, 임포팅된 태양(1154)의 색상을 변경하지 않고서) 임포팅된 나무(1156)의 색상을 변경하기 위한 옵션(1160a)을 포함한다. 일부 실시예들에서, 옵션(1160a)은 디바이스(1100a)가, 라이브 비디오 피드로부터의 이미지들 내의 다른 요소들(예컨대, 프레젠테이션 애플리케이션 인터페이스(1116) 내에 디스플레이되는 노트북 상의 다른 드로잉들)의 색상을 변경하지 않고서, 임포팅된 나무(1156)의 색상을 변경하도록 허용한다.

도 11i에서, 편집 메뉴(1158)는 (예컨대, 임포팅된 태양(1154)을 이동시키지 않고서) 임포팅된 나무(1156)를 슬라이드(1118)의 상이한 구역으로 이동시키기 위한 옵션(1160b)을 포함한다. 일부 실시예들에서, 옵션(1160b)은 디바이스(1100a)가, 라이브 비디오 피드로부터의 이미지들 내의 다른 요소들(예컨대, 프레젠테이션 애플리케이션 인터페이스(1116) 내에 디스플레이되는 노트북 상의 다른 드로잉들)을 이동시키지 않고서, 임포팅된 나무(1156)를 이동시키도록 허용한다.

도 11i에서, 편집 메뉴(1158)는 (예컨대, 임포팅된 태양(1154)을 크기조정하지 않고서) 임포팅된 나무(1156)를 상이한 크기로 크기조정하기 위한 옵션(1160c)을 포함한다. 일부 실시예들에서, 옵션(1160c)은 디바이스(1100a)가, 라이브 비디오 피드로부터의 이미지들 내의 다른 요소들(예컨대, 프레젠테이션 애플리케이션 인터페이스(1116) 내에 디스플레이되는 노트북 상의 다른 드로잉들)을 크기조정하지 않고서, 임포팅된 나무(1156)를 크기조정하도록 허용한다.

도 11i에서, 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이하는 동안, 디바이스(1100a)는 옵션(1160a)을 향한 입력(예컨대, 마우스 클릭(1115i) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1115i)을 검출하는 것에 응답하여, 도 11j에 도시된 바와 같이, 디바이스(1100a)는 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이한다.

도 11j에서, 디바이스(1100a)는, 파선들에 의해 묘사된 바와 같이, 임포팅된 나무(1156)의 색상을 업데이트한다. 도 11j에 도시된 바와 같이, 디바이스(1100a)는 임포팅된 태양(1154)을 도 11i의 임포팅된 태양(1154)과 동일한 색상으로 계속 디스플레이한다. 프레젠테이션 애플리케이션 인터페이스(1116)를 디스플레이하는 동안, 디바이스(1100a)는 협업 어포던스(1162)를 향한 입력(예컨대, 마우스 클릭(1115j) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1115j)을 검출하는 것에 응답하여, 도 11k에 도시된 바와 같이, 디바이스(1100a)는 협업 인터페이스(1164)를 디스플레이한다.

도 11k에서, 협업 인터페이스(1164)는 디바이스(1100a)가 슬라이드(1118)를 포함하는 프레젠테이션 문서를 공유할 수 있는 애플리케이션들을 디스플레이한다. 묘사된 바와 같이, 협업 인터페이스(1164)는 비디오 통신 애플리케이션 아이콘(1112)을 포함한다. 협업 인터페이스(1164)를 디스플레이하는 동안, 디바이스(1100a)는 비디오 통신 애플리케이션 아이콘(1112)을 향한 입력(예컨대, 마우스 클릭(1115k) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1115k)을 검출하는 것에 응답하여, 도 11l에 도시된 바와 같이, 디바이스(1100a)는 디바이스들(1102b 내지 1102d)과 연관된 사용자들(1104b 내지 1104d)(예컨대, Jane, Tim, 및 Sam)과의 비디오 통신을 개시한다.

도 11l에서, 각각 디바이스들(1100b 내지 1100d)과 연관된 카메라들(1102b 내지 1102d)은 카메라(1102a)와 유사한 시야(예컨대, 도 6a의 시야(1120))를 갖는다. 따라서, 디바이스들(1100b 내지 1100d)과 연관된 카메라들(1102b 내지 1102d)은 각자의 책상 표면(예컨대, 표면들(1106b 내지 1106d)) 및 각자의 사용자(예컨대, 사용자들(1104b 내지 1104d))의 얼굴을 캡처하는 각자의 시야들을 갖는다. 묘사된 바와 같이, 사용자들(1104b 내지 1104d)은 카메라들(1102b 내지 1102d)에 의해 캡처되는 드로잉 표면들 및 필기구들을 갖는다. 사용자(1102b)의 전방의 드로잉 표면은 노트북 상의 멍키 바(monkey bar)들(1172)의 드로잉을 포함한다.

도 11m에서, 디바이스(1100a)는 디바이스들(1100b 내지 1100d)과의 비디오 통신 세션에 있다. 디바이스들(1100a 내지 1100d)은 도 9a 내지 도 9t의 라이브 비디오 통신 인터페이스들(976a 내지 976d) 및 비디오 통신 인터페이스들(938a 내지 938d)과 유사한 비디오 통신 인터페이스들(1174a 내지 1174d)을 각각 디스플레이하지만, 상이한 상태를 갖는다. 일부 실시예들에서, 라이브 비디오 통신 인터페이스들(976a 내지 976d)은 도 9a 내지 도 9t를 참조하여 설명된 기법들을 사용하여 제어된다. 화상 회의 인터페이스들(1174a 내지 1174d)은 슬라이드(1118) 및 슬라이드(1118)의 콘텐츠(예컨대, 임포팅된 나무(1156), 임포팅된 태양(1154), 및 슬라이드 콘텐츠(1120a 내지 1120c))를 포함한다. 일부 실시예들에서, 비디오 통신 인터페이스(1174a)는 프레젠테이션 애플리케이션 인터페이스(1116)를 포함한다(예컨대, 그리고/또는 프레젠테이션 애플리케이션 인터페이스(1116)의 기능들, 어포던스들, 설정들, 및 옵션들을 포함함). 묘사된 바와 같이, 비디오 통신 인터페이스(1174a 내지 1174d)는 도 6a 내지 도 6ay를 참조하여 설명된 바와 같은 옵션 메뉴(608)를 포함한다. 일부 실시예들에서, 비디오 통신 인터페이스들(1174a 내지 1174d)은 도 6a 내지 도 6ay의 인터페이스들을 참조하여 설명된 기능들, 어포던스들, 설정들, 및 옵션들을 포함한다.

도 11m에서, 비디오 통신 인터페이스들(1174a 내지 1174d)은 카메라들(1102a 내지 1102d)에 의해 캡처된 이미지들을 포함하는 표현들을 포함한다. 묘사된 바와 같이, 화상 회의 인터페이스들(1174a 내지 1174d)은 사용자들(1104a 내지 1104d)의 얼굴들의 표현들(1181a 내지 1181d) 및 표면들(1106a 내지 1106d)의 표현들(1166a 내지 1166d)을 포함한다. 묘사된 바와 같이, 표현(1175b)은 도 6l의 멍키 바들(1172)의 물리적 드로잉의 멍키 바 이미지(1178)를 포함한다. 비디오 통신 인터페이스(1174a)는 라이브 피드 추가 어포던스들(1176a 내지 1176d) 및 임포트 어포던스들(1154a 내지 1154d)을 포함한다. 라이브 피드 추가 어포던스들(1176a 내지 1176d)은 디바이스(1100a)가 표현들(1174a 내지 1174d)과 연관된 이미지(예컨대, 라이브 비디오 피드 이미지)를 슬라이드(1118)에 추가하기 위한 옵션을 제공한다. 임포트 어포던스들(1154a 내지 1154d)은 디바이스(1100a)가 표현들(1174a 내지 1174d)과 연관된 이미지를 슬라이드(1118) 내로 임포팅하기 위한 옵션을 제공한다.

도 11m에서, 비디오 통신 인터페이스(1174a)를 디스플레이하는 동안, 디바이스(1100a)는 라이브 피드 추가 어포던스들(1176b)을 향한 입력(예컨대, 마우스 클릭(1115m1) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1115m1)을 검출하는 것에 응답하여, 도 11n에 도시된 바와 같이, 디바이스(1100a)는 비디오 통신 인터페이스(1174a)의 슬라이드(1118) 내에 멍키 바 이미지(1179)를 디스플레이한다. 일부 실시예들에서, 멍키 바 이미지(1179)는 도 11l의 표면(1109b) 상에 사용자(1104b)의 전방에 노트북의 노트북 라인들 없이 디스플레이된다. 일부 실시예들에서, 비디오 통신 인터페이스들(1174b 내지 1174d)은 동일한 방식으로 업데이트된다.

도 11m에서, 비디오 통신 인터페이스(1174a)를 디스플레이하는 동안, 디바이스(1100a)는 임포트 어포던스(1154b)를 향한 입력(예컨대, 마우스 클릭(1115m2) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1115m1)을 검출하는 것에 응답하여, 도 11o에 도시된 바와 같이, 디바이스(1100a)는 비디오 통신 인터페이스(1174a)의 슬라이드(1118) 내에 임포팅된 멍키 바(1180)를 디스플레이한다. 일부 실시예들에서, 임포팅된 멍키 바(1180)는 도 11l의 표면(1109b) 상에 사용자(1104b)의 전방에 노트북의 노트북 라인들 없이 디스플레이된다. 일부 실시예들에서, 비디오 통신 인터페이스들(1174b 내지 1174d)은 동일한 방식으로 업데이트된다.

도 11p에서, 라이브 캡처 모드는, 선택적으로, (예컨대, 이미지 캡처 어포던스(1127)를 통해) 디바이스(1100a) 및/또는 디바이스들(1100b 내지 1100d)에서 인에이블된다. 묘사된 바와 같이, 비디오 통신 인터페이스들(1174a 내지 1174d)은 사용자(1104c)에 의해, 예를 들어 도 6l의 표면(1109c) 상의 한 장의 종이 상에 그려진 태양의 라이브 비디오 피드 이미지(예컨대, 태양 이미지(1182))를 포함한다. 태양 이미지(1182)는 슬라이드(1118) 상에 오버레이된다. 추가적으로, 태양 이미지(1182)는 임포팅된 멍키 바들 및 슬라이드(1118)의 다른 콘텐츠에 인접하게 디스플레이된다. 일부 실시예들에서, 다른 사용자들의 드로잉들 및/또는 책상 표면들(예컨대, 표면(1109a, 1109b, 및/또는 1109d))의 라이브 비디오 피드 이미지들은 (예컨대, 도 9a 내지 도 9t와 관련하여 더 상세히 설명된 바와 같이) 사용자(1104c)의 도면의 라이브 비디오 피드 이미지와 동시에 슬라이드(1118) 상에 디스플레이된다. 묘사된 바와 같이, 사용자(1104c)의 손 및 사용자(1104c)에 의해 사용되는 필기구가 슬라이드(1118) 상에 오버레이되는 것으로 디스플레이된다. 일부 실시예들에서, 사용자(1104c)의 손 및/또는 사용자(1104c)에 의해 사용되는 필기구는 (예컨대, 마킹 기구 설정(1144) 및/또는 손 설정(1142)과 유사한 마킹 기구 설정 또는 손 설정의 상태에 기초하여) 슬라이드(1118) 상에 오버레이되는 것으로 디스플레이되지 않는다. 일부 실시예들에서, 한 장의 종이 상에 그려진 태양의 배경은, 선택적으로, (예컨대, 배경 설정 어포던스들(1140a 내지 1140c)과 유사한 배경 설정 어포던스의 상태에 기초하여) 슬라이드(1118) 상에 오버레이되는 것으로 디스플레이된다.

도 11o에서, 디바이스(1100a)는 슬라이드(1118) 내에 디스플레이되는 콘텐츠를 관리하도록 디바이스들(1100b 내지 1100d)을 인가하기 위한 입력을 검출한다. 묘사된 바와 같이, 디바이스들(1100b 내지 1100d)은 라이브 피드 추가 어포던스들(1176a 내지 1176d) 및 임포트 어포던스들(1154a 내지 1154d)을 디스플레이한다. 라이브 피드 추가 어포던스들(1176a 내지 1176d) 및 임포트 어포던스들(1154a 내지 1154d)은 표현들(1175a 내지 1175d)에 의해 디스플레이되며, 이는 디바이스들(1100b 내지 1100d)이, 선택적으로, 표현들(1175a 내지 1175d) 내의 이미지를 슬라이드(1118)에 추가하고/하거나 표현들(1175a 내지 1175d) 내의 이미지를 슬라이드(1118)로 임포팅함을 나타낸다. 일부 실시예들에서, 라이브 피드 추가 어포던스들(1176a 내지 1176d) 및 임포트 어포던스들(1154a 내지 1154d)은 다른 사용자들의 드로잉들에 인접하게 디스플레이되지 않고서 사용자 자신의 드로잉의 표현에 인접하게 디스플레이된다. 그러한 실시예들에서, 디바이스들(1100b 내지 1100d)은, 선택적으로, 디바이스의 각자의 카메라에 의해 캡처된 이미지를 이동시킨다(예컨대, 그리고 다른 사용자의 디바이스의 카메라에 의해 캡처된 이미지는 그렇지 않음).

도 12는 일부 실시예들에 따른, 디지털 콘텐츠를 관리하는 방법을 예시하는 흐름도이다. 방법(1200)은 디스플레이 생성 컴포넌트(예컨대, 601, 683, 6201, 및/또는 1101)(예컨대, 디스플레이 제어기, 터치 감응형 디스플레이 시스템, 모니터, 및/또는 머리 장착형 디스플레이 시스템)와 통신하는(그리고 선택적으로, 하나 이상의 카메라들(예컨대, 602, 682, 6202, 및/또는 1102a 내지 1102d)(예컨대, 적외선 카메라, 깊이 카메라, 및/또는 가시광 카메라) 및/또는 하나 이상의 입력 디바이스들(예컨대, 터치 감응형 표면, 키보드, 제어기, 및/또는 마우스)과 통신하는) 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 600-2, 600-3, 600-4, 906a, 906b, 906c, 906d, 6100-1, 6100-2, 1100a, 1100b, 1100c, 및/또는 1100d)(예컨대, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 및/또는 머리 장착형 디바이스(예컨대, 머리 장착형 증강 현실 및/또는 확장 현실 디바이스))에서 수행된다. 방법(1200)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서들은 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.

아래에서 설명되는 바와 같이, 방법(1200)은 디지털 콘텐츠를 관리하기 위한 직관적인 방식을 제공한다. 본 방법은 디지털 콘텐츠를 관리하는 것에 대한 사용자의 인지적 부담을 감소시켜, 그에 의해, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 디지털 콘텐츠를 더 빠르고 더 효율적으로 관리할 수 있게 하는 것은 전력을 절약하고 배터리 충전들 사이의 시간을 증가시킨다.

컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해(그리고/또는 가상 환경 내에, 전자 문서 내에, 및/또는 프레젠테이션 애플리케이션 및/또는 라이브 비디오 통신 애플리케이션과 같은 애플리케이션의 사용자 인터페이스 내에), 하나 이상의 카메라들의 시야(예컨대, 620) 내의 물리적 환경(예컨대, 1108 및/또는 1106)의 뷰(예컨대, 이미지 데이터, 비디오 데이터, 및/또는 컴퓨터 시스템의 하나 이상의 카메라들 및/또는 라이브 비디오 통신 세션에서 원격 참가자와 연관된 컴퓨터 시스템과 같은 원격 컴퓨터 시스템의 하나 이상의 카메라들에 의한 라이브 카메라 피드)에 기초하여 물리적 환경(예컨대, 사용자(1104a)의 물리적 환경)(예컨대, 하나 이상의 카메라들의 시야 내에 있는 환경 및/또는 가상 환경이 아닌 환경) 내의 물리적 마크(예컨대, 펜, 마커, 크레용, 연필 마크 및/또는 다른 드로잉 도구 마크)(예컨대, 드로잉 및/또는 필기문)의 표현(예컨대, 1134 및/또는 1152)을 디스플레이한다(1202). 일부 실시예들에서, 물리적 환경의 뷰는 물리적 마크 및 물리적 배경(예컨대, 도 11b의 1106a 및/또는 노트북, 1109c 및 1109d, 및/또는 도 11l의 1172)(예컨대, 물리적 표면 및/또는 평면형 표면)(예컨대, 한 장의 종이, 메모장, 화이트 보드, 및/또는 칠판)을 포함한다(또는 표현함). 일부 실시예들에서, 물리적 마크의 표현을 디스플레이하는 것은 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들(예컨대, 1130, 1126, 및/또는 1124)을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 물리적 마크는 컴퓨터 시스템을 사용하여 생성된 디지털 마크가 아니다. 일부 실시예들에서, 물리적 마크의 표현은 라이브 통신 세션 동안(예컨대, 복수의 컴퓨팅 시스템들 사이에서) 공유되고/되거나 이루어진다. 일부 실시예들에서, 라이브 통신 세션은 라이브 비디오 통신 애플리케이션과는 상이한 애플리케이션(예컨대, 프레젠테이션 애플리케이션 및/또는 워드 프로세서 애플리케이션)의 사용자 인터페이스를 통해 개시된다. 일부 실시예들에서, 라이브 통신 세션은 라이브 통신 애플리케이션의 사용자 인터페이스를 통해 개시된다. 일부 실시예들에서, 컴퓨터 시스템은 물리적 배경의 적어도 일부분(예컨대, 제1 부분 그러나 제2 부분은 아님)을 제거한다. 일부 실시예들에서, 컴퓨터 시스템은 전경 내에 하나 이상의 객체들(예컨대, 펜 및/또는 손)의 표현을 디스플레이한다. 일부 실시예들에서, 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않는 것은, 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들의 표현의 적어도 일부분의 불투명도 값을 (예컨대, 투명도를 증가시킴으로써 및/또는 불투명도를 감소시킴으로써) 수정하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않는 것은, 물리적 배경의 적어도 하위 부분(예컨대, 물리적 마크의 표현을 둘러싸는 일부분 및/또는 물리적 마크의 표현에 인접한 구역 내의 일부분)을 코핑(copping)하는 것을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 물리적 배경의 표현을 디스플레이하기보다는) 물리적 배경과는 상이한 가상 배경을 디스플레이한다. 일부 실시예들에서, 물리적 환경의 각자의 부분이 물리적 마크(예컨대, 물리적 마크의 물리적 배경이 아님)에 대응한다는 결정에 따라, 컴퓨터 시스템은 물리적 마크의 표현으로서 각자의 부분을 디스플레이하고, 물리적 배경의 표현의 디스플레이를 보류한다.

하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하는 동안, 컴퓨터 시스템은 물리적 환경 내의 새로운 물리적 마크(예컨대, 1128 및/또는 1150)를 포함하는(또는 표현하는) 데이터(예컨대, 이미지 데이터, 비디오 데이터, 및/또는 컴퓨터 시스템의 하나 이상의 카메라들 및/또는 라이브 비디오 통신 세션에서 원격 참가자와 연관된 컴퓨터 시스템과 같은 원격 컴퓨터 시스템의 하나 이상의 카메라들에 의해 캡처된 라이브 카메라 피드)를 (예컨대, 거의 실시간으로 및/또는 실시간으로) 획득한다(예컨대, 수신 및/또는 검출함)(예컨대, 1204).

물리적 환경 내의 새로운 물리적 마크를 표현하는 데이터를 획득하는 것에 응답하여, (예컨대, 도 11g에 도시된 바와 같이) 컴퓨터 시스템은 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 새로운 물리적 마크의 표현(예컨대, 1134 및/또는 1152)을 디스플레이한다(1206). 일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 물리적 환경에서) 새로운 물리적 마크가 생성됨(예컨대, 그려지고/그려지거나 필기됨)에 따라 물리적 마크의 표현을 (예컨대, 거의 실시간으로 및/또는 실시간으로) 업데이트한다. 일부 실시예들에서, 새로운 물리적 마크의 표현은 라이브이고/이거나, 라이브 방식으로 연속적으로 디스플레이된다. 일부 실시예들에서, 새로운 물리적 마크의 표현은 새로운 물리적 마크가 라이브 비디오 피드 동안 캡처되고 있는 동안 디스플레이된다. 일부 실시예들에서, 새로운 물리적 마크의 표현은 라이브 통신 세션에서 디스플레이된다. 일부 실시예들에서, 컴퓨터 시스템은 가상 환경의 표현을 디스플레이하는 것을 중지하고, 새로운 물리적 마킹의 표현을 디스플레이한다. 일부 실시예들에서, 물리적 마크(및/또는 물리적 배경의 일부분의 하나 이상의 요소들)는 사용자와 하나 이상의 카메라들 사이에(예컨대, 책상 또는 테이블 상에) (예컨대, 표면 상에) 위치된다. 물리적 마크들의 배경의 일부분 없이 새로운 물리적 마크의 표현을 디스플레이하는 것은, 그가 원치 않는 시각적 콘텐츠를 제거하기 위해 카메라에 의해 캡처된 이미지를 편집하기 위한 입력들의 수를 감소시키면서 카메라가 켜져 있다는 것의 시각적 피드백을 제공하기 때문에 컴퓨터 시스템을 개선하며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 물리적 배경의 일부분은 물리적 마크에 인접하고/하거나 그를 적어도 부분적으로(예컨대, 완전히 또는 부분적으로만) 둘러싼다(예컨대, 도 11d 내지 도 11g에 도시된 바와 같이, 표면(1106a) 및/또는 노트북은, 나무(1128) 및 태양(1150)에 인접하고/하거나 그를 적어도 부분적으로 둘러싸는 일부분들을 포함함). 일부 실시예들에서, 물리적 배경의 일부분은 물리적 마크가 행해지는 물리적 표면(예컨대, 도 11d 내지 도 11g의 노트북)(예컨대, 종이, 메모장, 및/또는 화이트보드)의 일부분을 포함한다. 일부 실시예들에서, 물리적 마크는 물리적 배경의 일부분과 교차하고/하거나 중첩된다(예컨대, 나무(1128) 및 태양(1150)이 도 11d 내지 도 11g의 노트북 상에 그려짐). 일부 실시예들에서, 물리적 마크는 물리적 배경의 일부분의 임계 거리 내에 있다(예컨대, 나무(1128) 및 태양(1150)이 도 11d 내지 도 11g의 노트북의 페이지 내에 그려짐). 일부 실시예들에서, 물리적 마크는 물리적 배경의 제1 부분과 물리적 배경의 제2 부분 사이에 있다. 물리적 마크들에 인접하고/하거나 그를 적어도 부분적으로 둘러싸는 배경의 일부분을 디스플레이하지 않는 것은, 그가 물리적 마크에 인접한 원치 않는 시각적 콘텐츠를 제거하기 위해 이미지들을 편집하기 위한 입력들의 수를 감소시키기 때문에 컴퓨터 시스템을 개선하며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 물리적 배경의 일부분은 물리적 마크에 의해 적어도 부분적으로 둘러싸인다(예컨대, 도 11d 내지 도 11g에 도시된 바와 같이, 노트북은 노트북 라인(1130)과 같은, 나무(1128) 및 태양(1150) 내측에 있는 일부분들을 포함함)(예컨대, 물리적 마크의 제1 부분과 물리적 마크의 제2 부분 사이에 있음)(예컨대, 물리적 마크가 행해지는 물리적 표면의 일부분은 하나 이상의 물리적 마크들 사이에 있음). 물리적 마크에 의해 적어도 부분적으로 둘러싸이는 배경의 일부분을 제거하는 것은, 그가 물리적 마크 사이에(예컨대, 그의 내측에) 위치되는 원치 않는 시각적 콘텐츠를 제거하기 위해 이미지들을 편집하는 데 필요한 입력들의 수를 감소시키기 때문에 컴퓨터 시스템을 개선하며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 하나 이상의 카메라들의 시야 내에 있는 사용자의 손의 표현(예컨대, 1136)을 (예컨대, 물리적 마크의 표현 및/또는 새로운 물리적 마크의 표현과 동시에) 디스플레이하며, 여기에서 사용자의 손은 (예컨대, 도 11c, 도 11g, 및/또는 도 11p에 도시된 바와 같이) 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들의 전경에 있다. 일부 실시예들에서, 컴퓨터 시스템은 사용자의 손에 인접한(예컨대, 그 옆에 있는, 그리고/또는 그로부터 미리정의된 거리 내에 있는) 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하는 것을 보류한다(예컨대, 물리적 배경의 일부분의 하나 이상의 요소들은 그들이 사용자의 손으로부터 미리정의된 거리 내에 있기 때문에 디스플레이되지 않음). 일부 실시예들에서, 사용자의 손의 미리정의된 거리 내에 있지 않은 물리적 배경의 요소들이 디스플레이된다(예컨대, 컴퓨터 시스템은 사용자의 손으로부터 미리정의된 거리 내에 있는 물리적 배경의 요소들을 디스플레이하는 것만을 보류함). 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 표현하는 이미지 데이터를 수정(예컨대, 능동적으로 수정, 편집, 크롭핑, 및/또는 변경)하여서, 사용자의 손을 표현하는 이미지 데이터가 (예컨대, 물리적 배경의 일부분의 하나 이상의 요소들의 디스플레이를 배제 및/또는 보류하기 위해) 물리적 배경의 일부분의 하나 이상의 요소들 없이 디스플레이되게 한다. 일부 실시예들에서, 컴퓨터 시스템은 이미지 인식 소프트웨어 및/또는 깊이 맵에 기초하여 사용자의 손을 물리적 배경의 일부분의 하나 이상의 요소들과 구별한다. 배경을 디스플레이하지 않고서(그리고 물리적 마크를 디스플레이하는 동안) 사용자의 손의 이미지들을 디스플레이하는 것은, 사용자가 그 또는 그녀가 그림을 그림에 따라 디스플레이를 관찰할 수 있도록(예컨대, 그리고 드로잉 표면은 그렇지 않음) 그가 물리적 마크에 대해 사용자의 손이 있는 곳의 시각적 피드백을 제공하기 때문에 사용자 인터페이스를 개선하며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 도 11c, 도 11e, 도 11g, 및/또는 도 11p에 도시된 바와 같이) 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 마킹 기구의 표현(예컨대, 1138)(예컨대, 펜, 마커, 크레용, 연필 마크, 및/또는 다른 드로잉 도구)을 (예컨대, 물리적 마크의 표현, 새로운 물리적 마크의 표현, 및/또는 사용자의 손의 표현과 동시에) 디스플레이한다. 일부 실시예들에서, 마킹 기구는 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들의 전경에 있다. 일부 실시예들에서, 마킹 기구의 미리정의된 거리 내에 있지 않은 물리적 배경의 요소들이 디스플레이된다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 표현하는 이미지 데이터를 수정(예컨대, 능동적으로 수정, 편집, 크롭핑, 및/또는 변경)하여서, 마킹 기구를 표현하는 이미지 데이터가 (예컨대, 물리적 배경의 일부분의 하나 이상의 요소들을 제외하기 위해) 물리적 배경의 일부분의 하나 이상의 요소들 없이 디스플레이되게 한다. 배경의 하나 이상의 요소들을 디스플레이하지 않고서(그리고 물리적 마크를 디스플레이하는 동안) 마킹 기구의 이미지들을 디스플레이하는 것은, 사용자가 그 또는 그녀가 그림을 그림에 따라 디스플레이를 관찰할 수 있도록(예컨대, 그리고 드로잉 표면은 그렇지 않음) 그가 물리적 마크에 대해 마킹 기구가 있는 곳의 시각적 피드백을 제공하기 때문에 사용자 인터페이스를 개선하며, 이는 사용자의 주의가 산만해지는 것을 방지하고, 마킹 기구의 위치의 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 물리적 마크의 표현을 디스플레이하기 전에(예컨대, 도 11e 및/또는 도 11f), 컴퓨터 시스템은 물리적 배경의 일부분의 하나 이상의 요소들의 표현(예컨대, 도 11d 및/또는 도 11e의 1132)에 비해 제1 강조도(예컨대, 불투명도, 투명도, 반투명도, 어두움, 및/또는 밝기)로 물리적 마크의 표현(예컨대, 도 11d 및/또는 도 11e의 1134)을 동시에 디스플레이한다. 일부 실시예들에서, 물리적 마크의 표현 및 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 동시에 디스플레이하는 동안, 컴퓨터 시스템은 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 수정하라는(예컨대, 그를 제거하라는, 그를 디스플레이하지 말라는, 그의 디스플레이를 중지하라는, 그를 디밍하라는, 그를 덜 가시적이게 하라는, 그의 가시성을 감소시키라는, 그를 그레이 아웃(grey out)하라는, 그의 투명도를 증가시키라는, 그의 반투명도를 증가시키라는, 및/또는 그의 불투명도를 감소시키라는)(또는 그의 수정을 가능하게 하라는) 요청에 대응하는 사용자 입력(예컨대, 1115d, 1115e)(예컨대, 하나 이상의 입력들의 세트 또는 하나 이상의 입력들의 시퀀스)을 검출한다. 일부 실시예들에서, 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 수정하라는 요청에 대응하는 사용자 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 물리적 배경의 일부분의 하나 이상의 요소들의 표현(예컨대, 도 11f 및/또는 도 11g의 1132)에 비해 제1 강조도보다 큰 제2 강조도로 물리적 마크의 표현을 디스플레이한다(또는 추가 사용자 입력에 응답하여, 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 제1 강조도보다 작은 제2 강조도로 디스플레이하는 능력을 가능하게 함). 일부 실시예들에서, 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 수정하라는 요청에 대응하는 사용자 입력은 불투명도 값을 100%로 설정하라는 요청을 포함하며, 이는 컴퓨터 시스템이 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 디스플레이하는 것을 중지하는 결과를 가져온다. 일부 실시예들에서, 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 수정하라는 요청에 대응하는 사용자 입력은 불투명도 값을 100% 미만(예컨대, 25%, 50%, 또는 75%)의 불투명도 값으로 설정하라는 요청을 포함하며, 이는 컴퓨터 시스템이 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 적어도 부분적으로 디스플레이하는 결과를 가져온다. 입력을 검출하는 것에 응답하여, 물리적 배경의 일부분의 하나 이상의 요소들의 표현에 비해 제1 강조도보다 큰 제2 강조도로 물리적 마크의 표현을 디스플레이하는 것은, 사용자가 배경을 변경 및/또는 제거하도록 허용하고, 사용자가 배경을 변경 및/또는 제거할지 여부를 결정하도록 허용하는 추가 제어 옵션들을 제공하며, 입력이 검출되었다는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 수정하라는 요청에 대응하는 사용자 입력을 검출하는 것은 물리적 배경의 일부분의 하나 이상의 요소들의 표현에 대한 강조 옵션들(예컨대, 도 11d 내지 도 11f에 도시된 바와 같은 1140b 및/또는 1140c)(예컨대, 불투명도 값들, 투명도 값들, 반투명도 값들, 어두움 값들, 및/또는 밝기 값들)의 세트(예컨대, 연속 세트 또는 이산 세트)를 포함하는 제어부(예컨대, 1140b 및/또는 1140c)(예컨대, 선택가능 제어부, 슬라이더, 및/또는 옵션 피커(picker))를 향한 사용자 입력(예컨대, 1115d, 1115e)을 검출하는 것을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 제어부의 변화의 크기를 검출한다. 일부 실시예들에서, 제어부의 변화의 크기는 강조도의 변화에 대응한다. 일부 실시예들에서, 제어부는 물리적 마크의 표현에 대한 강조도를 수정하지 않는다. 강조 옵션들의 세트를 포함하는 제어부를 향한 입력을 검출하는 것에 응답하여, 물리적 배경의 일부분의 하나 이상의 요소들의 표현에 비해 제1 강조도보다 큰 제2 강조도로 물리적 마크의 표현을 디스플레이하는 것은, 사용자에게 배경의 강조도를 점진적으로 변경하기 위한 옵션을 허용하며, 이는 그가 카메라가 켜져 있다는 시각적 피드백을 제공하기 때문에 사용자 인터페이스를 개선하고, 사용자가 배경을 변경(예컨대, 적어도 부분적으로 제거)하도록 허용하는 추가 제어 옵션들을 제공하며, 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 수정하라는 요청에 대응하는 사용자 입력은 선택가능 사용자 인터페이스 객체(예컨대, 1140a)(예컨대, 어포던스 및/또는 버튼)를 향한 사용자 입력을 검출하는 것을 포함한다. 일부 실시예들에서, 어포던스는, 인에이블될 때, 강조도를 100%로 설정하고, 디스에이블될 때, 강조도를 0.0%로 설정하는 토글이다. 일부 실시예들에서, 컴퓨터 시스템은 강조도를 점진적으로 변경하라는 요청(예컨대, 업 및/또는 다운 버튼과 같은 버튼 상에서의 다수의 입력들)을 검출한다. 일부 실시예들에서, 어포던스는 물리적 마크의 표현에 대한 강조도를 수정하지 않는다. 선택가능 사용자 인터페이스 객체를 향한 입력을 검출하는 것에 응답하여, 물리적 배경의 일부분의 하나 이상의 요소들의 표현에 비해 제1 강조도보다 큰 제2 강조도로 물리적 마크의 표현을 디스플레이하는 것은, 그가 사용자가 배경의 강조를 변경(예컨대, 배경을 완전히 그리고/또는 부분적으로 제거)하도록 허용하는 추가 제어 옵션들을 제공하기 때문에 사용자 인터페이스를 개선하고, 카메라가 켜져 있다는 시각적 피드백을 제공하며, 입력이 검출되었다는 시각적 피드백을 제공한다.

일부 실시예들에서, 물리적 환경 내의 물리적 마크는 제1 물리적 마크(예컨대, 1128 및/또는 1150)이고, 제1 물리적 마크는 컴퓨터 시스템의 하나 이상의 카메라들(예컨대, 1102a)의 시야 내에 있다. 일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 외부 컴퓨터 시스템(예컨대, 1100c, 1100d)의 하나 이상의 카메라들(예컨대, 1102b, 1102c)의 시야 내의 물리적 환경의 뷰에 기초하여 물리적 환경 내의 제2 물리적 마크(예컨대, 도 11l에 도시된 바와 같은 1172 상의 물리적 마크들)의 표현(예컨대, 1175b 및/또는 1179)을 디스플레이하며, 여기에서 제2 물리적 마크의 표현은 (예컨대, 도 11m, 도 11n, 및/또는 도 11p에 도시된 바와 같이) 제1 물리적 마크의 표현과 동시에 디스플레이된다(예컨대, 상이한 사용자들에 의해 행해진 마크들에 대한 표현들이 라이브 비디오 통신 사용자 인터페이스 내에 동시에 디스플레이됨). 일부 실시예들에서, 컴퓨터 시스템은 외부 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 제2 물리적 마크의 표현을 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 제2 사용자와 연관된 외부 컴퓨터 시스템과의 (예컨대, 복수의 컴퓨팅 시스템들 사이의 및/또는 라이브 통신 세션에 참가하고 있는 복수의 사용자들 사이의) 라이브 비디오 통신 세션에 있다. 상이한 컴퓨터 시스템과 연관된 하나 이상의 카메라들로부터의 뷰에 기초하여 물리적 마크들을 동시에 디스플레이하는 것은, 사용자들이 서로의 물리적 마크들을 관찰할 수 있기 때문에 비디오 통신 세션 경험을 개선하며, 이는 사용자들이 라이브 비디오 통신 세션 동안 협업 및/또는 통신하는 방법을 개선한다.

일부 실시예들에서, 제1 물리적 마크의 표현은 제1 물리적 마크의 제1 표현(예컨대, 1175a 내지 1175c)이고 사용자 인터페이스(예컨대, 1174a 내지 1174d)의 제1 부분(예컨대, 1175a 내지 1175d)에 디스플레이된다. 일부 실시예들에서, 사용자 인터페이스의 제1 부분에 제1 물리적 마크의 제1 표현을 디스플레이하는 동안, 컴퓨터 시스템은 제1 선택가능 사용자 인터페이스 객체(예컨대, 제1 물리적 마크의 표현에 인접하고/하거나, 그 옆에 있고/있거나, 그로부터 미리정의된 거리 내에 있음)를 향한 입력(예컨대, 1154a 내지 1154d, 1176a 내지 1176d를 향한 입력)을 포함하는 제1 세트의 하나 이상의 사용자 입력들(예컨대, 1115m1 및/또는 1115m2)을 검출한다. 일부 실시예들에서, 사용자 인터페이스의 제2 부분은 사용자 인터페이스의 협업 구역 및/또는 사용자 인터페이스의 공유 구역이다. 일부 실시예들에서, 제1 세트의 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 컴퓨터 시스템은 (예컨대, 사용자 인터페이스의 제1 부분에 제1 물리적 마크의 표현과 함께 디스플레이하면서 그리고/또는 사용자 인터페이스의 제1 부분에 제1 물리적 마크의 표현을 디스플레이하는 것을 중지하면서) 사용자 인터페이스의 제1 부분과는 상이한 사용자 인터페이스의 제2 부분(예컨대, 1118)에 제1 물리적 마크의 제2 표현(예컨대, 1154, 1156, 1179, 및/또는 1182)을 디스플레이한다. 일부 실시예들에서, 사용자 인터페이스의 제2 부분에 디스플레이되는 제1 물리적 마크의 제2 표현은 컴퓨터 시스템의 하나 이상의 카메라들에 의해 캡처된 이미지 데이터(예컨대, 정지 이미지, 비디오 및/또는 라이브 카메라 피드)에 기초한다. 일부 실시예들에서, 컴퓨터 시스템은 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 제2 부분에 제1 물리적 마크의 제2 표현을 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은, 제2 부분에, 제2 물리적 마크의 표현을 제1 물리적 마크의 제2 표현과 동시에 디스플레이한다. 입력을 검출하는 것에 응답하여 상이한 사용자 인터페이스의 제2 부분에 제1 물리적 마크의 제2 표현을 디스플레이하는 것은, 사용자가 사용자의 마크 및/또는 다른 사용자의 물리적 마크들을 공유 협업 공간으로 이동시킬 수 있기 때문에 비디오 통신 세션 경험을 개선하며, 이는 사용자들이 라이브 비디오 통신 세션 동안 협업 및/또는 통신하는 방법을 개선하고, 입력이 검출되었다는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제2 물리적 마크의 표현은 제2 물리적 마크의 제1 표현(예컨대, 1175a 내지 1175d)이고 사용자 인터페이스(예컨대, 1174a 내지 1174d)의 제3 부분(예컨대, 1175a 내지 1175d)(예컨대, 제1 부분 및/또는 제2 부분과는 상이함)에 디스플레이된다. 일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 제3 부분에 제1 물리적 마크의 제2 표현을 디스플레이하는 동안) 사용자 인터페이스의 제3 부분과는 상이한 사용자 인터페이스의 제4 부분(예컨대, 1118)에 제2 물리적 마크의 제2 표현(예컨대, 1154, 1156, 1179, 또는 1182)을 디스플레이하라는 요청에 대응하는 제2 세트의 하나 이상의 사용자 입력들(예컨대, 1115m1 및/또는 1115m2)을 검출한다. 일부 실시예들에서, 제2 세트의 하나 이상의 사용자 입력들은 제2 어포던스를 향한 사용자 입력을 포함한다. 일부 실시예들에서, 사용자 인터페이스의 제3 부분은 사용자 인터페이스의 협업 구역 및/또는 사용자 인터페이스의 공유 구역이다. 일부 실시예들에서, 사용자 인터페이스의 제4 부분에 제2 물리적 마크의 제2 표현을 디스플레이하라는 요청에 대응하는 한 세트의 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 컴퓨터 시스템은 (예컨대, 사용자 인터페이스의 제3 부분에 제2 물리적 마크의 제1 표현과 함께 디스플레이하면서 그리고/또는 사용자 인터페이스의 제3 부분에 제2 물리적 마크의 제1 표현을 디스플레이하는 것을 중지하면서) 사용자 인터페이스의 제4 부분에 (예컨대, 제1 물리적 마크와 연관된 사용자와는 상이한 사용자와 연관된) 제2 물리적 마크의 제2 표현을 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 외부 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 제4 부분에 제2 물리적 마크의 제2 표현을 디스플레이한다. 라이브 비디오 통신 세션 동안 사용자 입력을 검출하는 것에 응답하여 사용자 인터페이스의 제4 부분에 제2 물리적 마크의 제2 표현을 디스플레이하는 것은, 사용자가 다른 참가자들의 물리적 마크들을 공유 협업 공간으로 이동시킬 수 있기 때문에 비디오 통신 세션 경험을 개선하며, 이는 사용자들이 라이브 비디오 통신 세션 동안 협업 및/또는 통신하는 방법을 개선하고, 입력이 검출되었다는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 컴퓨터 시스템은 제3 물리적 마크에 대응하는 디지털 마크(예컨대, 1151g 및/또는 1151m1)(예컨대, 물리적 마크 및/또는 기계 생성 마크의 디지털 표현)를 디스플레이하라는 요청을 검출한다. 일부 실시예들에서, 디지털 마크를 디스플레이하라는 요청을 검출하는 것에 응답하여, 컴퓨터 시스템은 제3 물리적 마크에 대응하는 디지털 마크(예컨대, 1154, 1156, 및/또는 1180)를 디스플레이한다. 일부 실시예들에서, 디지털 마크를 디스플레이하라는 요청을 검출하는 것에 응답하여, 컴퓨터 시스템은 디지털 마크를 디스플레이하고, 제3 물리적 마크를 디스플레이하는 것을 중지한다. 일부 실시예들에서, 디지털 마크를 디스플레이하는 것은 제3 물리적 마크의 이미지를 포함하는 데이터를 획득하는 것, 및 제3 물리적 마크에 기초하여 디지털 마크를 생성하는 것을 포함한다. 일부 실시예들에서, 디지털 마크는 (예컨대, 마치 물리적 마크가 물리적 표면 상에 행해지는 것과는 대조적으로, 예를 들어 마우스 또는 스타일리스트를 사용하여, 컴퓨터 상에 직접 입력된 것처럼) 물리적 마크가 기계 생성되는 것에 기초하여 제3 물리적 마크의 표현과는 상이한 외관을 갖는다. 일부 실시예들에서, 제3 물리적 마크의 표현은 물리적 마크의 표현과 동일하거나 상이하다. 일부 실시예들에서, 제3 물리적 마크는 디지털 마크의 표현을 디스플레이하라는 요청을 검출하는 컴퓨터 시스템과는 상이한 컴퓨터 시스템의 하나 이상의 카메라들에 의해 캡처된다. 제3 물리적 마크에 대응하는 디지털 마크를 디스플레이하는 것은, 물리적 마크들이 사용자 인터페이스 내에 디스플레이되는 방법 및/또는 사용자들이 라이브 비디오 통신 세션 동안 협업하는 방법에 대한 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 디지털 마크를 디스플레이하는 동안, 컴퓨터 시스템은 제3 물리적 마크에 대응하는 디지털 마크(예컨대, 그의 시각적 특성 및/또는 그의 시각적 외관)를 수정(예컨대, 편집 및/또는 변경)하라는 요청(예컨대, 1115h 및/또는 1115i)을 검출한다. 일부 실시예들에서, 제4 물리적 마크에 대응하는 디지털 마크를 수정하라는 요청을 검출하는 것에 응답하여, 컴퓨터 시스템은 제3 물리적 마크에 대응하는 디지털 마크의 표현과는 상이한 새로운 디지털 마크(예컨대, 도 11j의 1156과 비교하여 도 11i의 1156)를 디스플레이한다(예컨대, 디지털 마크의 일부분이 지워지고/지워지거나 새로운 디지털 마크는 디지털 마크와는 상이한 외관을 가짐). 일부 실시예들에서, 컴퓨터 시스템은 제3 물리적 마크의 표현이 수정될 수 있는 방식과는 상이한 방식으로 디지털 마크를 (예컨대, 전체적으로 또는 부분적으로) 수정(예컨대, 편집 및/또는 변경)할 수 있다(예컨대, 디지털 마크는 물리적 마크의 표현이 수정될 수 없는 방식들로 수정될 수 있음). (원래의) 디지털 마크의 표현과는 상이한 새로운 디지털 마크를 디스플레이하는 것은, 사용자가 물리적 마크들의 디지털 표현들을 편집하도록 허용하며, 이는 물리적 마크들의 표현들이 사용자 인터페이스 내에 디스플레이되는 방법에 대한 추가 제어 옵션들을 제공하고, 사용자들이 라이브 비디오 통신 세션 동안 협업 및/또는 통신하는 방법을 개선한다.

일부 실시예들에서, 물리적 마크의 표현을 디스플레이하는 것은 물리적 마크(예컨대, 셰이딩된 영역(1109))(예컨대, 물리적 마크를 포함하는 물리적 환경에서 사용자와 제1 카메라 사이에 위치된, 예를 들어 책상 및/또는 테이블과 같은 표면) 및 사용자의 얼굴(예컨대, 셰이딩된 영역(1108))을 포함하는 시야(예컨대, 1120)를 갖는 제1 카메라(예컨대, 광각 카메라 및/또는 단일 카메라)에 의해 캡처된 이미지 데이터에 기초한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 카메라에 의해 캡처된 이미지 데이터에 기초하여 물리적 환경 내의 사용자(예컨대, 컴퓨터 시스템의 사용자 및/또는 라이브 비디오 통신 세션의 상이한 참가자와 같은, 원격 컴퓨터 시스템과 연관된 원격 사용자)의 얼굴의 표현을 디스플레이한다(예컨대, 물리적 마크의 표현 및 사용자의 표현은 동일한 카메라(예컨대, 단일 카메라)에 의해 캡처된 이미지 데이터에 기초함). 제1 카메라에 의해 캡처된 이미지 데이터에 기초하여 물리적 마크의 표현을 디스플레이하는 것은 컴퓨터 시스템을 개선하는데, 그 이유는, 사용자가 동일한 카메라를 사용하여 물리적 환경의 상이한 각도들을 관찰할 수 있고, 상이한 각도들을 관찰하는 것이 사용자로부터의 추가 액션(예컨대, 카메라를 이동시키는 것)을 요구하지 않으며, 그렇게 하는 것이 동작을 수행하는 데 필요한 디바이스들의 수를 감소시키고, 컴퓨터 시스템이 상이한 뷰들을 캡처하기 위해 2개의 별개의 카메라들을 가질 필요가 없으며, 컴퓨터 시스템이 각도들을 변경하기 위한 이동 부품들을 갖는 카메라를 필요로 하지 않기 때문이며, 이는 디바이스에 대한 비용, 복잡성, 및 마손을 감소시킨다.

일부 실시예들에서, 컴퓨터 시스템은 제1 카메라에 의해 캡처된 이미지 데이터에 기초하여 사용자(예컨대, 1104a 내지 110d)(예컨대, 컴퓨터 시스템의 사용자 및/또는 라이브 비디오 통신 세션의 상이한 참가자와 같은, 원격 컴퓨터 시스템과 연관된 원격 사용자)의 얼굴의 표현을 디스플레이한다. 일부 실시예들에서, 제1 카메라의 시야는 사용자의 얼굴 및 사용자의 물리적 배경(예컨대, 도 11a 및/또는 도 11l의 사용자(1104a, 1104b, 1104c, 또는 1104d)의 얼굴의 배경 내의 물리적 구역)(예컨대, 사용자의 얼굴 뒤)을 포함한다(또는 표현함). 일부 실시예들에서, 컴퓨터 시스템이 사용자의 얼굴의 표현을 디스플레이하는 것은 사용자의 물리적 배경의 표현과 함께 사용자의 얼굴의 표현을 디스플레이하는 것을 포함하며, 여기에서 사용자의 얼굴은 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들의 전경에 있다(예컨대, 도 11a 및/또는 도 11l의 사용자(1104a, 1104b, 1104c, 또는 1104d)의 얼굴은 도 11a 및/또는 도 11l의 사용자(1104a 내지 1104d)의 얼굴의 배경 내의 물리적 구역보다 카메라(1102a 내지 1102d)에 더 가까움). 일부 실시예들에서, 사용자의 얼굴의 미리정의된 거리 내에 있지 않은 물리적 배경의 요소들이 디스플레이된다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들의 시야 내에 있는 물리적 배경의 일부분의 하나 이상의 요소들을 표현하는 이미지 데이터를 수정(예컨대, 능동적으로 수정, 편집, 크롭핑, 및/또는 변경)하여서, 사용자의 얼굴의 표현을 표현하는 이미지 데이터가 (예컨대, 물리적 배경의 일부분의 하나 이상의 요소들을 제외하기 위해) 물리적 배경의 일부분의 하나 이상의 요소들 없이 디스플레이되게 한다. 사용자의 물리적 배경의 표현과 함께 사용자(컴퓨터 시스템의 사용자 또는 상이한 사용자)의 얼굴의 표현을 디스플레이하는 것은, 물리적 마크(및/또는 새로운 물리적 마크)의 물리적 배경이 제거되는 동안 사용자의 물리적 배경으로부터의 콘텐츠가 디스플레이될 수 있기 때문에 비디오 통신 세션 경험을 향상시키고, 사용자들이 라이브 비디오 통신 세션 동안 협업 및/또는 통신하는 방법을 개선한다.

방법(1200)(예컨대, 도 12)과 관련하여 위에서 설명된 프로세스들의 상세사항들은, 또한, 아래에서 설명되는/위에서 설명된 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법들(700, 800, 1000, 1400, 1500, 1700, 1900)은, 선택적으로, 물리적 마크들이 디지털 문서 내에 디스플레이되고/되거나 그에 추가되는 방법을 관리하고 사용자들이 물리적 마크들을 공유함으로써 협업하는 방법을 개선하는 것과 같은, 방법(1200)을 참조하여 위에서 설명된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 간결함을 위해, 이 상세사항들은 본 명세서에서 반복되지 않는다.

도 13a 내지 도 13k는 일부 실시예들에 따른, 디지털 콘텐츠를 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이들 도면들의 사용자 인터페이스들은, 도 14의 프로세스들을 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다.

도 13a 내지 도 13k의 디바이스(1100a)는 도 11a 내지 도 11p의 디바이스(1100a)와 동일하다. 따라서, 디바이스(1100a) 및 그의 기능들의 상세사항들은 간결함을 위해 아래에서 반복되지 않을 수 있다. 도 11a 내지 도 11p에서 설명되는 바와 같이, 디바이스(1100a)의 카메라(1102a)는 사용자(1104a)의 얼굴 및 표면(1106a) 둘 모두의 이미지를 캡처한다. 사용자(1104a) 및 표면(1106a)의 측면도의 개략적인 표현에 도시된 바와 같이, 카메라(1102a)는, 셰이딩된 영역(1108)에 의해 묘사된 사용자(1104a)의 뷰 및 셰이딩된 영역(1109)에 의해 묘사된 책상 표면(1106a)의 뷰를 포함하는 시야(1120)를 포함한다. 추가적으로 또는 대안적으로, 도 13a 내지 도 13k의 실시예들은 디바이스(1100a) 및 카메라(1102a)에 적용된다. 일부 실시예들에서, 도 13a 내지 도 13k의 기법들은, 선택적으로, 카메라(1102a) 이외의 카메라에 의해 캡처된 이미지 데이터로부터 핸드라이팅을 검출하도록 적용된다. 예를 들어, 일부 실시예들에서, 도 13a 내지 도 13k의 기법들은, 선택적으로, 디바이스(1100a)와 통신하는 외부 디바이스(예컨대, 비디오 통신 세션 동안 디바이스(1100a)와 통신하는 디바이스)와 연관된 카메라에 의해 캡처된 이미지 데이터로부터 핸드라이팅을 검출하는 데 사용된다.

도 13a에서, 디바이스(1100a)는 노트 애플리케이션과 연관된 노트 애플리케이션 아이콘(1302)을 디스플레이한다. 디바이스(1100a)는 노트 애플리케이션 아이콘(1302)을 향한 입력(예컨대, 마우스 클릭(1315a) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1315a)을 검출하는 것에 응답하여, 도 13b에 도시된 바와 같이, 디바이스(1100a)는 노트 애플리케이션 인터페이스(1304)를 디스플레이한다. 일부 실시예들에서, 노트 애플리케이션은, 선택적으로, 상이한 애플리케이션(예컨대, 워드 프로세서 애플리케이션)이다.

도 13b에서, 노트 애플리케이션 인터페이스(1304)는 문서(1306)를 포함한다. 본 명세서에서 설명된 바와 같이, 디바이스(1100a)는 카메라(1102a)에 의해 캡처된 이미지 데이터로부터 핸드라이팅을 검출하는 것에 응답하여 문서(1306)에 텍스트를 추가한다.

일부 실시예들에서, 디바이스(1100a)는 디바이스(1100a)에서의(예컨대, 디바이스(1100a)의 버튼, 키보드, 또는 터치스크린에서의) 입력에 응답하여 문서(1306)에 디지털 텍스트를 추가한다. 일부 실시예들에서, 텍스트 이외의 요소들이 선택적으로 문서(1306)에 추가된다. 예를 들어, 일부 실시예들에서, 디바이스(1100a)는 도 13a 내지 도 13p의 이미지들 및/또는 슬라이드 콘텐츠와 유사한 이미지들 및/또는 콘텐츠를 문서(1306)에 추가한다.

도 13b는, 또한, 표면(1106a) 및 사용자(1104a)의 평면 뷰를 포함하는 평면 뷰의 개략적인 표현을 도시한다. 묘사된 바와 같이, 책상 표면(1106a)은 사용자(1104)가 필기구(1126)를 사용하여 그리거나 필기할 수 있는 노트북(1308)을 포함한다. 묘사된 바와 같이, 노트북(1308)은 노트북(1308) 상에 핸드라이팅(1310)을 포함한다.

도 13b에서, 노트 애플리케이션 인터페이스(1304)는 어포던스(1311)를 포함한다. 어포던스(1311)의 선택은 디바이스(1100a)로 하여금 사용자가 핸드라이팅(1310)으로부터의 이미지 데이터에 기초하여 디지털 텍스트를 추가하는 것을 제어하도록 허용하는 그래픽 요소들을 디스플레이하게 한다. 노트 애플리케이션 인터페이스(1304)를 디스플레이하는 동안, 디바이스(1100a)는 어포던스(1311)를 향한 입력(예컨대, 마우스 클릭(1315b) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1315b)을 검출하는 것에 응답하여, 도 13c에 도시된 바와 같이, 디바이스(1100a)는 노트 애플리케이션 인터페이스(1304)를 디스플레이한다.

도 13c에서, 디바이스(1100a)는 도 13a의 시야(1120)의 셰이딩된 영역(1109)에 대응하는 핸드라이팅 표현(1316)과 함께 노트 애플리케이션 인터페이스(1304)를 디스플레이한다. 핸드라이팅 표현(1316)은 카메라(1102a)에 의해 캡처된 핸드라이팅(1310)의 이미지를 포함한다. 일부 실시예들에서, 디바이스(1100a)는 카메라(1102a) 이외의 카메라(예컨대, 예를 들어, 비디오 통신 세션 동안 디바이스(1100a)와 통신하는 디바이스의 카메라)에 의해 캡처된 이미지와 함께 노트 애플리케이션 인터페이스(1304)를 디스플레이한다.

도 13c에서, 노트 애플리케이션 인터페이스(1304)는 라이브 검출 어포던스(1318)를 포함한다. 일부 실시예들에서, 라이브 검출 어포던스(1318)가 인에이블될 때, 디바이스(1100a)는 핸드라이팅 표현(1316)에 핸드라이팅이 존재하는지 여부를 능동적으로 검출하고, 그렇다면, 문서(1306)에 텍스트를 추가한다. 묘사된 바와 같이, 라이브 검출 어포던스(1318)는 디스에이블되어 있다. 따라서, 디바이스(1100a)는, 핸드라이팅(1310)이 카메라(1102a)의 뷰 내에 있고/있거나 핸드라이팅 표현(1316) 내에 디스플레이될 때, 문서(1306)에 텍스트를 추가하지 않는다. 일부 실시예들에서, 노트 애플리케이션 인터페이스(1304)는 라이브 검출 어포던스(1318)를 포함하고, 핸드라이팅 표현(1316)을 포함하지 않는다.

도 13c에서, 노트 애플리케이션 인터페이스(1304)를 디스플레이하는 동안, 디바이스(1100a)는 라이브 검출 어포던스(1318)를 향한 입력(예컨대, 마우스 클릭(1315c) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1315c)을 검출하는 것에 응답하여, 도 13d에 도시된 바와 같이, 디바이스(1100a)는 노트 애플리케이션 인터페이스(1304)를 디스플레이한다.

도 13d에서, 라이브 검출 어포던스(1318)는 인에이블되어 있다. 묘사된 바와 같이, 디바이스(1100a)는, 문서(1306)에, 핸드라이팅(1310)에 대응하는 디지털 텍스트(1320)를 추가한다. 디바이스(1100a)는, 또한, 추가된 텍스트 표시자(1322)를 핸드라이팅 표현(1316)에 디스플레이한다. 일부 실시예들에서, 추가된 텍스트 표시자(1322)는 문서(1306)에 어떤 텍스트가 추가되었는지를 나타낸다. 묘사된 바와 같이, 추가된 텍스트 표시자(1322)는 디지털 텍스트(1320)를 둘러싸는 정사각형 및/또는 윤곽으로서 묘사된다. 일부 실시예들에서, 디바이스(1100a)는 디지털 텍스트(1320) 상에 오버레이되는(예컨대, 텍스트를 강조하는), 디지털 텍스트(1320) 옆에 있는, 그리고/또는 디지털 텍스트(1320)를 적어도 부분적으로 둘러싸는 추가된 텍스트 표시자(1322)를 디스플레이한다.

도 13d 및 도 13e에서, 디바이스(1100a)는 새로운 마크들이 필기되고 있음에 따라 새로운 마크들이 핸드라이팅(1310)에 추가된다는 것을 검출하고, 문서(1306)에, 새로운 마크들에 대응하는 디지털 텍스트(1320)를 추가한다. 추가적으로, 디바이스(1100a)는 (예컨대, 핸드라이팅 표현(1316)에서, 새로운 마크들을 포함하여, 핸드라이팅(1310)의 이미지 주위에) 추가된 텍스트 표시자(1322)를 디스플레이한다. 일부 실시예들에서, 디지털 텍스트(1320)는 핸드라이팅(1310)의 이미지 데이터로부터 검출되는 포맷(예컨대, 글머리 기호(bullet point) 및/또는 폰트 포맷) 및/또는 구두점을 포함한다.

도 13e에서, 노트 애플리케이션 인터페이스(1304)를 디스플레이하는 동안, 디바이스(1100a)는 라이브 검출 어포던스(1318)를 향한 입력(예컨대, 마우스 클릭(1315n) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1315e)을 검출하는 것에 응답하여, 도 13f에 도시된 바와 같이, 디바이스(1100a)는 노트 애플리케이션 인터페이스(1304)를 디스플레이한다.

도 13f에서, 디바이스(1100a)는 디스에이블된 상태에 있는 라이브 검출 어포던스(1318)를 디스플레이한다. 묘사된 바와 같이, 단어 "Anna"가 핸드라이팅(1310)에 추가되지만, 디바이스(1100a)는 "Anna"에 대응하는 디지털 텍스트(1320)를 추가하지 않는다. 디바이스(1100a)는, 또한, 핸드라이팅 표현(1316) 내에, 라이브 검출 어포던스(1318)가 디스에이블된 상태에 있는 것에 기초하여, 추가된 텍스트 표시자(1322)를 디스플레이하는 것을 중단하였다. 일부 실시예들에서, 디바이스(1100a)는, 라이브 검출 어포던스(1318)가 디스에이블된 상태에 있는 동안, 핸드라이팅(1310)의 이미지들 주위에, 추가된 텍스트 표시자(1322)를 계속 디스플레이한다.

도 13f에서, 노트 애플리케이션 인터페이스(1304)는 복사 어포던스(1323)를 포함한다. 일부 실시예들에서, 복사 어포던스(1323)는 사용자가 핸드라이팅 표현(1316)으로부터 텍스트를 복사하도록 허용한다. 디바이스(1100a)는, 또한, 핸드라이팅 표현(1316)에서 텍스트 "Anna"의 이미지 주위에 선택 표시자(1324)를 디스플레이한다. 선택 표시자(1324)는 핸드라이팅의 이미지로부터의 콘텐츠가 복사되도록 선택됨을 나타낸다. 일부 실시예들에서, 디바이스(1100a)는 핸드라이팅 표현(1316)에서 특정 콘텐츠(예컨대, Anna)를 선택하기 위한 입력(예컨대, 클릭 및 드래그 제스처 및/또는 다른 선택/내비게이션 입력)을 검출한다. 도 13f에서, 노트 애플리케이션 인터페이스(1304)를 디스플레이하는 동안, 디바이스(1100a)는 핸드라이팅 표현(1316)으로부터 콘텐츠를 복사하라는 요청(예컨대, 복사 어포던스(1323)를 향한 마우스 클릭(1315f) 및 Anna의 선택 및/또는 다른 선택 입력)을 검출한다. 핸드라이팅 표현(1316)으로부터 콘텐츠를 복사하라는 요청을 검출하는 것에 응답하여, 도 13g에 도시된 바와 같이, 디바이스(1100a)는 노트 애플리케이션 인터페이스(1304)를 디스플레이한다.

도 13g에서, 디바이스(1100a)는 문서(1306) 내에 필기문 "Anna"에 대응하는 디지털 텍스트를 추가한다. 일부 실시예들에서, 디바이스(1100a)는 (예컨대, "Anna"를 복사하고, 다른 애플리케이션의 문서 내에 콘텐츠를 붙여넣기 위한 입력을 검출하는 것에 기초하여) 노트 애플리케이션 이외의 애플리케이션의 문서 내에 "Anna"에 대응하는 디지털 텍스트를 추가한다. 노트 애플리케이션 인터페이스(1304)를 디스플레이하는 동안, 디바이스(1100a)는 라이브 검출 어포던스(1318)를 향한 입력(예컨대, 마우스 클릭(1315g) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1315g)을 검출하는 것에 응답하여, 도 13h에 도시된 바와 같이, 디바이스(1100a)는 노트 애플리케이션 인터페이스(1304)를 디스플레이한다.

도 13h에서, 디바이스(1100a)는 인에이블된 상태에 있는 라이브 검출 어포던스(1318)를 디스플레이한다. 묘사된 바와 같이, 디바이스(1100a)는, 텍스트 "Anna"를 포함하여, 문서(1306)에 붙여넣기된 핸드라이팅(1310)의 이미지들 주위에 텍스트 표시자(1322)를 디스플레이한다. 특히, 디바이스(1100a)는 도 13h에서 문서(1306) 내에 새로운 디지털 텍스트로서 "Anna"를 추가하지 않는다. 도 13h에서, 사용자(1104a)는, 페이지 넘김(1315h)에 의해 개략적으로 표현된 바와 같이, 노트북(1308)의 페이지를 넘겨서, 노트북(1308)의 새로운 페이지를 드러낸다.

도 13i에서, 디바이스(1100a)는 노트북(1308)의 새로운 페이지 상에서 새로운 핸드라이팅을 검출한다. 묘사된 바와 같이, 디바이스(1100a)는 핸드라이팅 표현(1316) 내에 검출된 핸드라이팅(1310)의 이미지들에 대응하는 검출된 텍스트 표시자(1328)(예컨대, 괄호들)를 디스플레이한다. 도 13i의 핸드라이팅(1310)을 검출하는 것에 응답하여, 디바이스(1100a)는, 예(yes) 어포던스(1330a) 및 아니오(no) 어포던스(1330b)를 포함하여, 텍스트 추가 통지(1326)를 디스플레이하고, 텍스트 추가 통지(1326)는 사용자가 검출된 텍스트를 문서에 추가할지 여부를 결정하도록 허용한다. 일부 실시예들에서, 텍스트 추가 통지(1326)는, 핸드라이팅(1310)(또는 더 일반적으로는, 문서(1306)에 추가될 수 있는 텍스트)이 추가될 텍스트의 임계량(예컨대, 문자들 및/또는 단어들의 임계 수)을 초과한다는 것을 검출하는 것과 같은, 기준들을 만족시키는 것에 응답하여 디스플레이된다. 일부 실시예들에서, 임계량은 (예컨대, 일정 기간에 걸쳐 점진적으로 추가되는 것과는 대조적으로) 특정 순간에 추가될 텍스트의 임계량에 기초한다. 예를 들어, 일부 실시예들에서, 노트북(1308)의 새로운 페이지가 드러날 때 검출되는 텍스트의 양에 기초하여, 디바이스(1100a)는 텍스트 추가 통지(1326)를 디스플레이한다. 텍스트 추가 통지(1326)를 디스플레이하는 동안, 디바이스(1100a)는 예 어포던스(1330a)를 향한 입력(예컨대, 마우스 클릭(1315i) 및/또는 다른 선택 입력)을 검출한다. 마우스 클릭(1315i)을 검출하는 것에 응답하여, 도 13j에 도시된 바와 같이, 디바이스(1100a)는 노트 애플리케이션 인터페이스(1304)를 디스플레이한다.

도 13j에서, 디바이스(1100a)는 문서(1306)에 새로운 텍스트를 추가한다. 도 13j에 도시된 바와 같이, 핸드라이팅(1310)에 대응하는 새로운 텍스트가 디지털 텍스트(1320)에 추가된다. 추가적으로, 디바이스(1100a)는 핸드라이팅 표현(1316)에서 (예컨대, 핸드라이팅(1310)의 이미지 주위에) 추가된 텍스트 표시자(1322)를 디스플레이한다.

도 13j 및 도 13k에서, 디바이스(1100a)는 새로운 마크들을 검출하는 것에 응답하여 디지털 텍스트(1320)를 편집한다. 도 13k에서, 디바이스(1100a)는 노트북(1308) 상에서 단어 "conclusion"을 지우는 새로운 마크(1334)를 (예컨대, 이미지 데이터를 통해) 검출한다. 새로운 마크(1334)를 검출하는 것에 응답하여, 디바이스(1100a)는 문서(1306) 내에 단어 "conclusion"에 대응하는 텍스트(1332)를 디스플레이하는 것을 중단한다. 추가적으로, 1100a는, 단어 "conclusion"이 문서(1306)로부터 제거됨에도 불구하고, 핸드라이팅 표현(1316) 내에 (예컨대, 단어 conclusion의 이미지 주위에) 추가된 텍스트 표시자(1322)를 디스플레이한다. 일부 실시예들에서, 디바이스(1100a)는, 디바이스(1100a)가 도 13j에서 텍스트(1332)를 추가하였지만 후속적으로 텍스트(1332)를 제거하였기 때문에, 추가된 텍스트 표시자(1322)의 디스플레이를 유지한다. 일부 실시예들에서, 디바이스(1100a)는, 단어 "conclusion"이 문서로부터 제거되는 것에 기초하여, 핸드라이팅 표현(1316) 내에 (예컨대, 단어 "conclusion"의 이미지 주위에) 추가된 텍스트 표시자(1322)를 디스플레이하지 않는다.

도 14는 일부 실시예들에 따른, 일부 실시예들에 따른 디지털 콘텐츠를 관리하는 방법을 예시하기 위한 방법을 예시하는 흐름도이다. 방법(1400)은 디스플레이 생성 컴포넌트(예컨대, 601, 683, 6201, 및/또는 1101)(예컨대, 디스플레이 제어기, 터치 감응형 디스플레이 시스템, 모니터, 및/또는 머리 장착형 디스플레이 시스템) 및 하나 이상의 카메라들(예컨대, 602, 6202, 1102a 내지 1102d, 및/또는 682)(예컨대, 적외선 카메라, 깊이 카메라, 및/또는 가시광 카메라)와 통신하는(그리고 선택적으로, 하나 이상의 입력 디바이스들(예컨대, 터치 감응형 표면, 키보드, 제어기, 및/또는 마우스)과 통신하는) 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 600-2, 600-4, 906a, 906b, 906c, 906d, 1100a, 1100b, 1100c, 및/또는 1100d)(예컨대, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 및/또는 머리 장착형 디바이스(예컨대, 머리 장착형 증강 현실 및/또는 확장 현실 디바이스))에서 수행된다. 방법(1400)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서들은 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.

아래에서 설명되는 바와 같이, 방법(1400)은 디지털 콘텐츠를 관리하기 위한 직관적인 방식을 제공한다. 본 방법은 디지털 콘텐츠를 관리하는 것에 대한 사용자의 인지적 부담을 감소시켜, 그에 의해, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 디지털 콘텐츠를 더 빠르고 더 효율적으로 관리할 수 있게 하는 것은 전력을 절약하고 배터리 충전들 사이의 시간을 증가시킨다.

방법(1400)에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 전자 문서(예컨대, 1306 및/또는 118)(예컨대, 가상 문서, 편집가능 전자 문서, 컴퓨터 시스템에 의해 생성된 문서, 및/또는 컴퓨터 시스템 상에 저장된 문서)를 디스플레이한다(1402). 일부 실시예들에서, 전자 문서는 애플리케이션(예컨대, 워드 프로세서 애플리케이션 및/또는 메모 작성 애플리케이션)의 그래픽 사용자 인터페이스 내에 디스플레이된다.

컴퓨터 시스템은, 하나 이상의 카메라들을 통해, 하나 이상의 카메라들의 시야(예컨대, 1120a, 620, 6204, 및/또는 688) 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면(예컨대, 1106a 및/또는 1308)(예컨대, 한 장의 종이, 메모장, 화이트 보드, 및/또는 칠판) 상의 물리적 마크들을 포함하는 핸드라이팅(예컨대, 1310)(예컨대, 펜 마크들, 연필 마크들, 마커 마크들, 및/또는 크레용 마크들과 같은 물리적 마크들, 핸드라이팅된 문자들, 핸드라이팅된 숫자들, 핸드라이팅된 글머리 기호들, 핸드라이팅된 심볼들, 및/또는 핸드라이팅된 구두점)을 검출한다(1404). 일부 실시예들에서, 핸드라이팅(및/또는 물리적 표면)은 하나 이상의 카메라들의 시야 내에 있다. 일부 실시예들에서, 물리적 표면은 터치 감응형 표면과 같은 전자 표면이 아니다. 일부 실시예들에서, 물리적 표면은 사용자에 대한 지정된 위치에(예컨대, 사용자의 전방에, 사용자와 하나 이상의 카메라들 사이에, 그리고/또는 수평 평면 내에) 있다. 일부 실시예들에서, 컴퓨터 시스템은 물리적 표면 상에 있지 않은 핸드라이팅에 대한 디지털 텍스트를 추가하지 않는다(예컨대, 추가하는 것을 보류함). 일부 실시예들에서, 컴퓨터 시스템은 물리적 표면 상에 있는 핸드라이팅에 대한 디지털 텍스트만을 추가한다(예컨대, 핸드라이팅은 지정된 구역 및/또는 물리적 표면 내에 있어야 함).

하나 이상의 카메라들의 시야 내에 있고 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하는 것에 응답하여, 컴퓨터 시스템은, 전자 문서 내에, 하나 이상의 카메라들의 시야 내에 있는 핸드라이팅(예컨대, 검출된 핸드라이팅)에 대응하는 디지털 텍스트(예컨대, 1320)(예컨대, 문자들, 숫자들, 글머리 기호들, 심볼들, 및/또는 구두점)를 (예컨대, 자동적으로 및/또는 수동으로(예컨대, 사용자 입력에 응답하여)) 디스플레이한다(또는 선택적으로, 전자 문서에 추가함)(1406). 일부 실시예들에서, 디지털 텍스트는 컴퓨터 시스템에 의해 생성된다(그리고/또는 핸드라이팅의 캡처된 이미지가 아님). 일부 실시예들에서, 핸드라이팅은 제1 외관(예컨대, 폰트 스타일, 색상, 및/또는 폰트 크기)을 갖고, 디지털 텍스트는 제1 외관과는 상이한 제2 외관(예컨대, 폰트 스타일, 색상, 및/또는 폰트 크기)을 갖는다. 일부 실시예들에서, 물리적 표면은 사용자와 하나 이상의 카메라들 사이에 위치된다. 하나 이상의 카메라들의 시야 내에 있는 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하는 것은, 그가 사용자가 타이핑 없이 디지털 텍스트를 추가하도록 허용하기 때문에 컴퓨터 시스템을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시키고, 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하며, 사용자가 전자 문서에 디지털 텍스트를 추가할 수 있는 방법을 개선한다.

일부 실시예들에서, 디지털 텍스트를 디스플레이하는 동안(또는 디스플레이한 후에), 컴퓨터 시스템은 하나 이상의 카메라들의 시야 내에 있는 물리적 표면 상의 제1 새로운 물리적 마크(예컨대, 도 13e에 도시된 바와 같은 1310)를 포함하는 새로운 핸드라이팅을 표현하는 데이터를 획득한다(예컨대, 수신 또는 검출함). 일부 실시예들에서, 새로운 핸드라이팅을 표현하는 데이터를 획득하는 것에 응답하여, 컴퓨터 시스템은 새로운 핸드라이팅에 대응하는 새로운 디지털(예컨대, 도 13e의 1320) 텍스트를 디스플레이한다. 일부 실시예들에서, 새로운 핸드라이팅을 표현하는 데이터를 획득하는 것에 응답하여, 컴퓨터 시스템은 (원래의) 디지털 텍스트의 디스플레이를 유지한다. 일부 실시예들에서, 새로운 핸드라이팅을 표현하는 데이터를 획득하는 것에 응답하여, 컴퓨터 시스템은 (원래의) 디지털 텍스트 및 새로운 디지털 텍스트를 동시에 디스플레이한다. 새로운 핸드라이팅이 검출됨에 따라 새로운 디지털 텍스트를 디스플레이하는 것은, 디지털 텍스트가 자동적으로 추가될 수 있기 때문에 그리고 그가 검출됨에 따라 컴퓨터 시스템을 향상시키며, 이는 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하고, 새로운 물리적 마크들이 검출되었다는 시각적 피드백을 제공하며, 디지털 텍스트가 전자 문서에 추가되는 방법을 개선한다.

일부 실시예들에서, 새로운 핸드라이팅을 표현하는 데이터를 획득하는

것은 컴퓨터 시스템이 새로운 물리적 마크들이 물리적 표면에 적용되고 있는 동안(예컨대, 사용자가 필기하고 있음에 따라) 새로운 물리적 마크들을 검출하는 것(예컨대, 그의 이미지 및/또는 비디오를 캡처하는 것)을 포함한다(예컨대, 도 13d 및 도 13e를 참조하여 설명된 바와 같이, 이름들이 노트북(1308) 상에 필기되고 있는 동안 1320의 "Jane", "Mike" 및 "Sarah"가 문서(1306)에 추가됨). 일부 실시예들에서, 새로운 물리적 마크들은 실시간으로, 라이브 방식으로, 그리고/또는 하나 이상의 카메라들로부터의 라이브 피드에 기초하여 검출된다(예컨대, 1318이 인에이블됨). 일부 실시예들에서, 컴퓨터 시스템은 새로운 물리적 마크들의 제1 부분이 물리적 표면에 적용되고 있는 것에 응답하여 새로운 디지털 텍스트의 제1 부분을 디스플레이한다(예컨대, 도 13d 및 도 13e에서, "Jane"이 노트북(1308) 상에 필기되는 동안 1320의 "Jane"이 문서(1306)에 추가됨). 일부 실시예들에서, 컴퓨터 시스템은 물리적 표면에 적용되고 있는 새로운 물리적 마크들의 제2 부분을 검출하는 것에 응답하여 새로운 디지털 텍스트의 제2 부분을 디스플레이한다(예컨대, 도 13d 및 도 13e에서, "Mike"가 노트북(1308) 상에 필기되는 동안 1320의 "Mike"가 문서(1306)에 추가됨). 일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 문자가 필기되었음에 따라) 문자별로 새로운 디지털 텍스트를 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 단어가 필기된 후에) 단어별로 새로운 디지털 텍스트를 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 라인이 필기된 후에) 라인별로 새로운 디지털 텍스트를 디스플레이한다(예컨대, 도 13e를 참조하면, 라인이 노트북(1308) 상에 필기된 후에 1320의 "invite to"가 추가됨). 새로운 물리적 마크들이 물리적 표면에 적용되고 있는 동안 새로운 디지털 텍스트를 디스플레이하는 것은, 사용자가 필기하고 있는 동안 디지털 텍스트가 라이브 방식으로 추가되기 때문에 컴퓨터 시스템을 향상시키며, 이는 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하고, 새로운 물리적 마크들이 검출되었다는 시각적 피드백을 제공하며, 디지털 텍스트가 전자 문서에 추가되는 방법을 개선한다.

일부 실시예들에서, 새로운 핸드라이팅을 표현하는 데이터를 획득하는 것은 새로운 물리적 마크들을 포함하는 물리적 표면이 하나 이상의 카메라들의 시야 내로 들어올 때(예컨대, 도 13h 및 도 13i에 도시된 바와 같이, 페이지 넘김(1315h)은 새로운 핸드라이팅(1310)을 갖는 새로운 페이지를 카메라(1102a)의 시야 내로 들어오게 함)(예컨대, 사용자가 기존의 핸드라이팅을 갖는 표면을 카메라의 시야 내로 들어오게 하고/하거나 사용자가 문서의 페이지를 넘길 때, 표면이 시야 내로 들어옴) 새로운 물리적 마크들을 검출하는 것을 포함한다. 일부 실시예들에서, 새로운 물리적 마크들은 실시간으로, 라이브 방식으로, 그리고/또는 하나 이상의 카메라들로부터의 라이브 피드에 기초하여 검출된다. 물리적 표면이 카메라의 시야 내로 들어올 때 새로운 디지털 텍스트를 디스플레이하는 것은, 사용자로부터의 추가 입력 없이 디지털 텍스트의 많은 부분들이 추가될 수 있기 때문에 컴퓨터 시스템을 개선하며, 이는 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하고, 새로운 물리적 마크들이 검출되었다는 시각적 피드백을 제공하며, 디지털 텍스트가 전자 문서에 추가되는 방법을 개선한다.

일부 실시예들에서, 디지털 텍스트를 디스플레이하는 동안(또는 디스플레이한 후에), 컴퓨터 시스템은 하나 이상의 카메라들의 시야 내에 있는 물리적 표면 상의 제2 새로운 물리적 마크(예컨대, 1334)(예컨대, 제1 새로운 물리적 마크와 동일하거나 상이함)(예컨대, 물리적 마크들을 포함하는 핸드라이팅의 일부분에 대한 변경; 일부 실시예들에서, 핸드라이팅의 일부분에 대한 변경은 핸드라이팅의 제2 부분의 변경 없이 핸드라이팅의 제1 부분에 대한 변경을 포함함)(예컨대, 제2 새로운 물리적 마크는 기존 단어에 문자를 추가하는 것, 기존 문장에 구두점을 추가하는 것, 및/또는 기존 단어에 줄을 그어 지우는 것을 포함함)를 포함하는 새로운 핸드라이팅을 표현하는 데이터를 획득한다(예컨대, 수신 또는 검출함). 일부 실시예들에서, 새로운 핸드라이팅을 표현하는 데이터를 획득하는 것에 응답하여, 컴퓨터 시스템은 새로운 핸드라이팅에 대응하는 업데이트된 디지털 텍스트(예컨대, 도 13k의 1320)(예컨대, 기존의 디지털 텍스트의 수정된 버전)를 디스플레이한다. 일부 실시예들에서, 새로운 핸드라이팅을 표현하는 데이터를 획득하는 것에 응답하여, 컴퓨터 시스템은 제2 새로운 물리적 마크에 기초하여 디지털 텍스트를 수정한다. 일부 실시예들에서, 업데이트된 디지털 텍스트는 디지털 텍스트(예컨대, 원래의 디지털 텍스트)의 포맷의 변화(예컨대, 들여쓰기의 변화 및/또는 볼드체(bold), 밑줄, 및/또는 이탤릭체와 같은 폰트 포맷의 변화)를 포함한다. 일부 실시예들에서, 업데이트된 디지털 텍스트는 (예컨대, 디지털 텍스트의 일부분을 삭제하는 것에 기초하여) 디지털 텍스트(예컨대, 원래의 디지털 텍스트)의 일부분을 포함하지 않는다. 일부 실시예들에서, 새로운 핸드라이팅을 표현하는 데이터를 획득하는 것에 응답하여, 컴퓨터 시스템은 디지털 텍스트(예컨대, 원래의 디지털 텍스트)의 디스플레이를 유지한다. 일부 실시예들에서, 새로운 핸드라이팅을 표현하는 데이터를 획득하는 것에 응답하여, 컴퓨터 시스템은 디지털 텍스트(예컨대, 원래의 디지털 텍스트) 및 새로운 디지털 텍스트를 동시에 디스플레이한다. 새로운 핸드라이팅이 검출됨에 따라 디지털 텍스트를 업데이트하는 것은, 새로운 마크들을 검출하는 것에 응답하여 기존의 디지털 텍스트가 자동적으로 수정될 수 있기 때문에 컴퓨터 시스템을 개선하며, 이는 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하고, 새로운 물리적 마크들이 검출되었다는 시각적 피드백을 제공하며, 디지털 텍스트가 전자 문서에 추가되는 방법을 개선한다.

일부 실시예들에서, 업데이트된 디지털 텍스트를 디스플레이하는 것은 핸드라이팅에 대응하는 디지털 텍스트를 수정하는 것을 포함한다(예컨대, 도 13k를 참조하면, 디바이스(600)는, 선택적으로, 사용자가 1310에서 단어 "conclusion" 아래에 라인을 그리는 것을 검출하는 것에 응답하여, 예를 들어 밑줄을 추가하는 것과 같이, 1320에서 단어 "conclusion"의 포맷을 업데이트하고/하거나, 디바이스(600)는, 도 13k에 도시된 바와 같이 사용자가 1310에서 단어 "conclusion"을 통해 라인을 그리는 것을 검출하는 것에 응답하여, 단어 "conclusion"을 디스플레이하는 것을 중단함). 일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 디지털 텍스트의 끝에서와는 대조적으로) 디지털 텍스트의 제1 부분과 디지털 텍스트의 제2 부분 사이에 디지털 텍스트(예컨대, 문자, 구두점 마크, 및/또는 심볼)를 추가한다(예컨대, 도 13k를 참조하면, 디바이스(600)는, 선택적으로, 사용자가 1320에서 "presentation"과 "outline" 사이에 콤마를 추가하는 것을 검출하는 것에 응답하여 1320에서 "presentation"과 "outline" 사이에 콤마를 추가함). 일부 실시예들에서, 컴퓨터 시스템은 디지털 텍스트의 포맷(예컨대, 폰트, 밑줄, 볼드체, 들여쓰기, 및/또는 폰트 색상)을 수정한다. 일부 실시예들에서, 디지털 텍스트에 추가되는 디지털 마크의 위치(예컨대, 다른 디지털 마크들에 대한 위치 및/또는 디지털 마크들의 순서에 대한 위치)는 핸드라이팅에 추가되는 마크(예컨대, 문자, 구두점 마크, 및/또는 심볼)의 위치(예컨대, 물리적 표면 상의 다른 물리적 마크들에 대한 위치 및/또는 물리적 표면 상의 물리적 마크들의 순서에 대한 위치)에 대응한다(예컨대, 도 13k를 참조하면, 디바이스(600)는, 선택적으로, 사용자가 1320에서 "presentation"과 "outline" 사이에 문자 및/또는 단어를 추가하는 것을 검출하는 것에 응답하여 1320에서 "presentation"과 "outline" 사이에 문자 및/또는 단어를 추가함). 새로운 핸드라이팅이 검출됨에 따라 디지털 텍스트를 수정하는 것은, 기존의 디지털 텍스트가 자동적으로 수정될 수 있기 때문에 그리고 새로운 핸드라이팅이 검출됨에 따라 컴퓨터 시스템을 개선하며, 이는 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하고, 새로운 물리적 마크들이 검출되었다는 시각적 피드백을 제공하며, 디지털 텍스트가 전자 문서에 추가되는 방법을 개선한다.

일부 실시예들에서, 업데이트된 디지털 텍스트를 디스플레이하는 것은 디지털 텍스트의 일부분(예컨대, 문자, 구두점 마크, 및/또는 심볼)을 디스플레이하는 것을 중지하는 것을 포함한다(예컨대, 도 13k에 도시된 바와 같이, "conclusion"은 1320에서 더 이상 디스플레이되지 않음). 일부 실시예들에서, 업데이트된 디지털 텍스트를 디스플레이하는 것은 디지털 텍스트의 제2 부분의 디스플레이를 유지하면서 디지털 텍스트의 제1 부분을 디스플레이하는 것을 중지하는 것을 포함한다. 일부 실시예들에서, 디지털 텍스트에서 삭제되는 디지털 마크의 위치(예컨대, 다른 디지털 마크들에 대한 위치 및/또는 디지털 마크들의 순서에 대한 위치)는 핸드라이팅에 추가되는 삭제 마크(예컨대, 핸드라이팅의 일부분에 줄을 그어 지우는 것 및/또는 핸드라이팅의 일부분 위에 "X"를 필기하는 것)의 위치(예컨대, 물리적 표면 상의 다른 물리적 마크들에 대한 위치 및/또는 물리적 표면 상의 물리적 마크들의 순서에 대한 위치)에 대응한다. 새로운 핸드라이팅이 검출됨에 따라 디지털 텍스트의 일부분을 디스플레이하는 것을 중지하는 것은, 기존의 디지털 텍스트가 자동적으로 삭제될 수 있기 때문에 그리고 새로운 핸드라이팅이 검출됨에 따라 컴퓨터 시스템을 개선하며, 이는 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하고, 새로운 물리적 마크들이 검출되었다는 시각적 피드백을 제공하며, 디지털 텍스트가 전자 문서에 추가되는 방법을 개선한다.

일부 실시예들에서, 업데이트된 디지털 텍스트를 디스플레이하는 것은, 제2 새로운 물리적 마크가 제1 기준들(예컨대, 도 13c 내지 도 13j의 1310)을 충족시킨다는(예컨대, 물리적 마크가 하나 이상의 새로운 필기 문자들, 예를 들어 하나 이상의 문자들, 숫자들, 및/또는 단어들을 포함한다는) 결정에 따라, 컴퓨터 시스템이 하나 이상의 새로운 필기 문자들(예컨대, 문자들, 숫자들, 및/또는 구두점)에 대응하는 새로운 디지털 텍스트(예컨대, 도 13c 내지 도 13j의 1320)를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 업데이트된 디지털 텍스트를 디스플레이하는 것은, 제2 새로운 물리적 마크가 제2 기준들(예컨대, 도 13k를 참조하여 설명된 바와 같은 1334)(예컨대, 제1 기준들과는 상이함)을 충족시킨다는(예컨대, 물리적 마크가, 그가, 예를 들어 새로운 필기 문자들을 포함하는 마크보다는 편집 마크임을 나타내는 형상 및/또는 위치를 갖는다는, 제2 새로운 물리적 마크가 기존의 필기 문자 위의 취소선(strikethrough) 또는 마크를 포함한다는) 결정에 따라, 컴퓨터 시스템이 하나 이상의 이전에 필기된 문자들에 대응하는 디지털 텍스트의 일부분의 디스플레이를 중지하는 것을 포함한다(예컨대, 1320의 "conclusion"은 도 13k에서 더 이상 디스플레이되지 않음). 일부 실시예들에서, 제2 새로운 물리적 마크가 검출되고, 이에 응답하여, 컴퓨터 시스템은, 예컨대 마크가 새로운 필기 문자인지 여부 또는 마크가 이전에 필기된 문자들에 줄을 그어 지우는지 여부와 같은, 새로운 물리적 마크의 분석에 기초하여, 제2 새로운 마크에 대응하는 디지털 텍스트를 추가하거나 디지털 텍스트를 삭제한다. 조건부로, 각자의 기준들을 충족시키는 것에 기초하여, 하나 이상의 필기 문자들에 대응하는 새로운 디지털 텍스트를 디스플레이하거나, 하나 이상의 필기 문자들에 대응하는 디지털 텍스트의 일부분의 디스플레이를 중지하는 것은, 디지털 텍스트가 자동적으로 추가 또는 삭제되기 때문에 그리고 새로운 마크들이 검출됨에 따라 컴퓨터 시스템을 개선하며, 이는 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하고, 새로운 물리적 마크들이 검출되었다는 시각적 피드백을 제공하며, 디지털 텍스트가 전자 문서에 추가되거나 그로부터 제거되는 방법을 개선한다.

일부 실시예들에서, 물리적 표면 상의 각자의 물리적 마크들을 포함하는 각자의 핸드라이팅의 표현(예컨대, 1316)(예컨대, 정지 이미지, 비디오, 및/또는 라이브 비디오 피드)을 디스플레이하는 동안, 컴퓨터 시스템은 전자 문서 내에 각자의 물리적 마크들(예컨대, 텍스트를 포함하는 것으로 검출, 식별 및/또는 인식된 물리적 마크들)에 대응하는 디지털 텍스트를 디스플레이하라는 요청에 대응하는 입력(예컨대, 1315c, 1315f, 및/또는 1315g)을 검출한다. 일부 실시예들에서, 요청은 각자의 핸드라이팅의 검출된 부분을 전자 문서에 추가(예컨대, 복사 및 붙여넣기)하라는 요청을 포함한다. 일부 실시예들에서, 각자의 물리적 마크들에 대응하는 디지털 텍스트를 디스플레이하라는 요청에 대응하는 입력을 검출하는 것에 응답하여, 컴퓨터 시스템은 (예컨대, 도 13d 내지 도 13f에 도시된 바와 같이), 전자 문서 내에, 각자의 물리적 마크들에 대응하는 디지털 텍스트(예컨대, 1320)를 디스플레이한다(예컨대, 각자의 핸드라이팅의 검출된 부분에 대응하는 텍스트를 전자 문서에 추가함). 입력을 검출하는 것에 응답하여, 전자 문서 내에, 각자의 물리적 마크들에 대응하는 디지털 텍스트를 디스플레이하는 것은, 디스플레이된 핸드라이팅된 마크들이 전자 문서 내에 그리고/또는 다른 전자 문서들에 복사 및 붙여넣기될 수 있기 때문에 컴퓨터 시스템을 개선하며, 이는 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하고, 디지털 텍스트가 전자 문서에 추가되는 방법을 개선한다.

일부 실시예들에서, 컴퓨터 시스템은 선택가능 사용자 인터페이스 객체(예컨대, 1318)에 대한 사용자 입력(예컨대, 1315c 또는 1315g)을 검출한다. 일부 실시예들에서, 선택가능 사용자 인터페이스 객체에 대한 사용자 입력을 검출하는 것에 응답하여, 그리고 (예컨대, 도 13d 및 도 13e에 도시된 바와 같이) 제2 새로운 물리적 마크가 제1 기준들을 충족시킨다는(예컨대, 물리적 마크가 하나 이상의 새로운 필기 문자들, 예를 들어 하나 이상의 문자, 숫자, 및/또는 단어들을 포함한다는) 결정에 따라, 하나 이상의 새로운 필기 문자들(예컨대, 문자들, 숫자들, 및/또는 구두점)에 대응하는 새로운 디지털 텍스트(예컨대, 도 13d 및 도 13e의 1320)를 디스플레이한다. 일부 실시예들에서, 선택가능 사용자 인터페이스 객체에 대한 사용자 입력을 검출하는 것에 응답하여, 그리고 (예컨대, 도 13k에 도시된 바와 같이) 제2 새로운 물리적 마크가 제2 기준들을 충족시킨다는(예컨대, 물리적 마크가, 물리적 마크가, 예를 들어 새로운 필기 문자들을 포함하는 마크보다는 편집 마크임을 나타내는 형상 및/또는 위치를 갖는다는, 제2 새로운 물리적 마크가 기존의 필기 문자들 위의 취소선 또는 마크를 포함한다는) 결정에 따라, 컴퓨터 시스템은 하나 이상의 이전에 필기된 문자들에 대응하는 디지털 텍스트의 일부분의 디스플레이를 중지한다(예컨대, "conclusion"은 1320에 디스플레이되지 않음). 일부 실시예들에서, 제2 새로운 물리적 마크가 검출되고, 이에 응답하여, 컴퓨터 시스템은, 예컨대 마크가 새로운 필기 문자인지 여부 또는 마크가 이전에 필기된 문자들에 줄을 그어 지우는지 여부와 같은, 새로운 물리적 마크의 분석에 기초하여, 제2 새로운 마크에 대응하는 디지털 텍스트를 추가하거나 디지털 텍스트를 삭제한다. 컴퓨터 시스템의 모드에 기초하여 디지털 텍스트를 조건부로 디스플레이하는 것은, 그가 핸드라이팅이 검출될 때 디지털 텍스트의 자동적인 디스플레이를 인에이블 또는 디스에이블하기 위한 옵션을 사용자에게 제공하기 때문에 컴퓨터 시스템을 개선하며, 이는 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하고, 디지털 텍스트가 전자 문서에 추가되는 방법을 개선한다.

일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 물리적 마크들을 포함하는 핸드라이팅의 표현(예컨대, 1316)(예컨대, 정지 이미지, 비디오, 및/또는 라이브 비디오 피드)을 디스플레이한다. 일부 실시예들에서, 물리적 마크들을 포함하는 핸드라이팅의 표현은 (예컨대, 도 13d 내지 도 13f에 도시된 바와 같이) 디지털 텍스트와 동시에 디스플레이된다. 물리적 핸드라이팅의 표현을 디스플레이하는 것은, 그가 핸드라이팅이 컴퓨터 시스템에 의해 검출되고 전자 문서에 추가되도록 카메라의 시야 내에 있는지 여부의 사용자 피드백을 제공하기 때문에 컴퓨터 시스템을 개선하며, 이는 개선된 시각적 피드백을 제공하고, 디지털 텍스트가 전자 문서에 추가되는 방법을 개선한다.

일부 실시예들에서, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 전자 문서의 각자의 디지털 텍스트에 대응하는 물리적 마크의 각자의 표현 상에 오버레이되는 그래픽 요소(예컨대, 1322)(예컨대, 강조표시, 형상, 및/또는 심볼)를 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 핸드라이팅(예컨대, 검출된 텍스트)의 일부분들을 핸드라이팅의 다른 부분들 및/또는 물리적 표면과 시각적으로 구별한다(예컨대, 강조하고/하거나 윤곽형성함). 일부 실시예들에서, 그래픽 요소는 전자 문서의 각자의 디지털 텍스트에 대응하지 않는 물리적 마크의 각자의 표현 상에 오버레이되지 않는다. 일부 실시예들에서, 컴퓨터 시스템이 제1 모드에 있다는(예컨대, 라이브 텍스트 캡처 모드가 인에이블된다는 및/또는 라이브 텍스트 검출 모드가 인에이블된다는) 결정에 따라, 컴퓨터 시스템은 그래픽 요소를 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템이 제2 모드에 있다는(예컨대, 라이브 텍스트 캡처 모드가 디스에이블된다는 및/또는 라이브 텍스트 검출 모드가 디스에이블된다는) 결정에 따라, 컴퓨터 시스템은 그래픽 요소를 디스플레이하지 않는다. 그가 디지털 텍스트로서 추가되었을 때 물리적 마크의 표현 상에 오버레이되는 그래픽 요소를 디스플레이하는 것은, 그가 물리적 핸드라이팅의 어떤 부분들이 디지털 텍스트로서 추가되었는지의 시각적 피드백을 제공하기 때문에 컴퓨터 시스템을 개선하며, 이는 개선된 시각적 피드백을 제공하고, 디지털 텍스트가 전자 문서에 추가되는 방법을 개선한다.

일부 실시예들에서, 핸드라이팅을 검출하는 것은 물리적 표면(예컨대, 619, 1106a, 1130, 및/또는 618) 및 사용자의 얼굴(예컨대, 1104a의 얼굴, 622의 얼굴, 및/또는 623의 얼굴)을 포함하는 시야(예컨대, 620, 688, 1120a, 6145-1, 6147-2)를 갖는 제1 카메라(예컨대, 602, 682, 6102, 및/또는 906a 내지 906d)(예컨대, 광각 카메라 및/또는 단일 카메라)에 의해 캡처된 이미지 데이터에 기초한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 카메라에 의해 캡처된 이미지 데이터에 기초하여 핸드라이팅의 표현(예컨대, 1316)을 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 카메라에 의해 캡처된 이미지 데이터에 기초하여 사용자(예컨대, 컴퓨터 시스템의 사용자)의 얼굴의 표현을 디스플레이한다(예컨대, 물리적 마크의 표현 및 사용자의 표현은 동일한 카메라(예컨대, 단일 카메라)에 의해 캡처된 이미지 데이터에 기초함). 일부 실시예들에서, 컴퓨터 시스템은 핸드라이팅의 표현 및 사용자의 얼굴의 표현을 동시에 디스플레이한다. 제1 카메라에 의해 캡처된 이미지 데이터에 기초하여 핸드라이팅의 표현 및 사용자의 얼굴의 표현을 디스플레이하는 것은 컴퓨터 시스템을 개선하는데, 그 이유는, 사용자가 동일한 카메라를 사용하여 물리적 환경의 상이한 각도들을 관찰할 수 있고, 상이한 각도들을 관찰하는 것이 사용자로부터의 추가 액션(예컨대, 카메라를 이동시키는 것)을 요구하지 않으며, 그렇게 하는 것이 동작을 수행하는 데 필요한 디바이스들의 수를 감소시키고, 컴퓨터 시스템이 상이한 뷰들을 캡처하기 위해 2개의 별개의 카메라들을 가질 필요가 없으며, 컴퓨터 시스템이 각도들을 변경하기 위한 이동 부품들을 갖는 카메라를 필요로 하지 않기 때문이며, 이는 디바이스에 대한 비용, 복잡성, 및 마손을 감소시킨다.

방법(1400)(예컨대, 도 14)과 관련하여 위에서 설명된 프로세스들의 상세사항들은, 또한, 아래에서 설명되는/위에서 설명된 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법들(700, 800, 1000, 1200, 1500, 1700, 1900)은, 선택적으로, 방법(1400)을 참조하여 위에서 설명된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법들(700, 800, 1000, 1200, 1500, 1700, 1900)은, 라이브 통신 세션을 개선하고 사용자들이 콘텐츠를 협업 및/또는 공유하는 방법을 개선하기 위해, 물리적 마크들을 검출하는 것에 응답하여 디지털 텍스트를 디스플레이하고/하거나 (예컨대, 한 명의 사용자와 연관된 로컬 디바이스에서의 카메라 또는 상이한 사용자와 연관된 원격 디바이스의 카메라에 의해 캡처된) 새로운 물리적 마크들을 검출하는 것에 응답하여, 디스플레이된 디지털 텍스트를 업데이트하는 기법들을 포함할 수 있다. 추가 예로서, 뷰를 수정하는 방법들(700, 800, 1500)은 물리적 마크들을 뷰 내로 가져오는 데 사용될 수 있다. 간결함을 위해, 이 상세사항들은 본 명세서에서 반복되지 않는다.

도 15는 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 방법을 예시하는 흐름도에 대한 방법을 예시하는 흐름도이다. 방법(1500)은 제1 디스플레이 생성 컴포넌트(예컨대, 601, 683, 및/또는 6201)(예컨대, 디스플레이 제어기, 터치 감응형 디스플레이 시스템, 모니터, 및/또는 머리 장착형 디스플레이 시스템) 및 하나 이상의 센서들(예컨대, 100, 300, 500, 600-1, 및/또는 600-2의 하나 이상의 센서들)(예컨대, 자이로스코프, 가속도계, 및/또는 모션 센서)과 통신하는 제1 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 600-2, 600-3, 600-4, 906a, 906b, 906c, 906d, 6100-1, 6100-2, 1100a, 1100b, 1100c, 및/또는 1100d)(예컨대, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 및/또는 머리 장착형 디바이스(예컨대, 머리 장착형 증강 현실 및/또는 확장 현실 디바이스))에서 수행된다. 방법(1500)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서들은 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.

아래에서 설명되는 바와 같이, 방법(1500)은 라이브 비디오 통신 세션을 관리하기 위한 직관적인 방식을 제공한다. 본 방법은 라이브 통신 세션을 관리하는 것에 대한 사용자의 인지적 부담을 감소시켜서, 그에 의해, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 더 빠르고 더 효율적으로 라이브 통신 세션을 관리할 수 있게 하는 것은 전력을 절약하고 배터리 충전들 사이의 시간을 증가시킨다.

방법(1500)에서, 제1 컴퓨터 시스템이 제2 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 및/또는 600-2)(예컨대, 원격 컴퓨터 시스템, 외부 컴퓨터 시스템, 제1 컴퓨터 시스템과 연관된 사용자와는 상이한 사용자와 연관된 컴퓨터 시스템, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 및/또는 머리 장착형 디바이스)과의 라이브 비디오 통신 세션(예컨대, 도 6a 내지 도 6ay의 라이브 비디오 통신 세션)에 있는 동안(1502), 제1 컴퓨터 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들(예컨대, 602 및/또는 6202)의 시야(예컨대, 620 및/또는 6204) 내에 있는 물리적 환경(예컨대, 615 및/또는 685)의 제1 뷰(예컨대, 사용자(622)의 얼굴의 뷰, 사용자(623)의 얼굴의 뷰, 표면(619), 및/또는 책상(686)의 표면)(또는 제1 부분)의 표현(예컨대, 622-1, 622-4, 및/또는 623-4)(예컨대, 정적 이미지 및/또는 예를 들어 비디오와 같은 일련의 이미지들)을 디스플레이한다(1504). 일부 실시예들에서, 제1 뷰의 표현은 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야(또는 그의 일부분)의 라이브(예컨대, 실시간) 비디오 피드를 포함한다. 일부 실시예들에서, 시야는 제2 컴퓨터 시스템의 하나 이상의 카메라들의 물리적 특성들(예컨대, 배향, 렌즈, 렌즈의 초점 거리, 및/또는 센서 크기)에 기초한다. 일부 실시예들에서, 표현은 라이브 비디오 통신 세션을 제공하는 애플리케이션(예컨대, 라이브 비디오 통신 애플리케이션 및/또는 화상 회의 애플리케이션)에 의해 제공된다. 일부 실시예들에서, 표현은 라이브 비디오 통신 세션을 제공하는 애플리케이션과는 상이한 애플리케이션(예컨대, 프레젠테이션 애플리케이션 및/또는 워드 프로세서 애플리케이션)에 의해 제공된다.

제1 컴퓨터 시스템이 제2 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 및/또는 600-2)(예컨대, 원격 컴퓨터 시스템, 외부 컴퓨터 시스템, 제1 컴퓨터 시스템과 연관된 사용자와는 상이한 사용자와 연관된 컴퓨터 시스템, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 및/또는 머리 장착형 디바이스)과의 라이브 비디오 통신 세션(예컨대, 도 6a 내지 도 6ay의 라이브 비디오 통신 세션)에 있는 동안(1502), 그리고 물리적 환경의 제1 뷰의 표현을 디스플레이하는 동안, 제1 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 및/또는 600-2)은, 하나 이상의 센서들을 통해, 제1 컴퓨터 시스템의 위치의 변화(예컨대, 6218ao, 6218aq, 6218ar, 6218av, 및/또는 6218aw)(예컨대, 공간에서의 위치의 변화, 배향(예를 들어, 각도 배향)의 변화, 병진, 및/또는 수평 및/또는 수직 각도의 변화)를 검출한다(예컨대, 제1 컴퓨터 시스템은 기울어짐)(1506).

제1 컴퓨터 시스템이 제2 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 및/또는 600-2)(예컨대, 원격 컴퓨터 시스템, 외부 컴퓨터 시스템, 제1 컴퓨터 시스템과 연관된 사용자와는 상이한 사용자와 연관된 컴퓨터 시스템, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 및/또는 머리 장착형 디바이스)과의 라이브 비디오 통신 세션(예컨대, 도 6a 내지 도 6ay의 라이브 비디오 통신 세션)에 있는 동안(1502), 그리고 제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여, 제1 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 및/또는 600-2)은, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제1 뷰(또는 제1 부분)와는 상이한 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰(예컨대, 사용자(622)의 얼굴의 뷰, 사용자(623)의 얼굴의 뷰, 표면(619), 및/또는 책상(686)의 표면)(또는 제2 부분)의 표현을 디스플레이한다(1508). 일부 실시예들에서, 제2 뷰의 표현을 디스플레이하는 것은 이미지 데이터(예컨대, 라이브 비디오 피드 및/또는 정적 이미지)를 패닝하는 것을 포함한다. 일부 실시예들에서, 제1 뷰는 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야의 제1 크롭핑된 부분에 대응하고, 제2 뷰는 제1 크롭핑된 부분과는 상이한 하나 이상의 카메라들의 시야의 제2 크롭핑된 부분에 대응한다. 일부 실시예들에서, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 물리적 특성들(예컨대, 배향, 위치, 각도, 렌즈, 렌즈의 초점 거리, 및/또는 센서 크기)은 상이한 뷰가 제1 컴퓨터 시스템 상에 디스플레이되더라도 변경되지 않는다. 일부 실시예들에서, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현은 제1 컴퓨터 시스템의 위치의 검출된 변화의 양(예컨대, 크기)(및/또는 방향)에 기초한다.

제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여, 제2 컴퓨터 시스템의 시야 내의 물리적 공간의 뷰를 변경하는 것은, 그가 추가 사용자 인터페이스 객체들을 디스플레이하지 않고서 상이한 뷰들을 제공하고 제1 컴퓨터 시스템의 위치의 검출된 변화에 관한 시각적 피드백을 제공하기 때문에 비디오 통신 세션 경험을 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공하고, 제1 컴퓨터 시스템의 위치의 검출된 변화에 관한 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 및/또는 600-2)이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안, 제1 컴퓨터 시스템은, 이미지 데이터(예컨대, 도 6ao에서 카메라(602)에 의해 캡처된 이미지 데이터)(예컨대, 물리적 환경의 제1 뷰와 연관된 이미지 데이터 및/또는 물리적 환경의 제2 뷰와 연관된 이미지 데이터)로부터, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야(예컨대, 620 및/또는 6204) 내에 있고 제2 컴퓨터 시스템(예컨대, 디바이스(600-2) 및/또는 디바이스(600-2)의 디스플레이(683))과는 별개인 물리적 표면(예컨대, 1308, 619, 및/또는 686)(예컨대, 한 장의 종이, 메모장, 화이트 보드, 및/또는 칠판) 상의 물리적 마크들을 포함하는 핸드라이팅(예컨대, 1310)(예컨대, 펜 마크들, 연필 마크들, 마커 마크들, 및/또는 크레용 마크들과 같은 물리적 마크들, 핸드라이팅된 문자들, 핸드라이팅된 숫자들, 핸드라이팅된 글머리 기호들, 핸드라이팅된 심볼들, 및/또는 핸드라이팅된 구두점)을 검출한다. 일부 실시예들에서, 제1 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 및/또는 600-2)이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있고 제2 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 (예컨대, 전자 문서에서, 제1 뷰의 표현에서, 및/또는 제2 뷰의 표현에서) 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 핸드라이팅에 대응하는 디지털 텍스트(예컨대, 1320)(예컨대, 문자들, 숫자들, 글머리 기호들, 심볼들, 및/또는 구두점)를 (예컨대, 자동적으로 및/또는 수동으로(예컨대, 사용자 입력에 응답하여)) 검출한다. 일부 실시예들에서, 제1 컴퓨터 시스템은 추가 핸드라이팅이 검출됨에 따라 새로운 디지털 텍스트를 디스플레이한다. 일부 실시예들에서, 제1 컴퓨터 시스템은 새로운 디지털 텍스트가 추가됨에 따라 디지털 텍스트(예컨대, 원래의 디지털 텍스트)의 디스플레이를 유지한다. 일부 실시예들에서, 제1 컴퓨터 시스템은 디지털 텍스트(예컨대, 원래의 디지털 텍스트)를 새로운 디지털 텍스트와 동시에 디스플레이한다. 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하는 것은, 그가 사용자가 컴퓨터 시스템에 추가 입력들(예컨대, 타이핑) 없이 디지털 텍스트를 추가하도록 허용하기 때문에 컴퓨터 시스템을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시키고, 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것은, 제1 컴퓨터 시스템의 위치의 변화가 제1 컴퓨터 시스템의 각도의 제1 양의 변화(예컨대, 6218ao, 6218aq, 6218ar, 6218av, 및/또는 6218aw에 의해 야기되는 각도의 변화의 변화량)를 포함한다는 결정에 따라, (예컨대, 도 6ao 내지 도 6ay에서 셰이딩된 영역(6217)의 위치의 변화에 의해 개략적으로 묘사된 바와 같이) 물리적 환경의 제2 뷰가 제1 각도 양만큼 물리적 환경의 제1 뷰와 상이한 것을 포함한다. 일부 실시예들에서, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것은, 제1 컴퓨터 시스템의 위치의 변화가 제1 컴퓨터 시스템의 각도의 제1 양의 변화(예컨대, 6218ao, 6218aq, 6218ar, 6218av, 및/또는 6218aw에 의해 야기되는 각도의 변화의 변화량)와는 상이한 제1 컴퓨터 시스템의 각도의 제2 양의 변화를 포함한다는 결정에 따라, (예컨대, 도 6ao 내지 도 6ay에서 셰이딩된 영역(6217)의 위치의 변화에 의해 개략적으로 묘사된 바와 같이) 물리적 환경의 제2 뷰가 제1 각도 양과는 상이한 제2 각도 양만큼 물리적 환경의 제1 뷰와 상이한 것을 포함한다(예컨대, 제1 컴퓨터 시스템의 각도 변화의 양은 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 디스플레이된 뷰의 각도 변화의 양을 결정함). 일부 실시예들에서, 제2 뷰는 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야를 변경하지 않고서(예컨대, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 위치 및/또는 각도를 변경하지 않고서) 제공된다. 일부 실시예들에서, 제1 뷰 및 제2 뷰는 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야(예컨대, 동일한 시야)의 상이한 부분들(예컨대, 크롭핑된 부분들)에 기초한다. 제1 컴퓨터 시스템의 각도의 변화에 기초하여 디스플레이되는 뷰를 변경하는 것은, 그가 사용자에게 위치의 변화의 정도에 관한 그리고 제1 컴퓨터 시스템의 위치의 변화가 검출되었다는 시각적 피드백을 제공하기 때문에 컴퓨터 시스템을 개선하며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것은, (예컨대, 사용자가 제1 컴퓨터 시스템을 기울이는 것에 기초하여) 제1 컴퓨터 시스템의 위치의 변화가 제1 컴퓨터 시스템의 위치의 변화의 제1 방향(예컨대, 6218ao, 6218aq, 6218ar, 6218av, 및/또는 6218aw에 의해 야기되는 변화의 방향)을 포함한다는(예컨대, 제1 방향으로 이루어진다는)(예컨대, 제1 디바이스의 각자의 에지를 위로 기울이고/기울이거나 사용자를 향해 회전시킨다는) 결정에 따라, (예컨대, 도 6ao 내지 도 6ay에서 셰이딩된 영역(6217)의 위치의 변화의 방향에 의해 개략적으로 묘사된 바와 같이) 물리적 환경의 제2 뷰가 물리적 환경의 제1 뷰로부터 물리적 환경에서 제1 방향에 있는 것을 포함한다(예컨대, 뷰는 위로 패닝하고/하거나 뷰는 위로 시프트함). 일부 실시예들에서, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것은, (예컨대, 사용자가 제1 컴퓨터 시스템을 기울이는 것에 기초하여) 제1 컴퓨터 시스템의 위치의 변화가 제1 컴퓨터 시스템의 위치의 변화의 제1 방향과는 상이한 제2 방향(예컨대, 6218ao, 6218aq, 6218ar, 6218av, 및/또는 6218aw에 의해 야기되는 변화의 방향)을 포함한다는(예컨대, 제1 디바이스의 각자의 에지를 아래로 기울이고/기울이거나 사용자로부터 멀리 회전시킨다는) 결정에 따라 - 제1 컴퓨터 시스템의 위치의 변화의 제2 방향은 제1 컴퓨터 시스템의 위치의 변화의 제1 방향과는 상이함 -, (예컨대, 도 6ao 내지 도 6ay에서 셰이딩된 영역(6217)의 제2 뷰의 방향에 의해 개략적으로 묘사된 바와 같이) 물리적 환경의 제2 뷰가 물리적 환경의 제1 뷰로부터 물리적 환경에서 제2 방향에 있는 것 - 물리적 환경에서의 제2 방향은 물리적 환경에서의 제1 방향과는 상이함 - 을 포함한다(예컨대, 뷰는 아래로 패닝하고/하거나 뷰는 아래로 시프트함)(예컨대, 제1 컴퓨터 시스템의 각도의 변화의 방향은 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 디스플레이된 뷰의 각도의 변화의 방향을 결정함). 제1 컴퓨터 시스템이 변경되는 방향에 기초하여 디스플레이되는 뷰를 변경하는 것은, 그가 사용자에게 제1 컴퓨터 시스템이 변경된 방향에 관한 그리고 제1 컴퓨터 시스템의 위치의 변화가 검출되었다는 시각적 피드백을 제공하기 때문에 컴퓨터 시스템을 개선하며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제1 컴퓨터 시스템의 위치의 변화는 제1 컴퓨터 시스템의 각도의 변화(예컨대, 6218ao, 6218aq, 6218ar, 6218av, 및/또는 6218aw)를 포함한다. 일부 실시예들에서, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것은, 제1 컴퓨터 시스템의 각도의 변화에 기초하여 (예컨대, 도 6ao 내지 도 6ar, 도 6av 내지 도 6ax에 도시된 바와 같이) 물리적 환경의 제1 뷰의 표현으로부터 물리적 환경의 제2 뷰의 표현으로의 점진적인 전이(예컨대, 시간 경과에 따라 복수의 중간 뷰들을 통해 점진적으로 진행하는 전이)를 디스플레이하는 것을 포함한다. 각도의 변화에 기초하여 제1 뷰로부터 제2 뷰로의 점진적인 전이를 디스플레이하는 것은, 그가 사용자에게 제1 컴퓨터 시스템의 위치의 변화가 검출되고 있다는 시각적 피드백을 제공하기 때문에 컴퓨터 시스템을 개선하며, 이는 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제1 뷰의 표현은 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 사용자의 얼굴의 표현을 포함한다(예컨대, 도 6aw의 6214). 일부 실시예들에서, 제2 뷰의 표현은 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 마크(예컨대, 펜, 마커, 크레용, 연필 마크 및/또는 연필 다른 드로잉 도구 마크)의 표현을 포함한다(예컨대, 도 6av, 도 6as의 6214). 제1 컴퓨터 시스템의 위치의 변화에 응답하여, 제2 컴퓨터 시스템의 시야에서 사용자의 얼굴의 뷰와 사용자에 의해 행해진 마크들의 뷰 사이에서 스위칭하는 것은, 그가 추가 사용자 인터페이스 객체들을 디스플레이하지 않고서 물리적 환경의 상이한 뷰들이 디스플레이되도록 허용하기 때문에 비디오 통신 세션 경험을 향상시키며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다. 추가적으로, 그는 제1 컴퓨터 시스템의 사용자로 하여금 사용자가 물리적 환경의 어떤 부분을 관찰하기를 원하는지를 제어하도록 허용하며, 이는 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 물리적 마크의 표현을 디스플레이하는 동안, 제1 컴퓨터 시스템은, 하나 이상의 입력 디바이스들(예컨대, 터치 감응형 표면, 키보드, 제어기, 및/또는 마우스)을 통해, 디지털 마크(예컨대, 6222 및/또는 6223)(예컨대, 드로잉, 텍스트, 가상 마크, 및/또는 가상 환경에서 행해진 마크)에 대응하는 사용자 입력(예컨대, 하나 이상의 사용자 입력들의 세트)을 검출한다. 일부 실시예들에서, 사용자 입력을 검출하는 것에 응답하여, (예컨대, 도 6aq, 도 6as, 도 6av, 및/또는 도 6ay에 도시된 바와 같이) 제1 컴퓨터 시스템은 물리적 마크의 표현과 동시에 디지털 마크의 표현을 (예컨대, 제1 디스플레이 생성 컴포넌트 및/또는 제2 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 통해) 디스플레이한다. 일부 실시예들에서, 사용자 입력은 물리적 마크의 표현에 대한 위치(예컨대, 물리적 환경 내의 위치)에 대응한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 컴퓨터 시스템의 위치의 변화를 검출한 후에 물리적 마크의 표현에 대한 위치에 디지털 마크를 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여 물리적 환경의 각자의 뷰의 표현이 변경되는 동안 물리적 마크의 표현에 대한 위치에 디지털 마크를 디스플레이한다(예컨대, 디지털 마크는 뷰가 변경될 때 물리적 마크에 대한 그의 위치를 유지함). 일부 실시예들에서, 디지털 마크의 표현을 디스플레이하는 동안, 제1 컴퓨터 시스템은 제1 위치로부터 제1 위치와는 상이한 제2 위치로의 제1 컴퓨터 시스템의 위치의 변화를 검출한다. 일부 실시예들에서, 제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 디지털 마크의 표현의 디스플레이를 중지한다(예컨대, 디지털 마크는 제1 컴퓨터의 위치의 변화에 기초하여 더 이상 디스플레이되지 않음). 일부 실시예들에서, 제1 컴퓨터 시스템이 제2 위치에 있는 동안, 그리고 디지털 마크의 표현이 디스플레이되는 것이 중지되는 동안, 제1 컴퓨터 시스템은 제2 위치로부터 (예컨대, 제1 위치에 가까운) 제3 위치로의 변화를 검출한다. 제2 위치로부터 제3 위치로의 변화를 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 디지털 마크를 디스플레이한다(예컨대, 재디스플레이함). 사용자 입력을 검출하는 것에 응답하여 디지털 마크를 디스플레이하는 것은, 사용자 입력이 검출되었다는 시각적 피드백을 제공함으로써 컴퓨터 시스템을 개선하며, 이는 시각적 피드백을 개선한다. 추가적으로, 사용자 입력을 검출하는 것에 응답하여 디지털 마크를 디스플레이하는 것은, 사용자가 다른 사용자의 물리적 마크들에 디지털 마크들을 추가할 수 있기 때문에 비디오 통신 세션 경험을 향상시키며, 이는 사용자들이 라이브 비디오 통신 세션 동안 협업 및/또는 통신하는 방법을 개선한다.

일부 실시예들에서, 디지털 마크의 표현은 (예컨대, 입력을 검출한 디바이스에서) 제1 디스플레이 생성 컴포넌트(예컨대, 683 및/또는 도 6aq, 도 6as, 도 6av, 및/또는 도 6ay에 도시된 바와 같이)를 통해 디스플레이된다. 입력이 검출된 컴퓨터 시스템 상에 디지털 마크를 디스플레이하는 것은, 입력을 제공하고 있는 사용자에게 시각적 피드백을 제공함으로써 컴퓨터 시스템을 개선하며, 이는 시각적 피드백을 개선한다. 추가적으로, 제2 사용자 입력을 검출하는 것에 응답하여 디지털 마크를 디스플레이하는 것은, 입력을 제공하는 사용자가 다른 사용자의 물리적 마크들을 마크업할 수 있기 때문에 비디오 통신 세션 경험을 향상시키며, 이는 사용자들이 라이브 비디오 통신 세션 동안 협업 및/또는 통신하는 방법을 개선한다.

일부 실시예들에서, 디지털 마크를 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 디지털 마크의 표현이 제2 컴퓨터 시스템에 디스플레이되게 한다(예컨대, 송신 및/또는 통신함)(예컨대, 6216 및/또는 도 6aq, 도 6as, 도 6av, 및/또는 도 6ay에 도시된 바와 같이). 일부 실시예들에서, 제2 컴퓨터는 물리적 마크의 표현과 함께 디지털 마크의 표현을 디스플레이하는(예컨대, 물리적 마크의 이미지 상에 중첩됨) 제2 디스플레이 생성 컴포넌트(예컨대, 디스플레이 제어기, 터치 감응형 디스플레이 시스템, 모니터, 및/또는 머리 장착형 디스플레이 시스템)와 통신한다. 제2 컴퓨터 시스템 상에 디지털 마크를 디스플레이하는 것은, 제1 컴퓨터 시스템에서 입력이 검출되고 있다는 시각적 피드백을 제공함으로써 컴퓨터 시스템을 개선하며, 이는 시각적 피드백을 개선한다. 추가적으로, 사용자 입력을 검출하는 것에 응답하여 디지털 마크를 디스플레이하는 것은, 물리적 마크들을 행하는 사용자가 제1 컴퓨터 시스템의 사용자에 의해 행해진 추가 디지털 마크들을 관찰할 수 있기 때문에 비디오 통신 세션 경험을 향상시키며, 이는 사용자들이 라이브 비디오 통신 세션 동안 협업 및/또는 통신하는 방법을 개선한다.

일부 실시예들에서, 디지털 마크의 표현은 제2 컴퓨터 시스템에서 물리적 마크의 표현 상에(예컨대, 그와 동시에) 디스플레이된다(예컨대, 6216 및/또는 도 6aq, 도 6as, 도 6av, 및/또는 도 6ay에 도시된 바와 같이). 물리적 마크의 표현 상에 디지털 마크를 디스플레이하는 것은, 사용자가 물리적 마크의 표현과 관련하여 디지털 마크를 관찰하도록 허용함으로써 비디오 통신 세션을 향상시키고, 제1 컴퓨터 시스템에서 입력이 검출되었다는 시각적 피드백을 제공하며, 이는 시각적 피드백을 개선한다.

일부 실시예들에서, 디지털 마크의 표현은 제2 컴퓨터 시스템의 물리적 환경 내의 물리적 객체(예컨대, 619 및/또는 618)(예컨대, 테이블, 책, 및/또는 한 장의 종이) 상에 디스플레이된다(또는 선택적으로, 그 상에 투영됨). 일부 실시예들에서, 제2 컴퓨터는 물리적 마크를 포함하는 표면(예컨대, 종이, 책, 및/또는 화이트보드) 상에 디지털 마크의 표현을 디스플레이하는 제2 디스플레이 생성 컴포넌트(예컨대, 프로젝터)와 통신한다. 일부 실시예들에서, 디지털 마크의 표현은 제2 컴퓨터 시스템의 물리적 환경에서 물리적 마크에 인접하게 디스플레이된다. 디지털 마크를 물리적 객체(예컨대, 물리적 마크들이 행해지는 표면) 상에 투영함으로써 디지털 마크를 디스플레이하는 것은, 사용자가 물리적 마크와 관련하여 디지털 마크를 관찰하도록 허용함으로써 비디오 통신 세션을 향상시키고, 제1 컴퓨터 시스템에서 입력이 검출되었다는 시각적 피드백을 제공하며, 이는 시각적 피드백을 개선한다.

일부 실시예들에서, 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안, (예컨대, 도 6av의 6214 및/또는 도 6ao의 6216에 도시된 바와 같이) 제1 컴퓨터 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제3 뷰의 표현을 디스플레이하며, 여기에서 제3 뷰는 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 사용자의 얼굴을 포함하고(예컨대, 도 6av의 622-2, 및/또는 622-1), 사용자의 얼굴의 표현은 (예컨대, 도 6av에 도시된 바와 같이) 물리적 환경의 제2 뷰의 표현과 동시에 디스플레이된다. 일부 실시예들에서, 사용자의 얼굴을 포함하는 제3 뷰의 표현은 제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여 변경되지 않는다. 일부 실시예들에서, 컴퓨터 시스템은 사용자의 얼굴을 포함하는 제3 뷰의 표현을 사용자 인터페이스의 제1 부분에 그리고 제1 뷰 및/또는 제2 뷰의 표현을 제1 부분과는 상이한 사용자 인터페이스의 제2 부분에 디스플레이한다. 제2 컴퓨터 시스템의 사용자의 얼굴의 뷰를 디스플레이하는 것은, 그가 제1 컴퓨터의 사용자가 보기를 원하는 물리적 환경의 상이한 부분들의 뷰들을 제공하기 때문에 비디오 통신 세션 경험을 향상시키며, 이는 사용자들이 라이브 통신 세션 동안 협업 및/또는 통신하는 방법을 개선한다.

일부 실시예들에서, 물리적 환경의 제1 뷰의 표현을 디스플레이하는 것은 제2 컴퓨터 시스템의 하나 이상의 카메라들 중 제1 카메라(예컨대, 602 및/또는 6202)에 의해 캡처된 이미지 데이터에 기초하여 물리적 환경의 제1 뷰의 표현을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것은 제2 컴퓨터 시스템의 하나 이상의 카메라들 중 제1 카메라에 의해 캡처된 이미지 데이터에 기초하여 물리적 환경의 제2 뷰(예컨대, 셰이딩된 영역들(6206 및/또는 6217))의 표현을 디스플레이하는 것을 포함한다(예컨대, 물리적 환경의 제1 뷰의 표현 및 물리적 환경의 제1 뷰의 표현은 동일한 카메라(예컨대, 단일 카메라)에 의해 캡처된 이미지 데이터에 기초함). 제1 카메라에 의해 캡처된 이미지 데이터에 기초하여 제1 뷰 및 제2 뷰를 디스플레이하는 것은, 사용자로부터의 추가 입력을 요구하지 않고서 동일한 카메라로부터의 이미지 데이터에 기초하여 상이한 관점들이 디스플레이될 수 있기 때문에 비디오 통신 세션 경험을 향상시키며, 이는 사용자들이 라이브 통신 세션 동안 협업 및/또는 통신하는 방법을 개선하고, 동작을 수행하는 데 필요한 입력들(및/또는 디바이스들)의 수를 감소시킨다. 제1 카메라에 의해 캡처된 이미지 데이터에 기초하여 제1 뷰 및 제2 뷰를 디스플레이하는 것은 컴퓨터 시스템을 개선하는데, 그 이유는, 사용자가 동일한 카메라를 사용하여 물리적 환경의 상이한 각도들을 관찰할 수 있고, 상이한 각도들을 관찰하는 것이 사용자로부터의 추가 액션(예컨대, 카메라를 이동시키는 것)을 요구하지 않으며, 그렇게 하는 것이 동작을 수행하는 데 필요한 디바이스들의 수를 감소시키고, 컴퓨터 시스템이 상이한 뷰들을 캡처하기 위해 2개의 별개의 카메라들을 가질 필요가 없으며, 그리고/또는 컴퓨터 시스템이 각도들을 변경하기 위한 이동 부품들을 갖는 카메라를 필요로 하지 않기 때문이며, 이는 디바이스에 대한 비용, 복잡성, 및 마손을 감소시킨다.

일부 실시예들에서, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것은 제1 컴퓨터 시스템이 제1 컴퓨터 시스템에 디스플레이되는 물리적 환경의 뷰를 변경하기 위한 인가가 제공되었다는(예컨대, 사용자(622) 및/또는 디바이스(600-1)가 사용자(623) 및/또는 디바이스(600-4)가 뷰를 변경하기 위한 허가를 부여한다는)(예컨대, 제2 컴퓨터 시스템에서 그리고/또는 제2 컴퓨터 시스템의 사용자에 의해 부여되거나 인가됨) 결정에 따라 수행된다. 일부 실시예들에서, 제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여, 그리고 제1 컴퓨터 시스템이 뷰를 변경하기 위한 인가가 제공되었다는 결정에 따라, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이한다. 일부 실시예들에서, 제1 컴퓨터 시스템의 위치의 변화를 검출하는 것에 응답하여, 그리고 제1 컴퓨터 시스템이 뷰를 변경하기 위한 인가가 제공되지 않았다는 결정에 따라, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것을 보류한다. 일부 실시예들에서, 인가는 제2 컴퓨터 시스템에서 인가 어포던스(예컨대, 사용자 인터페이스 객체 및/또는 설정)를 인에이블함으로써 제공될 수 있다(예컨대, 제2 컴퓨터 시스템의 사용자는 제1 컴퓨터 시스템의 이동에 기초하여 물리적 환경의 상이한 부분들을 관찰하기 위한 허가를 제1 컴퓨터 시스템의 사용자에게 부여함). 일부 실시예들에서, 인가 어포던스는 라이브 비디오 통신 세션의 종료를 검출하는 것에 응답하여 (예컨대, 자동적으로) 디스에이블된다. 제1 컴퓨터 시스템이 뷰를 변경하기 위한 인가가 제공되었다는 결정에 기초하여 제2 뷰의 표현을 디스플레이하는 것은, 추가 보안을 제공함으로써 비디오 통신 세션을 향상시키며, 이는 사용자들이 라이브 통신 세션 동안 협업 및/또는 통신하는 방법을 개선한다.

일부 실시예들에서, 물리적 환경의 제3 뷰(예컨대, 도 6aq의 6214 및/또는 6216)(예컨대, 제1 뷰, 제2 뷰, 또는 물리적 환경의 제2 또는 제1 뷰를 디스플레이하기 전 및/또는 후의 상이한 뷰)의 표현을 디스플레이하는 동안, 제1 컴퓨터 시스템은, 하나 이상의 센서들을 통해, 제1 컴퓨터 시스템의 위치의 각자의 변화(예컨대, 6218aq)를 검출한다. 일부 실시예들에서, 제1 컴퓨터 시스템의 위치의 각자의 변화를 검출하는 것에 응답하여, (예컨대, 다른 사용자의 인가에 기초하여 및/또는 뷰가 하나 이상의 카메라들의 시야 내에 있는 것에 기초하여) 제1 컴퓨터 시스템의 위치의 각자의 변화가 물리적 환경의 정의된 부분 내에 있는 각자의 뷰(예컨대, 도 6ax의 6216 및/또는 6214)에 대응한다는 결정에 따라, (예컨대, 도 6ar을 참조하여 설명된 바와 같이) 제1 컴퓨터 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 각자의 뷰의 표현(예컨대, 이미지 및/또는 비디오)을 디스플레이한다. 일부 실시예들에서, 제1 컴퓨터 시스템의 위치의 각자의 변화를 검출하는 것에 응답하여, (예컨대, 다른 사용자의 인가에 기초하여 및/또는 뷰가 하나 이상의 카메라들의 시야 밖에 있는 것에 기초하여) 제1 컴퓨터 시스템의 위치의 각자의 변화가 물리적 환경의 정의된 부분 내에 있지 않은 각자의 뷰(예컨대, 도 6ax의 6216 및/또는 6214)에 대응한다는 결정에 따라, (예컨대, 도 6ar을 참조하여 설명된 바와 같이) 제1 컴퓨터 시스템은 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 환경의 각자의 뷰의 표현(예컨대, 이미지 및/또는 비디오)의 디스플레이를 보류한다(예컨대, 사용자는 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 임계량을 초과하여 관찰하는 것이 방지됨). 각자의 뷰가 물리적 환경의 정의된 부분 내에 있는지 여부에 기초하여 각자의 뷰를 조건부로 디스플레이하는 것은, 추가 보안을 제공함으로써 비디오 통신 세션을 향상시키고, 사용자들이 라이브 통신 세션 동안 협업 및/또는 통신하는 방법을 개선한다.

일부 실시예들에서, 제1 컴퓨터 시스템의 위치의 각자의 변화를 검출하는 것에 응답하여, 제1 컴퓨터의 위치의 각자의 변화가 물리적 환경의 정의된 부분 내에 있지 않은 뷰에 대응한다는 결정에 따라, (예컨대, 도 6ar을 참조하여 설명된 바와 같이) 제1 컴퓨터 시스템은, 제1 디스플레이 생성 컴포넌트를 통해, 물리적 환경의 정의된 부분 내에 있지 않은 물리적 환경의 일부분의 가려진(예컨대, 블러링된 및/또는 그레이 아웃된) 표현(예컨대, 6226)을 디스플레이한다. 일부 실시예들에서, 제1 컴퓨터의 위치의 각자의 변화가 물리적 환경의 정의된 부분 내에 있는 뷰에 대응한다는 결정에 따라, 제1 컴퓨터 시스템은 정의된 부분 내에 있지 않은 물리적 환경의 일부분의 가려진 표현을 디스플레이하는 것을 보류한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 에지를 따라 적어도 일부분을 수정하고, 제2 에지를 따라 적어도 일부분을 수정하는 것을 보류한다. 일부 실시예들에서, 정의된 부분에 도달하는 에지의 적어도 일부분이 수정된다. 그가 정의된 부분 내에 있지 않은 경우 물리적 환경의 일부분의 가려진 표현을 조건부로 디스플레이하는 것은, 그가 컴퓨터 시스템이 요청된 뷰를 디스플레이할 수 없다는 시각적 피드백을 제공하기 때문에(그가 가시 공간의 정의된 부분을 벗어나기 때문에) 컴퓨터 시스템을 향상시킨다.

일부 실시예들에서, 물리적 환경의 제2 뷰는 물리적 환경 내의 물리적 객체를 포함한다. 일부 실시예들에서, 물리적 환경의 제2 뷰의 표현을 디스플레이하는 동안, 제1 컴퓨터 시스템은 물리적 환경 내의 물리적 객체의 이동(예컨대, 6230 및/또는 6232)(예컨대, 물리적 마크의 이동, 한 장의 종이의 이동, 및/또는 사용자의 손의 이동)을 포함하는 이미지 데이터를 획득한다. 일부 실시예들에서, 물리적 객체의 이동을 포함하는 이미지 데이터를 획득하는 것에 응답하여, 제1 컴퓨터 시스템은, 제2 뷰와는 상이하고 물리적 객체를 포함하는 물리적 환경의 제4 뷰(예컨대, 도 6at 및/또는 도 6as의 6214 및/또는 6216)의 표현을 디스플레이한다. 일부 실시예들에서, 물리적 객체는 (예컨대, 제1 컴퓨터 시스템, 제2 컴퓨터 시스템, 또는 원격 서버에 의해) 추적된다. 일부 실시예들에서, 물리적 객체는 제2 뷰에서 제4 뷰에서와 동일한 상대 위치를 갖는다(예컨대, 물리적 객체는 제1 뷰의 중심 및 제4 뷰의 중심에 있음). 일부 실시예들에서, 제2 뷰로부터 제4 뷰로의 뷰의 변화의 양(예컨대, 패닝의 양)은 물리적 객체의 이동의 양에 대응한다(예컨대, 비례함). 일부 실시예들에서, 제2 뷰 및 제4 뷰는 동일한 이미지 데이터의 크롭핑된 부분들이다. 일부 실시예들에서, 제4 뷰는 제2 컴퓨터 시스템의 하나 이상의 카메라들의 배향을 수정하지 않고서 디스플레이된다. 물리적 객체를 포함하는 물리적 환경의 제4 뷰의 표현을 디스플레이하는 것은, 물리적 객체가 물리적 환경을 통해 이동함에 따라 물리적 객체의 뷰가 디스플레이되기 때문에 컴퓨터 시스템을 개선하고, 사용자 인터페이스를 혼란스럽게 하지 않고서 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 제1 컴퓨터 시스템은 (예컨대, 태블릿 컴퓨터, 스마트폰, 랩톱 컴퓨터, 및/또는 데스크톱 컴퓨터와 같은 다른 컴퓨터 시스템을 통해) 제2 디스플레이 생성 컴포넌트(예컨대, 6201)와 (예컨대, 근거리 통신망, 단거리 무선 블루투스 연결, 및/또는 라이브 통신 세션을 통해) 통신한다. 일부 실시예들에서, 제1 컴퓨터 시스템은, 제2 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 사용자(예컨대, 622)의 표현(예컨대, 622-4)을 디스플레이하며, 여기에서 사용자의 표현은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 물리적 환경의 제2 뷰(예컨대, 도 6aq 내지 도 6au의 6214)의 표현과 동시에 디스플레이된다(예컨대, 사용자의 표현 및 제2 뷰의 표현은 상이한 디바이스들에 동시에 디스플레이됨). 하나의 디스플레이 상에 사용자의 표현을 그리고 다른 디스플레이 상에 제2 뷰의 표현을 동시에 디스플레이하는 것은, 사용자가 2개의 디스플레이들을 이용하여 각각의 표현의 뷰를 최대화하도록 허용함으로써 비디오 통신 세션 경험을 향상시키고, 사용자들이 라이브 통신 세션 동안 협업 및/또는 통신하는 방법을 개선한다.

일부 실시예들에서, 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안, 그리고 (예컨대, 도 6an을 참조하여 설명된 바와 같이) 제3 컴퓨터 시스템(예컨대, 600-2)(예컨대, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 및/또는 머리 장착형 디바이스(예컨대, 머리 장착형 증강 현실 및/또는 확장 현실 디바이스))이 제1 세트의 기준들을 만족시킨다는 결정에 따라, 제1 컴퓨터 시스템은 어포던스(예컨대, 6212a, 6212b, 6213a, 및/또는 6213b)가 (예컨대, 제3 컴퓨터 시스템 및/또는 제1 컴퓨터 시스템에) 디스플레이되게 하며, 여기에서 어포던스의 선택은 제2 뷰의 표현이 (예컨대, 제3 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 통해) 제3 컴퓨터 시스템에 디스플레이되게 하고(예컨대, 6212a 및/또는 6213a), 제1 세트의 기준들은 (예컨대, 도 6an을 참조하여 설명된 바와 같이) 제3 컴퓨터 시스템이 제1 컴퓨터 시스템의 임계 거리(예컨대, 물리적 거리, 또는 무선 신호 강도 또는 패턴에 기초하여 결정되는 통신 거리) 내에 있다는 위치 기준을 포함한다. 일부 실시예들에서, 제3 컴퓨터 시스템이 기준들의 세트를 만족시키지 않는다는 결정에 따라, 제1 컴퓨터 시스템은 어포던스가 (예컨대, 각자의 컴퓨터 시스템 및/또는 제1 컴퓨터 시스템에) 디스플레이되게 하는 것을 보류한다. 일부 실시예들에서, 제1 컴퓨터 시스템(또는 선택적으로, 제3 컴퓨터 시스템)에 어포던스를 디스플레이하는 동안, 제1 컴퓨터 시스템(또는 선택적으로, 제3 컴퓨터 시스템)은 어포던스의 선택에 대응하는 사용자 입력을 검출한다. 일부 실시예들에서, 어포던스의 선택에 대응하는 사용자 입력을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제2 뷰의 표현을 디스플레이하는 것을 중지한다. 일부 실시예들에서, 어포던스의 선택에 대응하는 사용자 입력을 검출하는 것에 응답하여, 제3 컴퓨터 시스템은 제2 뷰의 표현을 디스플레이한다. 일부 실시예들에서, 제1 컴퓨터 시스템 및 제3 컴퓨터 시스템은 검출되는 어포던스의 선택의 표시를 통신한다. 일부 실시예들에서, 제1 컴퓨터 시스템 및 제3 컴퓨터 시스템은 각자의 컴퓨터 시스템들의 위치를 통신한다. 일부 실시예들에서, 각자의 컴퓨터 시스템이 임계 거리 내에 있다는 기준은 각자의 컴퓨터 시스템들 사이의 단거리 무선 통신(예컨대, 블루투스 및/또는 근거리 통신망)의 표시(예컨대, 강도 및/또는 존재)에 기초하여 만족된다. 제3 컴퓨터 시스템이 근처에 있을 때 제3 컴퓨터 시스템을 사용하여 제2 뷰를 디스플레이하기 위한 어포던스를 디스플레이하는 것은, 그가 2개의 디스플레이들을 이용하는 데 필요한 입력들의 수를 제한하고, 사용될 가능성이 있는 가장 관련있는 컴퓨터 시스템들을 식별하기 때문에, 컴퓨터 시스템을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시키고, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행한다.

일부 실시예들에서, 제1 세트의 기준들은, 위치 기준과는 상이하고(예컨대, 기준들의 세트는 위치 기준 이외의 적어도 하나의 기준을 포함함) (예컨대, 도 6an을 참조하여 설명된 바와 같이) 제3 컴퓨터 시스템의 특성(예컨대, 배향 및/또는 사용자 계정)에 기초하는 제2 세트의 기준들(예컨대, 제1 세트의 기준들의 서브세트)을 포함한다. 제3 컴퓨터 시스템의 특성에 기초하여 제3 컴퓨터 시스템을 사용하여 제2 뷰를 디스플레이하기 위한 어포던스를 조건부로 디스플레이하는 것은, 그가 제2 뷰를 디스플레이하는 데 사용될 가능성이 있는 관련 컴퓨터 시스템들을 드러내고/드러내거나 제안되는 컴퓨터 시스템들의 수를 제한하기 때문에 컴퓨터 시스템을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시키고, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하며, 사용자 인터페이스를 혼란스럽게 하지 않는다.

일부 실시예들에서, 제2 세트의 기준들은 (예컨대, 도 6an을 참조하여 설명된 바와 같이) 제3 컴퓨터 시스템이 미리결정된 배향에 있을 때 만족되는 배향 기준을 포함한다. 일부 실시예들에서, 미리결정된 배향은 제3 컴퓨터 시스템이 수평이거나 평평한(예컨대, 테이블 상에 놓여 있음) 배향 및/또는 제3 컴퓨터 시스템의 디스플레이가 위로 향하고 있는 배향이다. 일부 실시예들에서, 배향 기준은 (예컨대, 제3 컴퓨터 시스템의 디스플레이가 실질적으로 수평인 평면 상에 있도록) 제3 컴퓨터 시스템의 배향이 미리결정된 범위 내에 있는 각도를 포함한다는 조건을 포함한다. 일부 실시예들에서, 배향 기준은 제3 컴퓨터 시스템의 디스플레이 생성 컴포넌트가 미리결정된 방향을 향하고 있다는(예컨대, 위로 향하고 있고/있거나 아래로 향하고 있지 않다는) 조건을 포함한다. 제3 컴퓨터 시스템이 미리결정된 배향에 있는지 여부에 기초하여 제3 컴퓨터 시스템을 사용하여 제2 뷰를 디스플레이하기 위한 어포던스를 조건부로 디스플레이하는 것은, 그가 제2 뷰를 디스플레이하는 데 사용될 가능성이 있는 관련 컴퓨터 시스템들을 드러내고/드러내거나 제안되는 컴퓨터 시스템들의 수를 제한하기 때문에 컴퓨터 시스템을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시키고, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하며, 사용자 인터페이스를 혼란스럽게 하지 않는다.

일부 실시예들에서, 제2 세트의 기준들은 (예컨대, 도 6an을 참조하여 설명된 바와 같이) 제1 컴퓨터 시스템 및 제3 컴퓨터 시스템이 동일한 사용자 계정(예컨대, 사용자 ID 및 패스워드를 갖는 사용자 계정)과 연관될(예컨대, 그에 로그인되거나 달리 그에 연결될) 때 만족되는 사용자 계정 기준을 포함한다. 일부 실시예들에서, 제1 컴퓨터 시스템은 사용자 ID 및 패스워드와 연관된 사용자 계정에 로그인된다. 일부 실시예들에서, 제3 컴퓨터 시스템은 사용자 ID 및 패스워드와 연관된 사용자 계정에 로그인된다. 제3 컴퓨터 시스템이 동일한 계정에 로그인되는지 여부에 기초하여 제3 컴퓨터 시스템을 사용하여 제2 뷰를 디스플레이하기 위한 어포던스를 조건부로 디스플레이하는 것은, 그가 제2 뷰를 디스플레이하는 데 사용될 가능성이 있는 관련 컴퓨터 시스템들을 드러내고/드러내거나 제안되는 컴퓨터 시스템들의 수를 제한하기 때문에 컴퓨터 시스템을 향상시키며, 이는 동작을 수행하는 데 필요한 입력들의 수를 감소시키고, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하며, 사용자 인터페이스를 혼란스럽게 하지 않는다.

방법(1500)(예컨대, 도 15)과 관련하여 위에서 설명된 프로세스들의 상세사항들은, 또한, 위에서 설명된 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법들(700, 800, 1000, 1200, 1400, 1700, 1900)은, 선택적으로, 방법(1500)을 참조하여 위에서 설명된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법들(700, 800, 1000, 1200, 1400, 1700, 1900)은, 선택적으로, 다른 컴퓨터 시스템의 위치의 변화에 기초하여 업데이트되는 하나의 컴퓨터 시스템에 의해 캡처된 뷰의 표현을 포함하고/하거나, 비디오 통신 세션 동안 사용자가 협업하고 콘텐츠가 관리되는 방법을 개선하기 위해 물리적 마크의 표현 위에 디지털 마크를 적용한다. 간결함을 위해, 이 상세사항들은 본 명세서에서 반복되지 않는다.

도 16a 내지 도 16q는 일부 실시예들에 따른, 표면 뷰를 관리하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이들 도면들의 사용자 인터페이스들은, 도 17의 프로세스들을 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다.

도 16a 내지 도 16q의 John의 디바이스(6100-1)는 도 6af 내지 도 6al의 John의 디바이스(6100-1)와 동일하다. 따라서, John의 디바이스(6100-1) 및 그의 기능들의 상세사항들은 간결함을 위해 아래에서 반복되지 않을 수 있다. 예를 들어, John의 디바이스(6100-1)는, 선택적으로, 디바이스들(100, 300, 500, 및/또는 600-1)의 하나 이상의 특징부들을 포함한다. 사용자(622) 및 표면(619)의 측면도의 개략적인 표현에 도시된 바와 같이, 카메라(6102)는, 사용자(622)의 뷰 및 책상 표면(619)의 뷰를 포함하는, 파선(6145-1)과 파선(6145-2) 사이의 시야를 포함한다. 일부 실시예들에서, 도 16a 내지 도 16q의 기법들은, 선택적으로, 카메라(6102) 이외의 카메라에 의해 캡처된 이미지 데이터에 적용된다. 예를 들어, 일부 실시예들에서, 도 16a 내지 도 16q의 기법들은, 선택적으로, John의 디바이스(6100-1)와 통신하는 외부 디바이스(예컨대, 비디오 통신 세션 동안 John의 디바이스(6100-1)와 통신하는 디바이스)와 연관된 카메라에 의해 캡처된 이미지 데이터를 사용한다.

도 16a 내지 도 16q에 예시된 실시예들은, 선택적으로, 태블릿(예컨대, 디바이스(600-1) 및/또는 Jane의 디바이스(600-2)) 및/또는 Jane의 디바이스(6100-2)와 같은 상이한 디바이스를 사용하여 구현된다는 것이 인식되어야 한다. 따라서, 도 6a 내지 도 6ay와 관련하여 위에서 설명된 다양한 동작들 또는 특징부들은 간결함을 위해 아래에서 반복되지 않는다. 예를 들어, 도 6a 내지 도 6ay와 관련하여 논의된 애플리케이션들, 인터페이스들(예컨대, 604-1, 604-2, 604-4, 6121 및/또는 6131), 및 디스플레이된 요소들(예컨대, 608, 609, 622-1, 622-2, 623-1, 623-2, 624-1, 624-2, 6214, 6216, 6124, 6132, 6122, 6134, 6116, 6140, 및/또는 6142)은 도 16a 내지 도 16q와 관련하여 논의된 애플리케이션들, 인터페이스들(예컨대, 1602 및/또는 1604), 및 디스플레이된 요소들(예컨대, 1602, 6122, 6214, 1606, 1618-1, 623-2, 622-2, 1618-2, 6104, 6106, 6126, 6120, 및/또는 6114)과 유사하다. 따라서, 이들 애플리케이션들, 인터페이스들, 및 디스플레이된 요소들의 상세사항들은 간결함을 위해 아래에서 반복되지 않을 수 있다.

도 16a는 디스플레이(6101), 하나 이상의 카메라들(6102), 및 키보드(6103)(이는, 일부 실시예들에서, 트랙패드를 포함함)를 포함하는 John의 디바이스(6100-1)를 도시한다. John의 디바이스(6100-1)는 위에서 설명된 바와 유사한 애플리케이션들을 포함한다. 묘사된 바와 같이, John의 디바이스(6100-1)는, 디스플레이(6101)를 통해, 카메라 애플리케이션 아이콘(6108) 및 화상 회의 애플리케이션 아이콘(6110)을 디스플레이한다. 예를 들어, 카메라 애플리케이션 아이콘(6108)은 카메라(6102)에 액세스하는 데 사용될 수 있는, John의 디바이스(6100-1) 상에서 동작가능한 카메라 애플리케이션에 대응한다. 추가 예로서, 화상 회의 애플리케이션 아이콘(6110)은, 도 6a 내지 도 6ay를 참조하여 위에서 논의된 것과 유사한 라이브 비디오 통신 세션(예컨대, 화상 통화 및/또는 화상 채팅)을 개시하고/하거나 그에 참가하는 데 사용될 수 있는, John의 디바이스(6100-1) 상에서 동작가능한 화상 회의 애플리케이션에 대응한다. John의 디바이스(6100-1)는, 또한, 디스플레이(6101)를 통해, 도 11a 내지 도 11p의 프레젠테이션 애플리케이션에 대응하는 프레젠테이션 애플리케이션 아이콘(1114), 및 도 13a 내지 도 13k의 노트 애플리케이션에 대응하는 노트 애플리케이션 아이콘(1302)을 디스플레이한다. 도 16a 내지 도 16q가 화상 회의 애플리케이션을 통해 카메라 애플리케이션에 액세스하는 것과 관련하여 설명되지만, 카메라 애플리케이션은 다른 애플리케이션들을 통해 액세스된다. 예를 들어, 일부 실시예들에서, 카메라 애플리케이션은 도 11a 내지 도 11p의 프레젠테이션 애플리케이션 및/또는 도 13a 내지 도 13k의 노트 애플리케이션을 통해 액세스된다. 간결함을 위해, 프레젠테이션 애플리케이션 및/또는 노트 애플리케이션을 통해 표면 뷰를 관리하는 상세사항들은 간결함을 위해 아래에서 반복되지 않는다.

John의 디바이스(6100-1)는, 또한, 동적 영역(6106)에 디스플레이되는 아이콘들의 서브세트를 포함한 다양한 애플리케이션 아이콘들을 포함하는 도크(6104)를 디스플레이한다. 동적 영역(6106)에 디스플레이된 아이콘들은 John의 디바이스(6100-1) 상에서 활성인(예컨대, 개시된, 열린, 및/또는 사용 중인) 애플리케이션들을 표현한다. 도 16a에서, 화상 회의 애플리케이션은 현재 활성이고, 카메라 애플리케이션은 활성이 아니다. 따라서, 화상 회의 애플리케이션 아이콘(6110)을 표현하는 아이콘(6110-1)은 동적 영역(6106)에 디스플레이되는 반면, 카메라 애플리케이션 아이콘(6108)에 대한 아이콘은 동적 영역(6106)에 디스플레이되지 않는다. 일부 실시예들에서, 카메라 애플리케이션은 화상 회의 애플리케이션이 활성인 동안 활성이다. 예를 들어, 카메라 애플리케이션은, 선택적으로, 본 명세서에서 설명된 바와 같이, (예컨대, 표면 뷰가 공유되고 있지 않은 동안에도) 디스플레이될 표면 뷰에 대한 미리보기 인터페이스를 포함한다. 추가 예로서, 카메라 애플리케이션은, 선택적으로, 도 6af 내지 도 6al에서 설명된 바와 같이 표면 뷰를 디스플레이한다.

도 16a에서, John의 디바이스(6100-1)는 디바이스(600-2)(예컨대, 도 16h에 도시된 바와 같은 "Jane의 태블릿")와의 라이브 비디오 통신 세션에 참가하고 있다. 화상 회의 애플리케이션 윈도우(6120)는, 인터페이스(604-1)와 유사하고 도 6a 내지 도 6ay를 참조하여 더 상세히 설명되는 화상 회의 인터페이스(6121)를 포함한다. 화상 회의 인터페이스(6121)는 (예컨대, 표현(623-1)과 유사한) Jane의 비디오 피드(6122) 및 (예컨대, 표현(622-1)과 유사한) John의 비디오 피드(6124)를 포함한다. 화상 회의 인터페이스(6121)는 또한 메뉴 옵션(6126)을 포함하며, 이는 라이브 비디오 통신 세션에서 콘텐츠를 공유하기 위한 상이한 옵션들을 디스플레이하도록 선택될 수 있다. 화상 회의 인터페이스(6121)를 디스플레이하는 동안, John의 디바이스(6100-1)는 메뉴 옵션(6126)을 향한 입력(1650a)(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 선택 입력에 의해 야기되는 커서 입력)을 검출한다. 입력(1650a)을 검출하는 것에 응답하여, 도 16b에 도시된 바와 같이, John의 디바이스(6100-1)는 공유 메뉴(6136)를 디스플레이한다.

도 16b에서, 공유 메뉴(6136)는 공유 옵션들(6136-1, 6136-2, 6136-3)을 포함한다. 공유 옵션(6136-1)은 카메라 애플리케이션으로부터 콘텐츠를 공유하도록 선택될 수 있다. 공유 옵션(6136-2)은 John의 디바이스(6100-1)의 데스크톱으로부터 콘텐츠를 공유하도록 선택될 수 있다. 공유 옵션(6136-3)은 도 11a 내지 도 11p의 프레젠테이션 애플리케이션과 같은 프레젠테이션 애플리케이션으로부터 콘텐츠를 공유하도록 선택될 수 있다. 일부 실시예들에서, 공유 메뉴(6136)는 도 13a 내지 도 13k의 노트 애플리케이션과 같은 노트 애플리케이션으로부터 콘텐츠를 공유하기 위한 옵션을 포함한다. 도 16a 내지 도 16c는 화상 회의 인터페이스(6121)의 디스플레이된 요소들을 향한 사용자 입력들을 검출하는 것에 응답하여 카메라 애플리케이션에서 콘텐츠의 공유를 개시하는 것을 도시하지만, 카메라 애플리케이션으로부터의 콘텐츠의 공유는, 선택적으로, 카메라 애플리케이션의 디스플레이된 요소들을 향한 사용자 입력들을 검출하는 것에 응답하여 개시된다. 예를 들어, 일부 실시예들에서, 카메라 애플리케이션은 카메라 애플리케이션 콘텐츠를 화상 회의 애플리케이션과 공유하기 위한 옵션을 포함하는, 공유 메뉴(6136)와 유사한 공유 메뉴를 포함한다. 그러한 실시예들에서, (본 명세서에서 더 상세히 설명된 바와 같은) 미리보기 사용자 인터페이스(1604)와 유사한 미리보기 사용자 인터페이스가 디스플레이된다. 따라서, 일부 실시예들에서, 표면 뷰를 공유하라는 요청(및/또는 미리보기 사용자 인터페이스(1604)와 유사한 미리보기 사용자 인터페이스를 디스플레이하라는 요청)은, 선택적으로, 비디오 통신 애플리케이션을 개시하기 전에 검출된다. 추가적으로 및/또는 대안적으로, 일부 실시예들에서, 표면 뷰를 공유하라는 요청(및/또는 미리보기 사용자 인터페이스(1604)와 유사한 미리보기 사용자 인터페이스를 디스플레이하라는 요청)은, 선택적으로, 비디오 통신 세션 전에 검출된다. 예를 들어, 그러한 실시예들에서, Jane의 디바이스(600-2)와의 비디오 통신 세션을 개시하기 전에, John의 디바이스(6100-1)는 표면 뷰를 공유하라는 요청(및/또는 미리보기 사용자 인터페이스(1604)와 유사한 미리보기 사용자 인터페이스를 디스플레이하라는 요청)을 검출하고, 이에 응답하여, 미리보기 사용자 인터페이스(1604)와 유사한 미리보기 사용자 인터페이스를 개시한다.

도 16b에서, 공유 메뉴(6136)를 디스플레이하는 동안, John의 디바이스(6100-1)는 공유 옵션(6136-1)을 향한 입력(1650b)(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 입력(1650b)을 검출하는 것에 응답하여, 도 16c에 도시된 바와 같이, John의 디바이스(6100-1)는 카메라 애플리케이션을 개시한다.

도 16c에서, John의 디바이스(6100-1)는 화상 회의 애플리케이션 윈도우(6120) 상에 부분적으로 오버레이되는 카메라 애플리케이션 윈도우(6114)를 디스플레이한다. John의 디바이스(6100-1)는, 또한, 카메라 애플리케이션 윈도우(6114) 내에 미리보기 사용자 인터페이스(1604)를 디스플레이한다. 미리보기 사용자 인터페이스(1604)는 (예컨대, 도 6m에 도시된 표현(624-1)과 유사하게 그리고 도 6a 내지 도 6r과 관련하여 더 상세히 설명된 바와 같이) 표면 뷰로서 디스플레이 및/또는 공유될 미리보기(1606)의 일부분을 조정하는 능력을 제공한다. 묘사된 바와 같이, 미리보기 사용자 인터페이스(1604)는 카메라(6102)에 의해 캡처된 비디오 피드의 미리보기(1604)를 포함한다. 미리보기(1606)는 사용자(622)("John")의 이미지 및 표면(619) 상의 드로잉(618)의 이미지를 포함한다. 미리보기(1606)는 (예컨대, 파선들(6145-1, 6145-2)에 의해 묘사된 바와 같이) 카메라(6102)에 의해 캡처되는 시야의 일부분인 셰이딩된 영역(1608)에 대응한다. 도 16c에 도시된 바와 같이, 미리보기(160) 내의 드로잉(618)의 이미지는 도 6m과 관련하여 더 상세히 설명된 관점과는 상이한 관점으로 디스플레이된다. 예를 들어, 미리보기(1606) 내의 드로잉(618)의 이미지는 도 6m과 관련하여 설명되는 톱 다운 관점 뷰와는 대조적으로 측면 관점 뷰를 갖는 것으로 디스플레이된다. 도 16c에 예시된 실시예에서, John의 디바이스(6100-1)는 카메라 애플리케이션 윈도우(6114) 내에 톱 다운 미리보기(1613)를 디스플레이한다. 톱 다운 미리보기(1613)는 아래에서 설명되는 영역 표시자(1610)에 의해 표시되는 미리보기(1606)의 일부분의 (예컨대, 도 6m과 관련하여 더 상세히 설명된 624-1과 같은) 톱 다운 관점 뷰를 디스플레이한다. 일부 실시예들에서, 톱 다운 미리보기(1613)는 사용자 입력(예컨대, 선택 및 드래그 입력)을 통해 카메라 애플리케이션 윈도우(6114) 내의 상이한 위치로 이동될 수 있는 상호작용형 요소 또는 윈도우이다. 일부 실시예들에서, 톱 다운 미리보기(1613)는 사용자 입력(예컨대, 클릭, 탭, 톱 다운 미리보기(1613)의 코너 상에서의 드래그 입력, 확장 또는 축소 버튼의 선택, 핀치 제스처, 및/또는 핀치해제 제스처)에 응답하여 크기조정될 수 있다. 예를 들어, 일부 실시예들에서, 제1 입력(예컨대, 제1 클릭, 톱 다운 미리보기(1613)의 내부로부터 멀리 코너를 드래그하는 것, 또는 핀치해제 제스처)을 검출하는 것에 응답하여, 디바이스(6100-1)는 하나 이상의 치수들에서 톱 다운 미리보기(1613)의 크기를 증가시키고(예컨대, 그를 확대 및/또는 확장시킴); 제1 제스처와는 상이한 제2 입력(예컨대, 제2 클릭, 톱 다운 미리보기(1613)의 내부를 향해 코너를 드래그하는 것, 또는 핀치 제스처)을 검출하는 것에 응답하여, 디바이스(6100-1)는 하나 이상의 치수들에서 톱 다운 미리보기(1613)의 크기를 감소시킨다(예컨대, 그를 축소시킴).

도 16c에서, 미리보기 사용자 인터페이스(1604)는 영역 표시자(1610), 및 영역 표시자(1610)를 조정하는 데 사용되는 영역 제어부(1612)를 포함한다. 영역 표시자(1610)는, 대체적으로, 표면 뷰로서 외부 디바이스에 제공될 영역(1616)의 표시를 제공한다. 영역 표시자(1610)는 영역(1616)을 둘러싸는(또는 적어도 부분적으로 둘러싸는) 에지들을 갖는다. 묘사된 바와 같이, 영역 표시자(1610)는 표면 뷰로서 제공될 미리보기의 일부분에 대응하는 외관(예컨대, 형상)을 포함한다. 예를 들어, 영역 표시자(1610)의 외관은 도 16j에 도시된 표면 뷰들(1618-1, 1618-2)과 같은 표면 뷰를 제공하기 위해 영역(1616)에 적용될 보정(예컨대, 스큐 보정)에 대응한다. 일부 실시예들에서, 영역 표시자(1610)를 사용하여 영역(1616)을 정의하는 것에 추가적으로 또는 대안적으로, 영역(1616)은 다른 영역에 비한 하나의 영역의 셰이딩(및/또는 디밍)에 기초하여 정의된다. 예를 들어, 그러한 실시예들에서, John의 디바이스(6100-1)는 표면 뷰로서 제공되지 않을 영역(예컨대, 영역 표시자(1610) 외측의 영역)에 셰이딩을 적용하는 반면, John의 디바이스(6100-1)는 표면 뷰로서 제공될 영역(예컨대, 영역 표시자(1610) 내측의 영역)에 셰이딩을 적용하지 않는다.

도 16c에서, 설명된 바와 같이, 영역 제어부(1612)는, 대체적으로, 사용자가 영역 표시자(1610) 및/또는 영역(1616)을 조정하도록 허용한다. 영역 제어부(1612)는, 선택적으로, 표면 뷰로서 제공되는 시야의 영역(예컨대, 영역(1616))을 증가 및/또는 감소시키도록 영역 표시자(1610) 및/또는 영역(1616)을 조정한다. 본 명세서에서 더 상세히 설명된 바와 같이, 영역 표시자(1610) 및/또는 영역(1616)의 일부분들은 영역 표시자(1610) 및/또는 영역(1616)의 다른 부분들의 위치가 이동되는 동안 (예컨대, 카메라(6102)의 시야에 대해) 고정 위치에 유지된다. 예를 들어, 영역 표시자(1610)의 하부 에지(1614)는 영역 표시자(1610)의 다른 에지들(예컨대, 에지(1620) 및/또는 측부 에지들(1622))이 이동함에 따라 고정된 상태로 유지되어, 그에 의해, 사용자가 표면 뷰로서 공유되는 시야의 일부분들을 확장 또는 축소시키도록(그리고 예를 들어, 표면(619)의 에지를 벗어난 시야의 일부분들의 공유를 제한하도록) 허용한다. 일부 실시예들에서, 도 16c에 도시된 바와 같이, 미리보기 사용자 인터페이스(1604)는 영역 표시자(1610)를 조정하는 방법을 나타내는, 미리보기(1606) 상에 오버레이되는 표시(1642)를 포함한다.

일부 예들에서, 도 16c에 도시된 바와 같이, 미리보기 사용자 인터페이스(1604)는 타깃 구역 표시자(1611)를 포함한다. 타깃 구역 표시자(1611)는 구역 표시자(1610)에 대한 추천된(예컨대, 최적) 위치를 나타낸다. 일부 실시예들에서, 타깃 구역 표시자(1611)의 위치는 미리보기(1606) 내의 표면(예컨대, 책 또는 한 장의 종이와 같은 드로잉 표면)과 정렬되도록(예컨대, 그 상에 중심설정되거나 그의 임계 거리 내에 있도록) 선택된다. 일부 실시예들에서, 타깃 구역 표시자(1611)의 위치는 미리보기(1606) 내의 표면의 에지(예컨대, 테이블 또는 드로잉 표면의 에지)와 정렬되도록(예컨대, 그의 임계 거리 내에 있도록) 선택된다. 일부 실시예들에서, 타깃 구역 표시자(1611)의 위치는 미리보기(1606) 내의 사용자와 정렬되도록(예컨대, 그의 중심 위치의 임계 거리 내에 있도록) 선택된다. 도 16c에서, 타깃 구역 표시자(1611)는 미리보기(1606) 내의 사용자(622) 및 드로잉(618)의 이미지들과 수평으로 또는 측방향으로 정렬되고, 타깃 구역 표시자(1611)의 상단 에지가 표면(619)의 에지와 정렬되도록 수직으로 위치된다. 일부 실시예들에서, 도 16c에 도시된 바와 같이, 타깃 구역 표시자(1611)는 영역 표시자(1610)와 동일한 형상, 비율들, 및/또는 종횡비를 가져서, 영역 표시자(1610)가 타깃 구역 표시자(1611)와 매칭되도록 조정될 수 있게 한다.

도 16c에서, 일부 실시예들에서, John의 디바이스(6100-1)는 표면(619) 이외의 표면 뷰에 대한 미리보기 사용자 인터페이스(1604)를 디스플레이한다. 일부 실시예들에서, 영역 표시자(1610)는 카메라(6102)의 시야에 있는, 벽, 화이트보드, 및/또는 이젤과 같은 수직 표면의 이미지 상에 오버레이된다. 추가적으로 또는 대안적으로, 도 16a 내지 도 16q는 카메라 애플리케이션이 미리보기 사용자 인터페이스(1604)를 생성하는 데 사용되는 것과 관련하여 설명되지만, 카메라 애플리케이션 이외의 애플리케이션이, 선택적으로, 미리보기 사용자 인터페이스(1604)를 생성하는 데 사용된다. 예를 들어, 일부 실시예들에서, 미리보기 사용자 인터페이스(1604)는 도 6h 내지 도 6j 및/또는 도 7의 방법(700)을 참조하여 설명된 미리보기 모드와 같은, 화상 회의 애플리케이션의 미리보기 모드에서 디스플레이된다. 그러한 실시예들에서, 예를 들어, 화상 회의 애플리케이션은 (예컨대, 도 6h 내지 도 6j와 관련하여 더 상세히 설명된 옵션 메뉴(608)를 향한 사용자 입력들과 유사한) 옵션 메뉴(1602)를 향한 사용자 입력들을 검출하는 것과 같은, 디바이스(1600-1)가 표면 뷰를 공유하라는 요청을 검출하는 것에 응답하여 미리보기 모드에서 동작한다.

도 16c에서, 일부 실시예들에서, John의 디바이스(6100-1)는 화상 회의 애플리케이션 윈도우(6120)의 선택, 아이콘(6110-1)의 선택, 및/또는 화상 회의 애플리케이션 윈도우(6120) 상에서의 입력을 검출하는 것에 응답하여 화상 회의 애플리케이션 윈도우(6120)를 전방 또는 전경으로 가져올 수 있다(예컨대, 카메라 애플리케이션 윈도우(6114) 상에 부분적으로 오버레이될 수 있음). 일부 실시예들에서, 도 6c에서, 화상 회의 애플리케이션 윈도우(6120)를 디스플레이하라고 요청하는 사용자 입력들을 검출하는 것에 응답하여, John의 디바이스(6100-1)는 도 6a에 도시된 화상 회의 애플리케이션 윈도우(6120)와 유사한 화상 회의 애플리케이션 윈도우를 디스플레이한다(예컨대, 여기에서 화상 회의 인터페이스(6121)는 표면 뷰를 포함하지 않음). 유사하게, John의 디바이스(6100-1)는 카메라 애플리케이션 아이콘(6108)의 선택, 아이콘(6108-1)의 선택, 및/또는 카메라 애플리케이션 윈도우(6114) 상에서의 입력을 검출하는 것에 응답하여 카메라 애플리케이션 윈도우(6114)를 전방 또는 전경으로 가져올 수 있다(예컨대, 화상 회의 애플리케이션 윈도우(6120) 상에 부분적으로 오버레이될 수 있음). 추가적으로, John의 디바이스(6100-1)가 카메라 애플리케이션을 개시하였기 때문에, 카메라 애플리케이션 아이콘(6108-1)이 도크(6104)의 동적 영역(6106)에 디스플레이되어, 카메라 애플리케이션이 활성임을 나타낸다.

도 16c에서, 미리보기 사용자 인터페이스(1604)를 디스플레이하는 동안, John의 디바이스(6100-1)는 영역 제어부(1612)를 향한 입력(1650c)(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 입력(1650c)을 검출하는 것에 응답하여, 도 16d에 도시된 바와 같이, John의 디바이스(6100-1)는 업데이트된 영역(1616)과 함께 미리보기 사용자 인터페이스(1604)를 디스플레이한다.

도 16d에서, John의 디바이스(6100-1)는 미리보기(1606)의 새로운 부분이 표면 뷰로서 포함될 것임을 나타내도록 영역(1616) 및/또는 영역 표시자(1610)를 업데이트한다. 특히, 도 16d의 영역(1616)은 도 16c의 영역(1616)보다 더 크다. 추가적으로, 영역(1616) 및/또는 영역 표시자(1610)의 일부 부분들은 이동한 반면, 다른 부분들은 (예컨대, 시야 내의 각자의 위치에) 고정된 상태로 유지되었다. 예를 들어, 도 16d의 영역 표시자(1610)의 에지(1614)의 위치는 도 16c의 영역 표시자(1610)의 에지(1614)의 위치와 동일하다. 한편, 에지(1620) 및 측부 에지들(1622)은 이동하였다. 예를 들어, 도 16d의 영역 표시자(1610)의 에지(1620)는 도 16c의 영역 표시자(1610)의 에지(1620)와 비교하여 표면(619)의 에지(예컨대, 책상의 에지)에 더 가깝다. 추가 예로서, 도 16d의 영역 표시자(1610)의 측부 에지들(1622)은 도 16c의 영역 표시자(1610)의 측부 에지들(1622)과 비교하여 서로 더 멀리 떨어져 있다. 도 16d에서, 영역 표시자(1610)의 외관은 도 16h에 도시된 표면 뷰들(1618-1, 1618-2)과 같은 표면 뷰에 의해 제공될(및/또는 제공되는) 관점에 대응한다. 톱 다운 미리보기(1613)는 도 16d에서 영역(1616)의 톱 다운 뷰를 디스플레이하도록 (예컨대, 도 16c와 비교하여) 업데이트된다.

도 16d에서, 영역 표시자(1610)에 의해 표시되는 미리보기(1606)의 일부분은 도 16c에 도시된 타깃 구역 표시자(1611)에 의해 표시되는 일부분과 매칭된다. 그 결과, 영역 표시자(1610)의 외관은 영역 표시자(1610)가 타깃 구역 표시자(1611)와 정렬되지 않을 때의 영역 표시자(1610)의 외관(예컨대, 도 16c의 영역 표시자(1610)의 외관)과 비교하여 도 16d에서 강조된다(예컨대, 굵게 표시되고/되거나 강조 표시되고/되거나 채워짐).

도 16d에서, 미리보기 사용자 인터페이스(1604)를 디스플레이하는 동안, John의 디바이스(6100-1)는 영역 제어부(1612)를 향한 입력(1650d)(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 입력(1650d)을 검출하는 것에 응답하여, 도 16e에 도시된 바와 같이, John의 디바이스(6100-1)는 업데이트된 영역(1616)과 함께 미리보기 사용자 인터페이스(1604)를 디스플레이한다.

도 16e에서, John의 디바이스(6100-1)는 미리보기(1606)의 새로운 부분이 표면 뷰로서 포함될 것임을 나타내도록 영역(1616) 및/또는 영역 표시자(1610)를 업데이트한다. 특히, 도 16e의 영역(1616)은 도 16d의 영역(1616)보다 더 크다. 추가적으로, 영역(1616) 및/또는 영역 표시자(1610)의 일부 부분들은 이동한 반면, 다른 부분들은 (예컨대, 시야 내의 각자의 위치에) 고정된 상태로 유지되었다. 예를 들어, 도 16e의 영역 표시자(1610)의 에지(1614)의 위치는 도 16d의 영역 표시자(1610)의 에지(1614)의 위치와 동일하다. 한편, 에지(1620) 및 측부 에지들(1622)은 이동하였다. 예를 들어, 도 16e의 영역 표시자(1610)의 에지(1620)는 도 16d의 영역 표시자(1610)의 에지(1620)와 비교하여 표면(619)의 에지를 지나(예컨대, 그리고 사용자(622)의 몸통의 이미지를 포함하는 이미지의 일부분 위로) 이동하였다. 추가 예로서, 도 16e의 영역 표시자(1610)의 측부 에지들(1622)은 도 16d의 영역 표시자(1610)의 측부 에지들(1622)과 비교하여 서로 더 멀리 떨어져 있다. 도 16e에서, 영역 표시자(1610)의 외관은 도 16h에 도시된 표면 뷰들(1618-1, 1618-2)과 같은 표면 뷰에 의해 제공될(및/또는 제공되는) 관점에 대응한다.

톱 다운 미리보기(1613)는 도 16e에서 영역(1616)의 톱 다운 뷰를 디스플레이하도록 (예컨대, 도 16d와 비교하여) 업데이트된다. 도 16e에서, 영역 표시자(1610)에 의해 표시되는 미리보기(1606)의 일부분은 타깃 구역 표시자(1611)에 의해 표시되는 일부분과 매칭되지 않는다. 그 결과, 영역 표시자(1610)의 외관은 강조되지 않는다.

도 16e에서, 미리보기 사용자 인터페이스(1604)를 디스플레이하는 동안, 카메라(6102)는 John의 디바이스(6100-1)의 이동(1650e)에 응답하여 이동된다. 이동(1650e)에 응답하여, 도 16f에 도시된 바와 같이, John의 디바이스(6100-1)는 미리보기 사용자 인터페이스(1604)를 디스플레이한다. 일부 실시예들에서, 도 16e에서 미리보기 사용자 인터페이스(1604)를 디스플레이하는 동안, John의 디바이스(6100-1)는, 예를 들어 패닝 및/또는 주밍함으로써, 카메라(6102)의 시야의 상이한 부분을 디스플레이하라는 요청에 대응하는 입력(예컨대, 도 6s 내지 도 6ac를 참조하여 설명된 제스처 및/또는 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 그러한 실시예들에서, 입력을 검출하는 것에 응답하여(예컨대, 그리고 카메라(6102) 및/또는 John의 디바이스(6100-1)의 물리적 이동 없이), John의 디바이스(6100-1)는 (예컨대, 이미지 데이터를 패닝 및/또는 주밍하는 것에 기초하여) 시야의 새로운 부분을 포함하는 업데이트된 미리보기와 함께 미리보기 사용자 인터페이스를 디스플레이한다.

도 16f에서, 도 16e에서의 이동(1650e)의 결과로서, 카메라(6102)는 물리적 환경의 새로운 부분을 캡처한다. 이와 같이, 미리보기(1606)는 물리적 환경의 새로운 부분의 이미지를 포함한다. 묘사된 바와 같이, John의 디바이스(6100-1)는 물리적 환경의 새로운 부분의 이미지를 포함하는 미리보기(1606) 위에 영역 표시자(1610)를 디스플레이한다. 추가적으로, 영역 표시자(1610)(및/또는 영역(1616))의 적어도 일부분은 미리보기 사용자 인터페이스(1604) 내에 그리고/또는 카메라의 시야에 대해 고정된 상태로 유지된다. 예를 들어, 에지(1614)와 같은 영역 표시자(1610)(및/또는 영역(1616))의 일부분은 미리보기 사용자 인터페이스(1604) 내에 고정된 상태로 유지된다. 영역 표시자(1610)(및/또는 영역(1616))의 다른 부분들도, 선택적으로, 고정된 상태로 유지된다. 묘사된 바와 같이, 에지(1620) 및/또는 측부 에지들(1622)을 포함한 영역 표시자(1610)(및/또는 영역(1616))는 도 16f의 미리보기 사용자 인터페이스(1604)에 대해 도 16e의 영역 표시자(1610)(및/또는 영역(1616))의 위치와 동일한 위치에 있다. 일부 실시예들에서, 에지(1614), 에지(1620) 및/또는 측부 에지들(1622)을 포함한 영역 표시자(1610)(및/또는 영역(1616))는 미리보기 사용자 인터페이스(1604) 내에 그리고/또는 카메라의 시야에 대해 고정된 상태로 유지되지 않는다. 톱 다운 미리보기(1613)는 도 16f에서 영역(1616)의 톱 다운 뷰를 디스플레이하도록 (예컨대, 도 16e와 비교하여) 업데이트된다.

추가적으로 또는 대안적으로, 일부 실시예들에서, John의 디바이스(6100-1)는 미리보기(1606) 내에 디스플레이되는 시각적 콘텐츠의 변화 및/또는 시야 내의 물리적 환경의 변화(예컨대, 표면(619)의 크기 및/또는 길이의 차이 및/또는 표면(619) 상에서 검출되는 객체들의 차이)에 기초하여 영역 표시자(1610)(및/또는 영역(1616))의 크기를 수정한다. 일부 실시예들에서, John의 디바이스(6100-1)는 미리보기(1606) 내에 디스플레이되는 시각적 콘텐츠의 변화 및/또는 시야 내의 물리적 환경의 변화에 기초하여 영역 표시자(1610)(및/또는 영역(1616))의 크기를 수정하지 않는다(예컨대, 영역 표시자(1610) 및/또는 영역(1616)의 크기는 미리보기(1606) 내에 디스플레이되는 시각적 콘텐츠 및/또는 시야 내의 물리적 환경의 변화와 독립적임).

일부 실시예들에서, 도 16e에서의 이동(1650e) 동안, 타깃 구역 표시자는, 타깃 구역 표시자(1611a)에 의해 표현된 바와 같이, 미리보기(1606)에 의해 표현되는 물리적 환경, 드로잉(618) 및/또는 표면(619)에 대해 고정된 상태로 유지된다(예컨대, 미리보기 사용자 인터페이스(1604) 내에서 그리고/또는 영역 표시자(1610)에 대해 이동함). 일부 실시예들에서, 도 16e에서의 이동(1650e)의 결과로서, 타깃 구역 표시자는, 타깃 구역 표시자(1611b)에 의해 표현된 바와 같이, 미리보기(1606)에 의해 표현되는 물리적 환경에 대해 이동하고(예컨대, 영역 표시자(1610)와 함께 이동함), 미리보기 사용자 인터페이스(1604)에 대해 동일한 위치를 유지한다. 일부 실시예들에서, 타깃 구역 표시자(1611a)가 디스플레이되거나, 타깃 구역 표시자(1611b)가 디스플레이되지만, 둘 모두 디스플레이되지는 않는다.

도 16f에서, 미리보기 사용자 인터페이스(1604)를 디스플레이하는 동안, 카메라(6102)는 John의 디바이스(6100-1)의 이동(1650f)에 응답하여 이동된다. 이동(1650f)에 응답하여, 도 16g에 도시된 바와 같이, John의 디바이스(6100-1)는 미리보기 사용자 인터페이스(1604)를 디스플레이한다. 일부 실시예들에서, 도 16f의 미리보기 사용자 인터페이스(1604)를 디스플레이하는 동안, John의 디바이스(6100-1)는 카메라(6102)의 시야의 상이한 부분을 디스플레이하라는 요청에 대응하는 입력(예컨대, 도 6s 내지 도 6ac를 참조하여 설명된 제스처 및/또는 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 그러한 실시예들에서, 입력을 검출하는 것에 응답하여(예컨대, 그리고 카메라(6102) 및/또는 John의 디바이스(6100-1)의 물리적 이동 없이), John의 디바이스(6100-1)는 도 16g에 도시된 바와 같이 미리보기 인터페이스(1604)와 유사한 미리보기 사용자 인터페이스를 디스플레이한다.

도 16g에서, 카메라(6102)는 도 16e에서와 동일한 위치에 있다. 이와 같이, 도 16g의 미리보기 사용자 인터페이스(1604)의 디스플레이된 요소들(예컨대, 미리보기(1606), 영역 표시자(1610), 타깃 구역 표시자(1611), 톱 다운 미리보기(1613), 및/또는 영역(1616))은 도 16e의 미리보기 사용자 인터페이스(1604)의 디스플레이된 요소들과 동일하다.

도 16g에서, 미리보기 사용자 인터페이스(1604)는 표면 뷰 어포던스(1624)를 포함한다. 표면 뷰 어포던스(1624)는, 대체적으로, 영역(1616)에 포함되고/되거나 영역 표시자(1610)에 의해 정의되는 시야의 일부분의 공유(또는 선택적으로, 디스플레이)를 개시한다. 표면 뷰 어포던스(1624)는 미리보기 사용자 인터페이스(1604)의 코너에 위치되는 것으로 묘사되어 있지만, 표면 뷰 어포던스(1624)는, 선택적으로, 미리보기 사용자 인터페이스(1604)의 다른 부분에 위치된다. 예를 들어, 일부 실시예들에서, 표면 뷰 어포던스(1624)는 영역 표시자(1610) 및/또는 영역(1616)의 에지(1614)와 표시(1642) 사이에 디스플레이된다(예컨대, 표면 뷰 어포던스(1624)는, 표시(1642) 아래에 있고/있거나 미리보기 사용자 인터페이스(1604) 내에 실질적으로 중심설정되는 미리보기(1606)의 일부분에 디스플레이됨). 그러한 실시예들에서, 표면 뷰 어포던스(1624)는, 선택적으로, 영역 표시자(1610) 및/또는 영역(1616)의 크기에 기초하여 에지(1620) 및/또는 영역(1616)의 일부분 상에 오버레이된다. 미리보기 사용자 인터페이스(1604)를 디스플레이하는 동안, John의 디바이스(6100-1)는 표면 뷰 어포던스(1624)를 향한 입력(1650g)(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 입력(1650g)을 검출하는 것에 응답하여, 도 16h에 도시된 바와 같이, John의 디바이스(6100-1)는 표면 뷰(1618-1)를 디스플레이한다. 추가적으로, John의 디바이스(6100-1)는 (예컨대, 표면 뷰에 대응하는 이미지 데이터를 통신하는 것에 기초하여) Jane의 디바이스(600-2)로 하여금 디스플레이(683)를 통해 표면 뷰(1618-2)를 디스플레이하게 한다.

도 16h에서, John의 디바이스(6100-1) 및 Jane의 디바이스(600-2)는 각각 표면 뷰들(1618-1, 1618-2)을 디스플레이한다. 구체적으로, 표면 뷰(1618-1)는 화상 회의 애플리케이션 윈도우(6120)의 화상 회의 인터페이스(6121)에 포함되고, 표면 뷰(1618-2)는 화상 회의 인터페이스(604-2)(이는 도 6a 내지 도 6ae 및/또는 도 6ao 내지 도 6ay의 인터페이스(604-2)와 유사함)에 포함된다. 표면 뷰들(1618-1, 1618-2)은, 영역(1616)에 포함되고/되거나 영역 표시자(1610)에 의해 정의되는 일부분이 도 16g에서 미리보기(1606)에 의해 제공되는 관점과는 상이한 관점을 제공하도록 (예컨대, 회전 및/또는 스큐에 기초하여 그리고 예를 들어, 도 6a 내지 도 6r과 관련하여 더 상세히 설명된 바와 같이) 보정되었지만, 도 16g에서 영역(1616)에 포함되고/되거나 영역 표시자(1610)에 의해 정의되는 시야의 동일한 부분에 대응한다. 추가적으로, 표면 뷰들(1618-1, 1618-2)은, 아래에서 더 상세히 설명되는 바와 같이, 카메라(6102)의 시야의 셰이딩된 영역(1630)에 대응하는 이미지들을 포함한다.

도 16h에서, 미리보기 사용자 인터페이스(1604) 및 카메라 애플리케이션 윈도우(6114)는, 애플리케이션 아이콘(6108-1)이 동적 영역(6106)에 더 이상 디스플레이되지 않는 것에 의해 묘사된 바와 같이 닫혀 있다. 일부 실시예들에서, 도 16g에서의 입력(1650g)에 응답하여, John의 디바이스(6100-1)는 미리보기 사용자 인터페이스(1604) 및/또는 카메라 애플리케이션 윈도우(6114)를 닫는다. 일부 실시예들에서, 미리보기 사용자 인터페이스(1604) 및/또는 카메라 애플리케이션 윈도우(6114)는 도 16g의 입력(1650g)을 검출하는 것에 응답하여 활성 상태로 유지된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, (예컨대, 메뉴 옵션(6126) 및/또는 카메라 애플리케이션 아이콘(6108)을 향한) 하나 이상의 입력들을 검출하는 것에 응답하여, John의 디바이스(6100-1)는 표면 뷰들(1618-1, 1618-2)을 관리하기 위해 닫힌 후 미리보기 사용자 인터페이스(1604) 및/또는 카메라 애플리케이션 윈도우(6114)를 디스플레이한다(그리고/또는 재디스플레이함).

도 16h에서, 표면 뷰(1618-1)는 John의 비디오 피드(6124) 및 Jane의 비디오 피드(6122)와 동시에 디스플레이되는 한편, 표면 뷰(1618-2)는 표현들(622-2, 623-2)(이는 도 6a 내지 도 6ae 및/또는 도 6ao 내지 도 6ay와 관련하여 더 상세히 설명됨)과 동시에 디스플레이된다. 일부 실시예들에서, 표면 뷰(1618-1)는 (예컨대, 표면 뷰(1618-1)를 디스플레이하는 것에 응답하여 그리고/또는 John의 비디오 피드(6124) 및 Jane의 비디오 피드(6122)를 제거하기 위한 하나 이상의 사용자 입력들을 검출하는 것에 응답하여) John의 비디오 피드(6124) 및 Jane의 비디오 피드(6122)와 동시에 디스플레이되지 않는다. 유사하게, 일부 실시예들에서, 표면 뷰(1618-2)는 (예컨대, 표면 뷰(1618-2)를 디스플레이하는 것에 응답하여 그리고/또는 표현(622-2) 및 표현(623-2)을 제거하기 위한 하나 이상의 사용자 입력들을 검출하는 것에 응답하여) 표현들(622-2, 623-2)과 동시에 디스플레이되지 않는다.

도 16h에서, 화상 회의 인터페이스(6121)를 디스플레이하는 동안, John의 디바이스(6100-1)는 커서의 위치를 변경하는 입력(1650h)(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 일부 실시예들에서, 입력(1650h)은 표면 뷰(1618-1) 위에 있지 않은 것(예컨대, 도 16h에 도시된 바와 같이, 표면 뷰(1618-1)의 위치에 대응하지 않는 위치를 갖는 것)으로부터 표면 뷰(1618-1) 위에 있는 것(예컨대, 도 16i에 도시된 바와 같이, 표면 뷰(1618-1)의 위치에 대응하는 위치를 갖는 것)으로의 커서의 이동에 대응한다. 입력(1650h)을 검출하는 것에 응답하여(그리고/또는 표면 뷰(1618-1)의 위치에 대응하는 커서의 위치에 기초하여), 도 16i에 도시된 바와 같이, John의 디바이스(6100-1)는, 예컨대 화상 회의 인터페이스(6121) 내에, 영역 제어부(1628)를 디스플레이한다.

도 6i에서, 화상 회의 인터페이스(6121)는, 도 16c 내지 도 16g의 영역 제어부(1612)와 유사하지만 상이한 상태를 갖는 영역 제어부(1628)를 포함한다. 영역 제어부(1628)는, 대체적으로, (예컨대, 미리보기 사용자 인터페이스(1604)와는 대조적으로) 화상 회의 인터페이스(6121) 내에 디스플레이되고, 사용자로 하여금 표면 뷰(1618-1)가 디스플레이되고 있는 동안 시야의 어떤 부분이 디스플레이되는지를 수정하도록 허용한다. 일부 실시예들에서, 영역 제어부(1628)는 (예컨대, 일부 실시예들에서, 실시간으로 표면 뷰(1618-1)를 업데이트하지 않는 미리보기 사용자 인터페이스(1604) 내의 영역 제어부(1612)의 변화와는 대조적으로) 라이브 방식으로 그리고/또는 실시간으로 표면 뷰를 업데이트하는 능력을 사용자에게 제공한다.

도 16i에서, 카메라(6102)의 시야의 셰이딩된 영역(1630)은 표면 뷰들(1618-1, 1618-2)에 포함된 물리적 환경의 일부분을 개략적으로 묘사한다. 도 16i에 도시된 바와 같이, 셰이딩된 영역(1630)은 표면(619)의 에지를 지나 연장되고, 사용자(622)의 몸통까지 연장된다. 따라서, 표면 뷰들(1618-1, 1618-2)은 표면(619)의 에지 및 사용자(622)의 몸통의 이미지(도 16h에 또한 도시됨)를 포함한다. 도 16i에서, 화상 회의 인터페이스(6121)를 디스플레이하는 동안, John의 디바이스(6100-1)는 영역 제어부(1628)를 향한 입력(1650i)(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 입력(1650i)을 검출하는 것에 응답하여, 도 16j에 도시된 바와 같이, John의 디바이스(6100-1)는 업데이트된 표면 뷰를 포함하는 화상 회의 인터페이스(6121)를 디스플레이한다.

도 16j에서, John의 디바이스(6100-1)는 표면 뷰(1618-1)를 업데이트하였고, 표면 뷰(1618-2)가 업데이트되게 하였다. 도 16i의 표면 뷰들(1618-1, 1618-2)과 비교하여, 표면 뷰들(1618-1, 1618-2)은 드로잉(618)의 이미지를 포함하고, 표면(619)의 에지와 드로잉(618)의 드로잉 표면의 에지 사이에 위치되는 표면(619)의 일부분의 이미지를 포함하지 않는다. 추가적으로, 도 16i의 표면 뷰들(1618-1, 1618-2)은 사용자(622)의 몸통의 이미지를 더 이상 포함하지 않는다. 표면 뷰들(1618-1, 1618-2)에 대한 업데이트들은, 또한, 셰이딩된 영역(1630)의 변화에 의해 묘사된다. 예를 들어, 도 16i의 셰이딩된 영역(1630)의 면적은 도 16j의 셰이딩된 영역(1630)의 면적에 대해 변경되었다. 묘사된 바와 같이, 도 16j의 셰이딩된 영역(1630)은 (예컨대, 도 16i에 도시된 바와 같이, 표면(619)의 에지를 지나서와는 대조적으로) 드로잉(618)의 드로잉 표면의 에지까지 연장된다.

도 16j에서, 표면 뷰들(1618-1, 1618-2)의 특정 경계들은 확장된 반면, 다른 경계들은 (예컨대, 시야 내의 각자의 위치에) 고정된 상태로 유지되었다. 예를 들어, 도 16j의 표면 뷰들(1618-1, 1618-2)의 경계(1638)의 위치는 도 16i의 표면 뷰들(1618-1, 1618-2)의 경계(1638)의 위치와 동일하다. 그러나, 도 16j의 표면 뷰들(1618-1, 1618-2)의 경계들(1640)의 위치는 도 16i의 표면 뷰들(1618-1, 1618-2)의 경계들(1640)의 위치와 비교하여 변경되었다. 화상 회의 인터페이스(6121)를 디스플레이하는 동안, John의 디바이스(6100-1)는 영역 제어부(1628)를 향한 입력(1650j)(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 입력(1650j)을 검출하는 것에 응답하여, 도 16k에 도시된 바와 같이, John의 디바이스(6100-1)는 업데이트된 표면 뷰를 포함하는 화상 회의 인터페이스(6121)를 디스플레이한다.

도 16k에서, John의 디바이스(6100-1)는 표면 뷰(1618-1)를 업데이트하였고, 표면 뷰(1618-2)가 업데이트되게 하였다. 도 16l의 표면 뷰들(1618-1, 1618-2)과 비교하여, 표면 뷰들(1618-1, 1618-2)은 드로잉(618)의 이미지를 포함하고, 표면(619)의 에지와 드로잉(618)의 드로잉 표면의 에지 사이에 위치되는 표면(619)의 일부분의 이미지를 포함한다. 표면 뷰들(1618-1, 1618-2)에 대한 업데이트들은, 또한, 셰이딩된 영역(1630)의 변화에 의해 묘사된다. 예를 들어, 도 16k의 셰이딩된 영역(1630)의 면적은 도 16j의 셰이딩된 영역(1630)의 면적에 대해 변경되었다. 묘사된 바와 같이, 도 16k의 셰이딩된 영역(1630)은 (예컨대, 도 16j에 도시된 바와 같이, 드로잉(618)의 드로잉 표면의 에지와는 대조적으로) 표면(619)의 에지까지 연장된다.

도 16k에서, 표면 뷰들(1618-1, 1618-2)의 특정 경계들은 확장된 반면, 다른 경계들은 (예컨대, 시야 내의 각자의 위치에) 고정된 상태로 유지되었다. 예를 들어, 도 16k의 표면 뷰들(1618-1, 1618-2)의 경계(1638)의 위치는 도 16j의 표면 뷰들(1618-1, 1618-2)의 경계(1638)의 위치와 동일하다. 그러나, 도 16k의 표면 뷰들(1618-1, 1618-2)의 경계들(1640)의 위치는 도 16j의 표면 뷰들(1618-1, 1618-2)의 경계들(1640)의 위치와 비교하여 변경되었다.

도 16k에서, 화상 회의 인터페이스(6121)를 디스플레이하는 동안, John의 디바이스(6100-1)는 닫기 어포던스(1632)를 향한 입력(1650k)(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 입력(1650k)을 검출하는 것에 응답하여, John의 디바이스(6100-1)는 화상 회의 인터페이스(6121)를 닫는다(그리고/또는 Jane의 디바이스(600-2)와의 화상 회의 세션을 종료하고/하거나 화상 회의 애플리케이션을 닫음).

도 16l에서, John의 디바이스(6100-1)는 새로운 비디오 통신 세션에 있다. John의 디바이스(6100-1)는 디바이스들(100, 300, 500, 및/또는 600-2)의 하나 이상의 특징부들을 포함하는 Sam의 디바이스(1634)(예컨대, 도 16o에 도시된 "Sam의 태블릿")와의 비디오 통신 세션에 있다. 화상 회의 인터페이스(6121)는 Sam의 디바이스(1634)의 사용자의 비디오 피드(1636)를 포함한다. 화상 회의 인터페이스(6121)를 디스플레이하는 동안, John의 디바이스(6100-1)는 메뉴 옵션(6126)을 향한 입력(1650l)(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 입력(1650l)을 검출하는 것에 응답하여, 도 16m에 도시된 바와 같이, John의 디바이스(6100-1)는 공유 메뉴(6136)를 디스플레이한다.

도 16m에서, 공유 메뉴(6136)는 도 16b의 공유 메뉴(6136)와 유사하다. 공유 메뉴(6136)를 디스플레이하는 동안, John의 디바이스(6100-1)는 공유 옵션(6136-1)을 향한 1650m(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 입력(1650b)을 검출하는 것에 응답하여, 도 16n에 도시된 바와 같이, John의 디바이스(6100-1)는 카메라 애플리케이션 및/또는 미리보기 사용자 인터페이스(1604)를 활성화한다(예컨대, 재활성화함).

도 16n에서, John의 디바이스(6100-1)는 도 16j에서의 입력(1650j)에 응답하여 구성된, 영역 제어부(1628)에 대한 설정들과 같은 최근에 사용된 설정들로 카메라 애플리케이션 및/또는 미리보기 사용자 인터페이스(1604)를 활성화한다(예컨대, 재활성화함). 구체적으로, 영역(1616) 및/또는 영역 표시자(1610)는 (예컨대, 표면 뷰(1618-1)가 표면(619) 및/또는 드로잉(618)의 위치를 고려하도록 보정되었지만) 도 16k에 도시된 바와 같이 표면 뷰(1618-1) 내에 디스플레이되었던 시야의 동일한 부분을 정의한다. 예를 들어, 영역 표시자(1610)의 에지(1620)는 표면(619)의 에지에 위치되어, 표면(619)의 에지와 드로잉(618)의 드로잉 표면의 에지 사이의 표면(619)의 일부분 및 드로잉(618)이 표면 뷰로서 제공될 것임을 나타낸다. 특히, 영역 표시자(1610)에 의해 표시되는 미리보기(1606)의 일부분은 타깃 구역 표시자(1611)에 의해 표시되는 일부분과 매칭된다. 일부 실시예들에서, 도 16n에 도시된 바와 같이(그리고 도 16d에 예시된 실시예와는 대조적으로), 영역 표시자(1610)의 외관은 영역 표시자(1610)가 타깃 구역 표시자(1611)와 정렬될 때 강조되지 않는다(예컨대, 변경되지 않음)(예컨대, 영역 표시자(1610)의 외관은 영역 표시자(1610)가 타깃 구역 표시자(1611)와 정렬되는지 여부에 관계없이 동일함).

일부 실시예들에서, John의 디바이스(6100-1)와 Jane의 태블릿(600-2) 사이의 통신 세션은 John의 디바이스(6100-1)와 Sam의 디바이스(1634) 사이의 통신 세션에 시간상 가장 최근인 통신 세션이었다(예컨대, 표면 뷰의 공유 및/또는 표면 뷰의 변화를 포함하는 개재 통신 세션들이 없었음). 이와 같이, 일부 실시예들에서, John의 디바이스(6100-1)는 John의 디바이스(6100-1)와 Jane의 디바이스(600-2) 사이의 통신 세션에 사용되었던, 영역 제어부(1628)에 대한 가장 최근의 설정들(및/또는 미리보기 사용자 인터페이스(1604)의 영역 제어부(1612)에 대한 가장 최근의 설정들)에 기초하여 영역 제어부(1628)(및/또는 미리보기 사용자 인터페이스(1604)의 영역 제어부(1612))에 대한 설정들을 활성화한다. 일부 실시예들에서, John의 디바이스(6100-1)는 카메라(6102) 및/또는 John의 디바이스(6100-1)의, 병진, 회전, 및/또는 배향의 변화와 같은 위치의 현저한 변화가 없었다는 것(예컨대, 변화가 없었고/없었거나 변화들이 임계 변화량 내에 있다는 것)을 검출한다. 그러한 실시예들에서, John의 디바이스(6100-1)는 John의 디바이스(6100-1)와 Jane의 디바이스(600-2) 사이의 통신 세션에 사용되었던, 영역 제어부(1628)에 대한 가장 최근의 설정들(및/또는 미리보기 사용자 인터페이스(1604)의 영역 제어부(1612)에 대한 가장 최근의 설정들)에 기초하여 영역 제어부(1628)(및/또는 미리보기 사용자 인터페이스(1604)의 영역 제어부(1612))에 대한 설정들을 활성화한다. 추가적으로 또는 대안적으로, 카메라(6102) 및/또는 John의 디바이스(6100-1)의 위치의 현저한 변화가 없었던 실시예들에서, John의 디바이스(6100-1)는, 선택적으로, 미리보기 사용자 인터페이스(1604)를 디스플레이하지 않고, 대신에, 영역 제어부(1628)(및/또는 미리보기 사용자 인터페이스(1604)의 영역 제어부(1612))에 대한 가장 최근의 설정들에 기초하여 표면 뷰를 디스플레이한다.

도 16n에서, 미리보기 사용자 인터페이스(1604)를 디스플레이하는 동안, John의 디바이스(6100-1)는 표면 뷰 어포던스(1624)를 향한 입력(1650n)(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 입력(1650n)을 검출하는 것에 응답하여, 도 16o에 도시된 바와 같이, John의 디바이스(6100-1)는 표면 뷰(1618-1)를 디스플레이한다. 추가적으로, John의 디바이스(6100-1)는 (예컨대, 표면 뷰에 대응하는 이미지 데이터를 통신함으로써) Sam의 디바이스(1634)로 하여금 디스플레이(683)를 통해 표면 뷰(1618-2)를 디스플레이하게 한다.

도 16o에서, John의 디바이스(6100-1) 및 Sam의 디바이스(1634)는 각각 표면 뷰들(1618-1, 1618-3)을 디스플레이한다. 표면 뷰(1618-3)는 화상 회의 인터페이스(604-5)(이는 화상 회의 인터페이스(604-2)와 유사함)에 포함된다. 추가적으로, 표면 뷰들(1618-1, 1618-3)은, 시야의 일부분이 도 16n에서 미리보기(1606)에 의해 제공되는 관점과는 상이한 관점을 제공하도록 (예컨대, 회전 및/또는 스큐에 기초하여) 보정되었지만, 도 16n에서 영역(1616)에 포함되고/되거나 영역 표시자(1610)에 의해 정의되는 시야의 동일한 부분에 대응한다. 추가적으로, 도 16o의 표면 뷰들(1618-1, 1618-3)은 John의 디바이스(6100-1)가 Jane의 디바이스(600-2)와의 통신 세션으로부터 사용되었던, 영역 제어부(1628)에 대한 가장 최근의 설정들을 적용하는 것에 기초하여 도 16h의 표면 뷰들(1618-1, 1618-2)과 동일한 이미지들을 포함한다.

도 16p는 (John의 디바이스(6100-1)의 이동(1650e)이 없는 것을 제외하고는) 도 16e에 도시된 동일한 조건들 및 미리보기 사용자 인터페이스(1604)를 예시한다. 도 16p에서, 미리보기 사용자 인터페이스(1604)를 디스플레이하는 동안, John의 디바이스(6100-1)는 영역 제어부(1612)를 향한 입력(1650o)(예컨대, 마우스 클릭, 트랙패드 상에서의 탭핑 및/또는 다른 그러한 입력에 의해 야기되는 커서 입력)을 검출한다. 일부 실시예들에서, 입력(1650o)을 검출하는 것에 응답하여, 도 16q에 도시된 바와 같이, John의 디바이스(6100-1)는 미리보기 사용자 인터페이스(1604)를 디스플레이한다.

도 16q에서, John의 디바이스(6100-1)는 미리보기 사용자 인터페이스(1604)에 대한 영역 표시자(1610)의 위치(예컨대, 장소 및 크기)를 유지하면서 미리보기(1606)를 줌인한다. 예를 들어, 사용자(622)의 얼굴은 도 16p의 미리보기(1606)와 비교하여 미리보기(1606)에 더 이상 포함되지 않는 반면, 영역 표시자(1610)는 미리보기 사용자 인터페이스(1604)에 대해 동일한 크기이다. 그 결과, 영역 표시자(1610)는 미리보기(1606) 내에 표현되는 물리적 환경의 새로운 부분이 표면 뷰로서 포함될 것임을 나타낸다. 일부 실시예들에서, 도 16q에 도시된 바와 같이, John의 디바이스(6100-1)는 미리보기(1606)의 중심점을 중심으로 주밍한다(예컨대, 미리보기(1606)는 주밍 전 및 후 물리적 환경의 동일한 지점 상에 중심설정됨). 일부 실시예들에서, John의 디바이스(6100-1)는 미리보기(1606)의 에지 또는 라인에 대해 주밍한다(예컨대, 물리적 환경의 동일한 부분은 주밍 전 및 후 미리보기(1606)의 하단 에지에 있음). 특히, 영역 표시자(1610)의 크기를 유지하면서 미리보기(1606)를 줌인 및 줌아웃하는 것은 표면 뷰로서 포함될, 미리보기(1606) 내에 표현되는 물리적 환경의 일부분을 조정하기 위해 미리보기(1606)의 줌 레벨을 유지하면서 영역 표시자(1610)의 크기를 변경하는 것에 대한 대안적인 방법이다.

도 17은 일부 실시예들에 따른, 라이브 비디오 통신 세션을 관리하기 위한 방법을 예시하는 흐름도이다. 방법(1700)은 디스플레이 생성 컴포넌트(예컨대, 601, 683, 및/또는 6101)(예컨대, 디스플레이 제어기, 터치 감응형 디스플레이 시스템, 모니터, 및/또는 머리 장착형 디스플레이 시스템), 하나 이상의 카메라들(예컨대, 602, 682, 6102, 및/또는 6202)(예컨대, 적외선 카메라, 깊이 카메라, 및/또는 가시광 카메라), 및 하나 이상의 입력 디바이스들(예컨대, 6103, 601, 및/또는 683)(예컨대, 터치 감응형 표면, 키보드, 제어기, 및/또는 마우스)과 통신하는 제1 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 600-2, 600-3, 600-4, 906a, 906b, 906c, 906d, 6100-1, 6100-2, 1100a, 1100b, 1100c, 및/또는 1100d)(예컨대, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 및/또는 머리 장착형 디바이스(예컨대, 머리 장착형 증강 현실 및/또는 확장 현실 디바이스))에서 수행된다. 방법(1700)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서들은 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.

아래에서 설명되는 바와 같이, 방법(1700)은 라이브 비디오 통신 세션을 관리하기 위한 직관적인 방식을 제공한다. 본 방법은 라이브 비디오 통신 세션을 관리하는 것에 대한 사용자의 인지적 부담을 감소시켜서, 그에 의해, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 더 빠르고 더 효율적으로 라이브 비디오 통신 세션을 관리할 수 있게 하는 것은 전력을 절약하고 배터리 충전들 사이의 시간을 증가시킨다.

방법(1700)에서, 제1 컴퓨터 시스템은, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 카메라들의 시야 내에 있는 표면(예컨대, 619 및/또는 618)(예컨대, 물리적 표면; 테이블, 플로어 및/또는 책상의 표면과 같은 수평 표면; 벽, 화이트보드 및/또는 블랙보드와 같은 수직 표면; 책, 한 장의 종이, 태블릿의 디스플레이와 같은 객체의 표면; 및/또는 다른 표면들)의 시각적 표현(예컨대, 1606)(예컨대, 하나 이상의 카메라들에 의해 캡처된 정지 이미지, 비디오 및/또는 라이브 카메라 피드)을 디스플레이하기 위한 애플리케이션(예컨대, 카메라 애플리케이션 아이콘(6136-1)과 연관된 카메라 애플리케이션 및/또는 화상 회의 애플리케이션 아이콘(6110)과 연관된 화상 회의 애플리케이션)의 사용자 인터페이스(예컨대, 1606)를 디스플레이하라는 요청(예컨대, 제1 요청)에 대응하는 하나 이상의 제1 사용자 입력들(예컨대, 1650a 및/또는 1650b)(예컨대, 터치 감응형 표면 상에서의 탭, 키보드 입력, 마우스 입력, 트랙패드 입력, 제스처(예컨대, 손 제스처), 및/또는 오디오 입력(예컨대, 음성 커맨드))을 검출한다(1702). 일부 실시예들에서, 애플리케이션(예컨대, 카메라 애플리케이션 및/또는 표면 뷰 애플리케이션)은 별개의 애플리케이션(예컨대, 프레젠테이션 애플리케이션, 비디오 통신 애플리케이션, 및/또는 착신 및/또는 발신 라이브 오디오/비디오 통신 세션을 제공하기 위한 애플리케이션)에서 공유될 표면의 이미지를 제공한다. 일부 실시예들에서, 표면의 이미지를 디스플레이하는 애플리케이션은 (예컨대, 별개의 비디오 통신 애플리케이션 없이) 표면의 이미지를 공유할 수 있다.

하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여(1704), 그리고 제1 세트의 하나 이상의 기준들이 충족된다는(예컨대, 6100-1 및/또는 6102가 이동하였다는; 1610 및/또는 1616이 이전에 정의되지 않았다는; 6100-1 및/또는 6102를 디스플레이하라는 요청이 검출된다는; 그리고/또는 1610 및/또는 1616을 디스플레이하지 말라는 요청에 대응하는 설정이 인에이블되었다는 조건을 포함한 하나 이상의 조건들이 만족되지 않는 한, 1610 및/또는 1616이 자동적으로 디스플레이된다는) 결정에 따라, 제1 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현(예컨대, 1616)(1708); 및 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 하나 이상의 카메라들의 시야의 제1 영역(예컨대, 1616)을 나타내는 시각적 표시(예컨대, 1606 및/또는 1616의 시각적 강조)(예컨대, 강조표시, 형상, 및/또는 심볼)(예컨대, 제1 표시) - 제1 영역은 제2 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 600-2, 600-4, 1100a, 1634, 6100-1, 및/또는 6100-2)(예컨대, 원격 컴퓨터 시스템, 외부 컴퓨터 시스템, 제1 컴퓨터 시스템과 연관된 사용자와는 상이한 사용자와 연관된 컴퓨터 시스템, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 및/또는 머리 장착형 디바이스)에 의해 표면의 뷰(예컨대, 1618-1, 1618-2, 및/또는 1618-3)로서 제시될 하나 이상의 카메라들의 시야의 제2 부분(예컨대, 영역(1616) 내의 시야의 일부분)을 나타냄(1710) - 를 동시에 디스플레이한다(1706). 일부 실시예들에서, 제1 세트의 하나 이상의 기준들은 사용자가 외부 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 영역을 이전에 정의하지 않았다는 기준을 포함한다. 일부 실시예들에서, 제1 세트의 하나 이상의 기준들은 하나 이상의 카메라들이 위치의 변화(예컨대, 공간에서의 위치의 변화, 배향의 변화, 병진, 및/또는 수평 및/또는 수직 각도의 변화)의 임계량을 초과하였다는 기준을 포함한다. 일부 실시예들에서, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템에 의해 디스플레이되지 않을 이미지 데이터의 적어도 일부분에 비해 제1 강조도(예컨대, 불투명도, 투명도, 반투명도, 어두움, 및/또는 밝기)로, 제2 컴퓨터 시스템에 의해 디스플레이될 이미지 데이터의 일부분을 디스플레이한다. 일부 실시예들에서, 하나 이상의 입력들을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템에 의해 디스플레이될 이미지 데이터의 제1 부분과는 상이한 이미지 데이터의 제2 부분의 제2 표시를 디스플레이한다. 일부 실시예들에서, 표시는 디스플레이된 이미지 데이터 상에 오버레이된다. 일부 실시예들에서, 표시는 표면을 포함하는 디스플레이된 이미지 데이터의 적어도 일부분 위에 디스플레이된다. 일부 실시예들에서, 표면은 사용자와 하나 이상의 카메라들 사이에 위치된다. 일부 실시예들에서, 표면은 사용자 옆에(예컨대, 좌측 또는 우측에) 위치된다. 일부 실시예들에서, 제1 세트의 하나 이상의 기준들이 충족되지 않는다는 결정에 따라, 제1 컴퓨터 시스템은, 하나 이상의 카메라들에 의해 캡처된 이미지 데이터 및 제2 컴퓨터 시스템에 의해 디스플레이될 이미지 데이터의 일부분의 표시를 (예컨대, 사용자 인터페이스 내에) 디스플레이하지 않는 것을 포함하여, 하나 이상의 카메라들의 시야 내에 있는 표면의 이미지를 공유하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이하는 것을 보류한다. 시야의 제1 부분의 시각적 표현, 및 시야의 제1 부분의 서브세트인 시야의 제1 영역을 나타내는 시각적 표시 - 제1 영역은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 제2 부분을 나타냄 - 를 동시에 디스플레이하는 것은, 그가 시야의 어떤 부분이 공유될 것인지의 시각적 피드백을 제공하기 때문에 비디오 통신 세션 경험을 향상시키고, 사용자가 물리적 환경의 어떤 구역이 시각적 콘텐츠로서 공유될 것인지를 관찰할 수 있기 때문에 비디오 통신 세션에서 어떤 콘텐츠가 공유되는지의 보안을 개선한다.

일부 실시예들에서, 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현 및 시야의 제1 영역의 시각적 표시는 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과 하나 이상의 카메라들의 시야의 제2 부분을 공유하고 있지 않은(예컨대, 디스플레이를 제공하고 있지 않은, 송신하고 있지 않은, 그리고/또는 외부 디바이스에 통신하고 있지 않은)(예컨대, 6100-1이 1616, 1618-1, 1618-2, 및/또는 1618-3을 공유하고 있지 않은) 동안 동시에 디스플레이된다. 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현 및 시야의 제1 영역의 시각적 표시를 동시에 디스플레이하는 것은, 그가 표면 뷰로서 공유될 시야의 일부분의 미리보기를 제공하기 때문에 비디오 통신 세션 경험을 향상시키며, 이는 표면 뷰를 공유하기 전에 비디오 통신 세션에서 물리적 환경의 어떤 구역이 공유될지에 관한 개선된 보안을 제공하고, 제2 컴퓨터 시스템에 의해 제시될 것에 관한 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 하나 이상의 카메라들의 시야의 제2 부분은 하나 이상의 카메라들과 하나 이상의 카메라들의 시야 내의 사용자(예컨대, 622 및/또는 623) 사이에 위치되는 표면(예컨대, 실질적으로 수평인 표면 및/또는 책상 또는 테이블의 표면)의 이미지(예컨대, 619의 이미지)를 포함한다. 일부 실시예들에서, 표면은 사용자의 전방에 있다. 일부 실시예들에서, 표면은 중력 방향의 미리결정된 각도(예컨대, 70도, 80도, 90도, 100도, 또는 110도) 내에 있다. 하나 이상의 카메라들의 시야의 제2 부분은 하나 이상의 카메라들과 하나 이상의 카메라들의 시야 내의 사용자 사이에 위치되는 표면의 이미지를 포함하기 때문에, 사용자는 테이블 또는 책상의 표면 뷰를 공유할 수 있으며, 이는 그가 특정 위치들에서 특정 표면들의 뷰를 제공하기 때문에 비디오 통신 세션 경험을 개선하고/하거나, 사용자들이 비디오 통신 세션에서 통신, 협업, 또는 상호작용하는 방법을 개선한다.

일부 실시예들에서, 표면은 (예컨대, 도 16c를 참조하여 설명된 바와 같이) 수직 표면(예컨대, 벽, 이젤, 및/또는 화이트보드)을 포함한다(예컨대, 수직 표면임)(예컨대, 표면은 중력 방향에 평행한 것의 미리결정된 각도(예컨대, 5도, 10도, 또는 20도) 내에 있음). 표면은 수직 표면을 포함하기 때문에, 사용자는 벽, 이젤, 또는 화이트보드와 같은 상이한 수직 표면들의 표면 뷰를 공유할 수 있으며, 이는 특정 배향들을 갖는 표면들의 뷰를 제공함으로써 비디오 통신 세션 경험을 개선하고/하거나, 사용자들이 비디오 통신 세션에서 통신, 협업, 또는 상호작용하는 방법을 개선한다.

일부 실시예들에서, 제2 컴퓨터 시스템에 의해 제시될 표면의 뷰는 (예컨대, 도 6a 내지 도 6ay 및 도 7을 참조하여 더 상세히 설명된 바와 같이) 하나 이상의 카메라들에 대한 표면의 위치(예컨대, 장소 및/또는 배향)에 기초하여 (예컨대, 표면의 이미지의 왜곡을 보정하기 위해) 수정(예컨대, 조정, 조작, 및/또는 보정)되는(또는 수정된) 표면의 이미지(예컨대, 사진, 비디오, 및/또는 라이브 비디오 피드)를 포함한다(예컨대, 표면 뷰들(1618-1, 1618-2, 1618-3)은 드로잉(618)의 위치에 기초하여 수정되었음). 일부 실시예들에서, 표면의 이미지는 이미지 프로세싱 소프트웨어(예컨대, 하나 이상의 카메라들에 의해 캡처된 이미지 데이터를 스큐잉, 회전, 플립핑, 및/또는 달리 조작함)를 사용하여 수정되는 이미지 데이터에 기초한다. 일부 실시예들에서, 표면의 이미지는 카메라를 물리적으로 조정하지 않고서(예컨대, 카메라를 회전시키지 않고서, 카메라를 들어올리지 않고서, 카메라를 낮추지 않고서, 카메라의 각도를 조정하지 않고서, 그리고/또는 카메라의 물리적 컴포넌트(예컨대, 렌즈 및/또는 센서)를 조정하지 않고서) 수정된다. 일부 실시예들에서, 표면의 이미지는 하나 이상의 카메라들이 표면을 가리키는(예컨대, 표면을 향하는, 표면을 겨냥하는, 표면에 수직인 축을 따라 가리키는) 것으로 보이도록 수정된다. 일부 실시예들에서, 제2 표현 내에 디스플레이되는 표면의 이미지는 카메라의 시선이 표면에 수직인 것으로 보이도록 보정된다. 일부 실시예들에서, 표면의 이미지는 (예컨대, 라이브 비디오 통신 세션 동안) 실시간으로 자동적으로 수정된다. 제2 컴퓨터 시스템에 의해 제시될 표면의 뷰에 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되는 표면의 이미지를 포함하는 것은, 사용자로부터의 추가 입력을 요구하지 않고서 카메라에 대한 그의 위치에도 불구하고 표면의 더 명확한 뷰를 제공함으로써 비디오 통신 세션 경험을 개선하여, 표면의 보정된 뷰를 제공하는 동작을 수행하는 데 필요한 입력들의 수를 감소시키고/시키거나, 사용자들이 비디오 통신 세션에서 통신, 협업, 또는 상호작용하는 방법을 개선한다.

일부 실시예들에서, 하나 이상의 카메라들의 시야의 제1 부분은 하나 이상의 카메라들의 시야 내의 사용자(예컨대, 622 및/또는 623)의 이미지(예컨대, 1616)를 포함한다. 하나 이상의 카메라들의 시야의 제1 부분에 사용자의 이미지를 포함하는 것은, 하나 이상의 카메라들에 의해 캡처되는 시야의 일부분들의 개선된 피드백을 제공함으로써 비디오 통신 세션 경험을 개선한다.

일부 실시예들에서, 하나 이상의 카메라들의 위치의 변화(예컨대, 1650e 및/또는 1650f)를 검출한 후에, 제1 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해(그리고 선택적으로, 하나 이상의 카메라들의 위치의 변화에 기초하여)(예컨대, 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현 및 시각적 표시를 동시에 디스플레이하기 전 또는 후에), 하나 이상의 카메라들의 시야의 제3 부분(예컨대, 도 16e의 1606 및/또는 도 16f의 1606)(예컨대, 제1 부분 또는 제1 부분과는 상이한 부분)의 시각적 표현; 및 시각적 표시 - 시각적 표시는 하나 이상의 카메라들의 시야의 제3 부분의 서브세트인 하나 이상의 카메라들의 시야의 제2 영역(예컨대, 도 16e의 1616 및/또는 도 16f의 1616)(예컨대, 제1 영역 또는 제1 영역과는 상이한 영역)을 나타내고, 제2 영역은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 제4 부분(예컨대, 도 16e의 1616 및/또는 도 16f의 1616)(예컨대, 제2 부분 또는 제2 부분과는 상이한 부분)을 나타냄 - 를 동시에 디스플레이한다. 일부 실시예들에서, 하나 이상의 카메라들의 위치의 변화에 기초하여, 하나 이상의 카메라들은, 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현을 디스플레이하는 동안, 캡처되지 않은 물리적 환경의 상이한 부분을 캡처한다. 일부 실시예들에서, 시야의 제3 부분(및/또는 제4 부분)은 물리적 환경의 상이한 부분의 이미지를 포함한다. 일부 실시예들에서, 제1 컴퓨터 시스템은, 제3 부분의 시각적 표현이 디스플레이되는 동안, 시야의 제1 부분의 시각적 표현을 디스플레이하는 것을 중지한다. 하나 이상의 카메라들의 시야의 제3 부분의 시각적 표현, 및 시각적 표시 - 시각적 표시는 하나 이상의 카메라들의 시야의 제3 부분의 서브세트인 하나 이상의 카메라들의 시야의 제2 영역을 나타내고, 제2 영역은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 제4 부분을 나타냄 - 를 동시에 디스플레이하는 것은, 그가 하나 이상의 카메라들의 위치의 변화가 검출되는 것을 검출하는 것에 응답하여 시야의 어떤 부분이 공유될 것인지의 시각적 표시를 제공하기 때문에 비디오 통신 세션 경험을 개선하고, 사용자가 물리적 환경의 어떤 구역이 시각적 콘텐츠로서 공유될 것인지를 관찰할 수 있기 때문에 비디오 통신 세션에서 어떤 콘텐츠가 공유되는지의 보안을 개선한다.

일부 실시예들에서, 하나 이상의 카메라들이 실질적으로 정지되어 있는 동안(예컨대, 정지되어 있거나 임계량 미만으로 이동하였음) 그리고 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현 및 시각적 표시를 디스플레이하는 동안(예컨대, 그리고/또는 하나 이상의 카메라들의 시야의 제3 부분의 시각적 표현 및 시각적 표시를 동시에 디스플레이하기 전 또는 후에), 제1 컴퓨터 시스템은, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 제2 사용자 입력들(예컨대, 1650c 및/또는 1650d)(예컨대, 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 일부분을 변경하라는 요청에 대응함)을 검출한다. 일부 실시예들에서, 하나 이상의 제2 사용자 입력들을 검출하는 것에 응답하여 그리고 하나 이상의 카메라들이 실질적으로 정지 상태로 유지되는 동안, 제1 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 시야의 제1 부분의 시각적 표현; 및 시각적 표시 - 시각적 표시는 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 하나 이상의 카메라들의 시야의 제3 영역(예컨대, 도 16d의 1616 및/또는 도 16e의 1616)을 나타내고, 제3 영역은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될, 제2 부분(및/또는 제4 부분)과는 상이한(예컨대, 그보다 크거나 그보다 작은), 시야의 제5 부분(예컨대, 도 16d의 1616 및/또는 도 16e의 1616)을 나타냄 - 를 동시에 디스플레이한다. 일부 실시예들에서, 제1 컴퓨터 시스템은 사용자 입력에 응답하여 시각적 표시에 의해 표시되는 시야의 일부분을 변경한다. 일부 실시예들에서, 시야의 제1 부분의 시각적 표현은 하나 이상의 카메라들의 위치의 변화 없이 디스플레이된다. 하나 이상의 제2 사용자 입력들을 검출하는 것에 응답하여, 시야의 제1 부분의 시각적 표현, 및 시각적 표시 - 시각적 표시는 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 하나 이상의 카메라들의 시야의 제3 영역을 나타내고, 제3 영역은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의, 제2 부분과는 상이한 제5 부분을 나타냄 - 를 동시에 디스플레이하는 것은, 그가 시야의 어떤 부분이 공유될 것인지의 시각적 표시를 제공하기 때문에 비디오 통신 세션 경험을 개선하고, 사용자가 물리적 환경의 어떤 구역이 시각적 콘텐츠로서 공유될 것인지를 조정할 수 있기 때문에 비디오 통신 세션에서 어떤 콘텐츠가 공유되는지의 보안을 개선한다.

일부 실시예들에서, 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현 및 시각적 표시를 디스플레이하는 동안, 제1 컴퓨터 시스템은, 하나 이상의 사용자 입력 디바이스들을 통해, 시각적 표시에 대한 옵션들(예컨대, 크기들, 치수들, 및/또는 규모)의 세트(예컨대, 연속 세트 또는 이산 세트)를 포함하는 제어부(예컨대, 1612)(예컨대, 선택가능 제어부, 슬라이더, 및/또는 옵션 피커)를 향한 사용자 입력(예컨대, 1650c 및/또는 1650d)을 검출한다. 일부 실시예들에서, 제어부를 향한 사용자 입력을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될, 제2 부분과는 상이한(예컨대, 그보다 크거나 작은), 시야의 제6 부분(예컨대, 도 16d의 1616 및/또는 도 16e의 1616)을 포함하는 하나 이상의 카메라들의 시야의 제4 영역(예컨대, 도 16d의 1616 및/또는 도 16e의 1616)을 나타내도록 시각적 표시를 디스플레이한다(예컨대, 변경, 업데이트, 및/또는 수정함). 일부 실시예들에서, 제4 영역의 적어도 일부분은 제2 영역의 적어도 일부분에 포함된다(예컨대, 그와 중첩됨). 일부 실시예들에서, 제4 영역의 적어도 일부분은 제2 영역의 적어도 일부분에 포함되지 않는다(예컨대, 그와 중첩되지 않음). 일부 실시예들에서, 제4 영역은 제2 영역보다 더 크다(또는 선택적으로, 그보다 더 작음). 일부 실시예들에서, 제어부를 향한 사용자 입력을 검출하는 것에 응답하여, 시각적 표시의 치수는 제4 영역이 시야의 제6 부분을 포함함을 나타내도록 업데이트된다. 일부 실시예들에서, 시각적 표시에 대한 옵션들의 세트는 시각적 표시에 대한 치수들의 세트에 대응한다. 일부 실시예들에서, 치수들의 세트는 표면의 뷰로서 제시될 시야의 일부분의 이산 영역들에 대응한다. 제어부를 향한 사용자 입력을 검출하는 것에 응답하여, 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될, 제2 부분과는 상이한, 시야의 제6 부분을 포함하는 하나 이상의 카메라들의 시야의 제4 영역을 나타내도록 시각적 표시를 디스플레이하는 것은, 그가 시야의 어떤 부분이 공유될 것인지의 시각적 표시를 제공하기 때문에 비디오 통신 세션 경험을 개선하고, 사용자가 물리적 환경의 어떤 구역이 시각적 콘텐츠로서 공유될 것인지를 조정할 수 있기 때문에 비디오 통신 세션에서 어떤 콘텐츠가 공유되는지의 보안을 개선한다.

일부 실시예들에서, 제어부를 향한 사용자 입력을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 제6 부분의 경계의 제1 부분(예컨대, 1614, 그리고 도 16d 및/또는 도 16e의 1606을 참조하여 설명된 바와 같음)(예컨대, 에지 및/또는 경계)의 (예컨대, 하나 이상의 카메라들의 시야에 대한) 위치를 유지한다(또는 선택적으로, 제어부를 향한 사용자 입력을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 시각적 표시에 의해 표시되는 영역의 제1 에지의 위치를 유지함). 일부 실시예들에서, 제어부를 향한 사용자 입력을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 제6 부분의 경계의 제2 부분(예컨대, 1622 및/또는 1620, 그리고 도 16d 및/또는 도 16e의 1606을 참조하여 설명된 바와 같음)(예컨대, 에지 및/또는 경계)의 (예컨대, 하나 이상의 카메라들의 시야에 대한) 위치를 수정한다(또는 선택적으로, 제어부를 향한 사용자 입력을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 시각적 표시에 의해 표시되는 영역의 (예컨대, 제1 에지와는 상이한) 제2 에지의 위치를 수정함). 일부 실시예들에서, 제1 컴퓨터 시스템은, 제1 컴퓨터 시스템이 경계의 제1 부분의 위치를 유지하고 경계의 제2 부분의 위치를 수정하는 동안, 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 일부분을 수정한다(예컨대, 확대 및/또는 축소시킴). 일부 실시예들에서, 시야의 제6 부분에 대한 제1 경계는 시야의 제2 부분에 대한 제1 경계와(예컨대, 시야에 대해) 동일 및/또는 유사한 위치에 있다(예컨대, 그리고/또는 그의 임계 거리 내에 있음). 일부 실시예들에서, 시야의 제6 부분에 대한 제2 경계는 시야의 제2 부분에 대한 제2 경계와는 (예컨대, 시야에 대해) 상이한 위치에 있다. 일부 실시예들에서, 제어부를 향한 사용자 입력을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 시각적 표시의 제1 부분의 위치를 유지하고, 시각적 표시의 제2 부분의 위치를 수정한다. 일부 실시예들에서, 제1 컴퓨터 시스템은 시각적 표시의 제1 부분의 위치가 유지되는 동안 시각적 표시의 제1 부분을 확장시킨다(예컨대, 확대시키고/시키거나 그의 크기를 증가시킴)(예컨대, 시각적 표시는 크기를 변경하는 동안 동일한 형상을 유지하고, 시각적 표시의 에지는 하나 이상의 카메라들의 시야에 대해 고정 위치에 유지됨). 일부 실시예들에서, 제1 컴퓨터 시스템은 시각적 표시의 제2 부분의 위치가 수정되는 동안 시각적 표시의 제2 부분을 확장시킨다(예컨대, 확대시키고/시키거나 그의 크기를 증가시킴)(예컨대, 시각적 표시는 크기를 변경하는 동안 동일한 형상을 유지하고, 시각적 표시의 에지의 위치는 하나 이상의 카메라들의 시야에 대해 수정됨). 일부 실시예들에서, 제1 컴퓨터 시스템은 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현의 시각적 콘텐츠에 대한 시각적 표시의 제1 부분의 위치를 유지한다. 일부 실시예들에서, 제1 컴퓨터 시스템은 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현의 시각적 콘텐츠에 대한 시각적 표시의 제2 부분의 위치를 수정한다. 제어부를 향한 사용자 입력을 검출하는 것에 응답하여, 시각적 표시의 제1 부분의 위치를 유지하고, 시각적 표시의 제2 부분의 위치를 수정하는 것은, 비디오 통신 세션 경험을 개선하고, 그가 사용자가 시야의 어떤 부분이 통신 세션에서 공유될 것인지를 조정함에 따라 시각적 표시의 적어도 하나의 부분이 고정된 상태로 유지되도록 허용하기 때문에 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 시각적 표시의 제1 부분은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 제2 부분의 최상부 에지(예컨대, 1614)에 대응한다. 일부 실시예들에서, 시각적 표시의 제1 부분은 시각적 표시의 최하부 에지에 대응한다. 시각적 표시의 제1 부분이 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 제2 부분의 최상부 에지에 대응할 때, 그는 비디오 통신 세션 경험을 개선하고, 그가 사용자가 시야의 어떤 부분이 통신 세션에서 공유될 것인지를 조정함에 따라 시각적 표시의 적어도 최상부 에지가 고정된 상태로 유지되도록 허용하기 때문에 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 제2 부분 및 하나 이상의 카메라들의 시야의 제1 부분은 제1 카메라(예컨대, 6102는 광각 카메라임)(예컨대, 광각 카메라 및/또는 단일 카메라)에 의해 캡처된 이미지 데이터에 기초한다. 일부 실시예들에서, 제1 카메라의 시야는 사용자의 얼굴 및 표면을 포함한다. 제1 카메라에 의해 캡처된 이미지 데이터에 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 제2 부분 및 하나 이상의 카메라들의 시야의 제1 부분을 기초하는 것은, 사용자로부터의 추가 입력을 요구하지 않고서 동일한 카메라로부터의 이미지 데이터에 기초하여 시야의 상이한 부분들이 디스플레이될 수 있기 때문에 비디오 통신 세션 경험을 향상시키며, 이는 사용자들이 라이브 통신 세션 동안 협업 및/또는 통신하는 방법을 개선하고, 동작을 수행하는 데 필요한 입력들(및/또는 디바이스들)의 수를 감소시킨다. 제1 카메라에 의해 캡처된 이미지 데이터에 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 제2 부분 및 하나 이상의 카메라들의 시야의 제1 부분을 기초하는 것은 컴퓨터 시스템을 개선하는데, 그 이유는, 사용자로부터의 추가 액션(예컨대, 카메라를 이동시키는 것)을 요구하지 않고서 사용자가 단일의 시야의 어느 부분들이 상이한 각도로 제시될 수 있는지를 관찰할 수 있고, 그렇게 하는 것이 동작을 수행하는 데 필요한 디바이스들의 수를 감소시키며, 컴퓨터 시스템이 상이한 뷰들을 캡처하기 위해 2개의 별개의 카메라들을 가질 필요가 없고, 그리고/또는 컴퓨터 시스템이 각도들을 변경하기 위한 이동 부품들을 갖는 카메라를 필요로 하지 않기 때문이며, 이는 디바이스에 대한 비용, 복잡성, 및 마손을 감소시킨다.

일부 실시예들에서, 제1 컴퓨터 시스템은, 하나 이상의 입력 디바이스들을 통해, 하나 이상의 카메라들의 시야 내에 있는 표면(예컨대, 619)의 시각적 표현(예컨대, 1606)을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이(예컨대, 재디스플레이)하라는 요청(예컨대, 제2 요청)에 대응하는 하나 이상의 제3 사용자 입력들(예컨대, 1650l 및/또는 1650b)을 검출한다. 일부 실시예들에서, 하나 이상의 제3 사용자 입력들을 검출하는 것에 응답하여, 그리고 제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 제1 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야의 제7 부분(예컨대, 도 16n의 1606)(예컨대, 시야의 제1 부분과 동일하고/하거나 상이함)의 시각적 표현; 및 하나 이상의 카메라들의 시야의 제7 부분의 서브세트인 하나 이상의 카메라들의 시야의 제5 영역(예컨대, 도 16n의 1610 및/또는 1616)을 나타내는 시각적 표시(예컨대, 도 16n의 1606 및/또는 1616의 시각적 강조) - 제5 영역은 제2 컴퓨터 시스템(예컨대, 원격 컴퓨터 시스템, 외부 컴퓨터 시스템, 제1 컴퓨터 시스템과 연관된 사용자와는 상이한 사용자와 연관된 컴퓨터 시스템, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 및/또는 머리 장착형 디바이스)과는 상이한 제3 컴퓨터 시스템(예컨대, 1634)에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 제8 부분(예컨대, 도 16n의 1616)(예컨대, 제2 부분과 동일하고/하거나 상이함)을 나타냄 - 를 동시에 디스플레이한다. 일부 실시예들에서, 제1 컴퓨터 시스템은 시야의 제1 부분의 시각적 표현 및 시각적 표시를 디스플레이하는 것을 중지한 후에 하나 이상의 제3 사용자 입력들을 검출한다. 일부 실시예들에서, 제1 컴퓨터 시스템은, 애플리케이션을 닫으라는 요청에 대응하는 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 시야의 제1 부분 및 시각적 표시를 디스플레이하는 것을 중지한다. 일부 실시예들에서, 사용자 인터페이스를 디스플레이하라는 제2 요청은 제1 컴퓨터 시스템이 제2 컴퓨터 시스템에 디스플레이하기 위한 제2 영역을 제공하는 것을 중지한 후에 검출된다. 시야의 제7 부분의 시각적 표현, 및 시야의 제7 부분의 서브세트인 시야의 제5 영역을 나타내는 시각적 표시 - 제5 영역은 제3 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 제8 부분을 나타냄 - 를 동시에 디스플레이하는 것은, 그가 애플리케이션의 사용자 인터페이스의 복수의 상이한 호출들에 대해 시야의 어떤 부분이 공유될 것인지의 시각적 피드백을 제공하기 때문에 비디오 통신 세션 경험을 향상시키고, 사용자가 물리적 환경의 어떤 구역이 시각적 콘텐츠로서 공유될 것인지를 관찰할 수 있기 때문에 비디오 통신 세션에서 어떤 콘텐츠가 공유되는지의 보안을 개선한다.

일부 실시예들에서, 시각적 표시의 시각적 특성(예컨대, 스케일, 크기, 치수, 및/또는 규모)은 (예컨대, 사용자가 시야의 어떤 영역이 원격 컴퓨터 시스템에 의해 표면 뷰로서 제시될지(예컨대, 제시되는지)를 변경하기를 원할 때) 사용자 구성가능하고(예컨대, 1616 및/또는 1610은 사용자 구성가능함)(예컨대, 조정가능하고/하거나 수정가능함), 제1 컴퓨터 시스템은 원격 컴퓨터 시스템에 의해 표면의 뷰로서 제시하기 위해 하나 이상의 카메라들의 최근 사용(예컨대, 가장 최근의 사용 및/또는 현재 통신 세션에 대한 가장 최근의 통신 세션 동안의 사용에 대응하는 최근 사용) 동안 사용되었던 시각적 표시의 시각적 특성에 기초하는 시각적 특성(예컨대, 시각적 표시의 가장 최근에 구성된 시각적 특성)을 갖는 것으로 제5 영역을 나타내는 시각적 표시를 디스플레이한다(예컨대, 도 16n의 1616 및/또는 1610은 도 16k의 1628에 기초함)(또는 선택적으로, 제공되는 영역(예컨대, 시각적 표시에 의해 표시되는 영역(예컨대, 영역의 크기))은 영역의 이전 특성에 기초함)(예컨대, 미리보기가 제1 줌 설정으로 디스플레이됨; 사용자가 줌을 제2 줌 설정으로 변경함; 사용자가 미리보기를 닫음; 미리보기가 제1 줌 설정과는 대조적으로 제2 줌 설정으로 재개시됨). 일부 실시예들에서, 시각적 표시의 가장 최근에 구성된 시각적 특성(또는 선택적으로, 외부 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 일부분을 나타내는 영역의 시각적 특성)이 제1 시각적 특성에 대응한다는 결정에 따라, 제4 영역을 나타내는 시각적 표시를 제1 시각적 특성으로 디스플레이한다. 일부 실시예들에서, 시각적 표시의 가장 최근에 구성된 시각적 특성(또는 선택적으로, 외부 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 일부분을 나타내는 영역의 시각적 특성)이 제2 시각적 특성에 대응한다는 결정에 따라, 제4 영역을 나타내는 시각적 표시를 제2 시각적 특성으로 디스플레이한다. 시각적 표시의 시각적 특성이 사용자 구성가능할 때, 그리고 시각적 표시가 시각적 표시의 가장 최근에 구성된 시각적 특성에 기초하는 시각적 특성을 갖는 것으로 제4 영역을 나타낼 때, 시각적 표시의 시각적 특성이 표면의 시각적 표현을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스의 다수의 상이한 호출들 사이에서 기억될 것이기 때문에, 그는 비디오 통신 세션 경험을 향상시키고 사용자 입력들의 수를 감소시킨다.

일부 실시예들에서, 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현 및 시각적 표시를 디스플레이하는 동안, 제1 컴퓨터 시스템은, 하나 이상의 사용자 입력 디바이스들을 통해, 시각적 표시의 시각적 특성(예컨대, 스케일, 크기, 치수, 및/또는 규모)을 수정하라는 요청에 대응하는 하나 이상의 제4 사용자 입력들(예컨대, 1650c 및/또는 1650d)을 검출한다. 일부 실시예들에서, 하나 이상의 제4 사용자 입력들을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의, 제2 부분과는 상이한(예컨대, 그보다 크거나 작은) 제9 부분(예컨대, 도 16d의 1616 및/또는 도 16e의 1616)을 포함하는 하나 이상의 카메라들의 시야의 제6 영역(예컨대, 도 16d의 1616 및/또는 도 16e의 1616)을 나타내도록 시각적 표시를 디스플레이한다(예컨대, 변경, 업데이트, 및/또는 수정함). 일부 실시예들에서, 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 제9 부분을 포함하는 하나 이상의 카메라들의 시야의 제6 영역을 나타내도록 시각적 표시를 디스플레이하는 동안, 제1 컴퓨터 시스템은 표면의 뷰를 공유(예컨대, 통신 및/또는 송신)하라는 요청에 대응하는 하나 이상의 사용자 입력들(예컨대, 1650g)을 검출한다. 일부 실시예들에서, 표면의 뷰를 공유하라는 요청에 대응하는 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템에 의한 제시를 위해 시야의 제9 부분을 공유한다(예컨대, 1618-1 및/또는 1618-2). 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의, 제2 부분과는 상이한 제9 부분을 포함하는 하나 이상의 카메라들의 시야의 제6 영역을 나타내도록 시각적 표시를 디스플레이하고, 사용자 입력들을 검출하는 것에 응답하여, 제2 컴퓨터 시스템에 의한 제시를 위해 시야의 제9 부분을 공유하는 것은, 사용자가 물리적 환경의 어떤 구역이 시각적 콘텐츠로서 공유될 것인지를 관찰할 수 있기 때문에 비디오 통신 세션에서 어떤 콘텐츠가 공유되는지의 보안을 개선하고, 사용자들이 비디오 통신 세션에서 통신, 협업, 또는 상호작용하는 방법을 개선한다.

일부 실시예들에서, 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여, 그리고 제2 세트의 하나 이상의 기준들이 충족된다는(예컨대, 도 16n에서 설명된 바와 같이, 카메라(6102) 및/또는 John의 랩톱(6100-1)의 이동이 임계량 미만인 경우 미리보기 사용자 인터페이스(1604)가, 선택적으로, 디스플레이되지 않는다는) 결정에 따라(예컨대, 제1 세트의 하나 이상의 기준들이 충족되지 않는다는 결정에 따라) - 제2 세트의 하나 이상의 기준들은 제1 세트의 하나 이상의 기준들과는 상이함 -, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템에 의해 제시될 표면의 뷰로서 시야의 제2 부분을 디스플레이한다(예컨대, 미리보기 사용자 인터페이스(1604)를 디스플레이하는 대신에 1618-1 및/또는 1618-3이 디스플레이됨). 일부 실시예들에서, 시야의 제2 부분은 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되는 표면의 이미지(예컨대, 1618-1 및/또는 1618-3)를 포함한다. 일부 실시예들에서, 제2 컴퓨터 시스템에 의해 제시될 표면의 뷰로서 시야의 제2 부분을 디스플레이하는 것은 제2 컴퓨터 시스템에 의한 제시를 위해 시야의 제2 부분을 제공(예컨대, 공유, 통신 및/또는 송신)하는 것을 포함한다. 일부 실시예들에서, 제2 세트의 하나 이상의 기준들은 사용자가 외부 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 영역을 이전에 정의하였다는 기준을 포함한다. 일부 실시예들에서, 제2 세트의 하나 이상의 기준들은 제1 컴퓨터 시스템의 적어도 일부분(예컨대, 하나 이상의 카메라들)이 위치의 변화(예컨대, 공간에서의 위치의 변화, 배향의 변화, 병진, 및/또는 수평 및/또는 수직 각도의 변화)의 임계량을 초과하지 않았다는 기준을 포함한다. 제2 컴퓨터 시스템에 의해 제시될 표면의 뷰로서 시야의 제2 부분을 조건부로 디스플레이하는 것 - 시야의 제2 부분은 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되는 표면의 이미지를 포함함 - 은, 시각적 표시를 구성하도록 시각적 표시자를 구성하기 위한 입력들의 수를 감소시키고/시키거나, 보정된 시야를 갖는 표면의 이미지를 디스플레이하라고 요청하기 위한 입력들의 수를 감소시킨다.

일부 실시예들에서, 제2 컴퓨터 시스템에 의한 제시를 위해 표면의 뷰로서 시야의 제2 부분을 제공(예컨대, 통신 및/또는 송신)하는 동안, 제1 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 일부분(예컨대, 1618-1, 1618-2, 및/또는 1618-3에 디스플레이되는 일부분)을 수정(예컨대, 확장 또는 축소)하기 위한 제어부(예컨대, 1628)를 디스플레이한다. 일부 실시예들에서, 제1 컴퓨터 시스템은 (예컨대, 제2 컴퓨터 시스템이 시야의 제2 부분을 표면의 뷰로서 디스플레이하는 동안), 디스플레이 생성 컴포넌트를 통해, 시야의 제2 부분을 표면의 뷰로서 디스플레이한다. 일부 실시예들에서, 제1 컴퓨터 시스템은, 하나 이상의 입력 디바이스들을 통해, 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 일부분을 수정(예컨대, 확장 또는 축소)하기 위한 제어부를 향한 하나 이상의 입력들을 검출한다. 일부 실시예들에서, 표면 뷰로서 제공되는 시야의 일부분을 수정하기 위한 제어부를 향한 하나 이상의 입력들을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템에 의한 제시를 위해 표면의 뷰로서, 제2 부분과는 상이한, 시야의 제10 부분을 제공한다. 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 일부분을 수정하기 위한 제어부를 디스플레이하는 것은, 사용자가 물리적 환경의 어떤 구역이 시각적 콘텐츠로서 공유되고 있는지를 조정할 수 있기 때문에 비디오 통신 세션에서 어떤 콘텐츠가 공유되는지의 보안을 개선하고, 사용자들이 비디오 통신 세션에서 통신, 협업, 또는 상호작용하는 방법을 개선한다.

일부 실시예들에서, 포커스(예컨대, 마우스, 포인터, 시선 및/또는 사용자 주의의 다른 표시)가 표면의 뷰에 대응하는 (예컨대, 사용자 인터페이스의) 영역으로 지향된다는(예컨대, 도 16i의 커서가 1618-1 위에 있다는) 결정에 따라, 제1 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 일부분을 수정하기 위한 제어부를 디스플레이한다. 일부 실시예들에서, 포커스가 표면의 뷰에 대응하는 영역으로 지향되지 않는다는(예컨대, 도 16h의 커서가 1618-1 위에 있지 않다는) 결정에 따라, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 일부분을 수정하기 위한 제어부를 디스플레이하는 것을 보류한다. 일부 실시예들에서, 시야의 일부분을 수정하기 위한 제어부는 표면의 뷰에 대응하는 영역에 대한 커서의 위치에 기초하여 디스플레이된다. 일부 실시예들에서, 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 일부분을 수정하기 위한 제어부를 디스플레이하는 동안, 제1 컴퓨터 시스템은 포커스가 표면의 뷰에 대응하는 영역으로 지향되지 않는다는(또는 그로 지향되는 것이 중지되었다는) 것(예컨대, 포커스가 디스플레이 생성 컴포넌트의 상이한 부분, 상이한 애플리케이션, 및/또는 표면의 뷰에 대응하는 영역에 대응하지 않는 사용자 인터페이스의 상이한 부분으로 지향된다는 것)을 검출한다. 일부 실시예들에서, 포커스가 표면의 뷰에 대응하는 영역으로 지향되지 않는다는 것을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 일부분을 수정하기 위한 제어부를 디스플레이하는 것을 중지한다. 일부 실시예들에서, 제어부가 디스플레이되지 않는 동안, 그리고 포커스가 표면의 뷰에 대응하는 영역으로 지향된다는(또는 그로 지향되기 시작하였다는) 것을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제어부를 디스플레이한다. 일부 실시예들에서, 제어부가 디스플레이되는 동안, 그리고 포커스가 표면의 뷰에 대응하는 영역으로부터 멀리 지향된다는 것을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제어부를 디스플레이하는 것을 중지한다. 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 일부분을 수정하기 위한 제어부를 조건부로 디스플레이하는 것은, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행한다.

일부 실시예들에서, 시야의 제2 부분은 제1 경계(예컨대, 도 16h 내지 도 16k에서 John의 랩톱의 뷰를 차단하고 있는 경계와 같은, 1618-1 및/또는 1618-2의 상단을 따른 경계)(예컨대, 에지 및/또는 한계)를 포함한다(일부 실시예들에서, 제1 경계는 제2 부분의 최상부 부분을 따라 있고/있거나 제2 부분의 시각적 콘텐츠의 최상부 경계임). 일부 실시예들에서, 제1 컴퓨터 시스템은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 일부분을 수정하기 위한 제어부를 향한 하나 이상의 제5 사용자 입력들을 검출한다. 일부 실시예들에서, 하나 이상의 제5 사용자 입력들을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 시야의 제2 부분의 제1 경계의 위치를 유지한다(예컨대, John의 랩톱의 뷰를 차단하고 있는 경계와 같은, 1618-1 및/또는 1618-2의 상단을 따른 경계는 도 16h 내지 도 16k 전체에 걸쳐 실질적으로 고정된 상태로 유지됨). 일부 실시예들에서, 하나 이상의 제5 사용자 입력들을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 시야의 제2 부분에 포함되는 시야의 일부분의 양(예컨대, 면적 및/또는 크기)을 수정(예컨대, 확장 및/또는 축소)한다(예컨대, 1618-1 및/또는 1618-2에 포함되는 시야의 일부분은 도 16h 내지 도 16k 전체에 걸쳐 변경됨). 일부 실시예들에서, 표면 뷰에 포함되는 시야의 양을 수정하는 것은 시야의 제2 부분의 제2 경계의 위치를 수정하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 제5 사용자 입력들을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제1 경계의 제1 방향에(예컨대, 그 위에) 있는 시야의 일부분을 디스플레이하는 것을 보류한다. 일부 실시예들에서, 하나 이상의 제5 사용자 입력들을 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 제1 경계의 제1 방향과는 상이한(예컨대, 그와 반대이고/이거나 반대이지 않은) 제2 방향에(예컨대, 그 아래에) 있는 시야의 일부분을 디스플레이한다. 제어부를 향한 사용자 입력을 검출하는 것에 응답하여, 시야의 제2 부분의 제1 경계의 위치를 유지하고, 표면 뷰에 포함되는 시야의 일부분의 양을 수정하는 것은, 비디오 통신 세션 경험을 개선하고, 그가 사용자가 시야의 어떤 부분이 (예컨대, 통신 세션에서) 공유되고 있는지를 조정함에 따라 제2 부분의 적어도 하나의 경계가 고정된 상태로 유지되도록 허용하기 때문에 추가 제어 옵션들을 제공한다.

일부 실시예들에서, 카메라가 실질적으로 정지되어 있는 동안(예컨대, 정지되어 있거나 임계량 미만으로 이동하였음) 그리고 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현(예컨대, 도 16p의 1606) 및 시각적 표시(예컨대, 도 16p의 1610)를 디스플레이하는 동안, 제1 컴퓨터 시스템은, 하나 이상의 사용자 입력 디바이스들을 통해, 하나 이상의 제6 사용자 입력들(예컨대, 1650c, 1650d, 및/또는 1650o)(예컨대, 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 일부분을 변경하라는 요청에 대응함)을 검출하고; 하나 이상의 제6 사용자 입력들을 검출하는 것에 응답하여 그리고 카메라가 실질적으로 정지 상태로 유지되는 동안, 제1 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야의 제1 부분과는 상이한 하나 이상의 카메라들의 시야의 제11 부분(예컨대, 하나 이상의 카메라들의 시야의 줌인 또는 줌아웃된 부분)의 시각적 표현(예컨대, 도 16q의 1606); 및 시각적 표시(예컨대, 도 16q의 1610) - 시각적 표시는 하나 이상의 카메라들의 시야의 제11 부분의 서브세트인 하나 이상의 카메라들의 시야의 제7 영역을 나타내고, 제7 영역은 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될, 제2 부분과는 상이한(예컨대, 그보다 크거나 그보다 작은), 시야의 제12 부분을 나타냄 - 를 동시에 디스플레이한다. 사용자 입력들을 검출하는 것에 응답하여 그리고 카메라가 실질적으로 정지 상태로 유지되는 동안, 하나 이상의 카메라들의 시야의 상이한 부분을 디스플레이하도록 시각적 표현을 변경하는 것은, 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 시야의 일부분을 조정하기 위한 효율적인 기법을 사용자에게 제공하며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 하나 이상의 제6 사용자 입력들을 검출하는 것에 응답하여 그리고 카메라가 실질적으로 정지 상태로 유지되는 동안, 시각적 표시를 디스플레이하는 것은, 애플리케이션의 사용자 인터페이스에 대한 시각적 표시의 위치(예컨대, 크기 및 형상을 포함함)를 유지하는 것을 포함한다(예컨대, 제1 컴퓨터 시스템은 하나 이상의 카메라들의 시야의 시각적 표현의 줌 레벨을 변경하는 반면, 시각적 표시는 변경되지 않은 상태로 유지됨). 일부 실시예들에서, 시각적 표시를 변경하지 않고서, 시각적 표현에서 시야의 일부분을 변경하는 것은, 시각적 표시에 의해 표시되는 시야의 영역을 변경하고, 그에 따라, 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 하나 이상의 카메라들의 시야의 일부분을 변경한다.

일부 실시예들에서, 시각적 표시를 디스플레이하는 것은, 하나 이상의 정렬 기준들의 세트가 충족된다는 결정에 따라 - 하나 이상의 정렬 기준들의 세트는 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 현재 영역과 하나 이상의 카메라들의 시야의 지정된 부분(예컨대, 타깃, 제안된 및/또는 추천된 부분) 사이의 정렬에 기초하는 정렬 기준을 포함함 -, 제1 외관(예컨대, 도 16c의 1610의 외관)(예컨대, 강조됨, 굵게 표시됨, 제1 색상, 제1 스타일, 제1 폭, 제1 밝기, 제1 채우기 스타일, 및/또는 제1 두께)을 갖는 시각적 표시를 디스플레이하는 것; 및 정렬 기준들이 충족되지 않는다는 결정에 따라, 제1 외관과는 상이한 제2 외관(예컨대, 도 16c의 1610의 외관)(예컨대, 제1 외관과 비교하여 강조되지 않음, 제1 외관과 비교하여 굵게 표시되지 않음, 제1 색상과는 상이한 제2 색상, 제1 스타일과는 상이한 제2 스타일, 제1 폭보다 얇은 제2 폭, 제1 밝기보다 작은 제2 밝기, 제1 채우기 스타일과는 상이한 제2 채우기 스타일, 및/또는 제1 두께보다 작은 제2 두께)을 갖는 시각적 표시를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 정렬 기준은, 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 현재 영역이 하나 이상의 카메라들의 시야의 지정된 부분과 동일하거나 그의 임계 거리 내에 있을 때 충족된다.

정렬 기준들이 충족되는지 여부에 기초하는 외관을 갖는 시각적 표시를 디스플레이하는 것 - 정렬 기준들은 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 현재 영역과 하나 이상의 카메라들의 시야의 지정된 부분 사이의 정렬에 기초함 - 은, 컴퓨터 시스템이 시야의 추천된(예컨대, 최적의) 부분이 시각적 표시에 의해 표시될 때를 나타낼 수 있게 하고, 시각적 표시를 적절하게 조정하는 데 필요한 입력들의 수를 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 시각적 표시가 하나 이상의 카메라들의 시야의 제8 영역을 나타내는 동안, 제1 컴퓨터 시스템은, (예컨대, 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여 그리고 제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라) 하나 이상의 카메라들의 시야의 제13 부분의 시각적 표현 및 시각적 표시와 동시에, 하나 이상의 카메라들의 시야의 제1 지정된 영역(예컨대, 타깃, 제안된 및/또는 추천된 영역)(예컨대, 이는 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 제8 영역과는 상이함)을 나타내는 타깃 구역 표시(예컨대, 1611)(예컨대, 이는 시각적 표시와 시각적으로 구별되고 상이함)를 디스플레이하며, 여기에서 제1 지정된 영역은 하나 이상의 카메라들의 시야 내의 표면의 위치에 기초하는 하나 이상의 카메라들의 시야의 결정된 부분(예컨대, 타깃, 제안된, 선택된 및/또는 추천된 부분)을 나타낸다. 시각적 표시와 동시에 타깃 구역 표시를 디스플레이하는 것은, 시야의 추천된(예컨대, 최적의) 부분과 정렬되도록 시각적 표시를 조정하는 방법에 관한 추가 정보를 사용자에게 제공하고, 시각적 표시를 적절하게 조정하는 데 필요한 입력들의 수를 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 타깃 구역 표시(예컨대, 1611)(예컨대, 타깃 구역 표시의 위치, 크기, 및/또는 형상)는 표면(예컨대, 619)(또는 표면의 시각적 표현)에 대해 정지되어 있다(예컨대, 이동하지 않음, 잠겨 있음, 또는 고정되어 있음)(예컨대, 도 16f의 1611a). 타깃 구역 표시를 표면에 대해 정지 상태로 유지하는 것은, 사용자가 시각적 표시를 타깃 구역 표시와 더 용이하게 정렬시킬 수 있게 하고, 타깃 구역 표시에 의해 표시되는 시야의 일부분이 이러저리 이동하고 있지 않기(예컨대, 사용자가 타깃 구역 표시를 "추적"할 필요가 없기) 때문에, 시각적 표시를 타깃 구역 표시와 정렬시키는 데 필요한 입력들의 수를 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 타깃 구역 표시에 의해 표시되는 하나 이상의 카메라들의 시야 내의 물리적 환경의 일부분은 (예컨대, 하나 이상의 카메라들의 위치의 변화로 인해 그리고/또는 줌인 또는 줌아웃하라는 요청과 같은, 시각적 표현에 의해 표현되는 하나 이상의 카메라들의 시야의 일부분을 변경하라는 요청에 대응하는 사용자 입력에 응답하여) 시각적 표현에 의해 표현되는 하나 이상의 카메라들의 시야의 일부분이 변경됨에 따라 일정하게 유지된다. 일부 실시예들에서, 타깃 구역 표시는 하나 이상의 카메라들의 시야의 결정된 부분에 잠겨진 상태로 유지되도록 시야의 시각적 표현 내에서 이동한다.

일부 실시예들에서, 하나 이상의 카메라들의 위치의 변화를 검출한 후에, 제1 컴퓨터 시스템은 타깃 구역 표시를 디스플레이하며, 여기에서 타깃 구역 표시는 하나 이상의 카메라들의 위치의 변화 후 하나 이상의 카메라들의 시야의 제1 지정된 영역(예컨대, 동일한 지정된 영역)을 나타낸다(예컨대, 타깃 구역 표시는 하나 이상의 카메라들이 이동된 후 표면의 동일한 부분을 나타냄). 일부 실시예들에서, 하나 이상의 카메라들이 이동될 때, 타깃 구역 표시는 하나 이상의 카메라들의 시야와 함께 이동하지 않는다(예컨대, 표면에 대해 동일한 위치를 유지함).

일부 실시예들에서, 타깃 구역 표시(예컨대, 타깃 구역 표시의 위치, 크기, 및/또는 형상)는 표면(예컨대, 619)의 에지(예컨대, 선택적으로, 표면들의 에지들을 검출하는 데 사용될 수 있는, 물리적 환경에 관한 정보를 획득하는 카메라 또는 다른 센서와 같은 하나 이상의 센서 입력들에 기초하여 디바이스에 의해 자동적으로 검출되는 표면의 에지의 장소 및/또는 배향과 같은 위치)에 기초하여 선택된다(예컨대, 타깃 구역 표시를 선택하는 사용자 입력을 검출하지 않고서, 자동적으로 선택됨). 표면의 에지에 기초하여 타깃 구역 표시를 선택하는 것은, 사용자가 타깃 구역 표시를 선택하기 위한 기준들을 선택하기 위한 입력들을 제공할 것을 요구하지 않고서 컴퓨터 시스템이 관련 타깃 구역을 선택할 수 있게 하며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 표면의 에지가 하나 이상의 카메라들의 시야 내의 제1 위치에 있다는 결정에 따라, 제1 컴퓨터 시스템은 (예컨대, 하나 이상의 카메라들의 시야의 시각적 표현에 대한) 제1 위치에 타깃 구역 표시를 디스플레이하고; 표면의 에지가 하나 이상의 카메라들의 시야 내의 표면의 에지의 제1 위치와는 상이한 하나 이상의 카메라들의 시야 내의 제2 위치에 있다는 결정에 따라, 제1 컴퓨터 시스템은 하나 이상의 카메라들의 시야의 시각적 표현에 대한 제1 위치와는 상이한 (예컨대, 하나 이상의 카메라들의 시야의 시각적 표현에 대한) 제2 위치에 타깃 구역 표시를 디스플레이한다.

일부 실시예들에서, 타깃 구역 표시(예컨대, 타깃 구역 표시의 위치, 크기, 및/또는 형상)는 하나 이상의 카메라들의 시야 내의 사람(예컨대, 622)(예컨대, 제1 컴퓨터 시스템의 사용자)의 위치(또는, 선택적으로, 사람의 위치를 검출하는 데 사용될 수 있는, 물리적 환경에 관한 정보를 획득하는 카메라 또는 다른 센서와 같은 하나 이상의 센서 입력들에 기초하여 디바이스에 의해 자동적으로 검출되는, 하나 이상의 카메라들의 시야의 시각적 표현 내의 사람의 표현의 위치)에 기초하여 선택된다(예컨대, 타깃 구역 표시를 선택하는 사용자 입력을 검출하지 않고서, 자동적으로 선택됨). 하나 이상의 카메라들의 시야 내의 사용자의 위치에 기초하여 타깃 구역 표시를 선택하는 것은, 사용자가 타깃 구역 표시를 선택하기 위한 기준들을 선택하기 위한 입력들을 제공할 것을 요구하지 않고서 컴퓨터 시스템이 관련 타깃 구역을 선택할 수 있게 하며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 사용자가 하나 이상의 카메라들의 시야 내의 제1 위치에 있다는 결정에 따라, 제1 컴퓨터 시스템은 (예컨대, 하나 이상의 카메라들의 시야의 시각적 표현에 대한) 제1 위치에 타깃 구역 표시를 디스플레이하고; 사람이 하나 이상의 카메라들의 시야 내의 사람의 제1 위치와는 상이한 하나 이상의 카메라들의 시야 내의 제2 위치에 있다는 결정에 따라, 제1 컴퓨터 시스템은 하나 이상의 카메라들의 시야의 시각적 표현에 대한 제1 위치와는 상이한 (예컨대, 하나 이상의 카메라들의 시야의 시각적 표현에 대한) 제2 위치에 타깃 구역 표시를 디스플레이한다.

일부 실시예들에서, 하나 이상의 카메라들의 위치의 변화(예컨대, 이동(1650e))를 검출한 후에, 제1 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 타깃 구역 표시(예컨대, 1611 또는 1611b)를 디스플레이하며, 여기에서 타깃 구역 표시는 하나 이상의 카메라들의 시야의 제2 지정된 영역(예컨대, 도 16f의 1611b에 의해 표시된 영역)(예컨대, 이는 하나 이상의 카메라들의 시야의 제1 지정된 영역과는 상이함)을 나타내고, 제2 지정된 영역은 하나 이상의 카메라들의 위치의 변화 후의 하나 이상의 카메라들의 시야 내의 표면의 위치(예컨대, 하나 이상의 카메라들에 대한 표면의 위치)에 기초하는 하나 이상의 카메라들의 시야의 제2 결정된 부분을 나타낸다(예컨대, 타깃 구역 표시는 하나 이상의 카메라들이 이동된 후 표면의 상이한 부분을 나타냄). 일부 실시예들에서, 하나 이상의 카메라들이 이동될 때, 타깃 구역 표시는 하나 이상의 카메라들의 시야와 함께 이동한다(예컨대, 사용자 인터페이스에서 동일한 위치를 유지함). 하나 이상의 카메라들의 위치의 변화를 검출한 후에, 타깃 구역 표시의 지정된 영역을 변경하는 것은, 컴퓨터 시스템이 하나 이상의 카메라들의 현재 위치에 기초하여 적절한 타깃 구역을 지정할 수 있게 그리고 사용자가 타깃 구역 표시를 수동으로 업데이트하기 위해 추가 입력들을 제공할 필요 없이 이전에 지정된 영역이 더 이상 추천되지 않을 때 타깃 구역 표시를 업데이트할 수 있게 하며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 제1 컴퓨터 시스템은, (예컨대, 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여 그리고 제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라) 하나 이상의 카메라들의 시야의 시각적 표현 및 시각적 표시와 동시에, 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될, 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 제9 영역 내의 표면의 표면 뷰 표현(예컨대, 1613)(예컨대, 이미지 및/또는 비디오)을 디스플레이하며, 여기에서 표면 뷰 표현은 (예컨대, 방법들(700, 1700)과 관련하여 더 상세히 설명된 바와 같이) 표면의 관점을 보정하기 위해 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되는(또는 수정된), 하나 이상의 카메라들에 의해 캡처된 표면의 이미지(예컨대, 사진, 비디오, 및/또는 라이브 비디오 피드)를 포함한다. 하나 이상의 카메라들에 대한 표면의 위치에 기초하여 수정되는, 하나 이상의 카메라들에 의해 캡처된 표면의 이미지를 포함하는, 시각적 표시에 의해 표시되는 영역의 표면 뷰 표현을 디스플레이하는 것은, 사용자에게 시각적 표시의 현재 상태(예컨대, 위치 및/또는 크기)에 기초하여 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 뷰에 관한 추가 정보를 제공하고, 사용자가 시각적 표시를 조정하는 데 요구되는 입력들의 수를 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 표면 뷰 표현(예컨대, 1613)을 디스플레이하는 것은 사람(예컨대, 622)을 포함하는 하나 이상의 카메라들의 시야의 일부분의 시각적 표현(예컨대, 1606) 내에(예컨대, 그 내에, 그 상에, 그 상에 오버레이되어, 그리고/또는 그의 일부분에) 표면 뷰 표현을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 표면 뷰 표현을 디스플레이하는 것은 애플리케이션의 사용자 인터페이스 내의 윈도우로서 및/또는 애플리케이션의 사용자 인터페이스 내의 픽처 인 픽처(picture-in-picture)로서 표면 뷰 미리보기 표현을 디스플레이하는 것을 포함한다. 사용자를 포함하는 하나 이상의 카메라들의 시야의 일부분의 시각적 표현 내에 표면 뷰 표현을 디스플레이하는 것은, 사용자가 하나 이상의 카메라들 및/또는 시각적 표시를 조정하기 위해 추가 입력들을 제공할 것을 요구하지 않고서, 제2 컴퓨터 시스템에 의해 표면의 뷰로서 제시될 뷰에 대한 사용자의 상태(예컨대, 위치)(예컨대, 제2 컴퓨터 시스템에 의해 제시될 뷰에 대한 사용자의 근접도)에 관한 추가 콘텍스트 정보를 사용자에게 제공하며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 제9 영역 내의 표면의 표면 뷰 표현을 디스플레이한 후에, 제1 컴퓨터 시스템은 (예컨대, 하나 이상의 카메라들의 위치의 변화로 인한 그리고/또는 줌인 또는 줌아웃하라는 요청과 같은, 시각적 표현에 의해 표현되는 하나 이상의 카메라들의 시야의 일부분을 변경하라는 요청에 대응하는 사용자 입력에 응답한) 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 변화를 검출하고; 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 변화를 검출하는 것에 응답하여, 제1 컴퓨터 시스템은 표면 뷰 표현을 디스플레이하며(예컨대, 업데이트하고/하거나 실시간으로 업데이트함), 여기에서 표면 뷰 표현은 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 변화 후의, 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 제9 영역 내의 표면을 포함한다(예컨대, 제1 컴퓨터 시스템은 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 현재 부분을 디스플레이하도록 표면 뷰 표현을 업데이트함)(예컨대, 1613은 도 16c로부터 도 16d로; 도 16d로부터 도 16e로; 그리고 도 16e로부터 도 16f로 업데이트됨). 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 변화 후의, 시각적 표시에 의해 표시되는 하나 이상의 카메라들의 시야의 영역 내의 표면을 포함하는 표면 뷰 표현을 디스플레이하는 것은, 컴퓨터 시스템이 시각적 표시에 의해 표시되는 영역이 변경됨에 따라 표면 뷰 표현을 업데이트할 수 있게 하고, 더 관련 있는 정보를 사용자에게 제공하며, 시각적 표시를 조정하는 데 필요한 입력들의 수를 감소시키며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

방법(1700)(예컨대, 도 17)과 관련하여 위에서 설명된 프로세스들의 상세사항들은, 또한, 위에서 설명된 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법들(700, 800, 1000, 1200, 1400, 1500, 1900)은, 선택적으로, 방법(1700)을 참조하여 본 명세서에서 설명된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법들(700, 800, 1000, 1200, 1400, 1500, 1900)은, 선택적으로, 상이한 애플리케이션들 사이에서 이미지 데이터를 공유하기 위한 공유 옵션들, 시야의 어떤 부분들이 공유되는지를 관리하기 위한 제어부들 및/또는 사용자 인터페이스들(미리보기 인터페이스를 포함함)을 디스플레이하는 것, 공유되거나 공유될 시야의 일부분을 수정하는 제어부들 및/또는 사용자 인터페이스들을 디스플레이하는 방법 또는 디스플레이할 때에 대한 기법들을 포함한다. 간결함을 위해, 이 상세사항들은 본 명세서에서 반복되지 않는다.

도 18a 내지 도 18n은 일부 실시예들에 따른, 컴퓨터 시스템 상의 특징부에 대한 지침서를 디스플레이하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이들 도면들의 사용자 인터페이스들은, 도 19의 프로세스들을 포함하여, 아래에서 설명되는 프로세스들을 예시하기 위해 사용된다.

도 18a는 디스플레이(1801a) 및 카메라(1802a)를 포함하는 컴퓨터 시스템(1800a)을 예시한다. 컴퓨터 시스템(1800a)은 카메라(1852a)를 포함하는 외부 디바이스(1850a)에 결합되는 데스크톱 컴퓨터이다. 외부 디바이스(1850a)는 카메라(1852a)의 시야의 일부분을 사용하여 컴퓨터 시스템(1800a) 상에 디스플레이하기 위한 물리적 표면의 이미지를 캡처할 수 있다.

도 18a에서, 컴퓨터 시스템(1800a)은 컴퓨터 시스템(1800a) 상에서 실행되는 화상 회의 애플리케이션의 화상 회의 애플리케이션 윈도우(6120)를 디스플레이한다. 화상 회의 애플리케이션 윈도우(6120) 및 화상 회의 애플리케이션은 위에서 더 상세히 설명된다. 컴퓨터 시스템(1800a)은 카메라 애플리케이션 아이콘(6108)의 선택을 검출한다. 카메라 애플리케이션 아이콘(6108)의 선택에 응답하여, 도 18b에 도시된 바와 같이, 컴퓨터 시스템(1800a)은 카메라 애플리케이션 윈도우(6114)를 디스플레이한다. 카메라 애플리케이션 윈도우(6114) 및 대응하는 카메라 애플리케이션의 실시예들 및 특징부들은 위에서 상세히 설명된다. 대안적으로, 카메라 애플리케이션 윈도우(6114)는, 예를 들어 도 16a 내지 도 16c와 관련하여 설명된 바와 같이 화상 회의 애플리케이션 윈도우(6120)를 통해 디스플레이될 수 있다.

도 18b에 예시된 실시예에서, 카메라 애플리케이션 윈도우(6114)는 지침서 사용자 인터페이스(1806)를 포함한다. 일부 실시예들에서, 지침서 사용자 인터페이스(1806)는 외부 디바이스(1850a)의 카메라(1852a)에 의해 캡처된 이미지의 표현 상에 오버레이된다. 지침서 사용자 인터페이스(1806)는 가상 시연 부분(1806a), 특징부 설명 부분(1806b), 더 알아보기(learn more) 옵션(1806c), 및 계속 옵션(1806d)을 포함한다.

도 18b에서, 가상 시연 부분(1806a)은 컴퓨터 시스템(1800a)의 그래픽 표현(1808a), 외부 디바이스(1850a)의 그래픽 표현(1810a), 및 표면의 그래픽 표현(1812)을 포함한다. 일부 실시예들에서, 그래픽 표현들(1808a, 1810a, 1812)은 각각 컴퓨터 시스템(1800a), 외부 디바이스(1850a), 및 한 장의 종이의 가상 표현들이다. 컴퓨터 시스템(1800a)의 그래픽 표현(1808a)은 본 명세서에서 가상 컴퓨터 시스템(1808a)으로도 지칭되고; 외부 디바이스(1850a)의 그래픽 표현(1810a)은 본 명세서에서 가상 외부 디바이스(1810a)로도 지칭되며; 표면의 그래픽 표현(1812)은 본 명세서에서 가상 표면(1812)으로도 지칭된다.

특징부 설명 부분(1806b)은 카메라 애플리케이션 윈도우(6114)에 대응하는 카메라 애플리케이션의 특징부를 설명하는 정보를 갖는 텍스트 및/또는 그래픽들을 포함한다. 이러한 정보는, 표면 뷰가 공유될 수 있고, 카메라 애플리케이션이 외부 디바이스(1850a)의 카메라(1852a)를 사용하여 컴퓨터 시스템(1800a)의 전방의 표면의 톱 다운 뷰를 자동적으로 보여줄 것임을 설명한다.

컴퓨터 시스템(1800a)은 가상 필기 도구가 가상 표면 상에 시뮬레이션된 마크를 생성하는 가상 시연 부분(1806a) 내에 가상 시연을 디스플레이한다. 도 18b 내지 도 18k는 가상 시연의 다양한 상태들을 설명한다. 일부 실시예들에서, 컴퓨터 시스템(1800a)은 하나의 상태로부터 다음 상태로 전이하는(예컨대, 시간 경과에 따라 점진적으로 전이하는) 애니메이션을 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템(1800a)은 도 18b 내지 도 18k에 예시된 상태들 사이에 하나 이상의 중간 이미지들을 디스플레이한다. 일부 실시예들에서, 가상 시연은, 애니메이션의 콘텐츠들이 시간 경과에 따라 상이한 관점들로부터 디스플레이되도록 애니메이션의 콘텐츠들(예컨대, 가상 컴퓨터 시스템(1808a), 가상 외부 디바이스(1810a), 및 가상 표면(1812))이 배향을 회전 및/또는 변경하는 것으로 보이는 애니메이션을 포함한다. 일부 실시예들에서, 애니메이션의 콘텐츠들은 (예컨대, 시뮬레이션된 입력 및/또는 시뮬레이션된 출력이 진행됨에 따라 상이한 관점들로부터 가상 컴퓨터 시스템(1808a), 가상 외부 디바이스(1810a), 및 가상 표면(1812)을 보여주기 위해) 시간 경과에 따라 시뮬레이션된 입력 및/또는 시뮬레이션된 출력이 동시에 진행되는 동안 회전하는 것으로 보인다.

도 18b는 시뮬레이션된 마크가 행해지기 전의, 가상 시연의 제1(예컨대, 초기) 상태를 예시한다. 도 18b에 도시된 제1 상태는 제1 관점(예컨대, 평면 관점, 오버헤드 관점, 표면을 직접 내려다보는 관점, 및/또는 표면의 톱 다운 관점)으로부터의 가상 시연을 보여준다.

도 18c는 가상 시연의 제2 상태를 예시한다. 일부 실시예들에서, 컴퓨터 시스템(1800a)은 도 18b에 도시된 가상 시연의 제1 상태로부터 도 18c에 도시된 가상 시연의 제2 상태로의 전이(예컨대, 점진적인 전이 및/또는 전이의 애니메이션)를 디스플레이한다. 도 18c에 도시된 제2 상태는, 도 18b에 도시된 가상 시연의 제1 상태의 관점과 동일하거나 유사한 관점으로부터의 가상 시연을 보여준다.

제2 상태에서, 가상 필기 도구(1814)가 가상 표면(1812) 상에 시뮬레이션된 마크(1816a)를 행하였다(예컨대, 문자 "h"를 필기하였음). 동시에, 시뮬레이션된 이미지가 가상 외부 디바이스(1810)의 카메라에 의해 캡처된 가상 표면(1812)의 이미지의 가상 컴퓨터 시스템(1808a) 상에 디스플레이된다. 시뮬레이션된 이미지는 가상 표면(1812)의 시뮬레이션된 이미지(1818), 가상 필기 도구(1814)의 시뮬레이션된 이미지(1820), 및 시뮬레이션된 마크(1816a)의 시뮬레이션된 마크 이미지(1822a)를 포함한다. 가상 표면(1812)의 시뮬레이션된 이미지(1818)는 시뮬레이션된 표면 이미지(1818)로도 지칭되고; 가상 필기 도구(1814)의 시뮬레이션된 이미지(1820)는 시뮬레이션된 필기 도구 이미지(1820)로도 지칭되며; 시뮬레이션된 마크(1816a)의 시뮬레이션된 마크 이미지(1822a)는 시뮬레이션된 마크 이미지(1822a)로도 지칭된다. 따라서, 도 18c는 (예컨대, 실시간으로) 마크들이 행해짐에 따라 표면 상에 행해진 마크들을 보여주기 위해 표면의 뷰가 디스플레이되는 특징부의 가상 시연을 도시한다.

도 18d는 가상 시연의 제3 상태를 예시한다. 도 18d에 도시된 제3 상태는 제2 관점(예컨대, 정면 관점 및/또는 가상 컴퓨터 시스템(1808a)의 디스플레이를 직접 바라보는 관점)으로부터의 가상 시연을 보여준다. 일부 실시예들에서, 컴퓨터 시스템(1800a)은 도 18c에 도시된 가상 시연의 제2 상태로부터 도 18d에 도시된 가상 시연의 제3 상태로의 전이(예컨대, 점진적인 전이 및/또는 전이의 애니메이션)를 디스플레이한다. 도 18c에 예시된 제2 상태와 비교하여, 가상 필기 도구(1814)는, 도 18d의 시뮬레이션된 마크(1816a)의 상태에 의해 나타낸 바와 같이, 단어 "hello"를 완성하기 위해 문자들 "ello"를 필기하였다. 동시에, 가상 컴퓨터 시스템(1808a) 상에 디스플레이되는 시뮬레이션된 이미지는 가상 필기 도구(1814) 및 시뮬레이션된 마크(1816a)의 상태를 반영하도록(예컨대, 그와 매칭되도록) 시뮬레이션된 필기 도구 이미지(1820) 및 시뮬레이션된 마크 이미지(1822a)를 디스플레이한다(예컨대, 시뮬레이션된 마크 이미지(1822a)에 ("h"에 더하여) "ello"가 포함되고, 시뮬레이션된 필기 도구 이미지(1820)는 시뮬레이션된 마크 이미지(1822a)에서 "o"의 끝에 있음).

도 18e는 가상 시연의 제4 상태를 예시한다. 도 18e에 도시된 제4 상태는 제3 관점(예컨대, 정면-측면 관점 및/또는 가상 컴퓨터 시스템(1808a)의 전방으로부터 좌측으로 벗어난 그리고 가상 컴퓨터 시스템(1808a)의 좌측을 향해 바라보는 관점; 가상 시연이 아래에서 설명되는 도 18f에 도시된 관점을 향해 회전하는 것으로 보이는 관점)으로부터의 가상 시연을 보여준다. 일부 실시예들에서, 컴퓨터 시스템(1800a)은 도 18d에 도시된 가상 시연의 제3 상태로부터 도 18e에 도시된 가상 시연의 제4 상태로의 전이(예컨대, 점진적인 전이 및/또는 전이의 애니메이션)를 디스플레이한다. 도 18d에 예시된 제3 상태와 비교하여, 시뮬레이션된 마크(1816a)는 완성되었고, 가상 필기 도구(1814)는 가상 표면(1812) 옆으로 벗어나 있다. 동시에, 가상 컴퓨터 시스템(1808a) 상에 디스플레이되는 시뮬레이션된 이미지는 가상 필기 도구(1814) 및 시뮬레이션된 마크(1816a)의 상태를 반영하도록(예컨대, 그와 매칭되도록) 시뮬레이션된 필기 도구 이미지(1820) 및 시뮬레이션된 마크 이미지(1822a)를 디스플레이한다(예컨대, 시뮬레이션된 마크 이미지(1822a)에서 "hello"가 완성되었고, 시뮬레이션된 필기 도구 이미지(1820)는 시뮬레이션된 표면 이미지(1818) 옆으로 벗어나 있음).

도 18f는 가상 시연의 제5 상태를 예시한다. 도 18f에 도시된 제5 상태는 제4 관점(예컨대, 측면 관점 및/또는 가상 컴퓨터 시스템(1808a)의 좌측으로 벗어난 그리고 가상 컴퓨터 시스템(1808a)의 좌측을 향해 바라보는 관점)으로부터의 가상 시연을 보여준다. 일부 실시예들에서, 컴퓨터 시스템(1800a)은 도 18e에 도시된 가상 시연의 제4 상태로부터 도 18f에 도시된 가상 시연의 제5 상태로의 전이(예컨대, 점진적인 전이 및/또는 전이의 애니메이션)를 디스플레이한다. 도 18e에 예시된 제4 상태와 비교하여, 상이한 관점에 더하여, 가상 시연은, 가상 시연에 의해(예컨대, 카메라 애플리케이션에 의해) 시연되는 특징부에 의해 디스플레이되는 외부 디바이스(1850a)의 카메라(1852a)의 시야(또는 그의 일부분)를 나타내는 시야 표시자(1824)를 포함한다. 시야 표시자(1824)는, 외부 디바이스(1850a)의 카메라(1852a)가 컴퓨터 시스템(1800a)의 전방의 표면의 이미지를 캡처하는 데 사용된다는 것을 사용자에게 나타낸다.

도 18g는 가상 시연의 2개의 관점들이 도시되어 있는 가상 시연의 제6 상태를 예시한다. 일부 실시예들에서, 컴퓨터 시스템(1800a)은 도 18f에 도시된 가상 시연의 제5 상태로부터 도 18g에 도시된 가상 시연의 상태로의 전이(예컨대, 점진적인 전이 및/또는 전이의 애니메이션)를 디스플레이한다. 가상 시연 부분(1806a)은 제1 하위 부분(1806e) 및 제2 하위 부분(1806f)을 동시에 포함한다. 제2 하위 부분(1806f)은, 도 18f에 예시된 가상 시연의 상태와 유사하거나 동일한 상태를 디스플레이한다. 제1 하위 부분(1806e)은, 도 18d에 예시된 상태와 유사하거나 동일하지만 가상 외부 디바이스(1810)에 더 집중된(예컨대, 초점이 맞춰진) 상태(예컨대, 관점)를 디스플레이한다.

도 18h는 가상 시연의 제7 상태를 예시한다. 도 18g에 예시된 가상 시연의 제6 상태와 유사하게, 제7 상태는 제1 하위 부분(1806e) 및 제2 하위 부분(1806f)을 포함한다. 일부 실시예들에서, 컴퓨터 시스템(1800a)은 도 18g에 도시된 가상 시연의 제6 상태로부터 도 18h에 도시된 가상 시연의 제7 상태로의 전이(예컨대, 점진적인 전이 및/또는 전이의 애니메이션)를 디스플레이한다. 도 18g와 비교하여, 제1 하위 부분(1806e)에 디스플레이된 뷰는 가상 외부 디바이스(1810) 상에서 줌인된다. 가상 외부 디바이스(1810) 상에서 줌인되는 뷰를 디스플레이하는 것은 가상 외부 디바이스(1810)의 배향을 강조하며, 이는 지침서에 의해 시연되는 특징부를 사용할 때 외부 디바이스(1850a)가 어떤 배향으로 장착되어야 하는지를 사용자에게 나타낸다. 하위 부분(1806f)은, 가상 컴퓨터 시스템(1808a)의 전방의 관점으로부터의 그리고 가상 컴퓨터 시스템(1808a)의 하단과 가상 표면(1812) 사이의 위치 상에서 줌인되는 뷰를 디스플레이한다. 가상 컴퓨터 시스템(1808a)의 하단과 가상 표면(1812) 사이의 위치 상에서 줌인되는 뷰를 디스플레이하는 것은, 지침서에 의해 시연되는 특징부가 컴퓨터 시스템(1800a)의 전방의 표면의 이미지를 디스플레이한다는 것을 사용자에게 강조한다.

도 18i는 가상 시연의 제8 상태를 예시한다. 도 18i에 도시된 제8 상태는 도 18f에 예시된 제5 상태와 유사하거나 동일하다. 일부 실시예들에서, 컴퓨터 시스템(1800a)은 도 18h에 도시된 가상 시연의 제7 상태로부터 도 18i에 도시된 가상 시연의 제8 상태로의 전이(예컨대, 점진적인 전이 및/또는 전이의 애니메이션)를 디스플레이한다. 도 18i에서, 컴퓨터 시스템(1800a)은, 각각 더 알아보기 옵션(1806c) 상의 커서(6112) 및 계속 옵션(1806d) 상의 커서(6112)에 의해 나타낸 바와 같이, 더 알아보기 옵션(1806c)의 선택 및 추가적으로 또는 대안적으로, 계속 옵션(1806d)의 선택을 검출한다. 일부 실시예들에서, 컴퓨터 시스템(1800a)은 특정 시간에 커서(6112)의 하나의 인스턴스만을 디스플레이하고, 더 알아보기 옵션(1806c) 또는 계속 옵션(1806d)을 선택하는 능력을 설명하기 위해 커서(6112)의 2개의 인스턴스들이 도 18i에 예시되어 있다는 것이 인식되어야 한다.

더 알아보기 옵션(1806c)의 선택을 검출하는 것에 응답하여, 컴퓨터 시스템(1800a)은 지침서에 의해 시연되는 카메라 애플리케이션의 특징부를 사용하기 위한 정보, 또는 정보에 대한 액세스를 제공하는 사용자 인터페이스를 디스플레이한다. 도 18j에서, 더 알아보기 옵션(1806c)의 선택을 검출하는 것에 응답하여, 컴퓨터 시스템(1800a)은 카메라 애플리케이션의 표면 뷰 특징부를 사용하는 방법에 관한 정보 및/또는 정보에 대한 링크들을 포함하는 웹 브라우저 윈도우(1826)를 디스플레이한다.

계속 옵션(1806d)의 선택을 검출하는 것에 응답하여, 컴퓨터 시스템(1800a)은 지침서에 의해 시연되는 특징부를 개시한다. 도 18k에서, 계속 옵션(1806c)의 선택을 검출하는 것에 응답하여, 컴퓨터 시스템(1800a)은 카메라 애플리케이션 윈도우(6114) 내에 미리보기 사용자 인터페이스(1604)를 디스플레이한다. 미리보기 사용자 인터페이스(1604) 및 그의 특징부들은 도 16c 내지 도 16g, 도 16n, 및 도 16p 및 도 16q를 참조하여 더 상세히 설명된다. 대안적으로, 일부 실시예들에서, 계속 옵션(1806c)의 선택을 검출하는 것에 응답하여, 컴퓨터 시스템(1800a)은, 예컨대 도 6ag를 참조하여 더 상세히 설명된 표면 뷰(6116)를 디스플레이한다.

일부 실시예들에서, 가상 시연은 (예컨대, 1회 이상) 반복되거나 루프화된다. 일부 실시예들에서, 가상 시연은, 위에서 설명된 것과는 상이한 순서로, 도 18b 내지 도 18i에서 설명된 상태들을 디스플레이한다(예컨대, 그를 통해 전이함). 예를 들어, 일부 실시예들에서, 가상 시연은 시뮬레이션된 마크(1818a) 및 시뮬레이션된 마크 이미지(1822a)가 진행됨에 따라 (예컨대, 도 18d에 도시된 바와 같은) 정면 관점으로부터 (예컨대, 도 18b에 도시된 바와 같은) 평면 관점으로 그리고 이어서 (예컨대, 도 18f에 도시된 바와 같은) 측면 관점으로 전이하고; 일부 실시예들에서, 가상 시연은 시뮬레이션된 마크(1818a) 및 시뮬레이션된 마크 이미지(1822a)가 진행됨에 따라 (예컨대, 도 18g에 도시된 바와 같은) 다중 관점 뷰로부터 (예컨대, 도 18d에 도시된 바와 같은) 정면 관점으로 그리고 이어서 (예컨대, 도 18f에 도시된 바와 같은) 측면 관점으로 전이하며; 일부 실시예들에서, 가상 시연은 시뮬레이션된 마크(1818a) 및 시뮬레이션된 마크 이미지(1822a)가 진행됨에 따라 (예컨대, 도 18f에 도시된 바와 같은) 측면 관점으로부터 (예컨대, 도 18d에 도시된 바와 같은) 정면 관점으로 그리고 이어서 (예컨대, 도 18b에 도시된 바와 같은) 평면 관점으로 전이한다.

일부 실시예들에서, 가상 시연은 추가 상태들을 포함하거나, 도 18b 내지 도 18i에서 설명된 상태들 중 하나 이상을 생략한다. 일부 실시예들에서, 가상 시연은 그가 반복될 때마다 동일하다. 일부 실시예들에서, 가상 시연의 하나 이상의 태양들은 가상 시연이 반복될 때 상이하다. 예를 들어, 일부 실시예들에서, 시뮬레이션된 입력(예컨대, 시뮬레이션된 마크) 및 대응하는 시뮬레이션된 출력 및/또는 시뮬레이션된 출력 이미지는 가상 시연이 반복될 때 상이한 반면, 가상 시뮬레이션의 다른 태양들(예컨대, 다른 디스플레이된 요소들 및 그들이 디스플레이되는 관점들)은 동일하다.

일부 실시예들에서, 특징부 설명 부분(1806b) 내의 콘텐츠는 지침서 전체에 걸쳐 일정하게 유지된다(예컨대, 도 18b 내지 도 18k 모두에서 동일함). 일부 실시예들에서, 특징부 설명 부분(1806b) 내의 콘텐츠는, 예컨대 가상 시연의 현재 상태에 관련된 특징부의 특정 태양을 설명하기 위해(예컨대, 시뮬레이션된 마크(1816a) 및/또는 시뮬레이션된 마크 이미지(1822a)의 관점 및/또는 상태를 설명하기 위해), 시간 경과에 따라 변경된다.

도 18l은 컴퓨터 시스템(1800b) 및 외부 디바이스(1850a)를 예시한다. 도 18l에서, 컴퓨터 시스템(1800b)은 랩톱 컴퓨터이고, 외부 디바이스(1850a)에 결합된다. 컴퓨터 시스템(1800b)은 도 18a 내지 도 18k와 관련하여 설명된 카메라 애플리케이션을 실행할 수 있다. 도 18l에서 카메라 애플리케이션 아이콘(6108)의 선택을 검출하는 것에 응답하여, 도 18l에 도시된 바와 같이, 컴퓨터 시스템(1800b)은 카메라 애플리케이션 윈도우(6114) 및 지침서 사용자 인터페이스(1806)를 디스플레이한다. 도 18l에서, 지침서 사용자 인터페이스(1806)는 컴퓨터 시스템(1800a)을 참조하여 도 18b 내지 도 18k에서 설명된 카메라 애플리케이션의 특징부들의 가상 시연과 함께 지침서를 디스플레이한다. 도 18l에서의 가상 시연은 도 18b 내지 도 18k에서 설명된 가상 외부 디바이스(1810a), 가상 표면(1812), 가상 필기 도구(1814), 가상 표면 이미지(1818), 및 가상 필기 도구 이미지(1820)를 포함한다. 컴퓨터 시스템(1800b)은 랩톱 컴퓨터이기 때문에, 가상 시연은 (예컨대, 도 18b 내지 도 18k에 도시된 바와 같은 데스크톱 컴퓨터 대신에) 랩톱의 가상 표현을 포함한다. 특히, 가상 시연은 컴퓨터 시스템(1800b)의 가상 표현인 가상 컴퓨터 시스템(1808b)을 디스플레이한다.

도 18l에서, 가상 외부 디바이스(1810a)는 (예컨대, 도 18b 내지 도 18k에서의 가상 외부 디바이스(1810a)의 수평 또는 가로 배향과 비교하여) 수직 또는 세로 배향으로 디스플레이된다. 일부 실시예들에서, 가상 외부 디바이스(1810a)의 배향은 컴퓨터 시스템에 결합된 대응하는 물리적 외부 디바이스(예컨대, 1850a)의 배향에 기초한다(예컨대, 그와 매칭되도록 디스플레이됨).

일부 실시예들에서, 가상 외부 디바이스(1810a)는 복수의 가능한 배향들 중 선택된 배향으로 디스플레이된다. 일부 실시예들에서, 선택된 배향은 지침서에 의해 시연되는 특징부에 대한 대응하는 물리적 외부 디바이스(예컨대, 1850a)의 추천된 배향(예컨대, 카메라 애플리케이션을 사용할 때의 외부 디바이스(1850a)의 추천된 배향)을 나타낸다. 일부 실시예들에서, 선택된 배향은 컴퓨터 시스템 및/또는 외부 디바이스의 속성에 기초한다. 일부 실시예들에서, 선택된 배향은 컴퓨터 시스템의 디바이스의 유형, 카메라의 높이(예컨대, 카메라의 예상 장착 위치의 높이), 및/또는 카메라의 시야에 기초하여 선택된다. 일부 실시예들에서, (예컨대, 도 18l 및 도 18m에 도시된 바와 같이) 카메라가 컴퓨터 시스템에 장착될 때 세로 배향이 가로 배향보다 카메라의 더 큰 높이를 초래할 것이기 때문에 컴퓨터 시스템이 랩톱 컴퓨터일 때 세로 배향이 선택된다. 일부 실시예들에서, 카메라의 예상 장착 위치가, 예컨대 랩톱보다 더 높기 때문에, 컴퓨터 시스템이 데스크톱 컴퓨터일 때 가로 배향이 선택된다. 일부 실시예들에서, 선택된 배향은 최대 시야를 갖는 카메라의 치수(예컨대, 수직 또는 수평)가 (예컨대, 표면을 더 많이 캡처하기 위해) 수직으로 정렬되도록 선택된다.

도 18l에서, 컴퓨터 시스템(1800b) 상의 가상 시연은 가상 표면(1812) 상에 시뮬레이션된 마크(1816b)를 행하는 가상 필기 도구(1814)를 포함한다. 동시에, 가상 표면 이미지(1818), 가상 필기 도구 이미지(1820), 및 시뮬레이션된 마크 이미지(1822b)가 카메라(1852a)에 의해 캡처된 표면(1814)의 이미지를 디스플레이하는 특징부를 시연하기 위해 가상 컴퓨터 시스템(1808b) 상에 디스플레이된다. 도 18l의 가상 시연 부분(1806a)에서 가상 컴퓨터 시스템(1808b) 주위의 곡선 화살표들은, 가상 시연이, 도 18b 내지 도 18k를 참조하여 설명된 가상 시연의 상이한 상태들과 유사하게, 다수의 상이한 상태들(예컨대, 시뮬레이션된 마크(1818b) 및 시뮬레이션된 마크 이미지(1822b)가 진행됨에 따라 상이한 관점들을 갖는 애니메이션)을 포함함을 나타낸다. 예를 들어, 일부 실시예들에서, 도 18l에서의 가상 시연은 시뮬레이션된 마크(1818b) 및 시뮬레이션된 마크 이미지(1822b)가 진행됨에 따라 (예컨대, 도 18b에 도시된 바와 같은) 오버헤드 관점으로부터 (예컨대, 도 18d에 도시된 바와 같은) 정면 관점으로 그리고 이어서 (예컨대, 도 18f에 도시된 바와 같은) 측면 관점으로 전이한다. 대안적으로, 도 18l에서의 가상 시연은 도 18b 내지 도 18k에 도시된 것과는 상이한 순서로 전이할 수 있다. 예를 들어, 일부 실시예들에서, 도 18m에서의 가상 시연은 시뮬레이션된 마크(1818b) 및 시뮬레이션된 마크 이미지(1822b)가 진행됨에 따라 (예컨대, 도 18d에 도시된 바와 같은) 정면 관점으로부터 (예컨대, 도 18b에 도시된 바와 같은) 평면 관점으로 그리고 이어서 (예컨대, 도 18f에 도시된 바와 같은) 측면 관점으로 전이한다.

도 18l에서, 컴퓨터 시스템(1800b)은, 카메라 애플리케이션 윈도우(6114)의 헤더(header) "CAMARA"에 의해 나타낸 바와 같이, 스페인어의 언어 설정을 갖는다. 컴퓨터 시스템(1800b)은 스페인어의 언어 설정을 갖기 때문에, 지침서의 시뮬레이션된 마크(1816b)(예컨대, "hola") 및 대응하는 시뮬레이션된 마크 이미지(1822b)는 스페인어로 되어 있다. 이에 비해, 컴퓨터 시스템(1800a)은 영어의 언어 설정을 갖기 때문에, 도 18b 내지 도 18k의 시뮬레이션된 마크(1816a)는 영어로 되어 있다.

도 18m은 컴퓨터 시스템(1800b)(도 18l에서 설명됨) 및 외부 디바이스(1850b)를 예시한다. 외부 디바이스(1850b)는 카메라(1852b)를 포함한다. 외부 디바이스(1850b)는 외부 디바이스(1850a)와는 상이한 모델인 스마트폰이다.

도 18m에서 카메라 애플리케이션 아이콘(6108)의 선택을 검출하는 것에 응답하여, 도 18m에 도시된 바와 같이, 컴퓨터 시스템(1800b)은 카메라 애플리케이션 윈도우(6114) 및 지침서 사용자 인터페이스(1806)를 디스플레이한다. 도 18m에서, 지침서 사용자 인터페이스(1806)는 컴퓨터 시스템(1800a)을 참조하여 도 18b 내지 도 18k에서 설명된 카메라 애플리케이션의 특징부들의 가상 시연과 함께 지침서를 디스플레이한다. 도 18m에서의 가상 시연은 위에서 설명된 가상 컴퓨터 시스템(1808b), 가상 표면(1812), 가상 필기 도구(1814), 가상 표면 이미지(1818), 및 가상 필기 도구 이미지(1820)를 포함한다. 외부 디바이스(1850b)는 외부 디바이스(1850a)와는 상이한 모델의 스마트폰이기 때문에, 가상 시연은 외부 디바이스(1850b)와 동일한 모델인 스마트폰의 가상 표현을 포함한다. 특히, 가상 시연은 가상 컴퓨터 시스템(1808b)에 장착된, 외부 디바이스(1850b)의 가상 표현인 가상 외부 디바이스(1810b)를 디스플레이한다.

도 18m에서, 컴퓨터 시스템(1800b) 상의 가상 시연은 가상 표면(1812) 상에 시뮬레이션된 마크(1816c)를 행하는 가상 필기 도구(1814)를 포함한다. 동시에, 가상 표면 이미지(1818), 가상 필기 도구 이미지(1820), 및 시뮬레이션된 마크 이미지(1822c)가 카메라(1852b)에 의해 캡처된 표면(1814)의 이미지를 디스플레이하는 특징부를 시연하기 위해 가상 컴퓨터 시스템(1808b) 상에 디스플레이된다. 도 18m에 예시된 실시예에서, 시뮬레이션된 마크(1818c) 및 대응하는 시뮬레이션된 마크 이미지(1822c)는 심볼(예컨대, 별 모양 심볼)이다. 도 18m의 가상 시연 부분(1806a)에서 가상 컴퓨터 시스템(1808b) 주위의 곡선 화살표들은, 가상 시연이, 도 18b 내지 도 18k를 참조하여 설명된 가상 시연의 상이한 상태들과 유사하게, 다수의 상이한 상태들(예컨대, 시뮬레이션된 마크(1818c) 및 시뮬레이션된 마크 이미지(1822c)가 진행됨에 따라 상이한 관점들을 갖는 애니메이션)을 포함함을 나타낸다. 예를 들어, 일부 실시예들에서, 도 18m에서의 가상 시연은 시뮬레이션된 마크(1818c) 및 시뮬레이션된 마크 이미지(1822c)가 진행됨에 따라 (예컨대, 도 18b에 도시된 바와 같은) 오버헤드 관점으로부터 (예컨대, 도 18d에 도시된 바와 같은) 정면 관점으로 그리고 이어서 (예컨대, 도 18f에 도시된 바와 같은) 측면 관점으로 전이한다. 대안적으로, 도 18m에서의 가상 시연은 도 18b 내지 도 18k에 도시된(또는 도 18l에서의 가상 시연의) 것과는 상이한 순서로 전이할 수 있다. 예를 들어, 일부 실시예들에서, 도 18m에서의 가상 시연은 시뮬레이션된 마크(1818c) 및 시뮬레이션된 마크 이미지(1822c)가 진행됨에 따라 (예컨대, 도 18g에 도시된 바와 같은) 다중 관점 뷰로부터 (예컨대, 도 18d에 도시된 바와 같은) 정면 관점으로 그리고 이어서 (예컨대, 도 18f에 도시된 바와 같은) 측면 관점으로 전이한다.

도 18m에서, 컴퓨터 시스템(1800b)은 카메라 애플리케이션 윈도우(6114)의 상단 경계에 해싱(hashing)에 의해 표시되는 색상과 연관된다. 도 18m에 예시된 실시예에서, 컴퓨터 시스템(1800b)은 카메라 애플리케이션 윈도우(6114)의 상단 경계에 해싱에 의해 표시되는 색상과 연관되기 때문에, 지침서의 시뮬레이션된 마크(1816c) 및 대응하는 시뮬레이션된 마크 이미지(1822c)는 카메라 애플리케이션 윈도우(6114)의 상단 경계에 해싱에 의해 표시되는 색상이다.

도 18n은 디스플레이(1801c) 및 카메라(1802c)를 포함하는 컴퓨터 시스템(1800c)을 예시한다. 컴퓨터 시스템(1800c)은 (예컨대, 컴퓨터 시스템(1800b)의 날카로운 코너들에 비해 컴퓨터 시스템(1800c)의 둥근 코너들에 의해 나타낸 바와 같이) 컴퓨터 시스템(1800b)과는 상이한 제조사 및/또는 모델의 랩톱 컴퓨터이다. 도 18n에서, 컴퓨터 시스템(1800c)은 외부 디바이스에 결합되지 않고, 1850a 또는 1850b와 같은, 외부 디바이스의 카메라보다는 컴퓨터 시스템의 카메라(1802c)를 사용하여 도 18a 내지 도 18m을 참조하여 설명된 카메라 애플리케이션의 특징부들을 수행한다.

도 18n에서 카메라 애플리케이션 아이콘(6108)의 선택을 검출하는 것에 응답하여, 도 18n에 도시된 바와 같이, 컴퓨터 시스템(1800c)은 카메라 애플리케이션 윈도우(6114) 및 지침서 사용자 인터페이스(1806)를 디스플레이한다. 도 18n에서, 지침서 사용자 인터페이스(1806)는 컴퓨터 시스템(1800a)을 참조하여 도 18b 내지 도 18k에서 설명된 카메라 애플리케이션의 특징부들의 가상 시연과 함께 지침서를 디스플레이한다. 도 18m에서의 가상 시연은 위에서 설명된 가상 컴퓨터 시스템(1808c), 가상 표면(1812), 가상 필기 도구(1814), 가상 표면 이미지(1818), 및 가상 필기 도구 이미지(1820)를 포함한다. 가상 시연은 컴퓨터 시스템(1800c)과 동일한 제조사 및/또는 모델인 랩톱의 가상 표현을 포함한다. 특히, 가상 시연은 컴퓨터 시스템(1800c)의 가상 표현인 가상 컴퓨터 시스템(1808c)을 디스플레이한다. 도 18n에서 컴퓨터 시스템(1800c)은 외부 디바이스에 결합되지 않기 때문에, 가상 시연은 외부 디바이스의 가상 표현을 포함하지 않는다.

도 18n에서, 컴퓨터 시스템(1800c) 상의 가상 시연은 가상 표면(1812) 상에 (위에서 설명된) 시뮬레이션된 마크(1816a)를 행하는 가상 필기 도구(1814)를 포함한다. 동시에, 가상 표면 이미지(1818), 가상 필기 도구 이미지(1820), 및 시뮬레이션된 마크 이미지(1822a)가 카메라(1802c)에 의해 캡처된 표면(1814)의 이미지를 디스플레이하는 특징부를 시연하기 위해 가상 컴퓨터 시스템(1808c) 상에 디스플레이된다. 도 18n의 가상 시연 부분(1806a)에서 가상 컴퓨터 시스템(1808c) 주위의 곡선 화살표들은, 가상 시연이, 도 18b 내지 도 18k를 참조하여 설명된 가상 시연의 상이한 상태들과 유사하게, 다수의 상이한 상태들(예컨대, 시뮬레이션된 마크(1818a) 및 시뮬레이션된 마크 이미지(1822a)가 진행됨에 따라 상이한 관점들을 갖는 애니메이션)을 포함함을 나타낸다. 예를 들어, 일부 실시예들에서, 도 18n에서의 가상 시연은 시뮬레이션된 마크(1818a) 및 시뮬레이션된 마크 이미지(1822a)가 진행됨에 따라 (예컨대, 도 18b에 도시된 바와 같은) 오버헤드 관점으로부터 (예컨대, 도 18d에 도시된 바와 같은) 정면 관점으로 그리고 이어서 (예컨대, 도 18f에 도시된 바와 같은) 측면 관점으로 전이한다. 대안적으로, 도 18n에서의 가상 시연은 도 18b 내지 도 18k에 도시된(또는 도 18l 및 도 18m에서의 가상 시연들의) 것과는 상이한 순서로 전이할 수 있다. 예를 들어, 일부 실시예들에서, 도 18m에서의 가상 시연은 시뮬레이션된 마크(1818a) 및 시뮬레이션된 마크 이미지(1822a)가 진행됨에 따라 (예컨대, 도 18f에 도시된 바와 같은) 측면 관점으로부터 (예컨대, 도 18d에 도시된 바와 같은) 정면 관점으로 그리고 이어서 (예컨대, 도 18b에 도시된 바와 같은) 평면 관점으로 전이한다.

도 19는 일부 실시예들에 따른, 컴퓨터 시스템 상의 특징부에 대한 지침서를 디스플레이하기 위한 방법을 예시하는 흐름도이다. 방법(1900)은 디스플레이 생성 컴포넌트(예컨대, 601, 683, 6101, 1800a, 1801b, 및/또는 1801c)(예컨대, 디스플레이 제어기, 터치 감응형 디스플레이 시스템, 모니터, 및/또는 머리 장착형 디스플레이 시스템) 및 하나 이상의 입력 디바이스들(예컨대, 6103, 601, 및/또는 683)(예컨대, 터치 감응형 표면, 키보드, 제어기, 및/또는 마우스)과 통신하는 컴퓨터 시스템(예컨대, 100, 300, 500, 600-1, 600-2, 600-3, 600-4, 906a, 906b, 906c, 906d, 6100-1, 6100-2, 1100a, 1100b, 1100c, 1100d, 1800a, 1800b, 및/또는 1800c)(예컨대, 스마트폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 및/또는 머리 장착형 디바이스(예컨대, 머리 장착형 증강 현실 및/또는 확장 현실 디바이스))에서 수행된다. 방법(1900)의 일부 동작들은 선택적으로 조합되고, 일부 동작들의 순서들은 선택적으로 변경되며, 일부 동작들은 선택적으로 생략된다.

아래에서 설명되는 바와 같이, 방법(1900)은 컴퓨터 시스템 상의 특징부에 대한 지침서를 디스플레이하기 위한 직관적인 방식을 제공한다. 본 방법은 컴퓨터 시스템 상의 특징부에 대한 지침서를 디스플레이하는 것에 대한 사용자의 인지적 부담을 감소시켜서, 그에 의해, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 컴퓨팅 디바이스들의 경우, 사용자가 더 빠르고 더 효율적으로 컴퓨터 시스템 상의 특징부에 대한 지침서를 디스플레이할 수 있게 하는 것은 전력을 절약하고 배터리 충전들 사이의 시간을 증가시킨다.

방법(1900)에서, 컴퓨터 시스템은, 하나 이상의 입력 디바이스들을 통해, 컴퓨터 시스템 상의 특징부를 사용하라는 요청(예컨대, 입력, 터치 입력, 음성 입력, 버튼 누르기, 마우스 클릭, 터치 감응형 표면 상에서의 누르기, 에어 제스처, 사용자 상호작용형 그래픽 객체의 선택, 및/또는 다른 선택 입력)(예컨대, 6108의 선택, 도 16m의 6136-1의 선택, 610의 선택, 또는 607-2, 612d의 선택)을 검출한다(1902). 일부 실시예들에서, 특징부는, (예컨대, 방법들(700, 1700)과 관련하여 더 상세히 설명된 바와 같이) 카메라의 시선이 표면에 수직인 것으로 보이도록 카메라에 대한 표면의 위치에 기초하여 수정되고 카메라의 시야 내에 있는 표면의 이미지를 디스플레이하는 애플리케이션을 포함한다.

컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하는 것에 응답하여, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트를 통해, 특징부의 가상 시연(예컨대, 도 18b 내지 도 18n에서 설명된 1806a에서의 가상 시연)을 포함하는, 특징부를 사용하기 위한 지침서(예컨대, 1806, 1806a, 및/또는 1806b)를 디스플레이하며(1904), 이는, 컴퓨터 시스템의 속성이 제1 값(예컨대, 디바이스 유형(예컨대, 랩톱, 데스크톱, 또는 태블릿), 디바이스 모델, 디바이스 결합 구성(예컨대, 결합됨 또는 결합되지 않음), 디바이스 배향(예컨대, 가로 또는 세로), 시스템 언어(예컨대, 영어, 스페인어, 또는 중국어), 또는 시스템 색상(예컨대, 청색, 녹색, 적색, 및/또는 배색)과 같은 비수치 값, 또는 모델 번호, 일련 번호, 또는 버전 번호와 같은 수치 값)을 갖는다는 결정에 따라, 컴퓨터 시스템이 제1 외관(예컨대, 제1 시각적 특성(들) 및/또는 제1 애니메이션)을 갖는 가상 시연을 디스플레이하는 것(1906); 및 컴퓨터 시스템의 속성이 제2 값(예컨대, 디바이스 유형(예컨대, 랩톱, 데스크톱, 또는 태블릿), 디바이스 모델, 디바이스 결합 구성(예컨대, 결합됨 또는 결합되지 않음), 디바이스 배향(예컨대, 가로 또는 세로), 시스템 언어(예컨대, 영어, 스페인어, 또는 중국어), 또는 시스템 색상(예컨대, 청색, 녹색, 적색, 및/또는 배색)과 같은 비수치 값, 또는 모델 번호, 일련 번호, 또는 버전 번호와 같은 수치 값)을 갖는다는 결정에 따라, 컴퓨터 시스템이 제1 외관과는 상이한 제2 외관(예컨대, 제1 시각적 특성(들)과는 상이한 제2 시각적 특성(들) 및/또는 제1 애니메이션과는 상이한 제2 애니메이션)을 갖는 가상 시연을 디스플레이하는 것(1908)을 포함한다. 컴퓨터 시스템의 속성에 기초하여 가상 시연의 외관을 디스플레이하는 것은, 컴퓨터 시스템이 사용자의 컴퓨터 시스템에 가상 시연을 맞춤화할 수 있게 하고, 사용자에게 특징부의 더 현실적이고 유용한 시연을 제공하며, 사용자가 가상 시연을 위한 디바이스의 속성들을 선택하기 위해 추가 입력들을 제공할 필요성을 감소시키며, 이는 개선된 시각적 피드백을 제공하고, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작(예컨대, 가상 시연의 외관을 선택하는 것)을 수행하며, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 컴퓨터 시스템은, 기준들의 세트(예컨대, 하나 이상의 기준들 및/또는 미리결정된 기준들의 세트)가 충족된다는 결정에 따라, 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하는 것에 응답하여, 특징부의 가상 시연을 포함하는, 특징부를 사용하기 위한 지침서를 디스플레이하고; 컴퓨터 시스템은, 기준들의 세트가 충족되지 않는다는 결정에 따라, 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하는 것에 응답하여, 특징부의 가상 시연을 포함하는, 특징부를 사용하기 위한 지침서를 디스플레이하는 것을 보류한다. 일부 실시예들에서, 기준들의 세트는 특징부가 임계량을 만족시키는(예컨대, 그와 동일한; 그 이하인; 또는 그 미만인) 횟수(예컨대, 0회, 1회, 2회, 또는 3회)만큼 사용된(예컨대, 컴퓨터 시스템 상에서 또는 선택적으로, 컴퓨터 시스템과 동일한 사용자와 연관된 다른 컴퓨터 시스템 상에서 개시된, 활성화된, 열린, 및/또는 시작된) 경우 충족되는 기준을 포함한다(예컨대, 기준들의 세트는 특징부가 사용자에 의해 적어도 임계량(예컨대, 1회 이상)만큼 사용되었는지 여부에 기초함). 일부 실시예들에서, 컴퓨터 시스템은 특징부가 컴퓨터 시스템 상에서(또는 선택적으로, 컴퓨터 시스템과 동일한 사용자와 연관된 다른 컴퓨터 시스템 상에서) 사용되지 않은 경우에만 지침서를 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 특징부가 컴퓨터 시스템 상에서 1회 이상 사용된 경우 지침서를 디스플레이하는 것을 보류한다.

일부 실시예들에서, 가상 시연은 특징부에 대한 액세스를 제공하기 위해 어느 유형의 디바이스가 사용되고 있는지(예컨대, 광각 카메라의 경우, 카메라가 어느 유형의 디바이스 내에 수용되는지 및/또는 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 스마트폰, 또는 스마트워치와 같은 어떤 종류의 디바이스가 카메라의 시야의 표현을 디스플레이하고 있는지)에 기초하는 외관을 갖는다(예컨대, 가상 컴퓨터 시스템(1808a)은, 도 18b 내지 도 18i에 도시된 바와 같이, 컴퓨터 시스템(1800a)이 데스크톱 컴퓨터이기 때문에 데스크톱 컴퓨터이고; 가상 컴퓨터 시스템(1808b)은, 도 18l 및 도 18m에 도시된 바와 같이, 컴퓨터 시스템(1800b)이 랩톱 컴퓨터이기 때문에 랩톱 컴퓨터이며; 가상 컴퓨터 시스템(1808c)은, 도 18n에 도시된 바와 같이, 컴퓨터 시스템(1800c)이 랩톱 컴퓨터이기 때문에 랩톱 컴퓨터이고; 가상 외부 디바이스(1810a) 및 가상 외부 디바이스(1810b)는, 도 18b 내지 도 18m에 도시된 바와 같이, 외부 디바이스(1850a) 및 외부 디바이스(1850b)가 각각 스마트폰들이기 때문에 전화기들임). 일부 실시예들에서, 특징부의 가상 시연은 컴퓨터 시스템과 동일한 유형의 디바이스인 디바이스의 그래픽(예컨대, 가상) 표현을 포함한다. 일부 실시예들에서, 제1 값은 제1 유형의 디바이스이고, 제2 값은 제1 유형의 디바이스와는 상이한 제2 유형의 디바이스이다. 일부 실시예들에서, 컴퓨터 시스템이 제1 유형의 디바이스라는 결정에 따라, 가상 시연(또는 가상 시연의 제1 외관)은 제1 유형의 디바이스의 그래픽 표현을 포함하고; 컴퓨터 시스템이 제2 유형의 디바이스라는 결정에 따라, 가상 시연(또는 가상 시연의 제2 외관)은 제2 유형의 디바이스의 그래픽 표현을 포함한다. 특징부에 대한 액세스를 제공하기 위해 어느 유형의 디바이스가 사용되고 있는지에 가상 시연의 외관을 기초하는 것은, 컴퓨터 시스템이 사용자의 컴퓨터 시스템에 가상 시연을 맞춤화할 수 있게 하고, 사용자에게 특징부의 더 현실적이고 유용한 시연을 제공하며, 사용자가 가상 시연을 위한 디바이스의 유형을 선택하기 위해 추가 입력들을 제공할 필요성을 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 가상 시연은 특징부에 대한 액세스를 제공하기 위해 어느 모델의 디바이스가 사용되고 있는지(예컨대, 디바이스의 모델명 및/또는 디바이스의 모델 버전)에 기초하는 외관을 갖는다(예컨대, 가상 컴퓨터 시스템(1808b)은, 도 18l 및 도 18m에 도시된 바와 같이, 컴퓨터 시스템(1800b)이 날카로운 코너들을 갖는 랩톱 컴퓨터이기 때문에, 날카로운 코너들을 갖는 랩톱 컴퓨터의 모델이고; 가상 컴퓨터 시스템(1808c)은, 도 18n에 도시된 바와 같이, 컴퓨터 시스템(1800c)이 둥근 코너들을 갖는 랩톱 컴퓨터이기 때문에, 둥근 코너들을 갖는 랩톱 컴퓨터의 모델임). 일부 실시예들에서, 가상 시연은 컴퓨터 시스템과 동일한 모델의 디바이스인 디바이스의 가상 표현을 포함한다. 일부 실시예들에서, 제1 값은 제1 모델의 디바이스이고, 제2 값은 제1 모델의 디바이스와는 상이한 제2 모델의 디바이스이다. 일부 실시예들에서, 컴퓨터 시스템이 제1 모델의 디바이스라는 결정에 따라, 가상 시연(또는 가상 시연의 제1 외관)은 제1 모델의 디바이스인 디바이스의 그래픽 표현을 포함하고; 컴퓨터 시스템이 제2 모델의 디바이스라는 결정에 따라, 가상 시연(또는 가상 시연의 제2 외관)은 제2 모델의 디바이스인 디바이스의 그래픽 표현을 포함한다. 특징부에 대한 액세스를 제공하기 위해 어느 모델의 디바이스가 사용되고 있는지에 가상 시연의 외관을 기초하는 것은, 컴퓨터 시스템이 사용자의 컴퓨터 시스템에 가상 시연을 맞춤화할 수 있게 하고, 사용자에게 특징부의 더 현실적이고 유용한 시연을 제공하며, 사용자가 가상 시연을 위한 디바이스의 모델을 선택하기 위해 추가 입력들을 제공할 필요성을 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 가상 시연은 특징부에 대한 액세스를 제공하기 위해 컴퓨터 시스템이 외부 디바이스(예컨대, 특정 유형의 외부 디바이스, 스마트폰, 태블릿, 및/또는 카메라)에 결합되는지(예컨대, 그와 통신하는지) 여부(또는 컴퓨터 시스템이 단일 디바이스만을 또는 함께 결합되는 2개 이상의 디바이스들을 포함하는지 여부)에 기초하는 외관을 갖는다(예컨대, 도 18b 내지 도 18i에서의 가상 시연은 컴퓨터 시스템(1800a)이 외부 디바이스(1850a)에 결합되기 때문에 가상 외부 디바이스(1810a)를 포함하고; 도 18l에서의 가상 시연은 컴퓨터 시스템(1800b)이 외부 디바이스(1850a)에 결합되기 때문에 가상 외부 디바이스(1810a)를 포함하며; 도 18m에서의 가상 시연은 컴퓨터 시스템(1800b)이 외부 디바이스(1850b)에 결합되기 때문에 가상 외부 디바이스(1810b)를 포함하고; 도 18n에서의 가상 시연은 컴퓨터 시스템(1800c)이 외부 디바이스에 결합되지 않기 때문에 가상 외부 디바이스를 포함하지 않음). 일부 실시예들에서, 제1 값은 컴퓨터 시스템이 외부 디바이스에 결합된다는 것이고, 제2 값은 컴퓨터 시스템이 외부 디바이스에 결합되지 않는다는 것이다. 일부 실시예들에서, 컴퓨터 시스템이 외부 디바이스에 결합된다는 결정에 따라, 가상 시연(또는 가상 시연의 제1 외관)은 컴퓨터 시스템의 그래픽 표현 및 외부 디바이스의 그래픽 표현을 포함하고; 컴퓨터 시스템이 외부 디바이스에 결합되지 않는다는 결정에 따라, 가상 시연(또는 가상 시연의 제2 외관)은 외부 디바이스의 그래픽 표현 없이 컴퓨터 시스템의 그래픽 표현을 포함한다. 특징부에 대한 액세스를 제공하기 위해 컴퓨터 시스템이 외부 디바이스에 결합되는지 여부에 가상 시연의 외관을 기초하는 것은, 컴퓨터 시스템이 사용자의 컴퓨터 시스템에 가상 시연을 맞춤화할 수 있게 하고, 사용자에게 특징부의 더 현실적이고 유용한 시연을 제공하며, 사용자가 가상 시연을 위한 시스템 구성을 선택하기 위해 추가 입력들을 제공할 필요성을 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 컴퓨터 시스템이 외부 디바이스에 결합된다는 결정에 따라, 지침서를 디스플레이하는 것은 외부 디바이스의 그래픽(예컨대, 가상) 표현을 복수의 가능한 배향들 중 선택된 배향(예컨대, 미리결정된 배향, 추천된 배향, 수직 배향, 수평 배향, 가로 배향, 및/또는 세로 배향)으로 디스플레이하는 것을 포함한다(예컨대, 가상 외부 디바이스(1810a)는, 컴퓨터 시스템이 데스크톱 컴퓨터이기 때문에, 외부 디바이스(1850a/1850b)가 수평 배향에 있을 때 카메라(1852a/1852b)가 더 넓은 수직 시야를 갖기 때문에, 그리고/또는 컴퓨터 시스템(1800a)의 높이 때문에, 도 18b 내지 도 18i의 가상 시연에서 수평 배향으로 디스플레이되고; 가상 외부 디바이스(1810a) 및 가상 외부 디바이스(1850b)는, 컴퓨터 시스템이 랩톱 컴퓨터이기 때문에, 외부 디바이스(1850a/1850b)가 수직 배향에 있을 때 카메라(1852a/1852b)가 더 넓은 수직 시야를 갖기 때문에, 그리고/또는 컴퓨터 시스템(1800b)의 높이 때문에, 도 18l 및 도 18m의 가상 시연에서 수직 배향으로 디스플레이됨). 일부 실시예들에서, 컴퓨터 시스템 및/또는 외부 디바이스의 속성이 제1 값을 갖는다는(예컨대, 컴퓨터 시스템 및/또는 외부 디바이스가 제1 유형의 디바이스 및/또는 제1 모델의 디바이스라는) 결정에 따라, 가상 시연은 외부 디바이스의 그래픽 표현을 복수의 가능한 배향들 중 제1 배향으로 디스플레이하고; 컴퓨터 시스템 및/또는 외부 디바이스의 속성이 제1 값과는 상이한 제2 값을 갖는다는(예컨대, 컴퓨터 시스템 및/또는 외부 디바이스가 제2 유형의 디바이스 및/또는 제2 모델의 디바이스라는) 결정에 따라, 가상 시연은 외부 디바이스의 그래픽 표현을 제1 배향과는 상이한, 복수의 가능한 배향들 중 제2 배향으로 디스플레이한다. 일부 실시예들에서, 선택된 배향은 컴퓨터 시스템의 디바이스의 유형, 카메라의 높이(예컨대, 카메라의 예상 장착 위치의 높이), 및/또는 카메라의 시야에 기초하여 선택된다. 일부 실시예들에서, 카메라가 컴퓨터 시스템에 장착될 때 세로 배향이 가로 배향보다 카메라의 더 큰 높이를 초래할 것이기 때문에 컴퓨터 시스템이 랩톱 컴퓨터일 때 세로 배향이 선택된다. 일부 실시예들에서, 카메라의 예상 장착 위치가, 예컨대 랩톱보다 더 높기 때문에, 컴퓨터 시스템이 데스크톱 컴퓨터일 때 가로 배향이 선택된다. 일부 실시예들에서, 선택된 배향은 최대 시야를 갖는 카메라의 치수(예컨대, 수직 또는 수평)가 (예컨대, 표면을 더 많이 캡처하기 위해) 수직으로 정렬되도록 선택된다. 컴퓨터 시스템이 외부 디바이스에 결합된다는 결정에 따라, 외부 디바이스의 그래픽 표현을 복수의 가능한 배향들 중 선택된 배향으로 디스플레이하는 것은, 컴퓨터 시스템이 사용자의 컴퓨터 시스템에 가상 시연을 맞춤화할 수 있게 하고, 특징부의 동작을 개선할(예컨대, 특징부를 사용자에게 더 효과적이게 할) 수 있는 추천된 배향을 제공하며, 사용자가 가상 시연을 위한 외부 디바이스의 배향을 선택하기 위해 추가 입력들을 제공할 필요성을 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행하며, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 가상 시연은 컴퓨터 시스템의 시스템 언어(예컨대, 컴퓨터 시스템의 운영 체제의 언어 설정)에 기초하는 외관을 갖는다(예컨대, 시뮬레이션된 마크(1816a) 및/또는 시뮬레이션된 마크 이미지(1822a)는 컴퓨터 시스템(1800a)의 시스템 언어가 영어이기 때문에 영어로 되어 있고; 시뮬레이션된 마크(1816b) 및/또는 시뮬레이션된 마크 이미지(1822b)는 컴퓨터 시스템(1800b)의 시스템 언어가 스페인어이기 때문에 스페인어로 되어 있음). 일부 실시예들에서, 제1 값은 제1 언어이고, 제2 값은 제1 언어와는 상이한 제2 언어이다. 일부 실시예들에서, 시스템 언어가 제1 언어라는 결정에 따라, 가상 시연(또는 가상 시연의 제1 외관)은 제1 언어로 된 그래픽 표현(예컨대, 필기문)을 포함하고; 시스템 언어가 제2 언어라는 결정에 따라, 가상 시연(또는 가상 시연의 제1 외관)은 제2 언어로 된 그래픽 표현을 포함한다. 컴퓨터 시스템의 시스템 언어에 가상 시연의 외관을 기초하는 것은, 컴퓨터 시스템이 사용자의 컴퓨터 시스템에 가상 시연을 맞춤화할 수 있게 하고, 사용자에게 특징부의 더 현실적이고 유용한 시연을 제공하며, 사용자가 가상 시연을 위한 시스템 언어를 선택하기 위해 추가 입력들을 제공할 필요성을 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 가상 시연은 컴퓨터 시스템과 연관된 색상(예컨대, 컴퓨터 시스템에서 사용되는 악센트 컬러(accent color), 컴퓨터 시스템의 운영 체제에 대한 것과 같은 색상 설정, 및/또는 컴퓨터 시스템의 사용자 인터페이스에 대한 배색)에 기초하는 외관을 갖는다(예컨대, 시뮬레이션된 마크(1816a) 및/또는 시뮬레이션된 마크 이미지(1822a)는 제1 색상이 컴퓨터 시스템(1800a)과 연관되기 때문에 제1 색상이고; 시뮬레이션된 마크(1816c) 및/또는 시뮬레이션된 마크 이미지(1822c)는 제1 색상과는 상이한 제2 색상이 도 18m에서 컴퓨터 시스템(1800b)과 연관되기 때문에 제2 색상임). 일부 실시예들에서, 컴퓨터 시스템과 연관된 색상은 사용자 선택가능 색상이다(예컨대, 사용자는 요소들의 서브세트(예컨대, 버튼들, 토글들, 슬라이더들, 또는 텍스트 입력 필드들 및/또는 배경 또는 바탕화면(wallpaper)과 같은 특정 유형의 상호작용형 시스템 요소)에 대한 색상으로서 운영 체제 전체에 걸쳐 사용하기 위해 복수의 이용가능한 색상들로부터 제1 색상 또는 제2 색상을 선택할 수 있음). 일부 실시예들에서, 제1 값은 제1 색상이고, 제2 값은 제1 색상과는 상이한 제2 색상이다. 일부 실시예들에서, 컴퓨터 시스템과 연관된 색상이 제1 색상이라는 결정에 따라, 가상 시연(또는 가상 시연의 제1 외관)은 제1 색상을 갖는 그래픽 표현을 포함하고; 컴퓨터 시스템과 연관된 색상이 제2 색상이라는 결정에 따라, 가상 시연(또는 가상 시연의 제1 외관)은 제2 색상을 갖는 그래픽 표현을 포함한다. 컴퓨터 시스템과 연관된 색상에 가상 시연의 외관을 기초하는 것은, 컴퓨터 시스템이 사용자의 컴퓨터 시스템에 가상 시연을 맞춤화할 수 있게 하고, 사용자에게 특징부의 더 현실적이고 유용한 시연을 제공하며, 사용자가 가상 시연을 위한 색상을 선택하기 위해 추가 입력들을 제공할 필요성을 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 지침서를 디스플레이하는 것은 물리적 환경의 시뮬레이션된 표현(예컨대, 도 18f의 가상 시연 부분(1806a)에 도시된 물리적 환경의 시뮬레이션된 표현) 내에 하나 이상의 카메라들(예컨대, 1852)(예컨대, 컴퓨터 시스템의 또는 컴퓨터 시스템과 통신하거나 그에 결합된 외부 디바이스의 하나 이상의 카메라들)의 시야의 범위의 그래픽(예컨대, 가상) 표시(예컨대, 1824)를 디스플레이하는 것을 포함한다(예컨대, 가상 시연은 그를 포함함). 일부 실시예들에서, 시야의 범위의 그래픽 표시는 컴퓨터 시스템의 특징부에 의해 디스플레이되는 물리적 환경의 일부분(예컨대, 표면)을 나타낸다. 일부 실시예들에서, 시야의 범위의 그래픽 표시는 카메라로부터 표면을 향해 연장되는 시뮬레이션된 광선들, 팬 형상의 그래픽 요소, 및/또는 웨지 형상의 그래픽 요소를 포함한다. 물리적 환경의 시뮬레이션된 표현 내에 하나 이상의 카메라들의 시야의 범위의 그래픽 표시를 디스플레이하는 것은, 물리적으로일 수 없는 특징부(예컨대, 하나 이상의 카메라들의 시야)의 태양에 관한 정보를 사용자에게 제공하고, 더 유용한 지침서를 제공하며, 이는 사용자에게 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 지침서를 디스플레이하는 것은 입력 구역(예컨대, 시뮬레이션된 입력 구역)의 그래픽 표현(예컨대, 1812) 및 출력 구역(예컨대, 시뮬레이션된 출력 구역)의 그래픽 표현(예컨대, 1808a, 1808b 및/또는 1808c의 가상 디스플레이)을 디스플레이하는 것을 포함한다(예컨대, 가상 시연은 그를 포함함). 일부 실시예들에서, 입력 구역은 표면(예컨대, 물리적 표면; 테이블, 플로어 및/또는 책상의 표면과 같은 수평 표면; 벽, 화이트보드 및/또는 블랙보드와 같은 수직 표면; 책, 한 장의 종이 및/또는 태블릿의 디스플레이와 같은 객체의 표면; 및/또는 다른 표면)을 포함한다. 일부 실시예들에서, 출력 구역은 디스플레이 및/또는 모니터를 포함한다. 입력 구역의 그래픽 표현 및 출력 구역의 그래픽 표현을 디스플레이하는 것은, 특징부에 대한 사용자 입력들의 가능한 구역들 및 특징부의 출력들을 수신하기 위한 예상 구역들에 관한 정보를 사용자에게 제공하고, 사용자가 어떤 입력 구역들이 가능한지를 결정하기 위해 추가 사용자 입력을 행할 필요성을 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력의 수를 감소시킨다.

일부 실시예들에서, 지침서를 디스플레이하는 것은 입력(예컨대, 가상 필기 도구(1814)가 가상 표면(1812) 상에 마크를 행하는 것)(예컨대, 시뮬레이션된 입력 및/또는 사용자 입력)의 그래픽 표현을 디스플레이하는 것을 포함한다(예컨대, 가상 시연은 그를 포함함). 일부 실시예들에서, 입력은 마킹 디바이스(예컨대, 펜, 마커, 연필, 크레용, 스타일러스, 또는 손가락)가 표면(예컨대, 한 장의 종이 또는 태블릿의 디스플레이) 상에 마크(예컨대, 핸드라이팅)를 행하는 것을 포함한다. 일부 실시예들에서, 입력의 그래픽 표현은 마킹 디바이스가 표면 상에 마크를 행하는 그래픽 표현의 이동 및 선택적으로, 사용자의 손이 마킹 디바이스를 이동시키고/시키거나 유지하는 그래픽 표현을 포함한다. 일부 실시예들에서, 입력의 그래픽 표현을 디스플레이하는 것은 시간 경과에 따른 입력의 애니메이션을 디스플레이하는 것(예컨대, 시간 경과에 따라 입력의 그래픽 표현을 애니메이션화하는 것; 시간 경과에 따라 마킹 디바이스가 이동하는 그래픽 표현의 애니메이션을 디스플레이하는 것)을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 입력의 출력(예컨대, 마킹 디바이스에 의해 행해진 마크)의 애니메이션을 디스플레이하며, 여기에서 출력(예컨대, 마크들)은 입력이 진행됨에 따라 시간 경과에 따라 점진적으로 나타난다(예컨대, 업데이트됨). 지침서의 일부로서 입력의 그래픽 표현을 디스플레이하는 것은, 특징부에 대한 가능한 사용자 입력들에 관한 정보를 사용자에게 제공하고, 사용자가 어떤 입력들이 가능한지를 결정하기 위해 추가 사용자 입력을 행할 필요성을 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력의 수를 감소시킨다.

일부 실시예들에서, 지침서를 디스플레이하는 것은 입력(또는 그에 대한 응답)의 제1 출력(예컨대, 표면 상의 시뮬레이션된 마크와 같은 시뮬레이션된 물리적 출력)의 그래픽 표현(예컨대, 1816a, 1816b, 및/또는 1816c) 및 입력(또는 그에 대한 응답)의 제2 출력의 그래픽 표현(예컨대, 1822a, 1822b, 및/또는 1822c)을 디스플레이하는 것(예컨대, 동시에 디스플레이하는 것)을 포함한다(예컨대, 가상 시연은 그를 포함함)(예컨대, 컴퓨터 시스템의 카메라에 의해 캡처된 표면 상의 마크의 시뮬레이션된 이미지가 컴퓨터 시스템의 디스플레이의 가상 표현 상에 디스플레이됨). 입력의 제1 출력의 그래픽 표현 및 입력의 제2 출력의 그래픽 표현을 디스플레이하는 것은, 특징부의 예상 동작 및 출력에 관한 추가 정보를 사용자에게 제공하며, 이는 사용자에게 개선된 시각적 피드백을 제공한다.

일부 실시예들에서, 제1 출력의 그래픽 표현을 디스플레이하는 것은 물리적(예컨대, 실제 세계) 표면(예컨대, 테이블, 플로어 및/또는 책상의 표면과 같은 수평 표면; 벽, 화이트보드 및/또는 블랙보드와 같은 수직 표면; 책, 한 장의 종이 및/또는 태블릿의 디스플레이와 같은 객체의 표면; 및/또는 다른 물리적 표면)의 그래픽(예컨대, 시뮬레이션된 또는 가상) 표현 상에(예컨대, 가상 표면(1812) 상에) 제1 출력의 그래픽 표현을 디스플레이하는 것을 포함하고; 제2 출력의 그래픽 표현을 디스플레이하는 것은 컴퓨터 시스템의 그래픽(예컨대, 시뮬레이션된 또는 가상) 표현 상에(예컨대, 1808a, 1808b, 및/또는 1808c 상에)(예컨대, 디스플레이 생성 컴포넌트의 그래픽 표현 상에) 제2 출력의 그래픽 표현을 디스플레이하는 것을 포함한다. 물리적 표면의 그래픽 표현 상에 제1 출력의 그래픽 표현을 디스플레이하고, 컴퓨터 시스템의 그래픽 표현 상에 제2 출력의 그래픽 표현을 디스플레이하는 것은, 사용자에게 특징부의 출력이 어디에서 발생하는지에 관한 추가 정보를 제공하고, 사용자가 특징부의 출력의 위치를 찾기 위해 추가 사용자 입력들을 제공할 필요성을 감소시키며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 입력의 그래픽 표현을 디스플레이하는 것은 마크(예컨대, 1816a, 1816b, 및/또는 1816c)를 하는 필기 도구(예컨대, 펜, 연필, 마커, 크레용 및/또는 스타일러스와 같은 필기구)의 그래픽(예컨대, 가상) 표현(예컨대, 1814)을 디스플레이하는 것을 포함하고; 지침서를 디스플레이하는 것은 입력의 그래픽 표현을 디스플레이하는 것이 완료된 후에 (예컨대, 표면으로부터 멀어지는, 표면과 접촉하는 것으로부터 표면과 접촉하지 않는 것으로의, 표면 옆으로 벗어난, 그리고/또는 출력의 그래픽 표현을 가리지 않거나 그와 중첩되지 않는 위치로의) 필기 도구의 그래픽 표현의 이동을 디스플레이하는 것을 포함한다(예컨대, 가상 시연은 그를 포함함)(예컨대, 1814를 도 18d의 위치로부터 도 18e의 위치로 이동시킴). 마크를 하는 필기 도구의 그래픽 표현을 디스플레이하고, 입력의 그래픽 표현을 디스플레이하는 것이 완료된 후에 필기 도구의 그래픽 표현의 이동을 디스플레이하는 것은, 사용자에게 특징부에 입력을 제공하는 가능한 방법들에 관한 추가 정보를 제공하고, 입력이 완료되었을 때 컴퓨터 시스템이 필기 도구의 그래픽 표현을 입력을 가리지 않는 위치로 이동시키도록 허용하며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 사용자 인터페이스의 혼란을 감소시킨다.

일부 실시예들에서, 지침서를 디스플레이하는 것은, 제1 시간에 제1 관점(예컨대, 오버헤드 또는 평면 관점, 측면 관점, 정면 관점, 배면 또는 후면 관점, 저면 관점, 평면-측면 관점, 및/또는 저면-측면 관점)으로부터 물리적 객체의 그래픽 표현을 디스플레이하는 것; 및 제2 시간에 제2 관점으로부터 물리적 객체의 그래픽 표현을 디스플레이하는 것을 포함하며(예컨대, 가상 시연은 그를 포함함), 여기에서 제2 관점은 제1 관점과는 상이하고, 제2 시간은 제1 시간과는 상이하다(예컨대, 제1 시간에 도 18b의 관점으로부터 1808a, 1808b, 1808c, 1810a, 1812, 및/또는 1814를 디스플레이하고, 제2 시간에 도 18d의 관점으로부터 1808a, 1808b, 1808c, 1810a, 1812, 및/또는 1814를 디스플레이함; 제1 시간에 도 18d의 관점으로부터 1808a, 1808b, 1808c, 1810a, 1812, 및/또는 1814를 디스플레이하고, 제2 시간에 도 18f의 관점으로부터 1808a, 1808b, 1808c, 1810a, 1812, 및/또는 1814를 디스플레이함). 일부 실시예들에서, 지침서를 디스플레이하는 것은 시간 경과에 따라 상이한 관점들로부터 물리적 객체의 그래픽 표현을 디스플레이하는 것(예컨대, 물리적 객체 주위로 이동하는 가상 카메라의 관점으로부터의 애니메이션 또는 배향을 변경하는(예컨대, 회전하는) 물리적 객체(및 선택적으로, 물리적 객체를 둘러싸는 물리적 환경)의 애니메이션)을 포함한다. 일부 실시예들에서, 물리적 객체의 그래픽 표현의 디스플레이는 시뮬레이션된 입력이 진행됨에 따라 제1 관점으로부터 제2 관점으로 변경된다. 예를 들어, 일부 실시예들에서, 컴퓨터 시스템은 시뮬레이션된 입력의 진행과 동시에 제1 관점으로부터 제2 관점으로의 물리적 객체의 그래픽 표현의 디스플레이의 변화를 디스플레이한다(예컨대, 디바이스가 디스플레이되는 관점의 변화는 시뮬레이션된 핸드라이팅이 그려지고 있음에 따라 점진적으로 발생함). 제1 시간에 제1 관점으로부터 물리적 객체의 그래픽 표현을 디스플레이하고, 제2 시간에 제2 관점으로부터 물리적 객체의 그래픽 표현을 디스플레이하는 것은, 사용자에게 단일 관점으로부터 획득하기 어려운 특징부에 관한 정보를 제공하고, 사용자가 물리적 객체의 다수의 관점들을 관찰하기 위해 추가 사용자 입력들을 제공할 것을 요구하지 않고서 특징부에 관련된 물리적 객체에 관한 정보를 사용자에게 제공하며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 지침서를 디스플레이하는 것은, 제1 시간에 제1 관점(예컨대, 오버헤드 또는 평면 관점, 측면 관점, 정면 관점, 배면 또는 후면 관점, 저면 관점, 평면-측면 관점, 및/또는 저면-측면 관점)으로부터 컴퓨터 시스템의 그래픽 표현을 디스플레이하는 것; 및 제2 시간에 제2 관점으로부터 컴퓨터 시스템의 그래픽 표현을 디스플레이하는 것을 포함하며(예컨대, 가상 시연은 그를 포함함), 여기에서 제2 관점은 제1 관점과는 상이하고, 제2 시간은 제1 시간과는 상이하다(예컨대, 제1 시간에 도 18b의 관점으로부터 1808a, 1808b, 및/또는 1808c를 디스플레이하고, 제2 시간에 도 18d의 관점으로부터 1808a, 1808b, 및/또는 1808c를 디스플레이함; 제1 시간에 도 18d의 관점으로부터 1808a, 1808b, 및/또는 1808c를 디스플레이하고, 제2 시간에 도 18f의 관점으로부터 1808a, 1808b, 및/또는 1808c를 디스플레이함). 일부 실시예들에서, 제1 시간에, 컴퓨터 시스템은 제1 상태의 입력의 그래픽 표현 및 입력의 그래픽 표현의 제1 상태에 대응하는 상태의 출력의 그래픽 표현을 동시에 디스플레이하면서 제1 관점으로부터 물리적 객체(예컨대, 컴퓨터 시스템)의 그래픽 표현을 디스플레이하고, 제2 시간에, 컴퓨터 시스템은 제2 상태의 입력의 그래픽 표현 및 입력의 그래픽 표현의 제2 상태에 대응하는 상태의 출력의 그래픽 표현을 동시에 디스플레이하면서 제2 관점으로부터 물리적 객체의 그래픽 표현을 디스플레이한다(예컨대, 특징부의 가상 시연은 물리적 객체의 그래픽 표현이 디스플레이되는 관점을 동시에 변경하면서 시뮬레이션된 입력 및 대응하는 시뮬레이션된 출력을 디스플레이하는 것을 포함함). 제1 시간에 제1 관점으로부터 컴퓨터 시스템의 그래픽 표현을 디스플레이하고, 제2 시간에 제2 관점으로부터 컴퓨터 시스템의 그래픽 표현을 디스플레이하는 것은, 사용자에게 단일 관점으로부터 획득하기 어려운 특징부에 관한 정보를 제공하고, 사용자가 특징부와 관련 있는 컴퓨터 시스템의 다수의 관점들을 관찰하기 위해 추가 사용자 입력들을 제공할 것을 요구하지 않고서 특징부에 관련된 컴퓨터 시스템에 관한 정보를 사용자에게 제공하며, 이는 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 지침서를 디스플레이하는 것은, 특징부의 제1 가상 시연(예컨대, 제1 가상 시연의 애니메이션 및/또는 제1 가상 시연을 디스플레이하는 것의 제1 발생)을 디스플레이하는 것; 및 특징부의 제1 가상 시연을 디스플레이한 후에, 특징부의 제2 가상 시연을 디스플레이하는 것(예컨대, 제1 가상 시연을 다시 디스플레이하는 것; 제1 가상 시연을 디스플레이하는 것의 제2 발생을 디스플레이하는 것; 제1 가상 시연의 디스플레이를 반복 및/또는 루프화하는 것; 또는 특징부의 제1 가상 시연과는 상이한 특징부의 제2 가상 시연을 디스플레이하는 것)을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 (예컨대, 제1 가상 시연의 디스플레이를 반복하라는 요청에 대응하는 사용자 입력을 검출하지 않고서) 제1 가상 시연의 디스플레이를 자동적으로 반복한다(또는 루프화함). 일부 실시예들에서, 컴퓨터 시스템은 제1 가상 시연의 디스플레이를 중지하라는 요청에 대응하는 입력을 검출할 때까지 제1 가상 시연의 디스플레이를 계속 반복한다. 일부 실시예들에서, 제2 가상 시연은 제1 가상 시연과 부분적으로 동일하고(예컨대, 동일한 디바이스, 시뮬레이션된 필기 도구, 시뮬레이션된 표면, 및/또는 시간 경과에 따른 관점의 변화를 포함함), 제1 가상 시연과 부분적으로 상이하다(예컨대, 상이한 핸드라이팅과 같은 상이한 시뮬레이션된 입력을 포함함). 특징부의 제1 가상 시연을 디스플레이하고, 특징부의 제1 가상 시연을 디스플레이한 후에, 특징부의 제2 가상 시연을 디스플레이하는 것은, 시연을 재생, 일시정지 및/또는 되감기 위해 추가 입력들을 제공할 필요 없이 시연의 단일 인스턴스에서 관찰하기 어려운 시연의 태양들을 관찰하고 시연을 여러 번 보는 능력을 사용자에게 제공하며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 컴퓨터 시스템은 컴퓨터 시스템 상의 특징부를 사용하라는 제2 요청을 검출하고; 컴퓨터 시스템 상의 특징부를 사용하라는 제2 요청을 검출하는 것에 응답하여, 기준들의 세트(예컨대, 하나 이상의 기준들 및/또는 미리결정된 기준들의 세트)가 충족된다는 결정에 따라, 컴퓨터 시스템은 특징부의 가상 시연을 포함하는, 특징부를 사용하기 위한 지침서를 디스플레이하며(예컨대, 1806 및 도 18b 내지 도 18i에서 설명된 지침서를 디스플레이함); 기준들의 세트가 충족되지 않는다는 결정에 따라, 컴퓨터 시스템은 특징부의 가상 시연을 포함하는, 특징부를 사용하기 위한 지침서를 디스플레이하는 것을 보류한다(예컨대, 1806을 디스플레이하지 않고, 도 18b 내지 도 18i에서 설명된 지침서를 디스플레이하지 않음). 기준들의 세트가 충족되는지 여부에 기초하여, 특징부의 가상 시연을 포함하는, 특징부를 사용하기 위한 지침서를 디스플레이하는 것은, 컴퓨터 시스템이 관련 조건들 하에서 지침서를 디스플레이할 수 있게 하거나, 지침서의 디스플레이가 불필요하거나 도움이 되지 않을 때 지침서의 디스플레이와 연관된 시간 및 입력들(예컨대, 지침서를 디스플레이하는 시간 및 지침서를 해제하기 위한 입력들)을 회피하며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시키며, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행한다.

일부 실시예들에서, 기준들의 세트는 특징부가 임계량을 만족시키는(예컨대, 그와 동일한; 그 이하인; 또는 그 미만인) 횟수(예컨대, 0회, 1회, 2회, 또는 3회)만큼 사용된(예컨대, 컴퓨터 시스템 상에서 또는 선택적으로, 컴퓨터 시스템과 동일한 사용자와 연관된 다른 컴퓨터 시스템 상에서 개시된, 활성화된, 열린, 및/또는 시작된) 경우 충족되는 기준을 포함한다(예컨대, 기준들의 세트는 특징부가 사용자에 의해 적어도 임계량(예컨대, 1회 이상)만큼 사용되었는지 여부에 기초함)(예컨대, 도 18a에서의 6108의 선택이 연관된 카메라 애플리케이션이 처음 개시되는 경우, 1806 및 도 18b 내지 도 18i에서 설명된 지침서를 디스플레이함; 도 18a에서의 6108의 선택이 연관된 카메라 애플리케이션이 처음 개시되는 것이 아닌 경우, 1806을 디스플레이하지 않고, 도 18b 내지 도 18i에서 설명된 지침서를 디스플레이하지 않음). 일부 실시예들에서, 컴퓨터 시스템은 특징부가 컴퓨터 시스템 상에서(또는 선택적으로, 컴퓨터 시스템과 동일한 사용자와 연관된 다른 컴퓨터 시스템 상에서) 사용되지 않은 경우에만 지침서를 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 특징부가 컴퓨터 시스템 상에서 1회 이상 사용된 경우 지침서를 디스플레이하는 것을 보류한다. 특징부가 사용된 횟수에 기준들의 세트를 기초하는 것은, 사용자가 특징부에 익숙하지 않을(예컨대, 사용자가 특징부를 처음 또는 처음 두세 번 요청할) 때 컴퓨터 시스템이 지침서를 디스플레이할 수 있게 하고, 사용자가 특징부에 익숙할 때 지침서의 디스플레이와 연관된 시간 및 입력들(예컨대, 지침서를 디스플레이하는 시간 및 지침서를 해제하기 위한 입력들)을 회피하며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시키며, 추가 사용자 입력을 요구하지 않고서 조건들의 세트가 충족되었을 때 동작을 수행한다.

일부 실시예들에서, 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출한 후에(예컨대, 그에 응답하여), 컴퓨터 시스템은, 선택가능 계속 옵션(예컨대, 1806d)(예컨대, 어포던스, 버튼, 선택가능 아이콘, 및/또는 사용자 상호작용형 그래픽 사용자 인터페이스 객체)을 디스플레이하고; 계속 옵션의 선택(예컨대, 1806d의 선택)(예컨대, 입력, 터치 입력, 음성 입력, 버튼 누르기, 마우스 클릭, 터치 감응형 표면 상에서의 누르기, 에어 제스처, 사용자 상호작용형 그래픽 객체의 선택, 및/또는 계속 옵션에 대응하는 그리고/또는 그에 대한 다른 선택 입력)을 검출하며; 계속 옵션의 선택을 검출하는 것에 응답하여, 컴퓨터 시스템 상의 특징부를 사용하기 위한 프로세스를 수행한다(예컨대, 개시하거나 계속함)(예컨대, 도 18k에 도시된 바와 같이 1604를 디스플레이함). 일부 실시예들에서, 컴퓨터 시스템은 계속 옵션 및 지침서를 동시에 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하는 것에 응답하여 특징부를 사용하기 위한 프로세스를 개시하고, 계속 옵션의 선택을 검출하는 것에 응답하여 특징부를 사용하기 위한 프로세스를 계속한다. 일부 실시예들에서, 컴퓨터 시스템은 계속 옵션의 선택을 검출하는 것에 응답하여 특징부를 활성화한다. 일부 실시예들에서, 계속 옵션의 선택을 검출하는 것에 응답하여, 컴퓨터 시스템은 특징부를 셋업하기 위한 사용자 인터페이스를 디스플레이한다(예컨대, 특징부에 대한 셋업 흐름을 활성화함). 일부 실시예들에서, 계속 옵션의 선택을 검출하는 것에 응답하여, 컴퓨터 시스템은 사용자 인터페이스들을 디스플레이하고/하거나, 도 16c 내지 도 16g, 도 16n, 도 16p, 및 도 16q 및/또는 방법(1700)과 관련하여 더 상세히 설명된 동작들을 수행한다. 일부 실시예들에서, 계속 옵션의 선택을 검출하는 것에 응답하여, 컴퓨터 시스템은, (예컨대, 방법(700)과 관련하여 더 상세히 설명된 바와 같이) (예컨대, 도 16c 내지 도 16g, 도 16n, 및 도 16p 및 도 16q와 관련하여 설명된 미리보기 사용자 인터페이스(1604)를 디스플레이하지 않고서) 카메라의 시선이 표면에 수직인 것으로 보이도록 카메라에 대한 표면의 위치에 기초하여 수정되고 카메라의 시야 내에 있는 표면의 이미지를 디스플레이하고/하거나 공유한다. 계속 옵션을 제공하고, 계속 옵션의 선택을 검출하는 것에 응답하여, 컴퓨터 시스템 상의 특징부를 사용하기 위한 프로세스를 수행하는 것은, 사용자가 지침서 상에 머무를지 또는 지침서 사용을 계속할지를 제어하기 위한 효율적인 기법을 제공하며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

일부 실시예들에서, 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출한 후에(예컨대, 그에 응답하여), 컴퓨터 시스템은, 선택가능 정보 옵션(예컨대, 1806c)(예컨대, 어포던스, 버튼, 선택가능 아이콘, 및/또는 사용자 상호작용형 그래픽 사용자 인터페이스 객체)을 디스플레이하고; 정보 옵션의 선택(예컨대, 1806c의 선택)(예컨대, 입력, 터치 입력, 음성 입력, 버튼 누르기, 마우스 클릭, 터치 감응형 표면 상에서의 누르기, 에어 제스처, 사용자 상호작용형 그래픽 객체의 선택, 및/또는 정보 옵션에 대응하는 그리고/또는 그에 대한 다른 선택 입력)을 검출하며; 정보 옵션의 선택을 검출하는 것에 응답하여, 컴퓨터 시스템 상의 특징부를 사용하기 위한 정보(예컨대, 텍스트, 그래픽들, 다이어그램들, 차트들, 이미지들, 및/또는 애니메이션들)(예컨대, 컴퓨터 시스템 상의 특징부를 사용하기 위한 지시사항들, 특징부의 태양들에 관한 정보, 및/또는 특징부의 예들)를 제공하는(또는 그에 대한 액세스를 제공하는) 사용자 인터페이스(예컨대, 1826)를 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 정보 옵션, 지침서, 및 선택적으로, 계속 옵션을 동시에 디스플레이한다. 일부 실시예들에서, 사용자 인터페이스는 웹 브라우저 애플리케이션 내에 디스플레이되는 웹사이트 및/또는 HTML 문서이다. 일부 실시예들에서, 사용자 인터페이스는 전자 문서(예컨대, PDF 문서, 텍스트 문서, 및/또는 프레젠테이션 문서)이다. 정보 옵션을 제공하고, 정보 옵션의 선택을 검출하는 것에 응답하여, 컴퓨터 시스템 상의 특징부를 사용하기 위한 정보를 제공하는 사용자 인터페이스를 디스플레이하는 것은, 정보를 검색하기 위한 추가 입력들(예컨대, 웹 브라우저 애플리케이션의 검색 필드에 특징부의 이름을 입력하는 것)을 요구하지 않고서 사용자가 특징부에 관한 정보를 획득하기 위한 효율적인 기법을 제공하며, 이는 사용자에게 개선된 시각적 피드백을 제공하고, 동작을 수행하는 데 필요한 입력들의 수를 감소시킨다.

방법(1900)(예컨대, 도 19)과 관련하여 위에서 설명된 프로세스들의 상세사항들은, 또한, 위에서 설명된 방법들과 유사한 방식으로 적용가능함에 유의한다. 예를 들어, 방법들(700, 800, 1000, 1200, 1400, 1500, 1700)은, 선택적으로, 방법(1900)을 참조하여 위에서 설명된 다양한 방법들의 특성들 중 하나 이상을 포함한다. 예를 들어, 방법들(700, 800, 1000, 1200, 1400, 1500, 1700)은, 선택적으로, 컴퓨터 시스템의 특징부에 대한 가상 시연을 포함하는 지침서를 포함한다. 간결함을 위해, 이 상세사항들은 본 명세서에서 반복되지 않는다.

전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 실시예들은 기술들의 원리 및 그것들의 실제적인 응용을 가장 잘 설명하기 위하여 선택되고 기술되었다. 따라서, 통상의 기술자들은 고려된 특정 사용에 적합한 바와 같이 다양한 수정을 이용하여 기술들 및 다양한 실시예들을 최상으로 활용하는 것이 가능하게 된다.

본 개시내용 및 예들이 첨부의 도면들을 참조하여 충분히 기술되었지만, 당업자들에게 다양한 변경들 및 수정들이 명백할 것이라는 것에 주목하여야 한다. 그러한 변경들 및 수정들은 청구항들에 의해 정의되는 바와 같은 개시내용 및 예들의 범주 내에 포함되는 것으로 이해되어야 한다.

위에서 설명된 바와 같이, 본 기술의 일 태양은 사용자의 화상 회의 경험을 향상시키기 위한 다양한 소스들로부터 이용가능한 데이터의 수집 및 사용이다. 본 발명은, 일부 경우들에 있어서, 이러한 수집된 데이터가 특정 개인을 고유하게 식별하거나 또는 그와 연락하거나 그의 위치를 확인하는 데 이용될 수 있는 개인 정보 데이터를 포함할 수 있다는 것을 고려한다. 그러한 개인 정보 데이터는 인구통계 데이터, 위치 기반 데이터, 전화 번호들, 이메일 주소들, 소셜 네트워크 ID들, 집 주소들, 사용자의 건강 또는 피트니스 레벨과 관련한 데이터 또는 기록들(예컨대, 바이탈 사인(vital sign) 측정치들, 약물 정보, 운동 정보), 생년월일, 또는 임의의 다른 식별 또는 개인 정보를 포함할 수 있다.

본 발명은 본 기술에서의 그러한 개인 정보 데이터의 이용이 사용자들에게 이득을 주기 위해 사용될 수 있음을 인식한다. 예를 들어, 개인 정보 데이터는 화상 회의 경험에 대한 사용자 프로파일들을 맞춤화하는 데 사용될 수 있다. 따라서, 그러한 개인 정보 데이터의 사용은 사용자들이 전달된 콘텐츠의 제어를 계산하는 것을 가능하게 한다. 게다가, 사용자에게 이득을 주는 개인 정보 데이터에 대한 다른 이용들이 또한 본 발명에 의해 고려된다. 예를 들어, 건강 및 피트니스 데이터는 사용자의 일반적인 웰니스(wellness)에 대한 통찰력을 제공하는 데 사용될 수 있거나, 또는 웰니스 목표를 추구하기 위한 기술을 사용하는 개인들에게 긍정적인 피드백으로서 사용될 수 있다.

본 발명은 그러한 개인 정보 데이터의 수집, 분석, 공개, 전송, 저장, 또는 다른 이용을 책임지고 있는 엔티티들이 잘 확립된 프라이버시 정책들 및/또는 프라이버시 관례들을 준수할 것이라는 것을 고려한다. 특히, 그러한 엔티티들은, 대체로 개인 정보 데이터를 사적이고 안전하게 유지시키기 위한 산업적 또는 행정적 요건들을 충족시키거나 넘어서는 것으로 인식되는 프라이버시 정책들 및 관례들을 구현하고 지속적으로 이용해야 한다. 그러한 정책들은 사용자들에 의해 용이하게 액세스가능해야 하고, 데이터의 수집 및/또는 사용이 변화함에 따라 업데이트되어야 한다. 사용자들로부터의 개인 정보는 엔티티의 적법하며 적정한 사용들을 위해 수집되어야 하고, 이들 적법한 사용들을 벗어나서 공유되거나 판매되지 않아야 한다. 또한, 그러한 수집/공유는 사용자들의 통지된 동의를 수신한 후에 발생해야 한다. 부가적으로, 그러한 엔티티들은 그러한 개인 정보 데이터에 대한 액세스를 보호하고 안전하게 하며 개인 정보 데이터에 대한 액세스를 갖는 다른 사람들이 그들의 프라이버시 정책들 및 절차들을 고수한다는 것을 보장하기 위한 임의의 필요한 단계들을 취하는 것을 고려해야 한다. 게다가, 그러한 엔티티들은 널리 인정된 프라이버시 정책들 및 관례들에 대한 그들의 고수를 증명하기 위해 제3자들에 의해 그들 자신들이 평가를 받을 수 있다. 부가적으로, 정책들 및 관례들은 수집 및/또는 액세스되고 있는 특정 유형들의 개인 정보 데이터에 대해 적응되어야하고, 관할권 특정적 고려사항들을 포함하는 적용가능한 법률들 및 표준들에 적응되어야 한다. 예를 들어, 미국에서, 소정 건강 데이터의 수집 또는 그에 대한 액세스는 HIPAA(Health Insurance Portability and Accountability Act)와 같은 연방법 및/또는 주법에 의해 통제될 수 있는 반면; 다른 국가들에서의 건강 데이터는 다른 법령들 및 정책들의 대상이 될 수 있고, 그에 따라 처리되어야 한다. 따라서, 각 국가에서의 상이한 개인 데이터 유형들에 대해 상이한 프라이버시 관례들이 유지되어야 한다.

전술한 것에도 불구하고, 본 발명은 또한 사용자가 개인 정보 데이터의 사용, 또는 그에 대한 액세스를 선택적으로 차단하는 실시예들을 고려한다. 즉, 본 발명은 그러한 개인 정보 데이터에 대한 액세스를 방지하거나 차단하기 위해 하드웨어 및/또는 소프트웨어 요소들이 제공될 수 있다는 것을 고려한다. 예를 들어, 화상 회의 인터페이스들의 경우, 본 기술은 사용자들이 서비스를 위한 등록 중 또는 이후 임의의 시간에 개인 정보 데이터의 수집 시의 참여의 "동의함" 또는 "동의하지 않음"을 선택하는 것을 허용하도록 구성될 수 있다. "동의" 및 "동의하지 않음" 옵션들을 제공하는 것에 부가하여, 본 개시내용은 개인 정보의 액세스 또는 사용에 관한 통지들을 제공하는 것을 고려한다. 예를 들어, 사용자는 그들의 개인 정보 데이터가 액세스될 앱을 다운로드할 시에 통지받고, 이어서 개인 정보 데이터가 앱에 의해 액세스되기 직전에 다시 상기하게 될 수 있다.

더욱이, 의도하지 않은 또는 인가되지 않은 액세스 또는 사용의 위험요소들을 최소화하는 방식으로 개인 정보 데이터가 관리 및 처리되어야 한다는 것이 본 개시내용의 의도이다. 위험요소는, 데이터의 수집을 제한하고 데이터가 더 이상 필요하지 않다면 그것을 삭제함으로써 최소화될 수 있다. 부가적으로, 그리고 소정의 건강 관련 애플리케이션들에 적용가능한 것을 포함하여 적용가능할 때, 사용자의 프라이버시를 보호하기 위해 데이터 식별해제가 사용될 수 있다. 적절한 경우, 특정 식별자들(예를 들어, 생년월일 등)을 제거함으로써, 저장된 데이터의 양 또는 특이성을 제어함으로써(예를 들어, 주소 레벨보다는 도시 레벨로 위치 데이터를 수집함으로써), 데이터가 저장되는 방식을 제어함으로써(예를 들어, 사용자들에 걸쳐 데이터를 집계함으로써), 그리고/또는 다른 방법들에 의해, 식별해제가 용이하게 될 수 있다.

따라서, 본 발명이 하나 이상의 다양한 개시된 실시예들을 구현하기 위해 개인 정보 데이터의 사용을 광범위하게 커버하지만, 본 발명은 다양한 실시예들이 또한 그러한 개인 정보 데이터에 액세스할 필요 없이 구현될 수 있다는 것을 또한 고려한다. 즉, 본 기술의 다양한 실시예들은 그러한 개인 정보 데이터의 전부 또는 일부의 결여로 인해 동작불가능하게 되지는 않는다. 예를 들어, 비-개인 정보 데이터 또는 최소량의 개인 정보, 예컨대 사용자와 연관된 디바이스에 의해 요청되는 콘텐츠, 화상 회의 제공자에게 이용가능한 기타 비-개인 정보, 또는 공개적으로 이용가능한 정보에 기초하여 화상 회의 애플리케이션들에 대한 대체적인 사용자 프로파일들이 생성될 수 있다.

Claims

방법으로서,
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템에서,
상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하는 단계 - 상기 라이브 비디오 통신 인터페이스는 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 포함함 -;
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 하나 이상의 카메라들 중 제1 카메라의 시야 내에 있는 장면 내의 표면의 뷰를 디스플레이하라는 요청에 대응하는 사용자 입력을 포함하는 하나 이상의 사용자 입력들을 검출하는 단계; 및
상기 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해:
상기 표면의 표현 - 상기 표면의 표현은 상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되는, 상기 하나 이상의 카메라들 중 상기 제1 카메라에 의해 캡처된 상기 표면의 이미지를 포함함 -; 및
상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되지 않은 상기 하나 이상의 카메라들 중 상기 제1 카메라의 시야의 적어도 일부분의 표현을 디스플레이하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 표면의 이미지는 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현에 대해 상기 표면의 이미지를 회전시킴으로써 수정되는, 방법.
제2항에 있어서, 상기 표면의 이미지는 상기 하나 이상의 카메라들의 시야 내의 사용자에 대한 상기 표면의 위치에 기초하여 회전되는, 방법.
제2항에 있어서,
상기 표면이 상기 하나 이상의 카메라들의 시야 내의 사용자에 대해 제1 위치에 있다는 결정에 따라, 상기 표면의 이미지는 상기 하나 이상의 카메라들의 시야 내의 상기 사용자의 표현에 대해 적어도 45도만큼 회전되는, 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 시야의 적어도 일부분의 표현은 사용자를 포함하고 상기 표면의 표현과 동시에 디스플레이되는, 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 하나 이상의 사용자 입력들을 검출하는 것에 응답하여,
상기 표면의 표현을 디스플레이하기 전에, 상기 하나 이상의 카메라들의 시야에 대한 이미지 데이터의 미리보기를 디스플레이하는 단계를 추가로 포함하고, 상기 미리보기는 상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되지 않은 상기 표면의 이미지를 포함하는, 방법.
제6항에 있어서, 상기 하나 이상의 카메라들의 시야에 대한 상기 이미지 데이터의 미리보기를 디스플레이하는 단계는 상기 하나 이상의 카메라들의 시야의 각자의 부분들에 대응하는 복수의 선택가능 옵션들을 디스플레이하는 단계를 포함하고, 상기 방법은,
상기 하나 이상의 카메라들의 시야의 각자의 부분들에 대응하는 상기 복수의 옵션들 중 하나를 선택하는 입력을 검출하는 단계; 및
상기 하나 이상의 카메라들의 시야의 각자의 부분들에 대응하는 상기 복수의 선택가능 옵션들 중 하나를 선택하는 상기 입력을 검출하는 것에 응답하여,
상기 하나 이상의 카메라들의 시야의 각자의 부분들에 대응하는 상기 복수의 선택가능 옵션들 중 하나를 선택하는 상기 입력이 상기 하나 이상의 카메라들의 시야의 제1 부분에 대응하는 제1 옵션에 대한 것이라는 결정에 따라, 상기 하나 이상의 카메라들의 시야의 제1 부분에 기초하여 상기 표면의 표현을 디스플레이하고;
상기 하나 이상의 카메라들의 시야의 각자의 부분들에 대응하는 상기 복수의 선택가능 옵션들 중 하나를 선택하는 상기 입력이 상기 하나 이상의 카메라들의 시야의 제2 부분에 대응하는 제2 옵션에 대한 것이라는 결정에 따라, 상기 하나 이상의 카메라들의 시야의 제2 부분에 기초하여 상기 표면의 표현을 디스플레이하는 단계를 추가로 포함하며, 상기 제2 옵션은 상기 제1 옵션과는 상이한, 방법.
제6항에 있어서, 상기 하나 이상의 카메라들의 시야에 대한 상기 이미지 데이터의 미리보기를 디스플레이하는 단계는 상기 미리보기의 복수의 영역들을 디스플레이하는 단계를 포함하고, 상기 방법은,
상기 복수의 영역들 중 하나 이상의 영역들에 대응하는 사용자 입력을 검출하는 단계; 및
상기 하나 이상의 영역들에 대응하는 상기 사용자 입력을 검출하는 것에 응답하여,
상기 하나 이상의 영역들에 대응하는 상기 사용자 입력이 상기 하나 이상의 영역들 중 제1 영역에 대응한다는 결정에 따라, 상기 라이브 비디오 통신 인터페이스 내에 상기 제1 영역의 표현을 디스플레이하고;
상기 하나 이상의 영역들에 대응하는 상기 사용자 입력이 상기 하나 이상의 영역들 중 제2 영역에 대응한다는 결정에 따라, 상기 라이브 비디오 통신 인터페이스 내에 표현으로서 상기 제2 영역의 표현을 디스플레이하는 단계를 추가로 포함하는, 방법.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 하나 이상의 사용자 입력들은 상기 하나 이상의 카메라들의 시야에서의 제스처를 포함하는, 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
표면 뷰 옵션을 디스플레이하는 단계를 추가로 포함하고, 상기 하나 이상의 사용자 입력들은 상기 표면 뷰 옵션에 대한 입력을 포함하는, 방법.
제10항에 있어서,
상기 표면 뷰 옵션의 선택에 대응하는 사용자 입력을 검출하는 단계; 및
상기 표면 뷰 옵션의 선택에 대응하는 상기 사용자 입력을 검출하는 것에 응답하여, 상기 하나 이상의 카메라들의 시야에 대한 이미지 데이터의 미리보기를 디스플레이하는 단계를 추가로 포함하고, 상기 미리보기는 상기 하나 이상의 카메라들의 시야의 적어도 일부분을 포함하는 상기 하나 이상의 카메라들의 시야의 복수의 부분들을 포함하고, 상기 미리보기는 상기 시야의 활성 부분의 시각적 표시를 포함하는, 방법.
제10항에 있어서,
상기 표면 뷰 옵션의 선택에 대응하는 사용자 입력을 검출하는 단계; 및
상기 표면 뷰 옵션의 선택에 대응하는 상기 사용자 입력을 검출하는 것에 응답하여, 상기 하나 이상의 카메라들의 시야에 대한 이미지 데이터의 미리보기를 디스플레이하는 단계를 추가로 포함하고, 상기 미리보기는 상기 하나 이상의 카메라들의 시야의 표현 상에 오버레이되는 복수의 선택가능한 시각적으로 구별되는 부분들을 포함하는, 방법.
제1항 내지 제12항 중 어느 한 항에 있어서, 상기 표면은 상기 장면 내의 수직 표면인, 방법.
제1항 내지 제13항 중 어느 한 항에 있어서, 상기 표면은 상기 장면 내의 수평 표면인, 방법.
제1항 내지 제14항 중 어느 한 항에 있어서, 상기 표면의 표현을 디스플레이하는 단계는 상기 표면의 제1 뷰를 디스플레이하는 단계를 포함하고, 상기 방법은,
상기 표면의 제1 뷰를 디스플레이하는 동안, 하나 이상의 시프트 뷰(shift-view) 옵션들을 디스플레이하는 단계;
상기 하나 이상의 시프트 뷰 옵션들 중 각자의 시프트 뷰 옵션에 대한 사용자 입력을 검출하는 단계; 및
상기 각자의 시프트 뷰 옵션에 대한 상기 사용자 입력을 검출하는 것에 응답하여, 상기 표면의 제1 뷰와는 상이한 상기 표면의 제2 뷰를 디스플레이하는 단계를 추가로 포함하는, 방법.
제15항에 있어서, 상기 표면의 제1 뷰를 디스플레이하는 단계는 제1 방식으로 수정되는 상기 표면의 이미지를 디스플레이하는 단계를 포함하고, 상기 표면의 제2 뷰를 디스플레이하는 단계는 상기 제1 방식과는 상이한 제2 방식으로 수정되는 상기 표면의 이미지를 디스플레이하는 단계를 포함하는, 방법.
제1항 내지 제16항 중 어느 한 항에 있어서, 상기 표면의 표현은 제1 줌 레벨로 디스플레이되고, 상기 방법은,
상기 표면의 표현을 상기 제1 줌 레벨로 디스플레이하는 동안, 상기 표면의 표현의 줌 레벨을 변경하라는 요청에 대응하는 사용자 입력을 검출하는 단계; 및
상기 표면의 표현의 줌 레벨을 변경하라는 요청에 대응하는 상기 사용자 입력을 검출하는 것에 응답하여, 상기 표면의 표현을 상기 제1 줌 레벨과는 상이한 제2 줌 레벨로 디스플레이하는 단계를 추가로 포함하는, 방법.
제1항 내지 제17항 중 어느 한 항에 있어서,
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 선택될 때, 상기 표면의 표현이 디스플레이되게 하는 선택가능 제어 옵션을 디스플레이하는 단계를 추가로 포함하고,
상기 하나 이상의 사용자 입력들은 상기 선택가능 제어 옵션의 선택에 대응하는 사용자 입력을 포함하는, 방법.
제18항에 있어서,
상기 라이브 비디오 통신 세션은 상기 컴퓨터 시스템에서 동작하는 제1 애플리케이션에 의해 제공되고;
상기 선택가능 제어 옵션은 상기 제1 애플리케이션과는 상이한 제2 애플리케이션과 연관되는, 방법.
제19항에 있어서,
상기 하나 이상의 사용자 입력들을 검출하는 것에 응답하여 - 상기 하나 이상의 사용자 입력들은 상기 선택가능 제어 옵션의 선택에 대응하는 상기 사용자 입력을 포함함 -, 상기 제2 애플리케이션의 사용자 인터페이스를 디스플레이하는 단계를 추가로 포함하는, 방법.
제19항에 있어서,
상기 라이브 비디오 통신 세션을 위한 상기 라이브 비디오 통신 인터페이스를 디스플레이하기 전에, 상기 제2 애플리케이션의 사용자 인터페이스를 디스플레이하는 단계를 추가로 포함하는, 방법.
제1항 내지 제21항 중 어느 한 항에 있어서,
상기 라이브 비디오 통신 세션은 상기 컴퓨터 시스템에서 동작하는 제3 애플리케이션을 사용하여 제공되고;
상기 표면의 표현은 상기 제3 애플리케이션과는 상이한 제4 애플리케이션에 의해 제공되는, 방법.
제22항에 있어서, 상기 표면의 표현은 상기 라이브 비디오 통신 세션에서 디스플레이되는 상기 제4 애플리케이션의 사용자 인터페이스를 사용하여 디스플레이되는, 방법.
제22항 또는 제23항에 있어서,
상기 디스플레이 생성 컴포넌트를 통해, 상기 제4 애플리케이션 이외의 애플리케이션에 대응하는 하나 이상의 그래픽 요소들의 세트를 포함하는 영역에 상기 제4 애플리케이션에 대응하는 그래픽 요소를 디스플레이하는 것을 포함하여, 상기 제4 애플리케이션에 대응하는 상기 그래픽 요소를 디스플레이하는 단계를 추가로 포함하는, 방법.
제1항 내지 제24항 중 어느 한 항에 있어서, 상기 표면의 표현을 디스플레이하는 단계는, 상기 디스플레이 생성 컴포넌트를 통해, 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현의 디스플레이로부터 상기 표면의 표현의 디스플레이로의 전이의 애니메이션을 디스플레이하는 단계를 포함하는, 방법.
제1항 내지 제25항 중 어느 한 항에 있어서, 상기 컴퓨터 시스템은 제2 디스플레이 생성 컴포넌트와 통신하는 제2 컴퓨터 시스템과 통신하고, 상기 방법은,
상기 디스플레이 생성 컴포넌트 상에 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 디스플레이하는 단계; 및
상기 제2 디스플레이 생성 컴포넌트 상에서의 상기 표면의 표현의 디스플레이를 야기하는 단계를 추가로 포함하는, 방법.
제26항에 있어서,
상기 제2 컴퓨터 시스템의 배향의 변화를 검출하는 것에 응답하여, 상기 제2 디스플레이 생성 컴포넌트에 디스플레이되는 상기 표면의 표현의 디스플레이를 상기 표면의 제1 뷰를 디스플레이하는 것으로부터 상기 제1 뷰와는 상이한 상기 표면의 제2 뷰를 디스플레이하는 것으로 업데이트하는 단계를 추가로 포함하는, 방법.
제1항 내지 제27항 중 어느 한 항에 있어서, 상기 표면의 표현을 디스플레이하는 단계는 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현의 디스플레이로부터 상기 표면의 표현의 디스플레이로의 전이의 애니메이션을 디스플레이하는 단계를 포함하고, 상기 애니메이션은, 상기 하나 이상의 카메라들의 시야의 뷰를 패닝(panning)하고 상기 하나 이상의 카메라들의 시야의 뷰를 회전시키는 것을 포함하는, 방법.
제1항 내지 제28항 중 어느 한 항에 있어서, 상기 표면의 표현을 디스플레이하는 단계는 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현의 디스플레이로부터 상기 표면의 표현의 디스플레이로의 전이의 애니메이션을 디스플레이하는 단계를 포함하고, 상기 애니메이션은, 상기 하나 이상의 카메라들의 시야의 뷰를 주밍(zooming)하고 상기 하나 이상의 카메라들의 시야의 뷰를 회전시키는 것을 포함하는, 방법.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은 제1항 내지 제29항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은 제1항 내지 제29항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
제1항 내지 제29항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은 제1항 내지 제29항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 - 상기 라이브 비디오 통신 인터페이스는 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 포함함 -;
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 하나 이상의 카메라들 중 제1 카메라의 시야 내에 있는 장면 내의 표면의 뷰를 디스플레이하라는 요청에 대응하는 사용자 입력을 포함하는 하나 이상의 사용자 입력들을 검출하기 위한; 그리고
상기 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해:
상기 표면의 표현 - 상기 표면의 표현은 상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되는, 상기 하나 이상의 카메라들 중 상기 제1 카메라에 의해 캡처된 상기 표면의 이미지를 포함함 -; 및
상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되지 않은 상기 하나 이상의 카메라들 중 상기 제1 카메라의 시야의 적어도 일부분의 표현을 디스플레이하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 - 상기 라이브 비디오 통신 인터페이스는 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 포함함 -;
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 하나 이상의 카메라들 중 제1 카메라의 시야 내에 있는 장면 내의 표면의 뷰를 디스플레이하라는 요청에 대응하는 사용자 입력을 포함하는 하나 이상의 사용자 입력들을 검출하기 위한; 그리고
상기 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해:
상기 표면의 표현 - 상기 표면의 표현은 상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되는, 상기 하나 이상의 카메라들 중 상기 제1 카메라에 의해 캡처된 상기 표면의 이미지를 포함함 -; 및
상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되지 않은 상기 하나 이상의 카메라들 중 상기 제1 카메라의 시야의 적어도 일부분의 표현을 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 수단 - 상기 라이브 비디오 통신 인터페이스는 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 포함함 -;
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 하나 이상의 카메라들 중 제1 카메라의 시야 내에 있는 장면 내의 표면의 뷰를 디스플레이하라는 요청에 대응하는 사용자 입력을 포함하는 하나 이상의 사용자 입력들을 검출하기 위한 수단; 및
상기 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해:
상기 표면의 표현 - 상기 표면의 표현은 상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되는, 상기 하나 이상의 카메라들 중 상기 제1 카메라에 의해 캡처된 상기 표면의 이미지를 포함함 -; 및
상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되지 않은 상기 하나 이상의 카메라들 중 상기 제1 카메라의 시야의 적어도 일부분의 표현을 디스플레이하기 위한 수단을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 - 상기 라이브 비디오 통신 인터페이스는 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 포함함 -;
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 하나 이상의 카메라들 중 제1 카메라의 시야 내에 있는 장면 내의 표면의 뷰를 디스플레이하라는 요청에 대응하는 사용자 입력을 포함하는 하나 이상의 사용자 입력들을 검출하기 위한; 그리고
상기 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해:
상기 표면의 표현 - 상기 표면의 표현은 상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되는, 상기 하나 이상의 카메라들 중 상기 제1 카메라에 의해 캡처된 상기 표면의 이미지를 포함함 -; 및
상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되지 않은 상기 하나 이상의 카메라들 중 상기 제1 카메라의 시야의 적어도 일부분의 표현을 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
방법으로서,
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템에서,
상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하는 단계 - 상기 라이브 비디오 통신 인터페이스는 상기 하나 이상의 카메라들에 의해 캡처된 시야 내에 있는 장면의 제1 부분의 표현을 포함함 -;
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 카메라들을 통해, 상기 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하는 단계 - 상기 이미지 데이터는 제1 제스처를 포함함 -; 및
상기 하나 이상의 카메라들의 시야에 대한 상기 이미지 데이터를 획득하는 것에 응답하여,
상기 제1 제스처가 제1 세트의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 장면의 제2 부분의 표현을 디스플레이하고 - 상기 장면의 제2 부분의 표현은 상기 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠를 포함함 -;
상기 제1 제스처가 상기 제1 세트의 기준들과는 상이한 제2 세트의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 장면의 제1 부분의 표현을 계속 디스플레이하는 단계를 포함하는, 방법.
제38항에 있어서, 상기 장면의 제1 부분의 표현은 상기 장면의 제2 부분의 표현과 동시에 디스플레이되는, 방법.
제38항 또는 제39항에 있어서,
상기 하나 이상의 카메라들의 시야에 대한 상기 이미지 데이터를 획득하는 것에 응답하여,
상기 제1 제스처가, 상기 제1 세트의 기준들 및 상기 제2 세트의 기준들과는 상이한 제3 세트의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 장면의 제3 부분의 표현을 디스플레이하는 단계를 추가로 포함하고, 상기 장면의 제3 부분의 표현은 상기 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠, 및 상기 장면의 제2 부분의 표현과는 상이한 시각적 콘텐츠를 포함하는, 방법.
제38항 내지 제40항 중 어느 한 항에 있어서,
상기 장면의 제2 부분의 표현을 디스플레이하는 동안, 사용자의 손의 이동을 포함하는 이미지 데이터를 획득하는 단계; 및
상기 사용자의 손의 이동을 포함하는 이미지 데이터를 획득하는 것에 응답하여,
상기 장면의 제2 부분으로부터, 상기 장면의 제2 부분과는 상이하고 상기 사용자의 손을 포함하는 상기 장면의 제4 부분으로의 상기 사용자의 손의 이동을 추적하는 것을 포함하여, 상기 장면의 제4 부분의 표현을 디스플레이하는 단계를 추가로 포함하는, 방법.
제38항 내지 제41항 중 어느 한 항에 있어서,
제3 제스처를 포함하는 이미지 데이터를 획득하는 단계; 및
상기 제3 제스처를 포함하는 상기 이미지 데이터를 획득하는 것에 응답하여,
상기 제3 제스처가 주밍 기준들을 만족시킨다는 결정에 따라, 상기 장면의 일부분의 각자의 표현의 줌 레벨을 제1 줌 레벨로부터 상기 제1 줌 레벨과는 상이한 제2 줌 레벨로 변경하는 단계를 추가로 포함하는, 방법.
제42항에 있어서, 상기 제3 제스처는 포인팅(pointing) 제스처를 포함하고, 상기 줌 레벨을 변경하는 단계는 상기 포인팅 제스처에 대응하는 상기 장면의 구역을 줌인하는 단계를 포함하는, 방법.
제42항에 있어서, 상기 제1 줌 레벨로 디스플레이되는 상기 각자의 표현은 상기 장면의 제1 위치에 중심설정되고, 상기 제2 줌 레벨로 디스플레이되는 상기 각자의 표현은 상기 장면의 제1 위치에 중심설정되는, 방법.
제42항에 있어서, 상기 각자의 표현의 줌 레벨을 변경하는 단계는,
상기 각자의 표현의 제1 부분의 줌 레벨을 상기 제1 줌 레벨로부터 상기 제2 줌 레벨로 변경하는 단계; 및
상기 각자의 표현의, 상기 제1 부분과는 상이한 제2 부분을 상기 제1 줌 레벨로 디스플레이하는 단계를 포함하는, 방법.
제38항 내지 제45항 중 어느 한 항에 있어서,
상기 하나 이상의 카메라들의 시야에 대한 상기 이미지 데이터를 획득하는 것에 응답하여,
상기 제1 제스처가 상기 제1 세트의 기준들을 만족시킨다는 상기 결정에 따라, 제스처가 검출되었다는 제1 그래픽 표시를 디스플레이하는 단계를 추가로 포함하는, 방법.
제38항 내지 제46항 중 어느 한 항에 있어서, 상기 제1 그래픽 표시를 디스플레이하는 단계는,
상기 제1 제스처가 제1 유형의 제스처를 포함한다는 결정에 따라, 상기 제1 그래픽 표시를 제1 외관으로 디스플레이하는 단계; 및
상기 제1 제스처가 제2 유형의 제스처를 포함한다는 결정에 따라, 상기 제1 그래픽 표시를 상기 제1 외관과는 상이한 제2 외관으로 디스플레이하는 단계를 포함하는, 방법.
제38항 내지 제47항 중 어느 한 항에 있어서,
상기 하나 이상의 카메라들의 시야에 대한 상기 이미지 데이터를 획득하는 것에 응답하여,
상기 제1 제스처가 제4 세트의 기준들을 만족시킨다는 결정에 따라, 임계 시간을 만족시키는 것을 향한 진행을 나타내는 제2 그래픽 객체를 디스플레이하는 단계를 추가로 포함하는, 방법.
제48항에 있어서, 상기 제1 세트의 기준들은 상기 제1 제스처가 상기 임계 시간 동안 유지되는 경우 충족되는 기준을 포함하는, 방법.
제48항에 있어서, 상기 제2 그래픽 객체는 타이머인, 방법.
제48항에 있어서, 상기 제2 그래픽 객체는 제스처의 표현의 윤곽을 포함하는, 방법.
제48항에 있어서, 상기 제2 그래픽 객체는 줌 레벨을 나타내는, 방법.
제38항 내지 제52항 중 어느 한 항에 있어서,
상기 장면의 제2 부분의 표현을 디스플레이하기 전에, 오디오 입력을 검출하는 단계를 추가로 포함하고,
상기 제1 세트의 기준들은 상기 오디오 입력에 기초하는 기준을 포함하는, 방법.
제38항 내지 제53항 중 어느 한 항에 있어서,
상기 제1 제스처는 포인팅 제스처를 포함하고;
상기 장면의 제1 부분의 표현은 제1 줌 레벨로 디스플레이되며;
상기 제2 부분의 표현을 디스플레이하는 것은,
상기 포인팅 제스처가 상기 장면 내의 객체에 대한 것이라는 결정에 따라, 상기 객체의 표현을 상기 제1 줌 레벨과는 상이한 제2 줌 레벨로 디스플레이하는 것을 포함하는, 방법.
제38항 내지 제54항 중 어느 한 항에 있어서,
상기 제1 제스처는 프레이밍(framing) 제스처를 포함하고;
상기 장면의 제1 부분의 표현은 제1 줌 레벨로 디스플레이되며;
상기 제2 부분의 표현을 디스플레이하는 것은,
상기 프레이밍 제스처가 상기 장면 내의 객체에 대한 것이라는 결정에 따라, 상기 객체의 표현을 상기 제1 줌 레벨과는 상이한 제2 줌 레벨로 디스플레이하는 것을 포함하는, 방법.
제38항 내지 제55항 중 어느 한 항에 있어서,
상기 제1 제스처는 포인팅 제스처를 포함하고;
상기 제2 부분의 표현을 디스플레이하는 것은,
상기 포인팅 제스처가 제1 방향으로 이루어진다는 결정에 따라, 이미지 데이터를 상기 포인팅 제스처의 제1 방향으로 패닝하고; 상기 포인팅 제스처가 제2 방향으로 이루어진다는 결정에 따라, 이미지 데이터를 상기 포인팅 제스처의 제2 방향으로 패닝하는 것을 포함하는, 방법.
제56항에 있어서,
상기 장면의 제1 부분의 표현을 디스플레이하는 것은 사용자의 표현을 디스플레이하는 것을 포함하고;
상기 제2 부분의 표현을 디스플레이하는 것은 상기 사용자의 표현의 디스플레이를 유지하는 것을 포함하는, 방법.
제38항 내지 제57항 중 어느 한 항에 있어서,
상기 제1 제스처는 손 제스처를 포함하고,
상기 장면의 제1 부분의 표현을 디스플레이하는 것은 상기 장면의 제1 부분의 표현을 제1 줌 레벨로 디스플레이하는 것을 포함하며,
상기 장면의 제2 부분의 표현을 디스플레이하는 것은 상기 장면의 제2 부분의 표현을 상기 제1 줌 레벨과는 상이한 제2 줌 레벨로 디스플레이하는 것을 포함하는, 방법.
제58항에 있어서, 상기 장면의 제2 부분의 표현을 상기 제2 줌 레벨로 디스플레이하라는 상기 손 제스처는 줌의 양에 대응하는 2개의 손가락들을 들어올린 손 포즈를 포함하는, 방법.
제58항에 있어서, 상기 장면의 제2 부분의 표현을 상기 제2 줌 레벨로 디스플레이하라는 상기 손 제스처는 줌의 양에 대응하는 손의 이동을 포함하는, 방법.
제38항 내지 제60항 중 어느 한 항에 있어서,
상기 장면의 제1 부분의 표현은 상기 장면의 제1 구역의 표현 및 상기 장면의 제2 구역의 표현을 포함하고;
상기 장면의 제2 부분의 표현을 디스플레이하는 것은,
상기 장면의 제1 구역의 표현의 외관을 유지하는 것; 및
상기 장면의 제2 구역의 표현의 외관을 수정하는 것을 포함하는, 방법.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은 제38항 내지 제61항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은 제38항 내지 제61항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
제38항 내지 제61항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은 제38항 내지 제61항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 - 상기 라이브 비디오 통신 인터페이스는 상기 하나 이상의 카메라들에 의해 캡처된 시야 내에 있는 장면의 제1 부분의 표현을 포함함 -;
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 카메라들을 통해, 상기 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하기 위한 - 상기 이미지 데이터는 제1 제스처를 포함함 -; 그리고
상기 하나 이상의 카메라들의 시야에 대한 상기 이미지 데이터를 획득하는 것에 응답하여,
상기 제1 제스처가 제1 세트의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 장면의 제2 부분의 표현을 디스플레이하고 - 상기 장면의 제2 부분의 표현은 상기 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠를 포함함 -;
상기 제1 제스처가 상기 제1 세트의 기준들과는 상이한 제2 세트의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 장면의 제1 부분의 표현을 계속 디스플레이하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 - 상기 라이브 비디오 통신 인터페이스는 상기 하나 이상의 카메라들에 의해 캡처된 시야 내에 있는 장면의 제1 부분의 표현을 포함함 -;
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 카메라들을 통해, 상기 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하기 위한 - 상기 이미지 데이터는 제1 제스처를 포함함 -; 그리고
상기 하나 이상의 카메라들의 시야에 대한 상기 이미지 데이터를 획득하는 것에 응답하여,
상기 제1 제스처가 제1 세트의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 장면의 제2 부분의 표현을 디스플레이하고 - 상기 장면의 제2 부분의 표현은 상기 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠를 포함함 -;
상기 제1 제스처가 상기 제1 세트의 기준들과는 상이한 제2 세트의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 장면의 제1 부분의 표현을 계속 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 수단 - 상기 라이브 비디오 통신 인터페이스는 상기 하나 이상의 카메라들에 의해 캡처된 시야 내에 있는 장면의 제1 부분의 표현을 포함함 -;
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 카메라들을 통해, 상기 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하기 위한 수단 - 상기 이미지 데이터는 제1 제스처를 포함함 -; 및
상기 하나 이상의 카메라들의 시야에 대한 상기 이미지 데이터를 획득하는 것에 응답하여,
상기 제1 제스처가 제1 세트의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 장면의 제2 부분의 표현을 디스플레이하고 - 상기 장면의 제2 부분의 표현은 상기 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠를 포함함 -;
상기 제1 제스처가 상기 제1 세트의 기준들과는 상이한 제2 세트의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 장면의 제1 부분의 표현을 계속 디스플레이하기 위한 수단을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 - 상기 라이브 비디오 통신 인터페이스는 상기 하나 이상의 카메라들에 의해 캡처된 시야 내에 있는 장면의 제1 부분의 표현을 포함함 -;
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 카메라들을 통해, 상기 하나 이상의 카메라들의 시야에 대한 이미지 데이터를 획득하기 위한 - 상기 이미지 데이터는 제1 제스처를 포함함 -; 그리고
상기 하나 이상의 카메라들의 시야에 대한 상기 이미지 데이터를 획득하는 것에 응답하여,
상기 제1 제스처가 제1 세트의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 장면의 제2 부분의 표현을 디스플레이하고 - 상기 장면의 제2 부분의 표현은 상기 장면의 제1 부분의 표현과는 상이한 시각적 콘텐츠를 포함함 -;
상기 제1 제스처가 상기 제1 세트의 기준들과는 상이한 제2 세트의 기준들을 만족시킨다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 장면의 제1 부분의 표현을 계속 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
방법으로서,
디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 제1 컴퓨터 시스템에서,
복수의 참가자들을 포함하는 라이브 비디오 통신 세션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 사용자 입력들의 세트를 검출하는 단계; 및
상기 하나 이상의 사용자 입력들의 세트를 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하는 단계를 포함하고, 상기 라이브 비디오 통신 인터페이스는,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현;
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 - 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야 내에 있는 제1 장면 내의 표면의 표현을 포함함 -;
제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현; 및
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 - 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야 내에 있는 제2 장면 내의 표면의 표현을 포함함 - 을 포함하는, 방법.
제70항에 있어서,
상기 라이브 비디오 통신 세션 동안, 상기 하나 이상의 제1 카메라들 중 하나의 제1 카메라에 의해 캡처된 이미지 데이터를 수신하는 단계를 추가로 포함하고,
상기 라이브 비디오 통신 세션을 위한 상기 라이브 비디오 통신 인터페이스를 디스플레이하는 단계는,
상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 카메라에 의해 캡처된 상기 이미지 데이터에 기초하여 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현을 디스플레이하는 단계; 및
상기 디스플레이 생성 컴포넌트를 통해, 상기 제1 카메라에 의해 캡처된 상기 이미지 데이터에 기초하여 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현을 디스플레이하는 단계를 포함하는, 방법.
제70항 또는 제71항에 있어서, 상기 라이브 비디오 통신 세션을 위한 상기 라이브 비디오 통신 인터페이스를 디스플레이하는 단계는,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현으로부터 미리결정된 거리 내에 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현을 디스플레이하는 단계; 및
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현으로부터 미리결정된 거리 내에 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현을 디스플레이하는 단계를 포함하는, 방법.
제70항 내지 제72항 중 어느 한 항에 있어서, 상기 라이브 비디오 통신 세션을 위한 상기 라이브 비디오 통신 인터페이스를 디스플레이하는 단계는 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현과 중첩되는 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현을 디스플레이하는 단계를 포함하는, 방법.
제70항 내지 제73항 중 어느 한 항에 있어서, 상기 라이브 비디오 통신 세션을 위한 상기 라이브 비디오 통신 인터페이스를 디스플레이하는 단계는,
상기 라이브 비디오 통신 인터페이스의 제1 시각적으로 정의된 구역에 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현을 디스플레이하는 단계; 및
상기 라이브 비디오 통신 인터페이스의 제2 시각적으로 정의된 구역에 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현을 디스플레이하는 단계를 포함하고, 상기 제1 시각적으로 정의된 구역은 상기 제2 시각적으로 정의된 구역과 중첩되지 않는, 방법.
제70항 내지 제74항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은, 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들에 의해 캡처된 이미지 데이터가 캡처된 것으로 보이는 관점을 변경하기 위해 제1 왜곡 보정으로 보정되는, 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들에 의해 캡처된 상기 이미지 데이터에 기초하고/하거나;
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은, 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들에 의해 캡처된 이미지 데이터가 캡처된 것으로 보이는 관점을 변경하기 위해 제2 왜곡 보정으로 보정되는, 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들에 의해 캡처된 상기 이미지 데이터에 기초하는, 방법.
제70항 내지 제75항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 제1 왜곡 보정으로 보정되는, 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들에 의해 캡처된 이미지 데이터에 기초하고;
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 상기 제1 왜곡 보정과는 상이한 제2 왜곡 보정으로 보정되는, 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들에 의해 캡처된 이미지 데이터에 기초하는, 방법.
제70항 내지 제76항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 상기 제1 장면 내의 상기 표면의 위치에 대해 회전되는, 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들에 의해 캡처된 이미지 데이터에 기초하고/하거나;
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 상기 제2 장면 내의 상기 표면의 위치에 대해 회전되는, 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들에 의해 캡처된 이미지 데이터에 기초하는, 방법.
제77항에 있어서,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 상기 제1 장면 내의 상기 표면의 위치에 대해 제1 양만큼 회전되는, 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들에 의해 캡처된 이미지 데이터에 기초하고;
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 상기 제2 장면 내의 상기 표면의 위치에 대해 제2 양만큼 회전되는, 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들에 의해 캡처된 이미지 데이터에 기초하며, 상기 제1 양은 상기 제2 양과는 상이한, 방법.
제70항 내지 제78항 중 어느 한 항에 있어서, 상기 라이브 비디오 통신 인터페이스를 디스플레이하는 단계는,
상기 라이브 비디오 통신 인터페이스 내에, 그래픽 객체를 디스플레이하는 단계; 및
상기 라이브 비디오 통신 인터페이스 내에 그리고 상기 디스플레이 생성 컴포넌트를 통해,
상기 그래픽 객체 상의 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현; 및
상기 그래픽 객체 상의 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현을 동시에 디스플레이하는 단계를 포함하는, 방법.
제79항에 있어서,
상기 그래픽 객체 상의 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현, 및 상기 그래픽 객체 상의 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현을 동시에 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제1 사용자 입력을 검출하는 단계; 및
상기 제1 사용자 입력을 검출하는 것에 응답하여,
상기 제1 사용자 입력이 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현에 대응한다는 결정에 따라, 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현의 줌 레벨을 변경하고;
상기 제1 사용자 입력이 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현에 대응한다는 결정에 따라, 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현의 줌 레벨을 변경하는 단계를 추가로 포함하는, 방법.
제79항에 있어서, 상기 그래픽 객체는 상기 제1 장면 또는 상기 제2 장면 내의 물리적 객체의 이미지에 기초하는, 방법.
제79항에 있어서, 상기 방법은,
상기 그래픽 객체 상의 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현, 및 상기 그래픽 객체 상의 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현을 동시에 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제2 사용자 입력을 검출하는 단계; 및
상기 제2 사용자 입력을 검출하는 것에 응답하여,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현을 상기 그래픽 객체 상의 제1 위치로부터 상기 그래픽 객체 상의 제2 위치로 이동시키고;
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현을 상기 그래픽 객체 상의 제3 위치로부터 상기 그래픽 객체 상의 제4 위치로 이동시키며;
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현을 상기 그래픽 객체 상의 제5 위치로부터 상기 그래픽 객체 상의 제6 위치로 이동시키고;
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현을 상기 그래픽 객체 상의 제7 위치로부터 상기 그래픽 객체 상의 제8 위치로 이동시키는 단계를 추가로 포함하는, 방법.
제82항에 있어서,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현을 상기 그래픽 객체 상의 제1 위치로부터 상기 그래픽 객체 상의 제2 위치로 이동시키는 것은 상기 그래픽 객체 상의 상기 제1 위치로부터 상기 그래픽 객체 상의 상기 제2 위치로 이동하는 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현의 애니메이션을 디스플레이하는 것을 포함하고;
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현을 상기 그래픽 객체 상의 제3 위치로부터 상기 그래픽 객체 상의 제4 위치로 이동시키는 것은 상기 그래픽 객체 상의 상기 제3 위치로부터 상기 그래픽 객체 상의 상기 제4 위치로 이동하는 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현의 애니메이션을 디스플레이하는 것을 포함하며;
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현을 상기 그래픽 객체 상의 제5 위치로부터 상기 그래픽 객체 상의 제6 위치로 이동시키는 것은 상기 그래픽 객체 상의 상기 제5 위치로부터 상기 그래픽 객체 상의 상기 제6 위치로 이동하는 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현의 애니메이션을 디스플레이하는 것을 포함하고;
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현을 상기 그래픽 객체 상의 제7 위치로부터 상기 그래픽 객체 상의 제8 위치로 이동시키는 것은 상기 그래픽 객체 상의 상기 제7 위치로부터 상기 그래픽 객체 상의 상기 제8 위치로 이동하는 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현의 애니메이션을 디스플레이하는 것을 포함하는, 방법.
제79항에 있어서, 상기 라이브 비디오 통신 인터페이스를 디스플레이하는 단계는,
상기 하나 이상의 제1 카메라들의 시야의 제1 표현을 상기 하나 이상의 제1 카메라들의 시야의 제2 표현보다 더 작은 크기로 디스플레이하는 단계; 및
상기 하나 이상의 제2 카메라들의 시야의 제1 표현을 상기 하나 이상의 제2 카메라들의 시야의 제2 표현보다 더 작은 크기로 디스플레이하는 단계를 포함하는, 방법.
제84항에 있어서,
상기 그래픽 객체 상의 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현, 및 상기 그래픽 객체 상의 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현을 동시에 디스플레이하는 동안,
상기 하나 이상의 제1 카메라들의 시야의 제1 표현을 상기 그래픽 객체 상의 상기 하나 이상의 제1 카메라들의 시야의 제2 표현의 위치에 기초하는 배향으로 디스플레이하고;
상기 하나 이상의 제2 카메라들의 시야의 제1 표현을 상기 그래픽 객체 상의 상기 하나 이상의 제2 카메라들의 시야의 제2 표현의 위치에 기초하는 배향으로 디스플레이하는 단계를 추가로 포함하는, 방법.
제70항 내지 제85항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 상기 제1 장면 내의 상기 표면 상의 드로잉(drawing)의 표현을 포함하고/하거나;
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 상기 제2 장면 내의 상기 표면 상의 드로잉의 표현을 포함하는, 방법.
제70항 내지 제86항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 상기 제1 장면 내의 상기 표면 상의 물리적 객체의 표현을 포함하고/하거나;
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 상기 제2 장면 내의 상기 표면 상의 물리적 객체의 표현을 포함하는, 방법.
제70항 내지 제87항 중 어느 한 항에 있어서,
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 제3 사용자 입력을 검출하는 단계; 및
상기 제3 사용자 입력을 검출하는 것에 응답하여, 상기 제3 사용자 입력에 따라 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내에 시각적 마크업(markup) 콘텐츠를 디스플레이하는 단계를 추가로 포함하는, 방법.
제88항에 있어서, 상기 시각적 마크업 콘텐츠는 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 객체의 표현 상에 디스플레이되고, 상기 방법은,
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 상기 객체의 표현 상에 상기 시각적 마크업 콘텐츠를 디스플레이하는 동안,
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 상기 객체의 이동의 표시를 수신하는 단계; 및
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 상기 객체의 이동의 표시를 수신하는 것에 응답하여,
상기 객체의 이동에 따라 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 상기 객체의 표현을 이동시키고;
상기 객체의 표현에 대한 상기 시각적 마크업 콘텐츠의 위치를 유지하는 것을 포함하여, 상기 객체의 이동에 따라 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 상기 시각적 마크업 콘텐츠를 이동시키는 단계를 추가로 포함하는, 방법.
제88항에 있어서, 상기 시각적 마크업 콘텐츠는 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 페이지의 표현 상에 디스플레이되고, 상기 방법은,
상기 페이지가 넘겨졌다는 표시를 수신하는 단계; 및
상기 페이지가 넘겨졌다는 상기 표시를 수신하는 것에 응답하여, 상기 시각적 마크업 콘텐츠의 디스플레이를 중지하는 단계를 추가로 포함하는, 방법.
제90항에 있어서,
상기 시각적 마크업 콘텐츠의 디스플레이를 중지한 후에, 상기 페이지가 재디스플레이된다는 표시를 수신하는 단계; 및
상기 페이지가 재디스플레이된다는 표시를 수신하는 것에 응답하여, 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 상기 페이지의 표현 상에 상기 시각적 마크업 콘텐츠를 디스플레이하는 단계를 추가로 포함하는, 방법.
제88항에 있어서,
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내에 상기 시각적 마크업 콘텐츠를 디스플레이하는 동안,
상기 라이브 비디오 통신 세션에서 상기 시각적 마크업 콘텐츠를 수정하라는, 상기 제2 컴퓨터 시스템에 의해 검출된 요청의 표시를 수신하고;
상기 라이브 비디오 통신 세션에서 상기 시각적 마크업 콘텐츠를 수정하라는, 상기 제2 컴퓨터 시스템에 의해 검출된 상기 요청의 표시를 수신하는 것에 응답하여, 상기 시각적 마크업 콘텐츠를 수정하라는 상기 요청에 따라 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 상기 시각적 마크업 콘텐츠를 수정하는 단계를 추가로 포함하는, 방법.
제88항에 있어서,
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내에 상기 시각적 마크업 콘텐츠를 디스플레이한 후에, 시간 경과에 따라 상기 시각적 마크업 콘텐츠의 디스플레이를 페이드 아웃(fade out)하는 단계를 추가로 포함하는, 방법.
제70항 내지 제93항 중 어느 한 항에 있어서,
상기 제1 장면 내의 상기 표면의 표현을 포함하는 상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 질의를 포함하는 스피치(speech) 입력을 검출하는 단계; 및
상기 스피치 입력을 검출하는 것에 응답하여,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 및/또는 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 내의 시각적 콘텐츠에 기초하여 상기 질의에 대한 응답을 출력하는 단계를 추가로 포함하는, 방법.
제70항 내지 제94항 중 어느 한 항에 있어서,
상기 라이브 비디오 통신 인터페이스를 디스플레이하는 동안,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현이 제3 디스플레이 생성 컴포넌트와 통신하는 상기 제1 장면 내의 제3 컴퓨터 시스템의 표현을 포함한다는 것을 검출하고;
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현이 상기 제3 디스플레이 생성 컴포넌트와 통신하는 상기 제1 장면 내의 상기 제3 컴퓨터 시스템의 표현을 포함한다는 것을 검출하는 것에 응답하여,
상기 라이브 비디오 통신 인터페이스 내에, 상기 제3 디스플레이 생성 컴포넌트 상에 디스플레이되는 시각적 콘텐츠에 대응하는, 상기 제3 컴퓨팅 시스템으로부터 수신된 디스플레이 데이터에 대응하는 시각적 콘텐츠를 디스플레이하는 단계를 추가로 포함하는, 방법.
제70항 내지 제95항 중 어느 한 항에 있어서,
물리적 객체 상에, 상기 라이브 비디오 통신 세션에 포함되는 콘텐츠를 디스플레이하는 단계를 추가로 포함하는, 방법.
디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 제1 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은 제70항 내지 제96항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은 제70항 내지 제96항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
제70항 내지 제96항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은 제70항 내지 제96항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 제1 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은,
복수의 참가자들을 포함하는 라이브 비디오 통신 세션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 사용자 입력들의 세트를 검출하기 위한; 그리고
상기 하나 이상의 사용자 입력들의 세트를 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 명령어들을 포함하고, 상기 라이브 비디오 통신 인터페이스는,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현;
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 - 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야 내에 있는 제1 장면 내의 표면의 표현을 포함함 -;
제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현; 및
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 - 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야 내에 있는 제2 장면 내의 표면의 표현을 포함함 - 을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 제1 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은,
복수의 참가자들을 포함하는 라이브 비디오 통신 세션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 사용자 입력들의 세트를 검출하기 위한; 그리고
상기 하나 이상의 사용자 입력들의 세트를 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 명령어들을 포함하고, 상기 라이브 비디오 통신 인터페이스는,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현;
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 - 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야 내에 있는 제1 장면 내의 표면의 표현을 포함함 -;
제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현; 및
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 - 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야 내에 있는 제2 장면 내의 표면의 표현을 포함함 - 을 포함하는, 제1 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 제1 컴퓨터 시스템으로서,
복수의 참가자들을 포함하는 라이브 비디오 통신 세션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 사용자 입력들의 세트를 검출하기 위한 수단; 및
상기 하나 이상의 사용자 입력들의 세트를 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 수단을 포함하고, 상기 라이브 비디오 통신 인터페이스는,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현;
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 - 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야 내에 있는 제1 장면 내의 표면의 표현을 포함함 -;
제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현; 및
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 - 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야 내에 있는 제2 장면 내의 표면의 표현을 포함함 - 을 포함하는, 제1 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 제1 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 제1 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은,
복수의 참가자들을 포함하는 라이브 비디오 통신 세션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 사용자 입력들의 세트를 검출하기 위한; 그리고
상기 하나 이상의 사용자 입력들의 세트를 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 라이브 비디오 통신 세션을 위한 라이브 비디오 통신 인터페이스를 디스플레이하기 위한 명령어들을 포함하고, 상기 라이브 비디오 통신 인터페이스는,
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제1 표현;
상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현 - 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야의 제2 표현은 상기 제1 컴퓨터 시스템의 하나 이상의 제1 카메라들의 시야 내에 있는 제1 장면 내의 표면의 표현을 포함함 -;
제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제1 표현; 및
상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현 - 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야의 제2 표현은 상기 제2 컴퓨터 시스템의 하나 이상의 제2 카메라들의 시야 내에 있는 제2 장면 내의 표면의 표현을 포함함 - 을 포함하는, 컴퓨터 프로그램 제품.
방법으로서,
제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하는 제1 컴퓨터 시스템에서,
상기 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안,
상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 제1 뷰의 표현을 디스플레이하고;
상기 물리적 환경의 제1 뷰의 표현을 디스플레이하는 동안, 상기 하나 이상의 센서들을 통해, 상기 제1 컴퓨터 시스템의 위치의 변화를 검출하며;
상기 제1 컴퓨터 시스템의 위치의 상기 변화를 검출하는 것에 응답하여, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제1 뷰와는 상이한 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제2 뷰의 표현을 디스플레이하는 단계를 포함하는, 방법.
제105항에 있어서,
상기 제1 컴퓨터 시스템이 상기 제2 컴퓨터 시스템과의 상기 라이브 비디오 통신 세션에 있는 동안,
이미지 데이터로부터, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있고 상기 제2 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅(handwriting)을 검출하고;
상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있고 상기 제2 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 상기 핸드라이팅을 검출하는 것에 응답하여, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 상기 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하는 단계를 추가로 포함하는, 방법.
제105항 또는 제106항에 있어서,
상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것은,
상기 제1 컴퓨터 시스템의 위치의 상기 변화가 상기 제1 컴퓨터 시스템의 각도의 제1 양의 변화를 포함한다는 결정에 따라, 상기 물리적 환경의 제2 뷰가 제1 각도 양만큼 상기 물리적 환경의 제1 뷰와 상이한 것; 및
상기 제1 컴퓨터 시스템의 위치의 상기 변화가 상기 제1 컴퓨터 시스템의 각도의 상기 제1 양의 변화와는 상이한 상기 제1 컴퓨터 시스템의 각도의 제2 양의 변화를 포함한다는 결정에 따라, 상기 물리적 환경의 제2 뷰가 상기 제1 각도 양과는 상이한 제2 각도 양만큼 상기 물리적 환경의 제1 뷰와 상이한 것을 포함하는, 방법.
제105항 내지 제107항 중 어느 한 항에 있어서,
상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것은,
상기 제1 컴퓨터 시스템의 위치의 상기 변화가 상기 제1 컴퓨터 시스템의 위치의 변화의 제1 방향을 포함한다는 결정에 따라, 상기 물리적 환경의 제2 뷰가 상기 물리적 환경의 제1 뷰로부터 상기 물리적 환경에서 제1 방향에 있는 것; 및
상기 제1 컴퓨터 시스템의 위치의 상기 변화가 상기 제1 컴퓨터 시스템의 위치의 변화의 상기 제1 방향과는 상이한 제2 방향을 포함한다는 결정에 따라 - 상기 제1 컴퓨터 시스템의 위치의 변화의 상기 제2 방향은 상기 제1 컴퓨터 시스템의 위치의 변화의 상기 제1 방향과는 상이함 -, 상기 물리적 환경의 제2 뷰가 상기 물리적 환경의 제1 뷰로부터 상기 물리적 환경에서 제2 방향에 있는 것 - 상기 물리적 환경에서의 상기 제2 방향은 상기 물리적 환경에서의 상기 제1 방향과는 상이함 - 을 포함하는, 방법.
제105항 내지 제108항 중 어느 한 항에 있어서, 상기 제1 컴퓨터 시스템의 위치의 상기 변화는 상기 제1 컴퓨터 시스템의 각도의 변화를 포함하고, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것은,
상기 제1 컴퓨터 시스템의 각도의 상기 변화에 기초하여 상기 물리적 환경의 제1 뷰의 표현으로부터 상기 물리적 환경의 제2 뷰의 표현으로의 점진적인 전이를 디스플레이하는 것을 포함하는, 방법.
제105항 내지 제109항 중 어느 한 항에 있어서,
상기 제1 뷰의 표현은 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 사용자의 얼굴의 표현을 포함하고;
상기 제2 뷰의 표현은 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 물리적 마크의 표현을 포함하는, 방법.
제110항에 있어서,
상기 물리적 마크의 표현을 디스플레이하는 동안, 하나 이상의 입력 디바이스들을 통해, 디지털 마크에 대응하는 사용자 입력을 검출하는 단계; 및
상기 사용자 입력을 검출하는 것에 응답하여, 상기 물리적 마크의 표현과 동시에 상기 디지털 마크의 표현을 디스플레이하는 단계를 추가로 포함하는, 방법.
제111항에 있어서, 상기 디지털 마크의 표현은 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는, 방법.
제112항에 있어서,
상기 디지털 마크를 검출하는 것에 응답하여, 상기 디지털 마크의 표현이 상기 제2 컴퓨터 시스템에 디스플레이되게 하는 단계를 추가로 포함하는, 방법.
제113항에 있어서, 상기 디지털 마크의 표현은 상기 제2 컴퓨터 시스템에서 상기 물리적 마크의 표현 상에 디스플레이되는, 방법.
제113항 또는 제114항에 있어서, 상기 디지털 마크의 표현은 상기 제2 컴퓨터 시스템의 물리적 환경 내의 물리적 객체 상에 디스플레이되는, 방법.
제105항 내지 제115항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 시스템이 상기 제2 컴퓨터 시스템과의 상기 라이브 비디오 통신 세션에 있는 동안,
상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제3 뷰의 표현을 디스플레이하는 단계를 추가로 포함하고, 상기 제3 뷰는 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 사용자의 얼굴을 포함하고, 상기 사용자의 얼굴의 표현은 상기 물리적 환경의 제2 뷰의 표현과 동시에 디스플레이되는, 방법.
제105항 내지 제116항 중 어느 한 항에 있어서,
상기 물리적 환경의 제1 뷰의 표현을 디스플레이하는 것은 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들 중 제1 카메라에 의해 캡처된 상기 이미지 데이터에 기초하여 상기 물리적 환경의 제1 뷰의 표현을 디스플레이하는 것을 포함하고;
상기 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것은 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들 중 상기 제1 카메라에 의해 캡처된 상기 이미지 데이터에 기초하여 상기 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것을 포함하는, 방법.
제105항 내지 제117항 중 어느 한 항에 있어서, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제2 뷰의 표현을 디스플레이하는 것은 상기 제1 컴퓨터 시스템이 상기 제1 컴퓨터 시스템에 디스플레이되는 상기 물리적 환경의 뷰를 변경하기 위한 인가가 제공되었다는 결정에 따라 수행되는, 방법.
제105항 내지 제118항 중 어느 한 항에 있어서, 상기 방법은,
상기 물리적 환경의 제3 뷰의 표현을 디스플레이하는 동안, 상기 하나 이상의 센서들을 통해, 상기 제1 컴퓨터 시스템의 위치의 각자의 변화를 검출하는 단계; 및
상기 제1 컴퓨터 시스템의 위치의 상기 각자의 변화를 검출하는 것에 응답하여,
상기 제1 컴퓨터 시스템의 위치의 상기 각자의 변화가 상기 물리적 환경의 정의된 부분 내에 있는 각자의 뷰에 대응한다는 결정에 따라, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 각자의 뷰의 표현을 디스플레이하고;
상기 제1 컴퓨터 시스템의 위치의 상기 각자의 변화가 상기 물리적 환경의 정의된 부분 내에 있지 않은 각자의 뷰에 대응한다는 결정에 따라, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 각자의 뷰의 표현의 디스플레이를 보류하는 단계를 추가로 포함하는, 방법.
제119항에 있어서,
상기 제1 컴퓨터 시스템의 위치의 상기 각자의 변화를 검출하는 것에 응답하여,
상기 제1 컴퓨터 시스템의 위치의 상기 각자의 변화가 상기 물리적 환경의 정의된 부분 내에 있지 않은 상기 뷰에 대응한다는 상기 결정에 따라, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 물리적 환경의 정의된 부분 내에 있지 않은 상기 물리적 환경의 일부분의 가려진 표현을 디스플레이하는 단계를 추가로 포함하는, 방법.
제105항 내지 제120항 중 어느 한 항에 있어서, 상기 물리적 환경의 제2 뷰는 상기 물리적 환경 내의 물리적 객체를 포함하고, 상기 방법은,
상기 물리적 환경의 제2 뷰의 표현을 디스플레이하는 동안, 상기 물리적 환경 내의 상기 물리적 객체의 이동을 포함하는 이미지 데이터를 획득하는 단계; 및
상기 물리적 객체의 이동을 포함하는 이미지 데이터를 획득하는 것에 응답하여,
상기 제2 뷰와는 상이하고 상기 물리적 객체를 포함하는 상기 물리적 환경의 제4 뷰의 표현을 디스플레이하는 단계를 추가로 포함하는, 방법.
제105항 내지 제121항 중 어느 한 항에 있어서, 상기 제1 컴퓨터 시스템은 제2 디스플레이 생성 컴포넌트와 통신하고, 상기 방법은,
상기 제2 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 사용자의 표현을 디스플레이하는 단계를 추가로 포함하고, 상기 사용자의 표현은 상기 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 상기 물리적 환경의 제2 뷰의 표현과 동시에 디스플레이되는, 방법.
제105항 내지 제122항 중 어느 한 항에 있어서,
상기 제1 컴퓨터 시스템이 상기 제2 컴퓨터 시스템과의 상기 라이브 비디오 통신 세션에 있는 동안,
제3 컴퓨터 시스템이 제1 세트의 기준들을 만족시킨다는 결정에 따라, 어포던스가 디스플레이되게 하는 단계를 추가로 포함하고, 상기 어포던스의 선택은 상기 제2 뷰의 표현이 상기 제3 컴퓨터 시스템에 디스플레이되게 하고, 상기 제1 세트의 기준들은 상기 제3 컴퓨터 시스템이 상기 제1 컴퓨터 시스템의 임계 거리 내에 있다는 위치 기준을 포함하는, 방법.
제123항에 있어서, 상기 제1 세트의 기준들은, 상기 위치 기준과는 상이하고 상기 제3 컴퓨터 시스템의 특성에 기초하는 제2 세트의 기준들을 포함하는, 방법.
제124항에 있어서, 상기 제2 세트의 기준들은 상기 제3 컴퓨터 시스템이 미리결정된 배향에 있을 때 만족되는 배향 기준을 포함하는, 방법.
제124항에 있어서, 상기 제2 세트의 기준들은 상기 제1 컴퓨터 시스템 및 상기 제3 컴퓨터 시스템이 동일한 사용자 계정과 연관될 때 만족되는 사용자 계정 기준을 포함하는, 방법.
제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은 제105항 내지 제126항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하도록 구성된 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은 제105항 내지 제126항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템.
제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하도록 구성된 컴퓨터 시스템으로서,
제105항 내지 제126항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템.
제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은 제105항 내지 제126항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하는 제1 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은,
상기 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안,
상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 제1 뷰의 표현을 디스플레이하고;
상기 물리적 환경의 제1 뷰의 표현을 디스플레이하는 동안, 상기 하나 이상의 센서들을 통해, 상기 제1 컴퓨터 시스템의 위치의 변화를 검출하며;
상기 제1 컴퓨터 시스템의 위치의 상기 변화를 검출하는 것에 응답하여, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제1 뷰와는 상이한 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제2 뷰의 표현을 디스플레이하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하도록 구성된 제1 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은,
상기 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안,
상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 제1 뷰의 표현을 디스플레이하고;
상기 물리적 환경의 제1 뷰의 표현을 디스플레이하는 동안, 상기 하나 이상의 센서들을 통해, 상기 제1 컴퓨터 시스템의 위치의 변화를 검출하며;
상기 제1 컴퓨터 시스템의 위치의 상기 변화를 검출하는 것에 응답하여, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제1 뷰와는 상이한 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제2 뷰의 표현을 디스플레이하기 위한 명령어들을 포함하는, 제1 컴퓨터 시스템.
제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하도록 구성된 제1 컴퓨터 시스템으로서,
상기 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안,
상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 제1 뷰의 표현을 디스플레이하고;
상기 물리적 환경의 제1 뷰의 표현을 디스플레이하는 동안, 상기 하나 이상의 센서들을 통해, 상기 제1 컴퓨터 시스템의 위치의 변화를 검출하며;
상기 제1 컴퓨터 시스템의 위치의 상기 변화를 검출하는 것에 응답하여, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제1 뷰와는 상이한 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제2 뷰의 표현을 디스플레이하기 위한 수단을 포함하는, 제1 컴퓨터 시스템.
제1 디스플레이 생성 컴포넌트 및 하나 이상의 센서들과 통신하는 제1 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은,
상기 제1 컴퓨터 시스템이 제2 컴퓨터 시스템과의 라이브 비디오 통신 세션에 있는 동안,
상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있는 물리적 환경의 제1 뷰의 표현을 디스플레이하고;
상기 물리적 환경의 제1 뷰의 표현을 디스플레이하는 동안, 상기 하나 이상의 센서들을 통해, 상기 제1 컴퓨터 시스템의 위치의 변화를 검출하며;
상기 제1 컴퓨터 시스템의 위치의 상기 변화를 검출하는 것에 응답하여, 상기 제1 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제1 뷰와는 상이한 상기 제2 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 제2 뷰의 표현을 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
방법으로서,
디스플레이 생성 컴포넌트와 통신하는 컴퓨터 시스템에서,
상기 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내의 물리적 환경의 뷰에 기초하여 상기 물리적 환경 내의 물리적 마크의 표현을 디스플레이하는 단계 -
상기 물리적 환경의 뷰는 상기 물리적 마크 및 물리적 배경을 포함하고,
상기 물리적 마크의 표현을 디스플레이하는 단계는 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 물리적 마크의 표현을 디스플레이하는 단계를 포함함 -;
상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 물리적 마크의 표현을 디스플레이하는 동안, 상기 물리적 환경 내의 새로운 물리적 마크를 포함하는 데이터를 획득하는 단계; 및
상기 물리적 환경 내의 상기 새로운 물리적 마크를 표현하는 데이터를 획득하는 것에 응답하여, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 새로운 물리적 마크의 표현을 디스플레이하는 단계를 포함하는, 방법.
제135항에 있어서, 상기 물리적 배경의 일부분은 상기 물리적 마크에 인접하고/하거나 그를 적어도 부분적으로 둘러싸는, 방법.
제135항 또는 제136항에 있어서, 상기 물리적 배경의 일부분은 상기 물리적 마크에 의해 적어도 부분적으로 둘러싸이는, 방법.
제135항 내지 제137항 중 어느 한 항에 있어서,
상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 하나 이상의 카메라들의 시야 내에 있는 사용자의 손의 표현을 디스플레이하는 단계를 추가로 포함하고, 상기 사용자의 손은 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들의 전경에 있는, 방법.
제135항 내지 제138항 중 어느 한 항에 있어서,
상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 마킹 기구의 표현을 디스플레이하는 단계를 추가로 포함하는, 방법.
제135항 내지 제139항 중 어느 한 항에 있어서,
상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 물리적 마크의 표현을 디스플레이하기 전에, 상기 물리적 배경의 일부분의 하나 이상의 요소들의 표현에 비해 제1 강조도(degree of emphasis)로 상기 물리적 마크의 표현을 동시에 디스플레이하는 단계;
상기 물리적 마크의 표현 및 상기 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 동시에 디스플레이하는 동안, 상기 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 수정하라는 요청에 대응하는 사용자 입력을 검출하는 단계; 및
상기 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 수정하라는 상기 요청에 대응하는 상기 사용자 입력을 검출하는 것에 응답하여, 상기 물리적 배경의 일부분의 하나 이상의 요소들의 표현에 비해 상기 제1 강조도보다 큰 제2 강조도로 상기 물리적 마크의 표현을 디스플레이하는 단계를 추가로 포함하는, 방법.
제140항에 있어서, 상기 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 수정하라는 상기 요청에 대응하는 상기 사용자 입력을 검출하는 단계는 상기 물리적 배경의 일부분의 하나 이상의 요소들의 표현에 대한 강조 옵션들의 세트를 포함하는 제어부를 향한 사용자 입력을 검출하는 단계를 포함하는, 방법.
제140항 또는 제141항에 있어서, 상기 물리적 배경의 일부분의 하나 이상의 요소들의 표현을 수정하라는 상기 요청에 대응하는 상기 사용자 입력은 선택가능 사용자 인터페이스 객체를 향한 사용자 입력을 검출하는 것을 포함하는, 방법.
제135항 내지 제142항 중 어느 한 항에 있어서,
상기 물리적 환경 내의 상기 물리적 마크는 제1 물리적 마크이고,
상기 제1 물리적 마크는 상기 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내에 있으며;
상기 방법은,
상기 디스플레이 생성 컴포넌트를 통해, 외부 컴퓨터 시스템의 하나 이상의 카메라들의 시야 내의 상기 물리적 환경의 뷰에 기초하여 물리적 환경 내의 제2 물리적 마크의 표현을 디스플레이하는 단계를 추가로 포함하고, 상기 제2 물리적 마크의 표현은 상기 제1 물리적 마크의 표현과 동시에 디스플레이되는, 방법.
제143항에 있어서, 상기 제1 물리적 마크의 표현은 상기 제1 물리적 마크의 제1 표현이고 사용자 인터페이스의 제1 부분에 디스플레이되며, 상기 방법은,
상기 사용자 인터페이스의 제1 부분에 상기 제1 물리적 마크의 제1 표현을 디스플레이하는 동안, 제1 선택가능 사용자 인터페이스 객체를 향한 입력을 포함하는 제1 세트의 하나 이상의 사용자 입력들을 검출하는 단계; 및
상기 제1 세트의 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 상기 사용자 인터페이스의 제1 부분과는 상이한 상기 사용자 인터페이스의 제2 부분에 상기 제1 물리적 마크의 제2 표현을 디스플레이하는 단계를 추가로 포함하는, 방법.
제143항 또는 제144항에 있어서, 상기 제2 물리적 마크의 표현은 상기 제2 물리적 마크의 제1 표현이고 사용자 인터페이스의 제3 부분에 디스플레이되며, 상기 방법은,
상기 사용자 인터페이스의 제3 부분과는 상이한 상기 사용자 인터페이스의 제4 부분에 상기 제2 물리적 마크의 제2 표현을 디스플레이하라는 요청에 대응하는 제2 세트의 하나 이상의 사용자 입력들을 검출하는 단계; 및
상기 사용자 인터페이스의 제4 부분에 상기 제2 물리적 마크의 제2 표현을 디스플레이하라는 상기 요청에 대응하는 상기 제2 세트의 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 상기 사용자 인터페이스의 제4 부분에 상기 제2 물리적 마크의 제2 표현을 디스플레이하는 단계를 추가로 포함하는, 방법.
제135항 내지 제145항 중 어느 한 항에 있어서, 상기 방법은,
제3 물리적 마크에 대응하는 디지털 마크를 디스플레이하라는 요청을 검출하는 단계; 및
상기 디지털 마크를 디스플레이하라는 상기 요청을 검출하는 것에 응답하여, 상기 제3 물리적 마크에 대응하는 상기 디지털 마크를 디스플레이하는 단계를 추가로 포함하는, 방법.
제146항에 있어서, 상기 방법은,
상기 디지털 마크를 디스플레이하는 동안, 상기 제3 물리적 마크에 대응하는 상기 디지털 마크를 수정하라는 요청을 검출하는 단계; 및
상기 제3 물리적 마크에 대응하는 상기 디지털 마크를 수정하라는 상기 요청을 검출하는 것에 응답하여, 상기 제3 물리적 마크에 대응하는 상기 디지털 마크의 표현과는 상이한 새로운 디지털 마크를 디스플레이하는 단계를 추가로 포함하는, 방법.
제135항 내지 제147항 중 어느 한 항에 있어서, 상기 물리적 마크의 표현을 디스플레이하는 단계는 상기 물리적 마크 및 사용자의 얼굴을 포함하는 시야를 갖는 제1 카메라에 의해 캡처된 이미지 데이터에 기초하는, 방법.
제148항에 있어서,
상기 제1 카메라에 의해 캡처된 상기 이미지 데이터에 기초하여 상기 사용자의 얼굴의 표현을 디스플레이하는 단계를 추가로 포함하고,
상기 제1 카메라의 시야는 상기 사용자의 얼굴 및 상기 사용자의 물리적 배경을 포함하고,
상기 사용자의 얼굴의 표현을 디스플레이하는 단계는 상기 사용자의 물리적 배경의 표현과 함께 상기 사용자의 얼굴의 표현을 디스플레이하는 단계를 포함하고, 상기 사용자의 얼굴은 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들의 전경에 있는, 방법.
디스플레이 생성 컴포넌트와 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은 제135항 내지 제149항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트와 통신하도록 구성된 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은 제135항 내지 제149항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트와 통신하도록 구성된 컴퓨터 시스템으로서,
제135항 내지 제149항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트와 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은 제135항 내지 제149항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
디스플레이 생성 컴포넌트와 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내의 물리적 환경의 뷰에 기초하여 상기 물리적 환경 내의 물리적 마크의 표현을 디스플레이하기 위한 -
상기 물리적 환경의 뷰는 상기 물리적 마크 및 물리적 배경을 포함하고,
상기 물리적 마크의 표현을 디스플레이하는 것은 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 물리적 마크의 표현을 디스플레이하는 것을 포함함 -;
상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 물리적 마크의 표현을 디스플레이하는 동안, 상기 물리적 환경 내의 새로운 물리적 마크를 포함하는 데이터를 획득하기 위한; 그리고
상기 물리적 환경 내의 상기 새로운 물리적 마크를 표현하는 데이터를 획득하는 것에 응답하여, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 새로운 물리적 마크의 표현을 디스플레이하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트와 통신하도록 구성된 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내의 물리적 환경의 뷰에 기초하여 상기 물리적 환경 내의 물리적 마크의 표현을 디스플레이하기 위한 -
상기 물리적 환경의 뷰는 상기 물리적 마크 및 물리적 배경을 포함하고,
상기 물리적 마크의 표현을 디스플레이하는 것은 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 물리적 마크의 표현을 디스플레이하는 것을 포함함 -;
상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 물리적 마크의 표현을 디스플레이하는 동안, 상기 물리적 환경 내의 새로운 물리적 마크를 포함하는 데이터를 획득하기 위한; 그리고
상기 물리적 환경 내의 상기 새로운 물리적 마크를 표현하는 데이터를 획득하는 것에 응답하여, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 새로운 물리적 마크의 표현을 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트와 통신하도록 구성된 컴퓨터 시스템으로서,
상기 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내의 물리적 환경의 뷰에 기초하여 상기 물리적 환경 내의 물리적 마크의 표현을 디스플레이하기 위한 수단 -
상기 물리적 환경의 뷰는 상기 물리적 마크 및 물리적 배경을 포함하고,
상기 물리적 마크의 표현을 디스플레이하는 것은 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 물리적 마크의 표현을 디스플레이하는 것을 포함함 -;
상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 물리적 마크의 표현을 디스플레이하는 동안, 상기 물리적 환경 내의 새로운 물리적 마크를 포함하는 데이터를 획득하기 위한 수단; 및
상기 물리적 환경 내의 상기 새로운 물리적 마크를 표현하는 데이터를 획득하는 것에 응답하여, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 새로운 물리적 마크의 표현을 디스플레이하기 위한 수단을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트와 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 하나 이상의 카메라들의 시야 내의 물리적 환경의 뷰에 기초하여 상기 물리적 환경 내의 물리적 마크의 표현을 디스플레이하기 위한 -
상기 물리적 환경의 뷰는 상기 물리적 마크 및 물리적 배경을 포함하고,
상기 물리적 마크의 표현을 디스플레이하는 것은 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 물리적 마크의 표현을 디스플레이하는 것을 포함함 -;
상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 물리적 마크의 표현을 디스플레이하는 동안, 상기 물리적 환경 내의 새로운 물리적 마크를 포함하는 데이터를 획득하기 위한; 그리고
상기 물리적 환경 내의 상기 새로운 물리적 마크를 표현하는 데이터를 획득하는 것에 응답하여, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 배경의 일부분의 하나 이상의 요소들을 디스플레이하지 않고서 상기 새로운 물리적 마크의 표현을 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하는 컴퓨터 시스템에서,
상기 디스플레이 생성 컴포넌트를 통해, 전자 문서를 디스플레이하는 단계;
상기 하나 이상의 카메라들을 통해, 상기 하나 이상의 카메라들의 시야 내에 있고 상기 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하는 단계; 및
상기 하나 이상의 카메라들의 시야 내에 있고 상기 컴퓨터 시스템과는 별개인 상기 물리적 표면 상의 물리적 마크들을 포함하는 상기 핸드라이팅을 검출하는 것에 응답하여, 상기 전자 문서 내에, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하는 단계를 포함하는, 방법.
제158항에 있어서, 상기 방법은,
상기 디지털 텍스트를 디스플레이하는 동안, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 표면 상의 제1 새로운 물리적 마크를 포함하는 새로운 핸드라이팅을 표현하는 데이터를 획득하는 단계; 및
상기 새로운 핸드라이팅을 표현하는 데이터를 획득하는 것에 응답하여, 상기 새로운 핸드라이팅에 대응하는 새로운 디지털 텍스트를 디스플레이하는 단계를 추가로 포함하는, 방법.
제159항에 있어서,
상기 새로운 핸드라이팅을 표현하는 데이터를 획득하는 단계는 상기 새로운 물리적 마크들이 상기 물리적 표면에 적용되고 있는 동안 상기 새로운 물리적 마크들을 검출하는 단계를 포함하는, 방법.
제159항에 있어서, 상기 새로운 핸드라이팅을 표현하는 데이터를 획득하는 단계는 상기 새로운 물리적 마크들을 포함하는 상기 물리적 표면이 상기 하나 이상의 카메라들의 시야 내로 들어올 때 상기 새로운 물리적 마크들을 검출하는 단계를 포함하는, 방법.
제158항 내지 제161항 중 어느 한 항에 있어서, 상기 방법은,
상기 디지털 텍스트를 디스플레이하는 동안, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 물리적 표면 상의 제2 새로운 물리적 마크를 포함하는 새로운 핸드라이팅을 표현하는 데이터를 획득하는 단계; 및
상기 새로운 핸드라이팅을 표현하는 데이터를 획득하는 것에 응답하여, 상기 새로운 핸드라이팅에 대응하는 업데이트된 디지털 텍스트를 디스플레이하는 단계를 추가로 포함하는, 방법.
제162항에 있어서, 상기 업데이트된 디지털 텍스트를 디스플레이하는 단계는 상기 핸드라이팅에 대응하는 상기 디지털 텍스트를 수정하는 단계를 포함하는, 방법.
제162항에 있어서, 상기 업데이트된 디지털 텍스트를 디스플레이하는 단계는 상기 디지털 텍스트의 일부분을 디스플레이하는 것을 중지하는 단계를 포함하는, 방법.
제162항에 있어서, 상기 업데이트된 디지털 텍스트를 디스플레이하는 단계는,
상기 제2 새로운 물리적 마크가 제1 기준들을 충족시킨다는 결정에 따라, 하나 이상의 새로운 필기 문자들에 대응하는 새로운 디지털 텍스트를 디스플레이하는 단계; 및
상기 제2 새로운 물리적 마크가 제2 기준들을 충족시킨다는 결정에 따라, 하나 이상의 이전에 필기된 문자들에 대응하는 상기 디지털 텍스트의 일부분의 디스플레이를 중지하는 단계를 포함하는, 방법.
제158항 내지 제165항 중 어느 한 항에 있어서, 상기 방법은,
상기 물리적 표면 상의 각자의 물리적 마크들을 포함하는 각자의 핸드라이팅의 표현을 디스플레이하는 동안, 상기 전자 문서 내에 상기 각자의 물리적 마크들에 대응하는 디지털 텍스트를 디스플레이하라는 요청에 대응하는 입력을 검출하는 단계; 및
상기 각자의 물리적 마크들에 대응하는 디지털 텍스트를 디스플레이하라는 요청에 대응하는 상기 입력을 검출하는 것에 응답하여, 상기 전자 문서 내에, 상기 각자의 물리적 마크들에 대응하는 디지털 텍스트를 디스플레이하는 단계를 추가로 포함하는, 방법.
제158항 내지 제166항 중 어느 한 항에 있어서,
선택가능 사용자 인터페이스 객체에 대한 사용자 입력을 검출하는 단계; 및
선택가능 사용자 인터페이스 객체에 대한 상기 사용자 입력을 검출하는 것에 응답하여,
상기 선택가능 사용자 인터페이스 객체에 대한 상기 사용자 입력이 라이브 카메라 피드에 기초하여 디지털 텍스트를 추가하는 것을 가능하게 한다는 결정에 따라, 각자의 물리적 마크들이 상기 물리적 표면에 적용되고 있는 동안, 상기 각자의 물리적 마크들을 포함하는 각자의 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하고;
상기 선택가능 사용자 인터페이스 객체에 대한 상기 사용자 입력이 상기 라이브 카메라 피드에 기초하여 디지털 텍스트를 추가하는 것을 가능하게 하지 않는다는 결정에 따라, 상기 각자의 물리적 마크들이 상기 물리적 표면에 적용되고 있는 동안, 상기 각자의 물리적 마크들을 포함하는 상기 각자의 핸드라이팅에 대응하는 상기 디지털 텍스트를 디스플레이하는 것을 보류하는 단계를 추가로 포함하는, 방법.
제158항 내지 제167항 중 어느 한 항에 있어서,
상기 디스플레이 생성 컴포넌트를 통해, 상기 물리적 마크들을 포함하는 상기 핸드라이팅의 표현을 디스플레이하는 단계를 추가로 포함하는, 방법.
제158항 내지 제168항 중 어느 한 항에 있어서, 상기 방법은,
상기 디스플레이 생성 컴포넌트를 통해, 상기 전자 문서의 각자의 디지털 텍스트에 대응하는 물리적 마크의 각자의 표현 상에 오버레이되는 그래픽 요소를 디스플레이하는 단계를 추가로 포함하는, 방법.
제158항 내지 제169항 중 어느 한 항에 있어서, 상기 핸드라이팅을 검출하는 단계는 상기 물리적 표면 및 사용자의 얼굴을 포함하는 시야를 갖는 제1 카메라에 의해 캡처된 이미지 데이터에 기초하는, 방법.
디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은 제158항 내지 제170항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하도록 구성된 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은 제158항 내지 제170항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하도록 구성된 컴퓨터 시스템으로서,
제158항 내지 제170항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은 제158항 내지 제170항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 전자 문서를 디스플레이하기 위한;
상기 하나 이상의 카메라들을 통해, 상기 하나 이상의 카메라들의 시야 내에 있고 상기 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하기 위한; 그리고
상기 하나 이상의 카메라들의 시야 내에 있고 상기 컴퓨터 시스템과는 별개인 상기 물리적 표면 상의 물리적 마크들을 포함하는 상기 핸드라이팅을 검출하는 것에 응답하여, 상기 전자 문서 내에, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하도록 구성된 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 전자 문서를 디스플레이하기 위한;
상기 하나 이상의 카메라들을 통해, 상기 하나 이상의 카메라들의 시야 내에 있고 상기 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하기 위한; 그리고
상기 하나 이상의 카메라들의 시야 내에 있고 상기 컴퓨터 시스템과는 별개인 상기 물리적 표면 상의 물리적 마크들을 포함하는 상기 핸드라이팅을 검출하는 것에 응답하여, 상기 전자 문서 내에, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하도록 구성된 컴퓨터 시스템으로서,
상기 디스플레이 생성 컴포넌트를 통해, 전자 문서를 디스플레이하기 위한 수단;
상기 하나 이상의 카메라들을 통해, 상기 하나 이상의 카메라들의 시야 내에 있고 상기 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하기 위한 수단; 및
상기 하나 이상의 카메라들의 시야 내에 있고 상기 컴퓨터 시스템과는 별개인 상기 물리적 표면 상의 물리적 마크들을 포함하는 상기 핸드라이팅을 검출하는 것에 응답하여, 상기 전자 문서 내에, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하기 위한 수단을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트 및 하나 이상의 카메라들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은,
상기 디스플레이 생성 컴포넌트를 통해, 전자 문서를 디스플레이하기 위한;
상기 하나 이상의 카메라들을 통해, 상기 하나 이상의 카메라들의 시야 내에 있고 상기 컴퓨터 시스템과는 별개인 물리적 표면 상의 물리적 마크들을 포함하는 핸드라이팅을 검출하기 위한; 그리고
상기 하나 이상의 카메라들의 시야 내에 있고 상기 컴퓨터 시스템과는 별개인 상기 물리적 표면 상의 물리적 마크들을 포함하는 상기 핸드라이팅을 검출하는 것에 응답하여, 상기 전자 문서 내에, 상기 하나 이상의 카메라들의 시야 내에 있는 상기 핸드라이팅에 대응하는 디지털 텍스트를 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
방법으로서,
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 제1 컴퓨터 시스템에서,
상기 하나 이상의 입력 디바이스들을 통해, 상기 하나 이상의 카메라들의 시야 내에 있는 표면의 시각적 표현을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 제1 사용자 입력들을 검출하는 단계; 및
상기 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여,
제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해,
상기 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현; 및
상기 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 상기 하나 이상의 카메라들의 시야의 제1 영역을 나타내는 시각적 표시 - 상기 제1 영역은 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 하나 이상의 카메라들의 시야의 제2 부분을 나타냄 - 를 동시에 디스플레이하는 단계를 포함하는, 방법.
제179항에 있어서, 상기 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현 및 상기 시야의 제1 영역의 시각적 표시는 상기 제1 컴퓨터 시스템이 상기 제2 컴퓨터 시스템과 상기 하나 이상의 카메라들의 시야의 제2 부분을 공유하고 있지 않은 동안 동시에 디스플레이되는, 방법.
제179항 또는 제180항에 있어서, 상기 하나 이상의 카메라들의 시야의 제2 부분은 상기 하나 이상의 카메라들과 상기 하나 이상의 카메라들의 시야 내의 사용자 사이에 위치되는 표면의 이미지를 포함하는, 방법.
제179항 내지 제181항 중 어느 한 항에 있어서, 상기 표면은 수직 표면을 포함하는, 방법.
제179항 내지 제182항 중 어느 한 항에 있어서, 상기 제2 컴퓨터 시스템에 의해 제시될 상기 표면의 뷰는 상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되는 상기 표면의 이미지를 포함하는, 방법.
제179항 내지 제183항 중 어느 한 항에 있어서, 상기 하나 이상의 카메라들의 시야의 제1 부분은 상기 하나 이상의 카메라들의 시야 내의 사용자의 이미지를 포함하는, 방법.
제179항 내지 제184항 중 어느 한 항에 있어서,
상기 하나 이상의 카메라들의 위치의 변화를 검출한 후에, 상기 디스플레이 생성 컴포넌트를 통해,
상기 하나 이상의 카메라들의 시야의 제3 부분의 시각적 표현; 및
상기 시각적 표시 - 상기 시각적 표시는 상기 하나 이상의 카메라들의 시야의 제3 부분의 서브세트인 상기 하나 이상의 카메라들의 시야의 제2 영역을 나타내고, 상기 제2 영역은 상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 하나 이상의 카메라들의 시야의 제4 부분을 나타냄 - 를 동시에 디스플레이하는 단계를 추가로 포함하는, 방법.
제179항 내지 제185항 중 어느 한 항에 있어서,
상기 하나 이상의 카메라들이 실질적으로 정지되어 있는 동안 그리고 상기 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현 및 상기 시각적 표시를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 하나 이상의 제2 사용자 입력들을 검출하는 단계; 및
상기 하나 이상의 제2 사용자 입력들을 검출하는 것에 응답하여 그리고 상기 하나 이상의 카메라들이 실질적으로 정지 상태로 유지되는 동안, 상기 디스플레이 생성 컴포넌트를 통해,
상기 시야의 제1 부분의 시각적 표현; 및
상기 시각적 표시 - 상기 시각적 표시는 상기 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 상기 하나 이상의 카메라들의 시야의 제3 영역을 나타내고, 상기 제3 영역은 상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될, 상기 제2 부분과는 상이한, 상기 시야의 제5 부분을 나타냄 - 를 동시에 디스플레이하는 단계를 추가로 포함하는, 방법.
제179항 내지 제186항 중 어느 한 항에 있어서,
상기 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현 및 상기 시각적 표시를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 시각적 표시에 대한 옵션들의 세트를 포함하는 제어부를 향한 사용자 입력을 검출하는 단계; 및
상기 제어부를 향한 상기 사용자 입력을 검출하는 것에 응답하여,
상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될, 상기 제2 부분과는 상이한, 상기 시야의 제6 부분을 포함하는 상기 하나 이상의 카메라들의 시야의 제4 영역을 나타내도록 상기 시각적 표시를 디스플레이하는 단계를 추가로 포함하는, 방법.
제187항에 있어서,
상기 제어부를 향한 상기 사용자 입력을 검출하는 것에 응답하여,
상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 시야의 일부분의 경계의 제1 부분의 위치를 유지하고;
상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 시야의 일부분의 경계의 제2 부분의 위치를 수정하는 단계를 추가로 포함하는, 방법.
제188항에 있어서, 상기 시각적 표시의 제1 부분은 상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 시야의 제2 부분의 최상부 에지에 대응하는, 방법.
제179항 내지 제189항 중 어느 한 항에 있어서, 상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 하나 이상의 카메라들의 시야의 제2 부분 및 상기 하나 이상의 카메라들의 시야의 제1 부분은 제1 카메라에 의해 캡처된 이미지 데이터에 기초하는, 방법.
제179항 내지 제190항 중 어느 한 항에 있어서,
상기 하나 이상의 입력 디바이스들을 통해, 상기 하나 이상의 카메라들의 시야 내에 있는 표면의 시각적 표현을 디스플레이하기 위한 상기 애플리케이션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 제3 사용자 입력들을 검출하는 단계; 및
상기 하나 이상의 제3 사용자 입력들을 검출하는 것에 응답하여,
상기 제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해,
상기 하나 이상의 카메라들의 시야의 제7 부분의 시각적 표현; 및
상기 하나 이상의 카메라들의 시야의 제7 부분의 서브세트인 상기 하나 이상의 카메라들의 시야의 제5 영역을 나타내는 시각적 표시 - 상기 제5 영역은 상기 제2 컴퓨터 시스템과는 상이한 제3 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 하나 이상의 카메라들의 시야의 제8 부분을 나타냄 - 를 동시에 디스플레이하는 단계를 추가로 포함하는, 방법.
제191항에 있어서, 상기 시각적 표시의 시각적 특성은 사용자 구성가능하고, 상기 제1 컴퓨터 시스템은 원격 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시하기 위해 상기 하나 이상의 카메라들의 최근 사용 동안 사용되었던 상기 시각적 표시의 시각적 특성에 기초하는 시각적 특성을 갖는 것으로 상기 제5 영역을 나타내는 상기 시각적 표시를 디스플레이하는, 방법.
제179항 내지 제192항 중 어느 한 항에 있어서,
상기 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현 및 상기 시각적 표시를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 상기 시각적 표시의 시각적 특성을 수정하라는 요청에 대응하는 하나 이상의 제4 사용자 입력들을 검출하는 단계;
상기 하나 이상의 제4 사용자 입력들을 검출하는 것에 응답하여,
상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 시야의, 상기 제2 부분과는 상이한 제9 부분을 포함하는 상기 하나 이상의 카메라들의 시야의 제6 영역을 나타내도록 상기 시각적 표시를 디스플레이하는 단계;
상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 시야의 제9 부분을 포함하는 상기 하나 이상의 카메라들의 시야의 제6 영역을 나타내도록 상기 시각적 표시를 디스플레이하는 동안, 상기 표면의 뷰를 공유하라는 요청에 대응하는 하나 이상의 사용자 입력들을 검출하는 단계; 및
상기 표면의 뷰를 공유하라는 상기 요청에 대응하는 상기 하나 이상의 사용자 입력들을 검출하는 것에 응답하여, 상기 제2 컴퓨터 시스템에 의한 제시를 위해 상기 시야의 제9 부분을 공유하는 단계를 추가로 포함하는, 방법.
제179항 내지 제193항 중 어느 한 항에 있어서,
상기 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여,
제2 세트의 하나 이상의 기준들이 충족된다는 결정에 따라 - 상기 제2 세트의 하나 이상의 기준들은 상기 제1 세트의 하나 이상의 기준들과는 상이함 -,
상기 제2 컴퓨터 시스템에 의해 제시될 상기 표면의 뷰로서 상기 시야의 제2 부분을 디스플레이하는 단계를 추가로 포함하고, 상기 시야의 제2 부분은 상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되는 상기 표면의 이미지를 포함하는, 방법.
제179항 내지 제194항 중 어느 한 항에 있어서,
상기 제2 컴퓨터 시스템에 의한 제시를 위해 상기 표면의 뷰로서 상기 시야의 제2 부분을 제공하는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 하나 이상의 카메라들의 시야의 일부분을 수정하기 위한 제어부를 디스플레이하는 단계를 추가로 포함하는, 방법.
제195항에 있어서,
포커스(focus)가 상기 표면의 뷰에 대응하는 영역으로 지향된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해, 상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 하나 이상의 카메라들의 시야의 일부분을 수정하기 위한 상기 제어부를 디스플레이하는 단계; 및
상기 포커스가 상기 표면의 뷰에 대응하는 상기 영역으로 지향되지 않는다는 결정에 따라, 상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 하나 이상의 카메라들의 시야의 일부분을 수정하기 위한 상기 제어부를 디스플레이하는 것을 보류하는 단계를 추가로 포함하는, 방법.
제195항 또는 제196항에 있어서, 상기 시야의 제2 부분은 제1 경계를 포함하고,
상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 하나 이상의 카메라들의 시야의 일부분을 수정하기 위한 상기 제어부를 향한 하나 이상의 제5 사용자 입력들을 검출하는 단계; 및
상기 하나 이상의 제5 사용자 입력들을 검출하는 것에 응답하여,
상기 시야의 제2 부분의 제1 경계의 위치를 유지하고;
상기 시야의 상기 제2 부분에 포함되는 상기 시야의 일부분의 양을 수정하는 단계를 추가로 포함하는, 방법.
제179항 내지 제197항 중 어느 한 항에 있어서,
상기 하나 이상의 카메라들이 실질적으로 정지되어 있는 동안 그리고 상기 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현 및 상기 시각적 표시를 디스플레이하는 동안, 상기 하나 이상의 입력 디바이스들을 통해, 하나 이상의 제6 사용자 입력들을 검출하는 단계; 및
상기 하나 이상의 제6 사용자 입력들을 검출하는 것에 응답하여 그리고 상기 하나 이상의 카메라들이 실질적으로 정지 상태로 유지되는 동안, 상기 디스플레이 생성 컴포넌트를 통해,
상기 하나 이상의 카메라들의 시야의 제1 부분과는 상이한 상기 하나 이상의 카메라들의 시야의 제11 부분의 시각적 표현; 및
상기 시각적 표시 - 상기 시각적 표시는 상기 하나 이상의 카메라들의 시야의 제11 부분의 서브세트인 상기 하나 이상의 카메라들의 시야의 제7 영역을 나타내고, 상기 제7 영역은 상기 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될, 상기 제2 부분과는 상이한, 상기 시야의 제12 부분을 나타냄 - 를 동시에 디스플레이하는 단계를 추가로 포함하는, 방법.
제179항 내지 제198항 중 어느 한 항에 있어서, 상기 시각적 표시를 디스플레이하는 단계는,
하나 이상의 정렬 기준들의 세트가 충족된다는 결정에 따라 - 상기 하나 이상의 정렬 기준들의 세트는 상기 시각적 표시에 의해 표시되는 상기 하나 이상의 카메라들의 시야의 현재 영역과 상기 하나 이상의 카메라들의 시야의 지정된 부분 사이의 정렬에 기초하는 정렬 기준을 포함함 -, 제1 외관을 갖는 상기 시각적 표시를 디스플레이하는 단계; 및
상기 정렬 기준들이 충족되지 않는다는 결정에 따라, 상기 제1 외관과는 상이한 제2 외관을 갖는 상기 시각적 표시를 디스플레이하는 단계를 포함하는, 방법.
제179항 내지 제199항 중 어느 한 항에 있어서,
상기 시각적 표시가 상기 하나 이상의 카메라들의 시야의 제8 영역을 나타내는 동안, 상기 하나 이상의 카메라들의 시야의 제13 부분의 시각적 표현 및 상기 시각적 표시와 동시에, 상기 하나 이상의 카메라들의 시야의 제1 지정된 영역을 나타내는 타깃 구역 표시를 디스플레이하는 단계를 추가로 포함하고, 상기 제1 지정된 영역은 상기 하나 이상의 카메라들의 시야 내의 상기 표면의 위치에 기초하는 상기 하나 이상의 카메라들의 시야의 결정된 부분을 나타내는, 방법.
제200항에 있어서, 상기 타깃 구역 표시는 상기 표면에 대해 정지되어 있는, 방법.
제201항에 있어서, 상기 타깃 구역 표시는 상기 표면의 에지에 기초하여 선택되는, 방법.
제201항 또는 제202항에 있어서, 상기 타깃 구역 표시는 상기 하나 이상의 카메라들의 시야 내의 사람의 위치에 기초하여 선택되는, 방법.
제200항 내지 제203항 중 어느 한 항에 있어서,
상기 하나 이상의 카메라들의 위치의 변화를 검출한 후에, 상기 디스플레이 생성 컴포넌트를 통해, 상기 타깃 구역 표시를 디스플레이하는 단계를 추가로 포함하고, 상기 타깃 구역 표시는 상기 하나 이상의 카메라들의 시야의 제2 지정된 영역을 나타내고, 상기 제2 지정된 영역은 상기 하나 이상의 카메라들의 위치의 상기 변화 후의 상기 하나 이상의 카메라들의 시야 내의 상기 표면의 위치에 기초하는 상기 하나 이상의 카메라들의 시야의 제2 결정된 부분을 나타내는, 방법.
제179항 내지 제204항 중 어느 한 항에 있어서,
상기 하나 이상의 카메라들의 시야의 시각적 표현 및 상기 시각적 표시와 동시에, 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될, 상기 시각적 표시에 의해 표시되는 상기 하나 이상의 카메라들의 시야의 제9 영역 내의 상기 표면의 표면 뷰 표현을 디스플레이하는 단계를 추가로 포함하고, 상기 표면 뷰 표현은 상기 표면의 관점을 보정하기 위해 상기 하나 이상의 카메라들에 대한 상기 표면의 위치에 기초하여 수정되는, 상기 하나 이상의 카메라들에 의해 캡처된 상기 표면의 이미지를 포함하는, 방법.
제205항에 있어서, 상기 표면 뷰 표현을 디스플레이하는 단계는 사람을 포함하는 상기 하나 이상의 카메라들의 시야의 일부분의 시각적 표현 내에 상기 표면 뷰 표현을 디스플레이하는 단계를 포함하는, 방법.
제206항에 있어서,
상기 시각적 표시에 의해 표시되는 상기 하나 이상의 카메라들의 시야의 제9 영역 내의 상기 표면의 표면 뷰 표현을 디스플레이한 후에, 상기 시각적 표시에 의해 표시되는 상기 하나 이상의 카메라들의 시야의 변화를 검출하는 단계; 및
상기 시각적 표시에 의해 표시되는 상기 하나 이상의 카메라들의 시야의 상기 변화를 검출하는 것에 응답하여, 상기 표면 뷰 표현을 디스플레이하는 단계를 추가로 포함하고, 상기 표면 뷰 표현은 상기 시각적 표시에 의해 표시되는 상기 하나 이상의 카메라들의 시야의 상기 변화 후의, 상기 시각적 표시에 의해 표시되는 상기 하나 이상의 카메라들의 시야의 제9 영역 내의 상기 표면을 포함하는, 방법.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 제1 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은 제179항 내지 제207항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 제1 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은 제179항 내지 제207항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 제1 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 제1 컴퓨터 시스템으로서,
제179항 내지 제207항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 제1 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 제1 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은 제179항 내지 제207항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 제1 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은,
상기 하나 이상의 입력 디바이스들을 통해, 상기 하나 이상의 카메라들의 시야 내에 있는 표면의 시각적 표현을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 제1 사용자 입력들을 검출하기 위한; 그리고
상기 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여,
제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해,
상기 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현; 및
상기 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 상기 하나 이상의 카메라들의 시야의 제1 영역을 나타내는 시각적 표시 - 상기 제1 영역은 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 하나 이상의 카메라들의 시야의 제2 부분을 나타냄 - 를 동시에 디스플레이하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 제1 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은,
상기 하나 이상의 입력 디바이스들을 통해, 상기 하나 이상의 카메라들의 시야 내에 있는 표면의 시각적 표현을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 제1 사용자 입력들을 검출하기 위한; 그리고
상기 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여,
제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해,
상기 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현; 및
상기 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 상기 하나 이상의 카메라들의 시야의 제1 영역을 나타내는 시각적 표시 - 상기 제1 영역은 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 하나 이상의 카메라들의 시야의 제2 부분을 나타냄 - 를 동시에 디스플레이하기 위한 명령어들을 포함하는, 제1 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 제1 컴퓨터 시스템으로서,
상기 하나 이상의 입력 디바이스들을 통해, 상기 하나 이상의 카메라들의 시야 내에 있는 표면의 시각적 표현을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 제1 사용자 입력들을 검출하기 위한 수단; 및
상기 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여,
제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해,
상기 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현; 및
상기 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 상기 하나 이상의 카메라들의 시야의 제1 영역을 나타내는 시각적 표시 - 상기 제1 영역은 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 하나 이상의 카메라들의 시야의 제2 부분을 나타냄 - 를 동시에 디스플레이하기 위한 수단을 포함하는, 제1 컴퓨터 시스템.
디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 하나 이상의 입력 디바이스들과 통신하는 제1 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은,
상기 하나 이상의 입력 디바이스들을 통해, 상기 하나 이상의 카메라들의 시야 내에 있는 표면의 시각적 표현을 디스플레이하기 위한 애플리케이션의 사용자 인터페이스를 디스플레이하라는 요청에 대응하는 하나 이상의 제1 사용자 입력들을 검출하기 위한; 그리고
상기 하나 이상의 제1 사용자 입력들을 검출하는 것에 응답하여,
제1 세트의 하나 이상의 기준들이 충족된다는 결정에 따라, 상기 디스플레이 생성 컴포넌트를 통해,
상기 하나 이상의 카메라들의 시야의 제1 부분의 시각적 표현; 및
상기 하나 이상의 카메라들의 시야의 제1 부분의 서브세트인 상기 하나 이상의 카메라들의 시야의 제1 영역을 나타내는 시각적 표시 - 상기 제1 영역은 제2 컴퓨터 시스템에 의해 상기 표면의 뷰로서 제시될 상기 하나 이상의 카메라들의 시야의 제2 부분을 나타냄 - 를 동시에 디스플레이하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
방법으로서,
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템에서,
상기 하나 이상의 입력 디바이스들을 통해, 상기 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하는 단계; 및
상기 컴퓨터 시스템 상의 상기 특징부를 사용하라는 상기 요청을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 특징부의 가상 시연을 포함하는, 상기 특징부를 사용하기 위한 지침서를 디스플레이하는 단계 - 상기 지침서를 디스플레이하는 단계는,
상기 컴퓨터 시스템의 속성이 제1 값을 갖는다는 결정에 따라, 제1 외관을 갖는 상기 가상 시연을 디스플레이하는 단계; 및
상기 컴퓨터 시스템의 속성이 제2 값을 갖는다는 결정에 따라, 상기 제1 외관과는 상이한 제2 외관을 갖는 상기 가상 시연을 디스플레이하는 단계를 포함함 - 를 포함하는, 방법.
제216항에 있어서, 상기 가상 시연은 상기 특징부에 대한 액세스를 제공하기 위해 어느 유형의 디바이스가 사용되고 있는지에 기초하는 외관을 갖는, 방법.
제216항 또는 제217항에 있어서, 상기 가상 시연은 상기 특징부에 대한 액세스를 제공하기 위해 어느 모델의 디바이스가 사용되고 있는지에 기초하는 외관을 갖는, 방법.
제216항 내지 제218항 중 어느 한 항에 있어서, 상기 가상 시연은 상기 특징부에 대한 액세스를 제공하기 위해 상기 컴퓨터 시스템이 외부 디바이스에 결합되는지 여부에 기초하는 외관을 갖는, 방법.
제219항에 있어서,
상기 컴퓨터 시스템이 외부 디바이스에 결합된다는 결정에 따라, 상기 지침서를 디스플레이하는 단계는 상기 외부 디바이스의 그래픽 표현을 복수의 가능한 배향들 중 선택된 배향으로 디스플레이하는 단계를 포함하는, 방법.
제216항 내지 제220항 중 어느 한 항에 있어서, 상기 가상 시연은 상기 컴퓨터 시스템의 시스템 언어에 기초하는 외관을 갖는, 방법.
제216항 내지 제221항 중 어느 한 항에 있어서, 상기 가상 시연은 상기 컴퓨터 시스템과 연관된 색상에 기초하는 외관을 갖는, 방법.
제216항 내지 제222항 중 어느 한 항에 있어서, 상기 지침서를 디스플레이하는 단계는 물리적 환경의 시뮬레이션된 표현 내에 하나 이상의 카메라들의 시야의 범위의 그래픽 표시를 디스플레이하는 단계를 포함하는, 방법.
제216항 내지 제223항 중 어느 한 항에 있어서, 상기 지침서를 디스플레이하는 단계는 입력 구역의 그래픽 표현 및 출력 구역의 그래픽 표현을 디스플레이하는 단계를 포함하는, 방법.
제216항 내지 제224항 중 어느 한 항에 있어서, 상기 지침서를 디스플레이하는 단계는 입력의 그래픽 표현을 디스플레이하는 단계를 포함하는, 방법.
제225항에 있어서, 상기 지침서를 디스플레이하는 단계는 상기 입력의 제1 출력의 그래픽 표현 및 상기 입력의 제2 출력의 그래픽 표현을 디스플레이하는 단계를 포함하는, 방법.
제225항 또는 제226항에 있어서,
상기 제1 출력의 그래픽 표현을 디스플레이하는 단계는 물리적 표면의 그래픽 표현 상에 상기 제1 출력의 그래픽 표현을 디스플레이하는 단계를 포함하고;
상기 제2 출력의 그래픽 표현을 디스플레이하는 단계는 상기 컴퓨터 시스템의 그래픽 표현 상에 상기 제2 출력의 그래픽 표현을 디스플레이하는 단계를 포함하는, 방법.
제225항 내지 제227항 중 어느 한 항에 있어서,
상기 입력의 그래픽 표현을 디스플레이하는 단계는 마크를 하는 필기 도구의 그래픽 표현을 디스플레이하는 단계를 포함하고;
상기 지침서를 디스플레이하는 단계는 상기 입력의 그래픽 표현을 디스플레이하는 것이 완료된 후에 상기 필기 도구의 그래픽 표현의 이동을 디스플레이하는 단계를 포함하는, 방법.
제216항 내지 제228항 중 어느 한 항에 있어서, 상기 지침서를 디스플레이하는 단계는,
제1 시간에 제1 관점으로부터 물리적 객체의 그래픽 표현을 디스플레이하는 단계; 및
제2 시간에 제2 관점으로부터 상기 물리적 객체의 그래픽 표현을 디스플레이하는 단계를 포함하고, 상기 제2 관점은 상기 제1 관점과는 상이하며, 상기 제2 시간은 상기 제1 시간과는 상이한, 방법.
제229항에 있어서, 상기 지침서를 디스플레이하는 단계는,
제1 시간에 제1 관점으로부터 상기 컴퓨터 시스템의 그래픽 표현을 디스플레이하는 단계; 및
제2 시간에 제2 관점으로부터 상기 컴퓨터 시스템의 그래픽 표현을 디스플레이하는 단계를 포함하고, 상기 제2 관점은 상기 제1 관점과는 상이하며, 상기 제2 시간은 상기 제1 시간과는 상이한, 방법.
제216항 내지 제230항 중 어느 한 항에 있어서, 상기 지침서를 디스플레이하는 단계는,
상기 특징부의 제1 가상 시연을 디스플레이하는 단계; 및
상기 특징부의 제1 가상 시연을 디스플레이한 후에, 상기 특징부의 제2 가상 시연을 디스플레이하는 단계를 포함하는, 방법.
제216항 내지 제231항 중 어느 한 항에 있어서,
상기 컴퓨터 시스템 상의 상기 특징부를 사용하라는 제2 요청을 검출하는 단계; 및
상기 컴퓨터 시스템 상의 상기 특징부를 사용하라는 상기 제2 요청을 검출하는 것에 응답하여,
기준들의 세트가 충족된다는 결정에 따라, 상기 특징부의 가상 시연을 포함하는, 상기 특징부를 사용하기 위한 상기 지침서를 디스플레이하고;
상기 기준들의 세트가 충족되지 않는다는 결정에 따라, 상기 특징부의 가상 시연을 포함하는, 상기 특징부를 사용하기 위한 상기 지침서를 디스플레이하는 것을 보류하는 단계를 추가로 포함하는, 방법.
제232항에 있어서, 상기 기준들의 세트는 상기 특징부가 임계량을 만족시키는 횟수만큼 사용된 경우 충족되는 기준을 포함하는, 방법.
제216항 내지 제233항 중 어느 한 항에 있어서,
상기 컴퓨터 시스템 상의 상기 특징부를 사용하라는 상기 요청을 검출한 후에, 선택가능 계속 옵션을 디스플레이하는 단계;
상기 선택가능 계속 옵션의 선택을 검출하는 단계; 및
상기 선택가능 계속 옵션의 선택을 검출하는 것에 응답하여, 상기 컴퓨터 시스템 상의 상기 특징부를 사용하기 위한 프로세스를 수행하는 단계를 추가로 포함하는, 방법.
제216항 내지 제234항 중 어느 한 항에 있어서,
상기 컴퓨터 시스템 상의 상기 특징부를 사용하라는 상기 요청을 검출한 후에, 선택가능 정보 옵션을 디스플레이하는 단계;
상기 선택가능 정보 옵션의 선택을 검출하는 단계; 및
상기 선택가능 정보 옵션의 선택을 검출하는 것에 응답하여, 상기 컴퓨터 시스템 상의 상기 특징부를 사용하기 위한 정보를 제공하는 사용자 인터페이스를 디스플레이하는 단계를 추가로 포함하는, 방법.
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은 제216항 내지 제235항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은 제216항 내지 제235항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
제216항 내지 제235항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은 제216항 내지 제235항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 프로그램 제품.
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은,
상기 하나 이상의 입력 디바이스들을 통해, 상기 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하기 위한; 그리고
상기 컴퓨터 시스템 상의 상기 특징부를 사용하라는 상기 요청을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 특징부의 가상 시연을 포함하는, 상기 특징부를 사용하기 위한 지침서를 디스플레이하기 위한 - 상기 지침서를 디스플레이하는 것은,
상기 컴퓨터 시스템의 속성이 제1 값을 갖는다는 결정에 따라, 제1 외관을 갖는 상기 가상 시연을 디스플레이하는 것; 및
상기 컴퓨터 시스템의 속성이 제2 값을 갖는다는 결정에 따라, 상기 제1 외관과는 상이한 제2 외관을 갖는 상기 가상 시연을 디스플레이하는 것을 포함함 - 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
하나 이상의 프로세서들; 및
상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은,
상기 하나 이상의 입력 디바이스들을 통해, 상기 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하기 위한; 그리고
상기 컴퓨터 시스템 상의 상기 특징부를 사용하라는 상기 요청을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 특징부의 가상 시연을 포함하는, 상기 특징부를 사용하기 위한 지침서를 디스플레이하기 위한 - 상기 지침서를 디스플레이하는 것은,
상기 컴퓨터 시스템의 속성이 제1 값을 갖는다는 결정에 따라, 제1 외관을 갖는 상기 가상 시연을 디스플레이하는 것; 및
상기 컴퓨터 시스템의 속성이 제2 값을 갖는다는 결정에 따라, 상기 제1 외관과는 상이한 제2 외관을 갖는 상기 가상 시연을 디스플레이하는 것을 포함함 - 명령어들을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하도록 구성된 컴퓨터 시스템으로서,
상기 하나 이상의 입력 디바이스들을 통해, 상기 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하기 수단; 및
상기 컴퓨터 시스템 상의 상기 특징부를 사용하라는 상기 요청을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 특징부의 가상 시연을 포함하는, 상기 특징부를 사용하기 위한 지침서를 디스플레이하기 위한 수단 - 상기 지침서를 디스플레이하기 위한 수단은,
상기 컴퓨터 시스템의 속성이 제1 값을 갖는다는 결정에 따라, 제1 외관을 갖는 상기 가상 시연을 디스플레이하기 위한 수단; 및
상기 컴퓨터 시스템의 속성이 제2 값을 갖는다는 결정에 따라, 상기 제1 외관과는 상이한 제2 외관을 갖는 상기 가상 시연을 디스플레이하기 위한 수단을 포함함 - 을 포함하는, 컴퓨터 시스템.
디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들과 통신하는 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 하나 이상의 프로그램들은,
상기 하나 이상의 입력 디바이스들을 통해, 상기 컴퓨터 시스템 상의 특징부를 사용하라는 요청을 검출하기 위한; 그리고
상기 컴퓨터 시스템 상의 상기 특징부를 사용하라는 상기 요청을 검출하는 것에 응답하여, 상기 디스플레이 생성 컴포넌트를 통해, 상기 특징부의 가상 시연을 포함하는, 상기 특징부를 사용하기 위한 지침서를 디스플레이하기 위한 - 상기 지침서를 디스플레이하는 것은,
상기 컴퓨터 시스템의 속성이 제1 값을 갖는다는 결정에 따라, 제1 외관을 갖는 상기 가상 시연을 디스플레이하는 것; 및
상기 컴퓨터 시스템의 속성이 제2 값을 갖는다는 결정에 따라, 상기 제1 외관과는 상이한 제2 외관을 갖는 상기 가상 시연을 디스플레이하는 것을 포함함 - 명령어들을 포함하는, 컴퓨터 프로그램 제품.