RU2702049C2

RU2702049C2 - Совместное использование в реальном времени во время телефонного вызова

Info

Publication number: RU2702049C2
Application number: RU2017107454A
Authority: RU
Inventors: Керри ВУЛСИ; Питер ХАММЕРКУИСТ
Original assignee: МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Priority date: 2014-09-10
Filing date: 2015-09-10
Publication date: 2019-10-03
Also published as: CN106716954A; MX2017002793A; RU2017107454A; US10057305B2; BR112017003124A2; EP3192220B1; KR20170051445A; JP2017532645A; RU2017107454A3; EP3192220A1; AU2015315114A1; JP6700254B2; WO2016040535A1; CA2959718A1; KR102350329B1; AU2015315114B2; US20160072861A1; CN106716954B; CA2959718C

Abstract

Изобретение относится к устройствам совместного использования контента с удаленной стороной во время телефонного вызова. Техническим результатом изобретения является упрощение совместного использования контента в рамках взаимодействия при телефонном вызове. Для реализации технического результата в заявленном решении выполняют: демонстрацию пользовательского интерфейса для инициирования совместного использования контента, анализ входных данных для выявления выбора контента, перемещение предварительно подготовленного контента в активное окно совместного использования, предоставление в локальном устройстве инструментов выделения частей контента и создания титров, совместное использование контента из активного окна, предоставление временного управления контентом. 3 н. и 14 з.п. ф-лы, 39 ил.

Description

УРОВЕНЬ ТЕХНИКИ

[0001] Люди часто желают совместно использовать персональную информацию при разговорах по телефону, и часто контент, который находится на их телефоне или компьютере, помогает им эффективно осуществлять совместное использование информации, в то время как они разговаривают во время вызова. Традиционные смартфоны могут реализовать асинхронное совместное использование, при котором человек отправляет фотоизображения, видеоизображения или документы посредством электронной почты, службы обмена текстовыми сообщениями, сообщений для социальной сети или облачной системы хранения данных, и т.п. В то время как такое асинхронное совместное использование может удовлетворительно выполняться во многих приложениях и обеспечивает возможность совместного использования контента, восприятие его пользователями может все же быть до некоторой степени разобщенным и разрозненным.

[0002] Этот раздел “Уровень техники” приведен для ознакомления с кратким контекстом для нижеследующих разделов “Сущность изобретения” и “Подробное описания”. Этот раздел “Уровень техники” не предназначен для того, чтобы быть средством для определения объема заявляемого изобретения, а также не должен рассматриваться в качестве ограничения заявленного изобретения реализациями, которые устраняют любые или все недостатки или проблемы, представленные выше.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0003] Компонент совместного использования в реальном времени, действующий на вычислительном устройстве, таком как смартфон, планшет, или персональный компьютер (PC) выполнен с возможностью обеспечения локальной стороне, инициирующей совместное использование, возможности совместного использования контента с удаленной стороной во время телефонного вызова. Компонент совместного использования в реальном времени демонстрирует инструменты, средства управления, и функции, которые обеспечивают для совместно используемого контента возможность рекомендованного его восприятия, при котором контент, доступный стороне, инициирующей совместное использование, может выбираться и совместно использоваться с удаленной стороной, с использованием речевого комментария, при управлении темпом совместного использования, сохранении конфиденциальности (таким образом, чтобы только целевой совместно используемый контент мог быть виден удаленной стороне, но не другой контент), и управлении тем, как и когда совместно используемый контент может быть сохранен удаленной стороной, и обеспечении возможности масштабирования и панорамирования и выделения графикой и/или аннотирования текстом совместно используемого контента.

[0004] В различных иллюстративных примерах, совместно используемый контент может включать в себя разные типы контента, который хранится на устройстве стороны, инициирующей совместное использование (и/или доступен ему из удаленных запоминающих устройств), например, фотоизображения, документы, файлы, видео данные, звуковые данные, приложения, информация о контактах и местоположении, и т.п. Совместно используемый контент может также включать в себя контент, захватываемый в реальном времени, такой как фотоизображения, видео данные, звуковые данные, и т.д. В случаях, когда устройство удаленной стороны не сконфигурировано с компонентом совместного использования в реальном времени, внешняя веб-услуга может быть использована для обеспечения рекомендованного восприятия совместного использования на удаленном устройстве посредством традиционного веб-браузера без необходимости установки клиентского приложения.

[0005] Предпочтительно, посредством обеспечения рекомендованного восприятия совместного использования для удаленной стороны, при котором представление контента кажется связным, организованным и профессиональным, с плавными переходами между элементами совместно используемого контента, компонент совместного использования в реальном времени представляет сторону, инициирующую совместное использование, в положительном свете и обеспечивает простоту совместного использования в рамках взаимодействия при телефонном вызове, без необходимости запуска множественных приложений и переключения между ними.

[0006] Это краткое изложение сущности изобретения приведено для ознакомления в упрощенной форме с подборкой идей, которые дополнительно описаны ниже в Подробном описании. Данное краткое изложение сущности изобретения не предназначено для идентификации ключевых признаков или существенных признаков заявленного изобретения, а также не предназначено для использования в качестве средства для определения объема заявленного изобретения. Кроме того, заявленное изобретение не ограничено реализациями, которые устраняют любые или все недостатки, отмеченные в любой части этого раскрытия сущности настоящего изобретения. Следует понимать, что описанное выше изобретение может быть реализовано в виде управляемого компьютером устройства, компьютерного процесса, вычислительной системы, или изделия, такого как один или несколько машиночитаемых запоминающих носителей. Эти и различные другие признаки станут понятными после прочтения нижеследующего Подробного описания и рассмотрения соответствующих чертежей.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0007] Фиг. 1 показывает иллюстративную среду, в которой устройства, имеющие коммуникационные возможности, взаимодействуют через сеть;

[0008] Фиг. 2 показывает иллюстративные средства связи между устройствами;

[0009] Фиг. 3 показывает иллюстративное совместное использование среди множественных пользователей устройств;

[0010] Фиг. 4 показывает иллюстративную многоуровневую архитектуру, которая включает в себя уровень приложений, уровень операционной системы (operating system - OS), и уровень аппаратных средств;

[0011] Фиг. 5 показывает иллюстративную таксономию совместно используемого контента;

[0012] Фиг. 6, 7 и 8 показывают иллюстративные интерфейсы между пользователем и компонентом совместного использования в реальном времени;

[0013] Фиг. 9 показывает иллюстративные входные данные для компонента совместного использования в реальном времени и иллюстративную таксономию признаков и функций, которые могут быть поддержаны компонентом совместного использования в реальном времени;

[0014] Фиг. 10 показывает иллюстративную схему, по которой компонент совместного использования в реальном времени взаимодействует с цифровым секретарем, который может быть реализован на устройстве;

[0015] Фиг. 11-30 показывают захваты изображений экрана иллюстративных пользовательских интерфейсов (user interface - UI), отображаемых на устройстве, в различные моменты времени в сеансе совместного использования во время телефонного вызова;

[0016] Фиг. 31 показывает иллюстративное взаимодействие между компонентами совместного использования в реальном времени, которые реализованы на соответствующих устройствах;

[0017] Фиг. 32 показывает иллюстративные взаимодействия между компонентом совместного использования в реальном времени на одном устройстве, удаленным поставщиком услуг, и клиентскими компонентами на другом устройстве;

[0018] Фиг. 33 показывает захват изображения экрана иллюстративного UI, демонстрируемого устройством, которое обеспечивает ссылку (канал связи) на совместно используемый контент;

[0019] Фиг. 34 и 35 показывают иллюстративные способы, которые могут быть выполнены при реализации настоящего совместного использования в реальном времени во время телефонного вызова;

[0020] Фиг. 36 является упрощенной блок-схемой иллюстративной вычислительной системы, такой как персональный компьютер (PC), которая может быть использована для реализации настоящего совместного использования в реальном времени во время телефонного вызова;

[0021] Фиг. 37 показывает блок-схему иллюстративного устройства, которое может быть использовано, отчасти, для реализации настоящего совместного использования в реальном времени во время телефонного вызова;

[0022] Фиг. 38 является блок-схемой иллюстративного мобильного устройства; и

[0023] Фиг. 39 является блок-схемой иллюстративной консоли мультимедиа.

[0024] Подобные ссылочные позиции указывают на подобные элементы в чертежах. Элементы приведены не в масштабе, если не указано иное. Следует подчеркнуть, что конкретные UI, отображаемые в чертежах, могут изменяться в отношении того, что на них показано, согласно потребностям конкретной реализации. В то время как UI показаны на чертежах в книжном режиме, настоящая схема может быть также реализована с использованием альбомного режима.

ПОДРОБНОЕ ОПИСАНИЕ

[0025] При традиционном асинхронном совместном использовании во время телефонного разговора, использование смартфона, персонального компьютера (PC) или другой вычислительной платформы может быть часто иметь разобщенное и разрозненное восприятие как для стороны, инициирующей совместное использование, так и для удаленной стороны, которая принимает совместно используемый контент. Удаленная сторона может просматривать совместно используемый контент, например, слайд-шоу фотоизображений, в темпе, отличном от темпа отправляющей стороны, когда они обсуждают контент. Отправляющая сторона является также обычно неспособной вызывать конкретные области контента, подлежащие выделению, или на которые необходимо обратить внимание удаленной стороны. Может возникать путаница, и отправляющая сторона постоянно должна проверять и подтверждать то, что удаленная сторона просматривает в конкретные моменты времени во время телефонного вызова. Эта проблема может особенно обостриться, если существуют множественные элементы совместно используемого контента, которыми необходимо управлять. Сторона, инициирующая совместное использование, может также потерять управление контентом, если он является доступным для сохранения на устройстве удаленной стороны.

[0026] Настоящее совместное использование в реальном времени во время телефонного вызова обеспечивает такое пользовательское восприятия во время телефонного вызова, который отражает восприятие, соответствующее тому, когда совместное использование выполняется в одном и том же физическом местоположении - инициирующая совместное использование сторона может управлять темпом представления совместно используемого контента, выделять конкретные области в контенте и управлять конфиденциальностью, поскольку компонент совместного использования в реальном времени защищает контент, который не предназначен для совместного использования, от просмотра удаленной стороной и обеспечивает пользовательское управление в отношении того, может ли быть совместно используемый контент сохранен удаленной стороной.

[0027] Обращаясь теперь к чертежам, фиг. 1 показывает иллюстративную среду 100 средств связи, в которой различные пользователи 105 используют соответствующие устройства 110, которые обмениваются данными через сеть 115 связи. Устройства 110 обеспечивают различные коммуникационные возможности, такие как осуществление речевых вызовов и видеовызовов и обмен речевыми сообщениями, и обычно поддерживают потребляющие информацию приложения, такие как приложения, потребляющие интернет-информацию и мультимедиа (например, музыку, видеоизображения, и т.д.), дополнительно к различным другим признакам. Устройства 110 могут включать в себя, например, оборудование пользователя, мобильные телефоны, сотовые телефоны, традиционные мобильные телефоны, планшетные компьютеры, и смартфоны, которые пользователи часто используют для передачи и приема речевых и/или мультимедийных вызовов (например, видеовызовов), участия в обмене сообщениями (например, текстовыми сообщениями), использования приложений и осуществления доступа к услугам, которые используют данные, просмотра Всемирной паутины, и т.п. Однако, альтернативные типы электронных устройств, как предполагается, также могут использоваться в пределах среды 100 средств связи, если они сконфигурированы с коммуникационными возможностями и могут подключаться к сети 115 связи. Такие альтернативные устройства различным образом включают в себя портативные вычислительные устройства, персональные цифровые секретари (personal digital assistant - PDA), портативные устройства воспроизведения мультимедиа, устройства-фаблеты (т.е., комбинированные устройства смартфон/планшет), носимые компьютеры, навигационные устройства, такие как системы Глобальной навигационной системы (Global Positioning System - GPS), компактные персональные компьютеры (PC), настольные компьютеры, консоли мультимедиа, игровые системы, сетевые и/или дистанционно управляемые камеры (например, комнатные и домашние камеры наблюдения, носимые на теле камеры, веб-камеры, внешние камеры, используемые с PC, планшетами, и другими вычислительными устройствами, дистанционные камеры в транспортных средствах, и т.д.), и т.п. В нижеследующем обсуждении, использование термина «устройство», как предполагается, охватывает все устройства, которые сконфигурированы с коммуникационными возможностями и могут подключаться к сети 115 связи.

[0028] Различные устройства 110 в среде 100 могут поддерживать разные признаки, функциональности, и возможности (называемые здесь, в общем, «признаками»). Некоторые из признаков, поддерживаемых на данном устройстве, могут быть подобными признакам, поддерживаемым на других устройствах, в то время как другие признаки могут быть уникальными для данного устройства. Степень перекрытия и/или различия между признаками, поддерживаемыми на различных устройствах 110, может зависеть от реализации. Например, некоторые устройства 110 могут поддерживать сенсорные средства управления, распознавание жестов, и речевые команды, в то время как другие устройства могут обеспечивать более ограниченный UI. Некоторые устройства могут поддерживать использование видеоизображений и просмотр интернет-информации, в то время как другие устройства могут поддерживать более ограниченную обработку мультимедиа и более ограниченный набор признаков сетевого интерфейса.

[0029] Как показано, устройства 110 могут осуществлять доступ к сети 115 связи для реализации различных вариантов пользовательского восприятия. Сеть связи может включать в себя любой из множества типов сетей и сетевую инфраструктуру в различных комбинациях или субкомбинациях, в том числе, сотовые сети, спутниковые сети, сети IP (интернет-протокола), такие как сети Wi-Fi и Ethernet, телефонную сеть общего пользования (public switched telephone network - PSTN), и/или сети ближнего действия, такие как сети Bluetooth. Сетевая инфраструктура может поддерживаться, например, операторами мобильной связи, предприятиями, поставщиками интернет-услуг (Internet service provider - ISP), поставщиками услуг телефонной связи, поставщиками информационных услуг, и т.п. Сеть 115 связи обычно включает в себя интерфейсы, которые поддерживают соединение с интернетом 120, таким образом, чтобы мобильные устройства 110 могли осуществлять доступ к контенту, обеспечиваемому одним или несколькими поставщиками 125 контента, и осуществлять доступ к поставщику 130 услуг в некоторых случаях.

[0030] Устройства 110 и сеть 115 связи могут быть выполнены с возможностью обеспечения возможности связи устройства-с-устройством. Как показано на фиг. 2, такая связь 200 устройства-с-устройством может включать в себя, например, речевые вызовы 205, диалоги 210 путем обмена сообщениями, и видеовызовы 215. Поддержка для связи 200 устройства-с-устройством может быть обеспечена с использованием различных приложений, которые выполняются на устройстве 110.

[0031] Связь 200 может быть использована для поддержки настоящего совместного использования в реальном времени во время телефонного вызова. Совместное использование может быть реализовано между локальной стороной 105₁, инициирующей совместное использование, и единственной удаленной стороной 105_N, или между локальной стороной, инициирующей совместное использование, и множественными удаленными сторонами в сценарии циркулярного вызова, показанного на фиг. 3. В некоторых случаях, одна или несколько удаленных сторон могут также реализовывать обратное совместное использование с локальной и/или с другой стороной. Совместное использование может быть также реализовано с использованием более одного сетевого соединения. Например, звуковые данные, связанные с телефонным вызовом и сеансом совместного использования, могут переноситься, частично, через PSTN или сеть оператора мобильной связи, в то время как совместно используемый контент, такой как изображения, видеоизображения, и т.д., может переноситься через Wi-Fi или другую сеть.

[0032] Настоящее совместное использование в реальном времени во время телефонного вызова может быть реализовано с использованием компонентов, которые реализованы на данном устройстве. Дополнительно, как обсуждается ниже, совместное использование в реальном времени может быть также реализовано, целиком или частично, с использованием веб-услуги, поддерживаемой удаленным поставщиком услуг (например, поставщиком 130 услуг на фиг. 1). Фиг. 4 показывает иллюстративную многоуровневую архитектуру 400, которая поддерживает приложения связи и другие компоненты. Архитектура 400 обычно реализована в программных средствах, хотя комбинации программных средств, аппаратно-программных средств, и/или аппаратных средств могут быть также использованы в некоторых случаях. Архитектура 400 упорядочена по уровням и включает в себя уровень 405 приложений, уровень 410 операционной системы (OS), и уровень 415 аппаратных средств. Уровень 415 аппаратных средств обеспечивает абстракцию различных аппаратных средств, используемых устройством 110 (например, устройств ввода и вывода данных, сетевых и радиотехнических аппаратных средств, и т.д.) для уровней выше него. В этом иллюстративном примере, уровень аппаратных средств поддерживает микрофон 420 и конечную точку 425 звуковых данных, которая может включать в себя, например, проводные или беспроводные головные телефоны/ наушники, внешний громкоговоритель/устройство, и т.п., и спикерфон 428 устройства.

[0033] Уровень 405 приложений, в этом иллюстративном примере, поддерживает различные приложения 430 (например, веб-браузер, картографическое приложение, приложение электронной почты, и т.д.), а также телефонное приложение 435, приложение 440 обмена сообщениями, и приложение 445 видеовызовов, такое как Skype™. Приложения часто реализованы с использованием локально исполняемого кода. Однако, в некоторых случаях, эти приложения могут основываться на услугах и/или удаленном исполнении кода, обеспечиваемых удаленными серверами или другими вычислительными платформами, такими как платформы, поддерживаемые поставщиком 130 услуг или другими ресурсами на основе облачных вычислений, указанных линией 460. В то время как приложения 430, 435, 440, и 445 показаны здесь в виде компонентов, которые реализованы на уровне 405 приложений, следует понимать, что функциональность, обеспечиваемая данным приложением, может быть реализована, целиком или частично, с использованием компонентов, которые поддерживаются либо на уровне OS, либо на уровне аппаратных средств.

[0034] Уровень 410 OS поддерживает компонент 450 совместного использования в реальном времени и различные другие компоненты 455 OS. В некоторых случаях, компонент 450 совместного использования в реальном времени может взаимодействовать с поставщиком услуг. А именно, компонент 450 совместного использования в реальном времени, в некоторых реализациях, может частично использовать или полностью использовать удаленное исполнение кода, поддерживаемое поставщиком 130 услуг, или использовать другие удаленные ресурсы. Дополнительно, он может использовать и/или взаимодействовать с другими компонентами 455 OS (и/или с другими компонентами, которые реализованы на других уровнях архитектуры 400), как может быть необходимо для реализации различных признаков и функций, описанных здесь. Компонент 450 совместного использования в реальном времени может быть, альтернативно, реализован с использованием элементов, которые реализованы как на уровне OS, так и на уровне приложений, или сконфигурирован в виде приложения, как показано на фиг. 4 с использованием пунктирных овалов. Следует также понимать, что функциональность, обеспечиваемая компонентом 450 совместного использования в реальном времени, может быть реализована, целиком или частично, с использованием компонентов, которые поддерживаются либо на уровне приложений, либо на уровне аппаратных средств.

[0035] Различные типы контента могут совместно использоваться с использованием настоящего совместного использования в реальном времени. Фиг. 5 показывает иллюстративную таксономию совместно используемого контента 500. Следует отметить, что совместно используемый контент может храниться локально на устройстве, или может храниться удаленно от устройства, но все же может быть доступным для устройства. Например, совместно используемый контент может храниться в облачном запоминающем устройстве, может быть доступным через сеть, такую как локальная сеть, может быть доступным с использованием соединения с другим устройством, и т.п.

[0036] Как показано на фиг. 5, совместно используемый контент 500 может включать в себя как ранее существовавший/ ранее захваченный контент 505 (например, доступный для приобретения контент и/или контент, генерируемый пользователем (user-generated content - UGC), и т.д.), так и контент 510, связанный с реальными событиями (например, концертами, лекциями, спортивными событиями, звуковыми комментариями/диктофонными записями, видеожурналами, и т.д.). Совместно используемый контент, показанный на фиг. 5, является иллюстративным, и не предполагается, что он является исчерпывающим. Типы используемого контента могут изменяться согласно потребностям конкретной реализации.

[0037] Иллюстративные примеры ранее существовавшего совместно используемого контента включают в себя изображения 515, звуковые данные 520, видеоизображения 525, мультимедиа 530, файлы 535, приложения 540, и другой совместно используемый контент 545, такой как информация о контактах и/или местоположении стороны, инициирующей совместное использование.

[0038] Пользователь может, обычно, взаимодействовать с компонентом 450 (фиг. 4) совместного использования в реальном времени некоторым количеством способов, в зависимости от признаков и функциональностей, поддерживаемых данным устройством 110. Например, как показано на фиг. 6, компонент 450 совместного использования в реальном времени может демонстрировать материальный пользовательский интерфейс 605, который обеспечивает пользователю 105 возможность использования физических взаимодействий 610 для поддержки совместного использования в реальном времени вариантов пользовательского восприятия на устройстве 110. Такие физические взаимодействия могут включать в себя управление физическими и/или виртуальными средствами управления, такими как кнопки, меню, клавиатуры, и т.д., с использованием основанных на касаниях вводов данных, таких как постукивание, перелистывание, перетаскивание, и т.д., на сенсорном экране, и т.п. В некоторых реализациях, компонент совместного использования в реальном времени может иметь естественно-языковой пользовательский интерфейс 705, показанный на фиг. 7, или, альтернативно, пользовательский интерфейс на основе речевых команд (не показан), с помощью которого пользователь использует речь 710 для обеспечения различных входных данных для устройства 110. В других реализациях, компонент 450 совместного использования в реальном времени может демонстрировать жестовый пользовательский интерфейс 805, показанный на фиг. 8, с помощью которого пользователь 105 использует жесты 810 для обеспечения входных данных для устройства 110. Следует отметить, что в некоторых случаях, комбинации пользовательских интерфейсов могут быть использованы там, где пользователь может использовать, например, как речевой ввод данных, так и физический ввод данных, для взаимодействия с компонентом 450 совместного использования в реальном времени и устройством 110. Жесты пользователя могут быть восприняты с использованием различных технологий, таких как оптическое восприятие, восприятие касаний, восприятие близости, и т.п.

[0039] Фиг. 9 показывает иллюстративную таксономию функций 900, которые могут обычно поддерживаться компонентом 450 совместного использования в реальном времени. Входные данные для компонента 450 совместного использования в реальном времени обычно могут включать в себя входные данные 905 пользователя (причем такие входные данные пользователя могут включать в себя входные данные либо от локальной стороны, либо от удаленной стороны, или как от локальной стороны, так и от удаленной стороны, для данного сеанса совместного использования, в некоторых случаях), данные 910 из внутренних источников, и данные 915 из внешних источников. Например, данные 910 из внутренних источников могут включать в себя текущие данные геолокации устройства 110, которые сообщаются компонентом Глобальной навигационной системы (Global Positioning System - GPS) на устройстве, или некоторым другим знающим местоположение компонентом. Данные 915 из внешних источников включают в себя данные, обеспечиваемые, например, внешними системами, базами данных, услугами, и т.п., такими как поставщик 130 услуг (фиг. 1). Различные входные данные могут быть использованы сами по себе или в различных комбинациях для обеспечения компоненту 450 совместного использования в реальном времени возможности использования контекстуальных данных 920, когда он функционирует. Контекстуальные данные могут включать в себя, например, время/дату, местоположение пользователя, язык, план, приложения, установленные на устройстве, установки пользователя, варианты поведения пользователя (причем такие варианты поведения контролируются/ отслеживаются с примечанием для пользователя и с согласия пользователя), хранящиеся контакты (включающие в себя, в некоторых случаях, ссылки на социальный граф локального пользователя или удаленного пользователя, такие как ссылки, поддерживаемые внешними услугами социальных сетей), историю вызовов, историю обмена сообщениями, историю просмотров интернет-информации, тип устройства, возможности устройства, тип сети связи и/или признаки/функциональности, обеспеченные в этом отношении, ограничения/условия плана передачи данных мобильной связи, данные, связанные с другими сторонами, для установления связи (например, их планы, установки, и т.д.), и т.п. Дополнительные иллюстративные примеры использования контекста компонентом совместного использования в реальном времени обеспечены ниже.

[0040] Как показано, функции 900 иллюстративно включают в себя реализацию режима совместного использования в реальном времени, который поддерживает рекомендованное пользовательское восприятие с комментарием (как указано ссылочной позицией 925). Такой рекомендованное пользовательское восприятие может быть реализовано с единственной удаленной стороной и/или множественными удаленными сторонами, и совместное использование может выполняться в обоих направлениях, в некоторых случаях (как показано на фиг. 3 и описано в сопутствующем описании). Функции 900 могут также включать в себя отображение различных UI для обеспечения возможности выбора конкретных элементов для совместного использования (930); поддержку конфиденциальности стороны, инициирующей совместное использование, посредством отделения подготовки совместного использования от представления совместного использования и управления тем, как совместно используемый контент сохраняется удаленной стороной (935); обеспечение инструментов для пользовательского управления темпом и представлением совместного использования (940), причем такое управление может быть выборочно передано удаленной стороне, как описано ниже; обеспечение инструментов для выделения, комментирования, масштабирования, панорамирования, аннотирования, обеспечения рекомендаций, анимирования, окрашивания, затенения, добавления ссылок на дополнительный контент или варианты восприятия, либо наложение эскизов на видеоизображение (945); и обеспечение и поддержку других признаков и функциональностей (950). Предполагается, что список функций 900 не является исчерпывающим, и другие функции могут быть обеспечены компонентом совместного использования в реальном времени, как может быть необходимо для конкретной реализации настоящего совместного использования в реальном времени во время телефонного вызова.

[0041] В некоторых реализациях, компонент 450 совместного использования в реальном времени может быть выполнен с возможностью взаимодействия с персональным цифровым секретарем, который функционирует на устройстве 110. Как показано на фиг. 10, персональный цифровой секретарь 1010 может демонстрировать множество функций 1000, которые иллюстративно включают в себя взаимодействие с пользователем 1015 (посредством естественно-языкового пользовательского интерфейса и/или других пользовательских интерфейсов, например); выполнение задач 1020 (например, создание примечаний о встречах в календаре пользователя, отправка сообщений и электронных писем, и т.д.); обеспечение услуг 1025 (например, обеспечение ответов на вопросы пользователя, отображение на карте направлений, ведущих к месту назначения, и т.д.); сбор информации 1030 (например, нахождение информации о книге или фильме, запрашиваемой пользователем, определение местоположения ближайшего ресторана итальянской кухни, и т.д.); управление устройством 1035 (например, установка параметров, настройка яркости экрана, включение и выключение беспроводных соединений, таких как Wi-Fi и Bluetooth, и т.д.); и выполнение различных других функций 1040. Предполагается, что список функций 1000 не является исчерпывающим, и другие функции могут быть обеспечены цифровым секретарем, как может быть необходимо для конкретной реализации настоящего совместного использования в реальном времени во время телефонного вызова.

[0042] Подобно схеме, показанной на фиг. 9, входные данные цифрового секретаря 1010 могут включать в себя входные данные 905 пользователя, данные из внутренних источников 910, данные из внешних источников 915, и контекстуальные данные 920.

[0043] Фиг. 11-30 показывают захваты изображений экрана иллюстративных пользовательских интерфейсов (user interface - UI) совместного использования в реальном времени, отображаемых на устройстве в различные моменты времени в сеансе совместного использования во время телефонного вызова. Фиг. 11 показывает UI 1100, который может демонстрироваться приложением 435 телефона с речевыми вызовами (фиг. 4), когда локальной стороной, инициирующей совместное использование, инициируется телефонный вызов удаленной стороны. В этом конкретном примере, вызов и совместное использование реализуются с единственной удаленной стороной. Однако следует понимать, что этот пример является иллюстративным, и что множество сторон (т.е., конференц-связь) может быть также реализовано с использованием настоящего совместного использования в реальном времени. Следует отметить, что все UI, показанные на чертежах, как предполагается, являются иллюстративными, и что представление информации, демонстрируемые признаки и средства управления, и общий вид и функции UI могут изменяться относительно того, что показано, в соответствии с реализацией. Как показано на фиг. 11, UI 1100 показывает изображение и имя вызываемой стороны (т.е., удаленной стороны, именуемой здесь «Дон Рейд»), набираемый номер, и различные средства 1105 управления вызовом внизу UI.

[0044] Когда пользователь (т.е., локальная сторона, инициирующая совместное использование) выбирает кнопку 1110 совместного использования, которая демонстрируется на UI телефонного приложения, причем здесь используется касание 1115 сенсорного экрана или другое взаимодействие, отображается UI 1200 совместного использования, как показано на фиг. 12, таким образом, чтобы пользователь мог инициировать сеанс совместного использования в реальном времени с удаленной стороной. Компонент 450 совместного использования в реальном времени (фиг. 4), обычно, автоматически переключает устройство на функционирование в режиме спикерфона, таким образом, чтобы пользователь мог продолжить разговор с удаленной стороной при взаимодействии с UI совместного использования в реальном времени.

[0045] UI 1200 обеспечивает некоторое количество опций 1205 совместного использования, которые могут быть инициированы пользователем посредством касания. В этом примере, пользователь использует касание 1215 для выбора опции 1220 изображений и видеоизображений среди различных опций для совместного использования различных других типов контента. Действие выбора пользователя отображается UI 1300 на фиг. 13, который обеспечивает вертикально прокручиваемое окно 1305 альбомов контента, которые являются доступными для совместного использования с удаленной стороной, и пользователь выбрал альбом контента 1310, именуемого «Лука на футболе», с использованием касания 1315. В альтернативной реализации, пользователь может инициировать персональный цифровой секретарь 1010 (фиг. 10) или подобную утилиту, доступную для локального устройства, для выбора контента для совместного использования. Таким образом, с использованием естественно-языкового интерфейса с персональным цифровым секретарем, пользователь может сказать: «Найди фотоизображения и видеоизображения моей пешеходной экскурсии в прошлые выходные» или «Покажи мне изображения с моим отцом» или «Покажи мне изображения со мной и моей женой, снятые в Мексике в прошлом месяце», и персональный цифровой секретарь 1010 может выполнить синтаксический анализ высказываний для определения местоположения и отображения соответствующего контента.

[0046] Как показано в UI 1400 на фиг. 14, в ответ на пользовательский выбор, альбом открывается в виде вертикально прокручиваемого окна 1405, отображающего миниатюризированные изображения 1410 отдельных элементов совместно используемого контента, включающих в себя как фотоизображения, так и видеоизображения (реальные миниатюризированные изображения не показаны на фиг. 14 для ясности иллюстрации). Пользователь может выбрать один или несколько элементов контента в альбоме для совместного использования, например, посредством касания подходящих соответствующих миниатюризированных изображений 1410. В этом примере, пользователь не выбирает конкретное подмножество контента и использует касание 1415 кнопки 1420 совместного использования для совместного использования всего контента в альбоме. Это действие выводит UI 1500, который демонстрирует подтверждение 1505 в виде текстовой строки, и кнопки 1510 и 1515 для, соответственно, совместного использования контента или отмены. В этом примере, пользователь использует касание 1520 для совместного использования всего контента альбома с удаленной стороной во время телефонного вызова.

[0047] В этот момент, выбранный контент является предварительно подготовленным для представления для удаленного пользователя, но никакой контент не будет совместно использоваться с удаленной стороной до тех пор, пока пользователь не будет готов. Как показано в UI 1600 на фиг. 16, экран 1605 совместного использования на устройстве пользователя является «неактивным» для указания на то, что никакой выбранный контент в данный момент не используется совместно с удаленной стороной. Когда пользователь готов к инициированию рекомендованного восприятия совместного использования, как показано в UI 1700 на фиг. 17, касание 1705 миниатюризированного изображения 1710 контента активирует экран совместного использования, и этот элемент выбранного контента используется совместно с удаленным пользователем.

[0048] Фиг. 18 показывает UI 1800, который отображает текущий совместно используемый контент 1805 в окне 1810 на UI, вместе с текстовой строкой 1815 («Совместное использование»), для указания пользователю на то, что отображаемый контент используется совместно. Компонент 450 совместного использования в реальном времени (фиг. 4) обеспечивает пользователю возможность полного управления темпом совместного использования. В этом примере, UI выполнен с возможностью обеспечения пользователю возможности горизонтальной прокрутки контента, показанного в окне 1810 дисплея, когда пользователь желает представить другой элемент контента в альбоме для удаленного пользователя. Как отмечено выше, пользователь может продолжить обеспечение речевого комментария во время совместного использования. Пользователь может также использовать различные инструменты, описанные в описании, сопутствующем фиг. 9, для повышения качества взаимодействия при совместном использования. Например, пользователь может пожелать использовать инструмент, который обеспечивает возможность именования конкретного сеанса совместного использования, и, затем, использовать другие инструменты для соединения титульного листа с представлением совместно используемого контента. Пользователь может также использовать инструменты для создания анимированных заключительных «титров», которые могут включать в себя, например, имена людей, которые помечены в совместно используемых фотоизображениях, и/или ссылки на другой контент и/или варианты восприятия, которые могут быть контекстуально релевантными совместно используемому контенту.

[0049] Как показано в последовательности захватов экрана UI 1900 на фиг. 19, пользователь 105 может использовать операцию касания и перетаскивания (как показано на вставленном чертеже 1902) для прокрутки до следующего элемента контента 1915 в альбоме (т.е., до элемента 2 из 30 элементов) в активном окне 1910 совместного использования. В этом примере, следующим элементом контента является 56-секундный видеоклип. Видеоклип может быть запущен, когда пользователь нажимает демонстрируемую кнопку 1920 воспроизведения. Как показано в UI 2000 на фиг. 20, средство 2005 управления воспроизведением видеоизображения может демонстрироваться таким образом, чтобы пользователь мог вручную управлять видеоклипом, приостанавливать воспроизведение, возобновлять воспроизведение, и т.д., в виде части рекомендованного сеанса совместного использования в реальном времени с удаленным пользователем во время телефонного вызова.

[0050] Компонент совместного использования в реальном времени может отображать различные признаки управления контентом. Когда пользователь использует касание 2010 аватара или имени удаленной стороны, опции управления контентом обеспечиваются, как иллюстративно показано в UI 2100 на фиг. 21. Здесь, на UI отображается текстовая строка 2105, которая спрашивает, может ли удаленный пользователь сохранить текущий совместно используемый контент на устройстве удаленного пользователя. Кнопки 2110 и 2115 отображаются, соответственно, для разрешения или предотвращения такого сохранения удаленным пользователем. Здесь, пользователь использует касание 2120 для разрешения удаленному пользователю сохранить копию текущего совместно используемого контента (т.е., видеоклипа).

[0051] Другие опции управления контентом могут также демонстрироваться и использоваться в соответствии с потребностями конкретной реализации. Например, совместно используемый контент может быть выполнен с возможностью доступа к нему для загрузки удаленной стороной в течение периода времени с ограниченной длительностью и/или во время заданного пользователем интервала времени. В других реализациях, совместно используемый контент может быть выполнен с возможностью удаленного просмотра после завершения сеанса совместного использования, но только в течение ограниченного периода времени и/или во время заданного пользователем интервала времени. В некоторых случаях, поставщик 130 услуг (фиг. 1) может быть использован в качестве хоста для совместно используемого контента пользователя для обеспечения удаленной стороне доступа к сеансу пост-совместного использования. Поставщик услуг может, тогда, вводить в действие временные ограничения и/или средства управления контентом от имени пользователя, в таких случаях.

[0052] В некоторых случаях, когда пользователь выбрал блокирование сохранения совместно используемого контента удаленной стороной, различные методологии могут быть использованы для предотвращения использования удаленной стороной признаков и/или утилит для захвата экрана в обход такого блокирования. Например, признаки захвата экрана, которые поддерживаются операционной системой устройства, могут быть заблокированы и/или переопределены на удаленном устройстве в некоторых реализациях. В сценариях, в которых приложения третьей стороны могут быть использованы на удаленном устройстве для захватов экрана, отображаемый совместно используемый контент может включать в себя различные обработки, которые, все же, обеспечивают удаленному пользователю возможность видеть контент, но делают захваты экрана менее привлекательными, с использованием, например, непрокручиваемых фоновых изображений и т.п. Совместно используемый контент может быть также обработан, в некоторых реализациях, с использованием одного или нескольких из временного дитеринга, управления скоростью обновления контента, скремблирования, и/или шифрования, для блокирования сохранения совместно используемого контента на удаленном устройстве.

[0053] Фиг. 22 показывает UI 2200, который иллюстрирует другой пример совместного использования в реальном времени. В этом примере, пользователь выбрал альбом, именуемый «Каталог камеры», который содержит 265 элементов контента. С использованием множественных экземпляров касаний сенсорного экрана устройства, пользователь выбрал подмножество 2205 из 10 фотоизображений, которые выделены на UI. Обеспечение возможности такого выбора только подмножества альбома для совместного использования обеспечивает защиту конфиденциальности для пользователя, который может желать зарезервировать некоторый контент для предотвращения его совместного использования, а также может повысить качество рекомендованного пользовательского восприятия посредством обеспечения возможности совместного использования контекстуально подходящего контента. Пользователь использует касание 2210 для совместного использования выбранного контента с удаленной стороной во время телефонного вызова.

[0054] Выбранный контент является предварительно подготовленным для представления удаленному пользователю, как показано в UI 2300 на фиг. 23. Экран 2305 совместного использования опять является неактивным для указания на то, что никакой выбранный контент (т.е., упомянутые 10 фотоизображений) в данный момент не используется совместно с удаленным пользователем. Когда пользователь готов к инициированию рекомендованного пользовательского восприятия совместного использования, касание миниатюризированного изображения контента активирует экран совместного использования, и этот элемент выбранного контента используется совместно с удаленным пользователем. Как отмечено выше, локальный пользователь может осуществлять полное управление темпом и представлением совместного использования. Однако, в некоторых обстоятельствах, пользователь может выборочно передавать управление представлением удаленному пользователю. Например, локальный пользователь может показывать последовательность фотоизображений автомобиля, продаваемого ближайшим дилером, и удаленный пользователь может иметь вопрос или комментарий по конкретному изображению, которое было показано ранее. Локальный пользователь может временно передать управление удаленному пользователю таким образом, чтобы удаленный пользователь мог перейти назад к интересующему изображению в представлении, вместо необходимости вербально описывать локальному пользователю, как следует вернуться к интересующему изображению.

[0055] Фиг. 24 и 25 показывают иллюстративный пример других UI 2400 и 2500, которые могут быть, альтернативно, использованы во время телефонного вызова для обеспечения текущего совместного использования в реальном времени. Здесь, контент в выбранном альбоме отображен в виде ленты 2405 из горизонтально прокручиваемых миниатюризированных изображений. Активное окно 2410 совместного использования сконфигурировано таким образом, чтобы пользователь мог перетаскивать выбранные элементы контента с ленты в окно совместного использования для совместного использования с удаленной стороной. Как показано, пользователь использовал касание 2415 для выбора и перетаскивания видеоклипа в окно 2410 совместного использования. Видеоклип может быть запущен, когда пользователь нажмет демонстрируемую кнопку 2520 воспроизведения, показанную на фиг. 25.

[0056] В некоторых случаях, в окно 2410 совместного использования могут перетаскиваться множественные элементы контента, которые будут, затем, отображены во время сеанса совместного использования в реальном времени в конкретном порядке, в котором они перетаскивались и помещались в окно (например, пользователь может горизонтально прокручивать элементы контента во время сеанса совместного использования в реальном времени, как показано выше на фиг. 19 и описано в сопутствующем описании). Альтернативно, после совместного использования конкретного элемента контента, пользователь может вернуться к UI 2400 для выбора и перетаскивания другого элемента контента в окно 2410 совместного использования для совместного использования в реальном времени. Данный сеанс совместного использования в реальном времени обычно реализуется способом, который поддерживает контекст совместно используемого контента. Например, видеоизображения воспроизводятся со встраиванием в совместно используемый контент, совместно используемый документ для текстового редактора поддерживает вертикальную прокрутку, звуковой контент включает в себя встроенные средства управления громкостью, и т.п. Такой контент может обычно поддерживаться как на локальных, так и на удаленных устройствах для сеанса совместного использования.

[0057] Фиг. 26 показывает иллюстративный UI 2600, в котором различные инструменты 2605 демонстрируются пользователю для добавления выделения и аннотаций или комментариев к элементу совместно используемого контента и управления представлением контента посредством масштабирования с приближением и отдалением и/или панорамирования. Конкретные демонстрируемые инструменты и обеспеченные признаки могут изменяться согласно потребностям конкретной реализации, и не все инструменты должны поддерживаться в каждой реализации. Цвета, затенение, прозрачность, анимация и другие эффекты могут также поддерживаться в некоторых случаях. Инструменты рисования могут быть также выполнены таким образом, чтобы они были «интеллектуальными» инструментами, таким образом, чтобы было реализовано сглаживание линий и рисовались совершенные формы (т.е., окружности, квадраты, и т.д.). Используемая степень сглаживания и совершенства форм может выбираться пользователем, в некоторых реализациях.

[0058] В этом примере, пользователь использовал инструмент-перо для рисования выделяющей окружности вокруг конкретного участка отображаемого фотоизображения и добавил аннотацию (т.е., надпись). Выделение может быть реализовано в реальном времени во время сеанса совместного использования в реальном времени или, альтернативно, пользователь может использовать инструменты во время подготовки представления таким образом, чтобы совместно использовался только обработанный выделенный элемент контента. Как показано на фиг. 27, элемент совместно используемого контента с выделением отображен на UI 2700, который показан на устройстве удаленного пользователя.

[0059] Когда совместно используемым контентом является видеоизображение, набор инструментальных средств выделения может быть расширен таким образом, чтобы он включал в себя дополнительные инструменты, такие как инструмент 2805 наложения эскизов на видеоизображение, показанный в UI 2800 на фиг. 28. Инструмент 2805 наложения эскизов на видеоизображение может демонстрировать множество функциональностей наложения эскизов на видеоизображение, таким образом, чтобы пользователь мог помечать и выделять участки видеоизображения в сеансе совместного использования в реальном времени с использованием линий и форм различных цветов, в то время как видеоизображение приостановлено, например, подобно тому, как это выполняется во время трансляций профессиональных спортивных событий. Средство 2810 управления воспроизведением видеоизображения обеспечивается таким образом, чтобы пользователь мог по желанию воспроизводить видеоизображение, приостанавливать видеоизображение, и управлять им вручную.

[0060] В то время как иллюстративные примеры совместного использования в реальном времени, приведенные выше, описаны в контексте речевого вызова, совместное использование в реальном времени может быть также реализовано в контексте видеовызова. Как показано на фиг. 29 и 30, UI 2900 и 3000, демонстрируемые приложением видеовызовов (например, приложением 445 на фиг. 4), обеспечивают относительно большой холст, на который совместно используемый контент может быть помещен для отображения. На фиг. 29, UI 2900 на устройстве пользователя (т.е., локальная сторона, инициирующая совместное использование) может быть выполнен с возможностью отображения видеоизображения удаленной стороны в большом виде 2905, малого вставленного вида 2910 пользователя, и активного окна 2915 совместного использования, которое показывает совместно используемый контент вместе с инструментами представления и другими UI подготовки представления, при необходимости.

[0061] В некоторых реализациях, окно 2915 совместного использования может быть размещено в конкретном положении на UI 2900 пользователем, и/или может быть увеличено или уменьшено в размере. Например, пользователь может коснуться и перетащить окно 2915 совместного использования в желаемое местоположение и может увеличить и сжать окно с использованием мультисенсорных жестов, таких как сжимание и растягивание.

[0062] На фиг. 30, UI 300 отображен на устройстве удаленной стороны. Подобно UI 2900 на устройстве пользователя, UI 3000 удаленной стороны включает в себя большой вид 3005 другой стороны (т.е., локальной стороны, инициирующей совместное использование), вставленный вид 3010, и окно 3015 совместного использования. В данном документе, окно 3015 совместного использования показывает совместно используемый контент, обеспечиваемый локальной стороной, инициирующей совместное использование, и, следовательно, не демонстрирует никаких UI представления/ подготовки и никакого предварительно подготовленного контента. В некоторых реализациях, окно 3015 совместного использования на устройстве удаленной стороны может позиционироваться пользователем и изменяться в размере на UI.

[0063] В некоторых сценариях совместного использования в реальном времени, каждое из устройств, участвующих в совместном использовании (или с единственными экземплярами для совместного использования, или с множеством экземпляров для совместного использования среди двух или более сторон), может иметь компонент совместного использования в реальном времени, установленный и исполняющийся для поддержки пользовательского восприятия в отношении совместного использования в реальном времени. Это показано на фиг. 31, причем взаимодействие (указанное ссылочной позицией 3105) обычно происходит между отдельными экземплярами компонента 450 совместного использования в реальном времени на каждом из устройств 110 для обеспечения совместного использования 3110.

[0064] В других сценариях совместного использования в реальном времени, одна или несколько сторон, участвующих в совместном использовании, могут не иметь реализованного компонента 450 совместного использования в реальном времени. В таких случаях, совместное использование в реальном времени может быть, все же, реализовано, с использованием полного множества признаков и вариантов пользовательского восприятия, посредством максимального использования возможностей, обеспечиваемых удаленным поставщиком 130 услуг, как показано на фиг. 32. Поставщик 130 услуг может обеспечить веб-услугу 3205 для клиента 3210 веб-услуги, такого как браузер или другое приложение на удаленном устройстве, таким образом, чтобы совместно используемый контент из компонента 450 совместного использования в реальном времени мог быть доставлен поставщиком услуг к клиенту для воспроизведения во время совместного использования 3215.

[0065] Когда локальная сторона, инициирующая совместное использование, инициирует сеанс совместного использования, поставщик 130 услуг может отправить сообщение 3220 к приложению 3225 обмена сообщениями, которое является доступным на удаленном устройстве. Например, сообщение 3220 может быть текстовым сообщением, которое транспортируется с использованием службы передачи коротких сообщений (SMS), которое содержит ссылку на совместное использование и рекомендованное пользовательское восприятие совместного использования в реальном времени, которое обеспечивается веб-услугой 3205.

[0066] Когда сообщение 3220 принимается приложением 3225 обмена сообщениями, последнее может обычно отобразить сообщение в UI, например, UI 3300, показанном на фиг. 33. В этом примере, отправитель сообщения идентифицируется как «Услуга совместного использования», и отображаемое сообщение 3305 включает в себя краткое сообщение, которое обычно идентифицирует локальную сторону, инициирующую совместное использование, посредством имени и включает в себя ссылку 3310, по которой удаленная сторона может перейти для участия в рекомендованном сеансе совместного использования в реальном времени.

[0067] Фиг. 34 показывает блок-схему последовательности операций иллюстративного способа 3400 для реализации совместного использования в реальном времени. Если не указано конкретно, то способы и этапы, показанные в блок-схемах последовательностей операций, представленных ниже, и описанных в сопутствующем описании, не ограничены конкретным порядком или последовательностью. Дополнительно, некоторые из способов или этапов могут осуществляться или выполняться параллельно, и не все способы или этапы должны выполняться в данной реализации, в зависимости от требований такой реализации, и некоторые способы или этапы могут быть использованы по выбору.

[0068] На этапе 3405, демонстрируют UI для локальной стороны, инициирующей совместное использование, для инициирования совместного использования в реальном времени с удаленной стороной. Как отмечено выше, UI может быть встроен в UI, демонстрируемый приложением речевых вызовов или приложением видеовызовов. На этапе 3410, локальной стороне, инициирующей совместное использование, обеспечивают возможность выбора доступного контента для совместного использования. На этапе 3415, подготовку для совместного использования обеспечивают отдельно от активного окна, таким образом, чтобы поддерживалась конфиденциальность локальной стороны, инициирующей совместное использование. А именно, удаленная сторона видит только совместно используемый контент, который помещен в активное окно совместного использования, а не любые из видов деятельности локальной стороны, инициирующей совместное использование, которые происходят «за кулисами». Например, предварительно подготовленный контент не показывают, а также не показывают никакие инструменты, демонстрируемые приложением совместного использования в реальном времени для управления, подготовки, оформления, или модификации совместно используемого контента и его представления.

[0069] На этапе 3420, локальной стороне, инициирующей совместное использование, обеспечивают возможность перемещения контента из области подготовки в область совместного использования, для управления темпом представления совместно используемого контента. Такое перемещение может быть выполнено множеством способов, описанных выше, в том числе, с помощью горизонтальной прокрутки элементов контента в активном окне совместного использования, перемещения элементов с ленты в активное окно совместного использования, и т.д.

[0070] На этапе 3425, обеспечивают инструменты для выделения совместно используемого контента. Выделение может обычно выполняться перед совместным использованием контента, при предварительной подготовке, или выделение может выполняться на контенте при фактическом совместном использовании, таким образом, чтобы удаленная сторона могла видеть выделение, добавляемое в реальном времени, когда оно происходит. Выделение может быть реализовано с использованием одного или нескольких из линий, графических форм, графических объектов, текста, цветов, прозрачности, затенения или анимации, и/или их комбинаций. На этапе 3430, принимают речевые входные данные от локальной стороны, инициирующей совместное использование, которые образуют комментарий, который сопровождает представление совместно используемого контента. На этапе 3435, обеспечивают возможность изменения положения и изменения размера окна совместного использования на UI. На этапе 3440, обеспечивают возможность управления совместно используемым контентом после завершения телефонного вызова. Такая схема управления контентом может называться «оставлением» или «забыванием», при этом компонент совместного использования в реальном времени обеспечивает локальной стороне, инициирующей совместное использование, опции для управления тем, может ли совместно используемый контент быть сохранен удаленной стороной, может ли быть осуществлен доступ к совместно используемому контенту после вызова, может ли быть просмотрен совместно используемый контент в виде потока без сохранения, и т.д. Иллюстративное «оставление» может включать в себя, например, видеофайл сеанса совместного использования, включающий в себя совместно используемый контент и комментарий, обеспеченный во время телефонного вызова.

[0071] На этапе 3445, обеспечивают возможность приостановки, временной остановки, и, затем, повторного запуска данного сеанса совместного использования. Например, совместное использование может быть приостановлено во время телефонного вызова и затем возобновлено позже в том же самом вызове. Альтернативно, совместное использование может быть совсем остановлено, и, затем, продолжено снова (например, от начала или с того места, где совместное использование прекратилось) в отдельном вызове позже. Данные сеанса совместного использования могут сохраняться в обоих случаях, для обеспечения пользователю возможности легкого перезапуска пользовательского восприятия совместного использования. В некоторых случаях, такие данные сеанса совместного использования могут быть также использованы таким образом, чтобы пользователь мог передавать то же самое представление другим удаленным пользователям в другие моменты времени в других вызовах.

[0072] Фиг. 35 показывает блок-схему последовательности операций иллюстративного способа 3500 обеспечения совместного использования в реальном времени с использованием веб-услуги, поддерживаемой поставщиком услуг (например, поставщиком 130 услуг на фиг. 1). На этапе 3505, принимают совместно используемый контент от компонента совместного использования в реальном времени, который функционирует на локальном устройстве. В некоторых случаях, совместно используемый контент не принимают, а инициирование сеанса совместного использования в реальном времени иным образом указывают для поставщика услуг. В ответ на этап 3510, поставщик услуг отправляет через сеть сообщение к удаленному устройству, которое включает в себя ссылку, по которой можно перейти для обращения к восприятию совместного использования в реальном времени. Например, сообщение может быть текстовым сообщением, которое отправляется через SMS.

[0073] На этапе 3515, когда удаленная сторона переходит по ссылке, обеспечивают веб-услугу для клиента, который выполняется на удаленном устройстве. Веб-услуга может затем воспроизвести восприятие совместного использования в реальном времени в клиенте веб-услуги, таком как браузер или другое приложение. На этапе 3520, принимают входные данные для управления темпом представления совместно используемого контента. Веб-услуга будет представлять совместно используемый контент в ответ на входные данные, на этапе 3525.

[0074] Фиг. 36 является упрощенной блок-схемой иллюстративной вычислительной системы 3600, такой как PC, клиентская машина, или сервер, с использованием которой может быть реализовано настоящее совместное использование в реальном времени во время телефонного вызова. Вычислительная система 3600 включает в себя процессор 3605, системную память 3611, и системную шину 3614, которая соединяет различные системные компоненты, в том числе, системную память 3611 с процессором 3605. Системная шина 3614 может относиться к любому из нескольких типов шинных структур, включающих в себя шину памяти или контроллер памяти, периферийную шину, или локальную шину, с использованием любой из множества шинных архитектур. Системная память 3611 включает в себя постоянное запоминающее устройство (read only memory - ROM) 3617 и память с произвольным доступом (random access memory - RAM) 3621. Базовая система 3625 ввода-вывода (basic input/output system - BIOS), содержащая основные программы, которые помогают передавать информацию между элементами в пределах вычислительной системы 3600, например, во время загрузки, хранится в ROM 3617. Вычислительная система 3600 может дополнительно включать в себя накопитель 3628 на жестких дисках, для считывания данных с расположенного внутри жесткого диска (не показан) и записи данных на него, магнитный дисковый накопитель 3630, для считывания данных со съемного магнитного диска 3633 (например, гибкого диска) и записи данных на него, и оптический дисковый накопитель 3638, для считывания данных со съемного оптического диска 3643, такого как компакт-диск (compact disc - CD), или записи данных на него, универсальный цифровой диск (digital versatile disc - DVD), или другие оптические носители. Накопитель 3628 на жестких дисках, магнитный дисковый накопитель 3630, и оптический дисковый накопитель 3638 соединены с системной шиной 3614 интерфейсом 3646 накопителя на жестких дисках, интерфейсом 3649 магнитного дискового накопителя, и интерфейсом 3652 оптического накопителя, соответственно. Накопители и их соответствующие машиночитаемые запоминающие носители обеспечивают энергонезависимое хранение машиночитаемых команд, структур данных, программных модулей, и других данных для вычислительной системы 3600. Хотя этот иллюстративный пример включает в себя жесткий диск, съемный магнитный диск 3633, и съемный оптический диск 3643, в некоторых применениях настоящего совместного использования в реальном времени во время телефонного вызова могут быть также использованы другие типы машиночитаемых запоминающих носителей, которые могут хранить данные, которые являются доступными для компьютера, такие как магнитные кассеты, карты флэш-памяти, цифровые видеодиски, кассеты данных, устройства памяти с произвольным доступом (RAM), постоянные запоминающие устройства (ROM), и т.п. Дополнительно, при использовании здесь, термин машиночитаемые запоминающие носители включает в себя один или несколько экземпляров носителя некоторого типа (например, один или несколько магнитных дисков, один или несколько CD, и т.д.). В целях этого описания изобретения и формулы изобретения, фраза «машиночитаемые запоминающие носители» и ее варианты не включают в себя волны, сигналы, и/или другие переходные и/или нематериальные среды передачи данных.

[0075] Некоторое количество программных модулей может храниться на жестком диске, магнитном диске 3633, оптическом диске 3643, ROM 3617, или RAM 3621, в том числе, операционная система 3655, одна или несколько прикладных программ 3657, другие программные модули 3660, и программные данные 3663. Пользователь может вводить команды и информацию в вычислительную систему 3600 посредством устройств ввода данных, таких как клавиатура 3666 и указывающее устройство 3668, такое как мышь. Другие устройства ввода данных (не показаны) могут включать в себя микрофон, джойстик, игровую панель, антенну спутниковой связи, сканер, шаровый манипулятор, сенсорную панель, сенсорный экран, сенсорное устройство, модуль или устройство речевых команд, устройство захвата движений пользователя или жестов пользователя, и т.п. Эти и другие устройства ввода данных часто соединены с процессором 3605 посредством интерфейса 3671 последовательного порта, который соединен с системной шиной 3614, но могут быть соединены посредством других интерфейсов, таких как параллельный порт, игровой порт, или универсальная последовательная шина (universal serial bus - USB). Монитор 3673 или устройство отображения другого типа также соединен с системной шиной 3614 через интерфейс, такой как видеоадаптер 3675. Дополнительно к монитору 3673, персональные компьютеры обычно включают в себя другие периферийные устройства вывода данных (не показаны), такие как громкоговорители и принтеры. Иллюстративный пример, показанный на фиг. 36, также включает в себя хост-адаптер 3678, шину 3683 интерфейса малых вычислительных систем (Small Computer System Interface - SCSI), и внешнее запоминающее устройство 3676, соединенное с шиной 3683 SCSI.

[0076] Вычислительная система 3600 функционирует в сетевой среде с использованием локальных соединений с одним или несколькими удаленными компьютерами, такими как удаленный компьютер 3688. Удаленный компьютер 3688 может быть выбран в виде другого персонального компьютера, сервера, маршрутизатора, сетевого PC, однорангового устройства, или другого общего сетевого узла, и обычно включает в себя многие или все элементы, описанные выше в отношении вычислительной системы 3600, хотя на фиг. 36 показано только единственное характерное удаленное запоминающее устройство/ устройство памяти 3690. Логические соединения, показанные на фиг. 36, включают в себя локальную сеть (local area network - LAN) 3693 и глобальную сеть (wide area network - WAN) 3695. Такие сетевые среды часто вводятся в действие, например, в учреждениях, компьютерных сетях в масштабе предприятия, интрасетях, и интернете.

[0077] При использовании в сетевой среде LAN, вычислительная среда 3600 соединена с локальной сетью 3693 посредством сетевого интерфейса или адаптера 3696. При использовании в сетевой среде WAN, вычислительная система 3600 обычно включает в себя широкополосный модем 3698, сетевой шлюз, или другое средство для установления связи через глобальную сеть 3695, такую как интернет. Широкополосный модем 3698, который может быть внешним или внутренним, соединен с системной шиной 3614 через интерфейс 3671 последовательного порта. В сетевой среде, программные модули, связанные с вычислительной системой 3600 или ее частями, могут храниться в удаленном запоминающем устройстве 3690 памяти. Следует отметить, что сетевые соединения, показанные на фиг. 36, являются иллюстративными, и могут быть использованы другие средства установления канала связи между компьютерами, в зависимости от конкретных требований применения настоящего совместного использования в реальном времени во время телефонного вызова.

[0078] Фиг. 37 показывает иллюстративную архитектуру 3700 для устройства, способного выполнить различные компоненты, описанные здесь, для обеспечения настоящего совместного использования в реальном времени во время телефонного вызова. Таким образом, архитектура 3700, показанная на фиг. 37, показывает архитектуру, которая может быть адаптирована для серверного компьютера, мобильного телефона, PDA, смартфона, настольного компьютера, компьютер-нетбука, планшетного компьютера, устройства GPS, игровой консоли, и/или компактного портативного компьютера. Архитектура 3700 может быть использована для выполнения любого аспекта компонентов, представленных здесь.

[0079] Архитектура 3700, показанная на фиг. 37, включает в себя центральный процессор (Central Processing Unit - CPU) 3702, системную память 3704, включающую в себя RAM 3706 и ROM 3708, системную шину 3710, которая соединяет память 3704 с CPU 3702. Основная система ввода/вывода данных, содержащая основные программы, которые помогают передавать информацию между элементами в пределах архитектуры 3700, например, во время загрузки, хранится в ROM 3708. Архитектура 3700 дополнительно включает в себя массовое запоминающее устройство 3712 для хранения программного кода или другого исполняемого компьютером кода, который используется для реализации приложений, файловой системы, и операционной системы.

[0080] Массовое запоминающее устройство 3712 соединено с CPU 3702 через контроллер массового запоминающего устройства (не показан), соединенный с шиной 3710. Массовое запоминающее устройство 3712 и его соответствующие машиночитаемые запоминающие носители обеспечивают энергонезависимое запоминающее устройство для архитектуры 3700.

[0081] Хотя описание машиночитаемых запоминающих носителей, содержащееся здесь, относится к массовому запоминающему устройству, такому как накопитель на жестких дисках или CD-ROM-накопитель, специалистам в данной области техники следует понимать, что машиночитаемые запоминающие носители могут быть любыми доступными запоминающими носителями, к которым может осуществлять доступ архитектура 3700.

[0082] В качестве примера, а не ограничения, машиночитаемые запоминающие носители могут включать в себя энергозависимые и энергонезависимые, съемные и несъемные носители, реализованные любым способом или по любой технологии, для хранения информации, такой как машиночитаемые команды, структуры данных, программные модули, или другие данные. Например, машиночитаемые носители включают в себя, но не ограничены этим, RAM, ROM, стираемое программируемое постоянное запоминающее устройство (erasable programmable read only memory - EPROM), электрически стираемое программируемое постоянное запоминающее устройство (electrically erasable programmable read only memory - EEPROM), флэш-память или другую твердотельную технологию памяти, CD-ROM, DVD, DVD высокой четкости (High Definition DVD - HD-DVD), Blu-ray, или другое оптическое запоминающее устройство, магнитные кассеты, магнитную ленту, магнитное дисковое запоминающее устройство или другие магнитные запоминающие устройства, или любой другой носитель, который может быть использован для хранения необходимой информации, и к которому архитектура 3700 может осуществлять доступ.

[0083] Согласно различным вариантам осуществления, архитектура 3700 может функционировать в сетевой среде с использованием логических соединений с удаленными компьютерами через сеть. Архитектура 3700 может соединяться с сетью через блок 3716 сетевого интерфейса, соединенный с шиной 3710. Следует понимать, что блок 3716 сетевого интерфейса также может быть использован для соединения с другими типами сетей и удаленных вычислительных систем. Архитектура 3700 также может включать в себя контроллер 3718 ввода/вывода данных для приема и обработки входных данных от некоторого количества других устройств, включающих в себя клавиатуру, мышь, или электронное перо (не показано на фиг. 37). Подобным образом, контроллер 3718 ввода/вывода данных может обеспечить выходные данные для экрана дисплея, принтера, или другого типа устройства вывода данных (также не показаны на фиг. 37).

[0084] Следует понимать, что программные компоненты, описанные здесь, могут, при загрузке в CPU 3702 и исполнении, преобразовать CPU 3702 и общую архитектуру 3700 из вычислительной системы общего назначения в вычислительную систему специального назначения, настроенную для обеспечения функциональности, представленной здесь. CPU 3702 может быть создан из любого количества транзисторов или других дискретных схемных элементов, которые могут, по отдельности или вместе, допускать любое количество состояний. Более конкретно, CPU 3702 может функционировать в качестве конечного автомата, в качестве реакции на исполняемые команды, содержащиеся в пределах программных модулей, раскрытых здесь. Эти исполняемые компьютером команды могут преобразовывать CPU 3702 посредством задания того, как CPU 3702 переходит между состояниями, что преобразует, таким образом, транзисторы или другие дискретные аппаратные элементы, образующие CPU 3702.

[0085] Кодирование программных модулей, представленных здесь, также может преобразовывать физическую структуру машиночитаемых запоминающих носителей, представленных здесь. Конкретное преобразование физической структуры может зависеть от различных факторов, в разных реализациях этого описания. Примеры таких факторов могут включать в себя, но не ограничены этим, технологию, используемую для реализации машиночитаемых запоминающих носителей, независимо от того, характеризуются ли машиночитаемые запоминающие носители как первичное или как вторичное запоминающее устройство, и т.п. Например, если машиночитаемые запоминающие носители реализованы в виде полупроводниковой памяти, программные средства, раскрытые здесь, могут быть закодированы на машиночитаемых запоминающих носителях посредством преобразования физического состояния полупроводниковой памяти. Например, программные средства могут преобразовывать состояние транзисторов, конденсаторов, или других дискретных схемных элементов, образующих полупроводниковую память. Программные средства также могут преобразовывать физическое состояние таких компонентов для хранения на них данных.

[0086] В качестве другого примера, машиночитаемые запоминающие носители, раскрытые здесь, могут быть реализованы с использованием магнитной или оптической технологии. В таких реализациях, программные средства, представленные здесь, могут преобразовывать физическое состояние магнитных или оптических носителей, когда программные средства закодированы на них. Эти преобразования могут включать в себя изменение магнитных характеристик конкретных местоположений в пределах данных магнитных носителей. Эти преобразования также могут включать в себя изменение физических признаков или характеристик конкретных местоположений в пределах данных оптических носителей для изменения оптических характеристик этих местоположений. Другие преобразования физических носителей являются возможными, не выходя за рамки объема и сущности настоящего описания, причем вышеупомянутые примеры обеспечены только для облегчения этого объяснения.

[0087] В свете вышеупомянутого, следует понимать, что многие типы физических преобразований имеют место в архитектуре 3700 для запоминания и исполнения программных компонентов, представленных здесь. Следует также понимать, что архитектура 3700 может включать в себя другие типы вычислительных устройств, в том числе портативные компьютеры, встроенные вычислительные системы, смартфоны, PDA, и другие типы вычислительных устройств, известные специалистам в данной области техники. Предполагается, что архитектура 3700 может не включать в себя все компоненты, показанные на фиг. 37, может включать в себя другие компоненты, которые не показаны явно на фиг. 37, или может использовать архитектуру, полностью отличную от архитектуры, показанной на фиг. 37.

[0088] Фиг. 38 является функциональной блок-схемой иллюстративного мобильного устройства 110, такого как мобильный телефон или смартфон, включающего в себя множество необязательных аппаратных и программных компонентов, показанных, в общем, ссылочной позицией 3802. Любой компонент 3802 в мобильном устройстве может устанавливать связь с любым другим компонентом, хотя, для легкости понимания иллюстрации, показаны не все соединения. Мобильное устройство может быть любым из множества вычислительных устройств (например, сотовым телефоном, смартфоном, портативным компьютером, PDA, и т.д.) и может обеспечить возможность беспроводной двусторонней связи с одним или несколькими сетями 3804 мобильной связи, такими как сотовая или спутниковая сеть.

[0089] Показанное устройство 110 может включать в себя контроллер или процессор 3810 (например, сигнальный процессор, микропроцессор, микроконтроллер, специализированную интегральную схему (Application Specific Integrated Circuit - ASIC), или другие управляющие или обрабатывающие логические схемы) для выполнения таких задач, как кодирование сигналов, обработка данных, обработка ввода/вывода данных, управление электропитанием, и/или других функций. Операционная система 3812 может управлять назначением и использованием компонентов 3802, в том числе, состояниями электропитания, состояниями выше запертого состояния, состояниями ниже запертого состояния, и обеспечивает поддержку для одной или нескольких прикладных программ 3814. Прикладные программы могут включать в себя общие мобильные вычислительные приложения (например, приложения захвата изображений, приложения электронной почты, календари, диспетчеры контактов, веб-браузеры, приложения обмена сообщениями), или любое другое вычислительное приложение.

[0090] Показанное мобильное устройство 110 может включать в себя память 3820. Память 3820 может включать в себя несъемную память 3822 и/или съемную память 3824. Несъемная память 3822 может включать в себя RAM, ROM, флэш-память, жесткий диск, или другие общеизвестные технологии запоминающих устройств. Съемная память 3824 может включать в себя флэш-память или карту модуля идентификации абонента (Subscriber Identity Module - SIM), которая является общеизвестной в системах глобальной системы мобильной связи (Global System for Mobile communications - GSM), или другие общеизвестные технологии запоминающих устройств, такие как «интеллектуальные карты». Память 3802 может быть использована для хранения данных и/или кода для выполнения операционной системы 3812 и прикладных программ 3814. Иллюстративные данные могут включать в себя веб-страницы, текст, изображения, звуковые файлы, видеоданные, или другие наборы данных, подлежащие отправке и/или приему от одного или нескольких сетевых серверов или других устройств через одну или несколько проводных или беспроводных сетей.

[0091] Память 3802 может быть также выполнена в виде, или может включать в себя один или несколько машиночитаемых запоминающих носителей, реализованных любым способом или по любой технологии, для хранения информации, такой как машиночитаемые команды, структуры данных, программные модули, или другие данные. Например, машиночитаемые носители включают в себя, но не ограничены этим, RAM, ROM, EPROM, EEPROM, флэш-память или другую технологию твердотельной памяти, CD-ROM (компакт-диск-ROM), DVD (универсальный цифровой диск), HD-DVD (DVD высокой четкости), Blu-ray, или другое оптическое запоминающее устройство, магнитные кассеты, магнитную ленту, магнитное дисковое запоминающее устройство или другие магнитные запоминающие устройства, или любой другой носитель, который может быть использован для хранения необходимой информации, и к которому мобильное устройство 110 может осуществлять доступ.

[0092] Память 3820 может быть использована для хранения идентификатора абонента, такого как международный опознавательный код мобильного абонента (International Mobile Subscriber Identity - IMSI), и идентификатора оборудования, такого как международный идентификатор мобильного оборудования (International Mobile Equipment Identifier - IMEI). Такие идентификаторы могут быть переданы к сетевому серверу для идентификации пользователей и оборудования. Мобильное устройство 110 может поддерживать одно или несколько устройств 3830 ввода данных; например, сенсорный экран 3832; микрофон 3834, для реализации речевого ввода данных для распознавания речи, речевых команд и т.п.; камеру 3836; физическую клавиатуру 3838; шаровый манипулятор 3840; и/или датчик 3842 близости; и одно или несколько устройств 3850 вывода данных, таких как громкоговоритель 3852 и один или несколько дисплеев 3854. Другие устройства ввода данных (не показаны), использующие распознавание жестов, могут быть также использованы в некоторых случаях. Другие возможные устройства вывода данных (не показаны) могут включать в себя пьезоэлектрические или тактильные устройства вывода данных. Некоторые устройства могут обслуживать более одной функции ввода/вывода данных. Например, сенсорный экран 3832 и дисплей 3854 могут быть объединены в единственное устройство ввода/вывода данных.

[0093] Беспроводной модем 3860 может быть соединен с антенной (не показана) и может поддерживать двустороннюю связь между процессором 3810 и внешними устройствами, что является общеизвестным в данной области техники. Модем 3860 показан в общем виде и может включать в себя сотовый модем для установления связи с сетью 3804 мобильной связи и/или другими модемами на основе радиосвязи (например, Bluetooth 3864 или Wi-Fi 3862). Беспроводной модем 3860 обычно сконфигурирован для установления связи с одной или несколькими сотовыми сетями, такими как сеть GSM, для передачи данных и речи в пределах единственной сотовой сети, между сотовыми сетями, или между мобильным устройством и телефонной сетью общего пользования (PSTN).

[0094] Мобильное устройство может дополнительно включать в себя по меньшей мере один порт 3880 ввода/вывода данных, источник 3882 питания, приемник 3884 спутниковой навигационной системы, такой как приемник GPS, акселерометр 3886, гироскоп (не показан), и/или физический соединитель 3890, который может быть портом USB, портом IEEE 1394 (Fire Wire), и/или портом RS-232. Показанные компоненты 3802 не являются необходимыми или исчерпывающими, поскольку любые компоненты могут быть удалены, а другие компоненты могут быть добавлены.

[0095] Фиг. 39 является иллюстративной функциональной блок-схемой консоли 110₄ мультимедиа. Консоль 110₄ мультимедиа имеет центральный процессор (CPU) 3901, имеющий кэш 3902 уровня 1, кэш 3904 уровня 2, и флэш-ROM (постоянное запоминающее устройство) 3906. Кэш 3902 уровня 1 и кэш 3904 уровня 2 временно хранят данные и, следовательно, уменьшают количество циклов доступа к памяти, что улучшает, таким образом, скорость и производительность обработки. CPU 3901 может быть сконфигурирован с использованием более, чем одного ядра, и, таким образом, дополнительных кэшей 3902 и 3904 уровня 1 и уровня 2. Флэш-ROM 3906 может хранить исполняемый код, который загружается во время начальной фазы процесса загрузки, когда включается электропитание консоли 110₄ мультимедиа.

[0096] Графический процессор (graphics processing unit - GPU) 3908 и кодер видеоизображений/ кодек (кодер/декодер) 3914 видеоизображений образуют конвейер обработки видеоизображений для обработки графики с высокой скоростью и высоким разрешением. Данные переносятся от GPU 3908 к кодеру видеоизображений/ кодеку 3914 видеоизображений через шину. Конвейер обработки видеоизображений выводит данные к порту 3940 A/V (звуковых данных/ видеоизображений) для передачи к телевизионному приемнику или другому дисплею. Контроллер 3910 памяти соединен с GPU 3908 для обеспечения доступа процессора к различным типам памяти 3912, таким как, но не ограничиваясь этим, RAM.

[0097] Консоль 110₄ мультимедиа включает в себя контроллер 3920 I/O, контроллер 3922 управления системой, блок 3923 обработки звуковых данных, контроллер 3924 сетевого интерфейса, первый хост-контроллер 3926 USB (универсальной последовательной шины), второй контроллер 3928 USB, подконструкцию 3930 I/O передней панели, которые, предпочтительно, реализованы на модуле 3918. Контроллеры 3926 и 3928 USB служат в качестве хостов для периферийных контроллеров 3942(1) и 3942(2), беспроводного адаптера 3948, и внешнего запоминающего устройства 3946 (например, флэш-памяти, внешнего накопителя CD/DVD ROM, съемных накопителей, и т.д.). Контроллер 3924 сетевого интерфейса и/или беспроводной адаптер 3948 обеспечивают доступ к сети (например, интернету, домашней сети, и т.д.) и могут быть любыми из большого многообразия различных проводных или беспроводных компонентов-адаптеров, включающих в себя карту Ethernet, модем, модуль Bluetooth, кабельный модем, и т.п.

[0098] Системная память 3943 обеспечена для хранения данных приложений, которые загружаются во время процесса загрузки. Обеспечен медиа-накопитель 3944, который может содержать накопитель DVD/CD, накопитель на жестких дисках, или другой съемный медиа-накопитель, и т.д. Медиа-накопитель 3944 может быть внутренним или внешним для консоли 110₄ мультимедиа. Данные приложений могут быть доступными через медиа-накопитель 3944 для исполнения, воспроизведения, и т.д., посредством консоли 110₄ мультимедиа. Медиа-накопитель 3944 соединен с контроллером 3920 I/O через шину, такую как последовательная шина ATA, или другое высокоскоростное соединение (например, IEEE 1394).

[0099] Контроллер 3922 управления системой обеспечивает множество сервисных функций, связанных с обеспечением доступности консоли 110₄ мультимедиа. Блок 3923 обработки звуковых данных и кодек 3932 звуковых данных образуют конвейер обработки звуковых данных с высоким качеством и стереофонической обработкой. Звуковые данные переносятся между блоком 3923 обработки звуковых данных и звуковым кодеком 3932 через канал связи. Конвейер обработки звуковых данных выдает данные к порту 3940 A/V для воспроизведения посредством устройства воспроизведения звуковых данных или устройства, имеющего возможности воспроизведения звука.

[00100] Подузел 3930 I/O передней панели поддерживает функциональность кнопки 3950 включения электропитания и кнопки 3952 выгрузки, а также любых светодиодов (light emitting diode - LED) или других индикаторов, расположенных на внешней поверхности консоли 110₄ мультимедиа. Модуль 3936 источника питания системы обеспечивает электропитание для компонентов консоли 110₄ мультимедиа. Вентилятор 3938 охлаждает схемы внутри консоли 110₄ мультимедиа.

[00101] CPU 3901, GPU 3908, контроллер 3910 памяти, и различные другие компоненты в пределах консоли 110₄ мультимедиа взаимосвязаны через одну или несколько шин, в том числе, последовательную и параллельную шины, шину памяти, периферийную шину, и шину процессора или локальную шину, с использованием любых из множества шинных архитектур. В качестве примера, такие архитектуры могут включать в себя шину интерфейса периферийных устройств (Peripheral Component Interconnects - PCI), шину PCI-Express, и т.д.

[00102] Когда включается электропитание консоли 110₄ мультимедиа, данные приложений могут быть загружены из системной памяти 3943 в память 3912 и/или кэши 3902 и 3904 и исполнены на CPU 3901. Приложение может представлять графический пользовательский интерфейс, который обеспечивает согласованное пользовательское восприятие при управлении разными типами мультимедиа, доступными на консоли 110₄ мультимедиа. При функционировании, приложения и/или другие мультимедиа, содержащиеся в пределах медиа-накопителя 3944, могут быть запущены или воспроизведены из медиа-накопителя 3944, для обеспечения дополнительных функциональностей для консоли 110₄ мультимедиа.

[00103] Консоль 110₄ мультимедиа может функционировать как автономная система, просто посредством соединения системы с телевизионным приемником или другим дисплеем. В этом автономном режиме, консоль 110₄ мультимедиа обеспечивает одному или нескольким пользователям возможность взаимодействия с системой, возможность смотреть фильмы или слушать музыку. Однако, при встраивании широкополосной подключаемости, которая становится доступной посредством контроллера 3924 сетевого интерфейса или беспроводного адаптера 3948, консоль 110₄ мультимедиа может дополнительно функционировать в качестве участника в большем объединении сетей.

[00104] Когда включается электропитание консоли 110₄ мультимедиа, установленное количество аппаратных ресурсов резервируется для системного использования операционной системой консоли мультимедиа. Эти ресурсы могут включать в себя резервирование памяти (например, 16 МБ), циклов CPU и GPU (например, 5%), пропускной способности сети (например, 8 кбит/с), и т.д. Поскольку эти ресурсы резервируются во время загрузки системы, зарезервированные ресурсы не существуют с точки зрения приложения.

[00105] Конкретно, резервирование памяти, предпочтительно, является достаточно большим, чтобы содержать ядро запуска, параллельные системные приложения, и драйверы. Резервирование CPU является, предпочтительно, постоянным, так что если зарезервированное использование CPU не используется системными приложениями, то бездействующий поток будет потреблять любые неиспользованные циклы.

[00106] В отношении резервирования GPU, «легковесные» сообщения, генерируемые системными приложениями (например, всплывающие элементы), отображаются с использованием прерывания GPU, для планирования кода для воспроизведения всплывающих элементов в оверлее. Величина памяти, необходимая для оверлея, зависит от размера области оверлея, и оверлей, предпочтительно, масштабируется с экранным разрешением. Когда параллельным системным приложением используется полный пользовательский интерфейс, предпочтительно использовать разрешение, независимое от разрешения приложения. Средство масштабирования может быть использовано для установления этого разрешения таким образом, чтобы была устранена необходимость в изменении частоты и выполнении повторной синхронизации TV.

[00107] После выполнения консолью 110₄ мультимедиа загрузки и резервирования системных ресурсов, параллельные системные приложения исполняются для обеспечения системных функциональностей. Системные функциональности инкапсулируются во множестве системных приложений, которые исполняются в пределах зарезервированных системных ресурсов, описанных выше. Ядро операционной системы идентифицирует потоки, которые являются потоками системных приложений, в сравнении с потоками игровых приложений. Системные приложения, предпочтительно, планируются таким образом, чтобы они выполнялись на CPU 3901 в заданные моменты и интервалы времени, для обеспечения согласованного вида системных ресурсов для приложения. Планирование предназначено для минимизации сбоев в работе кэша для игровых приложений, выполняющихся на консоли.

[00108] Когда параллельное системное приложение нуждается в звуковых данных, обработку звуковых данных планируют асинхронно к игровому приложению, вследствие временной чувствительности. Диспетчер приложений консоли мультимедиа (описан ниже) управляет уровнем громкости звукового сигнала игрового приложения (например, выключением звукового сигнала, ослаблением звукового сигнала), когда системные приложения являются активными.

[00109] Устройства ввода данных (например, контроллеры 3942(1) и 3942(2)) совместно используются игровыми приложениями и системными приложениями. Устройства ввода данных не являются зарезервированными ресурсами, но должны переключаться между системными приложениями и игровым приложением таким образом, чтобы каждое из них находилось в фокусе устройства. Диспетчер приложений, предпочтительно, управляет переключением потока входных данных, без знания о знании игрового приложения, и драйвер поддерживает информацию о состояниях относительно переключений фокуса.

[00110] На основе вышеупомянутого, следует понимать, что здесь раскрыты технологии для совместного использования в реальном времени во время телефонного вызова. Хотя изобретение, представленное здесь, было описан на языке, специфическом для компьютерных структурных признаков, методологических и преобразующих действий, конкретных вычислительных машин, и машиночитаемых запоминающих носителей, следует понимать, что настоящее изобретение, определяемое в прилагаемой формуле изобретения, не обязательно ограничено конкретными признаками, действиями, и средами, описанными здесь. Напротив, конкретные признаки, действия, и среды раскрыты в качестве иллюстративных форм реализации формулы изобретения.

[00111] Раскрытие изобретения, данное выше, приведено только в качестве иллюстрации и не должно толковаться в качестве ограничения. Различные модификации и изменения могут быть выполнены в отношении изобретения, описанного здесь, не следуя показанным и описанным иллюстративным вариантам осуществления и применениям и не выходя за рамки истинной сущности и объема настоящего изобретения, который определяется нижеследующей формулой изобретения.

Claims

1. Машиночитаемое запоминающее устройство, содержащее машиноисполняемые инструкции, которые при их исполнении одним или более процессорами, расположенными в локальном устройстве предписывают процессорам:

демонстрировать пользовательский интерфейс (UI) для инициирования совместного использования контента в реальном времени во время активного телефонного вызова между локальным устройством и удаленным устройством;

принимать входные данные в цифровом секретаре, реализованном на локальном устройстве;

выполнять, в цифровом секретаре во время упомянутого активного телефонного вызова, анализ входных данных для выявления выбора контента, на который имелась ссылка во входных данных, из совокупности совместно используемого контента, каковая совокупность совместно используемого контента является локально доступной для локального устройства или является доступной для локального устройства из удаленного источника;

принимать упомянутый выбор контента для совместного использования на основе проанализированных входных данных;

заполнять участок UI на локальном устройстве предварительно подготовленным контентом, выбранным для совместного использования, который пока лишь только планируется совместно использовать с удаленным устройством;

обеспечивать, в пределах данного участка UI, приготовление представления предварительно подготовленного контента, в то же время предотвращая отображение предварительно подготовленного контента на удаленном устройстве;

принимать команду переместить предварительно подготовленный контент в активное окно совместного использования;

переместить предварительно подготовленный контент в активное окно совместного использования, в котором отображается контент, который совместно используется на текущий момент, обеспечивая при этом локальному устройству возможность управлять темпом представления элементов контента из состава предварительно подготовленного контента в отношении удаленного устройства;

предоставлять в локальном устройстве инструменты выделения для выделения частей контента, который совместно используется на текущий момент, в активном окне совместного использования; и

предоставлять в локальном устройстве инструменты для создания титров для частей контента, который совместно используется на текущий момент, в активном окне совместного использования, причем титры включают в себя по меньшей мере одно из анимации, идентификационных данных для совместно использующегося контента, который помечен, ссылок на соответствующий контент и ссылок на соответствующее пользовательское восприятие.

2. Машиночитаемое запоминающее устройство по п. 1, дополнительно содержащее инструкции, которые предписывают процессорам активировать функцию спикерфона на локальном устройстве, когда инициировано упомянутое совместное использование в реальном времени.

3. Машиночитаемое запоминающее устройство по п. 1, дополнительно содержащее инструкции, которые предписывают процессорам демонстрировать упомянутый UI для инициирования совместного использования в реальном времени как часть UI, демонстрируемого приложением вызовов на локальном устройстве, причем приложение вызовов является одним из приложения речевых вызовов и приложения видеовызовов.

4. Машиночитаемое запоминающее устройство по п. 1, дополнительно содержащее инструкции, которые предписывают процессорам предоставлять инструменты для управления представлением элементов совместно используемого контента, включая масштабирование и панорамирование.

5. Машиночитаемое запоминающее устройство по п. 1, дополнительно содержащее инструкции, которые предписывают процессорам:

конфигурировать упомянутый участок UI, содержащий предварительно подготовленный контент, в виде прокручиваемой ленты; и

конфигурировать активное окно совместного использования для приема из прокручиваемой ленты элементов предварительно подготовленного контента посредством операции перетаскивания.

6. Машиночитаемое запоминающее устройство по п. 5, дополнительно содержащее инструкции, которые предписывают процессорам изменять положение или размер активного окна совместного использования в ответ на команду.

7. Машиночитаемое запоминающее устройство по п. 1, дополнительно содержащее инструкции, которые предписывают процессорам предоставлять одно из инструментов наложения эскизов на видеоизображение или средств управления видеоизображениями, когда экземпляром контента, который совместно используется на текущий момент, является видеоконтент.

8. Машиночитаемое запоминающее устройство по п. 1, при этом совместно используемый контент является одним из захватываемого в реальном времени контента и ранее захваченного контента.

9. Машиночитаемое запоминающее устройство по п. 1, при этом упомянутые инструменты обеспечивают возможность выделения с использованием одного или более из линий, графических форм, графических объектов, текста, цветов, прозрачности, затенения и анимации.

10. Машиночитаемое запоминающее устройство по п. 1, при этом упомянутые инструменты включают в себя инструменты для, по меньшей мере, применения графики или инструменты для аннотирования текстом.

11. Машиночитаемое запоминающее устройство по п. 1, при этом

когда компонент совместного использования в реальном времени, выполненный в виде программного обеспечения, локально установлен на обоих из локального и удаленного устройств, участвующих в совместном использовании в реальном времени, данный компонент совместного использования в реальном времени используется для обеспечения совместного использования через сеть между локальным и удаленным устройствами; и

когда компонент совместного использования в реальном времени не установлен на одном или обоих из локального и удаленного устройств, используется веб-клиент для взаимодействия через сеть с удаленным поставщиком услуг, который доставляет совместно использующийся контент в веб-клиент на соответствующем устройстве.

12. Вычислительная система, выполненная с возможностью обеспечения совместного использования контента в реальном времени, причем вычислительная система содержит:

один или более процессоров;

дисплей, которым поддерживается пользовательский интерфейс (UI) для взаимодействия с локальным устройством; и

запоминающее устройство, в котором хранятся машиноисполняемые инструкции, которые при их исполнении одним или более процессорами предписывают процессорам:

конфигурировать участок UI для приготовления представления контента, выбранного для совместного использования, который пока лишь только планируется совместно использовать, и для отделения контента, выбранного для совместного использования, который пока лишь только планируется совместно использовать, от совокупности совместно используемого контента,

отделять активное окно совместного использования в UI от упомянутого участка UI, сконфигурированного для приготовления представления контента, выбранного для совместного использования, который пока лишь только планируется совместно использовать, так чтобы поддерживалась конфиденциальность для контента, выбранного для совместного использования, который не помещен в активное окно совместного использования для совместного использования с удаленным устройством,

предоставлять в локальном устройстве инструменты для создания титров для контента, выбранного для совместного использования, причем титры включают в себя по меньшей мере одно из анимации, идентификационных данных для совместно использующегося контента, который помечен, ссылок на соответствующий контент и ссылок на соответствующее пользовательское восприятие,

принимать команду на управление активным окном совместного использования посредством добавления подмножества контента, выбранного для совместного использования, в активное окно совместного использования и удаления контента из активного окна совместного использования,

совместно использовать контент из активного окна совместного использования с удаленным устройством через сеть, при этом активное окно совместного использования сконфигурировано таким образом, чтобы локальное устройство управляло темпом совместного использования контента из активного окна совместного использования so, и

предоставлять с локального устройства на удаленное устройство временное управление, с тем чтобы удаленному устройству было предоставлено разрешение временно управлять представлением контента, отображаемого на локальном и удаленном устройствах.

13. Система по п. 12, в которой запоминающее устройство дополнительно содержит инструкции, которые предписывают процессору принимать взаимодействие с UI с использованием одного из естественного языка, речевой команды, жеста и физического контакта с сенсорным экраном или манипуляции физическим или виртуальным элементом управления.

14. Система по п. 12, в которой запоминающее устройство дополнительно содержит инструкции, которые предписывают процессору активировать UI из приложения речевого вызова или приложения видеовызова.

15. Система по п. 12, в которой запоминающее устройство дополнительно содержит инструкции, которые предписывают процессору предоставлять инструменты для управления выделением, каковые инструменты обеспечивают одно или более из рисования, комментирования, масштабирования, панорамирования, окрашивания, затенения, наложения эскизов на видеоизображение и анимирования.

16. Система по п. 12, в которой запоминающее устройство дополнительно содержит инструкции, которые предписывают процессору конфигурировать активное окно совместного использования для показа элементов контента в совместно использующемся контенте по одному за раз под управлением локального устройства.

17. Компьютерно-реализуемый способ обеспечения совместного использования контента в реальном времени, содержащий этапы, на которых:

принимают выбранный контент для совместного использования из совокупности совместно используемого контента, каковая совокупность совместно используемого контента является локально доступной для локального устройства или является доступной для локального устройства из удаленного источника;

заполняют участок пользовательского интерфейса (UI) на локальном устройстве выбранным контентом, который пока лишь только планируется совместно использовать с удаленным устройством, так чтобы данный участок UI обеспечивал возможность формирования представления выбранного контента, который пока лишь только планируется совместно использовать с удаленным устройством, при этом выбранный контент отделен от совокупности совместно используемого контента и выбранный контент также отделен от контента, который на текущий момент совместно используется с удаленным устройством через активное окно совместного использования;

принимают от пользователя команду переместить элемент контента выбранного контента из упомянутого участка UI в активное окно совместного использования;

отображают в активном окне совместного использования элемент контента, перемещенный из упомянутого участка UI в активное окно совместного использования;

предоставляют в локальном устройстве инструменты выделения для выделения частей совместно используемого контента, передаваемых в удаленное устройство;

предоставляют в локальном устройстве инструменты для создания титров для частей совместно используемого контента, передаваемых в удаленное устройство, причем титры включают в себя по меньшей мере одно из анимации, идентификационных данных для совместно использующегося контента, который помечен, ссылок на соответствующий контент и ссылок на соответствующее пользовательское восприятие; и

предоставляют с локального устройства на удаленное устройство временное управление, с тем чтобы удаленному устройству было предоставлено разрешение временно управлять представлением контента.