KR102338240B1

KR102338240B1 - 오디오 및 비주얼 콘텐츠 관리 시스템

Info

Publication number: KR102338240B1
Application number: KR1020217008786A
Authority: KR
Inventors: 저지 코디 섬터; 크리스토퍼 제임스 켈리; 메튜 데이비드 테이트; 알록 샨델; 셰인 라일리 브렌난
Original assignee: 구글 엘엘씨
Priority date: 2016-09-16
Filing date: 2017-08-25
Publication date: 2021-12-10
Also published as: KR20210035345A; US20180083899A1; US20190158442A1; DE202017105256U1; US10225218B2; JP2020173843A; US11303591B2; CN109804353A; EP3513290A1; JP2019537086A; EP3513290B1; JP6731545B2; JP7005698B2; WO2018052687A1; KR20190042082A; KR102233806B1

Abstract

메시지 콘텐츠를 관리하는 시스템, 장치 및 방법이 제공된다. 일 실시 예에서, 방법은 하나 이상의 컴퓨팅 장치에 의해 오디오 콘텐츠 및 비주얼 미디어 콘텐츠를 포함하는 메시지를 수신하는 단계를 포함한다. 이 방법은 하나 이상의 컴퓨팅 장치에 의해 오디오 콘텐츠를 기술하는 제1 데이터 세트를 오디오 장치에 전송하는 단계를 더 포함한다. 오디오 장치는 오디오 장치의 사용자에게 오디오 콘텐츠를 전달하도록 구성된다. 이 방법은, 하나 이상의 컴퓨팅 장치에 의해, 비주얼 미디어 콘텐츠를 기술하는 제2 데이터 세트를 디스플레이 장치에 전송하는 단계를 포함한다. 디스플레이 장치는 사용자를 위해 비주얼 미디어 콘텐츠를 디스플레이하도록 구성된다. 이 방법은 하나 이상의 컴퓨팅 장치에 의해 디스플레이 장치상에서 비주얼 미디어 콘텐츠를 시청하도록 하는 통지를 오디오 장치의 사용자에게 제공하는 단계를 더 포함한다.

Description

오디오 및 비주얼 콘텐츠 관리 시스템{MANAGEMENT SYSTEM FOR AUDIO AND VISUAL CONTENT}

본 명세서는 일반적으로 장치 에코시스템 내에서 상이하거나 상충되는 기술 능력 또는 기술적 조건을 관리하는 것에 관한 것이다.

개인은 종종 한 번에 여러 개인 전자 장치를 가지고 있다. 이는 이동 전화기, 태블릿, 랩톱 등을 포함할 수 있다. 메시지(예를 들어, 이메일)가 개인에게 전송되면, 그 메시지는 개인의 각각의 장치에 의해 수신될 수 있다. 메시지는 텍스트 부분 및 이미지 부분을 포함할 수 있다. 각 장치는 가청 사운드 및/또는 진동을 통해 메시지 수신에 대해 사용자에게 통지할 수 있다. 그러나 각 통지는 장치의 기술적 능력의 차이 또는 장치에 일반적으로 적용되는 기술적 조건(리프레쉬 빈도, 프로세싱 등과 같은)의 차이로 인해 다른 시간에 사용자에게 전달될 수 있다. 또한, 수신시, 각 장치는 기술적인 이유로 전자 메일 메시지 및 이미지를 보는 데 적합하지 않을 수 있다. 예를 들어, 사용자가 길가에서 걸어다니며 랩톱을 볼 수 없다. 장치들 중 하나가 이미지의 설명을 포함하여 사용자에게 메시지를 크게 읽더라도 메시지의 내용을 완전히 이해하지 못할 수도 있다.

여기에 설명된 다양한 구현예들은 여러 장치 그룹의 서로 다른 장치와 관련된 서로 다른 (또는 상충하는) 기술적 기능/기술 조건을 관리하는 방법에 대한 기술적인 문제를 해결하기 위한 것이다. 본 발명의 실시 예들의 양태 및 장점은 다음의 설명에서 부분적으로 설명될 것이고, 또는 설명으로부터 알 수 있거나 또는 실시 예들의 실시를 통해 학습될 수 있다.

본 명세서의 일 예시적인 양태는 메시지 콘텐츠를 관리하는 컴퓨터로 구현되는 방법에 관한 것이다. 이 방법은 하나 이상의 컴퓨팅 장치에 의해 오디오 콘텐츠 및 비주얼 미디어 콘텐츠를 포함하는 메시지를 수신하는 단계를 포함한다.

이 방법은 하나 이상의 컴퓨팅 장치에 의해 오디오 콘텐츠를 기술하는 제1 데이터 세트를 오디오 장치에 전송하는 단계를 포함한다. 오디오 장치는 오디오 장치의 사용자에게 오디오 콘텐츠를 전달하도록 구성된다. 이 방법은, 하나 이상의 컴퓨팅 장치에 의해, 비주얼 미디어 콘텐츠를 기술하는 제2 데이터 세트를 디스플레이 장치에 전송하는 단계를 포함한다. 디스플레이 장치는 사용자에 대한 비주얼 미디어 콘텐츠를 디스플레이하도록 구성된다. 이 방법은 하나 이상의 컴퓨팅 장치에 의해, 디스플레이 장치상의 비주얼 미디어 콘텐츠를 시청하기 위한 오디오 장치의 사용자에게 통지를 제공하는 단계를 포함한다. 따라서, 통지는 디스플레이 장치에서 지배적인(prevailing) 특정 기술적 조건의 표시를 제공하며, 특히, 비주얼 미디어 콘텐츠가 디스플레이 장치상에서 보여질 수 있도록 한다.

본 발명의 다른 예시적인 양태는 메시지 콘텐츠를 관리하기 위한 컴퓨팅 시스템에 관한 것이다. 시스템은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행될 때 컴퓨팅 시스템으로 하여금 통신 범위 내의 복수의 사용자 장치를 검출하게 하는 명령어들을 저장하는 하나 이상의 유형의 비-일시적인 컴퓨터 판독 가능 매체를 포함한다. 또한, 상기 명령어들은 컴퓨팅 시스템으로 하여금 오디오 장치로서의 복수의 사용자 장치 중 적어도 제1 사용자 장치 및 디스플레이 장치로서의 복수의 사용자 장치 중 적어도 제2 사용자 장치를 선택하게 한다. 명령어들은 또한 컴퓨팅 시스템으로 하여금 오디오 콘텐츠 및 비주얼 미디어 콘텐츠를 포함하는 메시지를 수신하게 한다. 상기 명령어들은 또한 상기 컴퓨팅 시스템으로 하여금 상기 오디오 콘텐츠를 기술하는 제1 데이터 세트를 상기 제1 사용자 장치로 전송하게 한다. 제1 사용자 장치는 제1 사용자 장치의 사용자를 위해 오디오 콘텐츠를 전달하도록 구성된다. 상기 명령어들은 또한 상기 컴퓨팅 시스템으로 하여금 상기 제2 사용자 장치로 상기 비주얼 미디어 콘텐츠를 기술하는 제2 데이터 세트를 전송하게 한다. 제2 사용자 장치는 사용자에 대한 비주얼 미디어 콘텐츠를 디스플레이하도록 구성된다.

본 명세서의 또 다른 예시적인 양태는 하나 이상의 프로세서에 의해 실행될 때 하나 이상의 프로세서로 하여금 동작들을 수행하게 하는 컴퓨터 판독 가능 명령어들을 저장하는 하나 이상의 유형의 비-일시적인 컴퓨터 판독 가능 매체에 관한 것이다. 동작들은 통신 범위 내에서 복수의 사용자 장치들을 검출하는 것을 포함한다. 동작들은 복수의 사용자 장치들의 적어도 하나의 서브세트에서 각각의 사용자 장치의 하나 이상의 성능들 및 상태를 결정하는 것을 더 포함한다. 상기 동작들은 오디오 장치로서의 상기 사용자 장치들의 서브세트의 적어도 하나의 사용자 장치 및 상기 각각의 사용자 장치의 상태 및 상기 하나 이상의 성능에 적어도 부분적으로 기초하여 디스플레이 장치로서 상기 사용자 장치들의 서브세트의 적어도 하나의 사용자 장치를 선택하는 것을 더 포함한다. 동작들은 오디오 콘텐츠 및 비주얼 미디어 콘텐츠를 포함하는 메시지를 수신하는 것을 더 포함한다. 상기 동작들은 오디오 콘텐츠를 기술하는 제1 데이터 세트를 오디오 장치에 전송하는 것을 더 포함한다. 오디오 장치는 오디오 장치의 사용자를 위해 오디오 콘텐츠를 전달하도록 구성된다. 동작들은 비주얼 미디어 콘텐츠를 기술하는 제2 데이터 세트를 디스플레이 장치에 전송하는 것을 더 포함한다. 디스플레이 장치는 사용자를 위해 비주얼 미디어 콘텐츠를 디스플레이하도록 구성된다. 동작들은 디스플레이 장치상의 비주얼 미디어 콘텐츠를 보기 위해 오디오 장치의 사용자에게 통지를 제공하는 것을 더 포함한다.

본 명세서의 다른 예시적인 양태는 메시지 콘텐츠를 관리하기 위한 시스템, 장치, 방법, 유형의 비 일시적 컴퓨터 판독 가능 매체, 메모리 장치 및 전자 장치에 관한 것이다.

다양한 실시 예들의 이들 및 다른 특징들, 양태들 및 장점들은 다음의 설명 및 첨부된 청구항들을 참조하여 더 잘 이해 될 것이다. 첨부된 도면은 본 명세서에 통합되어 본 명세서의 일부를 구성하고, 본 명세서의 실시 예를 도시하고, 상세한 설명과 함께 관련 원리를 설명한다.

당업자에게 관련된 실시 예에 대한 상세한 설명은 첨부된 도면을 참조하여 본 명세서에 기술된다.
도 1은 본 발명의 일 실시 예에 따른 다수의 사용자 장치를 도시한다.
도 2는 본 발명의 예시적인 실시 예에 따른 사용자 장치의 예시적인 계층을 나타낸 도면이다.
도 3은 본 발명의 예시적인 실시 예에 따른 예시적인 시스템을 도시한다.
도 4는 본 발명의 예시적인 실시 예에 따른 예시적인 시스템의 예시적인 사용자 구현예를 도시한다.
도 5는 본 발명의 예시적인 실시 예에 따른 예시적인 시스템의 다른 예시적인 사용자 구현예를 도시한다.
도 6은 본 발명의 예시적인 실시 예에 따른 예시적인 방법의 흐름도를 도시한다.
도 7은 본 발명의 예시적인 실시 예에 따른 예시적인 시스템을 나타낸다.

하나 이상의 실시 예(들)가 도면들에 도시된 실시 예들에 대해 상세히 언급될 것이다. 각 실시 예는 본 명세서 내용의 제한이 아니라 실시 예에 대한 설명을 위해 제공된다. 실제로, 본 개시 물의 범위 또는 사상을 벗어나지 않고 다양한 변형 및 변경이 실시 예에 대해 이루어질 수 있음은 당업자에게 명백할 것이다. 예를 들어, 일 실시 예의 일부로서 도시되거나 기술된 특징은 또 다른 실시 예와 함께 사용될 수 있다. 따라서, 본 발명의 양태들은 그러한 변형 및 변경을 포함하는 것으로 의도된다.

본 개시의 예시적인 양태들은 사용자 장치 에코시스템 내의 메시지 콘텐츠를 관리하는 것에 관한 것이다. 에코시스템은 복수의 사용자 장치(예를 들어, 웨어러블 사용자 장치들)를 포함할 수 있으며, 그 중 일부는 중개 장치(broker device), 오디오 장치 및 디스플레이 장치로서 기능할 수 있다. 예를 들어, 중개 장치는 사용자의 휴대 전화기일 수 있으며, 블루투스 헤드셋 및 디스플레이가 있는 스마트 시계와 같이 사용자가 착용하고 있는 다른 사용자 장치(들)의 존재를 검출할 수 있다. 중개 장치는 오디오 장치로 사용할 블루투스 헤드셋과 디스플레이 장치로 사용할 스마트 시계를 선택할 수 있다. 중개 장치는 오디오 콘텐츠 및 비주얼 미디어 콘텐츠를 포함하는 메시지를 수신하고, 오디오 및 디스플레이 장치를 통해 사용자에게 그러한 콘텐츠의 통신을 조정할 수 있다. 예를 들어, 휴대폰은 텍스트(예를 들어, 오디오 콘텐츠)뿐만 아니라 그 안에 내장된 이미지 (예를 들어, 비주얼 미디어 콘텐츠)를 포함하는 텍스트 메시지를 수신할 수 있다. 필요한 경우 중개 장치는 텍스트를 사용자가 재생할 수 있는 형식으로 변환하여 오디오 장치(예: 블루투스 헤드셋)로 보낼 수 있다. 중개 장치는 비주얼 미디어 콘텐츠를 디스플레이 장치(예: 스마트 시계)로 보낼 수 있다. 블루투스 헤드셋은 메시지의 텍스트를 사용자에게 전달할 수 있으며, 이미지를 포함하는 메시지의 일부분에 도달하면 블루투스 헤드셋은 사용자에게 스마트 시계에서 볼 수 있는 비주얼 미디어 콘텐츠(예: 이미지)가 있다는 통지(알림)를 제공할 수 있다. 통지에는 예를 들어 "시계보기", 톤(tone)(예: "삐(beep)") 등과 같은 구가 포함될 수 있다. 그 다음 스마트 시계는 사용자가 볼 수 있는 비주얼 미디어 콘텐츠를 디스플레이할 수 있다. 이러한 방식으로 시스템은 에코시스템 내의 개별 사용자 장치의 다양한 기능을 활용하여 사용자와의 메시지 통신을 조정할 수 있다.

특히, 본 개시의 양태에 따른 예시적인 시스템은 복수의 사용자 장치를 포함할 수 있다. 사용자 장치는 다중 장치 에코시스템에 포함될 수 있다. 예를 들어, 전술한 바와 같이, 사용자 장치는 휴대 전화기, 블루투스 헤드셋, 컴퓨터화된 시계(예: 스마트 시계), 컴퓨터화된 안경, 컴퓨터화된 모자, 기타 유형의 웨어러블 컴퓨팅 장치 등의 웨어러블 사용자 장치일 수 있다. 다른 예에서, 사용자 장치는 데스크탑 컴퓨터, 통합 장치(예, Google Chromecast®), 텔레비전, 스피커 시스템 등과 같은 "비-웨어러블" 사용자 장치일 수 있다. 하나 이상의 사용자 장치(들)는 에코시스템에 대한 하나 이상의 중개 장치(들), 오디오 장치 및/또는 디스플레이 장치로서 기능할 수 있다.

중개 장치(들)는 에코시스템 내의 어느 사용자 장치가 오디오 장치 및 디스플레이 장치로서 제공될지를 선택할 수 있다. 예를 들어, 중개 장치(들)는 어떤 사용자 장치가 에코시스템 내에 있는지를 검출할 수 있다(예를 들어, 중개 장치(들)의 통신 범위 내에 있음). 중개 장치(들)는 각 사용자 장치의 하나 이상의 기능 및 상태를 결정할 수 있다. 기능에는 오디오 기능, 디스플레이 기능, 프로세싱 기능, 전원 기능 등이 포함될 수 있다. 사용자 장치의 상태는 장치가 활성화 상태인지(예: 현재 프로세싱 중인지, 다운로드 중인지, 업로드 중인지), 장치가 패시브 상태인지(예: 절전 모드, 잠긴 화면) 및/또는 사용자 장치가 현재 사용되고 있는지(예: 사용자가 장치와 상호 작용 중임) 여부를 나타낼 수 있다. 중개 장치는 오디오 장치로서 잠재적인 사용을 위해 및/또는 장치의 기능(성능) 및 상태에 적어도 부분적으로 기초하여 디스플레이 장치로서의 잠재적인 사용을 위해 하나 이상의 사용자 장치를 식별(예를 들어, 랭킹화)할 수 있다.

예로서, 사용자의 이동(휴대) 전화기는 오디오 장치로서 적어도 하나의 사용자 장치를 선택하고, 디스플레이 장치로서 적어도 하나의 사용자 장치를 선택할 수 있는 중개 장치로서 기능할 수 있다. 이동 전화기는 블루투스 헤드셋, 컴퓨터화된 안경 및 디스플레이가 있는 스마트 시계가 이동 전화기의 통신 범위 내에 있음을 검출할 수 있다. 블루투스 헤드셋과 스마트 시계 모두에는 가청 사운드를 생성하는 스피커가 포함될 수 있다. 따라서, 이동 전화기는 오디오 장치로서 잠재적인 사용을 위해 블루투스 헤드셋 및 스마트 시계를 모두 식별할 수 있다. 그러나, 블루투스 헤드셋은 스마트 시계보다 오디오 성능(예: 고품질 스피커, 사설 오디오 전송)이 뛰어나므로 오디오 장치로 잠재적으로 사용할 수 있는 스마트 시계보다 선호(예: 랭킹화)될 수 있다. 스마트 시계 및 컴퓨터화된 안경은 디스플레이 장치로 잠재적 사용을 위해 식별될 수 있다. 그러나, 스마트 시계가 능동적일 수 있고 컴퓨터화된 안경이 수동적(예를 들어, 사용자의 주머니에서)일 수 있기 때문에, 스마트 시계가 디스플레이 장치로서 잠재적인 사용을 위해 컴퓨터화된 안경보다 선호(예: 랭킹화)될 수 있다. 따라서, 이동 전화기(예: 중개 장치)는 오디오 장치로 사용하기 위해 블루투스 헤드셋과 디스플레이 장치로 사용하기 위해 스마트 시계를 선택할 수 있다. 부가적으로 및/또는 대안적으로, 본 명세서에서 추가로 설명된 바와 같이, 이동 전화기 자체는 오디오 장치 및/또는 디스플레이 장치로서 기능할 수 있다.

중개 장치(들)는 오디오 장치 및 디스플레이 장치를 통해 사용자에게 상이한 유형의 콘텐츠의 전달을 조정(coordinate)할 수 있다. 예를 들어, 중개 장치(들)는 오디오 콘텐츠 및 비주얼 미디어 콘텐츠를 포함하는 메시지를 수신할 수 있다. 메시지는 텍스트 메시지, 이메일 메시지, 팟 캐스트(podcast), 세미나, 오디오 북, 오디오 삽화 북, 텔레비전 프로그램, 스트리밍 데이터, 기사, 문서 및/또는 사용자에 의해 청취될 및/또는 판독될 임의의 다른 유형의 정보를 포함할 수 있다. 메시지에는 오디오 콘텐츠 및 비주얼 미디어 콘텐츠가 포함될 수 있다. 오디오 콘텐츠에는 청각적으로 생성될 수 있는 오디오 형식(예: WAV, AIFF, AU, FLAG, MPS, 무손실 또는 손실 압축이 가능한 다른 형식) 및/또는 청각적으로 생성될 수 있는 포맷으로 변환될 수 있는 텍스트 형식(예: doc, pdf, txt, html, xml, 기타 형식)의 데이터를 포함할 수 있다. 비주얼 미디어 콘텐츠에는 이미지 데이터, 비디오, 엠조(emjois), 스티커(예: 비트모지(bitmoji)), 맵, GIF, MIME, 텍스트북 그림, 그래픽 표현(예: 히트 맵), 다이어그램, 애니메이션, 삽화 및/또는 사용자가 볼 수 있는 기타 유형의 정보가 포함될 수 있다.

중개 장치(들)는 메시지의 오디오 콘텐츠 및 메시지의 비주얼 미디어 콘텐츠를 식별하고, 이를 오디오 장치 및 디스플레이 장치에 각각 배포할 수 있다. 예를 들어, 이동 전화기(예를 들어, 중개 장치)는 텍스트 메시지를 수신할 수 있다. 텍스트 메시지는 텍스트 데이터(예를 들어, "내 개를 봐. 귀여워?") 및 이미지 데이터(예를 들어, 개 이미지)를 포함할 수 있다. 이동 전화기는 텍스트 데이터를 오디오 콘텐츠로서 식별하고, 필요한 경우 텍스트 데이터를 오디오 포맷으로 변환하고, 이를 그 텍스트를 사용자에게 전달하도록 구성될 수 있는 블루투스 헤드셋(예: 오디오 장치)으로 보낼 수 있다. 또한, 이동 전화기는 상기 이미지를 비주얼 미디어 콘텐츠로서 식별하여 이를 사용자에게 개 이미지를 디스플레이하도록 구성될 수 있는 스마트 시계(예를 들어, 디스플레이 장치)에 전송할 수 있다.

중개 장치(들)는 사용자가 오디오 콘텐츠를 청취하는 동안 적절한 시간에 비주얼 미디어 콘텐츠를 볼 수 있도록 사용자에게 통지를 제공할 수 있다. 상기 통지는 사용자가 디스플레이 장치상의 비주얼 미디어 콘텐츠를 볼 수 있음을 사용자에게 나타낼 수 있는 용어, 구문, 이어콘, 톤, 잡음, 진동 등일 수 있다. 일부 구현 예에서, 중개 장치(들)는 오디오 장치의 사용자에게 통지(알림)를 전달할 수 있는 통지를 기술하는 데이터를 오디오 장치에 전송할 수 있다. 통지는 행동(예: "시계를 보세요"), 콘텐츠 유형(예: "사진/비디오/감정 보기") 및/또는 실제 콘텐츠(예: 개 ")를 나타낼 수 있다. 부가적으로 및/또는 대안적으로, 중개 장치(들)는 사용자에게 통지(예를 들어, 진동)를 제공할 수 있는 통지를 기술하는 데이터를 디스플레이 장치에 전송할 수 있다. 어느 구현예에서, 통지는 사용자가 텍스트 메시지를 읽었을 때 비주얼 미디어 콘텐츠를 볼 가능성이 가장 높은 시간에 사용자에게 제공될 수 있다. 이는 예를 들어, 오디오 콘텐츠가 사용자에게 전달되기 전에 오디오 콘텐츠가 사용자(예를 들어, 블루투스 헤드셋을 통해)에게 전달되는 동안 및/또는 오디오 콘텐츠가 사용자에게 전달된 후에 이루어질 수 있다. 일부 구현 예에서, 디스플레이 장치는 사용자에 의한 시청 의향 액션(intent-to-view action )(예를 들어, 눈짓 제스처) 및/또는 설정된 시간주기(예를 들어, 통지가 제공된 후 30초 동안)에 응답하여 비주얼 미디어 콘텐츠를 디스플레이할 수 있다.

일부 구현 예에서, 중개 장치(들)는 콘텐츠가 사용자에게 전달되는 동안 오디오 장치 및/또는 디스플레이 장치로서 사용하기 위해 다른 장치를 선택할 수 있다. 예를 들어, 중개 장치(들)는 적어도 하나의 사용자 장치와 관련된 상태 변화를 결정할 수 있고, 오디오 및/또는 디스플레이 장치로서 다른 사용자 장치를 선택할 수 있다. 예로서, 오디오 콘텐츠(예를 들어, 메시지의 텍스트)가 블루투스 헤드셋을 통해 사용자에게 제공되는 동안, 사용자는 그녀의 컴퓨터화된 안경을 그녀의 주머니에서 꺼내어 (예를 들어, 그녀의 얼굴에 착용) 안경을 사용할 수 있다. 이동 전화기(예를 들어, 중개인 장치)는 컴퓨터화된 안경의 상태가 (예를 들어, 수동에서 현재 사용중) 변경되었음을 검출할 수 있다. 이와 같이, 이동 전화기는 컴퓨터화된 안경을 디스플레이 장치로서 선택하고, 비주얼 미디어 콘텐츠(예를 들어, 개 이미지)를 기술하는 데이터를 사용자에게 비주얼 미디어 콘텐츠를 디스플레이할 수 있는 컴퓨터화된 안경(안경류, eyewear)에 전송할 수 있다.

본 개시의 시스템 및 방법은 사용자 장치 컴퓨팅 기술에 대한 개선점을 제공한다. 예를 들어, 시스템 및 방법은 오디오 콘텐츠를 기술하는 제1 데이터 세트를 (사용자에게 전달될) 오디오 장치에 전송하고, 상기 비주얼 미디어 콘텐츠를 기술하는 제2 데이터 세트를 (사용자를 위해 디스플레이될) 디스플레이 장치에 전송하고, 상기 디스플레이 장치상에서 상기 비주얼 미디어 콘텐츠를 시청하도록 통지를 상기 사용자에게 제공함으로써 메시지 콘텐츠의 전달을 보다 효율적으로 조정할 수 있다. 장치 성능 및 상태에 적어도 부분적으로 기초하여 특정 사용자 장치에 상이한 유형의 콘텐츠(예를 들어, 오디오, 비주얼 미디어)를 선택적으로 제공함으로써, 시스템 및 방법은 사용자가 메시지 콘텐츠를 가장 효과적으로 제공받을 수 있게 보장할 수 있다. 또한, 시스템 및 방법은 (각 장치에 전체 메시지가 아닌) 그 장치에 의해 제시될 필요한 콘텐츠만을 전송함으로써 사용자 장치의 프로세싱 자원 및 전력 공급을 보존할 수 있다. 또한, 본 명세서에 설명된 시스템 및 방법은 다중 장치 에코시스템 내의 사용자 장치를 동기화하여 각 장치의 가장 적절한 기능을 이용함으로써 사용자가 사용자 장치를 최상의 충실도(fidelity)로 경험할 수 있게 한다. 이를 통해 시스템은 장치 사용을 관리할 뿐만 아니라 분산된(fractured) 사용자 경험을 유발할 수 있는 반복적인 동기화되지 않은 콘텐츠 전달을 제거시킬 수 있다.

본 개시의 예시적인 양태에 따라 사용자에게 상이한 유형의 콘텐츠의 전달을 조정하는 것은 다중 장치 에코시스템이 에코시스템 내의 장치의 다양한 기능(성능)을 효과적으로 활용할 수 있게 한다. 또한, 비주얼 미디어 콘텐츠를 언제 볼 것인지에 대한 통지를 사용자에게 제공함으로써, 사용자는 다른 작업(예를 들어, 걷기)에 계속 집중할 수 있고 그러한 콘텐츠를 시청할지 여부를 선택할 수 있다. 이와 같이, 시스템 및 방법은 사용자 장치의 기능(성능)을 이용하여 사용자가 여전히 메시지를 수신하면서 보다 효율적으로 다중 작업을 수행할 수 있도록 한다.

도면들을 참조하여, 본 개시의 예시적인 실시 예가 더 상세히 설명될 것이다. 도 1은 본 개시의 예시적인 실시 예에 따른 예시적인 복수의 사용자 장치들(100)을 나타낸다. 복수의 사용자 장치들(100)은 다중 장치 에코시스템에 포함될 수 있고 및/또는 멀티 장치 에코시스템을 구성할 수 있다. 복수의 사용자 장치들 (100)은 임의의 적합한 유형의 모바일 컴퓨팅 장치, 사용자와 관련된 장치, 전화기, 스마트폰, 컴퓨터화된 시계(예: 스마트 시계), 컴퓨터화된 안경(안경류), 컴퓨터화된 헤드웨어, 다른 유형의 웨어러블 컴퓨팅 장치, 태블릿, 개인 휴대 정보 단말기(PDA), 랩톱 컴퓨터, 데스크톱 컴퓨터, 집적 장치, 오디오 시스템, 텔레비전, 게임 시스템, 미디어 플레이어, 전자 북 판독기, 텔레비전 플랫폼, 내비게이션 시스템, 디지털 카메라, 어플라이언스, 임베디드 컴퓨팅 장치, 사운드 시스템, 또는 여기에 설명된 동작들을 수행하도록 구성된 임의의 다른 유형의 모바일 및/또는 비-모바일 컴퓨팅 장치를 포함할 수 있다. 일부 구현 예에서, 복수의 사용자 장치들(100)은 하나 이상의 웨어러블 컴퓨팅 장치(들)(예를 들어, 이동 전화기, 블루투스 헤드셋, 스마트 시계, 컴퓨터화된 안경류, 컴퓨터화된 헤드웨어)를 포함할 수 있다. 일부 구현 예에서, 복수의 사용자 장치들(100)은 데스크톱 컴퓨터, 통합 장치(예를 들어, 구글 Chromecastⓒ), 텔레비전, 스피커 시스템 등)과 같은 "비-웨어러블" 사용자 장치들일 수 있다.

하나 이상의 컴퓨팅 장치(들)는 하나 이상의 중개 장치(들)(102)로서 기능하도록 구성될 수 있다. 중개 장치(들)(102)는 예를 들어, 메시지 콘텐츠를 관리하기 위해 여기에 설명된 기능을 수행하는 소프트웨어 애플리케이션을 포함할 수 있다. 예를 들어, 중개 장치(들)(102)(예를 들어, 하나 이상의 컴퓨팅 장치(들))는 통신 범위(104) 내에서 복수의 사용자 장치들(100)을 검출하도록 구성될 수 있다. 통신 범위(104)는 예를 들어 중개 장치(들)(102)가 적어도 하나 이상의 다른 사용자 장치(들)(106A-D)에 데이터를 송신할 수있는 범위일 수 있다. 일부 구현 예에서, 통신 범위(104)는 중개 장치(들)(102) 및 사용자 장치(들)(106A-D)가 서로 간에 데이터를 송신 및/또는 수신할 수 있는 범위일 수 있다. 일부 구현 예에서, 중개 장치(들)(102) 및 사용자 장치(들)(106A-D)는 사용자와 관련될 수 있고 및/또는 사용자의 메시지를 수신 및/또는 송신하기 위한 허가/권한을 부여받을 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 서버 측 시스템상에 구현될 수 있다.

중개 장치(들)(102)는 사용자 장치(들)(106A-D)를 검색하고 식별하도록 구성될 수 있다. 예를 들어, 중개 장치(들)(102)는 임의의 사용자 장치(들)(106A-D)가 통신 범위(104) 내에 있는지를 결정하기 위해 (예를 들어, 블루투스 프로토콜, UWB, RF를 통해) 하나 이상의 제1 신호(들)를 송신할 수 있다. 제1 신호(들)는 수신 장치(들)로부터 응답 신호를 요청 및/또는 유도하도록 인코딩될 수 있다. 예를 들어, 하나 이상의 사용자 장치(들)(106A-D)는 제1 신호(들)를 수신하고, 사용자 장치(106A-D)가 통신 범위(104) 내에 있고 및/또는 사용자 장치(106A-D)가 중개 장치(들)(102)로부터 데이터를 수신할 수 있음을 나타내는 하나 이상의 제2 신호(들)를 중개 장치(들)(102)에 전송할 수 있다. 제2 신호(들)는 또한 및/또는 대안적으로 각각의 사용자 장치(106A-D)(가령, 제2 신호를 전송한)를 나타낼 수 있다. 중개 장치(들)(102)는 제2 신호(들)에 적어도 부분적으로 기초하여 (통신 범위(104) 내의) 하나 이상의 사용자 장치(106A-D)를 식별하도록 구성될 수 있다.

중개 장치(들)(102)에 의한 사용자 장치(들)(106A-D)의 식별을 위한 상기 설명된 방법은 제한하려는 것이 아니다. 당업자는 사용자 장치(106A-D)가 통신 범위(104) 내에 있고 그리고/또는 중개 장치(102)로부터 데이터를 수신할 수 있는지를 결정하도록 하는 중개 장치(102)에 대해 다양한 기술 및/또는 방법이 사용될 수 있다는 것을 이해할 것이다. 예를 들어, 일부 구현 예에서, 사용자 장치(들)(106A-D)는 중개 장치(들)(102)로부터 제1 신호를 수신하지 않고 중개 장치(들)(102)에 신호들을 제공(예컨대, 통신 범위 (104) 내의 사용자 장치(들)(106A-D)를 표시 및/또는 식별)할 수 있다.

중개 장치(들)(102)는 사용자 장치(들)(106A-D)와 관련된 하나 이상의 파라미터(들)(108)를 결정하도록 구성될 수 있다. 예를 들어, 중개 장치(들)(102)는 복수의 사용자 장치(100)의 적어도 서브세트에서 각 사용자 장치의 하나 이상의 성능(기능)(110) 및/또는 상태(112)를 결정하도록 구성될 수 있다. 하나 이상의 성능(capabilities)(110)은 오디오 성능(114A), 디스플레이 성능(114B), 프로세싱 성능(114C), 전력 성능(114D), 및/또는 각각의 사용자 장치(106A-D)의 다른 성능(기능)을 포함할 수 있다. 사용자 장치(106A-D)의 오디오 성능(1A)은 예를 들어 오디오 하드웨어(및/또는 관련 소프트웨어)의 유형, 품질, 선명도(clarity), 양, 볼륨 레벨, 프라이버시 레벨(예를 들어, 헤드폰, 스피커) 등을 나타낼 수 있다. 사용자 장치(106A-D)의 디스플레이 성능(114B)은 예를 들어 각각의 사용자 장치(106A-D)의 디스플레이 하드웨어(및/또는 관련 소프트웨어)의 유형, 품질, 선명도(clarity), 해상도, 선명도(sharpness), 양, 프라이버시 레벨(예를 들어, 스크린 크기, 다른 것들을 감출 수 있는 능력) 등을 나타낼 수 있다. 사용자 장치(106A-D)의 상태(112)는 사용자 장치의 현재 동작 상태를 나타낼 수 있다. 예를 들어, 상태(112)는 각각의 사용자 장치(106A-D)가 활성화 상태(116A)(예를 들어, 현재 프로세싱 중, 다운로드 중, 업로드 중)인지, 각각의 사용자 장치(106A-D)가 패시브 상태(116B) (예를 들어, 슬리프 모드, 잠금 화면)인지, 및/또는 사용자 장치가 현재 사용 상태(116C)(예를 들어, 사용자가 장치와 상호 작용 중)에 있는지 여부를 나타낼 수 있다. 부가적으로 및/또는 택일적으로, 상태(112)는 사용자 장치가 턴온 또는 턴 오프되었는지 여부를 나타낼 수 있다. 중개 장치(들)(102)는 예를 들어 성능의 변화 및/또는 사용자 장치와 연관된 상태(112)를 결정하기 위해 사용자 장치 각각의 성능(110) 및/또는 상태(112)를 (예를 들어, 연속적으로, 주기적으로, 스케줄대로) 모니터링하도록 구성될 수 있다.

중개 장치(들)(102)는 오디오 장치로서 및/또는 디스플레이 장치로서 잠재적 인 사용을 위해 사용자 장치(들) 중 하나 이상을 식별하도록 구성될 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 사용자 장치(들)(106A-D)와 관련된 파라미터들(108)에 적어도 부분적으로 기초하여 오디오 장치 및/또는 디스플레이 장치로서 잠재적인 사용을 위한 하나 이상의 사용자 장치(들)(106A-D)를 식별하도록 구성될 수 있다. 이는 사용자 장치(들)(106A-D)의 성능(110) 및/또는 상태(112)의 평가를 포함할 수 있다.

중개 장치(들)(102)는 각각의 하나 이상의 사용자 장치(들)의 하나 이상의 성능들(110) 및 상태들(112)에 적어도 부분적으로 기초하여 오디오 장치로서 잠재적인 사용을 위한 하나 이상의 사용자 장치(들)를 식별하도록 구성될 수 있다. 예로서, 복수의 사용자 장치(들)(100)는 중개 장치(102)로서 기능할 수 있는 사용자의 이동 전화기를 포함할 수 있다. 이동 전화기는 복수의 사용자 장치가 통신 범위(104) 내에 있음을 검출할 수 있다. 적어도 사용자 장치들의 서브세트는 제1 사용자 장치(106A)(예를 들어, 블루투스 헤드셋), 제2 사용자 장치(106B)(예를 들어, 스마트 시계), 제3 사용자 장치(106C)(예를 들어, 컴퓨터화된 안경류), 및 제4 사용자 장치(106D)(예를 들어, 태블릿)을 포함할 수 있다. 중개 장치(102)(예를 들어, 이동 전화기)는 제1 사용자 장치(106A)(예를 들어, 블루투스 헤드셋), 제2 사용자 장치(106B)(예를 들어, 스마트 시계) 및 제4 사용자 장치(106D)(예를 들어, 태블릿)가 청각적으로 사운드를 생성하기 위한 오디오 출력 컴포넌트들(예를 들어, 스피커들, 헤드폰들)를 갖는다는 것을 식별할 수 있다. 따라서, 중개 장치(102)는 잠재적인 사용을 위해 제1, 제2 및 제4 사용자 장치(106A-B, D)를 오디오 장치로서 식별할 수 있다.

도 2에 도시된 바와 같이, 중개 장치(들)(102)는 오디오 장치로서 잠재적인 사용을 위해 이러한 사용자 장치들을 랭킹화할 수 있다. 이러한 랭킹화는 각각의 사용자 장치들 각각의 하나 이상의 성능(110) 및/또는 상태(112)에 적어도 부분적으로 기초할 수 있다. 예를 들어, 제1 사용자 장치(106A)(예를 들어, 블루투스 헤드셋)는 제1 사용자 장치(106A)가 제2 사용자 장치(106B)보다 양호한 오디오 성능(예를 들어, 보다 고품질의 스피커, 보다 많은 비공개 오디오 전달)을 가질 수 있기 때문에, 오디오 장치로서 잠재적인 사용을 위해 제2 사용자 장치(106B)(예를 들어, 스마트 시계)보다 바람직할 수 있다. 추가적으로 및/또는 택일적으로, 제2 사용자 장치(106B)(예를 들어, 스마트 시계)는 제2 사용자 장치(106B)가 제4 사용자 장치(106D)보다 (예를 들어, 보다 작은 스피커를 통해) 사용자에게 오디오 콘텐츠의 더 많은 비공개 전달(private delivery)을 제공할 수 있기 때문에 제2 사용자 장치(106B)는 제4 사용자 장치(106D)(예를 들어, 태블릿)에 비해 바람직(예를 들어, 보다 높은 순위)할 수 있다. 따라서, 중개 장치(들)(102)는 오디오 장치로서 잠재적인 사용을 위해 제1, 제2 및 제4 사용자 장치(106A-B, D)의 순서로 랭킹화할 수 있다.

중개 장치(들)(102)는 하나 이상의 사용자 장치들 각각의 하나 이상의 성능(110) 및 상태(112)에 적어도 부분적으로 기초하여 디스플레이 장치로서 잠재적인 사용을 위한 하나 이상의 사용자 장치(들)를 식별하도록 구성될 수 있다. 예를 들어, 중개 장치(102)(예를 들어, 이동 전화기)는 제2 사용자 장치(106B)(예를 들어, 스마트 시계), 제3 사용자 장치(106C) (예를 들어, 컴퓨터화된 안경류) 및 제4 사용자 장치(예, 태블릿)가 사용자에게 비주얼 미디어 콘텐츠를 볼 수 있게 하는 출력 컴포넌트들(예를 들어, 디스플레이 스크린)를 가지고 있음을 식별할 수 있다. 따라서, 중개 장치(들)(102)는 디스플레이 장치로서 잠재적인 사용을 위해 제2 사용자 장치(106B), 제3 사용자 장치(106C) 및 제4 사용자 장치(106D)를 식별할 수 있다.

도 2에 도시된 바와 같이, 중개 장치(들)(102)는 디스플레이 장치로서 잠재적인 사용을 위해 이들 사용자 장치들을 랭킹화할 수 있다. 이러한 랭킹화는 각각의 사용자 장치들의 하나 이상의 성능(110) 및/또는 상태(112)에 적어도 부분적으로 기초할 수 있다. 예를 들어, 제2 사용자 장치(106B)(예를 들어, 스마트 시계)는 제2 사용자 장치(106B)가 활성화 상태(16A)(예를 들어, 프로세싱 중) 및/또는 현재 사용 상태(116C)에 있는 반면에, 제3 사용자 장치(106C)는 패시브 상태(116B)(예를 들어, 사용자의 포켓 내에서의 잠금 화면)일 수 있기 때문에 디스플레이 장치로서 잠재적인 사용을 위해 제3 사용자 장치(106C)(예를 들어, 컴퓨터화된 안경류)보다 선호(보다 높은 순서로 랭킹화됨)될 수 있다. 부가적으로 및/또는 택일적으로, 제3 사용자 장치(106C)(예를 들어, 컴퓨터화된 안경류)는 제3 사용자 장치(106C)가 제4 사용자 장치(106D)(예를 들어, 태블릿 디스플레이 스크린)보다 우수한 비주얼 성능(예를 들어, 광 헤드 장착 디스플레이를 통해 사용자에게보다 비공개이고 고품질의 비주얼 콘텐츠를 제공함)을 가질 수 있기 때문에 제4 사용자 장치(106D)(예를 들어, 태블릿)에 비해 바람직(높은 순위로 랭킹화됨)할 수 있다. 따라서, 중개 장치(들)(102)는 제2, 제3 및 제4 사용자 장치(106B-D)를 디스플레이 장치로서 잠재적인 사용을 위해 순서대로 랭킹화할 수 있다.

이러한 방식으로, 중개 장치(들)(102)는 콘텐츠를 사용자에게 전달하기 위한 오디오 및/또는 디스플레이 장치로서 잠재적인 사용을 위한 (도 2에 도시된 바와 같은) 사용자 장치들의 하나 이상의 계층 구조(200)를 생성할 수 있다. 하나 이상의 계층 구조(200)는 복수의 사용자 장치들 중 적어도 하나의 서브세트의 각각의 사용자 장치(들)(106A-D)의 하나 이상의 성능들(110) 및/또는 상태(112)에 적어도 부분적으로 기초할 수 있다. 계층구조(200)는 각 기능에 대한 이들 장치들의 선호도에 적어도 부분적으로 기초하여 구성된 사용자 장치들의 리스트, 랭킹(순위), 우선순위, 순서 등을 포함할 수 있다. 중개 장치(들)(102)는 오디오 및/또는 디스플레이 장치로서 사용하기 위한 사용자 장치(들)를 선택할 때 하나 이상의 계층구조(200)를 기술하는 데이터를 저장 및/또는 액세스할 수 있다. 이와 같이, 본 명세서에 설명된 방식으로 잠재적인 장치 사용의 계층구조를 식별하는 것은 본 개시의 시스템 및 방법이 메시지 콘텐츠를 식별하여 가장 적절한 장치에 할당하고, 계산 자원을 절약하고, 사용자 장치에 대한 사용자 경험을 향상시키는데 도움을 줄 수 있다.

잠재적인 사용 및 계층구조(200)의 생성을 위한 사용자 장치(들)(106A-D)의 식별을 위한 상술한 방법은 제한하려는 것이 아니다. 당업자는 다양한 기술 및/또는 방법이 사용될 수 있다는 것을 이해할 것이다. 예를 들어, 일부 구현예에서, 중개 장치(들)(102)는 오디오 및/또는 디스플레이 장치로서 잠재적인 사용을 위해 사용자 장치(들)(106A-D)에 가중치를 부여하여(weighing) 계층구조(200)를 생성할 수 있다. 각 사용자 장치에 제공되는 가중치는 적어도 부분적으로 하나 이상의 파라미터(들)(108)에 기초할 수 있다.

일부 구현 예에서, 사용자 장치는 오디오 및 디스플레이 장치 모두로서 잠재적인 사용을 위해 식별될 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 하나 이상의 사용자 장치(예를 들어, 제2 사용자 장치(106B), 제4 사용자 장치(106D))는 오디오 장치로서 잠재적인 사용을 위해 사용자 장치의 계층 및 디스플레이 장치로서 잠재적인 사용을 위해 사용자 장치의 계층에 포함될 수 있다. 이러한 시나리오는 특정 사용자 장치가 오디오 및/또는 디스플레이 장치로서의 역할을 할 수 있는 오디오 및 비주얼 성능(기능)을 가질 때 발생할 수 있다.

일부 구현 예에서, 중개 장치(들)(102)는 사용자 장치들의 계층구조(200)에 포함될 수 있다. 예를 들어, 중개 장치(들)(102)는 적어도 부분적으로 중개 장치(들)(102)의 성능 및/또는 상태에 기초하여 오디오 장치 및/또는 디스플레이 장치로서 잠재적인 사용을 위한 하나 이상의 중개 장치(들)(102)를 식별할 수 있다. 예로서, 사용자의 이동 전화기가 중개 장치(102)로서 기능하는 경우에, 이동 전화기는 그 오디오 성능(예를 들어, 스피커)으로 인해 오디오 장치로서 잠재적인 사용을 위해 및/또는 비주얼 성능(예를 들면, 디스플레이 스크린)으로 인해 디스플레이 장치로서 잠재적인 사용을 위해 식별될 수 있다. 또한, 사용자의 이동 전화기는 현재 사용 상태(116C)에 있을 수 있으므로, 디스플레이 장치로서 잠재적인 사용을 위해 가장 선호되는 (예를 들어, 가장 높은 순위의) 사용자 장치로 만든다. 한편, 도 2는 하나 이상의 계층구조(200)에 마지막으로 나열된 중개 장치(들)(102)를 도시하지만, 이는 제한하려는 것이 아니다. 일부 구현 예에서, 중개 장치(들)(102)는 예를 들어 오디오 장치 및/또는 디스플레이 장치로서 잠재적인 사용을 위한 가장 바람직한 장치로서 포함하는 계층구조(200) 내의 임의의 위치에 랭킹화될 수 있다.

일부 구현 예에서, 중개 장치(들)(102)는 사용자 장치(106A-D)의 성능(110) 및/또는 상태(112)의 변화에 적어도 부분적으로 기초하여 하나 이상의 계층구조(200)를 조정하도록 구성될 수 있다. 상술한 바와 같이, 중개 장치(들)(102)는 복수의 사용자 장치들(100) 중 하나 이상의 사용자 장치(들)(110)의 능력 (110) 및/또는 상태(112)를 (예를 들어, 하나 이상의 통신을 통해) 모니터하도록 구성될 수 있다. 중개 장치(들)(102)는 모니터링된 성능 및/또는 상태에 적어도 부분적으로 기초하여 오디오 장치로서 잠재적인 사용을 위해 사용자 장치들의 계층구조(200)를 조정할 수 있다. 부가적으로 및/또는 대안적으로, 중개 장치(들)(102)는 적어도 부분적으로 모니터링된 성능 및/또는 상태에 기초하여 디스플레이 장치로서 잠재적인 사용을 위해 사용자 장치들의 계층구조(200)를 조정할 수 있다.

예를 들어, 중개 장치(들)(102)는 사용자 장치(106A-D)의 성능(110)의 변화에 적어도 부분적으로 기초하여 하나 이상의 계층구조(200)를 조정할 수 있다. 예로서, 사용자는 제2 사용자 장치(106B)(예를 들어, 스마트 시계)를 드롭하여 제2 사용자 장치(106B)의 오디오 성능(14A)을 감소시킬 수 있다(예를 들어, 스피커를 손상시키는). 중개 장치(들)(102)는 (예를 들어, 제2 사용자 장치(106B)와의 하나 이상의 통신을 통해) 성능(110)의 변화를 식별할 수 있고, 감소된 오디오 성능(114A)(예: 손상된 스피커로 인해)에 적어도 부분적으로 기초하여 오디오 장치로서 잠재적인 사용을 위해 계층구조(200)에서 더 낮은 순위로 제2 사용자 장치(106B)를 랭킹화할 수 있다.

부가적으로 및/또는 대안적으로, 중개 장치(들)(102)는 사용자 장치(106A-D)의 상태(112)의 변경에 적어도 부분적으로 기초하여 하나 이상의 계층구조(200)를 조정할 수 있다. 예를 들어, 사용자는 사용자의 주머니로부터 제3 사용자 장치(106C)(예를 들어, 컴퓨터화 안경)를 꺼내어 제3 사용자 장치(106C)를 (예를 들어, 그녀의 얼굴에) 사용하기 시작할 수 있다. 중개 장치(들)(102)는 제3 사용자 장치(106C)의 상태(112)의 변경(예를 들어, 패시브(passive)로부터 현재 사용 중임)을 검출/식별할 수 있다. 따라서, 중개 장치(들)(102)는 제3 사용자 장치(106C)가 변경된 상태(112)(예를 들어, 패시브에서 현재 사용 상태)에 적어도 부분적으로 기초하여 디스플레이 장치로서 잠재적인 사용을 위해 계층구조(200)에서 더 높도록 계층구조(200)를 조정할 수 있다.

일부 구현 예에서, 하나 이상의 새로운 사용자 장치(들)가 하나 이상의 계층구조(계층)(200)에 추가될 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 중개 장치(들)(102)는 복수의 사용자 장치(100)(예를 들어, 장치 에코시스템)에 추가되는 하나 이상의 새로운 사용자 장치(들)(118)를 (예를 들어, 연속적으로, 주기적으로, 예정대로) 모니터하도록 구성될 수 있다. 이는 통신 범위(104) 내에 있고 및/또는 사용자와 연관된 장치들을 포함할 수 있다. 예를 들어, 사용자는 새로운 사용자 장치(들)(118)(예를 들어, 랩톱)를 턴-온하고, 사용하기 시작하고, 새로운 사용자 장치(들)(118)의 범위 내에서 이동할 수 있다. 중개 장치(들)(102)는 새로운 사용자 장치(들)(118)가 복수의 사용자 장치들(100)에 추가되었음을 검출하도록 구성될 수 있고(및/또는 통신 범위(104) 내에 있음), 새로운 사용자 장치(들)(118)의 하나 이상의 성능(110) 및/또는 상태(112)를 결정하도록 구성될 수 있다. 또한, 중개 장치(들)(02)는 각각의 새로운 사용자 장치(들)(118)의 하나 이상의 성능(110) 및/또는 상태(112)에 적어도 부분적으로 기초하여, 오디오 장치 및/또는 디스플레이 장치로서 잠재적인 사용을 위해 새로운 사용자 장치(들)(118)를 식별할 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 오디오 장치 및/또는 디스플레이 장치로서 잠재적인 사용을 위해 새로운 사용자 장치(들)(118)를 하나 이상의 계층구조(200)에 추가할 수 있다.

도 2에 도시된 바와 같이, 중개 장치(들)(102)는 오디오 장치 및/또는 디스플레이 장치로서 사용하기 위한 하나 이상의 사용자 장치(들)를 선택하도록 구성될 수 있다. 그 선택은 파라미터들(108)에 적어도 부분적으로 기초할 수 있다. 중개 장치(들)(102)는 오디오 장치로서 사용자 장치들의 서브세트(예를 들어, 106A-D)의 적어도 하나의 사용자 장치(예를 들어, 106A)를 선택하고, 및 각각의 사용자 장치들의 하나 이상의 성능(110) 및/또는 상태(112)에 적어도 부분적으로 기초하여 디스플레이 장치로서 사용자 장치들의 서브세트의 적어도 하나의 사용자 장치(예컨대, 106B)를 선택할 수 있다. 부가적으로 및/또는 대안으로, 중개 장치(들)(102)는 하나 이상의 계층구조(200)에 적어도 부분적으로 기초하여 오디오 장치 및/또는 디스플레이 장치로서 사용하기 위한 사용자 장치(들)를 선택할 수 있다. 예를 들어, 중개 장치(들)(102)는 오디오 장치로서의 복수의 사용자 장치(100) 중 적어도 제1 사용자 장치(예를 들어, 106A)를 선택하고, 디스플레이 장치로서 복수의 사용자 장치 중 적어도 제2 사용자 장치(예컨대, 106B)를 선택할 수 있다. 제1 사용자 장치(106A)는 오디오 장치로서 사용하기에 (예를 들어, 계층 내에서) 가장 선호되고, 순위가 높고, 최상의 우선 순위 장치이며, 제2 사용자 장치(106B)는 (도 2에 도시된 바와 같이) 디스플레이 장치로서 사용하기에 (예를 들어, 계층에서) 가장 선호되고, 순위가 높고, 최상의 우선 순위 장치이다. 가장 선호되고 최상위 순위의 사용자 장치가 오디오 장치 및/또는 디스플레이 장치로 사용 가능하지 않은 경우, 중개 장치(들)(102)는 계층구조(200)에서 다음 사용자 장치를 선택할 수 있다. 일부 구현 예에서, 이는 중개 장치(들)(102)가 오디오 및/또는 디스플레이 장치로서 이용 가능한 하나 이상의 사용자 장치(들)를 발견할 때까지 계속될 수 있다. 일부 구현 예에서, 필요하다면, 중개 장치(들)(102)는 패시브 상태(116B)(예를 들어, 잠긴 화면을 통해 표시되는 비주얼 미디어 콘텐츠)에 있는 사용자 장치를 선택할 수 있다.

도 3은 본 개시의 예시적인 실시 예에 따른 예시적인 시스템(300)을 나타낸다. 도시된 바와 같이, 시스템(300)은 중개 장치(들)(102), 오디오 장치(302) 및 디스플레이 장치(304)를 포함할 수 있다. 상술한 바와 같이, 적어도 제1 사용자 장치(예를 들어, 106A)는 오디오 장치(302)로서 사용될 수 있고 및/또는 적어도 제2 사용자 장치(예컨대, 106B)는 디스플레이 장치(304)로서 사용될 수 있다. 중개 장치(들)(102)는 오디오 장치(302) 및 디스플레이 장치(304)를 통해 상이한 유형의 콘텐츠를 사용자에게 전달하도록 구성될 수 있다.

중개 장치(들)(102)는 메시지(306)를 수신하도록 구성될 수 있다. 메시지(306)는 텍스트 메시지, 이메일 메시지, 캘린더 메시지/초대/리마인더, 팟 캐스트(podcast), 세미나, 오디오 북, 오디오 삽화 북, 텔레비전 프로그램, 라디오 프로그램, 기사, 문서, 소셜 미디어 메시지, 스트리밍 데이터, 및/또는 사용자에 의해 판독 및/또는 청취될 수 있는 임의의 다른 유형의 정보를 포함할 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 다른 컴퓨팅 장치(308)(예컨대, 다른 사용자의 이동 전화기, 클라우드 기반 서버)로부터 메시지(306)(예를 들어, 텍스트 메시지, 이메일 메시지)를 수신할 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 중개 장치(들)(102)와 관련된 또는 중개 장치(들)(102)에 포함된 하나 이상의 메모리 장치(들)로부터 메시지(306)(예를 들어, 팟 캐스트)를 수신, 획득, 액세스 등을 할 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 중개 장치(들)(102)상에서 실행중인 소프트웨어 애플리케이션으로부터 메시지를 수신할 수 있다.

메시지(306)는 상이한 유형의 콘텐츠를 포함할 수 있다. 예를 들어, 메시지(306)는 오디오 콘텐츠(310)와 같은 제1 유형의 콘텐츠 및 비주얼 미디어 콘텐츠(312)와 같은 제2 유형의 콘텐츠를 포함할 수 있다. 오디오 콘텐츠(310)는 청각적으로 생성될 수 있는 오디오 포맷(형식)(예를 들어, WAV, AIFF, AU, FLAG, MPS, 무손실 또는 손실 압축을 갖는 다른 포맷들) 및/또는 청각적으로 생성될 수 있는 포맷으로 변환될 수 있는 텍스트 포맷(예: doc, pdf, txt, html, xml, 기타 포맷)과 같은 다른 포맷의 데이터를 포함할 수 있다. 비주얼 미디어 콘텐츠(312)는 이미지 데이터, 비디오, 이모티콘, 스티커(예: 비트모), 맵, GIF, MIME, 텍스트북 그림, 그래픽 표현(예: 히트 맵), 다이어그램, 애니메이션, 삽화 및/또는 사용자가 볼 수 있는 다른 유형의 정보를 포함할 수 있다. 일부 구현 예에서, 텍스트 포맷의 콘텐츠(예: 굵은 글꼴, 느낌표가 있는 텍스트)는 비주얼 미디어 콘텐츠로 표시되어 사용자에 대한 추가 컨텍스트 정보를 제공할 수도 있다.

중개 장치(들)(102)는 메시지(306)에 포함된 상이한 유형의 콘텐츠를 식별하도록 구성될 수 있다. 예를 들어, 일부 구현 예에서, 메시지(306)는 복수의 필드를 포함하는 메시지 통지로 중개 장치(들)(102)에 의해 수신될 수 있다. 적어도 하나의 필드는 제1 유형의 콘텐츠(예를 들어, 오디오 콘텐츠(310))를 포함할 수 있고, 적어도 하나의 필드는 제2 유형의 콘텐츠(예를 들어, 비주얼 미디어 콘텐츠(312))를 포함할 수 있다. 중개 장치(들)(102)는 상이한 유형의 콘텐츠를 상이한 상태로 분리할 수 있다. 예를 들어, 중개 장치(들)(102)는 비주얼 미디어 콘텐츠(312)로부터 오디오 콘텐츠(310)를 분리할 수 있다. 부가적으로 및/또는 대안적으로, 메시지(306)는 애플리케이션 프로그래밍 인터페이스(API)를 통해 중개 장치(들)(102)에 제공될 수 있으며, 이는 상이한 유형의 콘텐츠의 식별을 허용할 수 있다. 일부 구현 예에서, 오디오 콘텐츠(310) 및/또는 비주얼 미디어 콘텐츠(312)는 API를 통해 중개 장치(들)(102)에 대해 식별될 수 있다.

중개 장치(들)(102)는 상이한 유형의 콘텐츠를 사용자 장치(들)에 송신하도록 구성될 수 있다. 예를 들어, 중개 장치(들)(102)는 제1 유형의 콘텐츠(예를 들어, 오디오 콘텐츠(310))를 기술하는 제1 데이터 세트(314)를 제1 사용자 장치(106A)(예를 들어, 오디오 장치(302)로서 기능하는)에 전송하도록 구성될 수 있다. 제1 사용자 장치(106A)는 제1 사용자 장치(106A)의 사용자를 위해 제1 유형의 콘텐츠(예를 들어, 오디오 콘텐츠(310))를 전달하도록 구성될 수 있다. 중개 장치(들)(102)는 제2 유형의 콘텐츠(예를 들어, 비주얼 미디어 콘텐츠(312))를 기술하는 제2 데이터 세트(316)를 제2 사용자 장치(106B)(예를 들어, 디스플레이 장치(304)로서 기능하는)에 송신하도록 구성될 수 있다. 제2 사용자 장치(106B)는 사용자를 위해 제2 유형의 콘텐츠(예를 들어, 비주얼 미디어 콘텐츠(312))를 디스플레이하도록 구성될 수 있다.

예로서, 중개 장치(들)(102)(예를 들어, 이동 전화기)는 텍스트 메시지를 수신할 수 있다. 텍스트 메시지는 텍스트 데이터(예를 들어, "내 개를 봐. 귀여워?") 및 이미지 데이터(예를 들어, 개 이미지)를 포함할 수 있다. 중개 장치(들)(102)는 텍스트 데이터를 오디오 콘텐츠(310)로 식별하고, 이를 오디오 포맷으로 변환하고 (필요한 경우), 텍스트를 사용자에게 전달하도록 구성될 수 있는 오디오 장치(312)(예를 들어, 블루투스 헤드셋)에 오디오 콘텐츠(310)를 기술하는 데이터를 전송할 수 있다. 또한, 중개 장치(들)(102)(예를 들어, 이동 전화기)는 상기 이미지를 비주얼 미디어 콘텐츠(312)로 식별하고, 비주얼 미디어 콘텐츠(312)를 기술하는 데이터를 사용자를 위한 개 이미지를 디스플레이하도록 구성될 수 있는 디스플레이 장치(304)(예를 들어, 스마트 시계)에 전송하도록 구성될 수 있다.

중개 장치(들)(102)는 제1 사용자 장치(106A)(오디오 장치(302)로서 기능함)의 사용자에게 적절한 시간에 제2 사용자 장치(106B)(디스플레이 장치(304)로서 기능함)상의 비주얼 미디어 콘텐츠(312)를 시청하도록 하는 통지를 제공하도록 구성될 수 있다. 상기 통지는 사용자가 상기 디스플레이 장치(304)상에서 상기 비주얼 미디어 콘텐츠(312)를 볼 수 있음을 나타낼 수 있는 용어, 구, 이어콘(earcon), 톤, 잡음, 진동 등일 수 있다. 예를 들어, 중개 장치(들)(102)는 상기 통지를 기술하는 데이터(320)를 오디오 장치(302)(예를 들어, 제1 사용자 장치(106A))에 전송하도록 구성될 수 있다. 오디오 장치(302)(예를 들어, 제1 사용자 장치(106A))는 오디오 장치(302)의 사용자에게 통지를 전달하도록 구성될 수 있다. 부가적으로 및/또는 대안으로, 중개 장치(들)(102)는 통지를 기술하는 데이터(320)를 디스플레이 장치(304)(예를 들어, 제2 사용자 장치(106B))에 전송하도록 구성될 수 있다. 디스플레이 장치(304)(예를 들어, 제2 사용자 장치(106B))는 사용자에게 통지를 제공하도록 구성될 수 있다.

도 4는 본 발명의 예시적인 실시 예에 따른 예시적인 시스템(300)의 예시적인 사용자 구현예(400)를 나타낸다. 도시된 바와 같이, 중개 장치(들)(102), 오디오 장치(302) 및/또는 디스플레이 장치(304)는 사용자(402)에 의해 착용되거나 다른 방식으로 운반될 수 있는 착용 가능한 장치일 수 있다. 예를 들어, 중개 장치(들)(102)는 사용자(402)의 이동 전화기를 포함할 수 있고, 오디오 장치(302)는 제1 사용자 장치(106A)(예를 들어, 블루투스 헤드셋)를 포함할 수 있고, 디스플레이 장치(304)는 제2 사용자 장치(106B)(예를 들어, 스마트 시계)를 포함할 수 있다. 상술 한 바와 같이, 중개 장치(들)(102)는 오디오 콘텐츠(310)(예를 들어, 텍스트) 및 비주얼 미디어 콘텐츠(312)(예를 들어, 이미지)를 포함하는 메시지(306)(예를 들어, 텍스트 메시지)를 수신할 수 있다. 중개 장치(들)(102)는 메시지(306)의 텍스트를 사용자(402)에게 전달할 수 있는 오디오 장치(302)(예를 들어, 블루투스 헤드셋)에 오디오 콘텐츠(30)(예를 들어, 오디오 포맷된 텍스트)를 기술하는 데이터를 전송할 수 있다. 중개 장치(들)(102)는 또한 메시지(306)의 이미지를 사용자(402)에게 전달할 수 있는 디스플레이 장치(304)(예를 들어, 스마트 시계)에 비주얼 미디어 콘텐츠(312)(예를 들어, 이미지)를 기술하는 데이터를 전송할 수 있다.

사용자(402)가 적절한 시간에 비주얼 미디어 콘텐츠(312)를 볼 수 있게 하기 위해, 중개 장치(들)(102)는 오디오 장치(302)를 통해 사용자(402)에게 통지(404)를 제공할 수 있다. 통지(404)는 예를 들어, "시계를 보세요", "사람 X가 이미지를 보냈고, 시계에서 그것을 볼 수 있습니다", 톤 등과 같은 구(phrase)를 포함할 수 있다. 부가적으로 및/또는 대안으로, 중개 장치(들)(102)는 디스플레이 장치(304)를 통해 사용자(402)에게 통지(406)를 제공할 수 있다. 통지(406)는 예를 들어, 진동, 비주얼 통지(예를 들어, 깜박이는 빛) 등을 포함할 수 있다. 일부 구현 예에서, 통지(406)는 구, 톤 등을 포함할 수 있다. 통지(404, 406)는 오디오 콘텐츠(310)가 사용자(402)에게 전달되기 전에, 오디오 콘텐츠(310)가 사용자(402)에게 전달되는 동안 및/또는 오디오 콘텐츠(310)가 사용자(402)에게 전달된 후에,사용자(402)에게 제공될 수 있다. 이러한 방식으로, 상기 통지는 사용자가 텍스트 메시지를 읽었을 때 비주얼 미디어 콘텐츠를 볼 가능성이 가장 높은 시간에 사용자에게 제공될 수 있다. 이는 복수의 사용자 장치에 대한 개선된 사용자 경험을 사용자에게 제공하는 것을 도울 수 있다.

일부 구현 예에서, 사용자가 더 많이 사용 및/또는 시스템 및 방법에 익숙해지면 통지(들)(404, 406)가 미묘하게 증가할 수 있다. 예를 들어, 통지가 사용자(402)에게 처음 제공될 때 통지(404)는 구(예를 들어, "시계를 보세요")를 포함할 수 있다. 통지의 임계 숫자가 사용자(402)에게 제공되면, 통지(404) 증가할 수 있다. 예를 들어, 일단 임계치에 도달하면, 통지(404)는 구(예를 들어, "시계를 보세요") 대신에 톤(예를 들어, "삐")을 포함할 수 있다. 중개 장치(들)(102) 및/또는 사용자 장치(들)는 사용자(402)에 제공된 통지들의 수, 통지의 임계 수 및/또는 임계 수에 도달했는지의 여부를 결정하고, (예를 들어, 연관된 메모리 장치(들)에서) 저장하도록 구성될 수 있다.

디스플레이 장치(304)는 상이한 시간 방식(time schemes)에 따라 비주얼 미디어 콘텐츠(312)를 디스플레이하도록 구성될 수 있다. 디스플레이 장치(304)는 오디오 콘텐츠(310) 및/또는 통지(404, 406)가 사용자(402)에게 전달되기 전에, 오디오 콘텐츠(310) 및/또는 통지(404, 406)가 사용자(402)에게 전달되는 동안, 및/또는 오디오 콘텐츠(310) 및/또는 통지(404, 406)가 사용자(402)에게 전달되 후에, 비주얼 미디어 콘텐츠(312)를 디스플레이하도록 구성될 수 있다. 예를 들어, 통지(404, 406)는 제1 시간(408)에 오디오 장치(302)의 사용자(402)에게 제공될 수 있고, 디스플레이 장치(304)는 제1 시간(408)에 사용자를 위해 비주얼 미디어 콘텐츠(312)를 디스플레이하도록 구성될 수 있다. 일부 구현 예에서, 디스플레이 장치(304)는 통지(404, 406)가 사용자(402)에게 제공되기 전 또는 후에 시간(예: 고정 시간, 기본 시간, 사용자 정의 시간, 콘텐츠에 따라 가변하는 시간)에 비주얼 미디어 콘텐츠(312)를 디스플레이하기 시작할 수 있다.

일부 구현 예에서, 디스플레이 장치(304)는 시간 기간(410)("tp") 동안 비주얼 미디어 콘텐츠(312)를 디스플레이할 수 있다. 시간 기간(410)은 (예를 들어, 사용자 인터페이스를 통해) 사용자(402)에 의해 설정된 시간 기간 및/또는 디폴트 시간 기간일 수 있다. 일부 구현 예에서, 시간 기간(410)은 비주얼 미디어 콘텐츠(312)의 유형(예를 들어, 비디오, 이미지, 이모지 등)에 적어도 부분적으로 기초하여 변경될 수 있다. 예를 들어, 디스플레이 장치(304)는 그 시간(예를 들어, 제1 시간(408))에서 시작하여, 통지(404, 406)가 사용자(402)에게 제공되기 전 또는 후에 10초, 20초, 30초, 1분 등 동안 이미지를 디스플레이하도록 구성될 수 있다. 다른 예에서, 비주얼 미디어 콘텐츠(312)는 비디오를 포함할 수 있다. 디스플레이 장치(304)는 통지(404, 406)가 사용자(402)에게 제공될 때 (또는 후에) 동시에 비디오를 재생하기 시작할 수 있다. 일부 구현 예에서, 사용자(402)는 비디오를 되감기, 빨리 감기, 재생, 일시 정지, 정지, 종료 등을 하기 위해 디스플레이 장치(304)와 상호 작용할 수 있다.

일부 구현 예에서, 디스플레이 장치(304)는 사용자(402)에 의한 액션에 적어도 부분적으로 기초하여 사용자(402)에게 비주얼 미디어 콘텐츠(312)를 전달하도록 구성될 수 있다. 예를 들어, 디스플레이 장치(304)는 적어도 부분적으로 사용자(402)에 의한 시청 의도 액션(412)에 기초하여 사용자(402)를 위해 비주얼 미디어 콘텐츠(312)를 디스플레이하도록 구성될 수 있다. 시청 의도 액션(412)은 예를 들어, 디스플레이 장치(304)에 의해 검출 가능한 글래스 제스처(glace gesture)일 수 있다. 일부 구현 예에서, 디스플레이 장치(304)는 시청 의도 액션(412)에 응답하여 비주얼 미디어 콘텐츠(312)를 디스플레이하도록 구성될 수 있다. 디스플레이 장치(304)는 (예를 들어, 디스플레이 장치(304)에 의한) 시청 의도 액션(412)의 검출시 시작하는 액션 윈도우 내에 비주얼 미디어 콘텐츠(312)(예를 들어, 이미지)를 디스플레이하도록 구성될 수 있다. 일부 구현 예에서, 디스플레이 장치(304)는 비주얼 미디어 콘텐츠(312)를 디스플레이할 수 있고, 비주얼 미디어 콘텐츠(312)가 계속 디스플레이되도록 하기 위해 시청 의도 액션(412)이 발생해야 하는 시간프레임을 포함할 수도 있다. 일부 구현 예에서, 디스플레이 장치(304)는 사용자(402)가 시청 의도 액션(412)을 수행할 때까지 사용자(402)를 위해 비주얼 미디어 콘텐츠(312)를 디스플레이하지 않도록 할 수 있다.

특정 유형의 비주얼 미디어 콘텐츠에 대해, 디스플레이 장치(304)는 사용자(402)에 제공되는 통지(404, 406)없이 사용자(402)를 위해 디스플레이하도록 구성될 수 있다. 예를 들어, 메시지(306)는 텍스트에 포함된 이모지 내의 텍스트 부분을 포함하는 이메일 메시지를 포함할 수 있다. 본 명세서에 기술된 바와 같이, 오디오 장치(302)는 텍스트 부분을 사용자(402)에게 전달할 수 있다. 중개 장치(들)(102)는 이모지를 나타내는 데이터를 디스플레이 장치(304)에 전송할 수 있다. 디스플레이 장치(304)는 중개 장치(들)(102)가 사용자(402)에게 통지를 제공하지 않고, 텍스트 부분에 이모지가 나타날 때에 사용자(402)를 위해 이모지(emjoi)를 디스플레이할 수 있다. 예를 들면, 디스플레이 장치(304)는 사용자(402)에게 제공되는 통지(404, 406)없이, 오디오 장치(302)가 이모지가 원래 출현한 이메일 텍스트의 문장을 전달하는 동안 이모지(이모티콘)를 디스플레이할 수 있다. 이러한 방식으로, 시스템들 및 방법들은 사용자(402)에게 메시지(306)의 사용자의 컨텍스트 이해를 위해 덜 가치있는 비주얼 미디어 콘텐츠(312)를 수동적으로 제공하도록 구성될 수 있다.

중개 장치(들)(102)는 오디오 콘텐츠(310) 및/또는 비주얼 미디어 콘텐츠(312)가 사용자(402)에게 전달되는 동안에도 오디오 장치(302) 및/또는 디스플레이 장치(304)로서 새로운 장치를 선택하도록 구성될 수 있다. 예를 들어, 중개 장치(102)는 복수의 사용자 장치(100) 중 적어도 하나의 사용자 장치와 관련된 상태(112)의 변화를 결정하도록 구성될 수 있다. 중개 장치(들)(102)는 상태(112)의 변화에 적어도 부분적으로 기초하여 오디오 장치(302) 및/또는 디스플레이 장치(304)로서 다른 사용자 장치(원래 선택된 것과는 다른)를 선택하도록 구성될 수 있다. 예로서, 도 5에 도시된 바와 같이, 오디오 콘텐츠(310)(예를 들어, 메시지의 텍스트)가 오디오 장치(302)(예를 들어, 헤드셋)를 통해 사용자(402)에게 제공되는 동안, 사용자(402)는 사용자의 주머니로부터 제3 사용자 장치(106C)(예를 들어, 컴퓨터화된 안경)를 꺼내어, (예를 들어, 사용자의 얼굴에) 그 장치를 사용하기 시작할 수 있다. 중개 장치(들)(102)는 제3 사용자 장치(106C)의 상태(112)가 (예를 들어, 패시브 상태로부터 현재 사용 상태로) 변경되었음을 검출할 수 있다. 중개 장치(들)(102)는 디스플레이 장치(304)로서 제3 사용자 장치(106C)(예를 들어, 컴퓨터화 된 안경)를 선택하고, 사용자(402)를 위해 비주얼 미디어 콘텐츠(312)를 디스플레이할 수 있는 제3 사용자 장치(106C)에 비주얼 미디어 콘텐츠(312)(예를 들어, 이미지)를 기술하는 데이터를 전송할 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 콘텐츠가 사용자(402)에게 전달되는 동안에도 새로운 사용자 장치(예컨대, 118)의 추가를 검출하고, 오디오 장치(302) 및/또는 디스플레이 장치(304)로서 사용하기 위해 새로운 사용자 장치를 선택할 수 있다.

도 6은 본 발명의 예시적인 실시 예에 따라 메시지 콘텐츠를 관리하는 예시적인 방법(600)의 흐름도를 도시한다. 방법(600)의 하나 이상의 부분(들)은 예를 들어 도 1 및 도 7에 도시된 중개 장치(들) 및/또는 사용자 장치들과 같은 컴퓨팅 장치에 의해 구현될 수 있다. 도 6은 도시 및 설명을 위해 특정 순서로 수행되는 단계를 도시한다. 당업자라면, 본원에 제공된 개시물을 사용하여, 본 명세서에서 설명된 임의의 방법의 단계가 본 개시의 범위를 벗어나지 않으면서 다양한 방식으로 변형, 재배열, 확장, 생략 또는 변형될 수 있음을 이해할 것이다.

단계(602)에서, 방법(600)은 하나 이상의 사용자 장치(들)를 검출하는 단계를 포함할 수 있다. 예를 들어, 하나 이상의 중개 장치(들)(102)(예를 들어, 하나 이상의 컴퓨팅 장치(들))는 하나 이상의 중개 장치(들)(102)의 통신 범위(104) 내의 사용자 장치 및/또는 복수의 사용자 장치들(100)을 검출할 수 있다. 단계(604)에서, 방법(600)은 사용자 장치(들)의 하나 이상의 파라미터(들)를 결정하는 단계를 포함할 수 있다. 예를 들어, 중개 장치(102)는 복수의 사용자 장치들(100)의 적어도 하나의 서브세트에서 각각의 사용자 장치(106A-D)의 하나 이상의 성능(110) 및 상태(112)를 결정할 수 있다. 본 명세서에 설명된 바와 같이, 하나 이상의 성능들(110)은 예를 들어 오디오 성능(114A) 및/또는 디스플레이 성능(114B) 중 적어도 하나를 나타낼 수 있다. (사용자 장치의) 상태(112)는 예를 들어 활성화 상태(116A), 패시브 상태(116B) 및 현재 사용자 상태(116C) 중 적어도 하나를 나타낼 수 있다.

단계(606)에서, 방법(600)은 오디오 장치로서 잠재적인 사용을 위한 하나 이상의 사용자 장치(들)를 식별하는 단계를 포함할 수 있다. 예를 들어, 중개 장치(102)는 각각의 하나 이상의 사용자 장치(들)의 하나 이상의 성능(기능)(110) 및/또는 상태(112)에 적어도 부분적으로 기초하여, 오디오 장치(302)로서 잠재적인 사용을 위해 사용자 장치들의 적어도 서브세트 중 하나 이상의 사용자 장치들(예를 들어, 106A-B, D)을 식별할 수 있다. 전술한 바와 같이, 이는 각각의 하나 이상의 사용자 장치들의 하나 이상의 성능(110) 및/또는 상태(112)에 적어도 부분적으로 기초하여, 오디오 장치(302)로서 잠재적인 사용을 위해 (예를 들어, 중개 장치(들)(102)에 의해) 하나 이상의 사용자 장치들을 랭킹화하는 것을 포함할 수 있다. 예를 들어, 중개 장치(들)(102)는 도 2에 도시된 바와 같이, 오디오 장치(302)로서 잠재적인 사용을 위해 사용자 장치들의 계층구조(200)를 생성할 수 있다.

단계(608)에서, 방법(600)은 디스플레이 장치로서 잠재적인 사용을 위해 하나 이상의 사용자 장치(들)를 식별하는 단계를 포함할 수 있다. 예를 들어, 중개 장치(들)(102)는 각각의 하나 이상의 사용자 장치(들)의 하나 이상의 성능들(110) 및/또는 상태(112)에 적어도 부분적으로 기초하여, 디스플레이 장치(304)로서 잠재적인 사용을 위해 사용자 장치들의 적어도 서브세트의 하나 이상의 사용자 장치(들)(예를 들어, 106B-D)를 식별할 수 있다. 본 명세서에 기술된 바와 같이, 이는 각각의 하나 이상의 사용자 장치(들)의 하나 이상의 성능(10) 및 상태(112)에 적어도 부분적으로 기초하여, 하나 이상의 중개 장치(102)에 의해 디스플레이 장치 (304)로서 잠재적인 사용을 위한 하나 이상의 사용자 장치들을 랭킹화하는 것을 포함할 수 있다. 예를 들어, 중개 장치(들)(102)는 각각의 사용자 장치(들)의 성능(110) 및/또는 상태(112)에 적어도 부분적으로 기초하여, 디스플레이 장치(304)로서 잠재적인 사용을 위해 사용자 장치(들)의 계층구조(200)를 생성할 수 있다. 일부 구현 예에서, 중개 장치(102)는 상술한 바와 같이 오디오 장치(302) 및/또는 디스플레이 장치(304)로서 잠재적인 사용을 위해 중개 장치(들) 중 하나 이상을 식별할 수 있다.

단계(610)에서, 방법(600)은 오디오 장치 및 디스플레이 장치를 선택하는 단계를 포함할 수 있다. 중개 장치(들)(102)는 파라미터(108), 하나 이상의 계층구도(200) 등에 적어도 부분적으로 기초하여, 오디오 장치(302) 및/또는 디스플레이 장치(304)로서 사용하기 위해 하나 이상의 사용자 장치(들)를 선택할 수 있다. 예를 들어, 중개 장치(들)(102)는 오디오 장치(302)로서 사용하기 위해 복수의 사용자 장치(100) 중 제1 사용자 장치(106A)를 선택할 수 있고, 디스플레이 장치(304)로서 사용하기 위해 복수의 사용자 장치(100) 중 제2 사용자 장치(106B)를 선택할 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 오디오 장치(302) 및/또는 디스플레이 장치(304)와 상이한 장치들일 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 또한 오디오 장치(302) 및/또는 디스플레이 장치(304)로서 기능할 수 있다. 상술한 바와 같이, 하나 이상의 중개 장치(들)(102)(예를 들어, 컴퓨팅 장치들), 오디오 장치(302), 및/또는 디스플레이 장치(304) 중 적어도 하나는 착용 가능한 장치일 수 있다.

부가적으로 및/또는 대안적으로, 중개 장치(들)(102)(예를 들어, 컴퓨팅 장치들), 오디오 장치(302) 및/또는 디스플레이 장치(304) 중 적어도 하나는 착용 불가 장치일 수 있다. 예로서, 복수의 사용자 장치(들)는 사용자 집 내의 통합 장치(예를 들어, 구글 Chromecast®), 스피커 시스템 및 텔레비전을 포함할 수 있다. 통합 장치는 사용자의 집의 장치 에코시스템에서 다른 장치를 검출할 수 있는 중개 장치(들)(102)로서 기능할 수 있다. 통합 장치는 디스플레이 장치(304)로서 사용하기 위해 오디오 장치(302) 및 텔레비전으로서 사용하기 위한 스피커 시스템을 선택할 수 있다.

단계(612) 및 (614)에서, 방법(600)은 메시지를 수신하고, 오디오 콘텐츠 및 메시지의 비주얼 미디어 콘텐츠를 식별하는 단계를 포함할 수 있다. 예를 들어, 중개 장치(들)(102)는 오디오 콘텐츠(310) 및 비주얼 미디어 콘텐츠(312)를 포함하는 메시지(306)를 수신할 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 메시지(306)를 수신하기 전, 동안 및/또는 후에 단계(602) 내지 단계 (610) 중 하나 이상을 수행할 수 있다. 중개 장치(들)(102)는 본 명세서에 설명된 바와 같이, 메시지(306)에 포함된 오디오 콘텐츠(310) 및 비주얼 미디어 콘텐츠(312)를 식별할 수 있다. 중개 장치(들)(102)는 오디오 콘텐츠(310)를 기술하는 제1 데이터 세트(314)를 오디오 장치(302)에 전송할 수 있고(단계 616), 비주얼 미디어 콘텐츠(312)를 기술하는 제2 데이터 세트(316)를 디스플레이 장치(304)에 전송할 수 있다(단계618). 오디오 장치(302)는 오디오 장치(302)의 사용자(402)에게 오디오 콘텐츠(310)를 전달하도록 구성될 수 있고, 디스플레이 장치(304)는 사용자(402)를 위해 비주얼 미디어 콘텐츠(312)를 디스플레이하도록 구성될 수 있다. 일부 구현 예에서, 디스플레이 장치(304)는 오디오 장치(302)가 오디오 콘텐츠(310)를 사용자에게 전달하는 동안 비주얼 미디어 콘텐츠(312)를 디스플레이하도록 구성될 수 있다.

예를 들어, 중개 장치(들)(102)로서 기능하는 통합 장치(예컨대, Chromecast®)는 교육 세미나 팟캐스트와 같은 메시지(306)를 수신할 수 있다. 통합 장치는 팟캐스트를 청취하면서 사용자(402)에게 제시될 임의의 비주얼 미디어 콘텐츠(312)(예: 다이어그램, 차트, 정보 그래픽이 포함된 프레젠테이션)뿐만 아니라 팟캐스트의 오디오 콘텐츠(310)(예를 들어, 강의 부분)를 식별할 수 있다. 상기 통합 장치는 강의를 기술하는 데이터를 오디오 장치(302)(예를 들어, 스피커 시스템)에 전송하고, 디스플레이 장치(304)(예를 들어, 텔레비전)에 상기 프레젠테이션을 기술하는 데이터를 전송할 수 있다. 스피커 시스템은 사용자(402)를 위한 강의(예를 들어, 오디오 콘텐츠)를 재생하도록 구성될 수 있고, 텔레비전은 사용자(402)를 위한 해당 비주얼 미디어 콘텐츠(312)(예: 다이어그램, 차트, 정보 그래픽이 포함된 프레젠테이션)를 디스플레이하도록 구성될 수 있다.

단계(620)에서, 방법(600)은 시청 가능한 비주얼 미디어 콘텐츠를 사용자에게 통지하는 단계를 포함할 수 있다. 예를 들어, 중개 장치(들)(102)는 디스플레이 장치(304)상의 비주얼 미디어 콘텐츠(312)를 보기 위해 오디오 장치(302)의 사용자에게 통지를 제공할 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 통지(404)를 기술하는 데이터(320)를 오디오 장치(302)에 전송하고, 오디오 장치(302)(예를 들어, 스피커 시스템)는 오디오 장치(304)의 사용자에게 통지(404)(예를 들어, "TV를 시청하세요"하는 구)를 전달하도록 구성된다. 이 통지는 제1 시간(408)에 오디오 장치(302)의 사용자에게 제공될 수 있고, 디스플레이 장치(304)는 제1 시간(408)에 사용자를 위해 비주얼 미디어 콘텐츠(312)를 디스플레이하도록 구성될 수 있다. 예를 들어, 상기 스피커 시스템은 강의에서 설명되는 다이어그램이 텔레비전에 디스플레이될 때 텔레비전을 시청하도록 사용자에게 통신할 수 있다. 본 명세서에 설명된 바와 같이, 일부 구현 예에서, 통지는 오디오 장치(302)의 사용자에게 전달될 수 있고, 디스플레이 장치(304)는 사용자에 의한 시청 의도 액션(예: 눈짓 제스처)에 적어도 부분적으로 기초하여 사용자를 위한 비주얼 미디어 콘텐츠(312)를 디스플레이하도록 구성될 수 있다.

일부 구현 예에서, 단계(622)에서, 방법(600)은 사용자 장치 상태의 변화를 결정하고, 오디오 장치 및/또는 디스플레이 장치로서 하나 이상의 다른 사용자 장치를 선택하는 단계를 포함함 수 있다(단계 624). 예를 들어, 중개 장치(들)(102)는 복수의 사용자 장치(100) 중 적어도 하나의 사용자 장치와 관련된 상태(112)의 변화를 결정할 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 상태(112)의 변화에 적어도 부분적으로 기초하여 오디오 장치(302)로서 제1 사용자 장치(106A)와는 다른 사용자 장치를 선택할 수 있다. 예를 들어, 통합 장치가 사용자가 태블릿을 사용하기 시작한 것을 감지하면, (중개 장치(02)로서 기능하는) 통합 장치는 (스피커 시스템 대신에) 사용자에게 강의를 전달하기 위해 태블릿을 선택할 수 있다. 일부 구현 예에서, 중개 장치(들)(102)는 (예를 들어, 도 5에 도시된 바와 같이) 상태(112)의 변화에 적어도 부분적으로 기초하여 디스플레이 장치(304)로서 제2 사용자 장치(106B)와는 다른 사용자 장치를 선택할 수 있다.

도 7은 본 개시의 예시적인 실시 예에 따른 예시적인 시스템(700)을 나타낸다. 시스템(700)은 하나 이상의 중개 장치(들)(702) 및 하나 이상의 사용자 장치(들)(704)를 포함할 수 있다. 중개 장치(들)(702)는 여기에 설명된 바와 같이 중개 장치(들)(예를 들어, 102)에 대응할 수 있다. 사용자 장치(들)(704)는 여기에 설명된 바와 같이 사용자 장치(들)(예를 들어, 106A-D, 118)에 대응할 수 있다. 중개 장치(들)(702) 및 사용자 장치(들)(704)는 웨어러블 및/또는 비-웨어러블 사용자 장치들의 에코시스템과 같은 복수의 사용자 장치(예컨대, 100)에 포함될 수 있다. 또한, 중개 장치(들)(702) 및 사용자 장치(들)(704)는 하나 이상의 네트워크(들)(706)를 통해 서로 통신할 수 있다.

중개 장치(들)(702)는 하나 이상의 컴퓨팅 장치(들)(708)을 포함할 수 있다. 하나 이상의 컴퓨팅 장치(들)(708)는 하나 이상의 프로세서(들)(710A) 및 하나 이상의 메모리 장치(들)(710B)를 포함할 수 있다. 프로세서(들)(710A)는 임의의 적절한 처리 장치, 예컨대 마이크로프로세서, 마이크로 컨트롤러, 집적 회로, ASIC(application specific integrated circuit), 디지털 신호 프로세서 (DSP), FPGA(field-programmable gate array), 로직 장치, 하나 이상의 중앙 처리 장치(CPU), 이미지를 효율적으로 렌더링하거나 다른 특수한 계산을 수행하는 전용 그래픽 처리 장치(GPU)를 포함할 수 있다. 메모리 장치(들)(710B)는 비일시적 컴퓨터 판독 가능 매체, RAM, ROM, 하드 드라이브, 플래시 메모리, 또는 다른 메모리 장치를 포함하는 하나 이상의 컴퓨터 판독 가능 매체를 포함할 수 있지만, 이에 제한되지는 않는다.

메모리 장치(들)(710B)는 프로세서(들)(710A)에 의해 실행될 수 있는 명령어들(710C)을 포함하는 프로세서(들)(710A)에 의해 액세스 가능한 정보를 저장할 수 있다. 명령어들(710C)은 임의의 적합한 프로그래밍 언어로 작성된 소프트웨어 일 수 있거나 하드웨어로 구현될 수 있다. 부가적으로 및/또는 택일적으로, 명령어들(710C)은 프로세서(들)(710A)상의 논리적으로 및/또는 사실상 분리된 스레드들로 실행될 수 있다.

명령어들(710A)은 프로세서(들)(710A)(및/또는 컴퓨팅 시스템(700))으로 하여금 동작들을 수행하도록 프로세서(들)(710A)에 의해 실행될 수 있다. 예를 들어, 시스템(700)의 중개 장치(들)(702)는 하나 이상의 프로세서(들)(710A)에 의해 실행될 때 하나 이상의 프로세서(들)(710A)(및/또는 컴퓨팅 시스템)로 하여금 동작들을 수행하게 하는 컴퓨터 판독 가능 명령어들을 저장하는 하나 이상의 유형의 비-일시적인 컴퓨터 판독 가능 매체를 포함할 수 있다. 상기 동작들은 중개 장치(들)(702)가 구성되는 임의의 동작들 및 기능들을 포함할 수 있고, 중개 장치(들)(102)의 동작 및 기능 중 임의의 것을 포함할 수 있고, 메시지 콘텐츠를 관리하기 위한 동작 및 기능(예컨대, 방법(600))을 포함할 수 있고, 및/또는 중개 장치(들)(102)의 임의의 다른 동작 또는 기능을 포함할 수 있다. 예로서, 상기 동작들은, 통신 범위 내의 복수의 사용자 장치를 검출하는 동작, 복수의 사용자 장치들의 적어도 서브세트의 각 사용자 장치의 하나 이상의 성능 및 상태를 결정하는 동작, 각각의 사용자 장치들의 하나 이상의 성능 및 상태에 적어도 부분적으로 기초하여, 오디오 장치로서 상기 사용자 장치들의 서브세트의 적어도 하나의 사용자 장치 및 디스플레이 장치로서 상기 사용자 장치들의 서브세트의 적어도 하나의 사용자 장치를 선택하는 동작, 오디오 콘텐츠 및 비주얼 미디어 콘텐츠를 포함하는 메시지를 수신하는 동작, 상기 오디오 콘텐츠를 기술하는 제1 데이터 세트를 상기 오디오 장치에 전송하는 동작, 상기 비주얼 미디어 콘텐츠를 기술하는 제2 데이터 세트를 디스플레이 장치에 전송하는 동작 및/또는 상기 디스플레이 장치상에서 상기 비주얼 미디어 콘텐츠를 시청하기 위한 통지를 상기 오디오 장치의 사용자에게 제공하는 동작을 포함할 수 있다.

명령어들(710C)은 메시지 콘텐츠의 유형을 식별하기 위해 프로세서 (들)(710A)에 의해 실행될 수 있다. 일부 구현 예에서, 명령어들(710C)은 메시지의 오디오 콘텐츠를 오디오 장치의 사용자에게 전달되는 포맷으로 변환하기 위해 프로세서(들)(710A)에 의해 실행될 수 있다. 예를 들어, 명령어들(710C)은 프로세서(들)(710C)로 하여금 텍스트 콘텐츠를 나타내는 데이터를 파싱하고, 그 데이터를 사용자를 위해 청각적으로 생성될 수 있는 포맷으로 변환하도록 프로세서에 의해 실행될 수 있다.

하나 이상의 메모리 장치(710B)는 또한 하나 이상의 프로세서(들)(710A)에 의해 검색, 조작, 생성 또는 저장될 수 있는 데이터(710D)를 포함할 수 있다. 예를 들면, 데이터(710D)는 메시지(306), 오디오 콘텐츠(310) 및/또는 비주얼 미디어 콘텐츠(312)를 기술하는 데이터 (314, 316), 파라미터(108)와 관련된 데이터, 하나 이상의 계층구조(200)와 관련된 데이터, 시스템(700)의 다른 컴포넌트와 관련된 데이터, 통지와 연관된 데이터(예를 들어, 404, 406) 및/또는 여기에 설명된 기타 데이터/정보를 포함할 수 있다.

일부 구현 예에서, 컴퓨팅 장치(들)(708)는 오디오 출력 컴포넌트(710F) 및/또는 디스플레이 출력 컴포넌트(710F)를 포함할 수 있다. 오디오 출력 컴포넌트(710E)는 사용자를 위한 오디오 콘텐츠를 청각적으로 생성하기 위한 하드웨어를 포함할 수 있다. 예를 들어, 오디오 출력 컴포넌트(710E)는 하나 이상의 스피커(들), 이어폰(들), 헤드셋(들), 핸드셋(들) 등을 포함할 수 있다. 디스플레이 출력 장치(710F)는 사용자를 위해 비주얼 미디어 콘텐츠를 디스플레이하기 위한 하드웨어를 포함할 수 있다. 예를 들어, 디스플레이 출력 장치(710F)는 디스플레이 스크린, CRT, LCD, 플라즈마 스크린, 터치 스크린, TV, 프로젝터 등을 포함할 수 있다. 일부 구현 예에서, 컴퓨팅 장치(들)(708)는 하나 이상의 센서(들)(710G)를 포함할 수 있다. 센서(들)(710G)는 모션 센서, 위치 센서, 열 센서, 가속도계, 자이로스코프 및/또는 다른 유형의 센서를 포함할 수 있다. 센서(들)(710G)는 예를 들어, 사용자에 의한 시청 의도 액션(예를 들어, 눈짓 제스처)을 검출하도록 구성될 수 있다.

컴퓨팅 장치(들)(708)는 또한 데이터를 송신 및/또는 수신하기 위해 시스템(700)(예를 들어, 사용자 장치(들)(704))의 하나 이상의 다른 컴포넌트들과 통신하는 데 사용되는 통신 인터페이스(710H)를 포함할 수 있다. 통신 인터페이스(710H)는 송신기, 수신기, 포트, 제어기, 안테나, 또는 다른 적절한 컴포넌트를 포함하여, 예를 들면, 하나 이상의 네트워크(들)과 인터페이스하기 위한 임의의 적합한 컴포넌트를 포함할 수 있다.

사용자 장치(들)(704)는 하나 이상의 프로세서(들)(712A) 및 하나 이상의 메모리 장치(들)(712B)를 포함할 수 있다. 프로세서(들)(712A)는 임의의 적절한 처리 장치, 예컨대 마이크로프로세서, 마이크로컨트롤러, 집적 회로, ASIC(application specific integrated circuit), 디지털 신호 프로세서(DSP), FPGA(field-programmable gate array), 로직 장치, 하나 이상의 중앙 처리 장치(CPU), 이미지 렌더링 또는 다른 특수한 계산을 수행하기 위한 그래픽 처리 장치(GPU)를 포함할 수 있다. 메모리 장치(들)(712B)는 비-일시적 컴퓨터 판독 가능 매체, RAM의 ROM, 하드 드라이브, 플래시 메모리, 또는 다른 메모리 장치를 포함하는 하나 이상의 컴퓨터 판독 가능 매체를 포함하지만, 이에 한정되지는 않는다.

메모리 장치(들)(712B)는 프로세서(들)(710A)에 의해 실행될 수 있는 명령어들(712C)을 포함하는 프로세서(들)(712A)에 의해 액세스 가능한 정보를 저장할 수 있다. 명령어들(712C)은 적절한 프로그래밍 언어로 작성된 소프트웨어이거나 하드웨어로 구현될 수 있다. 부가적으로 및/또는 대안적으로, 명령어들(712C)은 프로세서(들)(712A)상의 논리적으로 및/또는 사실상 분리된 스레드들로 구현될 수 있다. 명령어들(710A)은 프로세서(들)(710A)(및/또는 사용자 장치(들)(704))로 하여금 동작들을 수행하도록 프로세서(710A)에 의해 실행될 수 있다. 예를 들어, 시스템(700)의 사용자 장치(들)(704)는 하나 이상의 프로세서(들)(712A)에 의해 실행될 때 하나 이상의 프로세서(들)(712A)로 하여금 동작들을 수행하게 하는 컴퓨터 판독 가능 명령어들을 저장하는 하나 이상의 유형의 비-일시적인 컴퓨터 판독 가능 매체를 포함할 수 있다. 상기 동작들은 사용자 장치(들)(106A-D, 118)가 구성되는 임의의 동작들 및 기능들을 포함할 수 있고, 사용자 장치(들)(106A-D, 118)의 동작 및 기능 중 임의의 것을 포함할 수 있고, 통지 및/또는 메시지 콘텐츠를 수신 및 전달하기 위한 동작 및 기능, 및/또는 사용자 장치(들)의 임의의 다른 동작 또는 기능을 포함할 수 있다.

하나 이상의 메모리 장치(712B)는 하나 이상의 프로세서(들)(712A)에 의해 검색, 조작, 생성 또는 저장될 수 있는 데이터(712D)를 포함할 수 있다. 데이터(712D)는 예를 들어, 오디오 콘텐츠(310) 및/또는 비주얼 미디어 콘텐츠(312)를 기술하는 데이터(314, 316), 파라미터(108)와 관련된 데이터, 하나 이상의 계층구조(200)와 관련된 데이터, 사용자와 관련된 데이터, 시스템(700)의 다른 컴포넌트와 관련된 데이터, 통지(예를 들어, 404, 406) 및/또는 임의의 다른 데이터/정보와 연관된 데이터(320)를 포함할 수 있다.

일부 구현 예에서, 사용자 장치(들)(704)는 오디오 출력 컴포넌트(712F) 및/또는 디스플레이 출력 컴포넌트(712F)를 포함할 수 있다. 오디오 출력 컴포넌트(712E)는 사용자를 위해 오디오 콘텐츠를 청각적으로 생성하기 위한 하드웨어를 포함할 수 있다. 예를 들어, 오디오 출력 컴포넌트(712E)는 하나 이상의 스피커(들), 이어폰(들), 헤드셋(들), 핸드셋(들) 등을 포함할 수 있다. 디스플레이 출력 장치(712F)는 사용자를 위해 비주얼 미디어 콘텐츠를 디스플레이하기 위한 하드웨어를 포함할 수 있다. 예를 들어, 디스플레이 출력 장치(712F)는 디스플레이 스크린, CRT, LCD, 플라즈마 스크린, 터치 스크린, TV, 프로젝터 등을 포함할 수 있다. 일부 구현 예에서, 사용자 장치(들)(704)는 하나 이상의 센서(들)(712G)를 포함할 수 있다. 센서(들)(712G)는 모션 센서, 위치 센서, 열 센서, 가속도계, 자이로스코프, 및/또는 다른 유형의 센서를 포함할 수 있다. 센서(들)(712G)는 예를 들어, 사용자에 의한 시청 의도 행동(예를 들어, 글랜스 제스처(glance gesture))을 검출하도록 구성될 수 있다.

사용자 장치(들)(704)는 또한 데이터를 제공 및/또는 수신하기 위해 시스템(700)의 하나 이상의 다른 컴포넌트(예를 들어, 중개 장치(들)(702))와 통신하는데 사용되는 통신 인터페이스(712H)를 포함할 수 있다. 통신 인터페이스(712H)는 송신기, 수신기, 포트, 제어기, 안테나, 또는 다른 적절한 컴포넌트를 포함하는, 예를 들면, 하나 이상의 네트워크(들)과 인터페이스하기 위한 임의의 적합한 컴포넌트를 포함할 수 있다.

네트워크(706)는 근거리 통신망(예컨대, 인트라넷), 광역 네트워크(예를 들어, 인터넷), 셀룰러 네트워크, 또는 이들의 조합과 같은 임의의 유형의 통신 네트워크일 수 있다. 네트워크(706)는 중개 장치(들)(702) 및 사용자 장치(들)(704) 간의 직접(유선 및/또는 무선) 연결을 포함할 수 있다. 일반적으로, 중개 장치(들)(702) 및 사용자 장치(들)(704) 간의 통신은 다양한 유형의 유선 및/또는 무선 연결을 사용하는 네트워크 인터페이스를 통해 다양한 통신 프로토콜(예: TCP / IP, HTTP, SMTP, FTP), 인코딩 또는 포맷(예: HTML, XML) 및/또는 보호 체계(예: VPN, 보안 HTTP, SSL)를 사용하여 수행될 수 있다.

여기서 설명하는 기술은 서버, 데이터베이스, 소프트웨어 애플리케이션 및 기타 컴퓨터 기반 시스템뿐만 아니라 취해진 액션 및 시스템과의 송/수신 정보를 참조한다. 당업자는 컴퓨터 기반 시스템의 본래의 유연성이 컴포넌트들 사이에서 가능한 많은 구성, 조합 및 분할을 허용한다는 것을 인식하고자 한다. 예를 들어 서버 프로세스는 단일 서버 또는 여러 서버가 결합하여 구현될 수 있다. 데이터베이스 및 애플리케이션은 단일 시스템에서 구현되거나 여러 시스템에 분산될 수 있다. 분산 컴포넌트는 순차적으로 또는 병렬로 작동할 수 있다. 또한, 서버에서 수행되는 바와 같이 여기에 설명된 컴퓨팅 작업은 사용자 장치에서 수행될 수 있다. 마찬가지로, 사용자 장치(예: 중개 장치)에서 수행되는 바와 같이, 여기에 설명된 컴퓨팅 작업은 서버에서 수행할 수 있다.

본 발명은 특정 실시 예 및 방법과 관련하여 상세하게 설명되었으며, 이는 당업자가 상술한 이해를 통해 그러한 분야의 개조물, 변형물 및 등가물을 쉽게 생산할 수 있다. 따라서, 본 개시의 범위는 제한이 아닌 예를 위한 것이며, 본 발명은 본 발명의 요지에 변형, 수정 및/또는 추가를 포함하는 것을 배제하지 않으며, 당업자가 쉽게 알 수 있는 것처럼 현재 요지에 대한 추가사항을 배제하지 않는다.

Claims

서로 다른 장치를 통한 오디오 및 비주얼 콘텐츠의 전달을 관리하기 위한 중개 장치의 역할을 하도록 구성된 컴퓨팅 장치로서,
디스플레이;
오디오 장치와의 무선 통신을 위한 인터페이스; 그리고
디스플레이 및 인터페이스와 통신하는 하나 이상의 프로세서를 포함하며, 하나 이상의 프로세서는,
메시지 콘텐츠를 오디오 데이터 및 비주얼 데이터로 파싱(parse)하고 -오디오 데이터는 비주얼 데이터와는 다름-;
사용자에게 오디오 데이터를 전달하기 위한 오디오 장치를 선택하고 -오디오 장치는 컴퓨팅 장치에 무선으로 연결됨-; 그리고
디스플레이를 통한 비주얼 데이터의 전달과 오디오 장치를 통한 오디오 데이터의 전달을 조정(coordinate)하도록 구성되며,
상기 하나 이상의 프로세서는 상기 디스플레이 상에서 상기 비주얼 데이터를 시청하도록 하는 정보를 상기 오디오 장치에 제공하도록 구성되는 것을 특징으로 하는 컴퓨팅 장치.
제1항에 있어서, 상기 메시지를 파싱하는 것은 텍스트를 식별하고, 식별된 텍스트를 오디오로 변환하는 것을 포함하는 것을 특징으로 하는 컴퓨팅 장치.
제1항에 있어서, 상기 메시지는 다른 장치로부터 수신되는 것을 특징으로 하는 컴퓨팅 장치.
제1항에 있어서, 상기 컴퓨팅 장치는 웨어러블 장치인 것을 특징으로 하는 컴퓨팅 장치.
제1항에 있어서, 상기 오디오 장치는 웨어러블 장치인 것을 특징으로 하는 컴퓨팅 장치.
제1항에 있어서, 상기 오디오 장치를 선택하는 것은 복수의 장치 중에서 우선순위(priority) 장치를 결정하는 것을 특징으로 하는 컴퓨팅 장치.
제6항에 있어서, 우선순위는 상기 복수의 장치의 동작 상태에 기초하는 것을 특징으로 하는 컴퓨팅 장치.
제1항에 있어서, 상기 오디오 데이터의 전달과 상기 비주얼 데이터의 전달을 조정하는 것은 상기 오디오 데이터 및 상기 비주얼 데이터를 사용자에게 전달하는 타이밍을 동기화하는 것을 포함하는 것을 특징으로 하는 컴퓨팅 장치.
제1항에 있어서, 상기 오디오 데이터의 전달과 상기 비주얼 데이터의 전달을 조정하는 것은 상기 디스플레이상에서 비주얼 데이터가 이용 가능하다는 알림을 상기 오디오 장치를 통해 제공하는 것을 특징으로 하는 컴퓨팅 장치.
제1항에 있어서, 상기 컴퓨팅 장치는 미디어 스트리밍을 위한 장치를 포함하는 것을 특징으로 하는 컴퓨팅 장치.
중개 장치에 의해, 서로 다른 장치를 통한 오디오 및 비주얼 콘텐츠의 전달을 관리하는 방법으로서,
하나 이상의 프로세서에 의해, 메시지 콘텐츠를 오디오 데이터 및 비주얼 데이터로 파싱(parse)하는 단계 -오디오 데이터는 비주얼 데이터와는 다름-;
하나 이상의 프로세서에 의해, 사용자에게 오디오 데이터를 전달하기 위한 오디오 장치를 선택하는 단계 -오디오 장치는 중개 장치의 통신 인터페이스를 통해 중개 장치에 무선으로 연결됨-; 그리고
하나 이상의 프로세서에 의해, 선택된 오디오 장치를 통한 오디오 데이터의 전달과 중개 장치의 디스플레이를 통한 비주얼 데이터의 전달을 조정(coordinate)하는 단계를 포함하며, 상기 하나 이상의 프로세서는 상기 디스플레이 상에서 상기 비주얼 데이터를 시청하도록 하는 정보를 상기 오디오 장치에 제공하도록 구성되는 것을 특징으로 하는 방법.
제11항에 있어서, 상기 메시지를 파싱하는 단계는 텍스트를 식별하고, 식별된 텍스트를 오디오로 변환하는 단계를 포함하는 것을 특징으로 하는 방법.
제11항에 있어서, 상기 메시지는 다른 장치로부터 수신되는 것을 특징으로 하는 방법.
제11항에 있어서, 상기 중개 장치는 웨어러블 장치인 것을 특징으로 하는 방법.
제11항에 있어서, 상기 오디오 장치는 웨어러블 장치인 것을 특징으로 하는 방법.
제11항에 있어서, 상기 오디오 장치를 선택하는 단계는 복수의 장치 중에서 우선순위(priority) 장치를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
제16항에 있어서, 우선순위는 상기 복수의 장치의 동작 상태에 기초하는 것을 특징으로 하는 방법.
제11항에 있어서, 상기 오디오 데이터의 전달과 상기 비주얼 데이터의 전달을 조정하는 단계는 상기 오디오 데이터 및 상기 비주얼 데이터를 사용자에게 전달하는 타이밍을 동기화하는 단계를 포함하는 것을 특징으로 하는 방법.
제11항에 있어서, 상기 오디오 데이터의 전달과 상기 비주얼 데이터의 전달을 조정하는 단계는 상기 디스플레이상에서 비주얼 데이터가 이용 가능하다는 알림을 상기 오디오 장치를 통해 제공하는 것을 특징으로 하는 방법.
제11항에 있어서, 상기 중개 장치는 미디어 스트리밍을 위한 장치를 포함하는 것을 특징으로 하는 방법.