KR102286898B1

KR102286898B1 - 음성 메모 및 통화의 혼성화

Info

Publication number: KR102286898B1
Application number: KR1020207023741A
Authority: KR
Inventors: 조나단 브로디; 매튜 하노버; 차말 사마라나야크; 윌리엄 우
Original assignee: 스냅 인코포레이티드
Priority date: 2014-11-26
Filing date: 2015-11-24
Publication date: 2021-08-09
Also published as: EP3224706A1; KR20170107978A; WO2016085936A1; CN118656013A; KR20200100867A; KR20200023515A; US10775996B2; US11256414B2; US20240248598A1; KR20190020185A; US20200371682A1; CN107111430A; US20160147435A1; CN113268191B; KR102083401B1; EP3598287A1; EP3224706B1; US11977732B2; CN113268191A; US20220137810A1

Abstract

시스템 및 방법이 클라이언트 디바이스의 사용자 인터페이스와의 사용자 상호작용을 수신하고, 현재의 통신 모드 및 원하는 통신 모드를 결정하고, 여기서, 원하는 통신 모드는 센서 모듈에 의해 수신된 사용자 상호작용에 기초하여 결정된다. 시스템은 또한, 원하는 통신 모드를 현재의 통신 모드로서 설정하고, 원하는 통신 모드가 현재의 통신 모드로서 설정되는 것에 기초하여 클라이언트 디바이스의 사용자 인터페이스의 프리젠테이션을 야기한다.

Description

음성 메모 및 통화의 혼성화{HYBRIDIZATION OF VOICE NOTES AND CALLING}

관련 출원들

본 출원은, 참조로 그 전체가 본 명세서에 포함되는, 2014년 11월 26일 출원된 미국 가출원 제62/085,209호와, 2015년 2월 24일 출원된 미국 가출원 제62/119,963호의 우선권 혜택을 주장하는, 2015년 11월 23일 출원된 미국 출원 제14/949,785호의 우선권 혜택을 주장한다.

기술분야

본 개시내용의 실시예들은 일반적으로 데이터의 처리에 관한 것이다. 제한으로서가 아니라, 더욱 구체적으로, 본 발명은 텍스트 기반 통신, 음성 메모, 및 음성 통신의 혼성화를 위한 시스템 및 방법에 관한 것이다.

통신 애플리케이션은, 텍스트, 이미지, 사운드 녹음, 및/또는 비디오 녹화 등의 다양한 매체를 이용하여 복수의 사용자들 사이에서 통신을 제공할 수 있다. 이들 애플리케이션들은 일반적으로 단일 매체(예를 들어, 텍스트 또는 음성)의 통신에 관한 것이다. 상이한 매체들을 이용하여 통신하는 복수의 애플리케이션들 사이에서 전환하는 것은, 사용자가 하나의 애플리케이션 이용을 중단하고 또 다른 애플리케이션의 이용을 시작할 것을 요구하므로, 번거로울 수 있다. 따라서, 통신 애플리케이션들과 연관된 경험을 향상시킬 필요성이 커지고 있다.

첨부된 도면의 다양한 도면들은 본 개시내용의 예시적인 실시예를 나타낼 뿐이고 그 범위를 제한하는 것으로서 간주되어서는 안 된다.
도 1은 일부 예시적인 실시예에 따른 네트워킹된 시스템을 나타내는 블록도이다.
도 2는 일부 예시적 실시예에 따른 통신 혼성화 시스템을 나타내는 도면이다.
도 3은 일부 예시적인 실시예에 따른 사용자 인터페이스와 연관하여 제스처를 이용하여 통신을 혼성화하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 4는 일부 예시적인 실시예에 따른 통신을 혼성화하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 5는 일부 예시적인 실시예에 따른 채팅 세션에 참여하기 위한 통신 타입들을 혼성화하기 위한 예시적인 방법을 나타내는 흐름도이다.
도 6은 일부 예시적인 실시예에 따른 통신 모드에서 변경을 야기하는 예시적인 사용자 상호작용을 나타낸다.
도 7a 내지 도 7c는 일부 예시적인 실시예에 따른 통신 모드에서의 변경을 야기하는 예시적인 사용자 상호작용을 나타낸다.
도 8 내지 도 14는 일부 예시적인 실시예에 따른 텍스트 및 음성 메모의 조합을 수신하도록 구성된 예시적인 사용자 인터페이스를 나타낸다.
도 15는 일부 예시적인 실시예에 따른 예시적인 모바일 디바이스 및 모바일 운영 체제 인터페이스를 도시한 사용자 인터페이스 도면이다.
도 16은 일부 예시적인 실시예에 따른 머신 상에 설치될 수 있는 소프트웨어 아키텍처의 예를 나타내는 블록도이다.
도 17은 예시적인 실시예에 따른 머신으로 하여금 여기서 논의된 방법들 중 임의의 것을 수행하게 하기 위해 명령어 세트가 실행될 수 있는 컴퓨터 시스템의 형태의 머신의 개략도를 도시하는 블록도이다.
여기서 제공된 서두는 단지 편의를 위한 것이며 사용된 용어들의 범위 또는 의미에 반드시 영향을 주는 것은 아니다.

이하의 설명은 본 개시내용의 예시적인 실시예들을 구현하는 시스템, 방법, 기술, 명령어 시퀀스 및 컴퓨팅 머신 프로그램 제품을 포함한다. 이하의 설명에서, 설명의 목적을 위해, 많은 구체적인 상세사항이 본 발명의 주제의 다양한 실시예에 대한 이해를 제공하기 위해 개시된다. 그러나, 본 기술분야의 통상의 기술자에게는, 본 발명의 주제의 실시예들은 이러한 구체적인 상세사항없이 실시될 수 있다는 것이 명백할 것이다. 일반적으로, 널리 공지된 명령어 인스턴스, 프로토콜, 구조 및 기술은 반드시 상세하게 도시되지는 않는다.

2명의 사용자가 상이한 매체(예를 들어, 음성 및 텍스트)의 조합을 이용하여 통신하는 것을 허용하는 통신 혼성화 시스템이 설명된다. 통신 혼성화 시스템은 제스처 및 디바이스의 배향 변경을 이용하여 상이한 매체들을 이용하는 통신 모드들 사이에서 전환한다. 추가로, 통신 혼성화 시스템은 동기 또는 비동기 통신 사이에서 전환하는 통신에 대한 하나 이상의 당사자의 제스처 및 배향 변경을 이용한다. 일부 실시예에서, 통신은 단일 애플리케이션의 정황 내에 또는 복수의 애플리케이션에 걸쳐 있을 수 있다.

통신 혼성화 시스템이 통신 당사자들(사용자들) 사이의 동기 및 비동기 통신 사이의 전환을 가능하게 하는 경우, 통신 혼성화 시스템은, 통신의 다른 당사자의 제스처 또는 배향 변경에 기초하여 통신의 당사자에 의해 이용되는 사용자 디바이스의 통신 모드를 변경시킬 수 있다(예를 들어, 비동기 통신을 이용하는 모드로부터 동기 통신을 이용하는 모드). 예를 들어, 한 당사자의 한 클라이언트 디바이스의 제스처 및 배향의 변경은 통신의 다른 당사자의 또 다른 클라이언트 디바이스의 통신 모드를 변경시킬 수 있다.

또한, 일부 실시예에서, 통신 혼성화 시스템의 일부는 통신 당사자들에 의해 이용 중인 클라이언트 디바이스들 상에서 동작하는 애플리케이션 또는 운영 체제에 통합되거나 이와 통신할 수 있다. 이러한 방식으로, 통신 혼성화 시스템은, 임의의 애플리케이션, 문서, 파일 또는 운영 체제의 인스턴스로부터의 사용자들 사이의 통신을 가능하게 할 수 있다. 이들 실시예에서, 통신 혼성화 시스템은, 제1 클라이언트 디바이스의 제1 애플리케이션에서 생성된 비동기 또는 동기 통신신호를 제2 클라이언트 디바이스에, 및 일부 경우에는 제2 클라이언트 디바이스 상의 제2 애플리케이션에 전송함으로써, 애플리케이션들 사이의 통신을 가능하게 할 수 있다. 예를 들어, 통신 혼성화 시스템은 제1 클라이언트 디바이스의 제1 애플리케이션으로부터 음성 녹음 형태의 통신신호를 수신하고, 음성-텍스트 변환을 수행하여 전사된 통신신호(transcribed communication)를 생성하고, 전사된 통신신호를 제2 클라이언트 디바이스로 전송하여 클라이언트 디바이스는 제2 애플리케이션에 의해 수신되거나 제2 클라이언트 디바이스와 연관된 소셜 미디어 프로파일에 포스팅되게 할 수 있다.

단일 애플리케이션에서 통신을 수행하는 실시예의 한 예로서, 제1 사용자와 제2 사용자 사이의 통신 세션이 이하에서 설명된다. 통신 세션을 시작하기 위해, 제1 사용자는 스와이핑(swipe)하여 (클라이언트 디바이스의 예로서의) 모바일 전화의 터치 스크린을 이용하여 제2 사용자와 채팅할 수 있다. 제1 사용자는 모바일 전화를 그의 귀까지 들어 올려 음성 메모를 남기기 시작할 수 있다(예를 들어, 디바이스를 180도 회전시키는 것을 포함한, 음성 메모를 개시하는 다른 방법도 역시 가능함). 음성 메모를 남기는 동안, 제2 사용자는 자신에게 제1 사용자로부터의 인입 통신을 알리는 푸시 통보를 수신할 수 있다. 제1 사용자의 음성 메모의 일부는 텍스트로 전사되어 제1 사용자가 음성 메모를 작성하는 동안 음성 메모와 함께 제2 사용자에게 전송된다.

제2 사용자는, 제1 사용자와 대화하기 위한 컨텍스트를 얻기 위해 제1 사용자의 진행 중인 음성 메모의 전사된 버전의 판독을 시작할 수 있다. 대화가 관심 대상이라고 결정하고 제1 사용자와의 음성 대화에 참여하기를 원할 때, 제2 사용자는 자신의 휴대 전화를 자신의 귀까지 들어 올려 제1 사용자와 대화할 수 있다(다시 한 번, 예를 들어, 디바이스를 회전시키는 것을 포함한, 다른 전환 모드 방법이 가능하다). 이러한 방식으로, 이 기술은 제2 사용자가 통신 모드(예를 들어, 제2 사용자가 자신의 디바이스를 들어 올리는 것에 응답하여 텍스트와 음성 사이에서)를 변경하게 할 수 있다. 일단 디바이스가 들어 올려져, 통신 모드가 변경되고 나면, 제2 사용자와 제1 사용자가 음성 통화를 통해 동기적으로 대화할 수 있다.

음성 호출 동안, 제2 사용자는 (예를 들어, 대화하기가 어렵거나 부적절한 환경에 진입한 결과로서) 동기 음성 통화를 종료하는 것을 선택할 수 있다. 이 경우, 제2 사용자는 제1 사용자가 계속 대화하는 동안 자신의 모바일 전화를 낮추어(또는 디바이스를 회전시켜) 채팅을 종료할 수 있다. 제2 사용자가 자신의 디바이스를 낮추는 것에 기초하여, 제1 사용자의 모바일 전화는 음성 메모를 녹음하기 위한 통신 모드로 다시 전환한다. 유사하게, 제2 사용자의 디바이스는 텍스트 및 음성 메모를 수신하기 위한 통신 모드로 다시 배치된다. 제1 사용자의 디바이스는 대화가 끝날 때까지 제1 사용자를 계속 녹음한다. 이 녹음은, 새로운 음성 메모로서 또는 그 통신을 시작한 제1 사용자의 음성 메모의 연속으로서, 제2 사용자의 디바이스에 전송된다. 대화를 끝낸 후, 제1 사용자는 자신의 디바이스 기기의 터치 스크린을 스와이프(swipe)하여 채팅을 종료할 수 있다.

소정 기간 후, 제2 사용자는 자신의 디바이스의 터치 스크린을 스와이프하여 제1 사용자와의 채팅을 복구할 수 있다. 시스템은, 제2 사용자가 채팅을 종료한 후 제1 사용자에 의해 남겨진 음성 메모와 음성 메모의 텍스트 버전을 제2 사용자에게 프리젠팅할 수 있다.

통신 모드의 변경을 개시하기 위해 임의의 개수의 사용자 행위가 이용될 수 있다. 전술된 바와 같이, 디바이스를 180도 회전시키는 것은 전화의 마이크로폰을 사용자의 입에 더 가깝게 포지셔닝시키는 역할을 할 수 있다. 이들 및 다른 실시예들에서, 이러한 방식으로 디바이스를 회전시키는 것은 음성(및/또는 음성 메모) 통신을 위한 스피커폰 모드를 개시할 수 있다. 회전시킴으로써, 사용자의 디바이스의 디스플레이 스크린도 역시 회전함으로써, 사용자가 자신의 디바이스의 디스플레이를 계속 이용하는 것을 허용할 수 있다.

추가 예로서, 사용자는 스와이프하여 채팅 윈도우로부터 통신 모드를 전환함으로써, 오버스크롤(overscroll)을 통해 음성 메모를 드러내어, 음성 통신 모드에 들어 갔다는 것을 사용자에게 나타낼 수 있다. 이들 실시예에서, 사용자는 채팅 창에서 아래로 스와이프함으로써 음성 통신 모드를 종료할 수 있다.

전술된 통신 세션을 가능하게 하는데 이용될 수 있는 예시적인 시스템이, 상기 열거된 도면들을 참조하여 이하에서 기술적으로 상세히 설명된다. 예시적인 시스템은, 통신 혼성화 시스템 또는 통신 혼성화 시스템의 기능을 수행하는 모듈들의 세트를 포함할 수 있다. 통신 혼성화 시스템은, 사용자가, 음성 메모(예를 들어, 음성 메일 메시지 및 음성-텍스트 메시지) 등의 통신 세그먼트를 전송하고 통신 세그먼트와 상호작용하는 것과 또 다른 사용자와의 양방향 통신에 참여하는 것 사이에서 전환할 수 있게 한다.

예를 들어, 사용자는 텍스트 입력 박스 상에서 우측 스와이프 등의 터치 기반 제스처를 수행하여 사용자가 또 다른 사용자에 대한 통신 세그먼트를 생성할 수 있게 한다. 일부 예에서, 통신 세그먼트는 음성메일 메모(voicemail note)(여기서는, 오디오 메모라고도 함)를 녹음하여 또 다른 사용자에 전송함으로써(예를 들어, 비동기 통신) 생성될 수 있다. 일부 실시예에서, 오디오 메모(예를 들어, 통신 세그먼트)는 채팅 세션에서 생성되어 전송될 수 있다. 일부 사례에서, 오디오 메모는 통신 애플리케이션(예를 들어, 채팅 클라이언트)과는 별개의 애플리케이션에서 생성되어 전송될 수 있고, 명시된 통신 애플리케이션을 통해 또는 클라이언트 디바이스의 전송 컴포넌트 및 프로세스와 사용자 디바이스의 운영 체제를 통해 전송될 수 있다.

음성메일 메모는, 오디오 파일, 음성-텍스트 메시지(예를 들어, 오디오 파일의 전사에 의해 생성된 텍스트 메시지), 또는 이들의 조합일 수 있다. 사용자는 또한, 텍스트 입력 박스의 길이를 가로 질러 우측으로 스와이프하여 사용자들 사이의 음성 통화(예를 들어, 동기 통신)를 수행할 수 있다. 스와이프 동작은, 통신 혼성화 시스템으로 하여금, 통신 세그먼트 아이콘(예를 들어, 마이크로폰 버턴), 대화형 사용자 인터페이스 요소, 또는 또 다른 표시자를 프리젠팅하게 할 수 있다. 일부 실시예에서, 사용자의 음성이 녹음 중에 있다는 것을 나타내기 위해 텍스트 입력 박스에 대한 오버레이로서 파형 그래픽 또는 애니메이션이 사용자에게 프리젠팅될 수 있다.

스와이프 동작은, 사용자 인터페이스의 일부를 도시하는 스크린의 적어도 일부를 가로지르는 방향으로 사용자가 터치 스크린을 터치하거나 커서, 포인터 등을 조작하는 사용자 인터페이스 동작일 수 있다. 예를 들어, 사용자는 클라이언트 디바이스의 터치 스크린 상에 손가락을 위치시키고 터치 스크린과의 접촉을 유지하면서 터치 스크린을 부분적으로 또는 완전히 가로 질러 손가락을 드래그(drag)할 수 있다. 우측 스와이프로서 설명되었지만, 스와이프 동작은 임의의 적절한 방향, 방향들의 조합, 또는 형상(또는 다른 적절한 동작)일 수 있다는 것을 이해해야 한다.

사용자는, 통신 세그먼트(예를 들어, 오디오 메모)를 생성하기 위해 통신 세그먼트 아이콘과 상호작용(예를 들어, 통신 세그먼트 아이콘에 근접한 터치 스크린의 일부를 누름)할 수 있다. 예를 들어, 사용자는 소정 시간 동안 통신 세그먼트 아이콘을 홀딩할 수 있으며, 그 소정 시간 동안 사용자는 클라이언트 디바이스의 입력(예를 들어, 마이크로폰)에 대고 말을 함으로써 통신 세그먼트를 생성할 수 있다. 사용자가 통신 세그먼트 아이콘을 놓으면, 통신 세그먼트가 종료된다. 그러면, 통신 세그먼트는 오디오 메모로서 전송되거나 텍스트-기반 통신 세그먼트로서 전사되어 전송될 수 있다. 통신 세그먼트가 전사되는 경우, 통신 세그먼트는 통신 세그먼트의 기록 또는 생성 동안에 또는 통신 세그먼트의 생성이 완료된 이후에 전사될 수 있다.

통신 세그먼트가 오디오 메모인 경우, 통신 혼성화 시스템은 검토를 위해 오디오 메모를 재생할 수 있고, 그 다음, 오디오 메모를 제2 사용자에게 전송할 수 있다. 오디오 메모는 또한, 자동으로, 또는 사용자 인터페이스 스크린 상의 대화식 전송 아이콘을 두드리는 등에 의한, 사용자와 통신 혼성화 시스템의 상호작용시에 전송될 수 있다. 오디오 메모의 수신자는 메모를 텍스트 및 오디오 포맷 중 하나 이상으로 동시에 수신할 수 있다. 예를 들어, 오디오 메모는 통신 혼성화 시스템에 의해 텍스트 기반 메시지로 렌더링될 수 있고, 통신 혼성화 시스템은, 전술된 바와 같이, 오디오 메모의 전사된 텍스트 및 오디오 양쪽 모두를 수신자에게 프리젠팅한다. 오디오 메모는 오디오 파일로 동시에 표현될 수 있다. 따라서, 수신자는 통신 세그먼트를 동일한 프리젠테이션 내의 텍스트 또는 오디오로서 검토할 수 있다.

통신 혼성화 시스템은 클라이언트 디바이스의 움직임 또는 포지션 변경 등의 트리거에 응답하여 통신 모드간에 전환할 수 있다. 예를 들어, 통신 혼성화 시스템은 (예를 들어, 자이로스코프, 가속도계, 또는 클라이언트 디바이스의 다른 센서에 의해 결정되는 바와 같이) 클라이언트 디바이스의 공간적 포지션 또는 배향의 변경을 검출하는 것에 응답하여, 음성 메모를 수신하고 통화에 참여하는 것(예를 들어, 전이중 통신) 사이에서 전환할 수 있다.

일부 예들에서, 제1 사용자 상호작용(예를 들어, 배향 변경 또는 제스처) 및 제2 사용자 상호작용의 조합은 통신 혼성화 시스템으로 하여금 통신 모드들 사이에서 전환하게 한다. 예를 들어, 디바이스의 배향 변경의 제1 사용자 상호작용은, 텍스트 기반 통신 모드로부터 음성 기반 통신 모드(예를 들어, 전화 통화)로의 전환을 야기할 수 있다. 제2 사용자 상호작용(예를 들어, 디바이스가 전화 통화를 또 다른 사용자에게 연결하기 전에 디바이스의 마이크로폰에 대고 말하는 것)은, 음성 기반 통신 모드(예를 들어, 전화 통화)로부터 음성 전사 모드로의 전환을 야기할 수 있다. 음성 전사 모드는, 통신 혼성화 시스템으로 하여금 사용자의 음성 상호작용으로부터 전사된 텍스트 기반 통신 세그먼트를 전송하게 한다. 이러한 방식으로, 통신 모드는, 제스처, 디바이스의 입력과의 촉각적 상호작용, 배향 변경, 음성 상호작용, 및 디바이스와의 다른 사용자 상호작용을 포함하는 하나 이상의 사용자 상호작용에 기초하여 동적으로 조정될 수 있다.

통신 혼성화 시스템은 또한, 통신 모드들에서의 전환 또는 전환 없음을, 클라이언트 디바이스와 통신하는 제2 클라이언트 디바이스의 모드 표시에 기초할 수 있다. 예를 들어, 클라이언트 디바이스의 움직임 또는 포지션 변경에 응답하여, 통신 혼성화 시스템은 전화 통화를 위한 통신 모드로의 전환을 시도할 수 있다. 통신 혼성화 시스템은 호출될 제2 또는 수신자 디바이스로부터 모드 표시를 수신할 수 있다. 모드 표시는 수신 디바이스가 전화 통화에 이용가능하지 않다는 것을 나타낼 수 있다. 그 결과, 통신 혼성화 시스템은 클라이언트 디바이스가 통화 통신 모드로 전환하는 것을 방지할 수 있다. 예를 들어, 통신 혼성화 시스템은, 모드 표시에 응답하여, 클라이언트 디바이스의 포지션 변경에 관계없이, 텍스트 기반 통신 모드를 유지할 수 있다.

수신 클라이언트 디바이스가 모드 표시를 전송하는 경우, 통신 혼성화 시스템은 동작 변경 및 모드 표시와 호환되는 호환가능한 통신 모드를 결정할 수 있다. 예를 들어, 수신 클라이언트 디바이스는 전화 통화에 이용가능하지 않다는 것을 나타내는 모드 표시를 전송할 수 있다. 클라이언트 디바이스가 전화 통화를 위한 포지션으로 이동되면, 통신 혼성화 시스템은 전화 통화 통신 모드로 전환하는 것을 억제하고 그 대신에 음성메일 메모 통신 모드로 전환한다.

도 1은, 한 실시예에 따라, 네트워크를 통해 데이터를 교환하도록 구성된 클라이언트-서버 아키텍처를 갖는 네트워크 시스템(100)을 도시하는 네트워크 도면이다. 예를 들어, 네트워크 시스템(100)은 클라이언트가 네트워크 시스템(100) 내에서 통신하고 데이터를 교환하는 메시징 시스템 일 수 있다. 데이터는 네트워크 시스템(100) 및 그 사용자들과 연관된 다양한 기능(예를 들어, 텍스트 및 미디어 통신신호의 전송 및 수신, 지오로케이션의 결정 등) 및 양태(예를 들어, 통신 데이터의 전송, 통신 세션들의 표시들의 수신 및 전송 등)에 관련될 수 있다. 여기서는 클라이언트-서버 아키텍처로 예시되었지만, 다른 실시예는 피어-투-피어 또는 분산 네트워크 환경 등의 다른 네트워크 아키텍처를 포함할 수 있다.

도 1에 도시된 바와 같이, 네트워크 시스템(100)은 소셜 메시징 시스템(130)을 포함한다. 소셜 메시징 시스템(130)은 일반적으로, 인터페이스 계층(124), 애플리케이션 로직 계층(126), 및 데이터 계층(128)으로 구성된 3-계층 아키텍처에 기초한다. 관련 컴퓨터 및 인터넷 관련 분야의 통상의 기술자라면 이해하는 바와 같이, 도 1에 도시된 각각의 모듈 또는 엔진은 실행가능한 소프트웨어 명령어 세트 및 명령어를 실행하기 위한 대응하는 하드웨어(예를 들어, 메모리 및 프로세서)를 나타낸다. 불필요한 상세사항으로 본 발명의 주제를 모호하게 하는 것을 피하기 위해, 본 발명의 주제를 전달하는 것과 밀접하지 않은 다양한 기능 모듈 및 엔진 은도 1에서 생략되었다. 물론, 여기서 구체적으로 기술되지 않은 추가 기능을 가능하게 하기 위해, 도 1에 나타낸 것 등의 추가 기능 모듈 및 엔진이 소셜 메시징 시스템과 함께 이용될 수 있다. 또한, 도 1에 도시된 다양한 기능 모듈들 및 엔진들은 단일 서버 컴퓨터 상에 존재할 수 있거나, 다양한 구조로 여러 서버 컴퓨터들에 걸쳐 분산될 수 있다. 또한, 소셜 메시징 시스템(130)이 도 1에서는 3-계층 아키텍처로서 도시되어 있지만, 본 발명의 주제는 결코 이러한 아키텍처로 제한되지 않는다.

도 1에 도시된 바와 같이, 인터페이스 계층(124)은, 클라이언트 애플리케이션(들)(112)을 실행하는 클라이언트 디바이스(110) 및 제3자 애플리케이션(들)(122)을 실행하는 제3자 서버(120) 등의, 다양한 클라이언트 컴퓨팅 디바이스 및 서버로부터 요청을 수신하는 인터페이스 모듈(예를 들어, 웹 서버)(140)로 구성된다. 수신된 요청에 응답하여, 인터페이스 모듈(140)은 적절한 응답을 네트워크(104)를 통해 요청 디바이스들에 전달한다.

예를 들어, 인터페이스 모듈(140)은, HTTP(Hypertext Transfer Protocol) 요청, 또는 기타의 웹 기반 API(Application Programming Interface) 요청 등의 요청을 수신할 수 있다.

클라이언트 디바이스(110)는, 다양한 모바일 컴퓨팅 디바이스 및 모바일-특유의 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® PHONE)를 포함하는 특정한 플랫폼을 위해 개발된 종래의 웹 브라우저 애플리케이션 또는 애플리케이션들(또한 "앱"이라고도 함)을 실행할 수 있다. 한 예에서, 클라이언트 디바이스(110)는 클라이언트 애플리케이션(들)(112)을 실행하고 있다. 클라이언트 애플리케이션(들)(112)은, 사용자(106)에게 정보를 제공하고 네트워크(104)를 통해 전달하여 소셜 메시징 시스템(130)과 정보를 교환하는 기능을 제공할 수 있다. 클라이언트 디바이스(110)들 각각은 소셜 메시징 시스템(130)에 액세스하기 위해 적어도 디스플레이 및 네트워크(104)와의 통신 능력을 포함하는 컴퓨팅 디바이스를 포함할 수 있다. 클라이언트 디바이스(110)는, 원격 디바이스, 워크스테이션, 컴퓨터, 범용 컴퓨터, 인터넷 어플라이언스, 핸드헬드 디바이스, 무선 디바이스, 휴대형 디바이스, 착용식 컴퓨터, 셀룰러 또는 모바일 전화, 개인 휴대 정보 단말기(PDA), 스마트폰, 태블릿, 울트라북, 넷북, 랩탑, 데스크탑, 멀티-프로세서 시스템, 마이크로프로세서 기반의 또는 프로그래밍가능한 가전 제품, 게임 콘솔, 셋탑 박스, 네트워크 PC, 미니 컴퓨터 등을 포함하지만, 이것으로 제한되지 않는다. 사용자(106)는, 사람, 머신, 또는 클라이언트 디바이스(110)와 상호작용하는 기타의 수단일 수 있다. 일부 실시예에서, 사용자(106)는 클라이언트 디바이스(110)를 통해 소셜 메시징 시스템(130)과 상호작용한다. 사용자(106)는 네트워크 환경의 일부가 아닐 수 있지만, 클라이언트 디바이스(110)와 연관될 수 있다.

도 1에 도시된 바와 같이, 데이터 층(128)은 정보 저장 저장소 또는 데이터베이스(134)로의 액세스를 가능하게 하는 데이터베이스 서버(132)를 갖는다. 데이터베이스(134)는, 멤버 프로파일 데이터, 소셜 그래프 데이터(예를 들어, 소셜 메시징 시스템(130)의 멤버들 사이의 관계), 및 기타의 사용자 데이터 등의 데이터를 저장하는 저장 디바이스이다.

개인은 소셜 메시징 시스템(130)에 등록하여 소셜 메시징 시스템(130)의 멤버가 될 수 있다. 일단 등록되고 나면, 멤버는 소셜 메시징 시스템(130) 상에서 소셜 네트워크 관계(예를 들어, 친구, 팔로워, 또는 접촉자)를 형성할 수 있고, 소셜 메시징 시스템(130)에 의해 제공되는 광범위한 애플리케이션과 상호작용할 수 있다.

애플리케이션 로직 층(126)은 다양한 애플리케이션 로직 모듈(150)을 포함하며, 애플리케이션 로직 모듈(150)은, 인터페이스 모듈(140)과 연계하여, 데이터 층(128) 내의 다양한 데이터 소스 또는 데이터 서비스로부터 회수된 데이터를 갖춘 다양한 사용자 인터페이스를 생성한다. 개개의 애플리케이션 로직 모듈(150)은, 소셜 메시징 시스템(130)의 다양한 애플리케이션, 서비스 및 피쳐들과 연관된 기능을 구현하는데 이용될 수 있다. 예를 들어, 소셜 메시징 애플리케이션은 애플리케이션 로직 모듈(150)로 구현될 수 있다. 소셜 메시징 애플리케이션은, 클라이언트 디바이스(110)의 사용자가 텍스트 및 화상 및 비디오 등의 미디어 콘텐츠를 포함하는 메시지를 송수신하기 위한 메시징 메커니즘을 제공한다. 클라이언트 디바이스(110)는 명시된 기간(예를 들어, 제한된 또는 무제한) 동안 소셜 메시징 애플리케이션으로부터의 메시지를 액세스하고 볼 수 있다. 한 예에서, 특정한 메시지는, 특정한 메시지가 처음 액세스될 때 시작하는 (예를 들어, 메시지 전송자에 의해 지정된) 미리정의된 기간 동안 메시지 수신자에게 액세스될 수 있다. 미리정의된 기간이 경과한 후에, 메시지는 삭제되고 더 이상 메시지 수신자에게 액세스될 수 없다. 물론, 다른 애플리케이션 및 서비스들은 그들 자신의 애플리케이션 로직 모듈(150)에서 별개로 구현될 수 있다.

도 1에 나타낸 바와 같이, 소셜 메시징 시스템(130)은 클라이언트 디바이스(110)에 제어 신호를 전송할 수 있는 통신 혼성화 시스템(160)을 포함한다. 유사하게, 클라이언트 디바이스(110)는 통신 혼성화 시스템(160)의 일부를 포함한다. 다른 예에서, 클라이언트 디바이스(110)는 전체 통신 혼성화 시스템(160)을 포함할 수 있다. 클라이언트 디바이스(110)가 통신 혼성화 시스템(160)의 일부(또는 전부)를 포함하는 경우, 클라이언트 디바이스(110)는 단독으로 또는 소셜 메시징 시스템(130)과 협력하여 본 명세서에 설명된 통신 혼성화 시스템(160)의 기능을 제공할 수 있다.

도 2에서, 다양한 실시예들에서, 통신 혼성화 시스템(160)은 독립형 시스템으로서 구현될 수 있고 반드시 소셜 메시징 시스템(130)에 포함되는 것은 아니다. 통신 혼성화 시스템(160)은, 통신 모듈(210), 프리젠테이션 모듈(220), 센서 모듈(230), 결정 모듈(240), 관리 모듈(250), 및 데이터 모듈(260)을 포함하는 것으로 도시되어 있다. 모듈들(210-260)의 전부 또는 일부는, 예를 들어, 네트워크 결합, 공유된 메모리 등을 통해 서로 통신한다. 모듈들(210-260)의 각각의 모듈은 단일 모듈로서 구현되거나, 다른 모듈들과 결합되거나, 또는 복수의 모듈들로 더 세분될 수 있다. 예시적인 실시예들과 관련이 없는 다른 모듈들도 역시 포함될 수 있지만, 도시되지는 않는다.

통신 모듈(210)은 다양한 통신 기능을 제공한다. 예를 들어, 통신 모듈(210)은 클라이언트 디바이스(110)의 입력으로부터 수신된 데이터를 나타내는 통신 데이터를 수신한다. 통신 데이터는, 저장을 위해 또는 또 다른 사용자의 클라이언트 디바이스로의 전송을 위해 클라이언트 디바이스 상에서 사용자에 의해 작성된 메시지를 나타낼 수 있다. 통신 모듈(210)은, 통신 네트워크를 통한 클라이언트 디바이스들 사이의 통신 데이터의 전송을 야기할 수 있거나, 클라이언트 디바이스(110)로 하여금 데이터 모듈(260) 또는 데이터 모듈(260)과 연관된 저장 매체 내에 통신 데이터를 저장하게 할 수 있다.

일부 사례에서, 통신 모듈(210)은, 하나 이상의 통신 세그먼트(예를 들어, 오디오 또는 음성 통신 데이터)를 수신하고 음성-텍스트 변환을 수행하여 통신 세그먼트 내의 단어들을 전사하여 전사된 통신신호를 생성할 수 있는 전사 모듈을 포함한다. 전사된 통신신호는, 전사된 통신신호가 생성된 통신 세그먼트의 유무에 관계없이 전송될 수 있다. 전사 모듈은 통신 세그먼트의 구두 단어(spoken word)를 텍스트로 전사할 수 있는 음성 인식 동작 및 기능을 포함할 수 있다.

일부 실시예에서, 통신 모듈(210)이 오디오 기반 통신 세그먼트를 나타내는 통신 데이터를 수신할 때, 전사 모듈은 통신 세그먼트를 전사하기위한 제1 인터럽트를 생성할 수 있다. 전사 모듈은 통신 세그먼트의 종료 표시에 따라 제2 인터럽트를 생성할 수 있다. 예를 들어, 통신 세그먼트의 종료는, 통신 데이터의 수신의 일시중지(예를 들어, 미리 결정된 기간 동안 음성의 중단), 사용자 상호작용(예를 들어, 사용자 인터페이스 요소와의 상호작용), 클라이언트 디바이스(110)의 배향 변경, 또는 통신 세그먼트의 종료를 나타내는 기타의 상호작용 또는 트리거에 의해 표시될 수 있다.

통신 모듈(210)은 또한, 복수의 통신 모드 및 통지 표시자들(예를 들어, 사용자에게 통신 세션 또는 통신 모드의 개시, 종료, 또는 전환을 통보하는 것) 사이의 전환을 야기하는 인터럽트 등의, 통신 모드들의 세트에 대한 구성 데이터를 수신할 수 있다. 통신 모듈(210)은, 데이터베이스 서버(132), 클라이언트 디바이스(110), 및 제3자 서버(120)와 네트워크 통신신호를 교환할 수 있다. 통신 모듈(210)에 의해 회수된 정보는, 본 명세서에 설명된 기능을 가능하게 하기 위해 사용자와 연관된 데이터(예를 들어, 온라인 계정으로부터의 멤버 프로파일 데이터 또는 소셜 네트워크 서비스 데이터) 또는 기타의 데이터를 포함한다.

프리젠테이션 모듈(220)은, 사용자에게 대화식으로 정보를 제공하고 사용자로부터 정보를 수신하도록 동작가능한 다양한 프리젠테이션 및 사용자 인터페이스 기능을 제공한다. 예를 들어, 프리젠테이션 모듈(220)은 사용자(106)가 상호작용하여 통신 혼성화 시스템(160)의 동작의 수행을 야기하거나 개시하기 위한 사용자 인터페이스 요소의 프리젠테이션을 야기한다. 또한, 프리젠테이션 모듈(220)은, 수신된 메시지의 표시, 입력 중인 메시지(예를 들어, 메시지의 전송 전에 입력 중인 메시지의 내용)의 표시, 및 전송된 메시지의 표시의 프리젠테이션을 야기한다. 프리젠테이션 모듈(220)은, (예를 들어, 클라이언트 디바이스(110)의 사용자 인터페이스 상에 가상 키보드 또는 통신 세그먼트 아이콘에 의해 입력 중인 메시지의 표시를 포함한) 사용자 인터페이스 또는 클라이언트 디바이스(110)의 디스플레이에서의 표시나 통보의 프리젠테이션을 야기한다. 통신 혼성화 시스템(160)이 채팅 애플리케이션의 일부와 상호작용하거나 채팅 애플리케이션의 일부를 형성하는 실시예에서, 프리젠테이션 모듈(220)은 채팅 개시 또는 채팅 통보의 프리젠테이션을 야기할 수 있다. 프리젠테이션 모듈(220)은 정보를 프리젠테이션하거나 정보의 프리젠테이션을 야기한다(예를 들어, 스크린 상에 시각적으로 정보를 디스플레이하는 것, 음향 출력, 햅틱 피드백). 이러한 정보의 프리젠테이션은 클라이언트 디바이스(110)와 사용자(106) 사이의 정보 교환을 포함한다.

사용자는, 영숫자, 포인트 기반(예를 들어, 커서), 촉각적, 또는 기타의 입력(예를 들어, 터치 스크린, 촉각 센서, 광 센서, 적외선 센서, 바이오메트릭 센서, 마이크로폰, 자이로스코프, 가속도계, 또는 기타의 센서) 등의 많은 가능한 방식으로, 프리젠테이션 모듈(220)에 의해 전체적으로 또는 부분적으로 프리젠팅되는 사용자 인터페이스와 상호작용하기 위한 입력을 제공할 수 있다. 프리젠테이션 모듈(220)은, 클라이언트 디바이스(110)와의 사용자 상호작용을 가능하게 하고 여기서 설명된 기능을 포함하는 많은 다른 사용자 인터페이스를 제공한다. 본 명세서에서 사용된 용어 "프리젠팅(presenting)"은, 전달된 정보 또는 명령어들에 기초하여 프리젠테이션을 수행하도록 동작가능한 특정한 디바이스에 정보 또는 명령어를 전달하는 것을 포함한다.

센서 모듈(230)은 다양한 센서 입력 기능을 제공한다. 일부 예시적인 실시예에서, 센서 모듈(230)은 통신 모듈(210), 프리젠테이션 모듈(220), 결정 모듈(240), 관리 모듈(250), 및 데이터 모듈(260) 중 하나 이상에 클라이언트 디바이스(110)에 대한 포지션 및 배향 데이터를 제공하는 포지션 센서 및 배향 센서를 포함한다. 예를 들어, 포지션 센서 및 배향 센서는 디바이스의 포지션(예를 들어, 높이 또는 고도) 및 배향(예를 들어, 수직 또는 수평 배향)을 나타내는 데이터 또는 신호를 생성할 수 있다. 일부 실시예에서, 센서 모듈(230)은 포지션 센서 및 배향 센서를 포함하지만, 대신에, 포지션 센서 및 배향 센서로부터 입력을 수신하여 포지션 및 배향 데이터를 상기 언급된 모듈들에 제공한다. 예를 들어, 센서 모듈(230)은, 센서 모듈(230) 외부의 디바이스 내에 포지션 센서 및 배향 센서로부터, 클라이언트 디바이스(110)의 높이, 고도, 또는 상대적 고도 및 배향에서의 변경을 나타내는 센서 데이터를 수신할 수 있다.

포지션 센서 및 배향 센서로서 논의되었지만, 클라이언트 디바이스(110) 또는 센서 모듈(230)은 클라이언트 디바이스(110)의 포지션 및 배향에 대응하는 데이터를 제공할 수 있는 임의의 수의 센서를 포함할 수 있다는 것을 이해해야 한다. 또한, 센서 모듈(230)은, 상대적 포지션, 포지션 변경, 수평 포지션 변경, 반복 모션(예를 들어, 흔들림), 가속도계 데이터, 또는 클라이언트 디바이스(110)의 포지션의 양태들에 대한 다른 물리적 센서 데이터와 같은 클라이언트 디바이스(110)의 포지션에 대응하는 추가 데이터를 수신할 수 있다.

일부 사례에서, 센서 모듈(230)은 마이크로폰을 포함하거나 클라이언트 디바이스(110)의 마이크로폰과 통신할 수 있다. 이들 실시예에서, 마이크로폰은, 통신 데이터(예를 들어, 통신 세그먼트), 음성 활성화된 명령어 데이터(예를 들어, 음성 명령), 또는 일반적으로 사용자(106)가 마이크로폰에 대고 말하는 것을 개시하는 것을 나타내는 음성 데이터를 제공한다. 마이크로폰에 의해 수신된 음성 데이터는, 통신 혼성화 시스템(160)에 대한 음성 제어를 나타내는 사용자 생성된 인터럽트를 야기하는데 이용될 수 있다. 일부 실시예에서, 음성 데이터는 통신 혼성화 시스템(160)으로 하여금 본 명세서에서 논의된 하나 이상의 동작을 수행하게 하는 인터럽트를 생성하기 위해 포지션 센서 및 배향 센서로부터의 데이터와 연계하여 이용될 수 있다.

결정 모듈(240)은, 프리젠테이션 모듈(220)에 의한 클라이언트 디바이스(110)의 사용자 인터페이스 상에서의 프리젠테이션을 통신 모드를 결정하기 위하여 센서 모듈(230)로부터 수신된 데이터를 해석할 수 있다. 예를 들어, 결정 모듈(240)은, 사용자가 말을 하기 위해 클라이언트 디바이스(110)(예를 들어, 모바일 전화)를 입 가까이 들어 올리는 등의, 클라이언트 디바이스(110)의 수직 포지션에서의 변경을 나타내는 포지션 데이터, 및 사용자(106)가 통신 세그먼트를 개시하는 것(예를 들어, 클라이언트 디바이스(110)의 마이크로폰에 대고 말하는 것)을 나타내는 음성 데이터를 수신할 수 있다. 결정 모듈(240)은 통신 모드들의 세트로부터 원하는 통신 모드의 결정을 수행한다. 통신 모드는, 텍스트 기반 통신 모드, 미디어 기반 통신 모드, 오디오 기반 통신 모드, 오디오 메시지 모드, 이들의 조합, 및 다른 적절한 통신 모드를 포함한다.

통신 모드들의 세트로부터 원하는 통신 모드를 결정하는데 있어서, 결정 모듈(240)은 미리 결정된 임계치들에 기초하여 센서 데이터를 해석할 수 있다. 예를 들어, 센서 모듈(230)은, 클라이언트 디바이스(110)에 대한 고도의 증가를 나타내는 센서 데이터를 전달할 수 있다. 결정 모듈(240)은 고도 증가를 고도 임계치와 비교하여, 고도 임계치 위로의 고도 증가가 결정 모듈(240)로 하여금 현재의 통신 모드를 원하는 통신 모드로 변경하는 표시 또는 신호를 생성하게 할 수 있다.

또 다른 예로서, 센서 모듈(230)은 음성 데이터를 나타내는 센서 데이터를 전달할 수 있다. 결정 모듈(240)은, 음성 데이터를 지속시간 임계치, 음량 임계치, 또는 미리 결정된 명령 세트와 비교하여, 음량 임계치보다 높고 지속시간 임계치를 초과하는 음성 데이터가 결정 모듈(240)로 하여금 현재의 통신 모드로부터 원하는 통신 모드로의 변경을 야기하는 인터럽트를 생성하게 한다. 결정 모듈(240)은 음성 데이터를 미리 결정된 명령 세트와 비교하여, 음성 데이터가 미리 결정된 명령 세트 중의 하나 이상의 명령을 포함하는 경우, 결정 모듈(240)이, 음성 데이터에 포함된 하나 이상의 명령에 비례하여 현재의 통신 모드로부터 원하는 통신 모드로의 변경을 야기하는 인터럽트를 생성하게 할 수 있다.

결정 모듈(240)의 예시적인 기능을 더 설명하기 위해, 클라이언트 디바이스(110)는 초기에 텍스트 기반 통신 모드로 설정될 수 있다. 센서 모듈(230)은 12 인치보다 큰(즉, 30 센티미터보다 큰) 고도 증가를 나타내는 센서 데이터를 수신한다. 센서 모듈(230)은 센서 데이터를 결정 모듈(240)에 전달한다. 결정 모듈(240)은 센서 데이터를 6 인치(즉, 약 15 센티미터)의 값을 갖는 고도 임계치와 비교한다. 센서 데이터가 고도 임계치보다 큰 고도 변경을 나타내는 것으로 결정하면, 결정 모듈(240)은 통신 모드가 텍스트 기반 통신 모드에서 오디오 기반 통신 모드로 변경되어야 한다는 것을 나타내는 신호를 생성한다. 즉, 고도 변경은, 결정 모듈(240)로 하여금, 텍스트 기반 메시지를 입력하는 것 대신에 디바이스에 대고 말함으로써 현재 채팅 세션을 계속하기 위하여, 사용자가 클라이언트 디바이스(110)를 상승된 포지션으로 들어 올렸다고 결정하게 한다. 결정 모듈(240)은 클라이언트 디바이스(110)가 원하는 통신 모드로 변경되게 하기 위하여 모드 변경 표시를 관리 모듈(250)에 전달한다.

일부 예시적인 실시예에서, 통신 혼성화 시스템(160)은, 측방향 포지션에서의 변경(예를 들어, 사용자(106)가 클라이언트 디바이스(110)를 사용자의 귀에 근접하게 포지셔닝시키는 것으로부터 사용자의 입/얼굴 앞으로 포지셔닝시키는 것으로 이동시켜 사용자가 현재 다른 당사자의 말을 청취할 것으로 예상되지 않다는 것을 나타내는 것), 배향에서의 변경, 음성 명령, 음성-기반의 통신 세그먼트의 개시, 또는 이들의 조합을 나타내는 센서 데이터를 수신하는 결정 모듈(240)에 의해, 전이중 음성 통신으로부터 음성 기반 통신 세그먼트(예를 들어, 음성 메모 또는 오디오 메모) 또는 텍스트 기반 통신 세그먼트(예를 들어, 텍스트 메시지)으로 전환할 수 있다.

미리 결정된 임계치를 참조하여 설명되었지만, 일부 실시예들에서, 통신 모드들 사이에서 변경하기 위한 임계치는 클라이언트 디바이스(110)의 사용자(106)에 의해 수동으로 입력되거나 조절될 수 있다. 유사하게, 통신 모드들 사이의 변경을 위한 임계치는 학습 임계치어서, 시간이 지남에 따라, 결정 모듈(240)은 통신 모드들 사이에서 사용자가 변경하고자 하는 희망을 나타내는, 사용자(106)에게 적절하고 및 그와 연관된 값을 결정할 수 있게 할 수 있다. 또한, 미리 결정된 음성 명령 세트는 클라이언트 디바이스(110)의 사용자(106)에 의해 입력될 수 있다. 일부 사례에서, 미리 결정된 음성 명령 세트는 명령 변동 요소를 포함하여, 시간 경과에 따라, 결정 모듈(240)이 클라이언트 디바이스(110)의 사용자(106)에게 적절한 어휘, 액센트, 약어, 억양, 또는 기타의 음성 패턴을 취득하게 할 수 있다.

관리 모듈(250)은 결정 모듈(240)로부터 모드 변경 표시를 수신하여 통신 모드들 사이에 변경한다. 예를 들어, 모드 변경 표시의 수신에 기초하여, 관리 모듈(250)은 클라이언트 디바이스(110) 내에서 모드 인터럽트를 생성한다. 모드 인터럽트는 클라이언트 디바이스(110)의 프로세서로 하여금 오디오 기반 통신 모드로부터 텍스트 기반 통신 모드로 등의, 통신 모드들 사이에서 변경하게 한다. 모드 인터럽트는 또한, 프리젠테이션 모듈(220)로 하여금 클라이언트 디바이스(110) 상에서 사용자에게 프리젠팅되는 사용자 인터페이스를 수정 또는 변경하게 한다. 예를 들어, 모드 인터럽트는 프리젠테이션 모듈(220)로 하여금, 사용자 인터페이스로부터 가상 키보드를 제거하고 통신 세그먼트 아이콘(예를 들어, 마이크 아이콘) 또는 사용자 선택가능한 아이콘의 프리젠테이션을 야기함으로써, 사용자 인터페이스의 일부를 텍스트 기반 통신 모드로부터 오디오 기반 통신 모드로 변경하게 할 수 있다. 통신 세그먼트 아이콘은 오디오 기반 통신 모드(예를 들어, 전이중 통신)를 나타낼 수 있는 반면, 사용자 선택 가능 아이콘은 선택가능한 아이콘이 결합된 동안에는 사용자가 오디오 통신신호를 전송하고 선택된가능한 아이콘이 결합되어 있지 않는 동안에는 오디오 통신신호를 수신하게(예를 들어, 반이중 통신) 할 수 있다. 일부 사례에서, 통신 세그먼트 아이콘 및 사용자 선택가능한 아이콘은 동일한 아이콘이며, 사용자들 사이에서 통신신호를 생성 및 전송하도록 선택가능하다.

데이터 모듈(260)은 다양한 데이터 저장 기능을 제공한다. 예를 들어, 데이터 모듈(260)은, 데이터의 전송 전에 또는 사용자가 통신 데이터를 보기 전에, 통신 데이터를 일시적으로 저장하거나 캐싱할 수 있다. 데이터 모듈(260)이 전송 전에 통신 데이터를 저장하는 경우, 데이터 모듈(260)과 연관된 저장 매체는 사용자가 전송할 메시지를 생성하는 동안 통신 데이터를 저장한다. 데이터 모듈(260)은 통신 데이터를 동적으로 수정하여 사용자에 의해 생성된 추가 통신 데이터를 추가한다.

데이터 모듈(260)은, 비일시적 머신-판독가능한 저장 매체, 메모리, 플래시 메모리, 네트워크 저장장치(예를 들어, 클라우드 저장장치) 또는 기타의 적절한 저장 매체 등의, 저장 매체로의 저장을 위해 통신 모듈(210)로부터 통신 데이터를 수신한다. 통신 데이터는 미리 결정된 기간 동안 저장 매체에 저장된다. 미리 결정된 기간의 지속시간은, 클라이언트 디바이스(110), 클라이언트 디바이스(110)의 사용자, 통신 모드, 통신 모듈(210), 또는 지속시간을 나타내는 값을 결정하거나 데이터 모듈(260) 내에 저장할 수 있는 기타 임의의 적절한 소스에 의해 설정될 수 있다. 통신 데이터는 또한, 사용자가 통신 데이터를 보거나 통신 데이터를 전송한다는 표시 등의, 미리 결정된 표시를 수신할 때까지 저장 매체에 저장될 수 있다.

도 3은 사용자 인터페이스와 연관하여 제스처를 이용하여 통신을 혼성화하기 위한 예시적인 방법(300)을 나타내는 흐름도이다. 방법(300)의 동작들은, 통신 혼성화 시스템(160)의 컴포넌트들에 의해 수행될 수 있고, 예시의 목적으로 이하에서 설명된다.

동작(310)에서, 통신 모듈(210), 프리젠테이션 모듈(220), 센서 모듈(230) 또는 이들의 조합은, 클라이언트 디바이스(110)의 사용자 인터페이스와의 사용자 상호작용을 수신한다. 동작(310)의 예가 도 6 및 도 7a 내지 도 7c에 도시되어 있다. 사용자 상호작용은 원하는 통신 모드를 나타낸다. 예를 들어, 사용자 상호작용은, 부분적 스와이프 또는 전체 스와이프 등의 터치-기반 제스처일 수 있다. 부분적 스와이프는, 사용자(106)가 터치 스크린을 터치하거나 사용자 인터페이스를 프리젠팅하고 있는 스크린의 일부를 가로 질러 포인터를 조작하는 것을 나타낸다. 전체 스와이프는 전체 스크린 치수(예를 들어, 전체 길이 또는 폭)를 가로 지른 스와이프를 나타낸다. 스와이프는, 텍스트 입력 박스 등의, 대화형 사용자 인터페이스 요소에 중심을 줄 수 있다. 일부 예시적인 실시예에서, 스와이프는, 사용자 인터럽트의 형태로, 클라이언트 디바이스(110)의 모듈들, 또는 프로세서에 전달될 수 있다.

동작(320)에서, 결정 모듈(240)은 현재의 통신 모드(예를 들어, 텍스트 기반 통신)를 결정하고 원하는 통신 모드(예를 들어, 오디오 기반 통신)로의 변경의 표시를 생성한다. 결정 모듈(240)은 표시를 관리 모듈(250)에 전달한다. 통보는 클라이언트 디바이스(110)의 사용자 인터페이스 내에 프리젠팅될 수 있다. 일부 실시예에서, 통보는, 통신 모드를 식별하는 텍스트 세트로서 또는 통신 모드로 통신 데이터를 입력하는 방법으로서 프리젠팅된다. 통보는, 오버레이, 임베딩된 텍스트, 미리 결정된 기간 후에 닫히는 임시 윈도우, 또는 기타 임의의 적절한 통보로서 프리젠팅될 수 있다. 통보가 통신 데이터의 일부(예를 들어, 또 다른 클라이언트 디바이스에 의해 전송된 메시지의 일부)와 함께 임베딩된 텍스트로서 프리젠팅되는 경우, 통보의 임베딩된 텍스트는 통신 데이터와는 별개로서 프리젠팅될 수 있다. 통신 데이터가 텍스트의 일부인 몇몇 실시예에서, 통보의 임베딩된 텍스트는, 상이한 텍스트 폰트, 상이한 텍스트 크기, 상이한 색상, 또는 통신 데이터의 텍스트와는 상이한 포지션 중 하나 이상으로서 프리젠팅된다. 예를 들어, 통보 텍스트는, 통신 데이터의 폰트보다 작은 폰트로 텍스트의 일부로서 프리젠팅될 수 있고 통신 데이터로부터 먼 거리에 포지셔닝될 수 있다.

결정 모듈(240)은 동작 310에서 수신된 사용자 상호작용에 기초하여 원하는 통신 모드를 결정한다. 일부 실시예에서, 미리 결정된 동작들은 통신 방법들의 세트 중의 상이한 통신 방법들과 연관된다. 예를 들어, 상방향 터치-기반 제스처(또는 상방 스와이프) 또는 클라이언트 디바이스(110)의 터치 스크린의 배향에 관해 상방 움직임의 클라이언트 디바이스(110)의 포지션 변경은, 원하는 통신 모드가 음성 기반이라는 것을 나타낼 수 있다. 일부 실시예에서, 클라이언트 디바이스(110)의 터치 스크린의 일부에 걸친, 부분적 터치-기반 제스처(예를 들어, 스와이프)는 제1 통신 모드를 나타낸다. 미리 결정된 방향으로 클라이언트 디바이스(110)의 터치 스크린을 가로지르는 전체 터치-기반 제스처(예를 들어, 전체 스와이프)는 제2 통신 모드를 나타낸다. 일부 실시예들에서, 제1 통신 모드는 음성-텍스트 통신 모드이고 제2 통신 모드는 전이중 전화 통화이다. 음성 기반 통신 모드는, 음성-텍스트 통신, 음성 녹음, 전이중 또는 반이중 음성 통신 모드(예를 들어, 전화 통화, VoIP 통화, 화상 통화) 또는 기타 임의의 적절한 음성-기반 통신을 가능하게 할 수 있다. 음성 기반 통신과 관련하여 논의되었지만, 통신 모드는, 비디오 기반 통신, 텍스트 기반 통신, 또는 클라이언트 디바이스(110)가 통신 데이터를 나타내는 사용자 입력을 수신하고 또 다른 클라이언트 디바이스로의 전송을 위해 통신 데이터를 해석할 수 있는 기타 임의의 적절한 통신 모드를 포함할 수 있다.

동작(330)에서, 관리 모듈(250)은, 통신 혼성화 시스템(160) 또는 클라이언트 디바이스(110) 상의 통신 애플리케이션으로 하여금 통신 모드를 결정 모듈(240)에 의해 결정된 원하는 통신 모드로 설정하게 한다. 예를 들어, 관리 모듈(250)은, 클라이언트 디바이스(110) 상의 통신 애플리케이션의 동작 모드를 변경함으로써 통신 모드를 설정할 수 있다. 일부 실시예에서, 동작 모드에 대한 변경은 클라이언트 디바이스(110)가 클라이언트 디바이스의 입력 필드 또는 이와 연관된 입력 디바이스 또는 클라이언트 디바이스의 일부를 초기화하게 한다. 입력 필드를 초기화하는 것은, 통신 데이터를 수신하거나 액세스할 수 있는 입력 필드(예를 들어, 텍스트 입력 필드 또는 사용자 인터페이스 요소)의 프리젠테이션을 야기한다. 예를 들어, 입력 필드는, 통신 혼성화 시스템(160)에 입력을 전달하는 물리적 또는 가상 키보드로부터 입력된 텍스트 데이터 형태의 통신 데이터를 수신하도록 구성된 텍스트 입력 필드일 수 있다. 입력 디바이스를 초기화하는 것은, 클라이언트 디바이스(110)로 하여금, 클라이언트 디바이스(110)와 연관된 하나 이상의 통신 디바이스 또는 클라이언트 디바이스(110)의 일부를 초기화하게 할 수 있다. 예를 들어, 입력 디바이스는, 화상 채팅 세션을 위해 초기화된 카메라, 음성 녹음 또는 음성-텍스트 동작을 위해 초기화된 마이크로폰, 또는 전화 통화를 위해 클라이언트 디바이스(110)의 회로와 연계하여 초기화된 마이크로폰 및 스피커일 수 있다.

동작 340에서, 프리젠테이션 모듈(220)은 클라이언트 디바이스(110) 상의 사용자 인터페이스의 프리젠테이션을 야기한다. 프리젠테이션 모듈(220)에 의해 프리젠팅되는 사용자 인터페이스는 원하는 통신 모드를 나타낸다. 예를 들어, 원하는 통신 모드가 오디오 기반 통신 모드인 경우, 프리젠테이션 모듈(220)은, 사용자 인터페이스가 통신 세그먼트 아이콘(예를 들어, 오디오 메모 아이콘 또는 마이크로폰 아이콘) 등의 대화형 사용자 인터페이스 요소를 포함하게 할 수 있다. 사용자(106)는 통신 세그먼트(예를 들어, 오디오 메모 또는 음성메일 메모)를 생성하기 위해 통신 세그먼트 아이콘과 상호작용한다. 일부 실시예에서, 모듈은 음성-기반 통신 세그먼트를 텍스트-기반 통신 세그먼트로 변환할 수 있다. 예를 들어, 프리젠테이션 모듈(220)은, 음성-텍스트 동작들의 세트를 통해 음성-기반 통신 세그먼트를 처리하고 클라이언트 디바이스(110)의 사용자 인터페이스 상의 음성-기반 통신 세그먼트를 텍스트 세트(예를 들어, 텍스트-기반 통신 세그먼트, 텍스트 메시지, 텍스트 푸시 통보)로서 렌더링할 수 있다.

도 4는 메시지를 전송하기 위해 통신 타입들을 혼성화하기 위한 예시적인 방법(400)을 나타내는 흐름도를 나타낸다. 방법(400)의 동작들은, 통신 혼성화 시스템(160)의 컴포넌트들에 의해 수행될 수 있고, 예시의 목적으로 이하에서 설명된다. 일부 실시예에서, 방법(400)의 동작은 방법(300)의 하나 이상의 동작을 이용할 수 있고, 방법(300)의 하나 이상의 동작의 하위동작으로서 수행되거나, 방법(300)의 하나 이상의 동작에 기초하여 개시될 수 있다.

동작(410)에서, 클라이언트 디바이스(110) 상의 통신 혼성화 시스템(160)의 통신 모듈(210)은 통신 세션(예를 들어, 채팅 또는 전화 통화)을 개시하는 것을 나타내는 인터럽트를 수신한다. 예를 들어, 통신 모듈(210)은 클라이언트 디바이스(110) 상의 통신 애플리케이션 내의 채팅 개시를 나타내는 인터럽트를 수신할 수 있다. 채팅 개시는, 2명 이상의 사용자들 사이의 새로운 통신 세션의 생성 또는 2명 이상의 사용자들 사이의 기존 통신 세션의 재개를 표시한다. 통신 애플리케이션은 통신 혼성화 시스템(160)과 상호작용하도록 구성된 프로세서 실행가능한 명령어들을 포함한다. 예를 들어, 통신 애플리케이션의 프로세서 실행가능한 명령어들은 통신 혼성화 시스템(160)의 적어도 일부를 포함할 수 있다. 일부 예시적인 실시예에서, 클라이언트 디바이스(110)가 통신 애플리케이션을 열게 하는 사용자 개시된 인터럽트는 통신을 개시하는 인터럽트보다 선행할 수 있다.

동작 420에서, 프리젠테이션 모듈(220)은, 클라이언트 디바이스(110)의 사용자 인터페이스 상의 디폴트 통신 모드의 프리젠테이션을 야기한다. 예를 들어, 통신 세션을 개시하는 인터럽트의 수신시, 프리젠테이션 모듈(220)은 텍스트 기반 메시지를 수신 및 전송하도록 구성된 텍스트 기반 통신 모드에 대응하는 사용자 인터페이스를 프리젠팅할 수 있다. 텍스트 기반 통신 모드는, 사용자 인터페이스의 일부가 텍스트 기반 메시지를 생성하기 위해 사용자 입력을 수신할 수 있는 가상 키보드를 포함하도록 프리젠팅된다.

일부 실시예에서, 디폴트 통신 모드는 미리 결정된 통신 모드이다. 미리 결정된 통신 모드는, 클라이언트 디바이스(110)의 사용자에 의해, 클라이언트 디바이스의 사용자 인터페이스 내의 설정으로서 설정될 수 있다. 일부 사례에서, 디폴트 통신 모드는 또 다른 클라이언트 디바이스로부터 수신된 통신 데이터에 응답하여 선택될 수 있다. 결정 모듈(240)은 클라이언트 디바이스(110)에서 수신된 통신 데이터에 대한 통신 타입(예를 들어, 음성 기반 통신, 텍스트 기반 통신, 비디오 기반 통신)을 결정한다. 결정 모듈(240)이 수신된 통신 데이터의 통신 타입을 결정하는 것에 응답하여, 결정 모듈(240)은 수신된 통신 데이터의 통신 타입과 정합하거나 연관된 통신 타입을 갖는 통신 모드를 식별한다. 결정 모듈(240)에 의해 선택된 통신 모드는, 수신된 통신 데이터에 대한 통신 타입과 연관된 입력을 수신할 수 있다. 프리젠테이션 모듈(220)은, 디폴트 통신 모드를, 수신된 통신 데이터의 통신 타입과 정합하는 통신 타입을 갖는 것으로서 선택된 통신 모드로서 프리젠팅한다.

동작 430에서, 센서 모듈(230)은 클라이언트 디바이스(110)의 포지션 변경을 나타내는 센서 데이터를 수신한다. 예를 들어, 센서 모듈(230)은, 클라이언트 디바이스(110)의 낮추어진 포지션으로부터 사용자(106)의 귀에 근접한 포지션으로의 높이 상승 등의, 제1 포지션 변경을 나타내는 제1 세트의 센서 데이터를 수신할 수 있다. 추가 예시로서, 센서 모듈(230)은 제1 배향 변경을 나타내는 제1 세트의 센서 데이터를 수신할 수 있다. 제1 배향 변경은, 예를 들어, 수직 또는 수평 배향으로부터 대각 배향으로의 클라이언트 디바이스(110)의 배향의 변경일 수 있다. 대각선 배향은, 사용자(106)가 클라이언트 디바이스(110)에 대고 말하고 동시에 클라이언트 디바이스(110)의 출력을 청취하기에 적합한 배향으로 클라이언트 디바이스(110)를 포지셔닝시키는 것을 나타내는 각도를 갖는다. 센서 모듈(230)은 센서 데이터를 결정 모듈(240)에 전달하거나, 전송하거나, 기타의 방식으로 센서 데이터의 액세스를 가능하게 한다.

배향 변경의 한 예는 클라이언트 디바이스(110)를 스피커폰 포지션으로 회전시키는 것일 수 있다. 이 포지션에서, 사용자(106)는 클라이언트 디바이스(110)의 입력(예를 들어, 마이크로폰)을 제1 포지션으로부터 제2 포지션으로 회전시켜, 입력을 사용자의 입(예를 들어, 오디오 출력 소스)에 더 가깝게 둔다. 예를 들어, 출력 스피커(예를 들어, 이어피스)가 클라이언트 디바이스(110)의 제1 단부에 근접하게 포지셔닝되고, 마이크로폰이 클라이언트 디바이스(110)의 제2 단부에 근접하게 포지셔닝되는 경우, 배향 변경은 약 180°의 회전일 수 있다. 이 예에서, 회전은, 입력을 사용자(106)의 입에 더 가깝게 포지셔닝시킬 수 있다. 회전은, 수직(예를 들어, 클라이언트 디바이스(110)를 거꾸로 뒤집는 것), 수평(예를 들어, 마이크로폰을 사용자쪽으로 돌리거나 출력 스피커를 사용자로부터 멀어지게 하는 것), 또는 수직과 수평 회전의 조합일 수 있다.

동작 440에서, 센서 모듈(230)로부터 수신된 센서 데이터에 기초하여, 결정 모듈(240)은, 사용자(106)가 메시지 입력을 시도하는 방식과 호환되는 통신 모드에서 사용자(106)에 의해 생성된 메시지를 클라이언트 디바이스(110)가 수신하기 위한 원하는 통신 모드를 결정할 수 있다. 결정 모듈(240)은 미리 결정된 임계치들에 기초하여 센서 데이터를 해석할 수 있다. 일부 사례에서, 결정 모듈(240)은 이동된 거리(예를 들어, 수직, 수평, 대각선) 등의 센서 데이터 내의 값을 식별하고 그 값을 미리 결정된 거리 임계치와 비교한다. 이 값은 값들의 세트로부터 선택될 수 있고, 여기서, 각각의 값은 클라이언트 디바이스(110)의 하나 이상의 센서들에 의해 측정될 수 있는 양태의 양을 나타낸다. 센서 데이터 값이 미리 결정된 거리 임계치를 초과하는 경우, 결정 모듈(240)은 미리 결정된 거리 임계치를 초과한다는 결정과 연관된 통신 모드를 통신 모드의 세트로부터 결정할 수 있다. 예를 들어, 오디오 기반 통신 모드는 클라이언트 디바이스(110)가 미리 결정된 임계치 12 인치보다 큰(즉, 30 센티미터보다 큰) 양만큼 수직 포지션을 변경했다는 결정과 연관될 수 있으며, 이러한 양의 변경은, 사용자(106)가 클라이언트 디바이스(110)를 사용자(106)의 허리 또는 위장 근처의 포지션으로부터 사용자(106)의 귀 근처의 포지션까지 들어올렸다는 것을 암시한다. 또 다른 예로서, 오디오 메시지 모드는, 전술된 바와 같이, 클라이언트 디바이스(110)가 스피커폰 포지션으로 회전되었다는 결정과 연관될 수 있다. 스피커폰 포지션의 결정은 사용자(106)가 출력 스피커를 사용자(106)의 귀로부터 멀리 회전시켰다는 것을 암시한다.

일부 실시예에서, 결정 모듈(240)은 복수의 값(예를 들어, 복수의 측정된 양태들의 양에서의 변경)을 수신한다. 결정 모듈(240)은 미리 결정된 임계치와 비교하기 위한 센서 데이터 값으로서 이용된 1차 값(primary value)을 식별한다. 결정 모듈(240)은 양들 중에서 변경량에 기초하여 1차 값을 결정할 수 있다. 1차 값은, 복수의 값들 중에서 가장 큰 변경을 갖는 값, 또는 통신 모드와 미리 결정된 연관성을 갖는 양에서의 변경을 갖는 값, 또는 다른 적절한 식별 방법으로서 결정될 수 있다. 예를 들어, 클라이언트 디바이스(110)의 센서가 수직 포지션(예를 들어, 클라이언트 디바이스(110)가 들어 올려지고 있음) 및 배향 변경(예를 들어, 클라이언트 디바이스(110)가 수직 축을 중심으로 회전됨)을 검출하는 경우, 결정 모듈(240)은, 수직 포지션의 변경과 오디오 통신 모드 사이의 연관, 또는 시작량과 종료량 사이의 차이가 배형 변경을 위해 결정된 양보다 큰 수직 포지션에서의 변경에 기초하여 오디오 통신 모드를 선택할 수 있다.

일단 결정 모듈(240)이 통신 모드들의 세트로부터 원하는 통신 모드를 결정하고 나면, 결정 모듈(240)은, 통신 모드, 사용자 인터페이스 및 통신 애플리케이션에서의 변경을 발생시키기 위해 모드 변경 표시를 다른 모듈에 전달한다. 예를 들어, 결정 모듈(240)은 모드 변경 표시를 관리 모듈(250)에 전달하여 통신 모드들 사이에서 변경할 수 있고, 프리젠테이션 모듈(220)에 전달하여 사용자 인터페이스의 적어도 일부를 변경해 원하는 통신 모드로의 변경을 표시할 수 있다.

일부 예시적인 실시예들에서, 결정 모듈(240)은 또한, 클라이언트 디바이스(110)가 통신을 시도하고 있는 제2 클라이언트 디바이스로부터 모드 표시를 수신할 수 있다. 결정 모듈(240)이 제2 클라이언트 디바이스로부터 모드 표시를 수신하면, 결정 모듈(240)은 원하는 통신 모드(예를 들어, 호환가능한 통신 모드)의 결정을 센서 데이터와 모드 표시의 조합에 기초한다. 호환가능한 통신 모드는, 모드 표시의 제안된 통신 모드가 해석할 수 있는 포맷으로 통신 데이터를 수신 및 전송하도록 구성되고, 센서 데이터에 기초하여 결정된 원하는 통신 모드에 따라 동작하도록 구성된 통신 모드이다. 예를 들어, 결정 모듈(240)은, 센서 데이터로 인해 원하는 모드가 오디오 기반 통신 모드라고 결정할 수 있다. 그 다음, 결정 모듈(240)은 제안된 통신 모드를 포함하는 모드 표시가 제2 클라이언트 디바이스로부터 수신되었는지를 결정한다.

모드 표시가 수신되었고 모드 표시 내의 제안된 통신 모드가 원하는 모드를 금지한다면, 결정 모듈(240)은 제2 원하는 모드(예를 들어, 호환가능한 통신 모드)를 결정한다. 예를 들어, 결정 모듈(240)은 오디오 기반 통신 모드가 원하는 모드라고 결정했을 수 있다. 그러나, 제2 클라이언트 디바이스의 모드 표시는 제2 클라이언트 디바이스가 오디오 기반 통신 모드(예를 들어, 전이중 통신, 전화 통화, 또는 반이중 통신)를 이용한 통신에 이용가능하지 않거나 통신할 수 없다고 표시했다. 이 예에서, 결정 모듈(240)은 오디오 메시지 모드가 적절하거나 원하는 모드라고 결정할 수 있다. 이로써, 결정 모듈(240)은 클라이언트 디바이스(110)가 통신을 위해 현재의 포지션 및 배향으로 이용될 수 있게 하고, 사용자(106)가 제2 클라이언트 디바이스로의 오디오 메시지의 전송을 완료할 수 있게 한다.

동작 450에서, 결정 모듈(240)은 모드 변경 표시를 관리 모듈(250)에 전달하여 통신 모드를 변경한다. 관리 모듈(250)은 통신 혼성화 시스템(160) 및 통신 애플리케이션이 원하는 통신 모드를 이용하여 통신신호를 수신 및 전송하도록 구성한다. 예를 들어, 관리 모듈(250)은 프리젠테이션 모듈(220)에 모드 변경 표시를 전달하여, 프리젠테이션 모듈(220)로 하여금 원하는 통신 모드에 대응하는 사용자 인터페이스를 클라이언트 디바이스(110) 상에 프리젠팅하게 할 수 있다.

동작 460에서, 센서 데이터 및 결정 모듈(240)에 기초하여, 통신 모듈(210)은 클라이언트 디바이스(110)의 입력을 통해 사용자(106)로부터 통신 데이터를 수신하고, 통신 데이터의 적어도 일부를 데이터 모듈(260)에 전달한다. 예시로서, 데이터 모듈(260)은, 통신 모듈(210)에 의해 전송될 텍스트 기반 메시지, 미디어 메시지, 또는 오디오 메시지를 나타내는 통신 데이터를 수신할 수 있다. 데이터 모듈(260)은, 통신 메시지를, 저장 매체(예를 들어, 메모리, 비일시적 머신-판독가능한 저장 매체, 광학 저장 매체 등) 상으로의 전송에 앞서 또는 제2 클라이언트 디바이스로부터 통신 모듈(210)에 의해 수신된 통신 데이터를 보기 전에 수신 및 저장한다.

데이터 모듈(260)은 통신 데이터를 변경하여 사용자(106)가 메시지를 생성하고 인터럽트 이벤트시에 메시지를 저장할 수 있게 한다. 예를 들어, 사용자(106)가 오디오 메시지를 생성하는 중이고, 제2 클라이언트 디바이스가 오디오 기반 통신(예를 들어, 전화 통화)에 이용가능하다는 표시를 수신하는 경우, 데이터 모듈(260)은 오디오 메시지의 상태를 유지하고 사용자(106)가 제2 클라이언트 디바이스와의 오디오 기반 통신을 종료한 후에 오디오 메시지의 녹음을 계속할 수 있게 할 수 있다.

일부 예시적인 실시예에서, 방법(400)은 동작 470을 더 포함할 수 있고, 이 동작에서, 통신 모듈(210)은 데이터 모듈(260)로부터 제2 클라이언트 디바이스로의 전송에 준비된 완료된 메시지를 나타내는 통신 데이터를 수신한다. 그 다음, 통신 모듈(210)은 통신 데이터를 제2 클라이언트 디바이스에 전송한다.

통신 모듈(210)은 또한, 통신 데이터에 의해 채용된 통신 모드를 변경하기 위해 통신 데이터를 처리할 수 있다. 예를 들어, 통신 데이터가 오디오 메시지인 경우, 통신 모듈(210)은 텍스트 기반 통신신호로서 전송하기 위한 통신 데이터를 처리할 수 있다. 통신 모듈(210)은, 음성-텍스트 동작, 텍스트-음성 동작, 및 기타의 적절한 통신 데이터 변환 프로세스 및 동작 등의 통신 데이터를 변환하는 프로세서 실행가능한 명령어들을 채용한다.

통신 모듈(210)은, 제2 클라이언트 디바이스에 대한 선택된 통신 모드의 표시와는 독립적으로 통신 데이터를 전송하거나 변환된 통신 데이터를 전송할 수 있다. 일부 예시적인 실시예에서, 통신 모듈(210)은 제2 클라이언트 디바이스로부터 수신된 모드 표시에 기초하여 통신 데이터 또는 변환된 통신 데이터를 전송할지를 결정할 수 있다.

도 5는 클라이언트 디바이스(110)의 포지션에 기초하여 채팅 세션에 참여하기 위한 통신 타입들을 혼성화하기 위한 예시적인 방법(500)을 나타내는 흐름도를 도시한다. 방법(500)의 동작들은, 통신 혼성화 시스템(160)의 컴포넌트들에 의해 수행될 수 있고, 예시의 목적으로 이하에서 설명된다. 다양한 실시예에서, 방법(500)의 동작은 방법(300 및 400)의 하나 이상의 동작을 이용하여 수행될 수 있고, 방법(300 및 400)과 관련하여 설명된 동작들의 서브동작들이거나, 방법들(300 및 400) 중 하나 이상의 동작에 기초하여 개시될 수 있다.

동작 510에서, 도 8에 도시된 바와 같이, 통신 모듈(210)은 클라이언트 디바이스(110)와 제2 클라이언트 디바이스 사이의 통신을 나타내는 통보를 수신한다. 예를 들어, 통신 모듈(210)은 제2 클라이언트 디바이스와의 채팅 개시를 나타내는 통보 및 채팅 데이터를 수신할 수 있다. 채팅 데이터는, 오디오 데이터, 텍스트 데이터, 이미지 데이터 또는 기타의 매체를 포함할 수 있다.

동작 520에서, 센서 모듈(230)은 클라이언트 디바이스(110)의 포지션 변경을 나타내는 센서 데이터를 수신한다. 예를 들어, 센서 모듈(230)은 클라이언트 디바이스(110)의 제1 포지션 또는 배향 변경을 나타내는 제1 센서 데이터를 수신할 수 있다. 동작 520 동안, 센서 모듈(230)은 동작 430과 유사한 센서 데이터를 수신할 수 있다.

동작 530에서, 센서 데이터 및 제2 디바이스로부터 수신된 채팅 데이터의 통신 타입에 기초하여, 결정 모듈(240)은, 클라이언트 디바이스(110)가 제2 디바이스로부터 전송된 메시지를 수신하기 위한 원하는 통신 모드를 결정한다. 결정 모듈(240)은, 통신 모드와 데이터 타입을 정합함으로써 제2 디바이스로부터 수신된 통신 데이터의 데이터 타입에 기초하여 원하는 통신 모드를 결정한다. 예를 들어, 결정 모듈(240)은, 오디오 파일의 일부가 텍스트로 변환된 텍스트 데이터 또는 오디오 파일로 구성된 메시지를 수신할 때 텍스트 기반 통신 모드가 되도록 원하는 통신 모드를 결정할 수 있다.

동작 540에서, 제1 센서 데이터 및 결정 모듈(240)에 의한 원하는 통신 모드의 결정에 기초하여, 관리 모듈(250)은 디폴트 통신 모드를 원하는 통신 모드로 설정 또는 변경하도록 클라이언트 디바이스(110)를 구성하는 제1 인터럽트를 생성한다. 예를 들어, 관리 모듈(250)은 클라이언트 디바이스(110)로 하여금 통신 네트워크를 통해 제2 디바이스와의 오디오 기반 통신 세션에 진입하게 할 수 있다. 관리 모듈(250)은 동작 450과 유사하게 동작 모드 540에서 통신 모드를 변경 또는 설정할 수 있다.

동작 550에서, 센서 모듈(230)은 클라이언트 디바이스(110)의 제2 포지션 변경을 나타내는 제2 센서 데이터를 수신한다. 일부 예시적인 실시예에서, 센서 모듈(230)은 클라이언트 디바이스(110)의 포지션 변경 및 배향 변경에 대한 제2 센서 데이터를 수신할 수 있다. 센서 모듈(230)은 동작 520 및 430과 유사하게 동작 550에서 제2 센서 데이터를 수신할 수 있다. 일부 실시예에서, 제2 포지션 변경은, 통신 혼성화 시스템(160)이 클라이언트 디바이스(110)의 입력을 통해 통신 데이터를 수신한 후에 수신된다.

동작 560에서, 제2 센서 데이터에 기초하여, 결정 모듈(240)은 클라이언트 디바이스(110)가 양방향 채팅 세션에 참여하지 않고 제2 디바이스로부터 통신 데이터를 계속 수신하기 위한 제2 원하는 통신 모드를 결정한다. 결정 모듈(240)은, 동작들(440 및 530)과 유사하게 제2 센서 데이터에 기초하여 원하는 통신 모드를 결정할 수 있다.

동작 570에서, 제2 센서 데이터 및 결정 모듈(240)에 의한 원하는 통신 모드의 결정에 기초하여, 관리 모듈(250)은 원하는 통신 모드를 제2 원하는 통신 모드로 설정 또는 변경하도록 클라이언트 디바이스(110)를 구성하는 제2 인터럽트를 생성한다. 제2 원하는 통신 모드로의 변경에 응답하여, 관리 모듈(250)은 통신 모듈(210)로 하여금 클라이언트 디바이스(110)의 일부에 관한 음성 채팅을 종료하게 한다. 동작 440과 관련하여 언급된 바와 같이, 동작 570의 일부로서, 클라이언트 디바이스(110)는 음성 채팅의 종료를 나타내는 모드 표시를 제2 디바이스에 전송할 수 있다. 모드 표시가 전송된 경우, 클라이언트 디바이스(110)는 여전히 음성 채팅 또는 음성 채팅의 음성-텍스트 버전을 수신할 수 있다. 음성 채팅 또는 음성 채팅의 음성-텍스트 버전을 나타내는 통신 데이터는 클라이언트 디바이스(110)의 사용자(106)에 의한 나중의 소비를 위해 유지된다.

일부 실시예에서, 클라이언트 디바이스(110)는 제1 입력을 통해 제1 포맷(예를 들어, 텍스트 데이터)의 제1 통신 데이터를 수신한다. 제1 통신 데이터는 통신 데이터를 입력하는 사용자로부터 클라이언트 디바이스(110)의 입력을 통해 수신된 메시지의 일부를 나타낸다. 예를 들어, 제1 통신 데이터는, 클라이언트 디바이스(110)의 터치스크린 상에 프리젠팅된 가상 키보드 상에서 클라이언트 디바이스(110)의 사용자에 의해 입력된 텍스트 포맷일 수 있다. 일부 사례에서, 클라이언트 디바이스(110)는 동작 520에서 제1 센서 데이터를 수신한 후에 제1 통신 데이터를 수신한다. 센서 모듈(230)은, 클라이언트 디바이스가 제1 통신 데이터를 수신한 후, 동작 550에서 제2 센서 데이터를 수신할 수 있다. 제2 센서 데이터는 클라이언트 디바이스(110)의 포지션 또는 배향의 변경을 나타낼 수 있다. 결정 모듈(240)은 동작 560에서 제2 원하는 통신 모드를 결정할 수 있다. 이러한 제2 포지션 변경은, 제1 통신 데이터에 의해 표현된 메시지의 부분을 완료하기 위한 새로운 통신 모드의 (예를 들어, 클라이언트 디바이스(110)의 움직임에 의한) 선택을 나타낼 수 있다. 일부 실시예에서, 제2 원하는 통신 모드는 제2 포맷(예를 들어, 오디오 데이터)의 통신 데이터를 수신한다. 일부 사례에서, 동작 570에서 클라이언트 디바이스를 제2 원하는 통신 모드로 변경한 후, 클라이언트 디바이스(110)는 제1 통신 데이터에 의해 표현된 메시지의 연속을 나타내는 제2 통신 데이터를 수신한다. 통신 모듈(210)은, 클라이언트 디바이스(110)의 제2 입력 디바이스(예를 들어, 키보드 대신 마이크로폰)를 통해 제2 포맷의 제2 통신 데이터를 수신한다. 제2 원하는 통신 모드는 제2 통신 데이터를 제2 포맷으로부터 제1 포맷으로 변환한다. 일부 실시예에서, 제2 원하는 통신 모드는, 제1 포맷의 제2 통신 데이터를 제1 통신 데이터에 첨부하여 또 다른 클라이언트 디바이스로 전송될 단일 메시지에 포함시킨다.

예시로서, 도 6 내지 도 13에서, 방법들(300, 400 및 500)의 동작들의 예시적인 실시예에 대한 예시적인 사용자 인터페이스 스크린이 프리젠팅된다. 도 6 내지 도 13은 특정한 예시적인 사용자 인터페이스 및 사용자 인터페이스 요소들을 도시하지만, 이들은 비제한적인 예일 뿐이고, 많은 다른 대안적인 사용자 인터페이스 및 사용자 인터페이스 요소들이 프리젠테이션 모듈(220)에 의해 생성되어 사용자에게 프리젠팅될 수 있다. 도 6 내지 도 13의 디스플레이의 대안적인 프리젠테이션은 추가의 정보, 그래픽, 옵션 등을 포함할 수 있다는 점에 유의한다. 대안으로서, 다른 프리젠테이션은 더 적은 정보를 포함하거나 사용자가 쉽게 이용할 수 있도록 요약된 정보를 제공할 수 있다.

도 6은, 동작 310에서 언급된 사용자 상호작용, 및 동작 320에서 언급된 디폴트 통신 모드의 변경을 나타낸다. 클라이언트 디바이스(110)는 프리젠테이션 모듈(220)에 의해 초기에 텍스트 입력 박스(610)를 프리젠팅할 수 있다. 사용자(106)는 부분적 스와이프를 수행할 수 있고, 클라이언트 디바이스(110)는 텍스트 입력 박스(610) 또는 그 부근에서 부분적 스와이프(620)를 수신하여 음성 메모 또는 오디오 메모 형태의 통신 세그먼트를 개시할 수 있다. 예를 들어, 사용자(106)는 텍스트 입력 박스(610)의 좌측 상의 클라이언트 디바이스(110)의 터치 스크린(630) 상에 손가락을 위치시키고 손가락 부분을 스크린(630)을 가로 질러 (예를 들어, 텍스트 입력 박스의 대략 중간 영역까지) 드래그하여 텍스트 기반 통신 모드로부터 오디오 메시지 모드로 통신 모드로의 통신 모드의 원하는 변경을 시그널링할 수 있다. 부분적인 스와이프(620)를 수신하면, 통신 혼성화 시스템(160)은, 동작들 320 내지 340에서 논의된 바와 같이, 통신 모드를 변경하여 사용자(106)가 통신 세그먼트를 생성할 수 있게 할 수 있다.

일부 실시예에서, 사용자(106)는 제1 및 제2 상호작용을 수행할 수 있고, 통신 혼성화 시스템(160)은 제1 및 제2 상호작용을 수신하여 통신 모드의 변경을 야기할 수 있다. 예를 들어, 사용자(106)는, 텍스트 입력 박스(610) 상에서 제1 상호작용으로서 부분적 스와이프(620)를 수행하여, 음성 메모 또는 오디오 메모의 형태로 통신 세그먼트를 개시함으로써 텍스트-기반 통신 세그먼트를 개시할 수 있다. 일부 사례에서, 제1 상호작용은 통신 모드의 변경을 야기할 수 있다. 일부 실시예에서, 제1 상호작용은, 클라이언트 디바이스(110)가 제2 상호작용을 기다리게 하는 인터럽트를 야기할 수 있다. 그러면, 사용자(106)는 제2 상호작용을 수행할 수 있고 클라이언트 디바이스(110)는 제2 상호작용(예를 들어, 클라이언트 디바이스(110)의 마이크로폰에 대고 말하는 것)을 수신하여 통신 모드의 변경을 야기하거나 통신 모드의 제2 변경을 야기할 수 있다.

사용자(106)는 또한 전체 스와이프를 수행할 수 있고, 클라이언트 디바이스(110)는 텍스트 입력 박스 상에서 전체 스와이프를 수신하여 음성 통화를 개시할 수 있다. 예를 들어, 사용자(106)는 텍스트 입력 박스(610)의 좌측에 근접한 클라이언트 디바이스(110)의 터치 스크린 상에 손가락을 위치시키고 텍스트 입력 박스(610)의 길이를 가로 질러 손가락을 드래그할 수 있다(예를 들어, 텍스트 입력 박스의 좌측으로부터 텍스트 입력 박스의 우측으로). 전체 스와이프는 텍스트 기반 통신 모드로부터 오디오 기반 통신 모드(예를 들어, 음성 통화)로의 통신 모드의 원하는 변경을 나타낼 수 있다. 전체 스와이프를 수신하면, 통신 혼성화 시스템(160)은 통신 모드를 변경하여 사용자(106)가 동작 320 내지 340과 유사한 방식으로 오디오 기반 통신 모드를 이용하여 통신에 참여할 수 있게 한다.

도 7a 내지 도 7c는, 동작 310에서 언급된 사용자 상호작용의 예시적인 실시예 및 동작 320에서 언급된 디폴트 통신 모드의 변경을 나타낸. 프리젠테이션 모듈(220)은 초기에 디폴트 통신 모드를 포함하는 사용자 인터페이스를 프리젠팅할 수 있다. 도 7a에 도시된 바와 같이, 디폴트 통신 모드는 채팅 윈도우(710) 및 텍스트 입력 박스(720)를 갖는다. 사용자(106)는 사용자 인터페이스와 상호작용하여, 클라이언트 디바이스(110)가 통신 모드에서의 전환을 야기하는 인터럽트를 생성하게 한다. 일부 실시예에서, 인터럽트는 도 7b에 도시된 바와 같이 채팅 윈도우(710) 또는 텍스트 입력 박스(720) 내의 포지션으로부터 사용자 상호작용 상방 스와이프(730)를 수신하는 것에 응답하여 생성된다. 상방 스와이프(730)의 사용자 상호작용은 또한, 클라이언트 디바이스(110)를 개시하여, 디폴트 통신 모드의 변경을 야기하는 것(예를 들어, 동작들 320 및 330) 외에도, 프리젠테이션 모듈(220)에 의한 사용자 인터페이스 스크린을 생성 및 프리젠팅할 수 있다. 예를 들어, 도 7c에 도시된 바와 같이, 프리젠테이션 모듈(220)은, 텍스트 기반 통신 모드로부터 음성 메모 모드(예를 들어, 오디오 메시지 모드)로의 통신 모드의 변경을 나타내는 파형(740)을 생성할 수 있다. 프리젠테이션 모듈(220)은, 클라이언트 디바이스(110)가 통신 모드를 변경했다는(예를 들어, 오디오 메시지 모드에 진입) 것을 사용자(106)를 나타내기 위해 오버스크롤 효과를 이용하여 통신 모드의 변경을 나타내는 파형을 프리젠팅할 수 있다.

일부 예시적인 실시예에서, 도 7c에 도시된 바와 같이, 음성 메모가 녹음되는 기간 동안 상방 스와이프의 사용자 상호작용이 유지될 수 있다(750)(예를 들어, 손가락이 스와이프의 끝에서 머물러 있을 수 있음). 예를 들어, 사용자(106)는 상방 스와이프를 수행하여 클라이언트 디바이스(110)가 하나 이상의 동작을 개시해 파형을 드러내게 할 수 있다. 사용자(106)는 음성 메시지를 녹음하기 위해 손가락 포지션(750)을 유지한다. 그 다음, 사용자(106)는 손가락 포지션을 해제(예를 들어, 클라이언트 디바이스(110)의 터치 스크린과의 접촉으로부터 손가락을 제거)하여 음성 메시지의 녹음을 끝내서, 클라이언트 디바이스(110)로 하여금 녹음의 캡처(capture of the recording)를 종료하고 음성 메시지로서의 녹음의 전송을 준비하는 하나 이상의 동작들을 개시하게 할 수 있다. 일부 사례에서, 손가락 포지션을 해제하는 것은 클라이언트 디바이스(110)로 하여금 인터럽트를 생성해 클라이언트 디바이스(110)가 이전의 통신 모드로 다시 전환하게 할 수 있다.

다른 실시예에서, 사용자(106)는 상방으로 스와이프하여 스와이프의 끝의 포지션을 유지하지 않고 통신 모드를 변경할 수 있다. 예를 들어, 사용자(106)는 상방으로 스와이프하여 오디오 메시지 모드로 변경해, 스와이프의 끝에서 커서 또는 포인터를 해제할 수 있다. 그 다음, 사용자(106)는 채팅 윈도우에서 하방으로 스와이프하여 오디오 메시지 모드를 종료하고 이전 통신 모드로 전환하거나 상이한 통신 모드로 전환할 수 있다.

상방 스와이프, 하방 스와이프, 및 우측 스와이프와 관련하여 설명되었지만, 통신 모드는 다른 사용자 상호작용들에 의해 변경될 수 있다는 것을 이해해야 한다. 예를 들어, 인터럽트는, 클라이언트 디바이스(110)의 흔듬(shaking); 클라이언트 디바이스(110)의 배향 변경; 클라이언트 디바이스(110)의 포지션 변경; 하나 이상의 버턴, 스위치, 또는 클라이언트 디바이스(110) 상의 다른 촉각적 입력 디바이스와의 상호작용; 클라이언트 디바이스(110)의 마이크로폰에 대고 말하는 것; 이들의 조합; 또는 디바이스의 통신 모드의 변경을 야기하는 인터럽트를 생성할 수 있는 기타 임의의 적절한 사용자 상호작용에 응답하여 생성될 수 있다.

도 8은 동작(510)의 일부에 대한 사용자 인터페이스 스크린(810)을 도시한다. 도 8에서, 사용자(106)는, 음성 메모(830)(예를 들어, 음성-텍스트 메시지 데이터를 포함하는 메시지)를 전송하는 제2 디바이스를 나타내는 푸시 통보(820)를 수신할 수 있다.

도 9 내지 도 11에서, 사용자(106)는, 통신 모듈(210)에 의한 음성 메모(즉, 메시지 데이터)의 수신 및 프리젠테이션 모듈(220)을 통한 프리젠테이션을 통해, 제2 사용자에 의해 남겨진 음성 메모(910)의 적어도 일부를 수신한다. 도 10 및 도 11에서, 통신 모듈(210)은, 제2 클라이언트 디바이스로부터 음성 메모(1010 및 1110)의 추가 부분을 각각 수신하고, 프리젠테이션 모듈(220)은, 음성 메모(1010 및 1110)의 추가 부분을 클라이언트 디바이스(110)의 사용자 인터페이스 상에 프리젠팅한다. 일부 사례에서, 프리젠테이션 모듈(220)은 음성 메모가 제2 클라이언트 디바이스에서 작성 및 전송되려고 할 때 음성-텍스트 음성 메모를 업데이트하는 세그먼트들에서 추가 부분을 프리젠팅한다.

도 9 내지 도 11에 도시된 바와 같이, 일부 예시적인 실시예에서, 통신 혼성화 시스템(160)은 통신 모듈(210) 및 프리젠테이션 모듈(220)의 조합을 이용하여 진행중인 음성 메모(910)를 수신할 수 있다. 클라이언트 디바이스(110)의 사용자(106)는, 제2 디바이스와의 양방향(전이중) 통신을 개시하기 전에, 제2 클라이언트 디바이스 또는 클라이언트 디바이스(110)에 의해 텍스트로 변환된, 진행중인 음성 메모의 내용을 검토할 수 있고, 클라이언트 디바이스(110)는 진행중인 음성 메모의 내용을 프리젠팅할 수 있다.

사용자(106)가, 도 9 내지 도 11에 도시된, 상황파악을 위해 음성 메모의 부분들을 판독한 후에, 클라이언트 디바이스(110)의 사용자(106)는 클라이언트 디바이스(110)(예를 들어, 스마트폰)를 사용자(106)의 귀에까지 들어올려, 동작 520에서와 같이, 센서 모듈(230)이 제1 포지션 변경을 나타내는 제1 센서 데이터를 수신하게 할 수 있다. 제1 센서 데이터에 기초하여, 결정 모듈(240)은, 동작 530에서와 같이, 원하는 통신 모드가 오디오 기반 통신 모드라고 결정할 수 있다. 관리 모듈(250)은, 통신 모듈(210) 및 프리젠테이션 모듈(220)로 하여금 서로 협력하여 사용자 인터페이스를 오디오 기반 통신 모드로 변경함으로써, 동작 540에서와 같이, 클라이언트 디바이스(110)의 사용자(106)가 전이중 통신(예를 들어, 전화 통화)를 이용하여 동시에 통신하게 할 수 있다.

음성으로부터 변환된 텍스트를 보는 것 외에도, 사용자는 (예를 들어,도 14에 도시된 바와 같이) 전송자로부터의 메시지의 실제 음성 녹음을 들을 수 있다. 앞서 언급된 바와 같이, 오디오 메모를 수신하는 제2 사용자는 메모를 텍스트 및 오디오 포맷 모두로 동시에 수신할 수 있다. 도 14에 도시된 바와 같이, 오디오 메모는, 오디오 메모의 텍스트 및 오디오 양쪽 모두를 수신자에게 프리젠팅하는 통신 혼성화 시스템에 의해 텍스트 기반 메시지로 렌더링될 수 있다. 오디오 메모는 .wav, .mp3, .mp4, .aac, .aiff 또는 기타 임의의 적절한 오디오 파일 등의 오디오 파일로 나타낼 수 있다. 따라서, 수신자는 오디오 메모를 텍스트 또는 오디오로서 검토할 수 있다. 텍스트 기반 메시지 및 오디오 파일은, 프리젠테이션 모듈(220)에 의해 사용자 인터페이스 상에서 서로 근접하게 프리젠팅될 수 있다.

사용자(106)는 클라이언트 디바이스(110)를 낮추어, 동작 550에서와 같이, 센서 모듈(230)이 제2 센서 데이터를 수신하게 한다. 제2 클라이언트 디바이스는, 계속 통화하는 제2 클라이언트 디바이스의 제2 사용자를 나타내는 오디오 통신 데이터를 계속 전송할 수 있고, 이로써 채팅 세션의 제2 사용자의 부분을 계속할 수 있다. 도 12 내지 도 14에 도시된 바와 같이, 클라이언트 디바이스(110)는 제2 클라이언트 디바이스로부터의 연속된 음성 채팅(1210, 1220 및 1230)의 음성-텍스트 버전을 수신할 수 있다. 프리젠테이션 모듈(220)과 협력하여 통신 모듈(210)은 음성 채팅 통신 데이터의 텍스트 버전(1220) 또는 오디오 버전(1230)을 주기적으로 업데이트하는 한편, 제2 클라이언트 디바이스는 추가적인 통신 데이터를 계속 전송한다.

모듈, 컴포넌트, 및 로직

소정 실시예들은, 여기서 로직 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하는 것으로서 설명된다. 모듈은, 소프트웨어 모듈(예를 들어, 머신-판독가능한 매체 상에 또는 전송 신호로 구현된 코드) 또는 하드웨어 모듈을 구성할 수 있다. "하드웨어 모듈"은, 소정의 동작을 수행할 수 있는 유형 유닛(tangible unit)이며, 소정의 물리적 방식으로 구성되거나 배열될 수 있다. 다양한 예시적인 실시예에서, 컴퓨터 시스템(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하드웨어 모듈(예를 들어, 적어도 하나의 하드웨어 프로세서, 프로세서, 또는 프로세서 그룹 )은, 여기서 설명된 소정의 동작들을 수행하도록 동작하는 하드웨어 모듈로서 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 구성된다.

일부 실시예에서, 하드웨어 모듈은, 기계적으로, 전자적으로, 또는 이들의 임의의 적절한 조합으로 구현된다. 예를 들어, 하드웨어 모듈은 소정의 동작들을 수행하도록 영구적으로 구성된 전용 회로 또는 로직을 포함할 수 있다. 예를 들어, 하드웨어 모듈은, FPGA(Field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit) 등의 특별-목적 프로세서일 수 있다. 하드웨어 모듈은 또한, 소정의 동작들을 수행하도록 소프트웨어에 의해 일시적으로 구성된 프로그램가능한 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 모듈은, 범용 프로세서 또는 다른 프로그램가능한 프로세서 내에 포함된 소프트웨어를 포함할 수 있다. 기계적으로, 전용 및 영구적으로 구성된 회로로, 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성됨)로 하드웨어 모듈을 구현하려는 결정은, 비용 및 시간 고려사항에 의해 결정될 수 있다는 것을 이해할 것이다.

따라서, "하드웨어 모듈"이라는 구문은, 소정 방식으로 동작하거나 여기서 설명된 소정 동작들을 수행하도록 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 하드 와이어드) 또는 일시적으로 구성된(예를 들어, 프로그래밍)된 유형 엔티티를 포함하는 것으로 이해되어야 한다. 여기서 사용될 때, "하드웨어-구현된 모듈"이란 하드웨어 모듈을 말한다. 하드웨어 모듈들이 일시적으로 구성되는(예를 들어, 프로그램되는) 실시예들을 고려할 때, 하드웨어 모듈들 각각은 임의의 한 시점에서 구성되거나 인스턴스화될 필요는 없다. 예를 들어, 하드웨어 모듈이 소프트웨어에 의해 특별-목적 프로세서가 되도록 구성된 범용 프로세서를 포함하는 경우, 범용 프로세서는 상이한 시간들에서 (예를 들어, 상이한 하드웨어 모듈들을 포함하는) 각각 상이한 특별-목적 프로세서들로서 구성될 수 있다 . 소프트웨어는, 그에 따라 특정한 프로세서 또는 프로세서들을 구성하여, 예를 들어 소정의 한 시점에서 특정한 하드웨어 모듈을 구성하고 상이한 한 시점에서 상이한 하드웨어 모듈을 구성할 수 있다.

하드웨어 모듈은 다른 하드웨어 모듈에 정보를 제공하고 다른 하드웨어 모듈로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 모듈들은 통신가능하게 결합된 것으로 간주될 수 있다. 복수의 하드웨어 모듈이 동시에 존재하는 경우, 통신은 2개 이상의 하드웨어 모듈들 사이에서 (예를 들어, 적절한 회로 및 버스를 통한) 신호 전송을 통해 달성될 수 있다. 복수의 하드웨어 모듈들이 상이한 시간들에서 구성되거나 인스턴스화되는 실시예에서, 이러한 하드웨어 모듈들 사이의 통신은, 예를 들어, 복수의 하드웨어 모듈들이 액세스하는 메모리 구조 내의 정보의 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 모듈은 소정의 동작을 수행하고 그 동작의 출력을 통신가능하게 결합된 메모리 디바이스에 저장한다. 그 다음, 추가 하드웨어 모듈은, 나중에, 메모리 디바이스에 액세스하여 저장된 출력을 회수 및 처리할 수 있다. 하드웨어 모듈은 또한, 입력 또는 출력 디바이스와의 통신을 개시할 수 있고, 자원(예를 들어, 정보 모음)에 관해 동작할 수 있다.

여기서 설명된 예시적인 방법들의 다양한 동작들은, 적어도 부분적으로, 관련 동작들을 수행하도록 (예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 영구적으로 구성된 프로세서들에 의해 수행될 수 있다. 일시적으로 또는 영구적으로 구성되어 있는지에 관계없이, 이러한 프로세서들은 여기서 설명된 동작 또는 기능을 수행하도록 동작하는 프로세서-구현된 모듈들을 구성한다. 여기서 사용될 때, "프로세서-구현된 모듈"이란 프로세서를 이용하여 구현된 하드웨어 모듈을 말한다.

유사하게, 여기서 설명된 방법들은 하드웨어의 한 예인 특정한 프로세서 또는 프로세서들로 적어도 부분적으로 프로세서-구현될 수 있다. 예를 들어, 방법의 동작들 중 적어도 일부는 프로세서 또는 프로세서-구현된 모듈에 의해 수행될 수 있다. 게다가, 프로세서는 또한, "클라우드 컴퓨팅" 환경에서 관련 동작의 수행을 지원하도록 또는 "서비스로서의 소프트웨어"(SaaS)로서 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부는, (프로세서들을 포함하는 머신의 예로서의) 컴퓨터들의 그룹에 의해 수행될 수 있고, 이들 동작들은 네트워크(예를 들어, 인터넷) 및 적절한 인터페이스(예를 들어, 애플리케이션 프로그램 인터페이스(API))를 통해 액세스가능하다.

소정 동작들의 수행은, 단일 머신 내에 존재할 뿐만 아니라 다수의 머신들에 걸쳐 배치된, 프로세서들 사이에서 분산될 수 있다. 일부 예시적인 실시예에서, 프로세서 또는 프로세서-구현된 모듈들은 단일의 지리적 위치에(예를 들어, 가정 환경, 사무실 환경, 또는 서버 팜 내에) 위치한다. 다른 예시적인 실시예에서, 프로세서 또는 프로세서-구현된 모듈들은 다수의 지리적 위치에 걸쳐 분산된다.

애플리케이션들

도 15는, 일부 실시예에 따른, 모바일 운영 체제(예를 들어, IOS™, ANDROID™, WINDOWS® 전화 또는 기타의 모바일 운영 체제)을 실행하는 모바일 디바이스(1500)를 도시한다. 한 실시예에서, 모바일 디바이스(1500)는 사용자(1502)로부터 촉각 데이터를 수신하도록 동작가능한 터치 스크린을 포함한다. 예를 들어, 사용자(1502)는 모바일 디바이스(1500)를 물리적으로 터치(1504)할 수 있고, 터치(1504)에 응답하여, 모바일 디바이스(1500)는, 터치 위치, 터치 힘, 또는 제스처 모션 등의 촉각 데이터를 결정할 수 있다. 다양한 예시적인 실시예에서, 모바일 디바이스(1500)는 애플리케이션을 론칭하거나 모바일 디바이스(1500)의 다양한 양태를 관리하도록 동작가능한 홈 스크린(1506)(예를 들어 IOS™ 상의 Springboard)을 디스플레이한다. 일부 예시적인 실시예에서, 홈 스크린(1506)은, 배터리 수명, 연결성, 또는 기타의 하드웨어 상태 등의, 상태 정보를 제공한다. 사용자(1502)는 각각의 사용자 인터페이스 요소에 의해 점유된 영역을 터치함으로써 사용자 인터페이스 요소를 활성화할 수 있다. 이러한 방식으로, 사용자(1502)는 모바일 디바이스(1500)의 애플리케이션들과 상호작용한다. 예를 들어, 홈 스크린(1506)에 포함된 특정한 아이콘에 의해 점유된 영역을 터치하는 것은 특정한 아이콘에 대응하는 애플리케이션의 론칭을 야기한다.

네이티브 애플리케이션(예를 들어, Objective-C, Swift, 또는 IOS™ 상에서 실행중인 다른 적절한 언어로 프로그램된 애플리케이션, 또는 ANDROID™에서 실행되는 Java로 프로그램된 애플리케이션), 모바일 웹 애플리케이션(예를 들어, HTML5(Hypertext Markup Language-5)로 작성된 애플리케이션) 또는 하이브리드 애플리케이션(예를 들어, HTML5 세션을 론칭하는 네이티브 쉘 애플리케이션) 등의, ("앱"이라고도 하는) 많은 다양한 애플리케이션들이 모바일 디바이스(1500) 상에서 실행되고 있을 수 있다. 예를 들어, 모바일 디바이스(1500)는, 메시징 앱, 오디오 녹음 앱, 카메라 앱, 북 리더 앱, 미디어 앱, 피트니스 앱, 파일 관리 앱, 위치 앱, 브라우저 앱, 설정 앱, 연락처 앱, 전화 통화 앱, 또는 기타의 앱(예를 들어, 게임 앱, 소셜 네트워킹 앱, 바이오메트릭 모니터링 앱)을 포함한다. 또 다른 예에서, 모바일 디바이스(1500)는, 일부 실시예와 일치하는, 사용자가 미디어 콘텐츠를 포함하는 단기 메시지(ephemeral message)를 교환하는 것을 허용하는 SNAPCHAT® 등의 소셜 메시징 앱(1508)을 포함한다. 이 예에서, 소셜 메시징 앱(1508)은 여기서 설명된 실시예의 양태들을 포함할 수 있다.

소프트웨어 아키텍처

도 16은 전술된 디바이스들 중 임의의 디바이스 상에 설치될 수 있는 소프트웨어의 아키텍처(1602)를 나타내는 블록도(1600)이다. 도 16은 소프트웨어 아키텍처의 비제한적 예일 뿐이고, 여기서 설명된 기능을 가능하게 하기 위해 많은 다른 아키텍처가 구현될 수 있다는 것을 이해할 것이다. 다양한 실시예에서, 소프트웨어(1602)는, 프로세서(1710), 메모리(1730), 및 I/O 컴포넌트(1750)를 포함하는 도 17의 머신(1700) 등의 하드웨어에 의해 구현된다. 이러한 예시적인 아키텍처에서, 소프트웨어(1602)는 각각의 층이 특정한 기능을 제공할 수 있는 층들의 스택으로서 개념화될 수 있다. 예를 들어, 소프트웨어(1602)는, 운영 체제(1604), 라이브러리(1606), 프레임워크(1608), 및 애플리케이션(1610) 등의 계층을 포함한다. 동작상, 애플리케이션(1610)은, 일부 실시예에 따라, 소프트웨어 스택을 통해 애플리케이션 프로그래밍 인터페이스(API) 호출(1612)을 기동하고, API 호출(1612)에 응답하여 메시지(1614)를 수신한다.

다양한 구현에서, 운영 체제(1604)는 하드웨어 자원을 관리하고 공통 서비스를 제공한다. 운영 체제(1604)는 예를 들어 커널(1620), 서비스(1622) 및 드라이버(1624)를 포함한다. 커널(1620)은 일부 실시예에 따라 하드웨어와 기타의 소프트웨어 계층들 사이의 추상화 계층(abstraction layer)으로서 기능한다. 예를 들어, 커널(1620)은, 특히, 메모리 관리, 프로세서 관리(예를 들어, 스케쥴링), 컴포넌트 관리, 네트워킹, 및 보안 설정을 제공한다. 서비스(1622)는 다른 소프트웨어 계층들에 대한 다른 공통 서비스를 제공할 수 있다. 일부 실시예에 따라, 드라이버(1624)는 기저 하드웨어를 제어하거나 이와 인터페이싱하는 책임을 진다. 예를 들어, 드라이버(1624)는, 디스플레이 드라이버, 카메라 드라이버, BLUETOOTH® 드라이버, 플래시 메모리 드라이버, 직렬 통신 드라이버 드라이버(예를 들어, USB 드라이버), WI-FI® 드라이버, 오디오 드라이버, 전력 관리 드라이버 등을 포함할 수 있다.

일부 실시예에서, 라이브러리(1606)는 애플리케이션(1610)에 의해 이용되는 저레벨 공통 인프라스트럭쳐를 제공한다. 라이브러리(1606)는, 메모리 할당 기능, 문자열 조작 기능, 수학 기능 등의 기능을 제공할 수 있는 시스템 라이브러리(1630)(예를 들어, C 표준 라이브러리)를 포함할 수 있다. 또한, 라이브러리(1606)는, 미디어 라이브러리(예를 들어, MPEG4(Moving Picture Experts Group-4), H.264 또는 AVC(Advanced Video Coding), MP3(Moving Picture Experts Group Layer-3), AAC(Advanced Audio Coding), AMR(Adaptive Multi-Rate) 오디오 코덱, JPEG 또는 JPG(Joint Photographic Experts Group), PNG(Portable Network Graphics) 등의 다양의 미디어 포맷의 프리젠테이션과 조작을 지원하는 라이브러리들) 그래픽 라이브러리(예를 들어, 그래픽 콘텐츠를 2차원(2D) 및 3차원(3D)으로 디스플레이에 렌더링하는데 이용되는 OpenGL 프레임워크), 데이터베이스 라이브러리(예를 들어, 다양한 관계형 데이터베이스 기능을 제공하는 SQLite), 웹 라이브러리(예를 들어, 웹 브라우징 기능을 제공하는 WebKit) 등의 API 라이브러리(1632)를 포함할 수 있다. 라이브러리(1606)는 또한, 많은 다른 API를 애플리케이션(1610)에 제공하는 다양한 다른 라이브러리(1634)를 포함할 수 있다.

프레임워크(1608)는 일부 실시예에 따라 애플리케이션(1610)에 의해 이용될 수 있는 고레벨 공통 인프라스트럭쳐를 제공한다. 예를 들어, 프레임워크(1608)는, 다양한 그래픽 사용자 인터페이스(GUI) 기능, 고수준 자원 관리, 고수준 위치 서비스 등을 제공한다. 프레임워크(1608)는 애플리케이션(1610)에 의해 이용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 있으며, 그 중 일부는 특정한 운영 체제 또는 플랫폼 특유일 수 있다.

한 예시적인 실시예에서, 애플리케이션(1610)은, 홈 애플리케이션(1650), 연락처 애플리케이션(1652), 브라우저 애플리케이션(1654), 북 리더 애플리케이션(1656), 위치 애플리케이션(1658), 미디어 애플리케이션(1660), 메시징 애플리케이션(1662), 게임 애플리케이션(1664), 및 제3 자 애플리케이션(1666) 등의 광범위한 애플리케이션을 포함한다. 일부 실시예에 따르면, 애플리케이션(1610)은 프로그램에서 정의된 기능들을 실행하는 프로그램이다. 객체 지향형 프로그래밍 언어(Objective-C, Java 또는 C++) 또는 절차형 프로그래밍 언어(예를 들어, C 또는 어셈블리 언어) 등의 다양한 방식으로 구조화된 애플리케이션(1610)을 생성하기 위해 다양한 프로그래밍 언어가 이용될 수 있다. 특정한 예에서, 제3자 애플리케이션(1666)(예를 들어, 특정한 플랫폼의 벤더 이외의 엔티티에 의해 ANDROID™ 또는 IOS™ 소프트웨어 개발 킷(SDK)을 이용하여 개발된 애플리케이션)은, IOS™, ANDROID™, WINDOWS®PHONE 또는 다른 모바일 운영 체제 등의 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션(1666)은 여기서 설명된 기능을 가능하게 하기 위해 운영 체제(1604)에 의해 제공되는 API 호출(1612)을 기동할 수 있다.

예시적인 머신 아키텍처 및 머신-판독가능한 매체

도 17은, 머신-판독가능한 매체(예를 들어, 머신-판독가능한 저장 매체)로부터 명령어들을 판독하여 여기서 논의된 임의의 방법을 수행할 수 있는, 일부 실시예에 따른 머신(1700)의 컴포넌트들을 나타내는 블록도이다. 구체적으로는, 도 17은 예시적인 형태의 컴퓨터 시스템으로 된 머신(1700)을 도시하는 도면이며, 머신 내부에서, 머신(1700)으로 하여금 여기서 논의된 임의의 방법을 수행하기 하는 명령어들(1716)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱 또는 기타의 실행가능한 코드)이 실행될 수 있다. 대안적인 실시예에서, 머신(1700)은 독립형 디바이스로서 동작하거나 다른 머신에 결합(예를 들어, 네트워크킹)될 수 있다. 네트워킹된 배치에서, 머신(1700)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 용량에서 동작하거나, 피어-투-피어(또는 분산향) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(1700)은, 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩탑 컴퓨터, 넷북, 셋탑 박스(STB), PDA(personal digital assistant), 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트 폰, 모바일 디바이스, 착용형 디바이스(예를 들어, 스마트 시계), 스마트 홈 디바이스(예를 들어, 스마트 어플라이언스), 기타의 스마트 디바이스, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브릿지, 또는 머신(1700)에 의해 취해질 동작들을 명시하는 명령어(1716)들을 순차적으로 또는 기타의 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이것으로 제한되지 않는다. 또한, 단지 하나의 머신(1700)이 예시되어 있지만, "머신"이라는 용어는 또한, 여기서 논의된 임의의 방법을 수행하기 위해 명령어(1716)들을 개별적으로 또는 공동으로 실행하는 머신들의 집합체(1700)를 포함하는 것으로 간주되어야 한다.

다양한 실시예에서, 머신(1700)은, 버스(1702)를 통해 서로 통신하도록 구성될 수 있는 프로세서(1710), 메모리(1730), 및 I/O 컴포넌트(1750)를 포함한다. 한 예시적인 실시예에서, 프로세서(1710)(예를 들어, 중앙 처리 유닛(CPU), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), 디지털 신호 프로세서(DSP; Digital Signal Processor), 주문형 집적 회로(ASIC; Application Specific Integrated Circuit), 무선 주파수 집적 회로(RFIC), 또 다른 프로세서, 또는 이들의 임의의 적절한 조합)는, 예를 들어, 명령어(1716)를 실행할 수 있는 프로세서(1712) 및 프로세서(1714)를 포함한다. "프로세서"라는 용어는, 명령어들을 동시에 실행할 수 있는 2개 이상의 독립된 프로세서("코어"라고도 함)를 포함할 수 있는 멀티-코어 프로세서를 포함하는 것을 의도한다. 도 17은 복수의 프로세서를 도시하지만, 머신(1700)은 단일 코어를 갖는 단일 프로세서, 다중 코어를 갖는 단일 프로세서(예를 들어, 멀티 코어 프로세서), 단일 코어를 갖는 다중 프로세서, 다중 코어를 갖는 다중 프로세서, 또는 이들의 임의의 조합을 포함할 수 있다.

일부 실시예에 따르면, 메모리(1730)는, 버스(1702)를 통해 프로세서(1710)에 액세스될 수 있는, 메인 메모리(1732), 정적 메모리(1734), 및 저장 유닛(1736)을 포함한다. 저장 유닛(1736)은, 여기서 설명된 임의의 방법 또는 기능을 구현하는 명령어(1716)들이 저장되는 머신-판독가능한 매체(1738)를 포함할 수 있다. 명령어(1716)들은 또한, 머신(1700)에 의해 실행 동안에, 완전히 또는 적어도 부분적으로, 메인 메모리(1732) 내에, 정적 메모리(1734) 내에, 프로세서(1710)들 중 적어도 하나 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적절한 조합 내에 존재할 수 있다. 따라서, 다양한 실시예들에서, 메인 메모리(1732), 정적 메모리(1734), 및 프로세서(1710)들은 머신-판독가능한 매체(1738)로서 간주된다.

여기서 사용될 때, "메모리"라는 용어는, 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 머신-판독가능한 매체(1738)를 말하며, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리, 및 캐시 메모리를 포함하는 것으로 간주되지만 이것으로 제한되지 않는다. 머신-판독가능한 매체(1738)가 예시적인 실시예에서 단일 매체인 것으로 도시되어 있지만, "머신-판독가능한 매체"라는 용어는 명령어(1716)를 저장할 수 있는 단일 매체 또는 복수의 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 또는 연관된 캐시 및 서버)를 포함하는 것을 간주되어야 한다. "머신-판독가능한 매체"라는 용어는 또한, 명령어들이, 머신(1700)의 프로세서들(예를 들어, 프로세서들(1710))에 의해 실행될 때, 머신(1700)으로 하여금 여기서 설명된 임의의 방법을 수행하게 하도록, 머신(예를 들어, 머신(1700))에 의한 실행을 위한 명령어(예를 들어, 명령어(1716))를 저장할 수 있는 임의의 매체 또는 복수의 매체들의 조합을 포함하는 것으로 간주되어야 한다. 따라서, "머신-판독가능한 매체"란, 단일 저장 장치 또는 디바이스뿐만 아니라, 복수의 저장 장치 또는 디바이스를 포함하는 "클라우드-기반" 저장 시스템들 또는 저장 네트워크들을 말한다. "머신-판독가능한 매체"라는 용어는, 그에 따라, 솔리드-스테이트 메모리(예를 들어, 플래시 메모리), 광학 매체, 자기 매체, 기타의 비휘발성 메모리(예를 들어, 소거가능하고 프로그램가능한 판독 전용 메모리(EPROM)), 또는 이들의 임의의 적절한 조합의 형태의 데이터 저장소들을 포함하지만 이것으로 제한되지 않는 것으로 간주되어야 한다. "머신-판독가능한 매체"라는 용어는 구체적으로 비법령 신호(non-statutory signal) 그 자체를 제외한다.

I/O 컴포넌트(1750)는, 입력을 수신하고, 출력을 제공하며, 출력을 생성하고, 정보를 전송하고, 정보를 교환하며, 측정값을 포착하는 등을 수행하는 다양한 컴포넌트를 포함한다. 일반적으로, I/O 컴포넌트(1750)는 도 17에 도시되지 않은 많은 다른 컴포넌트를 포함할 수 있다는 것을 이해할 것이다. I/O 컴포넌트(1750)들은 단지 이하의 설명을 간소화하기 위해 기능성에 따라 그룹화되며, 그룹화는 결코 제한하는 것이 아니다. 다양한 예시적인 실시예에서, I/O 컴포넌트(1750)는 출력 컴포넌트(1752) 및 입력 컴포넌트(1754)를 포함한다. 출력 컴포넌트(1752)들은, 시각적 컴포넌트(에를 들어, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 CRT 등의 디스플레이), 음향 컴포넌트(예를 들어, 스피커), 햅틱 컴포넌트(예를 들어, 진동 모터), 기타 신호 생성기 등을 포함한다. 입력 컴포넌트(1754)들은, 영숫자 입력 컴포넌트(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 사진-광학 키보드, 또는 기타의 영숫자 입력 컴포넌트), 포인트 기반 입력 컴포넌트(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 움직임 센서 또는 다른 포인팅 도구), 촉각 입력 컴포넌트(예를 들어, 물리적 버턴, 터치 또는 터치 제스처의 위치 및 힘을 제공하는 터치 스크린, 또는 기타 촉각 입력 컴포넌트), 오디오 입력 컴포넌트(예를 들어, 마이크로폰) 등을 포함한다.

일부 추가적 예시적인 실시예들에서, I/O 컴포넌트(1750)들은, 특히, 바이오메트릭 컴포넌트(1756), 움직임 컴포넌트(1758), 환경 컴포넌트(1760), 또는 포지션 컴포넌트(1762)를 포함한다. 예를 들어, 바이오메트릭 컴포넌트(1756)는, 표현(예를 들어, 손 표현, 얼굴 표정, 음성 표현, 몸짓, 또는 눈 추적)을 검출하고, 생체신호(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)를 측정하고, 사람을 식별(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파계 기반 식별)하는 컴포넌트들을 포함한다. 움직임 컴포넌트(1758)는, 가속도 센서 컴포넌트(예를 들어, 가속도계), 중력 센서 컴포넌트, 회전 센서 컴포넌트(예를 들어, 자이로스코프) 등을 포함한다. 환경 컴포넌트(1760)는, 예를 들어, 조명 센서 컴포넌트(예를 들어, 광도계), 온도 센서 컴포넌트(예를 들어, 주변 온도를 검출하는 온도계), 습도 센서 컴포넌트, 압력 센서 컴포넌트(예를 들어, 기압계), 음향 센서 컴포넌트(예를 들어, 배경 잡음을 검출하는 마이크로폰), 근접 센서 컴포넌트(예를 들어, 근처의 물체를 검출하는 적외선 센서), 개스 센서 컴포넌트(예를 들어, 기계 후각 검출 센서, 안전을 위해 위험한 개스의 농도를 검출하거나 대기 중의 오염 물질을 측정하는 개스 검출 센서), 또는 주변의 물리적 환경에 대응하는 표시, 측정치, 또는 신호를 제공할 수 있는 기타의 컴포넌트들을 포함한다. 포지션 컴포넌트(1762)는, 포지션 센서 컴포넌트(예를 들어, GPS 수신기 컴포넌트), 고도 센서 컴포넌트(고도가 도출될 수 있는 기압을 검출하는 고도계 또는 기압계), 배향 센서 컴포넌트(예를 들어, 자력계) 등을 포함한다.

통신은 다양한 기술을 이용하여 구현될 수 있다. I/O 컴포넌트(1750)는, 각각, 머신(1700)을 네트워크(1780) 또는 디바이스(1770)에 결합(1782) 및 결합(1772)을 통해 결합하도록 동작가능한 통신 컴포넌트(1764)를 포함할 수 있다. 예를 들어, 통신 컴포넌트(1764)는 네트워크 인터페이스 컴포넌트 또는 네트워크(1780)와 인터페이스하기에 적합한 또 다른 디바이스를 포함한다. 추가 예에서, 통신 컴포넌트(1764)는, 유선 통신 컴포넌트, 무선 통신 컴포넌트, 셀룰러 통신 컴포넌트, 근접장 통신(NFC) 컴포넌트, BLUETOOTH® 컴포넌트(예를 들어, BLUETOOTH® Low Energy), WI-FI® 컴포넌트, 및 다른 양태를 통해 통신을 제공하는 기타의 통신 컴포넌트를 포함한다. 디바이스(1770)는, 또 다른 머신 또는 임의의 다양한 주변 디바이스(예를 들어, USB(Universal Serial Bus)를 통해 결합된 주변 디바이스)일 수 있다.

게다가, 일부 실시예에서, 통신 컴포넌트(1764)는 식별자를 검출하거나 식별자를 검출하도록 동작가능한 컴포넌트를 포함한다. 예를 들어, 통신 컴포넌트(1764)는, 무선 주파수 식별(RFID) 태그 판독기 컴포넌트, NFC 스마트 태그 검출 컴포넌트, 광학 판독기 컴포넌트(예를 들어, 범용 제품 코드(UPC) 바코드 등의 일차원 바코드, QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra 코드, UCC RSS(Uniform Commercial Code Reduced Space Symbology)-2D 바코드, 및 기타의 광학 코드 등의 다차원 바코드를 검출하는 광학 센서), 음향 검출 컴포넌트(예를 들어, 태깅된 오디오 신호를 식별하는 마이크로폰), 또는 이들의 임의의 적절한 조합을 포함한다. 또한, 인터넷 프로토콜(IP) 지오-로케이션을 통한 위치, WI-FI® 신호 삼각측량을 통한 위치, 특정한 위치를 나타낼 수 있는 BLUETOOTH® 또는 NFC 비컨 신호 검출을 통한 위치 등의 다양한 정보가 통신 컴포넌트(1764)를 통해 도출될 수 있다.

전송 매체

다양한 예시적인 실시예에서, 네트워크(1780)의 일부는, 애드혹 네트워크, 인트라넷, 엑스트라넷, 가상 사설망(VPN), 근거리 통신망(LAN), 무선 LAN(WLAN)(WAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 도시권 통신망(MAN; Metropolitan Area Network), 인터넷, 인터넷의 일부, PSTN(Public Switched Telephone Network)의 일부, POTS(plain old telephone service) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, WI-FI® 네트워크, 또 다른 타입의 네트워크, 또는 이러한 네트워크들의 2개 이상의 조합일 수 있다. 예를 들어, 네트워크(1780) 또는 네트워크(1780)의 일부는 무선 또는 셀룰러 네트워크를 포함할 수 있고, 결합(1782)은 CDMA(Code Division Multiple Access) 접속, GSM(Global System for Mobile communications) 접속, 또는 다른 타입의 셀룰러 또는 무선 결합을 포함할 수 있다. 이 예에서, 결합(1782)은, 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 3G, 4G(fourth generation wireless) 네트워크, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준, 다양한 표준-설정 기구에 의해 정의된 기타의 것들을 포함한 3GPP(third Generation Partnership Project), 기타의 장거리 프로토콜, 또는 기타의 데이터 전송 기술 등의 다양한 타입의 데이터 전송 기술들 중 임의의 것을 구현할 수 있다.

예시적인 실시예에서, 명령어(1716)들은, 네트워크 인터페이스 디바이스(예를 들어, 통신 컴포넌트(1764)에 포함된 네트워크 인터페이스 컴포넌트)를 통해 전송 매체를 이용하여 및 다수의 널리 공지된 프로토콜들 중 임의의 하나(예를 들어, 하이퍼텍스트 전송 프로토콜(HTTP))를 이용하여 네트워크(1780)를 통해 전송되거나 수신된다. 유사하게, 다른 예시적인 실시예에서, 명령어(1716)들은 디바이스(1770)에 대한 결합(1772)(예를 들어, 피어-투-피어 결합)을 통해 전송 매체를 이용하여 전송되거나 수신된다. 용어 "전송 매체"는, 머신(1700)에 의한 실행을 위한 명령어(1716)를 저장, 인코딩 또는 운반할 수 있고, 이러한 소프트웨어의 전달을 가능케하는 디지털 또는 아날로그 통신 신호 또는 기타의 무형 매체를 포함하는 임의의 무형의 매체를 포함하는 것으로 간주된다.

또한, 머신-판독가능한 매체(1738)는 전파 신호를 구현하지 않는다는 점에서 비일시적(즉, 일시적인 신호를 갖지 않음)이다. 그러나, 머신-판독가능한 매체(1738)를 "비일시적"으로 라벨링하는 것은 매체가 이동 불가능하다는 것을 의미하는 것으로 해석되어서는 안 된다; 매체는 한 물리적 위치에서 또 다른 위치로 이동될 수 있는 것으로 간주되어야 한다. 추가로, 머신-판독가능한 매체(1738)는 유형이므로, 매체는 머신-판독가능한 디바이스로 간주될 수 있다.

용어

본 명세서 전체를 통해, 복수의 인스턴스는, 단일 인스턴스로서 설명된 컴포넌트, 동작 또는 구조를 구현할 수 있다. 방법의 개개의 동작들이 별개의 동작들로서 예시되고 설명되지만, 개개의 동작들은 동시에 수행될 수 있고, 동작들이 예시된 순서로 수행될 필요는 없다. 예시적인 구성에서 별개의 컴포넌트들로서 제시된 구조 및 기능은 결합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일 컴포넌트로서 제시된 구조 및 기능은 개개의 컴포넌트들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 본 명세서의 주제의 범위 내에 있다.

비록 본 발명의 주제에 대한 개요가 특정한 예시적인 실시예를 참조하여 설명되었지만, 본 개시내용의 실시예들의 더 넓은 범위를 벗어나지 않으면서 이들 실시예들에 대한 다양한 수정 및 변경이 이루어질 수 있다. 본 발명의 주제의 이러한 실시예들은, 여기서, 사실상 하나보다 많은 발명 또는 발명적 개념이 개시되고 있지만, 본 출원의 범위를 임의의 단일의 개시내용이나 발명적 개념으로 자발적으로 제한하려는 의도없이 단지 편의상 "발명"이라는 용어에 의해, 개별적으로 또는 집합적으로 언급될 수 있다.

여기서 예시된 실시예들은 본 기술분야의 통상의 기술자가 여기서 개시된 교시를 실시할 수 있게 하도록 충분히 상세하게 설명되었다. 본 개시내용의 범위로부터 벗어나지 않고 구조적 및 논리적 치환과 변경이 이루어질 수 있도록 하는 다른 실시예들이 이용될 수 있고 본 개시내용으로부터 유도될 수 있다. 따라서, 본 상세한 설명은 제한적인 의미로 간주되어서는 안되며, 다양한 실시예들의 범위는 첨부된 청구항들과 이러한 청구항들의 균등물의 전체 범위에 의해서만 정의된다.

본 명세서에서 사용될 때, 용어 "또는"은 포함적 또는 배타적 의미로 해석될 수 있다. 게다가, 본 명세서에서 단일 인스턴스로서 설명된 자원, 동작, 또는 구조에 대해 복수의 인스턴스가 제공될 수 있다. 추가로, 다양한 자원, 동작, 모듈, 엔진 및 데이터 저장소 사이의 경계는 다소 임의적이며, 특정한 동작은 특정한 예시적인 구성의 맥락에서 예시된다. 기능의 다른 할당들을 구상해 볼 수 있고 본 개시내용의 다양한 실시예의 범위 내에 있을 수 있다. 일반적으로, 예시적인 구성에서 별개의 자원으로서 제시된 구조 및 기능은 결합된 구조 또는 자원으로서 구현될 수 있다. 유사하게, 단일 자원으로서 제시된 구조 및 기능은 별개의 자원으로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 첨부된 청구항들로 표현되는 본 개시내용의 실시예들의 범위 내에 있다. 따라서, 본 명세서 및 도면은 제한적 의미라기보다는 예시적인 의미로 간주되어야 한다.

Claims

방법으로서,
제1 클라이언트 디바이스에 의해, 텍스트 기반 통신 모드로부터 제2 클라이언트 디바이스와의 음성 기반 통신 모드로 전환하기 위한 제1 상호작용을 수신하는 단계;
상기 음성 기반 통신 모드로 진입하기 위해 상기 제1 클라이언트 디바이스와 상기 제2 클라이언트 디바이스 사이의 동기 통신 세션을 확립하기 전에, 상기 제1 클라이언트 디바이스의 마이크로폰에 의해 음성 입력을 수신하는 단계;
상기 음성 기반 통신 모드로 진입하기 위해 상기 제1 클라이언트 디바이스와 상기 제2 클라이언트 디바이스 사이의 동기 통신 세션을 확립하기 전에 상기 음성 입력을 수신하는 것에 응답하여, 상기 제1 클라이언트 디바이스로 하여금 상기 음성 기반 통신 모드로부터 음성 전사 모드로 전환하게 하는 단계; 및
상기 음성 전사 모드로 전환하는 것에 응답하여 상기 음성 입력으로부터 전사된 텍스트 기반 통신 세그먼트를 전송하는 단계
를 포함하는 방법.
제1항에 있어서,
동기 통신 세션 동안, 상기 동기 통신 세션과 연관된 음성 입력의 제1 부분이 상기 제2 클라이언트 디바이스에 의해 수신되고 있는 동안 상기 동기 통신 세션을 종료하기 위해 상기 제1 클라이언트 디바이스에 의해 입력을 수신하는 단계;
상기 제1 클라이언트 디바이스에 의해 상기 입력을 수신하는 것에 응답하여, 상기 제2 클라이언트 디바이스로 하여금 비동기 통신 모드로 복귀하게 하는 단계;
상기 제2 클라이언트 디바이스로 하여금 상기 동기 통신 세션이 종료된 후에 수신된 상기 음성 입력의 나머지 부분을 포함하는 음성 노트를 생성하게 하는 단계; 및
상기 제1 클라이언트 디바이스에 의해, 상기 제2 클라이언트 디바이스로부터 상기 음성 입력의 상기 나머지 부분을 포함하는 상기 음성 노트를 수신하는 단계
를 더 포함하는 방법.
제1항에 있어서,
상기 제2 클라이언트 디바이스로부터 통신 데이터를 수신하는 단계;
통신 데이터를 수신하는 것에 응답하여, 상기 통신 데이터에 대한 통신 타입을 결정하는 단계;
상기 통신 타입에 기초하여, 상기 수신된 통신 데이터에 대한 상기 통신 타입과 연관된 입력을 수신하는 통신 모드들의 세트로부터의 통신 모드를 식별하는 단계; 및
디폴트 통신 모드의 프리젠테이션을 야기하는 단계
를 더 포함하고, 상기 디폴트 통신 모드는 상기 식별된 통신 모드인 방법.
제1항에 있어서,
상기 제1 클라이언트 디바이스에서의 위치 변경을 나타내는 센서 데이터를 수신하는 단계; 및
상기 제1 클라이언트 디바이스에서의 상기 위치 변경에 기초하여, 원하는 통신 모드를 결정하는 단계
를 더 포함하는 방법.
제4항에 있어서, 상기 센서 데이터를 수신하는 단계는,
상기 센서 데이터 내의 값을 식별하는 단계 - 상기 값은 통신 모드들의 세트 중의 통신 모드와 연관되고, 상기 값은 상기 제1 클라이언트 디바이스에 의해 이동된 거리를 나타냄 -;
상기 제1 클라이언트 디바이스에 의해 이동된 거리를 나타내는 상기 값을 미리 결정된 거리 임계치와 비교하는 단계; 및
상기 값이 상기 미리 결정된 거리 임계치를 초과하는 것에 기초하여 상기 값과 연관된 상기 통신 모드로서 원하는 통신 모드를 선택하는 단계
를 더 포함하는 방법.
제4항에 있어서,
상기 제2 클라이언트 디바이스로부터 통신 데이터를 수신하는 단계 - 상기 통신 데이터는 상기 통신 데이터에 응답하기 위한 제안된 통신 모드를 나타내는 모드 표시를 포함함 -;
상기 원하는 통신 모드 및 상기 제안된 통신 모드에 기초하여 호환 가능한 통신 모드를 결정하는 단계; 및
상기 제1 클라이언트 디바이스로 하여금 상기 호환 가능한 통신 모드를 현재 통신 모드로서 설정하게 하는 단계
를 더 포함하는 방법.
제1항에 있어서,
상기 제2 클라이언트 디바이스로부터 통신 데이터를 수신하는 단계 - 상기 통신 데이터는 상기 제2 클라이언트 디바이스가 상기 음성 기반 통신 모드에서 통신하는 것이 불가능하다는 것을 나타내는 모드 표시를 포함함 -;
상기 제2 클라이언트 디바이스가 상기 음성 기반 통신 모드에서 통신하는 것이 불가능하다고 결정하는 단계; 및
상기 음성 기반 통신 모드와 연관된 사용자 상호작용을 수신하는 것에 관계없이 제1 클라이언트 디바이스에서 비동기 통신 세션을 유지하는 단계
를 더 포함하는 방법.
제1항에 있어서, 상기 제2 클라이언트 디바이스의 사용자가 음성 노트를 생성하고 있다는 표시를 상기 제1 클라이언트 디바이스 상에 디스플레이하는 단계를 더 포함하는 방법.
시스템으로서,
동작들을 수행하도록 구성된 하나 이상의 프로세서를 포함하고,
상기 동작들은,
제1 클라이언트 디바이스에 의해, 텍스트 기반 통신 모드로부터 제2 클라이언트 디바이스와의 음성 기반 통신 모드로 전환하기 위한 제1 상호작용을 수신하는 동작;
상기 음성 기반 통신 모드로 진입하기 위해 상기 제1 클라이언트 디바이스와 상기 제2 클라이언트 디바이스 사이의 동기 통신 세션을 확립하기 전에, 상기 제1 클라이언트 디바이스의 마이크로폰에 의해 음성 입력을 수신하는 동작;
상기 음성 기반 통신 모드로 진입하기 위해 상기 제1 클라이언트 디바이스와 상기 제2 클라이언트 디바이스 사이의 동기 통신 세션을 확립하기 전에 상기 음성 입력을 수신하는 것에 응답하여, 상기 제1 클라이언트 디바이스로 하여금 상기 음성 기반 통신 모드로부터 음성 전사 모드로 전환하게 하는 동작; 및
상기 음성 전사 모드로 전환하는 것에 응답하여 상기 음성 입력으로부터 전사된 텍스트 기반 통신 세그먼트를 전송하는 동작
을 포함하는 시스템.
제9항에 있어서,
동기 통신 세션 동안, 상기 동기 통신 세션과 연관된 음성 입력의 제1 부분이 상기 제2 클라이언트 디바이스에 의해 수신되고 있는 동안 상기 동기 통신 세션을 종료하기 위해 상기 제1 클라이언트 디바이스에 의해 입력을 수신하는 동작;
상기 제1 클라이언트 디바이스에 의해 상기 입력을 수신하는 것에 응답하여, 상기 제2 클라이언트 디바이스로 하여금 비동기 통신 모드로 복귀하게 하는 동작;
상기 제2 클라이언트 디바이스로 하여금 상기 동기 통신 세션이 종료된 후에 수신된 상기 음성 입력의 나머지 부분을 포함하는 음성 노트를 생성하게 하는 동작; 및
상기 제1 클라이언트 디바이스에 의해, 상기 제2 클라이언트 디바이스로부터 상기 음성 입력의 상기 나머지 부분을 포함하는 상기 음성 노트를 수신하는 동작
을 더 포함하는 시스템.
제9항에 있어서,
상기 제2 클라이언트 디바이스로부터 통신 데이터를 수신하는 동작;
통신 데이터를 수신하는 것에 응답하여, 상기 통신 데이터에 대한 통신 타입을 결정하는 동작;
상기 통신 타입에 기초하여, 상기 수신된 통신 데이터에 대한 상기 통신 타입과 연관된 입력을 수신하는 통신 모드들의 세트로부터의 통신 모드를 식별하는 동작; 및
디폴트 통신 모드의 프리젠테이션을 야기하는 동작
을 더 포함하고, 상기 디폴트 통신 모드는 상기 식별된 통신 모드인 시스템.
제9항에 있어서,
상기 제1 클라이언트 디바이스에서의 위치 변경을 나타내는 센서 데이터를 수신하는 동작; 및
상기 제1 클라이언트 디바이스에서의 상기 위치 변경에 기초하여, 원하는 통신 모드를 결정하는 동작
을 더 포함하는 시스템.
제12항에 있어서, 상기 센서 데이터를 수신하는 동작은,
상기 센서 데이터 내의 값을 식별하는 동작 - 상기 값은 통신 모드들의 세트 중의 통신 모드와 연관되고, 상기 값은 상기 제1 클라이언트 디바이스에 의해 이동된 거리를 나타냄 -;
상기 제1 클라이언트 디바이스에 의해 이동된 거리를 나타내는 상기 값을 미리 결정된 거리 임계치와 비교하는 동작; 및
상기 값이 상기 미리 결정된 거리 임계치를 초과하는 것에 기초하여 상기 값과 연관된 상기 통신 모드로서 원하는 통신 모드를 선택하는 동작
을 더 포함하는 시스템.
제12항에 있어서,
상기 제2 클라이언트 디바이스로부터 통신 데이터를 수신하는 동작 - 상기 통신 데이터는 상기 통신 데이터에 응답하기 위한 제안된 통신 모드를 나타내는 모드 표시를 포함함 -;
상기 원하는 통신 모드 및 상기 제안된 통신 모드에 기초하여 호환 가능한 통신 모드를 결정하는 동작; 및
상기 제1 클라이언트 디바이스로 하여금 상기 호환 가능한 통신 모드를 현재 통신 모드로서 설정하게 하는 동작
을 더 포함하는 시스템.
제9항에 있어서,
상기 제2 클라이언트 디바이스로부터 통신 데이터를 수신하는 동작 - 상기 통신 데이터는 상기 제2 클라이언트 디바이스가 상기 음성 기반 통신 모드에서 통신하는 것이 불가능하다는 것을 나타내는 모드 표시를 포함함 -;
상기 제2 클라이언트 디바이스가 상기 음성 기반 통신 모드에서 통신하는 것이 불가능하다고 결정하는 동작; 및
상기 음성 기반 통신 모드와 연관된 사용자 상호작용을 수신하는 것에 관계없이 제1 클라이언트 디바이스에서 비동기 통신 세션을 유지하는 동작
을 더 포함하는 시스템.
제9항에 있어서, 상기 동작들은 상기 제2 클라이언트 디바이스의 사용자가 음성 노트를 생성하고 있다는 표시를 상기 제1 클라이언트 디바이스 상에 디스플레이하는 동작을 더 포함하는 시스템.
프로세서 실행가능한 명령어들을 저장하는 비일시적 머신-판독가능한 저장 매체로서,
상기 프로세서 실행가능한 명령어들은 머신의 프로세서에 의해 실행될 때, 상기 머신으로 하여금 동작들을 수행하게 하며,
상기 동작들은,
제1 클라이언트 디바이스에 의해, 텍스트 기반 통신 모드로부터 제2 클라이언트 디바이스와의 음성 기반 통신 모드로 전환하기 위한 제1 상호작용을 수신하는 동작;
상기 음성 기반 통신 모드로 진입하기 위해 상기 제1 클라이언트 디바이스와 상기 제2 클라이언트 디바이스 사이의 동기 통신 세션을 확립하기 전에, 상기 제1 클라이언트 디바이스의 마이크로폰에 의해 음성 입력을 수신하는 동작;
상기 음성 기반 통신 모드로 진입하기 위해 상기 제1 클라이언트 디바이스와 상기 제2 클라이언트 디바이스 사이의 동기 통신 세션을 확립하기 전에 상기 음성 입력을 수신하는 것에 응답하여, 상기 제1 클라이언트 디바이스로 하여금 상기 음성 기반 통신 모드로부터 음성 전사 모드로 전환하게 하는 동작; 및
상기 음성 전사 모드로 전환하는 것에 응답하여 상기 음성 입력으로부터 전사된 텍스트 기반 통신 세그먼트를 전송하는 동작
을 포함하는 비일시적 머신-판독가능한 저장 매체.
제17항에 있어서,
동기 통신 세션 동안, 상기 동기 통신 세션과 연관된 음성 입력의 제1 부분이 상기 제2 클라이언트 디바이스에 의해 수신되고 있는 동안 상기 동기 통신 세션을 종료하기 위해 상기 제1 클라이언트 디바이스에 의해 입력을 수신하는 동작;
상기 제1 클라이언트 디바이스에 의해 상기 입력을 수신하는 것에 응답하여, 상기 제2 클라이언트 디바이스로 하여금 비동기 통신 모드로 복귀하게 하는 동작;
상기 제2 클라이언트 디바이스로 하여금 상기 동기 통신 세션이 종료된 후에 수신된 상기 음성 입력의 나머지 부분을 포함하는 음성 노트를 생성하게 하는 동작; 및
상기 제1 클라이언트 디바이스에 의해, 상기 제2 클라이언트 디바이스로부터 상기 음성 입력의 상기 나머지 부분을 포함하는 상기 음성 노트를 수신하는 동작
을 더 포함하는 비일시적 머신-판독가능한 저장 매체.
제18항에 있어서,
상기 제2 클라이언트 디바이스로부터 통신 데이터를 수신하는 동작;
통신 데이터를 수신하는 것에 응답하여, 상기 통신 데이터에 대한 통신 타입을 결정하는 동작;
상기 통신 타입에 기초하여, 상기 수신된 통신 데이터에 대한 상기 통신 타입과 연관된 입력을 수신하는 통신 모드들의 세트로부터의 통신 모드를 식별하는 동작; 및
디폴트 통신 모드의 프리젠테이션을 야기하는 동작
을 더 포함하고, 상기 디폴트 통신 모드는 상기 식별된 통신 모드인 비일시적 머신-판독가능한 저장 매체.
제17항에 있어서,
상기 제1 클라이언트 디바이스에서의 위치 변경을 나타내는 센서 데이터를 수신하는 동작; 및
상기 제1 클라이언트 디바이스에서의 상기 위치 변경에 기초하여, 원하는 통신 모드를 결정하는 동작
을 더 포함하는 비일시적 머신-판독가능한 저장 매체.