KR20220105893A

KR20220105893A - 외부 웨어러블 전자 장치로부터 정보를 수신하는 웨어러블 전자 장치 및 그 작동 방법

Info

Publication number: KR20220105893A
Application number: KR1020210008797A
Authority: KR
Inventors: 김한집; 강두석; 김승년
Original assignee: 삼성전자주식회사
Priority date: 2021-01-21
Filing date: 2021-01-21
Publication date: 2022-07-28
Also published as: WO2022158854A1

Abstract

다양한 실시예에 따라서, 웨어러블 전자 장치는, 디스플레이, 통신 회로, 음성 입력 장치, 및 상기 디스플레이, 상기 통신 회로 및 상기 음성 입력 장치와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 음성 입력 장치를 통하여 오디오 데이터를 획득하고, 상기 오디오 데이터가 미리 결정된 조건을 만족하는 것을 확인하고, 상기 통신 회로를 통하여 외부 웨어러블 전자 장치로부터, 상기 외부 웨어러블 전자 장치에서 획득된 신호에 기초한 상태 정보를 수신하고, 상기 상태 정보에 적어도 일부 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이를 제어하도록 구성될 수 있다. 그 밖의 다양한 실시예가 가능하다.

Description

외부 웨어러블 전자 장치로부터 정보를 수신하는 웨어러블 전자 장치 및 그 작동 방법{WEARABLE ELECTRONIC DEVICE RECEIVING INFORMATION FROM EXTERNAL ELECTRONIC DEVICE AND OPERATING METHOD THEREOF}

다양한 실시예는 외부 웨어러블 전자 장치로부터 정보를 수신하는 웨어러블 전자 장치 및 그 작동 방법에 관한 것이다.

증강 현실(augmented reality, AR)은 현실의 이미지나 배경에 3차원(또는, 2차원) 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다. 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공할 수 있다. 사용자는, 실제의 환경과 함께, 이미지를 관찰할 수 있어, 예를 들어 현재 관찰하는 환경 내의 대상물에 대한 정보를 확인할 수 있다.

증강 현실 장치는 웨어러블 전자 장치일 수 있다. 예를 들어, 안경처럼 얼굴에 착용할 수 있는 AR 글래스 형태의 전자 장치가 보급되어 있다.

음성 텍스트 변환(speech to text, STT)은 음성 언어를 입력받고, 입력된 음성 언어를 텍스트 형태로 변환하여 출력하는 기술이다. 웨어러블 전자 장치를 착용하였을 때, 주변 환경에서 발생하는 음성에 대한 인식력이 떨어질 수 있으므로, STT 기능을 통하여 웨어러블 전자 장치의 사용자에게 주변 환경에서 발생하는 음성에 대한 정보를 시각적으로 제공할 수 있다.

STT 기능을 지원하는 웨어러블 전자 장치에서, 사용자의 필요에 부합하게 STT 기능을 제공하기 위해서는, 어떤 상황에서 STT 기능을 지원할지를 판단할 수 있어야 한다. 웨어러블 전자 장치는 일반적으로 사용자의 신체의 한 부분에 착용된 상태에서 작동하므로, STT 기능을 제공하는 웨어러블 전자 장치 하나만으로는 사용자가 STT 기능을 필요로 하는 상황에 있는지에 대한 판단을 하기 위한 충분한 데이터를 획득하는 데 한계가 있을 수 있다.

또한, 웨어러블 전자 장치는 일반적으로 사용자의 신체의 한 부분에 착용되기 위하여 소형화되므로, 국지적인 환경에서의 데이터만 획득할 수 있으므로, STT 기능의 정확도에 한계가 있을 수 있다.

일 실시예들에 따른 웨어러블 전자 장치는 외부 웨어러블 전자 장치로부터, 외부 웨어러블 전자 장치에서 획득된 신호에 기초한 상태 정보를 수신하고, 상태 정보를 고려하여 STT 기능을 제공할 수 있다.

일 실시예들에 따른 웨어러블 전자 장치는, 디스플레이, 통신 회로, 음성 입력 장치, 및 프로세서를 포함하고, 상기 프로세서는, 상기 음성 입력 장치를 통하여 오디오 데이터를 획득하고, 상기 오디오 데이터가 미리 결정된 조건을 만족하는 것을 확인하고, 상기 통신 회로를 통하여 외부 웨어러블 전자 장치로부터, 상기 외부 웨어러블 전자 장치에서 획득된 신호에 기초한 상태 정보를 수신하고, 상기 상태 정보에 적어도 일부 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이를 제어하도록 구성될 수 있다.

일 실시예들에 따른 웨어러블 전자 장치는, 디스플레이, 통신 회로, 음성 입력 장치, 및 프로세서를 포함하고, 상기 프로세서는, 상기 음성 입력 장치를 통하여 외부 이벤트에 대응하는 제1 오디오 데이터를 획득하고, 상기 통신 회로를 통하여 외부 웨어러블 전자 장치로부터 상기 외부 웨어러블 전자 장치에서 획득되고 상기 외부 이벤트에 대응하는 제2 오디오 데이터를 수신하고, 상기 제1 오디오 데이터 및 상기 제2 오디오 데이터에 기초하여, 상기 외부 이벤트에 대응하는 방향을 확인하고, 상기 확인된 방향에 대응하는 동작을 수행하도록 구성될 수 있다.

일 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 방법은, 오디오 데이터를 획득하는 동작, 상기 오디오 데이터가 미리 결정된 조건을 만족하는 것을 확인하는 동작, 외부 웨어러블 전자 장치로부터, 상기 외부 웨어러블 전자 장치에서 획득된 신호에 기초한 상태 정보를 수신하는 동작, 및 상기 상태 정보에 적어도 일부 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하는 동작을 포함할 수 있다.

일 실시예들에 따라서, 외부 웨어러블 전자 장치로부터 정보를 수신하는 웨어러블 전자 장치 및 그 작동 방법이 제공될 수 있다. 일 실시예들에 따른 웨어러블 전자 장치는 외부 웨어러블 전자 장치로부터, 외부 웨어러블 전자 장치에서 획득된 신호에 기초한 상태 정보를 수신하고, 상태 정보를 고려하여 STT 기능을 제공할 수 있다. 일 실시예들에 따른 웨어러블 전자 장치는 외부 웨어러블 전자 장치에서 획득된 신호에 기초한 상태 정보를 고려하여 STT 기능을 제공할지 여부를 판단할 수 있으므로, 사용자가 STT 기능을 필요로 하는 상황에 있는지 여부를 정확하게 판단할 수 있다. 또한, 일 실시예들에 따른 웨어러블 전자 장치는 외부 웨어러블 전자 장치에서 획득된 신호에 기초한 상태 정보에 기초하여 STT 기능을 제공하므로, 높은 정확도로 STT 기능을 제공할 수 있다.

도 1은, 다양한 실시예들에 따른, 웨어러블 전자 장치의 구조를 도시한다.
도 2는, 다양한 실시예들에 따른, 웨어러블 전자 장치의 디스플레이 및 안구 추적 카메라의 구조를 도시한다.
도 3은, 다양한 실시예들에 따른 웨어러블 전자 장치의 블록도이다.
도 4는, 다양한 실시예들에 따른, 외부 웨어러블 전자 장치의 블록도이다.
도 5는, 다양한 실시예들에 따른, 웨어러블 전자 장치와 외부 웨어러블 전자 장치 사이의 통신을 도시한다.
도 6은, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다.
도 7은, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다.
도 8은, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다.
도 9는, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다.
도 10은, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다.
도 11은, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다.
도 12는, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다.
도 13은, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다.
도 14는, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다.

도 1은, 다양한 실시예들에 따른, 웨어러블 전자 장치의 구조를 도시한다. 다양한 실시예에 따라서, 웨어러블 전자 장치(100)는 프레임(105), 제1 지지부(101), 제2 지지부(102), 프레임과 제1 지지부를 연결하는 제1 힌지부(103) 및 프레임과 제2 지지부를 연결하는 제2 힌지부(104)를 포함할 수 있다. 일 실시예에 따르면, 프레임(105)는 적어도 하나의 카메라(예: 제1 카메라(111-1, 111-2), 제2 카메라(112-1, 112-2) 및/또는 제3 카메라(113)), 하나 이상의 발광 소자(114-1, 114-2), 적어도 하나의 디스플레이(예: 제1 디스플레이(151), 제2 디스플레이(152)), 하나 이상의 음성 입력 장치(162-1, 162-2, 162-3), 하나 이상의 투명 부재(190-1, 190-2)를 포함할 수 있다. 다양한 실시예에 따라서, 웨어러블 전자 장치(100)는 하나 이상의 제1 카메라(111-1, 111-2), 하나 이상의 제2 카메라(112-1, 112-2), 및 하나 이상의 제3 카메라(113)를 포함할 수 있다. 다양한 실시예에 따라서, 하나 이상의 제1 카메라(111-1, 111-2)를 통하여 획득된 이미지는 사용자에 의한 손 제스처 검출, 사용자의 머리 추적, 및 공간 인식에 이용될 수 있다. 다양한 실시예에 따라서, 하나 이상의 제1 카메라(111-1, 111-2)는 GS(Global shutter) 카메라일 수 있다. 다양한 실시예에 따라서, 하나 이상의 제1 카메라(111-1, 111-2)는 깊이 촬영을 통한 SLAM(simultaneous localization and mapping) 연산을 수행할 수 있다. 다양한 실시예에 따라서, 하나 이상의 제1 카메라(111-1, 111-2)는 6DoF(degrees of freedom)를 위한 공간 인식을 수행할 수 있다.

다양한 실시예에 따라서, 하나 이상의 제2 카메라(112-1, 112-2)를 통하여 획득된 이미지는 사용자의 눈동자를 검출하고 추적하는 데 이용될 수 있다. 다양한 실시예에 따라서, 하나 이상의 제2 카메라(112-1, 112-2)는 GS 카메라일 수 있다. 다양한 실시예에 따라서, 하나 이상의 제2 카메라(112-1, 112-2)는 각각 좌안 및 우안에 대응될 수 있고, 하나 이상의 제2 카메라(112-1, 112-2)의 성능은 동일할 수 있다.

다양한 실시예에 따라서, 하나 이상의 제3 카메라(113)는 고해상도의 카메라일 수 있다. 다양한 실시예에 따라서, 하나 이상의 제3 카메라(113)는 자동 포커싱(auto-focusing, AF) 기능과 떨림 보정 기능을 수행할 수 있다. 다양한 실시예에 따라서, 하나 이상의 제3 카메라(113)는 GS 카메라이거나, RS(rolling shutter) 카메라일 수 있다.

다양한 실시예에 따라서, 웨어러블 전자 장치(100)는 하나 이상의 발광 소자(114-1, 114-2)을 포함할 수 있다. 발광 소자(114-1, 114-2)는 디스플레이의 화면 출력 영역으로 빛을 조사하는, 후술할 광원과는 상이하다. 다양한 실시예에 따라서, 발광 소자(114-1, 114-2)는 하나 이상의 제2 카메라(112-1, 112-2)를 통하여 사용자의 눈동자를 검출하고 추적하는 데 있어서, 눈동자 검출을 용이하게 하기 위한 빛을 조사할 수 있다. 다양한 실시예에 따라서, 발광 소자(114-1, 114-2)는 각각 LED를 포함할 수 있다. 다양한 실시예에 따라서, 발광 소자(114-1, 114-2)는 적외선 영역의 빛을 조사할 수 있다. 다양한 실시예에 따라서, 발광 소자(114-1, 114-2)는 웨어러블 전자 장치(100)의 프레임(105) 주변에 부착될 수 있다. 다양한 실시예에 따라서, 발광 소자(114-1, 114-2)는 하나 이상의 제1 카메라(111-1, 111-2) 주변에 위치하고, 웨어러블 전자 장치(100)가 어두운 환경에서 사용될 때 하나 이상의 제1 카메라(111-1, 111-2)에 의한 제스처 검출, 머리 추적, 및/또는 공간 인식을 보조할 수 있다. 다양한 실시예에 따라서, 발광 소자(114-1, 114-2)는 하나 이상의 제3 카메라(113) 주변에 위치하고, 웨어러블 전자 장치(100)가 어두운 환경에서 사용될 때 하나 이상의 제3 카메라(113)에 의한 이미지 획득을 보조할 수 있다.

다양한 실시예에 따라서, 웨어러블 전자 장치(100)는 프레임(105)에 위치되는 제1 디스플레이(151), 제2 디스플레이(152), 하나 이상의 입력 광학 부재(153-1, 153-2), 하나 이상의 투명 부재(190-1, 190-2), 및 하나 이상의 화면 표시 부분(154-1, 154-2)을 포함할 수 있다. 다양한 실시예에 따라서, 제1 디스플레이(151) 및 제2 디스플레이(152)는 예를 들면, 액정 표시 장치(liquid crystal display; LCD), 디지털 미러 표시 장치(digital mirror device; DMD), 실리콘 액정 표시 장치(liquid crystal on silicon; LCoS), 유기 발광 다이오드(organic light emitting diode; OLED) 또는 마이크로 엘이디(micro light emitting diode; micro LED)를 포함할 수 있다. 다양한 실시예에 따라서, 제1 디스플레이(151) 및 제2 디스플레이(152)가 액정 표시 장치, 디지털 미러 표시 장치 또는 실리콘 액정 표시 장치 중 하나로 이루어지는 경우, 웨어러블 전자 장치(100)는 디스플레이의 화면 출력 영역으로 빛을 조사하는 광원을 포함할 수 있다. 다른 다양한 실시예에 따라서, 제1 디스플레이(151) 및 제2 디스플레이(152)가 자체적으로 빛을 발생시킬 수 있는 경우, 예를 들어, 유기 발광 다이오드 또는 마이크로 엘이디 중 하나로 이루어지는 경우, 웨어러블 전자 장치(100)는 별도의 광원을 포함하지 않더라도 사용자에게 양호한 품질의 가상 영상을 제공할 수 있다.

다양한 실시예에 따라서, 하나 이상의 투명 부재(190-1, 190-2)는 사용자가 웨어러블 전자 장치(100)를 착용하였을 때 사용자의 눈에 대면하게 배치될 수 있다. 다양한 실시예에 따라서, 하나 이상의 투명 부재(190-1, 190-2)는 글래스 플레이트, 플라스틱 플레이트 또는 폴리머 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따라서, 사용자는 웨어러블 전자 장치(100)를 착용하였을 때 하나 이상의 투명 부재(190-1, 190-2)를 통하여 외부 세계를 볼 수 있다. 다양한 실시예에 따라서, 하나 이상의 입력 광학 부재(153-1, 153-2)는 제1 디스플레이(151) 및 제2 디스플레이(152)에서 생성한 빛을 사용자의 눈으로 유도할 수 있다. 다양한 실시예에 따라서, 하나 이상의 투명 부재(190-1, 190-2) 위의 하나 이상의 화면 표시 부분(154-1, 154-2) 위에 제1 디스플레이(151) 및 제2 디스플레이(152)에서 생성한 빛에 기초한 상이 맺히고, 사용자는 하나 이상의 화면 표시 부분(154-1, 154-2) 위에 맺힌 상을 볼 수 있다.

다양한 실시예에 따라서, 웨어러블 전자 장치(100)는 하나 이상의 광도파로(미도시)를 포함할 수 있다. 광도파로는 제1 디스플레이(151) 및 제2 디스플레이(152)에서 생성한 빛을 사용자의 눈으로 전달할 수 있다. 웨어러블 전자 장치(100)는 좌안 및 우안에 대응하여 각각 하나씩의 광도파로를 포함할 수 있다. 다양한 실시예에 따라서, 광도파로는 글래스, 플라스틱 또는 폴리머 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따라서, 광도파로는 내부 또는 외부의 일표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 다양한 실시예에 따라서, 광도파로는 free-form형 프리즘을 포함할 수 있고, 이 경우, 광도파로는 입사된 광을 반사 미러를 통해 사용자에게 제공할 수 있다. 다양한 실시예에 따라서, 광도파로는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함하고, 광도파로에 포함된 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 광원으로부터 방출된 디스플레이 광을 사용자의 눈으로 유도할 수 있다. 다양한 실시 예에 따라, 회절 요소는 입력/출력 광학 부재를 포함할 수 있다. 다양한 실시 예에 따라, 반사 요소는 전반사를 일으키는 부재를 포함할 수 있다.

다양한 실시예에 따라서, 웨어러블 전자 장치(100)는 하나 이상의 음성 입력 장치(162-1, 162-2, 162-3)를 포함할 수 있고, 하나 이상의 음성 입력 장치(162-1, 162-2, 162-3)를 사용자의 음성 또는 웨어러블 전자 장치(100)의 주변에서 발생된 소리를 입력 받을 수 있다. 예를 들어, 하나 이상의 음성 입력 장치(162-1, 162-2, 162-3)는 웨어러블 전자 장치(100)가 STT 기능을 제공할 수 있도록 주변에서 발생된 소리를 입력 받아 프로세서(예: 도 3의 프로세서(320))로 전달할 수 있다.

다양한 실시예에 따라서, 하나 이상의 지지부(예: 제1 지지부(101), 제2 지지부(102))는 PCB(예: 제1 PCB(170-1) 및 제2 PCB(170-2)), 하나 이상의 음성 출력 장치(163-1, 163-2), 하나 이상의 배터리(135-1, 135-2)를 포함할 수 있다. 제1 PCB(170-1) 및 제2 PCB(170-2)는 도 2를 참조하여 후술할 제1 카메라(211), 제2 카메라(212), 제3 카메라(213), 디스플레이 모듈(250), 오디오 모듈(261), 및 센서(280)와 같은, 웨어러블 전자 장치(100)에 포함되는 구성 요소에 전기 신호를 전달할 수 있다. 다양한 실시예에 따라서, 제1 PCB(170-1) 및 제2 PCB(170-2)는 FPCB일 수 있다. 다양한 실시예에 따라서, 제1 PCB(170-1) 및 제2 PCB(170-2)는 각각 제1 기판, 제2 기판, 및 제1 기판과 상기 제2 기판 사이에 배치된 인터포저를 포함할 수 있다. 다양한 실시예에 따라서, 웨어러블 전자 장치(100)는 배터리(135-1, 135-2)를 포함할 수 있다. 배터리(135-1, 135-2)는 웨어러블 전자 장치(100)의 나머지 구성요소들을 동작시키기 위한 전력을 저장할 수 있다. 다양한 실시예에 따라서, 하나 이상의 음성 출력 장치(163-1, 163-2)는 사용자에게 오디오 데이터를 출력할 수 있다. 예를 들어, 사용자의 명령(또는 입력)에 대한 피드백을 제공하거나, 가상 객체에 대한 정보를 오디오 데이터를 통해 사용자에게 제공할 수 있다.

다양한 실시예들에 따른, 웨어러블 전자 장치(100)는 하나 이상의 힌지부(예: 제1 힌지부(103), 제2 힌지부(104))를 포함할 수 있다. 예를 들어, 제1 힌지부(103)는 제1 지지부(101)가 프레임(105)과 결합되고 프레임(105)을 기준으로 회동 가능하고, 제2 힌지부(104)는 제2 지지부(102)가 프레임(105)과 결합되고 프레임(105)을 기분으로 회동 가능하도록 할 수 있다.

도 2는, 다양한 실시예들에 따른, 웨어러블 전자 장치의 디스플레이 및 안구 추적 카메라의 구조를 도시한다. 웨어러블 전자 장치(200)(예: 도 1의 웨어러블 전자 장치(101))는 디스플레이(221), 입력 광학 부재(222), 디스플레이 광도파로(223), 출력 광학 부재(224), 안구 추적 카메라(210), 제1 스플리터(241), 안구 추적 광도파로(242), 및 제2 스플리터(243)를 포함할 수 있다.

웨어러블 전자 장치에서, 디스플레이(221)는 도 1에서 도시된 제1 디스플레이(151) 또는 제2 디스플레이(152)일 수 있다. 디스플레이(221)에서 출력된 빛은 입력 광학 부재(222)(예: 도 1의 입력 광학 부재(153-1, 153-2))를 지나 디스플레이 광도파로(223)에 입사되고, 디스플레이 광도파로(223)를 지나 출력 광학 부재(224)를 통하여 출력될 수 있다. 출력 광학 부재(224)에서 출력된 빛은 사용자의 눈(230)에 보일 수 있게 된다. 이하 본 명세서에서, "디스플레이 상에 오브젝트를 표시"한다는 표현은 디스플레이(221)에서 출력된 빛이 출력 광학 부재(224)를 통하여 출력되고, 출력 광학 부재(224)를 통하여 출력된 빛에 의해 사용자의 눈(230)에 오브젝트의 형상이 보인다는 의미일 수 있다. 또한, "오브젝트를 표시하도록 디스플레이를 제어"한다는 표현은 디스플레이(221)에서 출력된 빛이 출력 광학 부재(224)를 통하여 출력되고, 출력 광학 부재(224)를 통하여 출력된 빛에 의해 사용자의 눈(230)에 오브젝트의 형상이 보이게 하도록 디스플레이(221)를 제어한다는 의미일 수 있다.

사용자의 눈(230)으로부터 반사된 빛(235)은 제1 스플리터(241)를 지나 안구 추적 광도파로(242)에 입사되고, 안구 추적 광도파로(242)를 지나 제2 스플리터(243)를 통하여 안구 추적 카메라(210)에 출력될 수 있다. 다양한 실시예에 따라서, 사용자의 눈(230)으로부터 반사된 빛(235)은 도 1의 발광 소자(114-1, 114-2)에서 출력되고 사용자의 눈(230)에서 반사된 빛일 수 있다. 다양한 실시예에 따라서, 안구 추적 카메라(210)는 도 1에 도시된 하나 이상의 제2 카메라(112-1, 112-2)일 수 있다.

다양한 실시예에 따라서, 웨어러블 전자 장치(300)는 제1 카메라(311), 제2 카메라(312), 제3 카메라(313), 프로세서(320), PMIC(330), 배터리(335), 메모리(340), 디스플레이 모듈(350), 오디오 모듈(361), 음성 입력 장치(362), 음성 출력 장치(363), 통신 회로(370), 및 센서(380)를 포함할 수 있다.

다양한 실시예에 따라서, 도 1을 참조하여 상술한 하나 이상의 제1 카메라(111-1, 111-2), 하나 이상의 제2 카메라(112-1, 112-2), 및 하나 이상의 제3 카메라(113)의 세부 사항이 제1 카메라(311), 제2 카메라(312), 및 제3 카메라(313)에 각각 동일하게 적용될 수 있다. 다양한 실시예에 따라서, 웨어러블 전자 장치(300)는 제1 카메라(311), 제2 카메라(312), 및 제3 카메라(313) 중 적어도 하나를 복수 개 포함할 수 있다.

다양한 실시예에 따라서, 프로세서(320)는 웨어러블 전자 장치(300)의 다른 구성요소들, 예를 들어, 제1 카메라(311), 제2 카메라(312), 제3 카메라(313), PMIC(330), 메모리(340), 디스플레이 모듈(350), 오디오 모듈(361), 통신 회로(370), 및 센서(380)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다.

다양한 실시예에 따라서, PMIC(330)는 배터리(335)에 저장된 전력을 웨어러블 전자 장치(300)의 다른 구성요소들이 요구하는 전류 또는 전압을 갖도록 변환하여 웨어러블 전자 장치(300)의 다른 구성요소들에 공급할 수 있다.

다양한 실시예에 따라서, 메모리(340)는, 웨어러블 전자 장치(300)의 적어도 하나의 구성요소(예: 프로세서(320) 또는 센서 모듈(380))에 의해 사용되는 다양한 데이터를 저장할 수 있다.

다양한 실시예에 따라서, 디스플레이 모듈(350)은 사용자에게 제공할 화면을 표시할 수 있다. 다양한 실시예에 따라서, 디스플레이 모듈(350)은 도 1을 참조하여 상술한 제1 디스플레이(151), 제2 디스플레이(152), 하나 이상의 입력 광학 부재(153-1, 153-2), 하나 이상의 투명 부재(190-1, 190-2), 및 하나 이상의 화면 표시 부분(154-1, 154-2)을 포함할 수 있다.

다양한 실시예에 따라서, 오디오 모듈(361)은 음성 입력 장치(362) 및 음성 출력 장치(363)에 연결되어, 음성 입력 장치(362)를 통하여 입력된 데이터를 변환하고, 음성 출력 장치(363)에 출력할 데이터를 변환할 수 있다. 음성 출력 장치(363)는 스피커 및 증폭기를 포함할 수 있다.

다양한 실시예에 따라서, 통신 회로(370)는 웨어러블 전자 장치(300) 외부의 전자 장치와의 무선 통신 채널의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.

다양한 실시예에 따라서, 센서(380)는 6축 센서(381), 자기 센서(382), 근접 센서(383), 및 광 센서(384)를 포함할 수 있다. 다양한 실시예에 따라서, 센서(380)는 웨어러블 전자 장치(300)가 사용자에 의하여 착용되고 있는지를 검출하기 위한 생체 신호를 획득하기 위한 센서를 포함할 수 있다. 예를 들어, 센서(380)는 심박 센서, 피부 센서, 또는 온도 센서 중 적어도 하나를 포함할 수 있다.

다양한 실시예에 따라서, 프로세서(320)는 사용자가 STT 기능을 활성화 하는 경우, 오디오 모듈(361)로부터 수신된 데이터에 기반하여 디스플레이 모듈(350)을 통해 표시할 텍스트 및/또는 이미지 기반의 데이터를 생성할 수 있다.

다양한 실시예에 따라서, 프로세서(320)는 6축 센서(381)를 통하여 웨어러블 전자 장치(300)를 착용한 사용자의 움직임을 확인할 수 있다. 예를 들어, 6축 센서(381)는 사용자가 향하는 방향(예: 사용자가 웨어러블 전자 장치(300)를 통해 바라보는 방향)의 변화를 감지하여 센서 값을 생성하고, 생성된 센서 값 또는 센서 값의 변화량을 프로세서(320)로 전달할 수 있다.

다양한 실시예에 따라서, 오디오 모듈(361)는 사용자가 STT 기능을 활성화 하는 경우, 음성 입력 장치(362)를 통해 웨어러블 전자 장치(300)(또는 사용자)의 주변에서 발생되는 소리를 수신하고, 수신된 소리를 변환한 데이터를 프로세서(320)로 전달할 수 있다.

다양한 실시예에 따라서, 통신 회로(370)는 외부 전자 장치(예: 웨어러블 전자 장치(예: 이어폰) 또는 외부 전자 장치(예: 단말))와 데이터를 송수신할 수 있다. 예를 들어, 웨어러블 전자 장치(300)는 통신 회로(370)를 통해 외부 웨어러블 전자 장치가 수신한 오디오 데이터를 수신하고, 수신한 오디오 데이터를 프로세서(320)로 전달할 수 있다. 다른 예를 들어, 웨어러블 전자 장치(300)는 통신 회로(370)를 통해 외부 전자 장치로부터 수신한 데이터에 기반한 이미지 데이터를 디스플레이 모듈(350)을 통해 출력할 수 있다.

도 4는, 다양한 실시예들에 따른, 외부 웨어러블 전자 장치(400)의 블록도이다. 다양한 실시예에 따라서, 외부 웨어러블 전자 장치(400)는 이어폰 형태의 웨어러블 전자 장치, 시계 형태의 웨어러블 전자 장치, 또는 목걸이 형태의 웨어러블 전자 장치 중 적어도 하나일 수 있다. 다양한 실시예에 따라서, 외부 웨어러블 전자 장치(400)는 물리적으로 분리된 복수의 하우징을 가질 수 있다. 예를 들어, 외부 웨어러블 전자 장치(400)가 이어폰 형태의 웨어러블 전자 장치인 경우에, 외부 웨어러블 전자 장치(400)는 왼쪽 귀에 착용되기 위한 제1 하우징 및 오른쪽 귀에 착용되기 위한 제2 하우징을 포함할 수 있고, 이 경우, 도 4에 도시된 각 구성요소들은 복수의 하우징중 하나 이상에 포함될 수 있다.

다양한 실시예에 따라서, 외부 웨어러블 전자 장치(400)는 프로세서(410), 메모리(420), 통신 모듈(430), 오디오 모듈(440), 센서 모듈(450), 및 배터리(460)를 포함할 수 있다.

다양한 실시예에 따라서, 프로세서(410)는 외부 웨어러블 전자 장치(400)의 다른 구성요소, 예를 들어, 메모리(420), 통신 모듈(430), 오디오 모듈(440), 센서 모듈(450), 및 배터리(460)로부터 데이터를 수신하고, 수신된 데이터에 기초하여 연산을 수행하고, 다른 구성요소를 제어하기 위한 신호를 다른 구성요소에 전달할 수 있다. 다양한 실시예에 따라서, 프로세서(410)는 메모리(420)에 저장된 인스트럭션에 기초하여 동작할 수 있다.

다양한 실시예에 따라서, 메모리(420)는 외부 웨어러블 전자 장치(400)의 다른 구성요소, 예를 들어, 프로세서(410), 통신 모듈(430), 오디오 모듈(440), 센서 모듈(450), 및 배터리(460)가 지정된 동작을 수행하도록 하는 인스트럭션들을 저장할 수 있다. 다양한 실시예에 따라서, 메모리(420)는 오디오 모듈(440)을 통해 획득된 오디오 데이터를 저장할 수 있다.

다양한 실시예에 따라서, 통신 모듈(430)은 다른 전자 장치(예를 들어, 웨어러블 전자 장치(300))와 무선통신을 수행할 수 있다. 다양한 실시예에 따라서, 통신 모듈(430)은 웨어러블 전자 장치(300)에 외부 웨어러블 전자 장치(400)에서 획득된 정보를 송신할 수 있다. 통신 모듈(430)이 지원하는 통신의 종류는 제한되지 않는다.

다양한 실시예에 따라서, 오디오 모듈(440)은 복수의 마이크 및 하나 이상의 스피커를 포함할 수 있다. 다양한 실시예에 따라서, 복수의 마이크는 사용자가 외부 웨어러블 전자 장치(400)를 착용하였을 때 사용자의 내이 방향으로 향하는 마이크 및 사용자가 외부 웨어러블 전자 장치(400)를 착용하였을 때 사용자로부터 멀어지는 방향으로 향하는 마이크를 포함할 수 있다. 다양한 실시예에 따라서, 오디오 모듈(440)은 복수의 마이크를 통하여 각각 오디오 데이터를 획득하고, 복수의 마이크를 통하여 획득된 오디오 데이터에 기반하여 노이즈 캔슬링을 수행할 수 있다.

다양한 실시예에 따라서, 센서 모듈(450)은 사용자가 외부 웨어러블 전자 장치(400)를 착용하였는지 여부를 검출하기 위한 생체 센서를 포함할 수 있다. 예를 들어, 생체 센서는 심박 센서, 피부 센서, 또는 온도 센서 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따라서, 센서 모듈(450)은 지자계 센서를 포함할 수 있다.

다양한 실시예에 따라서, 외부 웨어러블 전자 장치(400)는 웨어러블 전자 장치(300)로부터 통신 모듈(430)을 통해 데이터 전송 요청을 수신할 수 있다. 예를 들어, 외부 웨어러블 전자 장치(400)는 오디오 모듈(440)을 통해 수신한 오디오 데이터에 대한 전송을 요청 받을 수 있다. 일 실시예에 따르면, 외부 웨어러블 전자 장치(400)는 웨어러블 전자 장치(300)로부터 지정된 조건(예: 지정된 시간 또는 지정된 움직임 감지)이 발생되는 경우 오디오 모듈(400)을 통해 수신한 오디오 데이터에 대한 전송을 요청 받을 수 있다.

도 5는, 다양한 실시예들에 따른, 웨어러블 전자 장치와 외부 웨어러블 전자 장치 사이의 통신을 도시한다. 도 5에서는, 외부 웨어러블 전자 장치가 이어폰 형태의 웨어러블 전자 장치로서, 왼쪽 귀에 착용되기 위한 외부 웨어러블 전자 장치(L)(530) 및 오른쪽 귀에 착용되기 위한 외부 웨어러블 전자 장치(R)(520)를 포함하는 경우에, 웨어러블 전자 장치(510), 외부 웨어러블 전자 장치(R)(520), 및 외부 웨어러블 전자 장치(L)(530) 사이의 통신이 도시된다.

다양한 실시예에 따라서, 외부 웨어러블 전자 장치(R)(520) 및 외부 웨어러블 전자 장치(L)(530) 중 하나가 마스터로서 동작하고, 다른 하나가 슬레이브로서 동작할 수 있다. 도 5에서는 외부 웨어러블 전자 장치(R)(520)가 마스터로서 동작하고, 외부 웨어러블 전자 장치(L)(530)가 슬레이브로서 동작하는 예시가 도시되었다.

도 5에서 웨어러블 전자 장치(510) 및 외부 웨어러블 전자 장치(R)(520)는 서로 블루투스 통신 프로토콜을 통해 연결되고, 외부 웨어러블 전자 장치(R)(520)와 외부 웨어러블 전자 장치(L)(530)는 서로 블루투스 통신 프로토콜을 통해 연결될 수 있다. 다양한 실시예에 따라서, 외부 웨어러블 전자 장치(R)(520)는 웨어러블 전자 장치(510)와 통신을 수행하고, 외부 웨어러블 전자 장치(L)(530)는 외부 웨어러블 전자 장치(R)(520)로부터 웨어러블 전자 장치(510) 및 외부 웨어러블 전자 장치(R)(520) 사이의 통신 링크에 관한 정보를 수신할 수 있다. 다양한 실시예에 따라서, 웨어러블 전자 장치(510) 및 외부 웨어러블 전자 장치(R)(520) 사이의 통신 링크에 관한 정보는 주소 정보, 클록 정보, 채널 정보, SDP 결과 정보, 지원되는 기능에 관한 정보, 키 정보, 또는 EIR 패킷을 포함할 수 있다. 외부 웨어러블 전자 장치(L)(530)는 웨어러블 전자 장치(510) 및 외부 웨어러블 전자 장치(R)(520) 사이의 통신 링크에 관한 정보에 기초하여 웨어러블 전자 장치(510) 및 외부 웨어러블 전자 장치(R)(520) 사이의 통신 채널을 모니터링할 수 있다. 예를 들어, 외부 웨어러블 전자 장치(L)(530)는 웨어러블 전자 장치(510) 및/또는 외부 웨어러블 전자 장치(R)(520)가 웨어러블 전자 장치(510) 및 외부 웨어러블 전자 장치(R)(520) 사이의 통신 채널을 통해 송수신 하는 데이터를 수신할 수 있다. 다른 예를 들어, 외부 웨어러블 전자 장치(L)(530)는 웨어러블 전자 장치(510) 및 외부 웨어러블 전자 장치(R)(520) 사이의 통신 채널을 통해 웨어러블 전자 장치(510)로 데이터를 송신할 수 있다.

웨어러블 전자 장치(510)는 외부 웨어러블 전자 장치(R)(520)에, 외부 웨어러블 전자 장치(R)(520) 및 외부 웨어러블 전자 장치(L)(530)에서 획득된, 외부 웨어러블 전자 장치(R)(520) 및 외부 웨어러블 전자 장치(L)(530)의 상태 정보를 요청할 수 있다. 상태 정보의 자세한 내용에 대해서는 도 6을 참조하여 후술한다. 웨어러블 전자 장치(510)는 외부 웨어러블 전자 장치(R)(520)로부터 상태 정보를 수신할 수 있다. 외부 웨어러블 전자 장치(L)(530)에서 획득된 상태 정보는 도 5에서 W1 및 W2로 표시된, 외부 웨어러블 전자 장치(R)(520) 및 웨어러블 전자 장치(510) 사이의 재전송 구간에 웨어러블 전자 장치(510)에 송신될 수 있다.

도 6은, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다. 일 실시예에 따르면, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))는 사용자가 웨어러블 전자 장치를 착용하는 경우, 주변에서 발생되는 오디오 데이터를 수신하고, 수신된 오디오 데이터에 기반한 텍스트 및/또는 이미지를 제공하는 STT 기능에 대한 활성화 요청을 수신할 수 있다. 다른 일 실시예에 따르면, 웨어러블 전자 장치(300)는 사용자가 웨어러블 전자 장치를 착용하는 경우, 자동으로 STT 기능을 활성화 할 수 있다. 또 다른 일 실시예에 따르면, 웨어러블 전자 장치(300)는 사용자가 웨어러블 전자 장치를 착용하는 경우, 사용자가 다른 웨어러블 전자 장치(예: 이어폰)를 통해 오디오 데이터를 출력중인지 판단하고, 판단 결과에 기반하여 STT 기능을 활성화 할 수 있다.

일 실시예에 따르면, 610 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 오디오 데이터를 획득할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 웨어러블 전자 장치(300)의 오디오 모듈(361)을 통하여 오디오 데이터를 획득할 수 있다.

620 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 610 동작에서 획득된 오디오 데이터가 미리 결정된 조건을 만족하는지 여부를 확인할 수 있다. 다양한 실시예에 따라서, 미리 결정된 조건은 오디오 데이터가 웨어러블 전자 장치(300)의 사용자가 STT 기능을 제공받고 싶어할 수 있는 상황임을 나타낼 때 만족될 수 있다. 예를 들어, 미리 결정된 조건은 오디오 데이터가 언어와 관련된 음성을 포함하는 것, 상기 오디오 데이터가 미리 설정된 단어와 관련된 음성을 포함하는 것, 또는, 상기 오디오 데이터가 미리 설정된 크기 이상의 음성을 포함하는 것 중 적어도 하나를 포함할 수 있다.

620 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 획득된 오디오 데이터가 미리 결정된 조건을 만족하는지 확인할 수 있다. 일 예에서, 620 동작에서 획득된 오디오 데이터가 미리 결정된 조건을 만족하지 않는다고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 미리 결정된 조건을 만족하는 오디오 데이터가 획득될 때까지 610 동작을 반복할 수 있다.

다른 일 예에서, 620 동작에서 획득된 오디오 데이터가 미리 결정된 조건을 만족한다고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 630 동작에서, 통신 회로(370)를 통하여, 외부 웨어러블 전자 장치(예를 들어, 외부 웨어러블 전자 장치(400))로부터 상태 정보를 수신할 수 있다. 다양한 실시예에 따라서, 상태 정보는 외부 웨어러블 전자 장치(400)에서 획득된 신호에 기초한 정보일 수 있다.

다양한 실시예에 따라서, 상태 정보는 외부 웨어러블 전자 장치(400)가 외부 웨어러블 전자 장치(400)의 사용자에 의하여 착용 중인지 여부를 나타낼 수 있다. 다양한 실시예에 따라서, 외부 웨어러블 전자 장치(400)가 사용자에 의하여 착용 중인지 여부를 나타내는 상태 정보는, 웨어러블 전자 장치(400)의 센서 모듈(450)에서 획득된 생체 신호이거나, 웨어러블 전자 장치(400)의 프로세서(410)에서 센서 모듈(450)에서 획득된 생체 신호에 기초하여 출력되는 정보로서, 외부 웨어러블 전자 장치(400)가 사용자에 의하여 착용 중인지 아닌지의 판정 결과를 나타낼 수 있다.

다양한 실시예에 따라서, 상태 정보는 외부 웨어러블 전자 장치(400)에서 음성이 출력 중인지 여부를 나타낼 수 있다. 다양한 실시예에 따라서, 상태 정보는 외부 웨어러블 전자 장치(400)에서 출력 중인 음성의 음량을 나타낼 수 있다.

다양한 실시예에 따라서, 외부 웨어러블 전자 장치(400)가 노이즈 캔슬링 기능 및 주변 소리 듣기 기능을 제공하고, 사용자에게 노이즈 캔슬링 기능 및 주변 소리 듣기 기능에 대하여 우선순위를 지정하는 것을 허용하는 경우에, 상태 정보는 노이즈 캔슬링 기능 및 주변 소리 듣기 기능 중 어느 기능의 우선순위가 더 높게 지정되어 있는지를 나타낼 수 있다.

다양한 실시예에 따라서, 상태 정보는 외부 웨어러블 전자 장치(400)에 대한 사용자의 입력에 의하여 외부 웨어러블 전자 장치(400)에서 주변 소리 듣기 기능이 활성화 중인지 여부를 나타낼 수 있다.

다양한 실시예에 따라서, 상태 정보는 외부 웨어러블 전자 장치(400)의 오디오 모듈(440)을 통하여 획득된 오디오 데이터를 포함할 수 있다.

640 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 상태 정보에 적어도 일부 기초하여, 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이(예를 들어, 디스플레이 모듈(350))를 제어할 수 있다. 다양한 실시예에 따라서, 시각 정보는 텍스트 또는 이미지 중 적어도 하나를 포함할 수 있다.

다양한 실시예에 따라서, 프로세서(320)가 상태 정보에 적어도 일부 기초하여, 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이 모듈(350)을 제어한다는 것은, 프로세서(320)가 STT 기능을 제공할지 여부를 상태 정보에 적어도 일부 기초하여 결정한다는 것을 의미할 수 있다.

다양한 실시예에 따라서, 상태 정보가 외부 웨어러블 전자 장치(400)가 외부 웨어러블 전자 장치(400)의 사용자에 의하여 착용 중인지 여부를 나타내는 경우에, 상태 정보가 외부 웨어러블 전자 장치(400)가 착용 중임을 나타내는 것이, 프로세서(320)가 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이 모듈(350)을 제어하기 위한 적어도 하나의 조건에 포함될 수 있다. 달리 말하면, 프로세서(320)는 외부 웨어러블 전자 장치(400)가 착용 중이라는 것 외에도 STT 기능을 제공하기 위한 조건으로서 후술할 다양한 조건들 중 임의의 조건들을 더 가질 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 상태 정보가 외부 웨어러블 전자 장치(400)가 착용 중이 아님을 나타내는 경우, 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이 모듈(350)을 제어하지 않을 수 있다.

다양한 실시예에 따라서, 상태 정보가 외부 웨어러블 전자 장치(400)의 센서 모듈(450)에서 획득된 생체 신호인 경우에, 프로세서(320)는 웨어러블 전자 장치(300)의 센서(380)를 통하여 생체 신호를 획득하고, 외부 웨어러블 전자 장치(400)로부터 수신된 생체 신호와 웨어러블 전자 장치(300)의 센서(380)를 통하여 생체 신호를 비교함으로써 외부 웨어러블 전자 장치(400)를 착용하고 있는 사용자와 웨어러블 전자 장치(300)를 착용하고 있는 사용자가 동일인인지를 확인할 수 있다. 다양한 실시예에 따라서, 상태 정보가 외부 웨어러블 전자 장치(400)가 착용 중임을 나타내는 것뿐 아니라, 외부 웨어러블 전자 장치(400)를 착용하고 있는 사용자와 웨어러블 전자 장치(300)를 착용하고 있는 사용자가 동일인인 것이, 프로세서(320)가 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이 모듈(350)을 제어하기 위한 적어도 하나의 조건에 포함될 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 외부 웨어러블 전자 장치(400)를 착용하고 있는 사용자와 웨어러블 전자 장치(300)를 착용하고 있는 사용자가 동일인이 아니라고 확인되는 경우, 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이 모듈(350)을 제어하지 않을 수 있다.

다양한 실시예에 따라서, 상태 정보가 외부 웨어러블 전자 장치(400)에서 음성이 출력 중인지 여부를 나타내는 경우에, 상태 정보가 외부 웨어러블 전자 장치(400)에서 음성이 출력 중임을 나타내는 것이, 프로세서(320)가 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이 모듈(350)을 제어하기 위한 적어도 하나의 조건에 포함될 수 있다.

다양한 실시예에 따라서, 상태 정보가 외부 웨어러블 전자 장치(400)에서 출력 중인 음성의 음량을 나타내는 경우에, 상태 정보에 의하여 나타난 외부 웨어러블 전자 장치(400)에서 출력 중인 음성의 음량이 미리 설정된 수준 이상인 것이, 프로세서(320)가 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이 모듈(350)을 제어하기 위한 적어도 하나의 조건에 포함될 수 있다.

다양한 실시예에 따라서, 상태 정보가 노이즈 캔슬링 기능 및 주변 소리 듣기 기능 사이의 상대적인 우선순위를 나타내는 경우에, 상태 정보가 나타내는 노이즈 캔슬링 기능의 우선순위가 주변 소리 듣기 기능의 우선순위보다 높은 것이, 프로세서(320)가 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이 모듈(350)을 제어하기 위한 적어도 하나의 조건에 포함될 수 있다.

다양한 실시예에 따라서, 상태 정보가 외부 웨어러블 전자 장치(400)에 대한 사용자의 입력에 의하여 외부 웨어러블 전자 장치(400)에서 주변 소리 듣기 기능이 활성화 중인지 여부를 나타내는 경우에, 외부 웨어러블 전자 장치(400)에 대한 사용자의 입력에 의하여 주변 소리 듣기 기능이 활성화되지 않은 것이, 프로세서(320)가 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이 모듈(350)을 제어하기 위한 적어도 하나의 조건에 포함될 수 있다. 달리 말하면, 사용자가 외부 웨어러블 전자 장치(400)에 대한 직접 입력에 의하여 주변 소리 듣기 기능을 활성화시킨 경우, 웨어러블 전자 장치(300)는 STT 기능을 제공하지 않을 수 있다.

다양한 실시예에 따라서, 프로세서(320)가 상태 정보에 적어도 일부 기초하여, 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이 모듈(350)을 제어한다는 것은, 프로세서(320)가 STT 기능을 제공할 때, 제공될 시각 정보를 결정함에 있어서 상태 정보를 고려한다는 것을 의미할 수 있다.

다양한 실시예에 따라서, 상태 정보가 외부 웨어러블 전자 장치(400)의 오디오 모듈(440)을 통하여 획득된 오디오 데이터를 포함하는 경우에, 프로세서(320)는 외부 웨어러블 전자 장치(400)의 오디오 모듈(440)을 통하여 획득된 오디오 데이터에 기초하여 610 동작에서 획득된 오디오 데이터를 처리함으로써 제3 오디오 데이터를 획득하고, 제3 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이 모듈(350)을 제어할 수 있다. 다양한 실시예에 따라서, 제3 오디오 데이터를 획득하기 위한 처리는 음성 대화를 제외한 주변 소음을 제거하기 위한 노이즈 캔슬링 처리일 수 있다.

다양한 실시예에 따라서, 프로세서(320)는 STT 기능을 제공할 때, 610 동작에서 획득된 오디오 데이터 및/또는 상태 정보의 적어도 일부로서 획득된, 외부 웨어러블 전자 장치(400)의 오디오 모듈(440)을 통하여 획득된 오디오 데이터에 대응하는 음성의 크기에 따라 디스플레이 모듈(350) 상에 표시되는 시각 정보의 시각적 특징을 조절할 수 있다. 예를 들어, 시각 정보가 텍스트인 경우, 텍스트의 폰트, 크기, 또는 색 중 적어도 하나가 오디오 데이터에 대응하는 음성의 크기에 따라 조절될 수 있다. 다른 예를 들어, 시각 정보가 이미지인 경우, 이미지의 크기 또는 색상 중 적어도 하나가 오디오 데이터에 대응하는 음성의 크기에 따라 조절될 수 있다.

도 7은, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다. 일 실시예에 따르면, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))는 외부 웨어러블 전자 장치(예를 들어, 외부 웨어러블 전자 장치(400))와 통신 연결을 수행할 수 있다. 예를 들어, 웨어러블 전자 장치(300)와 외부 웨어러블 전자 장치(400)가 근거리에 위치하는 경우, 웨어러블 전자 장치(300)는 통신 회로(예를 들어, 통신 회로(370))를 통하여 외부 웨어러블 전자 장치(400)와 통신 연결(예를 들어, 블루투스 통신 연결)을 수행할 수 있다.

일 실시예에 따르면, 710 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 외부 웨어러블 전자 장치(예를 들어, 외부 웨어러블 전자 장치(400))로부터 상태 정보를 수신할 수 있다. 다양한 실시예에 따라서, 상태 정보는 외부 웨어러블 전자 장치(400)가 사용자에 의하여 착용 중인지 여부 및 외부 웨어러블 전자 장치(400)에서 음성이 출력 중인지 여부를 나타낼 수 있다.

720 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 상태 정보에 기초하여 외부 웨어러블 전자 장치(400)가 사용자에 의하여 착용 중인지 여부를 확인할 수 있다. 일 예에서, 외부 웨어러블 전자 장치(400)가 사용자에 의하여 착용 중이 아니라고 확인되는 경우, 방법은 종료될 수 있다.

720 동작에서 외부 웨어러블 전자 장치(400)가 사용자에 의하여 착용 중이라고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 730 동작에서 상태 정보에 기초하여 외부 웨어러블 전자 장치(400)에서 음성이 출력 중인지 여부를 확인할 수 있다. 일 예에서, 외부 웨어러블 전자 장치(400)에서 음성이 출력 중이 아니라고 확인되는 경우, 방법은 종료될 수 있다.

730 동작에서 외부 웨어러블 전자 장치(400)에서 음성이 출력 중이라고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 740 동작에서 웨어러블 전자 장치(300)의 오디오 모듈(361)를 통하여 획득된 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이(385)를 제어할 수 있다. 다양한 실시예에 따라서, 시각 정보는 텍스트 또는 이미지 중 적어도 하나를 포함할 수 있다.

도 7에는 다르게 도시되었으나, 다양한 실시예에 따라서, 720 동작 및 730 동작의 순서는 바뀔 수 있다.

도 7에서는 생략되었으나, 다양한 실시예에 따라서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 710 동작을 수행하기 전에, 도 6에 도시된 610 동작 및 620 동작을 수행하고, 620 동작에서 오디오 데이터가 미리 결정된 조건을 만족한다고 확인되는 것에 응답하여 710 동작을 수행할 수 있다. 달리 말하면, 외부 웨어러블 전자 장치(400)가 착용 중이고 외부 웨어러블 전자 장치(400)가 음성 출력 중인 것 외에, 오디오 데이터가 미리 결정된 조건을 만족하는 것이 STT 서비스를 제공하기 위한 조건에 포함될 수 있다.

도 8은, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다. 810 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 외부 웨어러블 전자 장치(예를 들어, 외부 웨어러블 전자 장치(400))로부터 상태 정보를 수신할 수 있다. 820 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 상태 정보에 기초하여 외부 웨어러블 전자 장치(400)가 사용자에 의하여 착용 중인지 여부를 확인할 수 있다. 830 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 상태 정보에 기초하여 외부 웨어러블 전자 장치(400)에서 음성이 출력 중인지 여부를 확인할 수 있다. 도 7을 참조하여 상술한 710 동작, 720 동작, 및 730 동작에 관한 세부 사항들이 810 동작, 820 동작, 및 830 동작에 동일하게 적용될 수 있다.

830 동작에서 외부 웨어러블 전자 장치(400)에서 음성이 출력 중이라고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 840 동작에서 STT 서비스가 제공 가능하다는 것을 나타내는 시각적 표시자를 표시하도록 디스플레이(385)를 제어할 수 있다. 예를 들어, 시각적 표시자는 웨어러블 전자 장치(300)에 포함된 음성 입력 장치(362) 및/또는 외부 웨어러블 전자 장치(400)에 포함된 오디오 모듈(440)에 기반하여, 사용자에게 제공할 정보가 있음을 나타내는 텍스트 및/또는 이미지를 포함하는 가상 오브젝트일 수 있다.

850 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 웨어러블 전자 장치(300)의 사용자에 관한 반응 조건이 만족되는지 여부를 판단할 수 있다. 다양한 실시예에 따라서, 반응 조건은 웨어러블 전자 장치(300)의 사용자의, 840 동작에서 표시된 시각적 표시자에 대한 반응에 관련된 조건일 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 제2 카메라(312)를 통하여 사용자의 시선을 확인하고, 미리 설정된 제1 시간 이상 사용자의 시선이 시각적 표시자 위에 있다고 확인되는 경우, 반응 조건이 만족되었다고 확인할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 사용자의 발화를 분석하고, STT 서비스를 제공받기 위한 미리 설정된 발화가 검출되는 경우, 반응 조건이 만족되었다고 확인할 수 있다. 이 경우, 프로세서(320)는 메모리(340)에 사용자의 음성에 관한 데이터를 저장하고, 저장된 사용자의 음성 데이터에 기초하여 미리 설정된 발화가 사용자의 발화인지 여부를 확인할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 제1 카메라(311)를 통하여 제스처를 검출하고, STT 서비스를 제공받기 위한 미리 설정된 제스처가 검출되는 경우, 반응 조건이 만족되었다고 확인할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 상술한 반응 조건의 예시들의 임의의 조합이 만족되면 반응 조건이 만족되었다고 확인될 수 있다.

850 동작에서 반응 조건이 만족되지 않는 것으로 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 반응 조건이 만족될 때까지 850 동작을 반복할 수 있다.

850 동작에서 반응 조건이 만족되는 것으로 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 860 동작에서, 웨어러블 전자 장치(300)의 오디오 모듈(361)를 통하여 획득된 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이(385)를 제어할 수 있다. 다양한 실시예에 따라서, 시각 정보는 텍스트 또는 이미지 중 적어도 하나를 포함할 수 있다.

다양한 실시예에 따라서, 프로세서(320)는 반응 조건이 만족되기 전에 수집된 오디오 데이터를 메모리(340)에 저장하고, 반응 조건이 만족된 것을 확인하고 나면, 860 동작에서 반응 조건이 만족된 후에 수집된 오디오 데이터에 대응하는 시각 정보뿐 아니라, 반응 조건이 만족되기 전에 수집된 오디오 데이터에 대응하는 시각 정보를 더 표시하도록 디스플레이(385)를 제어할 수 있다.

도 8에서는 생략되었으나, 다양한 실시예에 따라서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 810 동작을 수행하기 전에, 도 6에 도시된 610 동작 및 620 동작을 수행하고, 620 동작에서 오디오 데이터가 미리 결정된 조건을 만족한다고 확인되는 것에 응답하여 810 동작을 수행할 수 있다.

도 9는, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다. 910 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 외부 웨어러블 전자 장치(예를 들어, 외부 웨어러블 전자 장치(400))로부터 상태 정보를 수신할 수 있다. 다양한 실시예에 따라서, 상태 정보는 외부 웨어러블 전자 장치(400)에서 노이즈 캔슬링 기능 및 주변 소리 듣기 기능 중 어느 기능의 우선순위가 더 높게 지정되어 있는지를 나타낼 수 있다.

920 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 상태 정보에 기초하여 외부 웨어러블 전자 장치(400)의 노이즈 캔슬링 기능의 우선순위가 주변 소리 듣기 기능의 우선순위보다 높은지 여부를 확인할 수 있다. 예를 들어 외부 웨어러블 전자 장치(400)의 주변 소리 듣기 기능의 우선순위가 외부 웨어러블 전자 장치(400)의 노이즈 캔슬링 기능의 우선 순위보다 높다는 것은, 사용자가 웨어러블 전자 장치(300)를 통해서 외부 소리에 기반한 STT 기능을 제공 받기 보다는 외부 웨어러블 전자 장치(400)를 통해서 주변 소리를 듣기를 원한다는 것을 의미할 수 있다.

일 실시예에 따르면, 외부 웨어러블 전자 장치(400)는 센서 모듈(450)을 통한 터치, 탭 또는 롱프레스와 같은 사용자 입력, 지정된 움직임 감지 또는 사용자의 발화 감지를 통해 사용자가 주변 소리 듣기 기능을 활성화 하는 것을 감지할 수 있다.

920 동작에서 외부 웨어러블 전자 장치(400)의 노이즈 캔슬링 기능의 우선순위가 주변 소리 듣기 기능의 우선순위보다 높다고 판단되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 930 동작에서 웨어러블 전자 장치(300)의 오디오 모듈(361)를 통하여 획득된 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이(385)를 제어할 수 있다. 다양한 실시예에 따라서, 시각 정보는 텍스트 또는 이미지 중 적어도 하나를 포함할 수 있다.

920 동작에서 외부 웨어러블 전자 장치(400)의 노이즈 캔슬링 기능의 우선순위가 주변 소리 듣기 기능의 우선순위보다 낮다고 판단되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 방법을 종료할 수 있다.

도 9에는 다르게 도시되었으나, 다양한 실시예에 따라서, 920 동작에서 외부 웨어러블 전자 장치(400)의 노이즈 캔슬링 기능의 우선순위가 주변 소리 듣기 기능의 우선순위보다 높다고 판단되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 도 12를 참조하여 후술할, STT 기능을 제공하기 위한 조건이 만족되는지를 판단하고, 도 12의 조건이 만족되는 경우 웨어러블 전자 장치(300)의 오디오 모듈(361)를 통하여 획득된 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이(385)를 제어할 수 있다.

도 9에서는 생략되었으나, 다양한 실시예에 따라서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 910 동작을 수행하기 전에, 도 6에 도시된 610 동작 및 620 동작을 수행하고, 620 동작에서 오디오 데이터가 미리 결정된 조건을 만족한다고 확인되는 것에 응답하여 910 동작을 수행할 수 있다.

도 10은, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다. 1010 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 제1 오디오 데이터를 획득할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 웨어러블 전자 장치(300)의 오디오 모듈(361)을 통하여 제1 오디오 데이터를 획득할 수 있다.

1020 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 1010 동작에서 획득된 제1 오디오 데이터가 미리 결정된 조건을 만족하는지 여부를 확인할 수 있다. 미리 결정된 조건에 대한 세부 사항은 도 6의 620 동작을 참조하여 상술한 바와 동일하다.

1020 동작에서 제1 오디오 데이터가 미리 결정된 조건을 만족하지 않는다고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 미리 결정된 조건을 만족하는 제1 오디오 데이터가 획득될 때까지 1010 동작 및 1020 동작을 반복할 수 있다.

1020 동작에서 제1 오디오 데이터가 미리 결정된 조건을 만족한다고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 1030 동작에서, 외부 웨어러블 전자 장치(예를 들어, 외부 웨어러블 전자 장치(400))로부터, 외부 웨어러블 전자 장치(400)의 오디오 모듈(440)을 통하여 획득된 제2 오디오 데이터를 포함하는 상태 정보를 획득할 수 있다. 예를 들어, 웨어러블 전자 장치(300)는 제1 오디오 데이터에 대한 정보(예: 수신 시간 정보 및/또는 샘플링 데이터)를 포함한 데이터를 외부 웨어러블 전자 장치(400)에 전송하고, 외부 웨어러블 전자 장치(400)로부터 제1 오디오 데이터에 대한 정보에 기반한 제2 오디오 데이터를 포함하는 상태 정보를 수신할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(300)는 제1 오디오 데이터가 미리 결정된 조건을 만족하는지 판단하기 전에, 통신 회로(370)를 통해 외부 웨어러블 전자 장치(400)와 통신 연결을 수행하고, 외부 웨어러블 전자 장치(400)로부터 제2 오디오 데이터를 포함하는 상태 정보를 획득할 수 있다.

1040 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 제2 오디오 데이터에 기초하여 제1 오디오 데이터를 처리함으로써 제3 오디오 데이터를 획득할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 1040 동작에서 제1 오디오 데이터로부터 음성 대화를 제외한 주변 소음을 제거하기 위한 노이즈 캔슬링 처리를 수행할 수 있다.

1050 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 1040 동작에서 획득된 제3 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이(350)를 제어할 수 있다. 다양한 실시예에 따라서, 시각 정보는 텍스트 또는 이미지 중 적어도 하나를 포함할 수 있다.

도 10에서는 생략되었으나, 다양한 실시예에 따라서, 프로세서(320)는 1030 동작에서 외부 웨어러블 전자 장치(400)가 사용자에 의하여 착용 중인지 여부 및 외부 웨어러블 전자 장치(400)에서 음성이 출력 중인지 여부를 나타내는 상태 정보를 수신하고, 1030 동작을 수행한 후에 1040 동작을 바로 수행하지 않고, 도 7의 720 동작 및 730 동작을 수행하고, 720 동작 및 730 동작의 조건이 만족되는 경우에 1040 동작을 수행할 수 있다.

또는, 다양한 실시예에 따라서, 프로세서(320)는 1030 동작에서 외부 웨어러블 전자 장치(400)가 사용자에 의하여 착용 중인지 여부 및 외부 웨어러블 전자 장치(400)에서 음성이 출력 중인지 여부를 나타내는 상태 정보를 수신하고, 1030 동작을 수행한 후에 1040 동작을 바로 수행하지 않고, 도 8의 820 동작 내지 850 동작을 수행하고, 820 동작, 830 동작, 및 850 동작의 조건이 만족되는 경우에 1040 동작을 수행할 수 있다.

도 11은, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다. 1110 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 웨어러블 전자 장치(300)의 오디오 모듈(361)을 통하여 획득된 오디오 데이터에 대응되는 시각 정보를 표시하도록 디스플레이(350)를 제어할 수 있다. 다양한 실시예에 따라서, 시각 정보는 텍스트 또는 이미지 중 적어도 하나를 포함할 수 있다.

1120 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 시각 정보 제공 중지 조건이 만족되는지 여부를 확인할 수 있다. 다양한 실시예에 따라서, 시각 정보 제공 중지 조건은 STT 서비스의 제공을 중지하는 것이 적절한 상황임을 나타내는 조건일 수 있다. 다양한 실시예에 따라서, 시각 정보 제공 중지 조건은 사용자의 시선이 1110 동작에서 표시된 시각 정보 상에 있지 않은 시간이 미리 설정된 시간 이상 지속되는 것을 포함할 수 있다. 다양한 실시예에 따라서, 시각 정보 제공 중지 조건은 STT 서비스 중지를 요구하는, 미리 설정된 제스처가 사용자에 의하여 이루어진 것이 검출되는 것을 포함할 수 있다. 다양한 실시예에 따라서, 시각 정보 제공 중지 조건은 1110 동작에서 표시되는 시각 정보에 포함되는 문장들의 정확도가 미리 설정된 수준 이하인 것을 포함할 수 있다. 예를 들어, 시각 정보에 포함되는 문장들의 정확도는 문장의 완성도 및/또는 문맥의 정확도에 기반할 수 있다. 다양한 실시예에 따라서, 시각 정보 제공 중지 조건은 1110 동작에서 표시되는 시각 정보가 표시되는 시간이 지정된 시간을 초과하는 것을 포함할 수 있다.

1120 동작에서 시각 정보 제공 중지 조건이 만족되는 것으로 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 1130 동작에서, 오디오 데이터에 대응되는 시각 정보를 표시하지 않도록 디스플레이(350)를 제어할 수 있다.

1120 동작에서 시각 정보 제공 중지 조건이 만족되지 않는 것으로 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 시각 정보 제공 중지 조건이 만족되는 것으로 확인될 때까지 1120 동작을 반복하면서, 오디오 모듈(361)을 통하여 획득된 오디오 데이터에 대응되는 시각 정보 를 계속해서 표시하도록 디스플레이(350)를 제어할 수 있다.

도 11에는 도시되지 않았으나, 다양한 실시예에 따라서, 시각 정보 제공 중지 조건이 1110 동작에서 표시되는 시각 정보에 포함되는 문장들의 정확도가 미리 설정된 수준 이하인 것을 포함하고, 1120 동작에서 시각 정보에 포함되는 문장들의 정확도가 미리 설정된 수준 이하라고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 통신 회로(370)를 통하여, 주변 소리 듣기 기능을 활성화할 것을 지시하는 신호를 외부 웨어러블 전자 장치(400)에 송신할 수 있다.도 12는, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다. 1210 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 웨어러블 전자 장치(300)의 음성 입력 장치(362)를 통하여, 외부 이벤트에 대응하는 제1 오디오 데이터를 획득할 수 있다. 다양한 실시예에 따라서, 외부 이벤트는 웨어러블 전자 장치(300)의 사용자 외 다른 사람에 의한 발화를 포함할 수 있다. 예를 들어, 외부 이벤트는 외부에서 지정된 조건(예: 지정된 신호 세기 이상)에 대응하는 소리가 발생됨을 포함할 수 있다.

1220 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 통신 회로(370)를 통하여 외부 웨어러블 전자 장치(예를 들어, 외부 웨어러블 전자 장치(400))로부터, 외부 웨어러블 전자 장치(400)에서 획득되고 외부 이벤트에 대응하는 제2 오디오 데이터를 수신할 수 있다.

1230 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 제1 오디오 데이터 및 제2 오디오 데이터에 기초하여, 외부 이벤트에 대응하는 방향을 확인할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(300)의 프로세서(320)는 웨어러블 전자 장치(300)의 적어도 하나의 음성 입력 장치(362)의 위치 및 외부 웨어러블 전자 장치(400)의 적어도 하나의 오디오 모듈(440)의 위치에 기반하여 외부 이벤트에 대응하는 방향을 판단할 수 있다. 예를 들어, 프로세서(320)는 제1 오디오 데이터가 수신된 시간 정보 및 제2 오디오 데이터가 수신된 시간 정보에 기반하여 외부 이벤트에 대응하는 방향을 판단할 수 있다. 다양한 실시예에 따라서, 외부 이벤트에 대응하는 방향은, 외부 이벤트가 발생한 위치의, 웨어러블 전자 장치(300)에 대한 상대적인 방향일 수 있다.

1240 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 확인된 방향에 대응하는 동작을 수행할 수 있다.

다양한 실시예에 따라서, 프로세서(320)는 웨어러블 전자 장치(300)의 센서(380) 및/또는 적어도 하나의 카메라(예: 제1 카메라(311), 제2 카메라(312))를 통하여 획득된 데이터에 기초하여 웨어러블 전자 장치(300)의 사용자의 시선 방향(또는 사용자가 웨어러블 전자 장치(300)의 투명 부재(예: 도 1의 하나 이상의 투명 부재(190-1, 190-2))를 통하여 바라보고 있는 방향)을 확인하고, 확인된 사용자의 시선 방향이 1230 동작에서 확인된 방향과 일치하는지 여부에 따라서 상이한 동작들을 수행할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 제2 카메라(312)를 통하여 획득된 데이터에 기초하여 웨어러블 전자 장치(300)의 사용자의 시선 방향을 확인할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 웨어러블 전자 장치(300)의 센서(380)를 통하여 획득된 데이터에 기초하여 웨어러블 전자 장치(300)가 향하고 있는 방향을 확인하고, 이를 사용자의 시선 방향으로서 확인할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 사용자의 시선 방향이 1230 동작에서 확인된 외부 이벤트에 대응하는 방향과 일치하는 경우, 통신 회로(370)를 통하여, 외부 웨어러블 전자 장치(400)에 주변 소리 듣기 기능을 활성화할 것을 지시하는 신호를 송신할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 사용자의 시선 방향이 1230 동작에서 확인된 방향과 일치하지 않는 경우, 제1 오디오 데이터 또는 상기 제2 오디오 데이터 중 적어도 하나에 기초하여, 외부 이벤트에 대응하는 시각 정보를 표시하도록 디스플레이(350)를 제어할 수 있다.

도 13은, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다. 1310 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 웨어러블 전자 장치(300)의 음성 입력 장치(362)를 통하여, 외부 이벤트에 대응하는 제1 오디오 데이터를 획득할 수 있다.

1320 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 제1 오디오 데이터가 미리 결정된 조건을 만족하는지 여부를 확인할 수 있다. 미리 결정된 조건에 대한 세부 사항은 도 6의 620 동작을 참조하여 상술한 바와 동일하다.

1320 동작에서 제1 오디오 데이터가 미리 결정된 조건을 만족하지 않는다고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 미리 결정된 조건을 만족하는 제1 오디오 데이터가 획득될 때까지 1310 동작 및 1320 동작을 반복할 수 있다.

1320 동작에서 제1 오디오 데이터가 미리 결정된 조건을 만족한다고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 1330 동작에서, 외부 웨어러블 전자 장치(예를 들어, 외부 웨어러블 전자 장치(400))로부터 상태 정보를 수신할 수 있다. 다양한 실시예에 따라서, 상태 정보는 외부 웨어러블 전자 장치(400)가 사용자에 의하여 착용 중인지 여부 및 외부 웨어러블 전자 장치(400)에서 음성이 출력 중인지 여부를 나타내고, 외부 웨어러블 전자 장치(400)의 오디오 모듈(440)을 통하여 획득된 제2 오디오 데이터를 포함할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(300)는 제1 오디오 데이터가 미리 결정된 조건을 만족하는지 판단하기 전에 외부 웨어러블 전자 장치(400)와 통신 회로(370)를 통해 통신 연결을 수행할 수 있다. 예를 들어, 통신은 블루투스 또는 WiFi와 같은 근거리 통신을 포함할 수 있다.

1340 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 상태 정보에 기초하여 외부 웨어러블 전자 장치(400)가 착용 중이고, 외부 웨어러블 전자 장치(400)가 음성을 출력 중인지 여부를 확인할 수 있다. 다양한 실시예에 따라서, 도 6의 640 동작과 관련하여 상술한 바와 같이, 1340 동작에서 프로세서(320)는 외부 웨어러블 전자 장치(400)를 착용하고 있는 사용자와 웨어러블 전자 장치(300)를 착용하고 있는 사용자가 동일인인지 여부를 추가적으로 확인하고, 외부 웨어러블 전자 장치(400)를 착용하고 있는 사용자와 웨어러블 전자 장치(300)를 착용하고 있는 사용자가 동일인이라고 확인되는 경우에 1350 동작을 수행할 수 있다. 일 실시예에 따라서, 1340 동작에서 프로세서(320)는 외부 웨어러블 전자 장치(400)가 착용 중이지 않거나 또는 음성을 출력 중이지 않은 경우, 방법을 종료할 수 있다.

1340 동작에서 외부 웨어러블 전자 장치(400)가 착용 중이고, 외부 웨어러블 전자 장치(400)가 음성을 출력 중이라고 확인되는 경우에, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 1350 동작에서, 통신 회로(370)를 통하여, 외부 웨어러블 전자 장치(예를 들어, 외부 웨어러블 전자 장치(400))로부터, 외부 웨어러블 전자 장치(400)의 오디오 모듈(440)을 통하여 획득된 제2 오디오 데이터를 수신할 수 있다.

1360 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 제1 오디오 데이터 및 제2 오디오 데이터에 기초하여, 외부 이벤트에 대응하는 방향을 확인할 수 있다. 1230 동작의 세부 사항이 1360 동작에 동일하게 적용될 수 있다.

1370 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 센서(380) 또는 제2 카메라(312) 중 적어도 하나를 통하여 획득한 데이터에 기초하여 사용자의 시선 방향(또는 사용자가 웨어러블 전자 장치(300)의 투명 부재(예: 도 1의 하나 이상의 투명 부재(190-1, 190-2))를 통하여 바라보고 있는 방향)을 확인할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 제2 카메라(312)를 통하여 획득된 데이터에 기초하여 웨어러블 전자 장치(300)의 사용자의 시선 방향을 확인할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 웨어러블 전자 장치(300)의 센서(380)를 통하여 획득된 데이터에 기초하여 웨어러블 전자 장치(300)가 향하고 있는 방향을 확인하고, 이를 사용자의 시선 방향으로서 확인할 수 있다.

1380 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 외부 이벤트에 대응하는 방향이 사용자의 시선 방향과 일치하는지 여부를 확인할 수 있다.

1380 동작에서 외부 이벤트에 대응하는 방향이 사용자의 시선 방향과 일치한다고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 1390 동작에서 통신 회로(370)를 통하여, 외부 웨어러블 전자 장치(400)에 주변 소리 듣기 기능을 활성화할 것을 지시하는 신호를 송신할 수 있다.

1380 동작에서 외부 이벤트에 대응하는 방향이 사용자의 시선 방향과 일치하지 않는다고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 1395 동작에서, 제1 오디오 데이터 또는 상기 제2 오디오 데이터 중 적어도 하나에 기초하여, 외부 이벤트에 대응하는 시각 정보를 표시하도록 디스플레이(350)를 제어할 수 있다. 다양한 실시예에 따라서, 시각 정보는 텍스트 또는 이미지 중 적어도 하나를 포함할 수 있다.

도 14는, 다양한 실시예들에 따른, 웨어러블 전자 장치에서 수행되는 동작들을 설명하기 위한 흐름도를 도시한다. 일 실시예에 따르면, 사용자는 웨어러블 전자 장치(300) 및 외부 웨어러블 전자 장치(400)를 착용하고, STT 기능을 활성화하여 외부 이벤트에 대응하는 시각 정보를 표시하도록 설정할 수 있다. 1410 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 외부 이벤트에 대응하는 시각 정보를 표시하도록 디스플레이(350)를 제어할 수 있다. 예를 들어, 프로세서(320)는 웨어러블 전자 장치(300)에서 수신한 제1 오디오 데이터와 외부 웨어러블 전자 장치(400)에서 수신한 제2 오디오 데이터에 기반한 제3 오디오 데이터에 기반하여 시각 정보를 디스플레이(350)에 표시할 수 있다. 다양한 실시예에 따라서, 시각 정보는 텍스트 또는 이미지 중 적어도 하나를 포함할 수 있다.

1420 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 사용자의 제2 시선 방향을 확인할 수 있다. 사용자의 제2 시선 방향을 확인하기 위한 과정은 도 13의 1370 동작과 동일하다. 여기서 “제2 시선 방향”이라는 용어는, 외부 이벤트에 대응하는 시각 정보가 표시되는 동안, 즉 STT 기능이 제공되는 동안의 사용자의 시선 방향이라는 의미일 수 있다. “제2 시선 방향”이라는 용어는, 도 13의 1370 동작에서의 시선 방향, 즉, STT 기능이 제공되기 전의 사용자의 시선 방향과 구분되어 표현되었다.

1430 동작에서, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 사용자의 제2 시선 방향이 외부 이벤트에 대응하는 방향과 일치하는지 여부를 확인할 수 있다. 다양한 실시예에 따라서, 프로세서(320)는 도 13의 1360 동작과 유사하게, 음성 입력 장치(362)를 통하여 획득된 제1 오디오 데이터 및 외부 웨어러블 전자 장치(400)로부터 수신된 제2 오디오 데이터에 기초하여 외부 이벤트에 대응하는 방향을 확인할 수 있다.

1430 동작에서 사용자의 제2 시선 방향이 외부 이벤트에 대응하는 방향과 일치하지 않는다고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 사용자의 제2 시선 방향이 외부 이벤트에 대응하는 방향과 일치하는 것으로 확인될 때까지 1410 동작 내지 1430 동작을 반복하면서, STT 기능을 계속하여 제공할 수 있다.

1430 동작에서 사용자의 제2 시선 방향이 외부 이벤트에 대응하는 방향과 일치한다고 확인되는 경우, 웨어러블 전자 장치(예를 들어, 웨어러블 전자 장치(300))의 프로세서(예를 들어, 프로세서(320))는 1440 동작에서, 외부 이벤트에 대응하는 시각 정보의 표시를 중단하도록 디스플레이(350)를 제어하고, 통신 회로(370)를 통하여, 외부 웨어러블 전자 장치(400)에 주변 소리 듣기 기능을 활성화할 것을 지시하는 신호를 송신할 수 있다.

다양한 실시예에 따른 웨어러블 전자 장치(예: 웨어러블 전자 장치(300))는, 디스플레이(예: 디스플레이(350)), 통신 회로(예: 통신 회로(370)), 음성 입력 장치(예: 음성 입력 장치(362)), 및 상기 디스플레이, 상기 통신 회로 및 상기 음성 입력 장치와 작동적으로 연결된 프로세서(예: 프로세서(320))를 포함하고, 상기 프로세서(320)는, 상기 음성 입력 장치(362)를 통하여 오디오 데이터를 획득하고, 상기 오디오 데이터가 미리 결정된 조건을 만족하는 것을 확인하고, 상기 통신 회로(370)를 통하여 외부 웨어러블 전자 장치(예: 외부 웨어러블 전자 장치(400))로부터, 상기 외부 웨어러블 전자 장치(400)에서 획득된 신호에 기초한 상태 정보를 수신하고, 상기 상태 정보에 적어도 일부 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이(350)를 제어하도록 구성될 수 있다.

다양한 실시예에 따라서, 상기 미리 결정된 조건은, 상기 오디오 데이터가 언어와 관련된 음성을 포함하는 것, 상기 오디오 데이터가 미리 설정된 단어와 관련된 음성을 포함하는 것, 또는, 상기 오디오 데이터가 미리 설정된 크기 이상의 음성을 포함하는 것 중 적어도 하나를 포함할 수 있다.

다양한 실시예에 따라서, 상기 상태 정보는 상기 외부 웨어러블 전자 장치(400)가 사용자에 의하여 착용 중인지 여부를 나타낼 수 있다.

다양한 실시예에 따라서, 상기 상태 정보는 상기 외부 웨어러블 전자 장치(400)의 제1 생체 센서(예: 센서(380))에서 획득한 제1 데이터를 포함하고, 상기 웨어러블 전자 장치(300)는 제2 생체 센서(예: 센서(380))를 포함하고, 상기 프로세서(320)는, 상기 제2 생체 센서를 통하여 제2 데이터를 획득하고, 상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 외부 웨어러블 전자 장치(400)를 착용 중인 상기 사용자가 상기 웨어러블 전자 장치(300)를 착용하고 있다는 것을 확인하고, 상기 외부 웨어러블 전자 장치(400)를 착용 중인 상기 사용자가 상기 웨어러블 전자 장치(300)를 착용하고 있다고 확인되는 것에 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이(350)를 제어하도록 구성될 수 있다.

다양한 실시예에 따라서, 상기 상태 정보는 상기 외부 웨어러블 전자 장치(400)에서 음성이 출력 중인지 여부를 나타내고, 상기 프로세서(320)는, 상기 외부 웨어러블 전자 장치(400)가 상기 사용자에 의하여 착용 중이고, 상기 외부 웨어러블 전자 장치(400)에서 음성이 출력 중이라고 확인되는 것에 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이(350)를 제어하도록 구성될 수 있다.

다양한 실시예에 따라서, 상기 프로세서(320)는, 상기 외부 웨어러블 전자 장치(400)가 상기 사용자에 의하여 착용 중이고, 상기 외부 웨어러블 전자 장치(400)에서 음성이 출력 중이라고 확인되는 것에 기초하여, STT(speech to text) 서비스가 제공 가능하다는 것을 나타내는 시각적 표시자를 표시하도록 상기 디스플레이(350)를 제어하고, 상기 시각적 표시자가 상기 디스플레이(350) 상에 표시되는 동안, 상기 사용자에 관한 반응 조건이 만족되는 것에 응답하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이(350)를 제어하도록 구성될 수 있다.

다양한 실시예에 따라서, 상기 반응 조건은, 미리 설정된 제1 시간 이상 상기 사용자의 시선이 상기 시각적 표시자 위에 있는 것, 상기 사용자에 의한 미리 설정된 발화가 검출되는 것, 또는 상기 사용자에 의한 미리 설정된 제1 제스처가 검출되는 것, 중 적어도 하나를 포함할 수 있다.

다양한 실시예에 따라서, 상기 프로세서(320)는 상기 반응 조건이 만족되기 전의 상기 오디오 데이터에 대응되는 시각 정보를 더 표시하도록 상기 디스플레이(350)를 제어하도록 구성될 수 있다.

다양한 실시예에 따라서, 상기 상태 정보는 상기 외부 웨어러블 전자 장치(400)의 노이즈 캔슬링 기능의 우선순위가 상기 외부 웨어러블 전자 장치(400)의 주변 소리 듣기 기능의 우선순위보다 높다는 것을 나타내고, 상기 프로세서(320)는 상기 외부 웨어러블 전자 장치(400)의 노이즈 캔슬링 기능의 우선순위가 상기 외부 웨어러블 전자 장치(400)의 주변 소리 듣기 기능의 우선순위보다 높다고 확인되는 것에 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이(350)를 제어하도록 구성될 수 있다.

다양한 실시예에 따라서, 상기 상태 정보는 상기 외부 웨어러블 전자 장치(400)에서 획득된 제2 오디오 데이터를 포함할 수 있다.

다양한 실시예에 따라서, 상기 프로세서(320)는, 상기 제2 오디오 데이터에 기초하여 상기 오디오 데이터를 처리함으로써 제3 오디오 데이터를 획득하고, 상기 제3 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이(350)를 제어하도록 구성될 수 있다.

다양한 실시예에 따라서, 상기 프로세서(320)는, 상기 오디오 데이터에 대응하는 음성의 크기에 따라 상기 디스플레이(350) 상에 표시되는 상기 시각 정보의 시각적 특징을 조절하도록 구성될 수 있다.

다양한 실시예에 따라서, 상기 프로세서(320)는, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이(350)를 제어하는 동안, 상기 시각 정보 제공 중지 조건이 만족되는지 확인하고, 상기 시각 정보 제공 중지 조건이 만족됨에 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하지 않도록 상기 디스플레이(350)를 제어하도록 구성되고, 상기 시각 정보 제공 중지 조건은, 상기 사용자의 시선이 상기 디스플레이(350) 상에 표시되는 상기 시각 정보 상에 있지 않은 시간이 미리 설정된 제2 시간 이상 지속되는 것, 상기 사용자에 의한 미리 설정된 제2 제스처가 검출되는 것, 또는 상기 오디오 데이터에 대응되는 상기 시각 정보에 포함되는 문장들의 정확도가 미리 설정된 수준 이하인 것 중 적어도 하나를 포함할 수 있다.

다양한 실시예에 따른 웨어러블 전자 장치(300)는 통신 회로(370)을 통해 외부 전자 장치(예: 스마트폰)와 통신 연결되고, 외부 웨어러블 전자 장치(400)는 통신 모듈(430)을 통해 외부 전자 장치와 통신 연결될 수 있다.

일 실시예에 따르면, 웨어러블 전자 장치(300)는 적어도 하나의 카메라(예: 제1 카메라(111-1, 111-2), 제2 카메라(112-1, 112-2) 및/또는 제3 카메라(113)) 또는 하나 이상의 음성 입력 장치(162-1, 162-2, 162-3)를 통해 수신한 데이터를 통신 회로(370)를 통해 외부 전자 장치에 전송할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(300)는 외부 전자 장치로부터 수신한 데이터에 기반하여 적어도 하나의 디스플레이(예: 제1 디스플레이(151), 제2 디스플레이(152) 또는 디스플레이 모듈(350))를 통해 시각 정보를 출력하거나 또는 적어도 하나의 음성 출력 장치(390)을 통해 음성을 출력할 수 있다.

일 실시예에 따르면, 외부 전자 장치는 웨어러블 전자 장치(300) 및/또는 외부 웨어러블 전자 장치(400)로부터 오디오 데이터를 획득하고, 획득된 오디오 데이터에 기초하여 STT 기능을 제공할 수 있다. 일 실시예에 따르면, 외부 전자 장치는 적어도 하나 이상의 음성 입력 장치를 포함할 수 있다. 외부 전자 장치는 음성 입력 장치를 통하여 외부 이벤트에 대응하는 오디오 데이터를 획득할 수 있다. 외부 이벤트에 대응하는 오디오 데이터가 지정된 조건을 만족하는 경우, 외부 전자 장치는 웨어러블 전자 장치(300) 및/또는 외부 웨어러블 전자 장치(400)에 오디오 데이터 전송을 요청할 수 있다. 외부 전자 장치는 웨어러블 전자 장치(300) 및/또는 외부 웨어러블 전자 장치(400)로부터 오디오 데이터를 획득하고, 획득된 오디오 데이터에 기초하여 STT 기능을 제공할 수 있다.

일 실시예에 따르면, 외부 전자 장치는 웨어러블 전자 장치(300)를 통해 제1 오디오 데이터를 수신하고, 외부 웨어러블 전자 장치(400)를 통해 제2 오디오 데이터를 수신할 수 있다. 일 실시예에 따르면, 외부 전자 장치는 제1 오디오 데이터 및 제2 오디오 데이터에 기반하여 제3 오디오 데이터를 생성하고, 생성된 제3 오디오 데이터에 기반한 시각 정보를 웨어러블 전자 장치(300)에 전송하여 출력하도록 할 수 있다.

일 실시예에 따르면, 외부 전자 장치는 웨어러블 전자 장치(300)를 통해 제3 오디오 데이터에 기반한 시각 정보를 출력하는 중에, 웨어러블 전자 장치(300) 및/또는 외부 웨어러블 전자 장치(400)로부터 사용자의 시선이 외부 이벤트에 대응하는 방향으로 전환됨을 수신할 수 있다. 예를 들어, 웨어러블 전자 장치(300)는 적어도 하나의 카메라(예: 제1 카메라(111-1, 111-2), 제2 카메라(112-1, 112-2) 및/또는 제3 카메라(113)) 및/또는 센서(380)로부터 획득된 데이터를 외부 전자 장치에 전송할 수 있다. 다른 예를 들어 외부 웨어러블 전자 장치(400)는 센서 모듈(450)로부터 획득된 데이터를 외부 전자 장치에 전송할 수 있다.

일 실시예에 따르면, 외부 전자 장치는 웨어러블 전자 장치(300) 및/또는 외부 웨어러블 전자 장치(400)로부터 수신한 데이터에 기반하여 사용자의 시선이 외부 이벤트에 대응하는 방향으로 전환됨을 확인할 수 있다. 일 실시예에 따르면, 외부 전자 장치는 사용자의 시선이 외부 이벤트에 대응하는 방향으로 전환되는 경우, 웨어러블 전자 장치(300)로 디스플레이(350)를 통한 시각 정보 출력의 중단을 요청하고, 외부 웨어러블 전자 장치(400)로 주변 소리 듣기 기능 활성화를 요청할 수 있다.

다양한 실시예에 따른 웨어러블 전자 장치(예: 웨어러블 전자 장치(300))는, 디스플레이(예: 디스플레이(350)), 통신 회로(예: 통신 회로(370)), 음성 입력 장치(예: 음성 입력 장치(362)), 및 상기 디스플레이(350), 상기 통신 회로(370) 및 상기 음성 입력 장치(362))와 작동적으로 연결된 프로세서(예: 프로세서(320))를 포함하고, 상기 프로세서(320)는, 상기 음성 입력 장치(362)를 통하여 외부 이벤트에 대응하는 제1 오디오 데이터를 획득하고, 상기 통신 회로(370)를 통하여 외부 웨어러블 전자 장치(예: 외부 웨어러블 전자 장치(400))로부터 상기 외부 웨어러블 전자 장치(400)에서 획득되고 상기 외부 이벤트에 대응하는 제2 오디오 데이터를 수신하고, 상기 제1 오디오 데이터 및 상기 제2 오디오 데이터에 기초하여, 상기 외부 이벤트에 대응하는 방향을 확인하고, 상기 확인된 방향에 대응하는 동작을 수행하도록 구성될 수 있다.

다양한 실시예에 따라서, 상기 프로세서(320)는, 상기 제1 오디오 데이터가 미리 결정된 제1 조건을 만족하는 것에 기초하여 상기 제2 오디오 데이터를 수신하도록 구성되고, 상기 미리 결정된 조건은, 상기 제1 오디오 데이터가 언어와 관련된 음성을 포함하는 것, 상기 제1 오디오 데이터가 미리 설정된 단어와 관련된 음성을 포함하는 것, 또는, 상기 제1 오디오 데이터가 미리 설정된 크기 이상의 음성을 포함하는 것 중 적어도 하나를 포함할 수 있다.

다양한 실시예에 따라서, 상기 프로세서(320)는, 상기 통신 회로(370)를 통하여 상기 외부 웨어러블 전자 장치(400)로부터 상태 정보를 수신하고, 상기 상태 정보가 상기 외부 웨어러블 전자 장치(400)가 착용 중이고, 음성을 출력 중임을 나타내는 것에 기초하여, 상기 제2 오디오 데이터를 수신하도록 구성될 수 있다.

다양한 실시예에 따라서, 상기 웨어러블 전자 장치(300)는 센서 모듈(예: 센서(380))을 더 포함하고, 상기 프로세서(320)는, 상기 센서 모듈(380)을 통하여 상기 웨어러블 전자 장치(300)의 사용자의 시선 방향을 확인하고, 상기 외부 이벤트에 대응하는 방향이 상기 사용자의 시선 방향과 일치하는지 여부를 확인하고, 상기 외부 이벤트에 대응하는 방향이 상기 사용자의 시선 방향과 일치하는 것에 기초하여, 상기 통신 회로(370)를 통하여, 상기 외부 웨어러블 전자 장치(400)에 주변 소리 듣기 기능을 활성화할 것을 지시하는 신호를 송신하도록 구성될 수 있다.

다양한 실시예에 따라서, 상기 프로세서(320)는, 상기 외부 이벤트에 대응하는 방향이 상기 사용자의 시선 방향과 일치하지 않는 것에 기초하여, 상기 제1 오디오 데이터 또는 상기 제2 오디오 데이터 중 적어도 하나에 기초하여, 상기 외부 이벤트에 대응하는 시각 정보를 표시하도록 상기 디스플레이(350)를 제어하도록 구성될 수 있다.

다양한 실시예에 따라서, 상기 프로세서(320)는, 상기 시각 정보가 상기 디스플레이(350) 상에 표시되는 중, 상기 센서 모듈을 통하여 상기 사용자의 제2 시선 방향을 확인하고, 상기 외부 이벤트에 대응하는 방향이 상기 제2 시선 방향과 일치하는 것을 확인하고, 상기 외부 이벤트에 대응하는 방향이 상기 제2 시선 방향과 일치하는 것에 기초하여, 상기 외부 이벤트에 대응하는 상기 시각 정보의 표시를 중단하도록 상기 디스플레이(350)를 제어하고, 상기 통신 회로(370)를 통하여, 상기 외부 웨어러블 전자 장치(400)에 주변 소리 듣기 기능을 활성화할 것을 지시하는 신호를 송신하도록 구성될 수 있다.

다양한 실시예에 따라서, 웨어러블 전자 장치(예: 웨어러블 전자 장치(300))에서 수행되는 방법은, 오디오 데이터를 획득하는 동작, 상기 오디오 데이터가 미리 결정된 조건을 만족하는 것을 확인하는 동작, 외부 웨어러블 전자 장치(예: 외부 웨어러블 전자 장치(400))로부터, 상기 외부 웨어러블 전자 장치(400)에서 획득된 신호에 기초한 상태 정보를 수신하는 동작, 및 상기 상태 정보에 적어도 일부 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하는 동작을 포함할 수 있다.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.

본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.

본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(301)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(336) 또는 외장 메모리(338))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(340))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(301))의 프로세서(예: 프로세서(320))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims

웨어러블 전자 장치에 있어서,
디스플레이,
통신 회로,
음성 입력 장치, 및
상기 디스플레이, 상기 통신 회로 및 상기 음성 입력 장치와 작동적으로 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 음성 입력 장치를 통하여 오디오 데이터를 획득하고,
상기 오디오 데이터가 미리 결정된 조건을 만족하는 것을 확인하고,
상기 통신 회로를 통하여 외부 웨어러블 전자 장치로부터, 상기 외부 웨어러블 전자 장치에서 획득된 신호에 기초한 상태 정보를 수신하고,
상기 상태 정보에 적어도 일부 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이를 제어하도록 구성되는, 웨어러블 전자 장치.
제1항에 있어서,
상기 미리 결정된 조건은,
상기 오디오 데이터가 언어와 관련된 음성을 포함하는 것, 상기 오디오 데이터가 미리 설정된 단어와 관련된 음성을 포함하는 것, 또는, 상기 오디오 데이터가 미리 설정된 크기 이상의 음성을 포함하는 것 중 적어도 하나를 포함하는, 웨어러블 전자 장치.
제1항에 있어서,
상기 상태 정보는 상기 외부 웨어러블 전자 장치가 사용자에 의하여 착용 중인지 여부를 나타내는, 웨어러블 전자 장치.
제3항에 있어서,
상기 상태 정보는 상기 외부 웨어러블 전자 장치의 제1 생체 센서에서 획득한 제1 데이터를 포함하고,
상기 웨어러블 전자 장치는 제2 생체 센서를 포함하고,
상기 프로세서는,
상기 제2 생체 센서를 통하여 제2 데이터를 획득하고,
상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 외부 웨어러블 전자 장치를 착용 중인 상기 사용자가 상기 웨어러블 전자 장치를 착용하고 있다는 것을 확인하고,
상기 외부 웨어러블 전자 장치를 착용 중인 상기 사용자가 상기 웨어러블 전자 장치를 착용하고 있다고 확인되는 것에 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이를 제어하도록 구성되는, 웨어러블 전자 장치.
제3항에 있어서,
상기 상태 정보는 상기 외부 웨어러블 전자 장치에서 음성이 출력 중인지 여부를 나타내고,
상기 프로세서는,
상기 외부 웨어러블 전자 장치가 상기 사용자에 의하여 착용 중이고, 상기 외부 웨어러블 전자 장치에서 음성이 출력 중이라고 확인되는 것에 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이를 제어하도록 구성되는, 웨어러블 전자 장치.
제5항에 있어서,
상기 프로세서는,
상기 외부 웨어러블 전자 장치가 상기 사용자에 의하여 착용 중이고, 상기 외부 웨어러블 전자 장치에서 음성이 출력 중이라고 확인되는 것에 기초하여, STT(speech to text) 서비스가 제공 가능하다는 것을 나타내는 시각적 표시자를 표시하도록 상기 디스플레이를 제어하고,
상기 시각적 표시자가 상기 디스플레이 상에 표시되는 동안, 상기 사용자에 관한 반응 조건이 만족되는 것에 응답하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이를 제어하도록 구성되는, 웨어러블 전자 장치.
제6항에 있어서,
상기 반응 조건은,
미리 설정된 제1 시간 이상 상기 사용자의 시선이 상기 시각적 표시자 위에 있는 것,
상기 사용자에 의한 미리 설정된 발화가 검출되는 것, 또는
상기 사용자에 의한 미리 설정된 제1 제스처가 검출되는 것,
중 적어도 하나를 포함하는, 웨어러블 전자 장치.
제6항에 있어서,
상기 프로세서는 상기 반응 조건이 만족되기 전의 상기 오디오 데이터에 대응되는 시각 정보를 더 표시하도록 상기 디스플레이를 제어하도록 구성되는, 웨어러블 전자 장치.
제1항에 있어서,
상기 상태 정보는 상기 외부 웨어러블 전자 장치의 노이즈 캔슬링 기능의 우선순위가 상기 외부 웨어러블 전자 장치의 주변 소리 듣기 기능의 우선순위보다 높다는 것을 나타내고,
상기 프로세서는 상기 외부 웨어러블 전자 장치의 노이즈 캔슬링 기능의 우선순위가 상기 외부 웨어러블 전자 장치의 주변 소리 듣기 기능의 우선순위보다 높다고 확인되는 것에 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이를 제어하도록 구성되는, 웨어러블 전자 장치.
제1항에 있어서,
상기 상태 정보는 상기 외부 웨어러블 전자 장치에서 획득된 제2 오디오 데이터를 포함하는, 웨어러블 전자 장치.
제10항에 있어서,
상기 프로세서는,
상기 제2 오디오 데이터에 기초하여 상기 오디오 데이터를 처리함으로써 제3 오디오 데이터를 획득하고,
상기 제3 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이를 제어하도록 구성되는, 웨어러블 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 오디오 데이터에 대응하는 음성의 크기에 따라 상기 디스플레이 상에 표시되는 상기 시각 정보의 시각적 특징을 조절하도록 구성되는, 웨어러블 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 오디오 데이터에 대응되는 시각 정보를 표시하도록 상기 디스플레이를 제어하는 동안, 상기 시각 정보 제공 중지 조건이 만족되는지 확인하고,
상기 시각 정보 제공 중지 조건이 만족됨에 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하지 않도록 상기 디스플레이를 제어하도록 구성되고,
상기 시각 정보 제공 중지 조건은,
상기 사용자의 시선이 상기 디스플레이 상에 표시되는 상기 시각 정보 상에 있지 않은 시간이 미리 설정된 제2 시간 이상 지속되는 것,
상기 사용자에 의한 미리 설정된 제2 제스처가 검출되는 것, 또는
상기 오디오 데이터에 대응되는 상기 시각 정보에 포함되는 문장들의 정확도가 미리 설정된 수준 이하인 것
중 적어도 하나를 포함하는, 웨어러블 전자 장치.
웨어러블 전자 장치에 있어서,
디스플레이,
통신 회로,
음성 입력 장치, 및
상기 디스플레이, 상기 통신 회로 및 상기 음성 입력 장치와 작동적으로 연결된 프로세서를 포함하고,
상기 프로세서는,
상기 음성 입력 장치를 통하여 외부 이벤트에 대응하는 제1 오디오 데이터를 획득하고,
상기 통신 회로를 통하여 외부 웨어러블 전자 장치로부터 상기 외부 웨어러블 전자 장치에서 획득되고 상기 외부 이벤트에 대응하는 제2 오디오 데이터를 수신하고,
상기 제1 오디오 데이터 및 상기 제2 오디오 데이터에 기초하여, 상기 외부 이벤트에 대응하는 방향을 확인하고,
상기 확인된 방향에 대응하는 동작을 수행하도록 구성되는, 웨어러블 전자 장치.
제14항에 있어서,
상기 프로세서는,
상기 제1 오디오 데이터가 미리 결정된 제1 조건을 만족하는 것에 기초하여 상기 제2 오디오 데이터를 수신하도록 구성되고,
상기 미리 결정된 조건은,
상기 제1 오디오 데이터가 언어와 관련된 음성을 포함하는 것, 상기 제1 오디오 데이터가 미리 설정된 단어와 관련된 음성을 포함하는 것, 또는, 상기 제1 오디오 데이터가 미리 설정된 크기 이상의 음성을 포함하는 것 중 적어도 하나를 포함하는, 웨어러블 전자 장치.
제14항에 있어서,
상기 프로세서는,
상기 통신 회로를 통하여 상기 외부 웨어러블 전자 장치로부터 상태 정보를 수신하고,
상기 상태 정보가 상기 외부 웨어러블 전자 장치가 착용 중이고, 음성을 출력 중임을 나타내는 것에 기초하여, 상기 제2 오디오 데이터를 수신하도록 구성되는, 웨어러블 전자 장치.
제14항에 있어서,
상기 웨어러블 전자 장치는 센서 모듈을 더 포함하고,
상기 프로세서는,
상기 센서 모듈을 통하여 상기 웨어러블 전자 장치의 사용자의 시선 방향을 확인하고,
상기 외부 이벤트에 대응하는 방향이 상기 사용자의 시선 방향과 일치하는지 여부를 확인하고,
상기 외부 이벤트에 대응하는 방향이 상기 사용자의 시선 방향과 일치하는 것에 기초하여, 상기 통신 회로를 통하여, 상기 외부 웨어러블 전자 장치에 주변 소리 듣기 기능을 활성화할 것을 지시하는 신호를 송신하도록 구성되는, 웨어러블 전자 장치.
제17항에 있어서,
상기 프로세서는,
상기 외부 이벤트에 대응하는 방향이 상기 사용자의 시선 방향과 일치하지 않는 것에 기초하여, 상기 제1 오디오 데이터 또는 상기 제2 오디오 데이터 중 적어도 하나에 기초하여, 상기 외부 이벤트에 대응하는 시각 정보를 표시하도록 상기 디스플레이를 제어하도록 구성되는, 웨어러블 전자 장치.
제18항에 있어서,
상기 프로세서는,
상기 시각 정보가 상기 디스플레이 상에 표시되는 중, 상기 센서 모듈을 통하여 상기 사용자의 제2 시선 방향을 확인하고,
상기 외부 이벤트에 대응하는 방향이 상기 제2 시선 방향과 일치하는 것을 확인하고,
상기 외부 이벤트에 대응하는 방향이 상기 제2 시선 방향과 일치하는 것에 기초하여, 상기 외부 이벤트에 대응하는 상기 시각 정보의 표시를 중단하도록 상기 디스플레이를 제어하고, 상기 통신 회로를 통하여, 상기 외부 웨어러블 전자 장치에 주변 소리 듣기 기능을 활성화할 것을 지시하는 신호를 송신하도록 구성되는, 웨어러블 전자 장치.
웨어러블 전자 장치에서 수행되는 방법에 있어서,
오디오 데이터를 획득하는 동작,
상기 오디오 데이터가 미리 결정된 조건을 만족하는 것을 확인하는 동작,
외부 웨어러블 전자 장치로부터, 상기 외부 웨어러블 전자 장치에서 획득된 신호에 기초한 상태 정보를 수신하는 동작, 및
상기 상태 정보에 적어도 일부 기초하여, 상기 오디오 데이터에 대응되는 시각 정보를 표시하는 동작을 포함하는 방법.