KR20220003197A

KR20220003197A - Electronic apparatus and method for controlling thereof

Info

Publication number: KR20220003197A
Application number: KR1020200080732A
Authority: KR
Inventors: 황성준; 김의준; 김대웅; 이영아
Original assignee: 삼성전자주식회사
Priority date: 2020-07-01
Filing date: 2020-07-01
Publication date: 2022-01-10
Also published as: WO2022005016A1

Abstract

Disclosed is an electronic apparatus which outputs an audio corresponding to a state of a user. According to the present invention, the electronic apparatus comprises: a display; a speaker; a communication interface including at least one circuit; and a processor. The processor controls the display to display a first image, acquires information associated with a user state from an external apparatus through the communication interface while the first image is displayed, generates an audio corresponding to the user state based on the information associated with the user state, generates a second image corresponding to the generated audio, controls the display to display the second image by changing the first image to the second image, and controls the speaker to output the generated audio.

Description

ELECTRONIC APPARATUS AND METHOD FOR CONTROLLING THEREOF

본 개시는 전자 장치 및 그 제어 방법으로, 보다 상세하게는, 사용자 상태에 따라 다양한 사운드를 제공하는 전자 장치 및 그 제어 방법에 관한 것이다.The present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device that provides various sounds according to a user state, and a control method thereof.

근래에는 다양한 전자 제품이 사운드를 제공하고 있으며, 일반적으로는, 미리 녹음된 음원 파일을 재생하여 사운드를 제공한다. 한편, 최근에는 사용자 혹은 주변 상황에 맞는 맞춤형 서비스에 대한 사용자 니즈가 증가하고 있다. 다만, 종래의 전자 제품은 미리 녹음된 음악을 재생하므로 사용자의 상태를 실시간으로 고려한 맞춤형 서비스를 제공하기 어려우며, 다양한 사운드를 제공하기 위해서는 다수의 음원 파일이 필요하므로 이에 따라 리소스 소비가 크다는 문제가 있다.Recently, various electronic products provide sound, and in general, sound is provided by playing a pre-recorded sound source file. Meanwhile, in recent years, user needs for customized services tailored to users or their surroundings are increasing. However, since conventional electronic products play pre-recorded music, it is difficult to provide a customized service that considers the user's condition in real time. .

이에 따라, 사용자의 현재 상태를 고려하여 사운드를 제공하며, 사용자의 청각적 경험을 극대화하기 위한 기술에 대한 필요성이 대두된다.Accordingly, there is a need for a technology for providing sound in consideration of the user's current state and maximizing the user's auditory experience.

본 발명이 해결하고자 하는 일 기술적 과제는, 사용자의 상태에 대응되는 오디오를 출력하는 전자 장치를 제공하는 것이다.One technical problem to be solved by the present invention is to provide an electronic device that outputs audio corresponding to a user's state.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 일 실시 예에 따르면, 전자 장치에 있어서, 디스플레이; 스피커; 적어도 하나의 회로를 포함하는 통신 인터페이스; 및 프로세서;를 포함하고, 상기 프로세서는, 제1 영상을 디스플레이하도록 상기 디스플레이를 제어하고, 상기 제1 영상이 디스플레이되는 동안 상기 통신 인터페이스를 통해 외부 장치로부터 사용자 상태와 관련된 정보를 획득하고, 상기 사용자 상태와 관련된 정보를 바탕으로 상기 사용자 상태에 대응되는 오디오를 생성하고, 상기 생성된 오디오에 대응되는 제2 영상을 생성하고, 상기 제1 영상을 상기 제2 영상으로 변경하여 디스플레이하도록 상기 디스플레이를 제어하고, 상기 생성된 오디오를 출력하도록 상기 스피커를 제어하는 전자 장치가 제공될 수 있다.According to an exemplary embodiment of the present disclosure for solving the above technical problem, an electronic device includes: a display; speaker; a communication interface comprising at least one circuit; and a processor, wherein the processor controls the display to display a first image, obtains information related to a user state from an external device through the communication interface while the first image is displayed, and the user Controls the display to generate audio corresponding to the user state based on the state-related information, generate a second image corresponding to the generated audio, and change the first image to the second image and display it and an electronic device for controlling the speaker to output the generated audio.

상술한 기술적 과제를 해결하기 위한 본 개시의 예시적인 다른 일 실시 예에 따르면, 전자 장치의 제어 방법에 있어서, 제1 영상을 디스플레이하는 단계; 상기 제1 영상이 디스플레이되는 동안 외부 장치로부터 사용자 상태와 관련된 정보를 획득하는 단계; 상기 사용자 상태와 관련된 정보를 바탕으로 상기 사용자 상태에 대응되는 오디오를 생성하고, 상기 생성된 오디오에 대응되는 제2 영상을 생성하는 단계; 및 상기 제1 영상을 상기 제2 영상으로 변경하여 디스플레이하고, 상기 생성된 오디오를 출력하는 단계;를 포함하는 제어 방법이 제공될 수 있다.According to another exemplary embodiment of the present disclosure for solving the above-described technical problem, there is provided a method of controlling an electronic device, the method comprising: displaying a first image; acquiring information related to a user state from an external device while the first image is displayed; generating an audio corresponding to the user state based on the information related to the user state, and generating a second image corresponding to the generated audio; and changing the first image to the second image, displaying the changed image, and outputting the generated audio.

본 개시의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The solutions of the problems of the present disclosure are not limited to the above-described solutions, and solutions that are not mentioned will be clearly understood by those of ordinary skill in the art to which the present disclosure belongs from the present specification and the accompanying drawings. will be able

이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 사용자 상태에 대응되는 오디오를 제공함으로써, 사용자에게 다양한 청각적 경험을 제공할 수 있다. 이에 따라, 사용자의 만족도가 향상될 수 있다.According to various embodiments of the present disclosure as described above, the electronic device may provide various auditory experiences to the user by providing audio corresponding to the user state. Accordingly, user satisfaction may be improved.

그 외에 본 개시의 실시 예로 인하여 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 예컨대, 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.In addition, the effects obtainable or predicted by the embodiments of the present disclosure are to be disclosed directly or implicitly in the detailed description of the embodiments of the present disclosure. For example, various effects predicted according to embodiments of the present disclosure will be disclosed in the detailed description to be described later.

도 1은 본 개시의 일 실시 예에 따른 영상 및 오디오를 제공하는 전자 장치의 기본 컨셉을 도시한 것이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 3a는 본 개시의 일 실시 예에 따른 오디오 생성 방법을 설명하기 위한 도면이다.
도 3b는 본 개시의 다른 일 실시 예에 따른 오디오 생성 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 사운드 특성에 따라 정의되는 오디오 유형을 도시한 테이블이다.
도 5a는 본 개시의 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다.
도 5b는 본 개시의 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다.
도 5c는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다.
도 6a는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다.
도 6b는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 도시한 순서도이다.
도 8a는 본 개시의 일 실시 예에 따른 오디오 제공 시스템의 동작을 설명하기 위한 도면이다.
도 8b는 본 개시의 다른 일 실시 예에 따른 오디오 제공 시스템의 동작을 설명하기 위한 도면이다.
도 8c는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 시스템의 동작을 설명하기 위한 도면이다.1 illustrates a basic concept of an electronic device that provides images and audio according to an embodiment of the present disclosure.
2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure.
3A is a diagram for describing an audio generation method according to an embodiment of the present disclosure.
3B is a diagram for describing an audio generation method according to another embodiment of the present disclosure.
4 is a table illustrating audio types defined according to sound characteristics according to an embodiment of the present disclosure.
5A is a diagram for describing an audio providing method according to an embodiment of the present disclosure.
5B is a diagram for explaining an audio providing method according to another embodiment of the present disclosure.
5C is a diagram for explaining an audio providing method according to another embodiment of the present disclosure.
6A is a diagram for describing an audio providing method according to another embodiment of the present disclosure.
6B is a diagram for explaining an audio providing method according to another embodiment of the present disclosure.
7 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
8A is a diagram for explaining an operation of an audio providing system according to an embodiment of the present disclosure.
8B is a diagram for explaining an operation of an audio providing system according to another embodiment of the present disclosure.
8C is a diagram for explaining an operation of an audio providing system according to another embodiment of the present disclosure.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　Terms used in this specification will be briefly described, and the present disclosure will be described in detail.

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.Terms used in the embodiments of the present disclosure are selected as currently widely used general terms as possible while considering the functions in the present disclosure, which may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, etc. . In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding disclosure. Therefore, the terms used in the present disclosure should be defined based on the meaning of the term and the contents of the present disclosure, rather than the simple name of the term.

본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Embodiments of the present disclosure may be subjected to various transformations and may have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope of the specific embodiments, and it should be understood to include all transformations, equivalents and substitutes included in the disclosed spirit and scope. In describing the embodiments, if it is determined that a detailed description of a related known technology may obscure the subject matter, the detailed description thereof will be omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as "comprises" or "consisting of" are intended to designate that the features, numbers, steps, operations, components, parts, or combinations thereof described in the specification exist, but one or more other It should be understood that this does not preclude the possibility of addition or presence of features or numbers, steps, operations, components, parts, or combinations thereof.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art to which the present disclosure pertains can easily implement them. However, the present disclosure may be implemented in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present disclosure in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

도 1은 본 개시의 일 실시 예에 따른 영상 및 오디오를 제공하는 전자 장치의 기본 컨셉을 도시한 것이다.1 illustrates a basic concept of an electronic device that provides images and audio according to an embodiment of the present disclosure.

전자 장치(100)는 제1 영상(11)을 디스플레이할 수 있다. 전자 장치(100)는 제1 영상(11)에 대응되는 제1 오디오(21)를 출력할 수 있다. 이 때, 전자 장치(100)는 외부 장치(200)로부터 사용자 상태와 관련된 정보를 획득할 수 있다. 여기서, 사용자 상태와 관련된 정보는 사용자의 생체 정보(예로, 심박수, 뇌파, 심전도, 근전도), 움직임 정보 및 사용자에 대한 컨텍스트 정보 중 적어도 하나를 포함할 수 있다. 또한, 외부 장치(200)는 웨어러블 장치(wearable device)일 수 있다. 예로, 전자 장치(100)는 사용자가 착용중인 외부 장치(200)로부터 사용자의 심박수 정보를 획득할 수 있다.The electronic device 100 may display the first image 11 . The electronic device 100 may output the first audio 21 corresponding to the first image 11 . In this case, the electronic device 100 may obtain information related to the user state from the external device 200 . Here, the information related to the user state may include at least one of user's biometric information (eg, heart rate, brain wave, electrocardiogram, and electromyography), motion information, and context information about the user. Also, the external device 200 may be a wearable device. For example, the electronic device 100 may obtain heart rate information of the user from the external device 200 worn by the user.

전자 장치(100)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태에 대응되는 제2 오디오(22)를 생성할 수 있다. 예로, 전자 장치(100)는 사용자의 심박수 정보를 바탕으로 사용자가 수면 상태임을 식별하고, 수면 상태에 대응되는 제2 오디오(22)를 생성할 수 있다. 구체적으로, 전자 장치(100)는 오디오의 다양한 특성을 고려하여 제2 오디오(22)를 생성할 수 있다. 여기서, 오디오의 특성은 템포(tempo), 멜로디(melody), 하모니(harmony), 코드(chord), 리듬(rhythm), 키(key), 주파수를 포함할 수 있다. 예로, 전자 장치(100)는 제1 오디오(21)에 비해 템포가 작은 제2 오디오(22)를 생성할 수 있다. 한편, 이상에서는 전자 장치(100)가 외부 장치(200)로부터 수신된 사용자 상태와 관련된 정보를 바탕으로 사용자 상태를 식별하는 것으로 설명하였으나, 전자 장치(100)는 외부 장치(200)로부터 사용자의 상태 정보(즉, 사용자가 수면중이라는 정보)를 수신하고, 사용자의 상태 정보를 바탕으로 제2 오디오(22)를 생성할 수도 있다.The electronic device 100 may generate the second audio 22 corresponding to the user state based on information related to the user state. For example, the electronic device 100 may identify that the user is in a sleep state based on the user's heart rate information, and may generate the second audio 22 corresponding to the sleep state. Specifically, the electronic device 100 may generate the second audio 22 in consideration of various characteristics of the audio. Here, the audio characteristics may include tempo, melody, harmony, chord, rhythm, key, and frequency. For example, the electronic device 100 may generate the second audio 22 having a lower tempo than the first audio 21 . Meanwhile, in the above description, the electronic device 100 identifies the user status based on the information related to the user status received from the external device 200 , but the electronic device 100 receives the user status from the external device 200 . Information (ie, information indicating that the user is sleeping) may be received, and the second audio 22 may be generated based on the state information of the user.

그리고, 전자 장치(100)는 생성된 제2 오디오(22)에 대응되는 제2 영상(12)을 생성할 수 있다. 예로, 제1 영상(11)이 파도가 치는 바다의 모습을 나타내는 영상인 경우, 제2 오디오(22)의 템포가 제1 오디오(21)의 템포보다 작으면, 전자 장치(100)는 제1 영상(11)보다 파도의 크기가 줄어든 제2 영상(12)을 생성할 수 있다. 이와 같이, 전자 장치(100)는 제1 영상(11)에 포함된 UI 엘리먼트(즉, 파도)를 특성(예로, 크기, 길이, 높이, 색상, 효과 등)을 변경하여 제2 영상(12)을 생성할 수 있다.In addition, the electronic device 100 may generate the second image 12 corresponding to the generated second audio 22 . For example, when the first image 11 is an image representing the appearance of the sea where waves strike, if the tempo of the second audio 22 is smaller than the tempo of the first audio 21 , the electronic device 100 performs the first The second image 12 having a smaller wave size than the image 11 may be generated. As such, the electronic device 100 changes the characteristics (eg, size, length, height, color, effect, etc.) of the UI element (ie, wave) included in the first image 11 to obtain the second image 12 . can create

전자 장치(100)는 제1 영상(11)을 제2 영상(12)으로 변경하여 디스플레이할 수 있다. 또한, 전자 장치(100)는 제1 오디오(21)를 제2 오디오(22)로 변경하여 출력할 수 있다. 이에 따라, 전자 장치(100)는 사용자의 현재 상태에 대응되는 영상 및 오디오를 제공할 수 있다.The electronic device 100 may change the first image 11 into the second image 12 and display it. Also, the electronic device 100 may change the first audio 21 to the second audio 22 and output it. Accordingly, the electronic device 100 may provide an image and audio corresponding to the user's current state.

한편, 도 1에서는 제1 영상(11) 및 제2 영상(12)의 컨텐츠가 동일하되, 제1 영상(11) 및 제2 영상(12) 각각에 포함된 UI 엘리먼트가 상이한 것을 예로 들었으나, 이에 한정되는 것은 아니며, 제1 영상(11) 및 제2 영상(12)의 컨텐츠가 상이할 수도 있다.Meanwhile, in FIG. 1 , the content of the first image 11 and the second image 12 is the same, but UI elements included in each of the first image 11 and the second image 12 are different. The present invention is not limited thereto, and contents of the first image 11 and the second image 12 may be different.

한편, 전자 장치(100)는 디지털 TV 또는 모니터 등으로 구현될 수 있으나, 그 종류에 특별한 제한이 있는 것은 아니다. 예로, 전자 장치(100)는 스피커 장치로 구현될 수도 있다. 또한, 외부 장치(200)는 웨어러블 장치, 스마트 폰 또는 태플릿 PC 등으로 구현될 수 있으나, 그 종류에 특별한 제한이 있는 것은 아니다.Meanwhile, the electronic device 100 may be implemented as a digital TV or monitor, but there is no particular limitation on the type thereof. For example, the electronic device 100 may be implemented as a speaker device. Also, the external device 200 may be implemented as a wearable device, a smart phone, or a tablet PC, but there is no particular limitation on the type thereof.

도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다. 도 2를 참조하면, 전자 장치(100)는 통신 인터페이스(110), 디스플레이(120), 스피커(130), 메모리(140), 카메라(150), 마이크(160) 및 프로세서(170)를 포함할 수 있다. 이하에서는 각 구성에 대하여 설명하도록 한다.2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure. Referring to FIG. 2 , the electronic device 100 may include a communication interface 110 , a display 120 , a speaker 130 , a memory 140 , a camera 150 , a microphone 160 , and a processor 170 . can Hereinafter, each configuration will be described.

통신 인터페이스(110)는 외부 장치(200) 또는 서버 장치와의 통신을 수행하기 위한 구성이다. 통신 인터페이스(110)는 적어도 하나의 회로를 포함하며 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신 인터페이스(110)는 와이파이(Wi-Fi)칩, 블루투스 칩을 포함할 수 있다. 전자 장치(100)는 통신 인터페이스(110)를 통해 외부 장치(200)로부터 사용자 상태와 관련된 정보를 획득할 수 있다.The communication interface 110 is a configuration for performing communication with the external device 200 or the server device. The communication interface 110 includes at least one circuit and may communicate with various types of external devices according to various types of communication methods. The communication interface 110 may include a Wi-Fi chip and a Bluetooth chip. The electronic device 100 may obtain information related to a user state from the external device 200 through the communication interface 110 .

디스플레이(120)는 영상을 출력할 수 있다. 구체적으로, 디스플레이(120)는 프로세서(170)의 제어에 의하여 메모리(140)에 기 저장된 영상을 출력할 수 있다. 또한, 디스플레이(120)는 UI 엘리먼트를 출력할 수 있다. 디스플레이(120)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으며, 또한 디스플레이(120)는 플렉서블 디스플레이, 투명 디스플레이 등으로 구현될 수 있다. 다만, 본 개시에 따른 디스플레이(120)가 특정한 종류에 한정되는 것은 아니다.The display 120 may output an image. Specifically, the display 120 may output an image pre-stored in the memory 140 under the control of the processor 170 . Also, the display 120 may output a UI element. The display 120 may be implemented as a liquid crystal display panel (LCD), organic light emitting diodes (OLED), or the like, and the display 120 may be implemented as a flexible display, a transparent display, or the like. However, the display 120 according to the present disclosure is not limited to a specific type.

스피커(130)는 오디오를 출력할 수 있다. 특히, 스피커(130)는 프로세서(170)에 의해 생성된 오디오를 출력할 수 있다. 또한, 스피커(130)는 통신 인터페이스(110)를 통해 서버 장치로부터 수선되는 오디오를 출력할 수 있다.The speaker 130 may output audio. In particular, the speaker 130 may output audio generated by the processor 170 . Also, the speaker 130 may output audio repaired from the server device through the communication interface 110 .

메모리(140)는 오디오 데이터를 저장할 수 있다. 특히, 메모리(140)는 미디(MIDI: Musical Instrument Digital Interface) 데이터 및 오디오 클립(audio clip)을 포함할 수 있다. 오디오 클립은 사운드폰트(soundfont) 포맷으로 메모리(140)에 저장될 수 있다.The memory 140 may store audio data. In particular, the memory 140 may include Musical Instrument Digital Interface (MIDI) data and an audio clip. The audio clip may be stored in the memory 140 in a soundfont format.

메모리(140)는 전자 장치(100)에 관한 적어도 하나의 명령이 저장할 수 있다. 특히, 본 개시에 따른 다양한 실시 예에 있어서, 메모리(140)는 오디오 생성을 위한 신경망 모델(Neural Network Model)을 저장할 수 있다. 그리고, 메모리(140)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(140)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(140)는 플래시 메모리 (Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.The memory 140 may store at least one command related to the electronic device 100 . In particular, according to various embodiments of the present disclosure, the memory 140 may store a neural network model for audio generation. In addition, an operating system (O/S) for driving the electronic device 100 may be stored in the memory 140 . In addition, various software programs or applications for operating the electronic device 100 according to various embodiments of the present disclosure may be stored in the memory 140 . In addition, the memory 140 may include a semiconductor memory such as a flash memory or a magnetic storage medium such as a hard disk.

메모리(140)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다. 이를 위해 메모리(140)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등으로 구현될 수 있다. 메모리(140)는 오브젝트를 인식 또는 식별하기 위한 신경망 모델을 저장할 수 있다. 특히, 신경망 모델은 기존의 범용 프로세서(예를 들어, CPU) 또는 별도의 AI 전용 프로세서(예를 들어, GPU, NPU 등)에 의해 실행될 수 있다. 예로, 메모리(140)는 사용자 상태와 관련된 정보를 바탕으로 시퀀스를 생성하도록 학습된 신경망 모델을 저장할 수 있다. 여기서, 시퀀스(sequence)란, 오디오를 구성하는 단위 별로 음계, 길이, 시간 등의 정보를 기록한 데이터 셋(data set)을 의미한다.The memory 140 may store an operating system (OS) for controlling overall operations of the components of the electronic device 100 and commands or data related to the components of the electronic device 100 . To this end, the memory 140 may be implemented as a non-volatile memory (eg, a hard disk, a solid state drive (SSD), a flash memory), a volatile memory, or the like. The memory 140 may store a neural network model for recognizing or identifying an object. In particular, the neural network model may be executed by an existing general-purpose processor (eg, CPU) or a separate AI-only processor (eg, GPU, NPU, etc.). For example, the memory 140 may store a neural network model trained to generate a sequence based on information related to a user state. Here, the sequence means a data set in which information such as a scale, length, and time is recorded for each unit constituting audio.

한편, 본 개시에서 메모리(140)라는 용어는 메모리(140), 프로세서(170) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.Meanwhile, in the present disclosure, the term memory 140 refers to the memory 140 , a ROM (not shown) in the processor 170 , a RAM (not shown), or a memory card (not shown) mounted in the electronic device 100 (eg, For example, it may be used in the meaning of including a micro SD card, a memory stick).

카메라(150)는 사용자를 촬영하기 위한 구성이다. 프로세서(170)는 카메라(150)를 통해 획득된 사용자를 촬상한 영상을 바탕으로 사용자 상태와 관련된 정보를 획득할 수 있다.The camera 150 is configured to photograph a user. The processor 170 may acquire information related to a user state based on an image captured by the user acquired through the camera 150 .

마이크(160)는 사용자 음성을 획득하기 위한 구성이다. 프로세서(170)는 마이크(160)를 통해 획득된 사용자 음성을 바탕으로 사용자 상태와 관련된 정보를 획득할 수 있다.The microphone 160 is configured to acquire a user's voice. The processor 170 may acquire information related to the user's state based on the user's voice acquired through the microphone 160 .

프로세서(170)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(170)는 상술한 바와 같은 통신 인터페이스(110), 디스플레이(120) 및 스피커(130)를 포함하는 전자 장치(100)의 구성과 연결되며, 메모리(140)에 저장된 적어도 하나의 명령을 실행하여 전자 장치(100)의 동작을 전반적으로 제어할 수 있다.The processor 170 controls the overall operation of the electronic device 100 . Specifically, the processor 170 is connected to the configuration of the electronic device 100 including the communication interface 110 , the display 120 and the speaker 130 as described above, and at least one stored in the memory 140 . By executing a command, the overall operation of the electronic device 100 may be controlled.

프로세서(170)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(170)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(170)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Main Processing Unit)등을 포함하는 의미로 사용될 수 있다.The processor 170 may be implemented in various ways. For example, the processor 170 may include an Application Specific Integrated Circuit (ASIC), an embedded processor, a microprocessor, hardware control logic, a hardware finite state machine (FSM), or a digital signal processor (Digital Signal). Processor, DSP). Meanwhile, in the present disclosure, the term processor 170 may be used to include a central processing unit (CPU), a graphic processing unit (GPU), a main processing unit (MPU), and the like.

이하에서는 프로세서(170)에 의한 본 개시의 다양한 실시 예에 따른 전자 장치(100)의 동작에 대해 설명한다.Hereinafter, an operation of the electronic device 100 according to various embodiments of the present disclosure by the processor 170 will be described.

프로세서(170)는 제1 영상을 디스플레이하도록 디스플레이(120)를 제어할 수 있다.The processor 170 may control the display 120 to display the first image.

프로세서(170)는 제1 영상이 디스플레이되는 동안 통신 인터페이스(110)를 통해 외부 장치로부터 사용자 상태와 관련된 정보를 획득할 수 있다.The processor 170 may obtain information related to a user state from an external device through the communication interface 110 while the first image is displayed.

프로세서(170)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태에 대응되는 오디오를 생성할 수 있다. 구체적으로, 프로세서(170)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태를 식별하고, 식별된 사용자 상태에 대응되는 오디오를 생성할 수 있다. 이 때, 프로세서(170)는 사용자 상태와 관련된 정보를 바탕으로 오디오의 유형을 결정하고, 결정된 유형에 대응되는 오디오를 생성할 수 있다. 여기서, 오디오의 유형은 템포, 멜로디, 하모니, 코드 및 리듬 중 적어도 하나를 포함하는 오디오의 특성을 바탕으로 정의될 수 있다. 또한, 사용자 상태와 관련된 정보는 제1 상태 정보 및 제2 상태 정보를 포함할 수 있다. 이 때, 프로세서(170)는 제1 상태 정보를 바탕으로 오디오의 제1 특성(예로, 템포)를 결정하고, 제2 상태 정보를 바탕으로 오디오의 제2 특성(예로, 리듬)을 결정할 수 있다. 또는, 프로세서(170)는 사용자 상태와 관련된 정보를 오디오를 생성하도록 학습된 신경망 모델에 입력하여 오디오를 획득할 수 있다.The processor 170 may generate audio corresponding to the user state based on information related to the user state. Specifically, the processor 170 may identify a user state based on information related to the user state, and generate audio corresponding to the identified user state. In this case, the processor 170 may determine the type of audio based on information related to the user state, and may generate audio corresponding to the determined type. Here, the type of audio may be defined based on characteristics of the audio including at least one of tempo, melody, harmony, chord, and rhythm. Also, the information related to the user state may include first state information and second state information. In this case, the processor 170 may determine a first characteristic (eg, tempo) of the audio based on the first state information, and determine a second characteristic (eg, a rhythm) of the audio based on the second state information. . Alternatively, the processor 170 may acquire audio by inputting information related to a user state into a neural network model trained to generate audio.

한편, 프로세서(170)는 제1 영상이 디스플레이되는 동안 날씨 정보를 획득할 수 있다. 그리고, 프로세서(170)는 사용자 상태와 관련된 정보 및 날씨 정보를 바탕으로 오디오를 생성할 수 있다.Meanwhile, the processor 170 may acquire weather information while the first image is displayed. In addition, the processor 170 may generate audio based on information related to a user state and weather information.

그리고, 사용자 상태와 관련된 정보는 외부 장치에 의해 획득되는 사용자의 생체 정보를 포함할 수 있다. 예로, 사용자의 생체 정보는 사용자의 심박수 정보를 포함할 수 있다. In addition, the information related to the user state may include the user's biometric information obtained by an external device. For example, the user's biometric information may include the user's heart rate information.

한편, 프로세서(170)는 카메라(150)를 통해 사용자를 촬상한 이미지를 획득하고, 획득된 이미지를 분석하여 사용자 상태에 관련된 정보를 획득할 수 있다. 예로, 프로세서(170)는 촬상한 이미지를 분석하여 사용자의 움직임 정보를 획득할 수 있다.Meanwhile, the processor 170 may acquire an image of the user through the camera 150 , and analyze the acquired image to acquire information related to the user's state. For example, the processor 170 may obtain the user's movement information by analyzing the captured image.

한편, 프로세서(170)는 생성된 오디오에 대응되는 제2 영상을 생성할 수 있다. 이 때, 프로세서(170)는 생성된 오디오의 특성을 바탕으로 제2 영상을 생성할 수 있다. 제2 영상이 메모리(140)에 저장된 경우, 프로세서(170)는 생성된 오디오의 특성을 바탕으로 메모리(140)에 저장된 제2 영상을 식별할 수 있다. 여기서, 제2 영상은 적어도 하나의 UI 엘리먼트를 포함하고, 적어도 하나의 UI 엘리먼트는 생성된 오디오를 바탕으로 변경될 수 있다.Meanwhile, the processor 170 may generate a second image corresponding to the generated audio. In this case, the processor 170 may generate the second image based on the characteristics of the generated audio. When the second image is stored in the memory 140 , the processor 170 may identify the second image stored in the memory 140 based on the characteristics of the generated audio. Here, the second image may include at least one UI element, and the at least one UI element may be changed based on the generated audio.

그리고, 프로세서(170)는 제1 영상을 제2 영상으로 변경하여 디스플레이하도록 디스플레이(120)를 제어하고, 생성된 오디오를 출력하도록 스피커(130)를 제어할 수 있다.In addition, the processor 170 may control the display 120 to change the first image to the second image and display it, and may control the speaker 130 to output the generated audio.

특히, 본 개시에 따른 인공지능과 관련된 기능은 프로세서(170)와 메모리(140)를 통해 동작된다. 프로세서(170)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리(140)에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. In particular, the functions related to artificial intelligence according to the present disclosure are operated through the processor 170 and the memory 140 . The processor 170 may include one or a plurality of processors. In this case, one or more processors may be a general-purpose processor such as a CPU, an AP, a digital signal processor (DSP), or the like, a graphics-only processor such as a GPU, a VPU (Vision Processing Unit), or an artificial intelligence-only processor such as an NPU. One or more processors control to process input data according to a predefined operation rule or artificial intelligence model stored in the memory 140 . Alternatively, when one or more processors are AI-only processors, the AI-only processor may be designed with a hardware structure specialized for processing a specific AI model.

기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.A predefined action rule or artificial intelligence model is characterized in that it is created through learning. Here, being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden. Such learning may be performed in the device itself on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system. Examples of the learning algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.

인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.AI models can be created through learning. Here, being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden. The artificial intelligence model may be composed of a plurality of neural network layers. Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between the operation result of a previous layer and the plurality of weights. The plurality of weights of the plurality of neural network layers may be optimized by the learning result of the artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from the artificial intelligence model during the learning process is reduced or minimized.

인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), GAN (Generative Adversarial Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.The artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Generative Adversarial Network (GAN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), or Deep Q-Networks, but is not limited to the above example.

도 3a는 본 개시의 일 실시 예에 따른 오디오 생성 방법을 설명하기 위한 도면이다. 도 3a를 참조하면, 프로세서(170)는 시퀀스 생성 모듈(171) 및 사운드 생성 모듈(172)를 포함할 수 있다. 3A is a diagram for describing an audio generation method according to an embodiment of the present disclosure. Referring to FIG. 3A , the processor 170 may include a sequence generating module 171 and a sound generating module 172 .

전자 장치(100)는 시퀀스 생성 모듈(171)에 사용자 상태와 관련된 정보를 입력하여 복수의 시퀀스(sequence)를 획득할 수 있다. 여기서, 시퀀스(sequence)란, 오디오를 구성하는 단위 별로 음계, 길이, 시간 등의 정보를 기록한 데이터 셋(data set)이다. 예로, 시퀀스는 어떤 음을 어떤 타이밍에 어떤 길이로 재생할 지에 대한 정보를 포함할 수 있다. 본 개시에서 시퀀스는 악보 정보라 지칭하기도 한다. 일 예로, 시퀀스는 4마디 단위의 악보 정보를 의미할 수 있다.The electronic device 100 may obtain a plurality of sequences by inputting information related to a user state to the sequence generating module 171 . Here, a sequence is a data set in which information such as a scale, length, and time is recorded for each unit constituting audio. For example, the sequence may include information on which sound to be reproduced at which timing and with which length. In the present disclosure, a sequence is also referred to as sheet music information. For example, the sequence may mean sheet music information in units of 4 bars.

시퀀스 생성 모듈(171)은 신경망 모델로 구현될 수 있다. 구체적으로, 시퀀스 생성 모듈(171)은 사용자 상태와 관련된 정보를 바탕으로 시퀀스를 생성하도록 학습된 신경망 모델로 구현될 수 있다. 이 때, 전자 장치(100)는 시퀀스 생성 모듈(171)에 사용자 상태와 관련된 정보를 입력하여 사용자 상태와 관련된 정보에 대응되는 복수의 시퀀스(sequence)를 획득할 수 있다.The sequence generation module 171 may be implemented as a neural network model. Specifically, the sequence generating module 171 may be implemented as a neural network model trained to generate a sequence based on information related to a user state. In this case, the electronic device 100 may obtain a plurality of sequences corresponding to the user state related information by inputting the user state related information to the sequence generating module 171 .

또한, 시퀀스 생성 모듈(171)은 사용자 상태와 관련된 정보 별로 매칭되는 오디오 특성에 기초하여 시퀀스를 생성할 수 있다. 예를 들어, 시퀀스 생성 모듈(171)은 사용자의 심박수에 기초하여 오디오의 높낮이를 결정하고, 결정된 높낮이에 기초하여 시퀀스를 생성할 수 있다. 또는, 시퀀스 생성 모듈(171)은 사용자의 모션 정보(또는 움직임 정보)에 기초하여 오디오의 템포를 결정하고, 결정된 템포에 기초하여 시퀀스를 생성할 수 있다. Also, the sequence generation module 171 may generate a sequence based on audio characteristics that are matched for each information related to the user state. For example, the sequence generating module 171 may determine the pitch of the audio based on the user's heart rate and generate a sequence based on the determined pitch. Alternatively, the sequence generating module 171 may determine the tempo of the audio based on the user's motion information (or motion information), and generate a sequence based on the determined tempo.

전자 장치(100)는 획득된 복수의 시퀀스를 사운드 생성 모듈(172)에 입력하여 오디오를 획득할 수 있다. 사운드 생성 모듈(172)은 모듈레이터(173), 신디사이저(174) 및 샘플러(175)를 포함할 수 있다. 모듈레이터(modulator)(173)는 LFO(Low Frequency Oscillator)를 이용하여 소리를 변조할 수 있다. 신디사이저(synthesize)(174)는 음계에 해당되는 사운드를 생성할 수 있다. 샘플러(sampler)(175)는 미리 녹음된 네이처(Nature), 텍스쳐(texture), 타악기(perc) 등의 사운드를 제공할 수 있다. The electronic device 100 may acquire audio by inputting the plurality of acquired sequences to the sound generating module 172 . The sound generation module 172 may include a modulator 173 , a synthesizer 174 , and a sampler 175 . The modulator 173 may modulate the sound using a low frequency oscillator (LFO). The synthesizer 174 may generate a sound corresponding to a musical scale. The sampler 175 may provide pre-recorded sounds of nature, texture, perc, and the like.

모듈레이터(173), 신디사이저(174) 및 샘플러(175)는 시퀀스에 기초하여 각각 사운드를 생성하며, 전자 장치(100)는 모듈레이터(173), 신디사이저(174) 및 샘플러(175)에 의해 각각 생성된 사운드를 바탕으로 오디오를 생성할 수 있다. 예로, 전자 장치(100)는 모듈레이터(173), 신디사이저(174) 및 샘플러(175)에 의해 각각 생성된 사운드를 조합하여 오디오를 생성할 수 있다. The modulator 173 , the synthesizer 174 , and the sampler 175 each generate a sound based on the sequence, and the electronic device 100 generates the sound generated by the modulator 173 , the synthesizer 174 , and the sampler 175 , respectively. You can create audio based on sound. For example, the electronic device 100 may generate audio by combining sounds respectively generated by the modulator 173 , the synthesizer 174 , and the sampler 175 .

이와 같이, 전자 장치(100)는 미리 녹음된 리소스를 바탕으로 오디오를 생성하는 것이 아니라 사용자 상태와 관련된 정보를 바탕으로 시퀀스를 생성하고, 생성된 시퀀스를 바탕으로 오디오를 생성할 수 있다. 따라서, 리소스를 저장하기 위한 메모리(140) 공간이 절약될 수 있다.As such, the electronic device 100 may generate a sequence based on information related to a user state, rather than generating audio based on a pre-recorded resource, and may generate audio based on the generated sequence. Accordingly, the memory 140 space for storing the resource can be saved.

한편, 상술한 시퀀스 생성 모듈(171) 및 사운드 생성 모듈(172)은 소프트웨어로 구현될 수 있으며, 또는, 소프트웨어와 하드웨어가 결합된 형태로 구현될 수 있다. Meanwhile, the above-described sequence generating module 171 and sound generating module 172 may be implemented in software, or may be implemented in a form in which software and hardware are combined.

도 3b는 본 개시의 다른 일 실시 예에 따른 오디오 생성 방법을 설명하기 위한 도면이다. 도 3b를 참조하면, 메모리(140)는 MIDI 데이터(141) 및 오디오 클립(142)을 저장할 수 있다.3B is a diagram for describing an audio generation method according to another embodiment of the present disclosure. Referring to FIG. 3B , the memory 140 may store MIDI data 141 and an audio clip 142 .

MIDI 데이터(141)는 오디오 클립(142)의 재생 시점에 대한 정보를 포함할 수 있다. 예로, MIDI 데이터(141)는 어떤 시간에 어떤 오디오 클립(142)을 재생할 지에 대한 데이터를 포함할 수 있다. 한편, MIDI 데이터(141)는 다양한 성분 별 MIDI 데이터를 포함할 수 있다. 예로, MIDI 데이터(141)는 멜로디, 코드, 리듬, 앰비언트에 대한 MIDI 데이터를 포함할 수 있다.The MIDI data 141 may include information about a playback time of the audio clip 142 . For example, the MIDI data 141 may include data on which audio clip 142 is to be reproduced at which time. Meanwhile, the MIDI data 141 may include MIDI data for various components. For example, the MIDI data 141 may include MIDI data for melody, chord, rhythm, and ambient.

오디오 클립(142)은 MIDI 데이터(141)의 각 성분에 대응되는 오디오 데이터를 포함할 수 있다. 예로, 오디오 클립(142)은 멜로디 클립, 코드 클립, 리듬 클립, 앰비언트 클립을 포함할 수 있다.The audio clip 142 may include audio data corresponding to each component of the MIDI data 141 . For example, the audio clip 142 may include a melody clip, a chord clip, a rhythm clip, and an ambient clip.

전자 장치(100)는 MIDI 데이터(141) 및 오디오 클립(142)을 바탕으로 오디오를 생성할 수 있다. 예로, 전자 장치(100)는 MIDI 데이터(141)에 포함된 복수의 MIDI 데이터 중 일부를 랜덤하게 식별하고, 식별된 MIDI 데이터 및 이에 대응되는 오디오 클립을 바탕으로 오디오를 생성할 수 있다.The electronic device 100 may generate audio based on the MIDI data 141 and the audio clip 142 . For example, the electronic device 100 may randomly identify some of a plurality of MIDI data included in the MIDI data 141 , and generate audio based on the identified MIDI data and an audio clip corresponding thereto.

이와 같이, 전자 장치(100)는 메모리(140)에 미리 저장된 MIDI 데이터(141) 및 오디오 클립(142)을 이용하여 오디오를 생성할 수 있다. 이에 따라, 오디오 생성을 위한 프로세서(170)의 연산량이 감소할 수 있다. 따라서, 프로세서(170)의 연산량이 기설정된 값 이하인 경우에도, 전자 장치(100)는 오디오를 생성할 수 있다.As such, the electronic device 100 may generate audio using the MIDI data 141 and the audio clip 142 previously stored in the memory 140 . Accordingly, the amount of computation of the processor 170 for audio generation may be reduced. Accordingly, even when the amount of computation of the processor 170 is equal to or less than a preset value, the electronic device 100 may generate audio.

도 4는 본 개시의 일 실시 예에 따른 사운드 특성에 따라 정의되는 오디오 유형을 도시한 테이블이다.4 is a table illustrating audio types defined according to sound characteristics according to an embodiment of the present disclosure.

전자 장치(100)는 미리 정의된 오디오 유형을 바탕으로 오디오를 생성할 수 있다. 구체적으로, 전자 장치(100)는 사용자 상태와 관련된 정보를 바탕으로 미리 정의된 오디오 유형 중 하나의 유형을 식별하고, 식별된 유형에 대응되는 오디오를 생성할 수 있다. 이 때, 오디오 유형은 사운드의 다양한 특성에 따라 정의될 수 있다. 여기서, 사운드 특성은 tempo, melody, harmony, rhythm 및 key를 포함할 수 있다.The electronic device 100 may generate audio based on a predefined audio type. Specifically, the electronic device 100 may identify one of predefined audio types based on information related to a user state, and generate audio corresponding to the identified type. In this case, the audio type may be defined according to various characteristics of sound. Here, the sound characteristics may include tempo, melody, harmony, rhythm, and key.

구체적으로, 도 4에 도시된 테이블(40)을 참조하면, 오디오 유형은 제1 유형(41), 제2 유형(42) 및 제3 유형(43)을 포함할 수 있다. 이 때, 제1 유형(41)은 사용자가 수면 상태일 때 대응되는 유형이며, 제2 유형(42)은 사용자가 휴식 상태일 때 대응되는 유형이며, 제3 유형(43)은 사용자가 활동적인 상태일 때 대응되는 유형일 수 있다. 예로, 전자 장치(100)는 외부 장치(200)로부터 사용자가 수면 상태라는 정보를 획득하면, 제1 유형(41)에 해당하는 사운드를 생성할 수 있다. 한편, 도 4에서는 세 개의 유형을 도시하였으나, 본 개시에 따른 오디오 유형의 개수가 이에 제한되는 것은 아님을 밝혀둔다.Specifically, referring to the table 40 shown in FIG. 4 , the audio type may include a first type 41 , a second type 42 , and a third type 43 . At this time, the first type 41 is a type corresponding when the user is in a sleeping state, the second type 42 is a type corresponding when the user is in a resting state, and the third type 43 is a type corresponding to the user when the user is in a resting state. When it is a state, it may be of a corresponding type. For example, when the electronic device 100 obtains information that the user is sleeping from the external device 200 , the electronic device 100 may generate a sound corresponding to the first type 41 . Meanwhile, although three types are illustrated in FIG. 4 , it should be noted that the number of audio types according to the present disclosure is not limited thereto.

이하에서는 본 개시의 다양한 실시 예에 따른 오디오 제공 방법에 대하여 설명하도록 한다.Hereinafter, an audio providing method according to various embodiments of the present disclosure will be described.

도 5a는 본 개시의 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다. 구체적으로 도 5a는 사용자(1)가 수면 상태일 때 오디오 제공 방법을 도시한 도면이다.5A is a diagram for describing an audio providing method according to an embodiment of the present disclosure. Specifically, FIG. 5A is a diagram illustrating a method of providing audio when the user 1 is in a sleeping state.

전자 장치(100)는 사용자(1)와 관련된 상태 정보를 바탕으로 오디오를 생성하여 출력할 수 있다. 구체적으로, 전자 장치(100)는 제1 오디오(51)를 출력하는 동안 사용자(1)의 수면 상태를 감지할 수 있다. 이 때, 전자 장치(100)는 사용자(1)가 착용한 외부 장치(200)로부터 전송되는 사용자(1)의 생체 정보를 바탕으로 사용자(1)의 수면 상태를 감지할 수 있다. 예로, 전자 장치(100)는 외부 장치(200)로부터 전송되는 사용자(1)의 심박수가 기설정된 값보다 작으면 사용자(1)가 수면 상태인 것으로 식별할 수 있다. 또한, 전자 장치(100)는 외부 장치(200)로부터 전송되는 사용자(1)의 심박수, 호흡수 및 혈압수 등을 바탕으로 사용자(1)의 보다 상세한 수면 상태를 감지할 수 있다(예로, 얕은 수면 상태인지 깊은 수면 상태인지).The electronic device 100 may generate and output audio based on state information related to the user 1 . Specifically, the electronic device 100 may detect the sleep state of the user 1 while outputting the first audio 51 . In this case, the electronic device 100 may detect the sleeping state of the user 1 based on the biometric information of the user 1 transmitted from the external device 200 worn by the user 1 . For example, when the heart rate of the user 1 transmitted from the external device 200 is less than a preset value, the electronic device 100 may identify the user 1 as in the sleeping state. Also, the electronic device 100 may detect a more detailed sleep state of the user 1 based on the heart rate, respiration rate, blood pressure number, etc. of the user 1 transmitted from the external device 200 (eg, shallow sleep or deep sleep).

사용자(1)가 수면 상태인 것으로 감지되면, 전자 장치(100)는 제2 오디오(52)를 생성할 수 있다. 구체적으로, 전자 장치(100)는 사용자(1)가 수면 상태에 대응되는 제2 오디오(52)를 생성할 수 있다. 이 때, 제2 오디오(52)는 도 4의 제1 유형(41)에 대응되는 오디오일 수 있다. 또한, 제2 오디오(52)의 템포는 제1 오디오(51)의 템포보다 작을 수 있다. 제2 오디오(52)가 생성되면, 전자 장치(100)는 제1 오디오(51)를 제2 오디오(52)로 변경하여 출력할 수 있다. 한편, 디스플레이(120)를 통해 영상이 표시되는 동안 사용자(1)가 수면 상태인 것으로 감지되면, 전자 장치(100)는 생성된 제2 오디오(52)에 대응되는 영상을 생성할 수 있다. 그리고, 전자 장치(100)는 사용자(1)의 수면 상태가 감지되기 전에 표시되던 영상을 새롭게 생성된 영상으로 변경하여 표시할 수 있다. 여기서, 새롭게 생성된 영상 및 사용자(1)의 수면 상태가 감지되기 전에 표시되던 영상은 동일한 컨텐츠에 대한 영상이되, 각각 포함한 UI 엘리먼트가 상이한 영상일 수 있다. 또는, 생성된 영상 및 사용자(1)의 수면 상태가 감지되기 전에 표시되던 영상은 상이한 컨텐츠에 대한 영상일 수 있다.When it is detected that the user 1 is in the sleeping state, the electronic device 100 may generate the second audio 52 . Specifically, the electronic device 100 may generate the second audio 52 corresponding to the sleep state of the user 1 . In this case, the second audio 52 may be audio corresponding to the first type 41 of FIG. 4 . Also, the tempo of the second audio 52 may be smaller than the tempo of the first audio 51 . When the second audio 52 is generated, the electronic device 100 may change the first audio 51 to the second audio 52 and output it. Meanwhile, if it is detected that the user 1 is in a sleeping state while an image is displayed through the display 120 , the electronic device 100 may generate an image corresponding to the generated second audio 52 . In addition, the electronic device 100 may change the image displayed before the user 1's sleep state is sensed into a newly generated image and display it. Here, the newly created image and the image displayed before the sleep state of the user 1 is sensed may be images for the same content, but may have different UI elements. Alternatively, the generated image and the image displayed before the sleep state of the user 1 is detected may be images for different contents.

한편, 이상에서는 사용자(1)의 상태에 따라 디스플레이(120)에 의해 표시되는 영상이나 영상에 포함된 UI 엘리먼트가 변경되는 것으로 설명하였다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 사용자(1)가 수면 상태인 것으로 감지되면, 디스플레이(120)를 오프시킬 수 있다. 이 때, 전자 장치(100)는 사용자(1)의 수면 상태에 대응되는 오디오를 생성하여 출력할 수 있다.Meanwhile, in the above, it has been described that an image displayed by the display 120 or a UI element included in the image is changed according to the state of the user 1 . However, the present invention is not limited thereto, and when detecting that the user 1 is in a sleeping state, the electronic device 100 may turn off the display 120 . In this case, the electronic device 100 may generate and output audio corresponding to the sleeping state of the user 1 .

도 5b는 본 개시의 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다. 구체적으로, 도 5b는 사용자(1)가 전자 장치(100)에서 제공되는 영상 컨텐츠를 시청하면서 운동하는 모습을 도시한 도면이다.5B is a diagram for explaining an audio providing method according to another embodiment of the present disclosure. Specifically, FIG. 5B is a diagram illustrating a state in which the user 1 exercises while watching image content provided by the electronic device 100 .

전자 장치(100)는 운동 관련 영상 컨텐츠를 디스플레이할 수 있다. 이 때, 전자 장치(100)는 사용자(1)와 관련된 상태 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 외부 장치(200)를 통해 사용자(1)의 생체 정보를 획득하거나, 카메라(150)를 통해 사용자(1)의 움직임 정보를 획득할 수 있다. 전자 장치(100)는 사용자(1)와 관련된 상태 정보를 바탕으로 사용자(1)가 활동 상태임을 식별할 수 있다. 예로, 전자 장치(100)는 사용자(1)의 심박수가 기설정된 값 이상으로 감지되면, 사용자(1)가 활동 상태임을 식별할 수 있다. 또는, 전자 장치(100)는 카메라(150)를 통해 획득되는 사용자(1)를 촬영한 영상을 분석하여 사용자(1)가 활동 상태임을 식별할 수 있다.The electronic device 100 may display exercise-related image content. In this case, the electronic device 100 may obtain status information related to the user 1 . Specifically, the electronic device 100 may obtain biometric information of the user 1 through the external device 200 or may obtain movement information of the user 1 through the camera 150 . The electronic device 100 may identify that the user 1 is in an active state based on status information related to the user 1 . For example, when the heart rate of the user 1 is detected to be greater than or equal to a preset value, the electronic device 100 may identify that the user 1 is in an active state. Alternatively, the electronic device 100 may analyze an image captured by the user 1 obtained through the camera 150 to identify the user 1 in an active state.

사용자(1)가 활동 상태라고 식별되면, 전자 장치(100)는 활동적인 상황에 대응되는 오디오를 생성하여 출력할 수 있다. 예로, 전자 장치(100)는 도 4의 제3 유형(43)에 해당하는 오디오를 생성하여 출력할 수 있다. 이 때, 전자 장치(100)에 의해 생성되는 오디오의 템포는 도 5a의 제2 오디오(52)의 템포보다 클 수 있다.When it is identified that the user 1 is in an active state, the electronic device 100 may generate and output audio corresponding to the active situation. For example, the electronic device 100 may generate and output audio corresponding to the third type 43 of FIG. 4 . In this case, the tempo of the audio generated by the electronic device 100 may be greater than the tempo of the second audio 52 of FIG. 5A .

한편, 전자 장치(100)는 카메라(150)를 통해 획득되는 사용자(1)를 촬영한 영상을 분석하여 사용자(1)의 자세 정보를 획득할 수 있다. 그리고, 전자 장치(100)는 획득된 사용자(1)의 자세 정보를 바탕으로 오디오를 출력할 수 있다. 예로, 전자 장치(100)는 표시되는 영상에 포함된 오브젝트(ob)의 자세 정보와 사용자(1)의 자세 정보가 서로 대응되면, 제1 오디오를 출력할 수 있다. 반면에, 전자 장치(100)는 표시되는 영상에 포함된 오브젝트(ob)의 자세 정보와 사용자(1)의 자세 정보가 서로 대응되지 않으면, 제2 오디오를 출력할 수 있다. 이 때, 제2 오디오의 템포는 제1 오디오의 템포보다 클 수 있다.Meanwhile, the electronic device 100 may acquire posture information of the user 1 by analyzing an image captured by the user 1 obtained through the camera 150 . In addition, the electronic device 100 may output audio based on the acquired posture information of the user 1 . For example, when the posture information of the object ob included in the displayed image and the posture information of the user 1 correspond to each other, the electronic device 100 may output the first audio. On the other hand, when the posture information of the object ob included in the displayed image and the posture information of the user 1 do not correspond to each other, the electronic device 100 may output the second audio. In this case, the tempo of the second audio may be greater than the tempo of the first audio.

도 5c는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다. 구체적으로, 도 5c는 반려 동물(2)과 관련된 상태 정보를 바탕으로 오디오를 제공하는 방법을 설명하기 위한 도면이다.5C is a diagram for explaining an audio providing method according to another embodiment of the present disclosure. Specifically, FIG. 5C is a diagram for explaining a method of providing audio based on status information related to the companion animal 2 .

전자 장치(100)는 영상을 디스플레이하며, 영상과 관련된 오디오를 출력할 수 있다. 영상이 디스플레이되는 동안, 전자 장치(100)는 반려 동물(2)의 상태와 관련된 정보를 획득할 수 있다. 구체적으로, 전자 장치(100)는 카메라(150)를 통해 획득되는 반려 동물(2)을 촬영한 영상을 분석할 수 있다. 이 때, 전자 장치(100)는 신경망 모델을 이용하여 반려 동물(2)을 행동을 분석할 수 있다. 또는 전자 장치(100)는 마이크(160)를 통해 획득되는 음성을 분석하여 반려 동물(2)의 상태와 관련된 정보를 획득할 수 있다. 예로, 반려 동물(2)이 전자 장치(100)에서 디스플레이되는 영상을 바라보고 짖는 것으로 감지되면, 전자 장치(100)는 진정시키기 위한 오디오를 생성하여 출력할 수 있다. 예로, 전자 장치(100)는 도 4의 제2 유형(42)에 해당하는 오디오를 생성하여 출력할 수 있다. 한편, 도 5c에서는 전자 장치(100)가 반려 동물(2)의 상태와 관련된 정보를 바탕으로 오디오를 제공하는 것을 예로 들었으나, 전자 장치(100)는 사용자(1)의 상태와 관련된 정보를 바탕으로도 오디오를 제공할 수 있음은 물론이다.The electronic device 100 may display an image and output audio related to the image. While the image is displayed, the electronic device 100 may acquire information related to the state of the companion animal 2 . Specifically, the electronic device 100 may analyze an image captured by the companion animal 2 acquired through the camera 150 . In this case, the electronic device 100 may analyze the behavior of the companion animal 2 using the neural network model. Alternatively, the electronic device 100 may obtain information related to the state of the companion animal 2 by analyzing a voice obtained through the microphone 160 . For example, when it is detected that the companion animal 2 is barking while looking at an image displayed on the electronic device 100 , the electronic device 100 may generate and output an audio for soothing. For example, the electronic device 100 may generate and output audio corresponding to the second type 42 of FIG. 4 . Meanwhile, in FIG. 5C , the electronic device 100 provides audio based on the information related to the status of the companion animal 2 as an example, but the electronic device 100 uses the information related to the status of the user 1 as an example. Of course, it is also possible to provide audio.

이상에서는 전자 장치(100) 주변의 사용자(1) 또는 반려 동물(2)의 상태와 관련된 정보(또는 컨텍스트 정보)에 기초하여 오디오를 생성 및 출력하는 방법에 대하여 설명하였다. 한편, 전자 장치(100)는 디스플레이되는 컨텐츠나 날씨 정보에 기초하여 오디오를 출력할 수 있다.In the above, a method of generating and outputting audio based on information (or context information) related to the state of the user 1 or the companion animal 2 around the electronic device 100 has been described. Meanwhile, the electronic device 100 may output audio based on displayed content or weather information.

도 6a는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다. 도 6a를 참조하면, 전자 장치(100)는 앰비언트 모드(ambient mode)로 동작할 수 있다. 앰비언트 모드일 때 전자 장치(100)는 벽면의 배경 이미지, 날씨 정보, 아트웍(artwork) 또는 UI 엘리먼트(61)를 포함하는 영상을 표시할 수 있다. 또한, 전자 장치(100)는 영상을 표시하면서 오디오를 출력할 수 있다. 한편, 전자 장치(100)는 기설정된 시간 간격으로 UI 엘리먼트(61)를 변경하여 디스플레이할 수 있다. 디스플레이되는 UI 엘리먼트(61)가 변경되면, 전자 장치(100)는 변경된 UI 엘리먼트(61)를 바탕으로 오디오를 생성할 수 있다. 예로, 활성화 표시되는 UI 엘리먼트(61)의 개수가 제1 개수이면, 전자 장치(100)는 제1 템포의 오디오를 생성하여 출력할 수 있다. 그리고, 활성화 표시되는 UI 엘리먼트(61)의 개수가 제1 개수보다 큰 제2 개수이면, 전자 장치(100)는 제1 템포보다 큰 제2 템포의 오디오를 생성하여 출력할 수 있다.6A is a diagram for describing an audio providing method according to another embodiment of the present disclosure. Referring to FIG. 6A , the electronic device 100 may operate in an ambient mode. In the ambient mode, the electronic device 100 may display a background image of a wall, weather information, artwork, or an image including the UI element 61 . Also, the electronic device 100 may output audio while displaying an image. Meanwhile, the electronic device 100 may change and display the UI element 61 at a preset time interval. When the displayed UI element 61 is changed, the electronic device 100 may generate audio based on the changed UI element 61 . For example, when the number of the activated and displayed UI elements 61 is the first number, the electronic device 100 may generate and output the audio of the first tempo. In addition, when the number of the activated and displayed UI elements 61 is a second number greater than the first number, the electronic device 100 may generate and output audio having a second tempo greater than the first tempo.

도 6b는 본 개시의 또 다른 일 실시 예에 따른 오디오 제공 방법을 설명하기 위한 도면이다. 도 6b를 참조하면, 전자 장치(100)는 날씨 정보에 대응되는 영상을 디스플레이할 수 있다. 이 때, 전자 장치(100)는 날씨 정보를 바탕으로 오디오를 생성하여 출력할 수 있다. 예로, 전자 장치(100)는 제1 날씨에 대응되는 영상을 디스플레이하는 경우, 도 4의 제1 유형(41)에 해당하는 오디오를 생성하여 출력할 수 있다. 현재 날씨 정보가 제1 날씨로부터 제2 날씨로 변경되면, 전자 장치(100)는 제2 날씨에 대응되는 영상을 디스플레이할 수 있다. 이 때, 전자 장치(100)는 도 4의 제3 유형(43)에 해당하는 오디오를 생성하여 출력할 수 있다. 다만 이는 일 실시 예에 불과하며 전자 장치(100)는 날씨 정보에 따라 다양한 유형의 오디오를 생성할 수 있다.6B is a diagram for explaining an audio providing method according to another embodiment of the present disclosure. Referring to FIG. 6B , the electronic device 100 may display an image corresponding to weather information. In this case, the electronic device 100 may generate and output audio based on weather information. For example, when displaying an image corresponding to the first weather, the electronic device 100 may generate and output audio corresponding to the first type 41 of FIG. 4 . When the current weather information is changed from the first weather to the second weather, the electronic device 100 may display an image corresponding to the second weather. In this case, the electronic device 100 may generate and output audio corresponding to the third type 43 of FIG. 4 . However, this is only an example, and the electronic device 100 may generate various types of audio according to weather information.

한편, 전자 장치(100)의 크기 또는 폼 팩터(form factor)에 따라 전자 장치(100)가 생성하는 오디오의 특성이 달라질 수 있다. 예로, 전자 장치(100)의 크기가 커질수록 전자 장치(100)에 의해 생성되는 오디오의 주파수가 작아질 수 있다. 다만 이는 일 실시 예에 불과하며, 전자 장치(100)에 의해 생성되는 오디오의 특성은 전자 장치(100)의 크기에 따라 다양하게 변경될 수 있다.Meanwhile, characteristics of audio generated by the electronic device 100 may vary according to the size or form factor of the electronic device 100 . For example, as the size of the electronic device 100 increases, the frequency of the audio generated by the electronic device 100 may decrease. However, this is only an example, and characteristics of audio generated by the electronic device 100 may be variously changed according to the size of the electronic device 100 .

도 7은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 도시한 순서도이다. 전자 장치(100)는 제1 영상을 디스플레이할 수 있다(S710). 전자 장치(100)는 제1 영상이 디스플레이되는 동안 외부 장치로부터 사용자 상태와 관련된 정보를 획득할 수 있다(S720). 외부 장치는 웨어러블 장치(예로, 스마트 워치)일 수 있다. 이 때, 사용자 상태와 관련된 정보는 외부 장치에 의해 획득되는 사용자의 생체 정보를 포함할 수 있다. 또는, 전자 장치(100)는 사용자를 촬상한 이미지를 획득하고, 획득된 이미지를 분석하여 사용자 상태에 관련된 정보를 획득할 수 있다.7 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure. The electronic device 100 may display the first image (S710). While the first image is being displayed, the electronic device 100 may obtain information related to a user state from an external device ( S720 ). The external device may be a wearable device (eg, a smart watch). In this case, the information related to the user state may include the user's biometric information obtained by an external device. Alternatively, the electronic device 100 may acquire an image of the user and analyze the acquired image to acquire information related to the user's state.

전자 장치(100)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태에 대응되는 오디오를 생성하고, 생성된 오디오에 대응되는 제2 영상을 생성할 수 있다(S730). 이 때, 전자 장치(100)는 사용자 상태와 관련된 정보를 바탕으로 오디오의 유형을 결정하고, 결정된 유형에 대응되는 오디오를 생성할 수 있다. 오디오의 유형은, 템포, 멜로디, 하모니, 코드 및 리듬 중 적어도 하나를 포함하는 오디오의 특성을 바탕으로 정의될 수 있다. 예로, 전자 장치(100)는 도 4에 도시된 바와 같이 제1 유형(41), 제2 유형(42) 및 제3 유형(43)의 오디오를 생성할 수 있다.The electronic device 100 may generate audio corresponding to the user status based on information related to the user status, and may generate a second image corresponding to the generated audio (S730). In this case, the electronic device 100 may determine the type of audio based on information related to the user state, and may generate audio corresponding to the determined type. The audio type may be defined based on audio characteristics including at least one of tempo, melody, harmony, chord, and rhythm. For example, the electronic device 100 may generate audio of a first type 41 , a second type 42 , and a third type 43 as shown in FIG. 4 .

사용자 상태와 관련된 정보는 제1 상태 정보 및 제2 상태 정보를 포함할 수 있다. 이 때, 전자 장치(100)는 제1 상태 정보를 바탕으로 오디오의 템포를 결정하고, 제2 상태 정보를 바탕으로 오디오의 리듬을 결정할 수 있다. 또한, 전자 장치(100)는 사용자 상태와 관련된 정보를 오디오를 생성하도록 학습된 신경망 모델에 입력하여 오디오를 획득할 수 있다.The information related to the user state may include first state information and second state information. In this case, the electronic device 100 may determine the tempo of the audio based on the first state information and determine the rhythm of the audio based on the second state information. Also, the electronic device 100 may acquire audio by inputting information related to a user state into a neural network model trained to generate audio.

전자 장치(100)는 제1 영상을 제2 영상으로 변경하여 디스플레이하고, 생성된 오디오를 출력할 수 있다(S740). 제2 영상은 적어도 하나의 UI 엘리먼트를 포함할 수 있다. 이 때, 적어도 하나의 UI 엘리먼트는 생성된 오디오를 바탕으로 변경될 수 있다.The electronic device 100 may change the first image to a second image, display it, and output the generated audio (S740). The second image may include at least one UI element. In this case, at least one UI element may be changed based on the generated audio.

도 8a는 본 개시의 일 실시 예에 따른 오디오 제공 시스템의 동작을 설명하기 위한 도면이다. 오디오 제공 시스템(800)은 제1 전자 장치(810) 및 제2 전자 장치(820)를 포함할 수 있다. 제1 전자 장치(810)는 도 1의 전자 장치(100)에 대응되며, 제2 전자 장치(920) 도 1의 외부 장치(200)에 대응될 수 있다.8A is a diagram for explaining an operation of an audio providing system according to an embodiment of the present disclosure. The audio providing system 800 may include a first electronic device 810 and a second electronic device 820 . The first electronic device 810 may correspond to the electronic device 100 of FIG. 1 , and the second electronic device 920 may correspond to the external device 200 of FIG. 1 .

제1 전자 장치(810)는 제1 영상을 디스플레이할 수 있다(S810). 제1 전자 장치(810)가 제1 영상을 디스플레이하는 동안 제2 전자 장치(820)는 사용자 상태와 관련된 정보를 획득할 수 있다(S820). 그리고, 제2 전자 장치(820)는 사용자 상태와 관련된 정보를 제1 전자 장치(810)로 전송할 수 있다.The first electronic device 810 may display a first image (S810). While the first electronic device 810 displays the first image, the second electronic device 820 may obtain information related to the user state (S820). In addition, the second electronic device 820 may transmit information related to the user state to the first electronic device 810 .

제1 전자 장치(810)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태에 대응되는 오디오를 생성하고(S840). 생성된 오디오에 대응되는 제2 영상을 생성할 수 있다(S850). 그리고, 제1 전자 장치(810)는 제1 영상을 제2 영상으로 변경하여 디스플레이하고, 생성된 오디오를 출력할 수 있다(S860). 제1 전자 장치(810)는 도 5a 내지 도 5c에서 설명한 바와 같이 사용자 상태에 대응되는 오디오를 생성하고, 생성된 오디오에 대응되는 제2 영상을 생성할 수 있다. The first electronic device 810 generates audio corresponding to the user state based on information related to the user state (S840). A second image corresponding to the generated audio may be generated (S850). Then, the first electronic device 810 may change the first image to the second image, display it, and output the generated audio (S860). As described with reference to FIGS. 5A to 5C , the first electronic device 810 may generate audio corresponding to the user state and generate a second image corresponding to the generated audio.

도 8b는 본 개시의 다른 일 실시 예에 따른 오디오 제공 시스템의 동작을 설명하기 위한 도면이다.8B is a diagram for explaining an operation of an audio providing system according to another embodiment of the present disclosure.

오디오 제공 시스템(800)은 제1 전자 장치(810), 제2 전자 장치(820) 및 서버 장치(830)를 포함할 수 있다.The audio providing system 800 may include a first electronic device 810 , a second electronic device 820 , and a server device 830 .

제1 전자 장치(810)는 제1 영상을 디스플레이할 수 있다(S811). 제1 전자 장치(810)가 제1 영상을 디스플레이하는 동안, 제2 전자 장치(820)는 사용자 상태와 관련된 정보를 획득할 수 있다(S821). 그리고, 제2 전자 장치(820)는 사용자 상태와 관련된 정보를 서버 장치(830)로 전송할 수 있다(S831). 서버 장치(830)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태에 대응되는 오디오를 생성할 수 있다(S841). 이 때, 서버 장치(830)는 도 1 내지 도 6b에서의 전자 장치(100)와 같이 오디오를 생성할 수 있다. 그리고, 서버 장치(830)는 생성된 오디오를 제1 전자 장치(810)로 전송할 수 있다(S851).The first electronic device 810 may display a first image (S811). While the first electronic device 810 displays the first image, the second electronic device 820 may obtain information related to the user state (S821). Then, the second electronic device 820 may transmit information related to the user state to the server device 830 (S831). The server device 830 may generate audio corresponding to the user state based on information related to the user state (S841). In this case, the server device 830 may generate audio like the electronic device 100 of FIGS. 1 to 6B . Then, the server device 830 may transmit the generated audio to the first electronic device 810 (S851).

제1 전자 장치(810)는 서버 장치(830)에 의해 생성된 오디오에 대응되는 제2 영상을 식별할 수 있다(S861). 이 때, 제1 전자 장치(810)는 메모리에 저장된 다수의 오디오 중 서버 장치(830)에 의해 생성된 오디오에 대응되는 제2 영상을 식별할 수 있다. 또는, 제1 전자 장치(810)는 서버 장치(830)에 의해 생성된 오디오에 대응되는 제2 영상을 생성할 수 있다. 그리고, 제1 전자 장치(810)는 제1 영상을 제2 영상으로 변경하여 디스플레이하고, 생성된 오디오를 출력할 수 있다(S871).The first electronic device 810 may identify the second image corresponding to the audio generated by the server device 830 (S861). In this case, the first electronic device 810 may identify a second image corresponding to the audio generated by the server device 830 among a plurality of audios stored in the memory. Alternatively, the first electronic device 810 may generate a second image corresponding to the audio generated by the server device 830 . Then, the first electronic device 810 may change the first image to the second image, display it, and output the generated audio (S871).

한편, 서버 장치(830)는 사용자 상태와 관련된 정보를 제1 전자 장치(810)로부터 수신할 수 있다. 예로, 도 8c와 같이, 제1 전자 장치(810)는 제1 영상을 디스플레이할 수 있다(S812). 제1 전자 장치(810)가 제1 영상을 디스플레이하는 동안, 제2 전자 장치(820)는 사용자 상태와 관련된 정보를 획득할 수 있다(S822). 그리고, 제2 전자 장치(820)는 사용자 상태와 관련된 정보를 제1 전자 장치(810)로 전송할 수 있다(S832). 제1 전자 장치(810)는 사용자 상태와 관련된 정보를 서버 장치(830)로 전송할 수 있다(S842). 서버 장치(830)는 사용자 상태와 관련된 정보를 바탕으로 사용자 상태에 대응되는 오디오를 생성할 수 있다(S852). 그리고, 서버 장치(830)는 생성된 오디오를 제1 전자 장치(810)로 전송할 수 있다(S862). 제1 전자 장치(810)는 생성된 오디오에 대응되는 제2 영상을 식별하고(S872), 제1 영상을 제2 영상으로 변경하여 디스플레이하고, 생성된 오디오를 출력할 수 있다Meanwhile, the server device 830 may receive information related to a user state from the first electronic device 810 . For example, as shown in FIG. 8C , the first electronic device 810 may display a first image ( S812 ). While the first electronic device 810 displays the first image, the second electronic device 820 may obtain information related to the user state (S822). Then, the second electronic device 820 may transmit information related to the user state to the first electronic device 810 (S832). The first electronic device 810 may transmit information related to the user state to the server device 830 (S842). The server device 830 may generate audio corresponding to the user state based on information related to the user state (S852). Then, the server device 830 may transmit the generated audio to the first electronic device 810 ( S862 ). The first electronic device 810 may identify a second image corresponding to the generated audio (S872), change the first image to a second image, display it, and output the generated audio.

한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.Meanwhile, the various embodiments described above may be implemented in a recording medium readable by a computer or a similar device using software, hardware, or a combination thereof. In some cases, the embodiments described herein may be implemented by the processor itself. According to the software implementation, embodiments such as procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.Meanwhile, computer instructions for performing the processing operation according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium. When the computer instructions stored in the non-transitory computer-readable medium are executed by the processor, the processing operation according to the above-described various embodiments may be performed by a specific device.

비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.The non-transitory computer-readable medium refers to a medium that stores data semi-permanently, not a medium that stores data for a short moment, such as a register, cache, memory, etc., and can be read by a device. Specific examples of the non-transitory computer-readable medium may include a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.Meanwhile, the device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as For example, the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to an embodiment, the method according to various embodiments disclosed in this document may be included and provided in a computer program product. Computer program products may be traded between sellers and buyers as commodities. The computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store ^TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg: smartphones). In the case of online distribution, at least a portion of the computer program product (eg, a downloadable app) is stored at least on a machine-readable storage medium, such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In the above, preferred embodiments of the present disclosure have been illustrated and described, but the present disclosure is not limited to the specific embodiments described above, and it is common in the technical field pertaining to the present disclosure without departing from the gist of the present disclosure as claimed in the claims. Various modifications can be made by those having the knowledge of

100: 전자 장치　　　　　　110: 통신 인터페이스
120: 디스플레이 130: 스피커
140: 메모리 150: 카메라
160: 마이크 170: 프로세서
200: 외부 장치 800: 오디오 제공 시스템
810: 제1 전자 장치 820: 제2 전자 장치
830: 서버 장치100: electronic device 110: communication interface
120: display 130: speaker
140: memory 150: camera
160: microphone 170: processor
200: external device 800: audio providing system
810: first electronic device 820: second electronic device
830: server device

Claims

In an electronic device,
display;
speaker;
a communication interface comprising at least one circuit; and
processor; including;
The processor is
Control the display to display a first image,
While the first image is displayed, information related to a user state is obtained from an external device through the communication interface,
generating an audio corresponding to the user status and a second image corresponding to the audio based on the information related to the user status;
controlling the display to change the first image into the second image to display, and controlling the speaker to output the generated audio
electronic device.

According to claim 1,
The processor is
determining the type of the audio based on information related to the user state, and generating the audio corresponding to the determined type
electronic device.

3. The method of claim 2,
The type of audio is
defined based on characteristics of the audio including at least one of tempo, melody, harmony, chord, and rhythm
electronic device.

According to claim 1,
The information related to the user state includes first state information and second state information,
The processor is
determining the tempo of the audio based on the first state information,
determining the rhythm of the audio based on the second state information,
generating the audio based on the determined tempo and the determined rhythm
electronic device.

According to claim 1,
The processor is
Obtaining the audio by inputting information related to the user state into a neural network model trained to generate audio
electronic device.

According to claim 1,
Each of the first image and the second image includes at least one UI element,
The processor is
changing the at least one UI element based on the generated audio
electronic device.

According to claim 1,
The external device is a wearable device,
The processor is
acquiring the user's biometric information from the external device while the first image is displayed
electronic device.

According to claim 1,
The processor is
acquiring an image of the user, and analyzing the acquired image to obtain information related to the user's state
electronic device.

According to claim 1,
Information related to the user status,
including at least one of sleep state information, heart rate information, and movement information of the user
electronic device.

According to claim 1,
The processor is
Obtaining weather information while the first image is displayed,
generating the audio based on the information related to the user status and the weather information
electronic device.

A method for controlling an electronic device, comprising:
displaying a first image;
acquiring information related to a user state from an external device while the first image is displayed;
generating audio corresponding to the user status and a second image corresponding to the audio based on the information related to the user status; and
changing the first image to the second image, displaying the changed image, and outputting the generated audio;
control method.

12. The method of claim 11,
The step of generating the audio includes:
determining the type of the audio based on information related to the user state, and generating the audio corresponding to the determined type
control method.

13. The method of claim 12,
The type of audio is
defined based on characteristics of the audio including at least one of tempo, melody, harmony, chord, and rhythm
control method.

12. The method of claim 11,
The information related to the user state includes first state information and second state information,
The step of generating the audio includes:
determining the tempo of the audio based on the first state information,
determining the rhythm of the audio based on the second state information
control method.

12. The method of claim 11,
The step of generating the audio includes:
Obtaining the audio by inputting information related to the user state into a neural network model trained to generate audio
control method.

12. The method of claim 11,
Each of the first image and the second image includes at least one UI element,
The at least one UI element is changed based on the generated audio.
control method.

12. The method of claim 11,
The external device is a wearable device,
The information related to the user status includes the user's biometric information obtained by the external device
control method.

12. The method of claim 11,
The step of obtaining information related to the user state comprises:
acquiring an image of the user, and analyzing the acquired image to obtain information related to the user's state
control method.

12. The method of claim 11,
Information related to the user status,
including at least one of sleep state information, heart rate information, and movement information of the user
control method.

12. The method of claim 11,
Further comprising; acquiring weather information while the first image is displayed;
The step of generating the audio includes:
generating the audio based on the information related to the user status and the weather information
control method.