KR20190047642A

KR20190047642A - Power and mental state sensitized orgel and method for driving thereof

Info

Publication number: KR20190047642A
Application number: KR1020180130186A
Authority: KR
Inventors: 윤주현; 이동준; 이민구; 오혜윤; 김창우; 정기석; 고희곤; 전희연
Original assignee: 서울대학교산학협력단
Priority date: 2017-10-27
Filing date: 2018-10-29
Publication date: 2019-05-08
Also published as: KR102161222B1

Abstract

According to an embodiment of the present invention, a power and mental state sensitive music box capable of playing proper music comprises: a camera photographing the face of a user; a music box playing music; a music box driving unit controlling an operation of the music box; and a control unit detecting expression of the user using an image photographed through the camera, analyzing a mental state of the user based on the expression of the user, and controlling an operation of the music box driving unit to play music corresponding to the analyzed mental state. The control unit controls the operation of the music box in response to a state of power supplied to the music box.

Description

[0001] POWER AND MENTAL STATE SENSITIZED ORGEL AND METHOD FOR DRIVING THEREOF [0002]

본 발명은 오르골에 관한 것이다. 보다 상세하게는, 안면 인식을 통해 사용자의 심리 상태를 파악하고, 심리 상태에 대응되는 음악을 재생하도록 하는 전력 및 심리 상태 감응형 오르골 및 그것의 구동 방법에 관한 것이다.The present invention relates to a music box. More particularly, the present invention relates to a power and psychological state responsive music box for grasping a psychological state of a user through facial recognition and reproducing music corresponding to a psychological state, and a driving method thereof.

기존에 음악은 사용자가 듣기만 하는 형태로 단순 소비되기도 하지만, 고통이나 슬픔을 잊게 하거나 고된 노동을 하면서 감상하는 노동요나 망자로 인한 슬픔을 잊기 위해 사별곡과 같이 치료적인 의미로도 많이 사용된다. 이와 같이, 음악은 심리 치료에 활용되고 있으나, 사용자의 심리는 매우 복잡하기 때문에 사용자의 심리를 파악하기 위해서는 매우 시간이 오래 걸린다. In the past, music is consumed in a form that only the user listens to, but it is often used for therapeutic purposes such as forgetting the pain or sorrow, forgetting the sadness caused by the labor or the dead, which is appreciated while working hard. As such, music is being used for psychotherapy, but the psychology of the user is so complex that it takes a very long time to grasp the psychology of the user.

관련하여 선행기술문헌인 한국공개특허 제10-2007-0112685호에서는 음악을 이용한 심리 치료 기기에 대해 기재하고 있다. 선행기술문헌에서는 사용자의 귀에 착용하여 심장박동에 의한 맥을 감지하여 안정된 심리 상태를 유지하도록 하는 음악을 재생하고 있다.Korean Patent Laid-Open No. 10-2007-0112685, which is related to the prior art, describes a psychotherapeutic apparatus using music. The prior art references reproduce music that is worn on the user's ear to sense a heartbeat-induced pulse and maintain a stable psychological state.

선행기술문헌에서 예를 들어, 심장 박동이 빨라지는 경우를 살펴보면, 격렬한 운동을 통해 심장 박동이 빨라질 수 있지만, 사용자의 급격한 감정의 변화에 따라 심장 박동이 빨라질 수도 있다.In the prior art literature, for example, if the heart rate is accelerated, the heart rate may be accelerated by intense exercise, but the heart rate may be accelerated according to the user's sudden change of emotion.

이와 같이, 사용자의 심리 상태는 단순희 사용자의 심장 박동만을 사용하여 심리 상태를 파악하기에는 사용자의 심리 상태가 매우 복잡하기 때문에 사용자의 심리 상태를 정확히 판정하기 어렵다는 문제점이 있었다. 또한, 사용자는 오감을 사용하지만 단순히 음악만을 재생하면 청각만을 사용하기 때문에 시각과 같은 사용자의 다른 감각 기관을 충분히 활용하여 치료 효과를 제공하기 어렵다는 문제점이 있었다.In this way, the user's psychological state is difficult to accurately determine the psychological state of the user because the psychological state of the user is very complex in order to grasp the psychological state using only the heartbeat of the simple user. In addition, although the user uses the five senses, since only the auditory sense is used when only the music is reproduced, there is a problem that it is difficult to sufficiently utilize the user's other sensory organs such as the sight to provide a therapeutic effect.

따라서 상술된 문제점을 해결하기 위한 기술이 필요하게 되었다.Therefore, a technique for solving the above-described problems is required.

한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.On the other hand, the background art described above is technical information acquired by the inventor for the derivation of the present invention or obtained in the derivation process of the present invention, and can not necessarily be a known technology disclosed to the general public before the application of the present invention .

본 명세서에서 개시되는 실시예들은 사용자의 심리 상태를 정확히 파악하여 적절한 음악을 재생할 수 있는 전력 및 심리 상태 감응형 오르골 및 그것의 구동 방법을 제시하는 데 목적이 있다.The embodiments disclosed herein are aimed at providing a power and psychological state sensitive music box capable of correctly grasping a psychological state of a user and reproducing appropriate music, and a driving method thereof.

본 명세서에서 개시되는 실시에들은, 사용자의 심리 상태에 따라 청각과 시각을 동시에 활용할 수 있는 전력 및 심리 상태 감응형 오르골 및 그것의 구동 방법을 제시하는데 목적이 있다.The embodiments disclosed herein are aimed at providing a power and psychological state responsive music box and a driving method thereof that can utilize auditory and visual simultaneously according to a psychological state of a user.

본 명세서에서 개시되는 실시예들은, 사용자의 심리 상태에 따라 청각과 시각을 동시에 사용하여 사용자의 치료에 활용할 수 있는 전력 및 심리 상태 감응형 오르골 및 그것의 구동 방법을 제시하는데 목적이 있다.The embodiments disclosed herein are aimed at providing a power and psychological state sensitive music box and a driving method thereof that can be used for treating a user by simultaneously using auditory and visual according to a psychological state of a user.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면, 전력 및 심리 상태 감응형 오르골은, 사용자의 안면을 촬영하는 카메라, 음악을 재생하는 오르골, 상기 오르골의 동작을 제어하는 오르골 구동부, 및 상기 카메라를 통해 촬영된 영상을 사용하여 상기 사용자의 표정을 검출하고, 상기 사용자의 표정에 기초하여 상기 사용자의 심리 상태를 분석하고, 분석된 심리 상태에 대응되는 음악을 재생하도록 상기 오르골 구동부의 동작을 제어하는 제어부를 포함하고, 상기 제어부는 상기 오르골에 공급되는 전력 상태에 감응하여 상기 오르골의 동작을 제어한다.According to one embodiment of the present invention, the power and psychological state responsive music box includes a camera for photographing a user's face, a music box for playing music, a music box drive part for controlling the operation of the music box, And a controller for detecting the facial expression of the user using the image photographed by the camera, analyzing the psychological state of the user based on the facial expression of the user, and reproducing the music corresponding to the analyzed psychological state, And the control unit controls the operation of the music box in response to a power state supplied to the music box.

다른 실시예에 따르면, 전력 및 심리 상태 감응형 오르골의 구동 방법은, 사용자의 안면을 촬영하는 단계, 촬영된 영상을 사용하여 상기 사용자의 표정을 검출하는 단계, 상기 사용자의 표정에 기초하여 상기 사용자의 심리 상태를 분석하는 단계, 및분석된 심리 상태에 대응되는 음악을 재생하도록 오르골의 동작을 제어하는 단계를 포함하고, 상기 오르골의 동작을 제어하는 단계는, 상기 오르골에 공급되는 전력 상태에 감응하여 상기 오르골의 동작을 제어하는 단계를 포함한다.According to another embodiment, a method of driving a power and a psychological state sensitive music box includes the steps of photographing a face of a user, detecting a facial expression of the user using the photographed image, And controlling the operation of the music box to reproduce music corresponding to the analyzed psychological state, wherein the step of controlling the operation of the music box comprises the steps of: And controlling the operation of the music box.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자의 심리 상태를 정확히 파악하여 적절한 음악을 재생할 수 있는 전력 및 심리 상태 감응형 오르골 및 그것의 구동 방법을 제시할 수 있다.According to any one of the above-mentioned tasks, a power and psychological state responsive music box capable of correctly grasping a psychological state of a user and reproducing appropriate music can be presented and a driving method thereof.

본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자의 심리 상태에 따라 청각과 시각을 동시에 활용할 수 있는 전력 및 심리 상태 감응형 오르골 및 그것의 구동 방법을 제시할 수 있다.According to one of the tasks of the present invention, it is possible to provide a power and psychological state sensitive music box and a driving method thereof that can utilize auditory and visual simultaneously according to a psychological state of a user.

또한, 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자의 심리 상태에 따라 청각과 시각을 동시에 사용하여 사용자의 치료에 활용할 수 있는 전력 및 심리 상태 감응형 오르골 및 그것의 구동 방법을 제시할 수 있다.Further, according to any one of the tasks of the present invention, it is possible to present a power and psychological state sensitive music box and a driving method thereof that can be used for treating a user by simultaneously using auditory and visual according to a psychological state of a user have.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtained by the present invention are not limited to the above-mentioned effects, and other effects not mentioned can be clearly understood by those skilled in the art from the following description will be.

도 1은 일실시예에 따른 전력 및 심리 상태 감응형 오르골을 도시한 블록도이다.
도 2는 일실시예에 따른 전력 및 심리 상태 감응형 오르골에서 안면 인식을 하는 동작을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 전력 및 심리 상태 감응형 오르골의 구현을 도시한 도면이다.
도 4는 다른 실시예에 따른 전력 및 심리 상태 감응형 오르골의 구현을 도시한 순서도이다.
도 5는 일실시예에 따른 전력 및 심리 상태 감응형 오르골의 드럼 내에서 건반을 재배열하는 구조를 설명하기 위한 도면이다.
도 6은 일실시예에 따른 전력 및 심리 상태 감응형 오르골의 구동 동작을 도시한 순서도이다.1 is a block diagram showing a power and psychological state sensitive music box according to an embodiment.
FIG. 2 is a view for explaining a facial recognition operation in a power and psychological state sensitive music box according to an embodiment.
FIG. 3 is a diagram illustrating an embodiment of a power and psychological state sensitive music box according to one embodiment.
4 is a flowchart illustrating an embodiment of a power and psychological state sensitive music box according to another embodiment.
FIG. 5 is a diagram for explaining a structure for rearranging keys in a drum of a power and psychological state sensitive music box according to an embodiment.
6 is a flowchart illustrating a driving operation of the power and psychological state sensitive music boxes according to an embodiment.

아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Various embodiments are described in detail below with reference to the accompanying drawings. The embodiments described below may be modified and implemented in various different forms. In order to more clearly describe the features of the embodiments, detailed descriptions of known matters to those skilled in the art are omitted. In the drawings, parts not relating to the description of the embodiments are omitted, and like parts are denoted by similar reference numerals throughout the specification.

명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.Throughout the specification, when a configuration is referred to as being "connected" to another configuration, it includes not only a case of being directly connected, but also a case of being connected with another configuration in between. In addition, when a configuration is referred to as " including ", it means that other configurations may be included, as well as other configurations, as long as there is no specially contradicted description.

이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

위에 정의한 용어 이외에 설명이 필요한 용어는 아래에서 각각 따로 설명한다.Terms other than those defined above are explained below separately.

도 1은 일실시예에 따른 전력 및 심리 상태 감응형 오르골을 도시한 블록도이다.1 is a block diagram showing a power and psychological state sensitive music box according to an embodiment.

도 1에 도시된 바와 같이, 전력 및 심리 상태 감응형 오르골(100)은 입출력부(110), 통신부(120), 저장부(130), 카메라(140), 카메라 구동부(141), 오르골(150), 오르골 구동부(151) 및 제어부(160)를 포함할 수 있다.1, the power and psychological state sensitive music box 100 includes an input / output unit 110, a communication unit 120, a storage unit 130, a camera 140, a camera driving unit 141, a music box 150 A music box drive unit 151, and a control unit 160. [

입출력부(110)는 사용자로부터 입력을 수신하기 위한 마이크와, 작업의 수행 결과 또는 전력 및 심리 상태 감응형 오르골(100)의 상태 등의 정보를 표시하기 위한 디스플레이 패널을 포함할 수 있다.The input / output unit 110 may include a microphone for receiving an input from a user, and a display panel for displaying information such as a result of a task or a state of the power and psychological state sensitive music box 100.

통신부(120)는 다른 디바이스 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신부(120)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 모듈은 칩셋(chipset)의 형태로 구현될 수 있다.The communication unit 120 can perform wire / wireless communication with another device or a network. To this end, the communication unit 120 may include a communication module supporting at least one of various wired / wireless communication methods. For example, the communication module may be implemented in the form of a chipset.

저장부(130)는 파일, 애플리케이션, 및 프로그램 등과 같은 다양한 종류의 데이터가 설치 및 저장될 수 있다. 저장부(130)에 저장된 데이터는 후술될 제어부(160)에 의해 액세스되어 이용되거나, 또는 제어부(160)에 의해 새로운 데이터가 저장될 수 있다. 또한 저장부(130)는 제어부(160)에 의해 실행될 수 있는 사용자의 심리 상태를 감응하여 음악을 제공하기 위한 프로그램을 저장할 수 있다.The storage unit 130 may store and store various kinds of data such as files, applications, programs, and the like. The data stored in the storage unit 130 may be accessed or used by the control unit 160 to be described later, or the new data may be stored by the control unit 160. [ Also, the storage unit 130 may store a program for providing music in response to a psychological state of the user, which can be executed by the control unit 160. [

카메라(140)는 주변 영상을 촬영할 수 있다. 카메라(140)는 사용자의 영상을 촬영할 수 있다. 카메라(140)는 촬영된 영상을 제어부(160)로 제공할 수 있다. 이때, 촬영된 영상은 사진과 같은 정지 영상뿐만 아니라 동영상을 포함할 수도 있다.The camera 140 can take a surrounding image. The camera 140 can take a picture of the user. The camera 140 may provide the photographed image to the control unit 160. At this time, the photographed image may include a moving image as well as a still image such as a photograph.

카메라 구동부(141)는 카메라에 결합되거나 연결되고, 사용자의 안면 영상을 촬영하기 위해 초점이나 촬영 방향 등을 제어부(160)의 제어에 의해 조절할 수 있다.The camera driver 141 may be coupled to or connected to the camera, and may control the focus, the shooting direction, and the like by controlling the controller 160 in order to capture a user's face image.

오르골(150)은 음악을 재생할 수 있으며, 음악을 재생하기 위해 돌출된 형상을 갖는 건반이 표면에 배치된 드럼(또는 금속판)과 건반에 부딪혀 노래를 재생하기 위한 바늘을 포함할 수 있다. 오르골(150)은 음악의 재생 시 움직이도록 설계된 구조물을 포함할 수 있다. 또한, 오르골(150)은 노래와 함께 구조물, 구조물 주변, 전력 및 심리 상태 감응형 오르골(100) 자체(바디 또는 하우징) 중 적어도 일부에 색상을 출력할 수 있는 유기 발광 다이오드(LED: Light Emitting Diode)와 같은 색상 출력 소자 등을 추가로 포함할 수도 있다.The music box 150 can play music, and can include a drum (or metal plate) on which a keyboard having a protruding shape for reproducing music is disposed, and a needle for playing a song by hitting the keyboard. The music box 150 may include a structure designed to move during playback of music. In addition, the music box 150 may include a light emitting diode (LED) that can output colors to at least a part of the structure, the structure surroundings, and the power and psychological state sensitive music box 100 itself (body or housing) ), And the like may be further included.

오르골 구동부(151)는 오르골(150)을 구동시킬 수 있고, 드럼, 바늘, 구조물 등의 구동을 제어할 수 있다. 이를 통해, 오르골 구동부(151)는 사용자의 심리 상태에 대응하여 결정된 음악을 재생하거나 구조물을 동작시킬 수 있다. 또한, 오르골 구동부(151)는 색상 출력 소자 등을 구동시켜 사용자의 심리 상태에 대응되는 색상을 출력하도록 할 수도 있다.The music box drive unit 151 can drive the music box 150 and can control the driving of the drum, the needle, the structure, and the like. In this way, the music box drive unit 151 can reproduce music or operate the structure determined according to the psychological state of the user. In addition, the music box drive unit 151 may drive a color output device or the like to output a hue corresponding to a psychological state of the user.

한편, 제어부(160)는 전력 및 심리 상태 감응형 오르골(100)의 전체적인 동작을 제어하며, CPU 등과 같은 프로세서를 포함할 수 있다. 제어부(160)는 입출력부(110)를 통해 수신한 유저 입력에 대응되는 동작을 수행하도록 전력 및 심리 상태 감응형 오르골(100)에 포함된 다른 구성들을 제어할 수 있다.Meanwhile, the control unit 160 controls the overall operation of the power and psychological state sensitive music box 100, and may include a processor such as a CPU. The control unit 160 may control other components included in the power and psychological state sensitive music box 100 to perform an operation corresponding to the user input received through the input and output unit 110. [

본 실시예에 따르면, 제어부(160)는 사용자의 안면 인식을 위해 사용자의 안면을 촬영한 영상을 카메라(140)로부터 수신할 수 있다. 제어부(160)는 카메라를 통해 촬영된 영상을 사용하여 사용자의 표정을 검출할 수 있다.According to the present exemplary embodiment, the controller 160 may receive the image of the user's face taken from the camera 140 for the face recognition of the user. The control unit 160 can detect the user's facial expression using the image photographed through the camera.

제어부(160)는 촬영된 영상에 사용자의 얼굴을 적절히 촬영하였는지 또는 촬영된 영상의 초점을 적절히 조절하였는지를 확인할 수 있다. 이에, 촬영 방향 내지는 초점의 제어가 필요한 경우, 제어부(160)는 카메라(140)의 촬영 방향 내지는 초점을 제어하기 위해 카메라 구동부(141)를 제어할 수 있다.The control unit 160 can confirm whether the user has properly photographed the user's face or adjusted the focus of the photographed image appropriately. If control of the photographing direction or focus is required, the control unit 160 may control the camera driving unit 141 to control the photographing direction or the focus of the camera 140.

제어부(160)는 촬영된 영상으로부터 안면에 대응되는 영역을 인식하고, 인식된 영역 내에서 눈썹, 눈, 코, 입, 피부색 및 안면 근육 등을 검출할 수 있다. 이를 통해, 제어부(160)는 사용자의 표정을 검출할 수 있다.The control unit 160 recognizes the area corresponding to the face from the photographed image and can detect eyebrows, eyes, nose, mouth, skin color and facial muscles within the recognized area. Accordingly, the control unit 160 can detect the user's facial expression.

한편, 제어부(160)는 머신 딥 러닝을 통해 학습된 사용자의 표정에 관련된 정보를 활용할 수도 있다. 제어부(160)는 머신 딥 러닝을 통해 사용자의 표정을 직접 학습하거나, 학습된 정보를 수신하여 촬영된 영상으로부터 사용자의 심리 상태를 결정할 수도 있다.Meanwhile, the controller 160 may utilize information related to the facial expression of the learned user through machine deep learning. The control unit 160 may directly learn the user's facial expression through machine deep learning or receive the learned information and determine the psychological state of the user from the photographed image.

제어부(160)는 사용자의 표정을 사용하면, 심박수와 같은 단편적인 정보 대비 보다 정확한 사용자의 심리 상태를 확인할 수 있다. 제어부(160)는 검출된 사용자의 표정에 기초하여 사용자의 심리 상태를 분석할 수 있다. 여기서, 심리 상태는 기쁨, 슬픔, 우울, 차분 및 분노 등과 같은 사용자의 감정에 대한 상태를 의미할 수 있다.When the user's facial expression is used, the controller 160 can confirm the psychological state of the user more accurately than the piece of information such as the heart rate. The control unit 160 may analyze the user's psychological state based on the detected user's facial expression. Here, the psychological state may mean the state of the user's emotions such as joy, sadness, depression, difference and anger.

제어부(160)는 심리 상태의 분석을 통해 심리 상태가 결정되면, 결정된 심리 상태에 대응되는 음악을 선택할 수 있다. 예를 들어, 제어부(160)는 심리 상태가 '우울'인 경우, 댄스 음악과 같은 신나는 음악을 선택하여 사용자의 기분을 전환하거나, '발라드 음악과 같이 잔잔한 음악을 선택하여 사용자의 심신을 안정시킬 수 있도록 오르골 구동부(151)의 동작을 제어할 수 있다. 제어부(160)는 사용자의 심리 상태에 대응되는 음악이 매칭된 정보를 저장부(130)를 통해 관리할 수 있으며, 사용자의 심리 상태에 대응되는 음악이 재생되도록 오르골 구동부(151)를 제어할 수 있다. 이와 같이, 제어부(160)는 사용자의 심리 상태에 감응하여 음악을 제공할 수 있는 심리 상태 감응형 동작을 수행할 수 있다.If the psychological state is determined through analysis of the psychological state, the controller 160 can select music corresponding to the determined psychological state. For example, if the psychological state is 'depressed', the control unit 160 may switch the mood of the user by selecting an exciting music such as dance music, or may select a calm music such as ballad music to stabilize the mind and body of the user The operation of the music box drive unit 151 can be controlled. The control unit 160 may manage the music matching information corresponding to the psychological state of the user through the storage unit 130 and may control the music box driving unit 151 to reproduce music corresponding to the psychological state of the user have. In this way, the controller 160 can perform a psychological state sensitive operation that can provide music in response to the psychological state of the user.

이를 위해, 오르골(150)은 두 개 이상의 음악을 재생할 수 있도록 설정될 수 있다. 제어부(160)는 오르골(150)에서 제공되는 음악들 중에서 사용자의 심리 상태에 대응되는 음악을 재생하도록 오르골 구동부(151)를 제어하여 드럼의 위치를 고정된 바늘의 위치를 기준으로 이동시키거나, 바늘의 위치를 고정된 드럼의 위치를 기준으로 이동시킬 수 있다.To this end, the music box 150 can be set to play two or more pieces of music. The control unit 160 controls the music box drive unit 151 to reproduce music corresponding to the psychological state of the music provided by the music box 150 to move the position of the drum based on the position of the fixed needle, The position of the needle can be moved based on the position of the fixed drum.

한편, 오르골(150)은 하나의 음악만을 재생할 수 있도록 설정된 경우, 제어부(160)는 사용자의 심리 상태에 따라 음악을 재생하는 속도(즉, 템포)를 조절(느리거나 빠르게)하도록 오르골 구동부(151)를 제어할 수 있다. 제어부(150)는 하나의 음악을 제공하더라도 음악의 재생 속도 등을 변화시켜 하나의 음악이 주는 느낌을 다양하게 변화하도록 조절할 수도 있다. 이를 위해, 제어부(160)는 오르골 구동부(151)를 이용하여 드럼의 이동 속도를 제어하거나 바늘의 이동 속도를 제어할 수 있다.If the music box 150 is set to be capable of playing only one music, the controller 160 controls the music box drive unit 151 (or the music box drive unit) to adjust (slow or speed up) Can be controlled. The control unit 150 may change the reproduction speed of the music to vary the feeling of one music even if one music is provided. To this end, the control unit 160 may control the moving speed of the drum or the moving speed of the needle using the music box driving unit 151.

한편, 제어부(160)는 오르골(150)에서 재생되는 음악을 조절하여 변경할 수도 있다. 예를 들어, 드럼의 표면에 배치된 건반의 위치를 재배치 또는 변경이 가능한 경우, 제어부(160)는 사용자에 의해 선호하는 음악의 리스트를 저장부(130) 등에 저장하고, 오르골 구동부(151)를 이용하여 사용자의 심리 상태에 따라 선호하는 음악이 재생되도록 드럼의 표면에 배치된 건반의 위치를 변경할 수도 있다.Meanwhile, the control unit 160 may change the music played on the music box 150 by changing the music. For example, when the position of the keyboard disposed on the surface of the drum can be rearranged or changed, the control unit 160 stores a list of music preferred by the user in the storage unit 130 or the like and controls the music box drive unit 151 The position of the keyboard disposed on the surface of the drum may be changed so that the preferred music is reproduced according to the psychological state of the user.

제어부(160)는 사용자의 심리 상태에 대응하여 동작할 구조물을 선택할 수도 있다. 여기서, 구조물은 오르골(150)의 상단에서 음악과 함께 회전하거나, 음악과 함께 소정 동작을 수행하는 물체로서, 다양한 형상으로 구현될 수 있다. 제어부(160)는 구조물에 대해서도 심리 상태에 대응되는 동작을 수행하도록 오르골 구동부(151)를 제어할 수 있다. 예를 들어, 제어부(160)는 오르골(150)의 드럼에 구조물이 연결된 경우, 해당 드럼에서 제공되는 음악과 함께 사용자의 심리 상태에 대응되는 동작을 구조물이 수행하도록 오르골 구동부(151)를 제어할 수 있다.The control unit 160 may select a structure to be operated in response to the psychological state of the user. Here, the structure is an object that rotates with music at the top of the music box 150, or performs a predetermined operation together with music, and may be implemented in various shapes. The control unit 160 may control the music box drive unit 151 to perform an operation corresponding to the psychological state of the structure. For example, when the structure is connected to the drum of the music box 150, the control unit 160 controls the music box drive unit 151 such that the structure performs music corresponding to the user's psychological state, .

예를 들어, 제어부(160)는 사용자의 심리 상태가 '기쁨'인 경우, 오르골(150) 내의 광대 형상의 구조물이 춤추는 동작을 수행하도록 오르골 구동부(151)를 제어할 수 있다. 이와 달리, 사용자의 심리 상태가 '슬픔'인 경우, 오르골(150) 내의 강아지 형상의 구조물이 애교를 부리는 동작을 수행하도록 오르골 구동부(151)를 제어할 수 있다.For example, the control unit 160 may control the music box drive unit 151 to perform a dancing operation of the clown structure in the music box 150 when the psychological state of the user is 'joyful'. Alternatively, when the psychological state of the user is 'sad', the music box drive unit 151 may be controlled so that the puppy-shaped structure in the music box 150 performs a complicated operation.

또한, 제어부(160)는 사용자의 심리 상태에 대응하여 색상 출력 소자에서 출력되는 색상을 조절하도록 오르골 구동부(151)를 제어할 수 있다. 제어부(160)는 색상 출력 소자가 각각의 색상을 구비하는 경우, 사용자의 심리 상태에 대응되는 색상을 출력하는 소자를 오르골 구동부(151)를 이용하여 점등시킬 수 있다. 예를 들어, 제어부(160)는 사용자의 심리 상태가 '기쁨'인 경우, 색상 출력 소자에서 '붉은색'의 색상이 출력되도록 오르골 구동부(151)를 제어할 수 있다. 또한, 제어부(160)는 사용자의 심리 상태가 '흥분'인 경우, 색상 출력 소자에서 '파란색'의 색상이 출력되도록 오르골 구동부(151)를 제어할 수 있다. In addition, the control unit 160 may control the music box drive unit 151 to adjust the hues output from the color output device according to the psychological state of the user. When the color output elements are provided with respective colors, the control unit 160 may turn on the elements using the music box drive unit 151 to output colors corresponding to the psychological state of the user. For example, the control unit 160 may control the music box drive unit 151 to output 'red' color in the color output device when the user's psychological state is 'joy'. In addition, when the psychological state of the user is 'excited', the control unit 160 may control the music box drive unit 151 to output 'blue' color in the color output device.

이때, 색상 출력 소자는 오르골(150) 내의 구조물 내부, 외부, 또는 주변에 위치하거나, 전력 및 심리 상태 감응형 오르골(100)의 하우징 또는 받침대 등 다양한 부분에 위치할 수 있다.At this time, the color output element may be located inside, outside, or around the structure of the music box 150, or may be located in various portions such as a housing or a pedestal of the power and psychological state sensitive music box 100.

제어부(160)는 머신 딥 러닝을 통해 오르골의 음악 패턴을 분석하고, 사용자의 심리 상태에 맞추어 오르골(150)에서 재생되는 음악을 새롭게 만들 수도 있다. 제어부(160)는 새롭게 만들어진 음악을 오르골(150)에 적용하기 위해, 예를 들어, 오르골 내 드럼에서 건반 모양이나 형태를 변경하거나, 드럼의 교체를 위한 정보(교체할 드럼에 대한 정보)를 출력할 수도 있다.The control unit 160 may analyze the music pattern of the music box through machine deep running and may newly create music to be reproduced in the music box 150 according to the psychology state of the user. The control unit 160 changes the shape of the keyboard or shape in the music box drum or outputs information for replacing the drum (information on the drum to be replaced), for example, in order to apply the newly created music to the music box 150 You may.

한편, 제어부(160)는 사용자의 심리 상태를 판별할 때, 입출력부(110)의 마이크 등을 추가로 이용할 수도 있다. 예를 들어, 촬영된 영상에 기초하여 사용자의 심리 상태를 판단할 때, 제어부(160)는 소정 기준의 정확도 이상에 대응되는 심리 상태가 결정되지 못하거나 심리 상태 판정의 오류 발생 빈도가 소정 횟수 이상 반복되는 경우, 마이크를 통해 사용자의 음성을 추가로 입력받고, 입력된 사용자의 음성을 심리 상태 판정에 함께 이용할 수도 있다. 제어부(160)는 사용자의 목소리의 억양, 톤 등을 분석하여 사용자의 심리 상태 판정을 위한 정보를 추가로 획득할 수도 있다.The controller 160 may further use a microphone or the like of the input / output unit 110 when determining the psychological state of the user. For example, when determining the psychological state of the user based on the photographed image, the control unit 160 determines that the psychological state corresponding to the accuracy of the predetermined reference is not determined, or the occurrence frequency of the psychological state determination is equal to or greater than a predetermined number of times If it is repeated, the user's voice may be further input through the microphone, and the voice of the user may be used together with the psychological state determination. The control unit 160 may further acquire information for determining the psychological state of the user by analyzing the intonation, tone, etc. of the user's voice.

또한, 제어부(160)는 입출력부(110)의 마이크를 사용한 음성 인식이 가능한 경우, 화자 인증을 하여 확인된 사용자에 대해 저장부(130)에 미리 저장된 해당 사용자의 얼굴 표정을 저장한 영상을 카메라(140)를 통해 촬영된 영상과 비교하여 사용자의 심리 상태를 판단하도록 할 수도 있다.When the voice recognition using the microphone of the input / output unit 110 is possible, the control unit 160 transmits the image stored in the storage unit 130, which stores the facial expression of the user stored in advance in the storage unit 130, It is possible to determine the psychological state of the user by comparing the photographed image with the image photographed through the image capturing unit 140.

이와 같이, 제어부(160)는 함께 마이크에 의해 입력된 음성을 카메라의 촬영 영상과 함께 사용하면, 사용자의 심리 상태를 결정하는데 따른 정확도를 더욱 높일 수 있다.In this way, the controller 160 can use the voice inputted by the microphone together with the photographed image of the camera to further improve the accuracy in determining the psychological state of the user.

제어부(160)는 전력 및 심리 상태 감응형 오르골(100)의 동작을 전력 감응형 방식으로 구동할 수 있다. 예를 들어, 제어부(160)는 오르골의 동작을 위한 전력 상태를 판단하고, 전력 상태에 감응하여 전력 수요가 많은 시간 대에서는 전력 사용량을 감소시킬 수 있도록 동작을 제어하고, 전력 수요가 적은 시간 대에서는 전력을 충분히 활용할 수 있도록 동작을 제어할 수 있다. 예를 들어, 제어부(100)는 전력 수요가 많은 시간 대에서는 일부 구조물 또는 색상 출력 소자 등의 동작을 일부 제한할 수 있으며, 전력 수요가 적어 전력이 충분한 시간 대에서는 구조물과 색상 출력 소자 등을 모두 동작시킬 수 있다.The control unit 160 may drive the operation of the power and psychological state sensitive music box 100 in a power-sensitive manner. For example, the control unit 160 determines the power state for operation of the music box, controls the operation in response to the power state to reduce the amount of power consumption in a time zone where power demand is high, The operation can be controlled so as to fully utilize the power. For example, the control unit 100 may restrict the operation of some structures or color output devices in a time zone where power demand is high. In the case where the power demand is low and the power is sufficient, .

이와 같이, 제어부(160)는 예비전력이나 수요전력과 같은 전력 상태에 감응하여 동작 제어를 할 수 있다. 특히, 제어부(160)는 전력에 대한 수요가 적어 전력이 여유로운 시간 대를 파악하고, 내부의 배터리(미도시) 등을 충전할 수 있다. 이때, 충전된 배터리의 전력을 제어부(160)는 전력 소비가 많은 시간 대에 활용할 수 있다.In this way, the controller 160 can perform the operation control in response to the power state such as the standby power or the demanded power. Particularly, the controller 160 can recognize the time zone where the power is small because there is little demand for the electric power, and can charge the internal battery (not shown). At this time, the power of the charged battery can be utilized by the control unit 160 in a time period where power consumption is high.

또한, 제어부(160)는 예비전력과 현재 수요전력에 감응하여 전력을 사용하도록 제어할 수 있다. 제어부(160)는 전력 에너지의 효율적인 사용을 위해서 잉여 전기를 모아 전력 및 심리 상태 감응형 오르골(100)의 동작에 활용할 수 있다.Also, the controller 160 can control the power to be used in response to the preliminary power and the current demand power. The control unit 160 may collect surplus electricity for efficient use of the power energy and utilize it for operation of the power and psychological state sensitive music box 100. [

이를 통해, 전력 및 심리 상태 감응형 오르골(100)은 사용자의 심리 상태를 정확히 파악하여 적절한 음악을 재생할 수 있다. 전력 및 심리 상태 감응형 오르골(100)은 음악을 제공하는 구성 이외에 사용자에게 시각적 자극을 주는 구조물 또는 색상 출력 소자 등을 활용하여 사용자에게 청각과 시각을 동시에 사용하게 할 수 있다.Thus, the power and psychological state sensitive music box 100 can correctly recognize the psychological state of the user and reproduce appropriate music. The power and psychological state sensitive music box 100 can use a structure or a color output element that gives a visual stimulus to a user in addition to a structure for providing music to allow a user to simultaneously use auditory and visual.

한편, 전력 및 심리 상태 감응형 오르골(100) 내의 각 구성 요소들 중 적어도 일부, 예를 들어, 카메라(140)(카메라 구동부(141)) 또는 오르골(150)(오르골 구동부(151))는 필요에 따라 독립된 모듈로 구현되어, 전력 및 심리 상태 감응형 오르골(100)과 연결되거나 통신하며 동작하도록 구현될 수도 있다.On the other hand, at least some of the components in the power and psychological state responsive music box 100, for example, the camera 140 (camera driver 141) or the music box 150 (music box drive 151) And may be implemented to operate in connection with or communicate with the power and psychological state sensitive music box 100. [

도 2는 일실시예에 따른 전력 및 심리 상태 감응형 오르골에서 안면 인식을 하는 동작을 설명하기 위한 도면이다.FIG. 2 is a view for explaining a facial recognition operation in a power and psychological state sensitive music box according to an embodiment.

도 2를 참조하면, 전력 및 심리 상태 감응형 오르골(100)은 사용자(10)의 안면 인식을 위해 카메라(140)를 사용하여 사용자(10)를 촬영할 수 있다.Referring to FIG. 2, the power and psychological state responsive music box 100 can photograph the user 10 using the camera 140 for facial recognition of the user 10.

전력 및 심리 상태 감응형 오르골(100)은 카메라(140)를 이용하여 사용자의 안면을 촬영한 영상을 획득할 수 있다. 전력 및 심리 상태 감응형 오르골(100)은 사용자의 안면 영상을 촬영하기 위해 카메라의 촬영 방향과 초점을 조절할 수 있다.The power and psychological state sensitive music box 100 can acquire an image of a user's face using a camera 140. [ The power and psychological state responsive music box 100 can adjust the photographing direction and focus of the camera in order to photograph a user's face image.

전력 및 심리 상태 감응형 오르골(100)은 사용자에게 안면 촬영을 유도할 수 있도록 카메라 렌즈의 전면에 거울과 같은 구조물을 추가로 부착할 수도 있다.The power and psychological state responsive music box 100 may further include a mirror-like structure on the front surface of the camera lens so as to induce a user to take a face image.

전력 및 심리 상태 감응형 오르골(100)에는 사용자의 심리 상태에 감응하여 동작하기 위한 배(ship) 형상의 구조물(101), 광대(clown) 형상의 구조물(102), 강아지(dog) 형상의 구조물(103)을 추가로 포함할 수 있다.The power and psychological state responsive music box 100 is provided with a ship structure 101, a clown structure 102, and a dog shape structure 102 for responding to a psychological state of a user, (103). &Lt; / RTI >

도 3은 일실시예에 따른 전력 및 심리 상태 감응형 오르골의 구현을 도시한 도면이다.FIG. 3 is a diagram illustrating an embodiment of a power and psychological state sensitive music box according to one embodiment.

도 3을 참조하면, 전력 및 심리 상태 감응형 오르골(100)은 안면 인식을 위한 촬영 영상을 생성하는 카메라(140)를 부착한 구조를 갖는다.Referring to FIG. 3, the power and psychological state sensitive music box 100 has a structure in which a camera 140 for generating a photographed image for facial recognition is attached.

전력 및 심리 상태 감응형 오르골(100)은 3종류의 음악을 제공할 수 있으며, 3종류의 음악 각각을 제공하기 위한 3개의 드럼(1011, 1021, 1031)을 포함할 수 있다. 드럼(1011, 1021, 1031) 각각은 드럼의 표면에 음악을 제공하기 위한 돌출된 건반(1031)이 형성될 수 있다. 이를 통해, 드럼(1011, 1021, 1031) 각각은 서로 다른 음악을 제공할 수 있으며, 건반의 배치 형태도 서로 다르게 구성될 수 있다.The power and psychological state responsive music box 100 may provide three types of music and may include three drums 1011, 1021, and 1031 for providing three types of music, respectively. Each of the drums 1011, 1021, and 1031 may be formed with a protruding key 1031 for providing music to the surface of the drum. Thus, each of the drums 1011, 1021, and 1031 can provide different music, and the arrangements of the keyboards can be different from each other.

바늘(105)은 드럼(1011, 1021, 1031)의 표면에 배치된 건반들과 부딪혀 소리를 내며, 드럼(1011, 1021, 1031)의 회전과 함께 드럼(1011, 1021, 1031)의 표면에 위치한 건반에 부딪힐 수 있다. 이를 위해, 바늘(105)은 바늘 액츄에이터(1051)에 의해 음악이 재생되는 동안 드럼 표면의 건반에 모두 부딪힐 수 있도록 움직(예를 들어, 상하 운동)일 수 있다.The needles 105 make sound by bumping against the keys arranged on the surfaces of the drums 1011, 1021 and 1031 and are located on the surfaces of the drums 1011, 1021 and 1031 together with the rotation of the drums 1011, 1021 and 1031 You can hit the keyboard. To this end, the needle 105 may be moved (e.g., up and down) so that it can hit all of the keys of the drum surface while the music is being reproduced by the needle actuator 1051.

드럼(1011, 1021, 1031)은 전력 및 심리 상태 감응형 오르골(100)의 하우징(104) 내에 포함될 수 있다. 하우징(104) 하단에는 전력 및 심리 상태 감응형 오르골(100)의 나머지 모듈들이 포함될 수 있는 받침(106)부분을 포함할 수 있다.Drums 1011, 1021, and 1031 may be included in the housing 104 of the power and psychological state responsive music box 100. The lower end of the housing 104 may include a portion of the pedestal 106, which may include the remaining modules of the power and psychological state responsive music box 100.

한편, 드럼(1011, 1012, 1013)이 결합된 바닥면 전체가 회전하여 사용자의 심리 상태에 대응되는 음악를 제공하는 드럼이 바늘(105)에 접촉되도록 하여 재생될 음악을 선택할 수 있다. 이와 달리, 하우징(104)의 표면 또는 바닥의 레일을 통해 바늘(105)과 액츄에이터(1051)가 사용자의 심리 상태에 대응되는 음악를 제공하는 드럼의 측면에 위치하도록 이동하여 재생될 음악을 선택할 수도 있다.On the other hand, the entire bottom surface to which the drums 1011, 1012, and 1013 are coupled rotates, and a drum, which provides music corresponding to the psychological state of the user, is brought into contact with the needle 105 to select music to be reproduced. Alternatively, the needle 105 and the actuator 1051 may be moved through the rails on the surface or the bottom of the housing 104 so as to be positioned on the side of the drum providing music corresponding to the psychological state of the user, .

전력 및 심리 상태 감응형 오르골(100)은 사용자의 심리 상태에 대응되는 음악을 재생할 드럼을 결정할 수 있다. 전력 및 심리 상태 감응형 오르골(100)은 결정된 음악에 대응되는 드럼을 회전시켜 음악을 재생할 수 있다.The power and psychological state responsive music box 100 can determine the drum to reproduce music corresponding to the psychological state of the user. The power and psychological state responsive music box 100 can reproduce music by rotating the drum corresponding to the determined music.

한편, 전력 및 심리 상태 감응형 오르골(100) 내의 드럼(1011, 1021, 1031) 각각의 상단에는 구조물이 위치할 수 있다. 예를 들어, 제 1 드럼(1011)의 상단에는 배 형상의 구조물(101), 제 2 드럼(1021)의 상단에는 광대 형상의 구조물(102), 제 3 드럼(1031)의 상단에는 강아지 형성의 구조물(103)이 위치할 수 있다. 이때, 구조물(101, 102, 103) 각각의 형상 내지는 동작은 사용자의 심리 상태에 따라 제공되는 음악과 함께 동작할 수 있다.On the other hand, structures may be positioned at the upper ends of the drums 1011, 1021, and 1031 in the power and psychological state responsive music box 100, respectively. For example, at the upper end of the first drum 1011, a pear-shaped structure 101, at the upper end of the second drum 1021, a vast structure 102, and at the upper end of the third drum 1031, The structure 103 may be located. At this time, the shape or operation of each of the structures 101, 102, and 103 may operate with music provided according to the psychological state of the user.

전력 및 심리 상태 감응형 오르골(100)의 구조물(101, 102, 103)은 드럼에 결합되어 단순 회전 동작을 수행할 수 있으나, 필요에 따라 다양한 동작을 수행(예를 들어, 광대 형상의 구조물(102)의 경우 춤을 추는 동작을 수행)할 수도 있다. 한편, 구조물(101, 102, 103)은 홀로그램과 같이 투사되는 구조물로 구현될 수도 있다.The structures 101, 102, and 103 of the power and psychological state responsive music box 100 may be coupled to the drum to perform a simple rotation operation, but may perform various operations as needed (for example, 102) can perform the action of dancing). Meanwhile, the structures 101, 102, and 103 may be implemented as a structure that is projected like a hologram.

또한, 전력 및 심리 상태 감응형 오르골(100)은 하우징(104), 받침대(106), 드럼(1011, 1021, 1031), 또는 구조물(101, 102, 103)의 내부 또는 주변에 배치된 색상 출력 소자(예를 들어, 발광다이오드(LED))를 이용하여 사용자의 심리 상태에 대응되는 색상을 출력하도록 할 수 있다.The power and psychological state responsive music box 100 is also connected to the housing 104, the pedestal 106, the drums 1011, 1021 and 1031, or the color output It is possible to output a color corresponding to the psychological state of the user by using a device (for example, a light emitting diode (LED)).

도 4는 다른 실시예에 따른 전력 및 심리 상태 감응형 오르골의 구현을 도시한 순서도이다.4 is a flowchart illustrating an embodiment of a power and psychological state sensitive music box according to another embodiment.

도 4를 참조하면, 전력 및 심리 상태 감응형 오르골(200)은 구조물(210)이 받침대(220)의 상단에 위치한다. 여기서 구조물(210)은 로코코 시대의 건물을 닮은 보석함의 형상을 가질 수 있다.Referring to FIG. 4, the power and psychological state responsive music box 200 is located at the top of the pedestal 220. Here, the structure 210 may have a shape of a jewel box resembling a building of the Rococo era.

전력 및 심리 상태 감응형 오르골(200)은 구조물(210)과 받침대(220) 사이에 오르골 구동부를 구현한 회전판(230)을 추가로 포함할 수 있다. 이를 통해, 전력 및 심리 상태 감응형 오르골(200)은 사용자의 심리 상태에 따라 구조물(210)을 회전시킬 수 있다.The power and psychological state responsive music box 200 may further include a rotation plate 230 that implements a music box drive between the structure 210 and the pedestal 220. Accordingly, the power and psychological state responsive music box 200 can rotate the structure 210 according to the psychological state of the user.

전력 및 심리 상태 감응형 오르골(200)은 사용자의 영상을 촬영하기 위한 카메라(240)를 포함할 수 있다. 전력 및 심리 상태 감응형 오르골(200)은 사용자를 촬영한 영상으로부터 안면을 인식하여 사용자의 심리 상태를 결정할 수 있다. 전력 및 심리 상태 감응형 오르골(200)은 사용자의 심리 상태를 결정하면, 심리 상태에 대응되는 음악을 재생시킬 수 있다.The power and psychological state responsive music box 200 may include a camera 240 for capturing an image of a user. The power and psychological state sensitive music box 200 can determine the psychological state of the user by recognizing the face from the image of the user. When the power and psychological state sensitive music box 200 determines the psychological state of the user, it is possible to reproduce music corresponding to the psychological state.

예를 들어, 전력 및 심리 상태 감응형 오르골(200)은 심리 상태가 '분노'인 경우, 사용자의 심리 상태를 차분하게 만들기 위해 안정감을 줄 수 있는 '발라드음악'을 선택할 수 있다. 이때, 구조물(210)의 회전 속도는 화살표(201)로 표시되어 있다. 또한, 구조물(210)의 표면 또는 구조물(210) 주변에서 차분한 느낌을 갖도록 하는 '파란색(202)'의 색상을 출력하도록 색상 출력 소자를 제어하여 파란색의 조명이 비춰지는 효과를 제공할 수 있다.For example, the power and psychological state responsive music box 200 can select 'ballad music' that can provide a sense of stability to calm the user's psychological state when the psychological state is 'anger'. At this time, the rotation speed of the structure 210 is indicated by an arrow 201. In addition, the color output device may be controlled to output a color of 'blue 202', which provides a calm feeling on the surface of the structure 210 or around the structure 210, thereby providing an effect of illuminating the blue light.

전력 및 심리 상태 감응형 오르골(200)은 심리 상태가 '슬픔'인 경우, 사용자의 심리 상태를 밝게 만들기 위해 '재즈음악'을 선택할 수 있다. 이때, 구조물의 회전 속도는 화살표(203)로 표시되어 있다. 또한, 구조물(210)의 표면 또는 구조물(210) 주변에서 밝은 느낌을 주는 '녹색(204)'의 색상을 출력하도록 색상 출력 소자를 제어하여 녹색의 조명이 비춰지는 효과를 제공할 수 있다.The power and psychological state responsive music box 200 can select 'jazz music' to brighten the psychological state of the user when the psychological state is 'sad'. At this time, the rotational speed of the structure is indicated by an arrow 203. In addition, it is possible to control the color output element to output the color of 'green 204' giving a bright feeling on the surface of the structure 210 or around the structure 210, thereby providing the effect of illuminating the green light.

또한, 전력 및 심리 상태 감응형 오르골(200)은 심리 상태가 '기쁨'인 경우, 사용자의 심리 상태를 더욱 밝게 만들기 위해 '댄스음악'을 선택할 수 있다. 이때, 구조물의 회전 속도는 화살표(205)로 표시되어 있다. 또한, 구조물(210)의 표면 또는 구조물(210) 주변에서 기쁜 느낌을 주는 '빨간색(206)'의 색상을 출력하도록 색상 출력 소자를 제어하여 빨간색의 조명이 비춰지는 효과를 제공할 수 있다.In addition, the power and psychological state sensitive music box 200 can select 'dance music' in order to brighten the psychological state of the user when the psychological state is 'joy'. At this time, the rotation speed of the structure is indicated by an arrow 205. In addition, the color output device can be controlled to output a 'red (206)' color that gives a pleasant feeling on the surface of the structure 210 or around the structure 210, thereby providing a red light illumination effect.

전력 및 심리 상태 감응형 오르골(200)은 동일한 시간에 움직이는 범위를 화살표(201, 203, 205)로 표시한 것으로 첫 번째 화살표(201)가 가장 느리게 움직이고, 세 번째 화살표(205)가 가장 빠르게 움직이는 것으로 확인할 수 있다.The power and psychological state responsive music box 200 has a range of movement at the same time indicated by arrows 201, 203 and 205 in which the first arrow 201 moves the slowest and the third arrow 205 moves the fastest .

한편, 전력 및 심리 상태 감응형 오르골(200)은 구조물(210)을 투명 아크릴판 등으로 구현하는 경우, 투명 아크릴판의 측면 또는 하단에 색상 출력 소자를 배치하면, 구조물(210) 자체의 색상이 변화하도록 하는 효과를 제공할 수도 있다.In the case where the structure 210 is embodied as a transparent acrylic plate or the like, the power and psychological state sensitive music boxes 200 may be arranged such that the hue of the structure 210 itself Or the like.

도 5는 일실시예에 따른 전력 및 심리 상태 감응형 오르골의 드럼 내에서 건반을 재배열하는 구조를 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining a structure for rearranging keys in a drum of a power and psychological state sensitive music box according to an embodiment.

도 5를 참조하면, 전력 및 심리 상태 감응형 오르골(100) 내부에 구현된 드럼(300)을 도시한다. 드럼(300)은 표면에 돌출된 형태의 건반(310)을 복수개를 포함할 수 있다. 또한, 건반(310)은 오르골에서 제공되는 음악에 따라 다양한 형상을 갖도록 배치될 수 있다.Referring to FIG. 5, there is shown a drum 300 implemented within a power and psychological state responsive music box 100. The drum 300 may include a plurality of keys 310 protruding from the surface. Also, the keyboard 310 can be arranged to have various shapes according to the music provided in the music box.

전력 및 심리 상태 감응형 오르골(100)은 음악을 변경해야 하는 경우, 오르골 내부의 드럼(300)을 교체할 수 있다. 하지만, 전력 및 심리 상태 감응형 오르골(100)은 건반이 노래에 맞추어 재배열되거나 형성될 수 있도록 전자적 장치를 이용하여 구현된 경우, 드럼(300)의 교체 없이도 사용자의 심리 상태에 대응되는 음악에 맞추어 건반의 배치를 변경하거나, 새로운 음악 또는 사용자에 의해 선호하는 음악 등을 재생하도록 건반의 배치를 변경할 수도 있다.The power and psychological state responsive music box 100 can replace the drum 300 inside the music box when music is to be changed. However, the power and psychological state-responsive music box 100 can be used in music corresponding to the psychological state of the user without replacing the drum 300 when implemented using an electronic device such that the keyboard can be rearranged or formed in accordance with the song The arrangement of the keys may be changed so as to change the arrangement of the keys or to reproduce new music or music or the like preferred by the user.

이와 같이, 전력 및 심리 상태 감응형 오르골(100)은 드럼(300)의 표면에 위치한 건반을 재배열할 수 있도록 구현된 경우, 드럼(300)의 교체 또는 오르골의 교체 없이도 새로운 음악을 간편하게 추가 할 수 있다.Thus, when the power and psychological state responsive music box 100 is implemented to rearrange the keys located on the surface of the drum 300, it is possible to easily add new music without replacing the drum 300 or replacing the music box .

도 6은 일실시예에 따른 전력 및 심리 상태 감응형 오르골의 구동 동작을 도시한 순서도이다.6 is a flowchart illustrating a driving operation of the power and psychological state sensitive music boxes according to an embodiment.

도 6을 참조하면, 전력 및 심리 상태 감응형 오르골(100)은 카메라를 이용하여 사용자의 안면을 촬영할 수 있다(S410).Referring to FIG. 6, the power and psychological state sensitive music box 100 can photograph a face of a user using a camera (S410).

전력 및 심리 상태 감응형 오르골(100)은 안면을 촬영한 영상으로부터 사용자의 표정을 검출하였는지 판단한다(S420).The power and psychological state responsive music box 100 determines whether the user's facial expression is detected from the image of the facial image (S420).

S420단계의 판단결과, 사용자의 표정을 검출하지 못한 경우, 전력 및 심리 상태 감응형 오르골(100)은 재촬영을 위해 S410단계로 진행한다. 이때, 전력 및 심리 상태 감응형 오르골(100)은 촬영 영상을 기준으로 카메라의 촬영 방향 내지는 초점의 변경이 필요한 경우, 촬영 방향과 초점을 변경한 후에 재촬영할 수 있다.If it is determined in step S420 that the user's facial expression has not been detected, the power and psychological state sensitive music box 100 proceeds to step S410 for retaking. At this time, when the photographing direction or the focus of the camera needs to be changed on the basis of the photographed image, the power and psychological state sensitive music box 100 can re-photograph after changing the photographing direction and focus.

S420단계의 판단결과, 사용자의 표정을 검출한 경우, 전력 및 심리 상태 감응형 오르골(100)은 S430단계로 진행한다.If it is determined in step S420 that the user's facial expression is detected, the power and psychological state sensitive music box 100 proceeds to step S430.

전력 및 심리 상태 감응형 오르골(100)은 검출된 표정으로 사용자의 심리 상태를 분석하여 사용자의 심리 상태를 결정할 수 있다(S430).The power and psychological state sensitive music box 100 may determine the psychological state of the user by analyzing the psychological state of the user with the detected facial expression (S430).

전력 및 심리 상태 감응형 오르골(100)은 사용자의 심리 상태에 기초하여 오르골에서 재생될 음악을 결정한다(S440). 이때, 특정한 형상을 갖는 구조물이 포함된 경우, 전력 및 심리 상태 감응형 오르골(100)은 사용자의 심리 상태에 기초하여 구조물의 동작(구조물 자체의 움직임 내지는 회전 등)을 제어할 수 있다. 또한, 색상 출력 소자(조명)가 포함된 경우, 전력 및 심리 상태 감응형 오르골(100)은 사용자의 심리 상태에 기초하여 색상 출력 소자에서 출력되는 색상을 결정할 수 있다.The power and psychological state responsive music box 100 determines music to be reproduced in the music box based on the psychological state of the user (S440). At this time, when the structure having a specific shape is included, the power and psychological state sensitive music box 100 can control the motion of the structure (movement or rotation of the structure itself) based on the psychological state of the user. Further, when the color output element (illumination) is included, the power and psychological state responsive music box 100 can determine the color output from the color output element based on the psychological state of the user.

전력 및 심리 상태 감응형 오르골(100)은 결정된 음악을 재생하고 동작을 종료한다(S450). 또한, 전력 및 심리 상태 감응형 오르골(100)은 상술한 바와 같이 구조물 또는 색상 출력 소자를 포함한 경우, 재생되는 음악과 함께 구조물을 동작시키거나 색상 출력 소자를 사용하여 특정 색상을 출력할 수도 있다.The power and psychological state responsive music box 100 reproduces the determined music and ends the operation (S450). In addition, the power and psychological state responsive music box 100 may include a structure or a color output element as described above, or may operate a structure together with music to be reproduced, or may output a specific color using a color output element.

이와 같이, 전력 및 심리 상태 감응형 오르골(100)은 사용자의 심리 상태를 감응하여 음악을 제공할 수 있기 때문에 심리 치료에 활용될 수 있으며, 청각뿐만 아니라 다양한 구조물과 색상 출력 소자(조명)를 이용하여 사용자에게 시각적인 치료 효과도 함께 제공할 수 있다. 특히, 전력 및 심리 상태 감응형 오르골(100)은 한 종류의 음악만 재생되던 기존의 오르골과 달리 두 개 이상의 음악을 사용자의 심리 상태에 따라 변경하여 제공할 수 있으며, 하나의 음악을 제공하더라도 음악을 재생하는 템포 등을 조절하여 사용자에게 다른 느낌의 음악을 제공할 수 있다.As described above, the power and psychological state sensitive music box 100 can be used for psychotherapy because it can provide music in response to the psychological state of a user, and can be used not only for auditory but also for various structures and color output devices Thereby providing a user with a visual therapeutic effect. In particular, the power and psychological state sensitive music box 100 can change and provide two or more pieces of music according to a psychological state of a user unlike a conventional music box in which only one type of music is reproduced. The user can be provided with music with different feelings.

따라서, 전력 및 심리 상태 감응형 오르골(100)은 심리 치료뿐만 아니라 일상 생활 중에서도 사용자의 심리 상태에 감응하여 동작하는 오르골을 이용하여 사용자의 감성 영역에서 스트레스, 우울증, 무력감 또는 정신적 피로 등으로부터 사용자를 해방시켜 안정감, 행복감 등의 다양한 느낌을 제공할 수 있다.Accordingly, the power and psychological state-responsive music box 100 can be used not only for psychotherapy but also for a user from a stress, depression, helplessness, or mental fatigue in a user's emotional region by using a music box operating in response to the psychological state of the user, It is possible to provide a variety of feelings such as feeling of stability and feeling of happiness.

전력 및 심리 상태 감응형 오르골(100)은 안면 인식에 따른 표정 데이터를 사용하여 가장 적합한 음악을 제공할 수 있도록 음악을 데이터화할 수 있으며, 머신 딥 러닝 기술을 이용하여 동일한 분위기의 새로운 음악을 생성하고, 생성된 음악을 오르골에 적용할 수도 있다. 이를 통해, 전력 및 심리 상태 감응형 오르골(100)은 동일한 음악의 반복으로 인한 사용자의 지루함을 탈피할 수 있게 한다.The power and psychological state sensitive music box 100 can generate music data to provide the most suitable music using facial expression data according to facial recognition and generate new music in the same atmosphere using the machine deep learning technology , And the generated music may be applied to the music box. Thus, the power and psychological state responsive music box 100 makes it possible to avoid the boredom of the user due to the repetition of the same music.

특히, 전력 및 심리 상태 감응형 오르골(100)은 3.75헤르쯔(Hz)의 초저주파부터 10만Hz의 고주파까지 대역을 활용하기 때문에 디지털 음악 재생 장치를 통해 제공되는 음파에 비교하여 넓은 주파수 대역의 음파를 사용할 수 있다. 이를 통해, 전력 및 심리 상태 감응형 오르골(100)은 오르골을 사용하여 재생되는 음악을 이용하여 뇌간을 자극하고 호르몬 분비를 도울 수 있으며, 우울증, 두통, 및 각종 질병의 치료에 긍정적인 효과를 제공할 수 있다. 또한, 전력 및 심리 상태 감응형 오르골(100)은 빅데이터에 기반하여 사용자 개인의 심리 상태에 대응되는 음악을 재생시켜 사용자에게 더욱 다양한 음악을 제공할 수 있다.Particularly, since the power and psychological state-responsive music box 100 utilizes the band from a very low frequency of 3.75 Hertz (Hz) to a high frequency of 100,000 Hz, the sound wave of a wide frequency band Can be used. Accordingly, the power and psychological state-responsive music box 100 can stimulate the brain stem and help the hormone secretion by using the music reproduced by using the music box, and has a positive effect on the treatment of depression, headache, and various diseases can do. In addition, the power and psychological state sensitive music box 100 can reproduce music corresponding to the psychological state of the user based on the big data, thereby providing more variety of music to the user.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.The term " part " used in the present embodiment means a hardware component such as software or a field programmable gate array (FPGA) or an ASIC, and 'part' performs certain roles. However, 'part' is not meant to be limited to software or hardware. &Quot; to " may be configured to reside on an addressable storage medium and may be configured to play one or more processors. Thus, by way of example, 'parts' may refer to components such as software components, object-oriented software components, class components and task components, and processes, functions, , Subroutines, segments of program patent code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.

구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.The functions provided within the components and components may be combined with a smaller number of components and components or separated from additional components and components.

뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다In addition, the components and components may be implemented to play back one or more CPUs in a device or a secure multimedia card

또한 본 발명의 일실시예에 따르는 전력 및 심리 상태 감응형 오르골의 구동 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다. The method of driving the power and psychological state sensitive music boxes according to an embodiment of the present invention may also be implemented as a computer program (or a computer program product) including instructions executable by a computer. A computer program includes programmable machine instructions that are processed by a processor and can be implemented in a high-level programming language, an object-oriented programming language, an assembly language, or a machine language . The computer program may also be recorded on a computer readable recording medium of a type (e.g., memory, hard disk, magnetic / optical medium or solid-state drive).

따라서 본 발명의 일실시예에 따르는 전력 및 심리 상태 감응형 오르골의 구동 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다. Therefore, the driving method of the power and psychological state sensitive music boxes according to the embodiment of the present invention can be realized by the computer program as described above being executed by the computing device. The computing device may include a processor, a memory, a storage device, a high-speed interface connected to the memory and a high-speed expansion port, and a low-speed interface connected to the low-speed bus and the storage device. Each of these components is connected to each other using a variety of buses and can be mounted on a common motherboard or mounted in any other suitable manner.

여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다. Where the processor may process instructions within the computing device, such as to display graphical information to provide a graphical user interface (GUI) on an external input, output device, such as a display connected to a high speed interface And commands stored in memory or storage devices. As another example, multiple processors and / or multiple busses may be used with multiple memory and memory types as appropriate. The processor may also be implemented as a chipset comprised of chips comprising multiple independent analog and / or digital processors.

또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다. The memory also stores information within the computing device. In one example, the memory may comprise volatile memory units or a collection thereof. In another example, the memory may be comprised of non-volatile memory units or a collection thereof. The memory may also be another type of computer readable medium such as, for example, a magnetic or optical disk.

그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다. And the storage device can provide a large amount of storage space to the computing device. The storage device may be a computer readable medium or a configuration including such a medium and may include, for example, devices in a SAN (Storage Area Network) or other configurations, and may be a floppy disk device, a hard disk device, Or a tape device, flash memory, or other similar semiconductor memory device or device array.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

100: 전력 및 심리 상태 감응형 오르골 110: 입출력부
120: 통신부 130: 저장부
140: 카메라 141: 카메라 구동부
150: 오르골 151: 오르골 구동부
160; 제어부100: power and psychological state sensitive music box 110: input / output unit
120: communication unit 130:
140: camera 141: camera driver
150: Music box 151: Music box drive part
160; The control unit

Claims

A camera for photographing the user's face;
Music box to play music;
A music box drive part for controlling the operation of the music box; And
A user's facial expression is detected using an image photographed through the camera, the psychological state of the user is analyzed on the basis of the facial expression of the user, and the motion of the music box driving unit And a controller
Wherein,
And responsive to a power state supplied to the music box to control the operation of the music box.

The method according to claim 1,
In the music box,
And wherein at least one of a structure that operates with a predetermined shape and a color output element that implements a predetermined color around the music box is combined with the power and psychological state responsive music box.

3. The method of claim 2,
Wherein,
Controlling the movement of the music box drive unit to control the operation of the structure to be operated according to the analyzed psychological state and controlling the music box drive unit to output the selected color in the color output device according to the analyzed psychological state, Condition-responsive music box.

The method according to claim 1,
And an input / output unit for receiving the voice of the user,
And analyzing the psychological state using the voice of the user when the error occurrence frequency according to analysis of the psychological state from the photographed image is equal to or greater than a predetermined reference value.

A method of driving a music box and a psychological state responsive music box,
Photographing a face of the user;
Detecting a facial expression of the user using the photographed image;
Analyzing the psychological state of the user based on the facial expression of the user; And
Controlling the operation of the music box to reproduce music corresponding to the analyzed psychological state,
Wherein controlling the operation of the music box comprises:
And controlling an operation of the music box in response to a power state supplied to the music box.

6. The method of claim 5,
Wherein controlling the operation of the music box comprises:
Controlling operation of a structure to be operated according to the analyzed psychological state, or outputting a selected color according to the analyzed psychological state.

6. The method of claim 5,
Wherein the analyzing of the user's psychological state comprises:
And analyzing the psychological state using the voice of the inputted user when the error occurrence frequency according to analysis of the psychological state from the photographed image is equal to or greater than a predetermined reference value.