KR20220056032A - Apparatus for controlling mood lighting in accordance with game and method therefor - Google Patents

Apparatus for controlling mood lighting in accordance with game and method therefor Download PDF

Info

Publication number
KR20220056032A
KR20220056032A KR1020200140713A KR20200140713A KR20220056032A KR 20220056032 A KR20220056032 A KR 20220056032A KR 1020200140713 A KR1020200140713 A KR 1020200140713A KR 20200140713 A KR20200140713 A KR 20200140713A KR 20220056032 A KR20220056032 A KR 20220056032A
Authority
KR
South Korea
Prior art keywords
game
image
color
music
movement pattern
Prior art date
Application number
KR1020200140713A
Other languages
Korean (ko)
Other versions
KR102556886B1 (en
Inventor
유대상
최서진
조은정
김종문
Original Assignee
(주)엘컴텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엘컴텍 filed Critical (주)엘컴텍
Priority to KR1020200140713A priority Critical patent/KR102556886B1/en
Publication of KR20220056032A publication Critical patent/KR20220056032A/en
Application granted granted Critical
Publication of KR102556886B1 publication Critical patent/KR102556886B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/27—Output arrangements for video game devices characterised by a large display in a public venue, e.g. in a movie theatre, stadium or game arena
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

Disclosed are a control device for mood of a lighting in accordance with a game and a method thereof. When an image is input, the control device generates an extended image of a game screen using a first artificial intelligence model that outputs the extended image for the image, extracts at least one color from the extended image of the game screen, and outputs a control command to the lighting device for outputting the extracted color.

Description

게임 동화형 조명무드 제어장치 및 그 방법{Apparatus for controlling mood lighting in accordance with game and method therefor}Apparatus for controlling mood lighting in accordance with game and method therefor

본 발명이 실시 예는 게임에 맞는 조명무드를 생성하고 제어하는 방법 및 그 장치에 관한 것이다.An embodiment of the present invention relates to a method and apparatus for generating and controlling a lighting mood suitable for a game.

게임은 단순히 개인 오락 수준을 넘어 대규모의 관객 앞에서 승부를 겨누는 스포츠(즉, e-스포츠) 산업으로 발전하고 있다. 게임은 모니터화면의 한정된 공간에서 이루어지므로 게임화면만으로 게이머 무대환경을 꾸미기에는 한계가 있다. 이에 일반적으로 e-스포츠는 관객이나 시청자에게 보다 화려한 모습을 제공하기 위하여 게이머의 무대환경에 다양한 연출효과를 구현한다. 그러나 그 무대연출효과는 게임화면과는 아무런 관련이 없으며 경우에 따라 게임에 대한 몰입도를 떨어뜨릴 수도 있다. Games are developing into a sports (ie, e-sports) industry where players compete in front of a large audience beyond the level of simple personal entertainment. Since games are played in a limited space on the monitor screen, there is a limit to decorating the gamer's stage environment with only the game screen. Accordingly, in general, e-sports implements various directing effects in the gamer's stage environment in order to provide a more splendid appearance to the audience or viewers. However, the stage directing effect has nothing to do with the game screen, and in some cases may reduce immersion in the game.

본 발명의 실시 예가 이루고자 하는 기술적 과제는, 게임에 대한 몰입도를 향상시킬 수 있도록 주변 조명의 무드를 게임에 부합하도록 제어하는 방법 및 그 장치를 제공하는 데 있다.An aspect of the present invention is to provide a method and an apparatus for controlling the mood of ambient lighting to match the game so as to improve immersion in the game.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 게임 동화형 조명무드 제어방법의 일 예는, 영상을 입력받으면 상기 영상에 대한 확장영상을 출력하는 제1 인공지능모델을 이용하여 게임화면의 확장영상을 생성하는 단계; 상기 게임화면의 확장영상으로부터 적어도 하나 이상의 색상을 추출하는 단계; 및 상기 추출한 색상을 출력하도록 제어명령을 조명장치에 출력하는 단계;를 포함한다.In order to achieve the above technical problem, an example of a game animation type lighting mood control method according to an embodiment of the present invention is a game using a first artificial intelligence model that outputs an extended image for the image when receiving an image generating an extended image of the screen; extracting at least one color from the expanded image of the game screen; and outputting a control command to a lighting device to output the extracted color.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 게임 동화형 조명무드 제어장치의 일 예는, 영상을 입력받으면 상기 영상에 대한 확장영상을 출력하는 제1 인공지능모델을 이용하여 게임화면의 확장영상을 생성하는 확장영상생성부; 상기 게임화면의 확장영상으로부터 적어도 하나 이상의 색상을 추출하는 색상추출부; 및 상기 추출한 색상을 출력하도록 제어명령을 조명장치에 출력하는 제어부;를 포함한다.In order to achieve the above technical problem, an example of a game animation type lighting mood control device according to an embodiment of the present invention is a game using a first artificial intelligence model that outputs an extended image for the image when receiving an image an extended image generating unit for generating an extended image of the screen; a color extraction unit for extracting at least one color from the expanded image of the game screen; and a control unit that outputs a control command to the lighting device to output the extracted color.

본 발명의 실시 예에 따르면, 게임화면에 따라 주변 주명을 제어하여 게임 몰입도를 향상시킬 수 있다. e-스포츠 등 대형 행사에서 게임에 맞는 무대환경을 연출할 수 있다. 게임개발사는 게임 주변 환경과 연계된 게임 개발이 가능하고, 게임과 연관된 조명의 연출이 가능한 다양한 종류의 가구(예를 들어, 게임용 의자 등)를 통해 가구 산업 발전에도 이바지할 수 있다.According to an embodiment of the present invention, it is possible to improve the immersion in the game by controlling the name of the surrounding owner according to the game screen. In large events such as e-sports, it is possible to create a stage environment suitable for the game. A game developer can develop a game in connection with the surrounding environment of the game, and can contribute to the development of the furniture industry through various types of furniture (for example, a chair for a game, etc.) that can produce lighting related to the game.

도 1은 본 발명의 실시 예에 따른 게임 동화형 조명무드를 제어하기 위한 전반적인 시스템을 개략적으로 도시한 도면,
도 2는 본 발명의 실시 예에 따른 조명장치의 출력 색상을 파악하는 방법의 일 예를 도시한 도면,
도 3은 본 발명의 실시 예에 따른 확장영상 생성에 사용되는 인공지능모델의 학습과정을 도시한 도면,
도 4는 본 발명의 실시 예에 따른 게임 동화형 조명무드를 제어하는 방법의 일 예를 도시한 흐름도,
도 5a는 본 발명의 실시 예에 따라 게임음악으로부터 감정을 추출하는 방법의 일 예를 도시한 도면,
도 5b는 본 발명의 실시 예에 따라 감정을 파악하기 위하여 게임음악을 윈도우를 이용하여 추출하는 방법의 일 예를 도시한 도면,
도 6은 본 발명의 실시 예에 따른 감정과 움직임패턴 사이의 맵핑관계의 일 예를 도시한 도면,
도 7은 본 발명의 실시 예에 따른 게임 동화형 조명무드를 제어하는 방법의 다른 일 예를 도시한 흐름도,
도 8은 본 발명의 실시 예에 따른 움직임 패턴의 강약 등을 제어하는 방법의 일 예를 도시한 도면,
도 9는 본 발명의 실시 예에 따른 색상표를 인덱스와 맵핑하여 관리하는 방법의 예를 도시한 도면, 그리고,
도 10은 본 발명의 실시 예에 따른 제어장치의 일 예의 구성을 도시한 도면이다.1 is a diagram schematically showing an overall system for controlling a game animation-type lighting mood according to an embodiment of the present invention;
2 is a diagram illustrating an example of a method for determining an output color of a lighting device according to an embodiment of the present invention;
3 is a diagram illustrating a learning process of an artificial intelligence model used to generate an extended image according to an embodiment of the present invention;
4 is a flowchart illustrating an example of a method for controlling a game animation-type lighting mood according to an embodiment of the present invention;
5A is a diagram illustrating an example of a method for extracting emotions from game music according to an embodiment of the present invention;
5B is a diagram illustrating an example of a method of extracting game music using a window in order to identify emotions according to an embodiment of the present invention;
6 is a diagram illustrating an example of a mapping relationship between emotions and movement patterns according to an embodiment of the present invention;
7 is a flowchart illustrating another example of a method for controlling a game animation-type lighting mood according to an embodiment of the present invention;
8 is a diagram illustrating an example of a method for controlling the strength and weakness of a movement pattern according to an embodiment of the present invention;
9 is a diagram illustrating an example of a method for managing a color table by mapping an index and managing it according to an embodiment of the present invention;
10 is a diagram illustrating a configuration of an example of a control device according to an embodiment of the present invention.

이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 게임 동화형 조명무드 제어장치 및 그 방법에 대해 상세히 설명한다.Hereinafter, a game animation type lighting mood control apparatus and method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 게임 동화형 조명무드를 제어하기 위한 전반적인 시스템을 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating an overall system for controlling a game animation-type lighting mood according to an embodiment of the present invention.

도 1을 참조하면, 게임 동화명 조명무드를 제어하는 시스템은 디스플레이 장치(100)에 표시되는 게임화면이나 게임음악 등의 다양한 게임정보를 수집하고 이에 따라 조명장치(122)를 제어하는 제어장치(110)를 포함한다.1, the system for controlling the lighting mood of the game fairy tale name collects various game information such as game screens or game music displayed on the display device 100 and controls the lighting device 122 accordingly ( 110).

일 실시 예로, 일반 컴퓨터 기반의 게임인 경우에 제어장치(110)는 일반 컴퓨터에 구현될 수 있고, 모바일 게임인 경우에 제어장치는 모바일 게임이 동작하는 스마트폰 등의 모바일 장치로 구현될 수 있다. 또 다른 예로, 제어장치(110)는 게임이 동작하는 컴퓨터나 모바일 장치와 유선 또는 무선통신으로 연결되는 별도의 컴퓨팅 장치로 구현될 수 있다. In one embodiment, in the case of a general computer-based game, the control device 110 may be implemented in a general computer, and in the case of a mobile game, the control device may be implemented in a mobile device such as a smartphone in which the mobile game operates. . As another example, the control device 110 may be implemented as a separate computing device connected to a computer or mobile device in which the game is operated through wired or wireless communication.

조명장치(1220)는 게임을 수행하는 장소 주변에 위치한 각종 가구(120)에 위치할 수 있다. 예를 들어, e-스포츠 행사에서 프로게이머가 앉아있는 의자(120) 또는 일반 개인이 가정에서 사용하는 의자(120) 또는 PC방 등에서 사용하는 의자(120)에 본 실시 예의 조명장치(122)가 존재할 수 있다. 이 외에도, 본 실시 예의 조명장치(122)는 e-스포츠 행사의 무대를 연출하기 위하여 무대의 일측에 위치하거나, 집이나 PC방 등의 각종 가구(책상, 책꽂이, 옷장 등) 등에 위치할 수 있다. 또 다른 예로, 앞서 살핀 제어장치(110)는 조명장치(122)와 일체형으로 구현되거나, 또는 조명장치(122)가 위치한 가구(120)나 무대 등의 일측에 위치할 수 있다.The lighting device 1220 may be located on various pieces of furniture 120 located around a place where a game is performed. For example, in an e-sports event, the lighting device 122 of this embodiment is installed on a chair 120 on which a pro gamer sits, or on a chair 120 used by a general individual at home or a chair 120 used in a PC room, etc. may exist. In addition to this, the lighting device 122 of this embodiment may be located on one side of the stage to direct the stage of an e-sports event, or located on various pieces of furniture (desk, bookshelf, wardrobe, etc.) such as a house or a PC room. . As another example, the above salpin control device 110 may be implemented integrally with the lighting device 122, or located on one side of the furniture 120 or the stage where the lighting device 122 is located.

조명장치(122)는 적어도 하나 이상의 색상을 출력하는 장치이다. 예를 들어, 조명장치(122)는 복수 개의 서로 다른 색상을 출력하는 LED(Light Emitting Diode)로 구성되거나, 복수 개의 서로 다른 색상을 출력하는 레이저로 구성될 수 있다. 또는 조명장치(122)는 프로젝터와 같이 일정 면적에 색상 또는 이미지를 출력하는 장치로 구현될 수 있다. 이 외에도 빛을 출력하는 종래의 다양한 장치가 본 실시 예의 조명장치(122)로 이용될 수 있다.The lighting device 122 is a device that outputs at least one color. For example, the lighting device 122 may be configured of a light emitting diode (LED) that outputs a plurality of different colors or a laser that outputs a plurality of different colors. Alternatively, the lighting device 122 may be implemented as a device that outputs a color or an image to a predetermined area, such as a projector. In addition, various conventional devices for outputting light may be used as the lighting device 122 of the present embodiment.

본 실시 예는 이해를 돕기 위하여, 의자(120)의 뒷면에 위치한 조명장치(122)가 의자의 뒷면의 일정 영역(124)에 조명을 출력하는 예를 도시하고 있다. 이러한 의자(120)는 e-스포츠 등에서 무대연출용으로 활용할 수 있다. 다른 예로, 의자(120)의 조명장치(122)는 의자(120)의 앞쪽 또는 옆면이나 뒷면 등에 조명을 출력하도록 배치될 수 있다. 예를 들어, 의자(120)의 조명장치(122)가 의자 앞쪽 벽면 등에 게임과 관련된 무드의 조명을 출력하도록 하여 게임 몰입도를 향상시킬 수 있다. For better understanding, this embodiment shows an example in which the lighting device 122 located on the back of the chair 120 outputs light to a certain area 124 on the back of the chair. This chair 120 can be used for stage production in e-sports and the like. As another example, the lighting device 122 of the chair 120 may be disposed to output lighting to the front, side, or back of the chair 120 . For example, the lighting device 122 of the chair 120 may output lighting of a game-related mood to the wall in front of the chair, thereby improving game immersion.

조명장치(122)의 위치나 조명장치(122)가 조명을 출력하는 방향이나 면적 등은 실시 예에 따라 다양하게 변형가능하므로 이하에서는 설명의 편의를 위하여 도 1의 실시 예에 도시된 것과 같이 의자(120)에 조명장치(122)가 존재하는 경우를 가정하여 설명한다.Since the position of the lighting device 122 or the direction or area in which the lighting device 122 outputs light can be variously modified depending on the embodiment, hereinafter, for convenience of explanation, a chair as shown in the embodiment of FIG. 1 . It is assumed that the lighting device 122 is present in 120 .

도 2는 본 발명의 실시 예에 따른 조명장치의 출력 색상을 파악하는 방법의 일 예를 도시한 도면이다.2 is a diagram illustrating an example of a method of detecting an output color of a lighting device according to an embodiment of the present invention.

도 2를 참조하면, 제어장치는 영상을 입력받으면 이에 대한 확장영상을 출력하는 제1 인공지능모델(210)을 이용하여 게임화면(200)과 연관된 적어도 하나 이상의 대표색상을 추출하기 위한 확장영상(220)을 생성할 수 있다. 예를 들어, 제어장치(110)는 현재 진행하고 있는 게임화면(200)을 일정 주기(예를 들어, 수 초 단위)로 캡쳐하여 제1 인공지능모델(210)에 입력하여 게임화면(200)의 외부 테두리에 위치하는 확장영상(220)을 얻을 수 있다. 제어장치(110)는 게임화면(200)의 테두리에 위치한 확장영상(220)을 기초로 조명장치(122)를 통해 출력할 적어도 하나 이상의 색상을 추출할 수 있다. Referring to FIG. 2 , the control device uses the first artificial intelligence model 210 to output an extended image when receiving an image, and an extended image ( 220) can be created. For example, the control device 110 captures the game screen 200 currently in progress at a certain period (eg, in units of several seconds) and inputs it to the first artificial intelligence model 210 to provide the game screen 200 . It is possible to obtain the extended image 220 located on the outer edge of the. The control device 110 may extract at least one color to be output through the lighting device 122 based on the extended image 220 located at the edge of the game screen 200 .

본 실시 예의 확장영상(220)은 게임화면(200)의 바깥쪽에 위치한 사각 테두리 형태이나, 이는 하나의 예일 뿐 게임화면(200)을 기초로 생성되는 확장영상(220)의 위치나 크기 등은 실시 예에 따라 다양하게 변형될 수 있다. 다만 설명의 편의를 위하여 확장영상(220)은 도 2와 같이 사각형 테두리 형태인 경우를 가정하여 설명한다.The expanded image 220 of this embodiment has a rectangular border shape located outside the game screen 200, but this is only an example and the location or size of the expanded image 220 generated based on the game screen 200 is not implemented Depending on the example, it may be variously modified. However, for convenience of explanation, it is assumed that the expanded image 220 has a rectangular frame shape as shown in FIG. 2 .

확장영상(220)은 단순히 게임화면을 확대한 것이 아니라 게임화면과 연관되는 다양한 색상으로 구성되는 이미지이며, 제1 인공지능모델(210)이 이러한 확장영상을 출력하기 위해서는 먼저 학습과정이 선행되어야 한다. 제1 인공지능모델(210)의 학습 과정에 대해서는 도 3에서 살펴본다.The extended image 220 is not simply an enlarged game screen, but an image composed of various colors related to the game screen, and in order for the first artificial intelligence model 210 to output such an extended image, a learning process must be preceded. . The learning process of the first artificial intelligence model 210 will be described in FIG. 3 .

도 3은 본 발명의 실시 예에 따른 확장영상 생성에 사용되는 인공지능모델의 학습과정을 도시한 도면이다.3 is a diagram illustrating a learning process of an artificial intelligence model used to generate an extended image according to an embodiment of the present invention.

도 3을 참조하면, 제1 인공지능모델(210)은 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), GAN(Generative Adversarial Networks) 등의 학습네트워크를 통해 학습될 수 있다. 이 외에도 종래의 다양한 학습네트워크가 본 실시 예에 적용될 수 있으며 특정 학습방법으로 한정되는 것은 아니다.Referring to FIG. 3 , the first artificial intelligence model 210 may be learned through a learning network such as a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), or Generative Adversarial Networks (GAN). In addition to this, various conventional learning networks may be applied to this embodiment and are not limited to a specific learning method.

제1 인공지능모델(210)의 학습데이터(300)는 게임화면(310)을 캡쳐하여 생성할 수 있다. 예를 들어, 다양한 종류의 게임화면(310)을 캡쳐한 후 각 게임화면(310)을 내부영역(312)과 테두리영역(314)으로 구분할 수 있다. 내부영역(312)과 테두리영역(314)의 크기 비율은 실시 예에 따라 다양할 수 있다. 제1 인공지능모델(210)은 내부영역(312)과 테두리영역(314)으로 라벨링된 게임화면(310)을 포함하는 학습데이터(300)를 입력받으면, 예측 테두리영역(320)을 출력한다. 제1 인공지능모델(210)은 예측 테두리영역(320)과 학습데이터의 테두리영역(즉, 정답지 (ground truth))(314)을 비교하여 학습 네트워크의 파라미터 등을 조정하는 학습과정을 수행한다.The learning data 300 of the first artificial intelligence model 210 may be generated by capturing the game screen 310 . For example, after capturing various types of game screens 310 , each game screen 310 may be divided into an inner area 312 and a border area 314 . The size ratio of the inner region 312 and the edge region 314 may vary according to an embodiment. When the first artificial intelligence model 210 receives the learning data 300 including the game screen 310 labeled with the inner region 312 and the border region 314 , it outputs the predicted border region 320 . The first artificial intelligence model 210 performs a learning process of adjusting the parameters of the learning network by comparing the prediction border region 320 with the border region (ie, ground truth) 314 of the training data.

도 4는 본 발명의 실시 예에 따른 게임 동화형 조명무드를 제어하는 방법의 일 예를 도시한 흐름도이다.4 is a flowchart illustrating an example of a method for controlling a game animation-type lighting mood according to an embodiment of the present invention.

도 4를 참조하면, 제어장치(110)는 학습 완료된 제1 인공지능모델을 이용하여 게임화면에 대한 확장영상을 생성한다(S400). 게임화면에 대한 확장영상의 생성 방법의 예가 도 2에 도시되어 있다. 제어장치(110)는 기 정의된 일정 주기로 게임화면을 캡쳐하여 해당 게임화면에 대한 확장영상을 생성할 수 있다.Referring to FIG. 4 , the control device 110 generates an extended image for a game screen using the learned first artificial intelligence model ( S400 ). An example of a method of generating an extended image for a game screen is shown in FIG. 2 . The control device 110 may generate an extended image for the game screen by capturing the game screen at a predetermined period.

제어장치(110)는 확장영상으로부터 적어도 하나 이상의 색상을 추출한다(S410). 예를 들어, 제어장치(110)는 확장영상의 전체 또는 기 정의된 특정 영역에 존재하는 다양한 색상의 빈도를 파악한 후 최대빈도 순으로 일정 개수의 색상을 대표색상으로 추출할 수 있다. 또 다른 예로, 제어장치(110)는 확장영상의 전체 또는 일정 크기의 영역 이미지를 그대로 추출할 수 있다. 예를 들어, 제어장치(110)는 사각 테두리 형태의 확장영상 전체 또는 일부를 모두 선택한 후 이를 조명장치를 통해 출력할 수 있다. 다시 말해, 게임화면의 배경 이미지가 숲속인 경우에, 제어장치는 조명장치를 통해 확장영상의 전체 또는 일부를 그대로 출력하여 게임 공간이 마치 숲속인 것처럼 연출할 수도 있다. 따라서 이하에서 제어장치(110)가 추출하는 적어도 하나 이상의 색상이라고 함은 적어도 하나 이상의 색상에 대한 데이터(즉, RGB값 또는 CMYK값 등)이거나 또는 복수의 픽셀로 이루어진 일정 크기의 이미지에 대한 데이터를 가리키는 것으로 해석될 수 있다.The control device 110 extracts at least one color from the extended image (S410). For example, the control device 110 may determine the frequency of various colors present in the whole of the extended image or in a predetermined specific area, and then extract a certain number of colors as representative colors in the order of the maximum frequency. As another example, the control device 110 may extract the entire image of the extended image or a region image of a certain size as it is. For example, the control device 110 may select all or a part of the expanded image in the form of a rectangular frame and then output it through the lighting device. In other words, when the background image of the game screen is in the forest, the control device may output all or part of the extended image as it is through the lighting device to produce the game space as if it were in the forest. Therefore, hereinafter, at least one color extracted by the control device 110 is data for at least one color (ie, RGB value or CMYK value, etc.) or data for an image of a certain size composed of a plurality of pixels. can be interpreted as pointing to

제어장치(110)는 추출한 색상을 기초로 조명장치에 대한 제어명령을 생성한다(S420). 예를 들어, 확장영상으로부터 녹색을 대표 색상으로 추출하면, 제어장치는 녹색 출력에 대한 제어명령을 생성하여 조명장치에 전송할 수 있다. 다른 예로, 제어장치(110)가 확장영상으로부터 복수 개의 색상을 추출하면, 제어장치는 복수 개의 색상을 일정 순서에 따라 출력하거나 아니면 복수 개의 색상을 무늬나 패턴 등으로 배치하여 출력하도록 하는 제어명령을 생성하여 조명장치에 전송할 수 있다. 또 다른 예로, 확장영상에서 일정 크기의 이미지가 추출되면, 제어장치(110)는 해당 이미지의 출력에 대한 제어명령을 생성하여 조명장치에 전송할 수 있다. 이 외에도 제어장치(110)는 추출한 색상을 다양한 형태나 모양으로 출력하기 위한 제어명령을 생성할 수 있다. 제어장치(110)가 게임음악을 기초로 움직임패턴에 따라 색상을 출력하도록 제어하는 방법의 예에 대하여 도 5 내지 도 8에서 살펴본다.The control device 110 generates a control command for the lighting device based on the extracted color (S420). For example, when green is extracted from the extended image as a representative color, the control device may generate a control command for outputting green and transmit it to the lighting device. As another example, when the control device 110 extracts a plurality of colors from the extended image, the control device outputs a plurality of colors in a predetermined order, or outputs a control command to output a plurality of colors by arranging them in a pattern or pattern. It can be created and transmitted to the lighting device. As another example, when an image of a certain size is extracted from the extended image, the control device 110 may generate a control command for output of the corresponding image and transmit it to the lighting device. In addition to this, the control device 110 may generate a control command for outputting the extracted color in various forms or shapes. An example of a method of controlling the control device 110 to output a color according to a movement pattern based on game music will be described with reference to FIGS. 5 to 8 .

도 5a는 본 발명의 실시 예에 따라 게임음악으로부터 감정을 추출하는 방법의 일 예를 도시한 도면이다.5A is a diagram illustrating an example of a method for extracting emotions from game music according to an embodiment of the present invention.

도 5a를 참조하면, 제2 인공지능모델(510)은 음악에 대한 감정을 출력하는 인공지능모델이다. 제2 인공지능모델(510)은 CNN, RNN, RAN 등 종래의 다양한 학습 네트워크로 구현될 수 있다.Referring to FIG. 5A , the second artificial intelligence model 510 is an artificial intelligence model that outputs emotions for music. The second artificial intelligence model 510 may be implemented with various conventional learning networks such as CNN, RNN, RAN, and the like.

제2 인공지능모델(510)의 학습데이터(500)는 게임음악을 이용하여 생성할 수 있다. 예를 들어, 다양한 게임음악을 일정 구간 단위(예를 들어, 수 초 단위)로 나눈 후 각 구간 단위의 음악에 감정 정보를 라벨링하여 학습데이터(500)를 생성할 수 있다. 다른 실시 예로, 일정 구간 단위가 아닌 일정 크기의 윈도우를 정의하고, 윈도우를 옮겨가면서 윈도우에 속한 일정 구간의 음악에 대한 감정 정보를 라벨링하여 학습데이터(500)를 생성할 수 있다. 윈도우를 이용하는 경우에 일 예가 도 5b에 도시되어 있다.The learning data 500 of the second artificial intelligence model 510 may be generated using game music. For example, after dividing various game music into units of a certain section (eg, in units of several seconds), the learning data 500 may be generated by labeling the music of each section with emotional information. In another embodiment, the learning data 500 may be generated by defining a window of a certain size rather than in units of a certain section, and labeling emotional information on music in a certain section belonging to the window while moving the window. An example in the case of using a window is shown in FIG. 5B.

감정은 실시 예에 따라 다양한 개수로 분류될 수 있다. 예를 들어, 감정은 환호, 우울, 행복, 편안, 긴장 등 실시 예에 따라 다양한 정의되고, 학습데이터(500)에 포함되는 게임음악의 각 구간에 감정 정보가 맵핑될 수 있다.Emotions may be classified into various numbers according to embodiments. For example, emotions are variously defined according to embodiments, such as cheer, depression, happiness, comfort, tension, etc., and emotional information may be mapped to each section of game music included in the learning data 500 .

제2 인공지능모델(510)은 학습데이터(500)를 입력받으면 예측 감정(520)을 출력한다. 다시 말해, 제2 인공지능모델(510)은 입력받은 일정 구간별(또는 윈도우별) 음악에 대한 감정(520)을 예측한 후 학습데이터(500)의 감정과 비교하여 네트워크의 파라메타 등을 조정하는 학습 과정을 수행한다.The second artificial intelligence model 510 outputs a predicted emotion 520 upon receiving the learning data 500 . In other words, the second artificial intelligence model 510 predicts the received emotion 520 for each section (or window) of the music and then compares it with the emotion of the learning data 500 to adjust the parameters of the network. Carry out the learning process.

제2 인공지능모델(510)의 학습이 완료되면, 제어장치(110)는 실시간 게임을 진행하는 동안 출력되는 게임음악을 제2 인공지능모델(510)에 입력하여 게임음악에 대한 실시간 감정을 파악할 수 있다. When the learning of the second artificial intelligence model 510 is completed, the control device 110 inputs the game music output during the real-time game into the second artificial intelligence model 510 to identify real-time feelings about the game music. can

도 5b는 본 발명의 실시 예에 따라 감정을 파악하기 위하여 게임음악을 윈도우를 이용하여 추출하는 방법의 일 예를 도시한 도면이다.5B is a diagram illustrating an example of a method of extracting game music using a window in order to identify emotions according to an embodiment of the present invention.

도 5b를 참조하면, 윈도우(560)는 일정 크기(t)를 가진다. 예를 들어, 윈도우(560)의 크기는 10초 간격일 수 있다. 윈도우(560)의 크기는 실시 예에 따라 다양하게 변경될 수 있다. 윈도우(560)는 시간에 따라 이동한다. 제어장치(110)는 윈도우(560)가 위치한 게임음악(550)의 구간을 추출하고 이를 제2 인공지능모델(510)에 입력하여 감정을 예측한다. 그러고 나서, 제어장치(110)는 윈도우(560)를 오른쪽으로 일정 간격(예를 들어, 1초 간격 등) 이동한 후 이동한 윈도우(570)에 위치한 게임음악(550)의 구간을 추출하고 이를 다시 제2 인공지능모델(510)에 입력하여 감정을 예측한다.Referring to FIG. 5B , the window 560 has a predetermined size t. For example, the size of the window 560 may be every 10 seconds. The size of the window 560 may be variously changed according to an embodiment. Window 560 moves with time. The control device 110 extracts a section of the game music 550 in which the window 560 is located and inputs it to the second artificial intelligence model 510 to predict emotions. Then, the control device 110 extracts a section of the game music 550 located in the moved window 570 after moving the window 560 to the right at a predetermined interval (eg, 1 second interval, etc.) Again, it is input to the second artificial intelligence model 510 to predict the emotion.

도 6은 본 발명의 실시 예에 따른 감정과 움직임패턴 사이의 맵핑관계의 일 예를 도시한 도면이다.6 is a diagram illustrating an example of a mapping relationship between emotions and movement patterns according to an embodiment of the present invention.

도 6을 참조하면, 제어장치(110)는 각 감정에 대한 움직임패턴을 미리 등록받아 저장할 수 있다. 예를 들어, 움직임패턴은 하나 이상의 사각형이 움직이는 형태, 웨이브 형태 등 다양한 형태일 수 있다. 본 실시 예에서 움직임패턴은 반드시 움직임이 동반되는 패턴이 아닌 고정된 패턴(예를 들어, 물결 무늬나 사각형 무늬 등)을 포함하는 개념으로 정의한다.Referring to FIG. 6 , the control device 110 may register and store a movement pattern for each emotion in advance. For example, the movement pattern may have various shapes, such as a shape in which one or more rectangles move, a wave shape, and the like. In the present embodiment, the movement pattern is defined as a concept including a fixed pattern (eg, a wave pattern or a square pattern), not a pattern accompanied by movement.

움직임패턴은 도 2에서 살펴본 확장영상을 이용하여 만들 수 있다. 다시 말해 일정 주기로 게임화면을 캡쳐하여 생성된 확장영상의 변화를 움직임패턴으로 만들 수 있다. 예를 들어, 제어장치(110)는 확장영상의 전체 또는 기 정의된 일정 영역에 나타나는 이미지 사이의 변화를 움직임패턴으로 생성할 수 있다. 제어장치(110)는 이렇게 만들어진 움직임패턴과 감정 사이의 맵핑관계를 등록받을 수 있다. 또 다른 예로, 제어장치(110)는 도 4에서 조명장치에 대한 제어명령을 생성할 때 확장영상의 변화를 통해 파악되는 움직임패턴을 이용하여 색상이 출력되도록 하는 제어명령을 생성할 수도 있다.A movement pattern can be created using the expanded image shown in FIG. 2 . In other words, it is possible to create a movement pattern by capturing the game screen at a certain period and changing the generated extended image. For example, the control device 110 may generate a change between images appearing in the entire extended image or in a predetermined region as a movement pattern. The control device 110 may register the mapping relationship between the movement pattern and emotion created in this way. As another example, when generating a control command for the lighting device in FIG. 4 , the control device 110 may generate a control command for outputting a color using a movement pattern recognized through a change in the extended image.

도 7은 본 발명의 실시 예에 따른 게임 동화형 조명무드를 제어하는 방법의 다른 일 예를 도시한 흐름도이다. 7 is a flowchart illustrating another example of a method for controlling a game animation-type lighting mood according to an embodiment of the present invention.

도 4의 예는 게임화면을 기초로 조명장치를 제어하는 방법인 반면, 도 7의 예는 게임화면과 게임음악을 동시에 활용하여 조명장치를 제어하는 방법에 관한 것이다. 본 실시 예는 도 4의 방법으로 적어도 하나 이상의 색상이 추출되었다고 가정한다.The example of FIG. 4 is a method of controlling a lighting device based on a game screen, whereas the example of FIG. 7 relates to a method of controlling a lighting device using a game screen and game music at the same time. In this embodiment, it is assumed that at least one color is extracted by the method of FIG. 4 .

도 7을 참조하면, 제어장치(110)는 학습 완료된 제2 인공지능모델을 이용하여 게임음악에 대한 감정을 파악한다(S700). 예를 들어, 제어장치(110)는 도 5의 학습과정을 통해 학습 완료된 제2 인공지능모델에 실시간 게임음악을 입력하여 감정을 파악할 수 있다.Referring to FIG. 7 , the control device 110 uses the learned second artificial intelligence model to identify emotions for game music ( S700 ). For example, the control device 110 may recognize emotions by inputting real-time game music to the second artificial intelligence model that has been learned through the learning process of FIG. 5 .

제어장치(110)는 파악된 감정에 해당하는 움직임패턴을 파악한다(S710). 도 6과 같이 감정과 움직임패턴 사이의 맵핑관계는 미리 설정되어 있으며, 제어장치(110)는 이러한 맵핑관계를 통해 감정에 대한 움직임패턴을 파악할 수 있다.The control device 110 recognizes a movement pattern corresponding to the detected emotion (S710). As shown in FIG. 6 , a mapping relationship between emotion and movement pattern is set in advance, and the control device 110 may recognize a movement pattern for emotion through this mapping relationship.

제어장치(110)는 게임화면을 기초로 파악된 적어도 하나 이상의 색상을 움직임패턴에 따라 출력하는 제어명령을 생성하여 조명장치에 전송한다(S720). 예를 들어, 도 4의 방법을 통해 게임화면에 대한 확장영상으로부터 녹색이 추출되고, 게임음악에 대한 감정으로부터 사각형 모양의 움직임 패턴이 파악되었다면, 제어장치는 녹색을 사각형 모양의 움직임 패턴으로 출력하는 제어명령을 생성하여 조명장치에 전송한다. The control device 110 generates a control command for outputting at least one or more colors identified based on the game screen according to the movement pattern and transmits the generated control command to the lighting device (S720). For example, if green is extracted from the extended image for the game screen through the method of FIG. 4 and a square-shaped movement pattern is identified from the emotion for the game music, the control device outputs green as a square-shaped movement pattern A control command is generated and transmitted to the lighting device.

도 8은 본 발명의 실시 예에 따른 움직임 패턴의 강약 등을 제어하는 방법의 일 예를 도시한 도면이다.8 is a diagram illustrating an example of a method for controlling the strength and weakness of a movement pattern according to an embodiment of the present invention.

도 8을 참조하면, 제어장치(110)는 게임음악으로부터 높낮이 또는 세기 등을 파악할 수 있다(S800). 예를 들어, 제2 인공지능모델을 통해 게임음악으로부터 10초 단위로 감정을 파악하는 경우에, 제어장치는 동일한 간격인 10초 단위로 게임음악에 대한 높낮이 또는 세기 등을 파악할 수 있다. 음악의 높낮이나 세기 등을 파악하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있다.Referring to FIG. 8 , the control device 110 may determine the height or intensity from the game music (S800). For example, in the case of detecting emotions from game music in units of 10 seconds through the second artificial intelligence model, the control device may grasp the pitch or intensity of the game music in units of 10 seconds, which is the same interval. Various conventional methods for determining the pitch or intensity of music may be applied to the present embodiment.

제어장치(110)는 게임음악의 높낮이 또는 세기를 기초로 움직임패턴의 강약 또는 빠르기 등을 결정할 수 있다(S810). 예를 들어, 음악의 높낮이에 대한 복수 개의 구간과 각 구간별 움직임 패턴의 강약(예를 들어, 움직임 패턴의 조도나 패턴을 이루는 모양이나 선의 굵기 등)을 미리 정의한 후, 제어장치는 게임음악의 높낮이에 따른 움직임 패턴의 강약을 결정할 수 있다. 또는 게임음악의 세기가 클수록 움직임패턴의 변화 속도를 빠르게 할 수도 있다. The control device 110 may determine the strength or speed of the movement pattern based on the pitch or intensity of the game music (S810). For example, after pre-defining a plurality of sections for the music pitch and the strength and weakness of movement patterns for each section (for example, the illuminance of the movement pattern, the shape or thickness of the line, etc.) It is possible to determine the strength and weakness of the movement pattern according to the height. Alternatively, the higher the intensity of the game music, the faster the change speed of the movement pattern.

제어장치(110)는 도 7의 과정을 통해 파악된 움직임패턴의 강약 또는 빠르기 등을 함께 포함하는 제어명령을 생성한 후 이를 조명장치에 전송할 수 있다(S820).The control device 110 may generate a control command including the strength or speed of the movement pattern identified through the process of FIG. 7 , and then transmit it to the lighting device ( S820 ).

도 9는 본 발명의 실시 예에 따른 색상표를 인덱스와 맵핑하여 관리하는 방법의 예를 도시한 도면이다.9 is a diagram illustrating an example of a method for managing a color table by mapping it with an index according to an embodiment of the present invention.

도 9를 참조하면, 다양한 색상과 인덱스 사이의 맵핑관계가 미리 정의되어 제어장치(110)와 조명장치(122)에 각각 저장된다. 제어장치(110)가 소수의 색상과 이에 대한 움직임 패턴에 대한 정보를 포함하는 제어명령을 조명장치(122)에 전송하는 경우에는 데이터의 크기가 크기 않으므로 색상에 대한 정보(예를 들어, RGB 데이터 등)를 그대로 전송할 수 있다. 그러나 수십~또는 수백 개의 색상에 대한 정보를 포함하는 제어명령을 전송하는 경우에는 데이터 용량이 크므로 이를 줄이기 위하여 인덱스 정보를 활용할 수 있다. 예를 들어, 인덱스정보는 숫자로 구성될 수 있으며, 제어장치(110)가 제2 색상에 대한 인덱스정보 '2'를 전송하면, 조명장치(122)는 미리 저장된 색상표를 기초로 '2'에 대한 색상이 제2 색상임을 알 수 있다.Referring to FIG. 9 , a mapping relationship between various colors and indices is predefined and stored in the control device 110 and the lighting device 122 , respectively. When the control device 110 transmits a control command including information on a small number of colors and movement patterns thereto to the lighting device 122, since the size of the data is not large, information on colors (eg, RGB data) etc.) can be transmitted as it is. However, when a control command including information on tens or hundreds of colors is transmitted, since the data capacity is large, index information can be used to reduce this. For example, the index information may be composed of numbers, and when the control device 110 transmits index information '2' for the second color, the lighting device 122 displays '2' based on a pre-stored color table. It can be seen that the color for is the second color.

도 10은 본 발명의 실시 예에 따른 제어장치의 일 예의 구성을 도시한 도면이다.10 is a diagram illustrating a configuration of an example of a control device according to an embodiment of the present invention.

도 10을 참조하면, 제어장치(110)는 제1학습부(1000), 확장영상생성부(1010), 색상추출부(1020), 제1 움직임패턴추출부(1025), 제2학습부(1030), 감정파악부(1040), 제2 움직임패턴추출부(1050), 제어부(1060)를 포함한다. 제어장치의 각 구성은 소프트웨어 구현될 수 다. 예를 들어, 제어장치는 소프트웨어로 구현된 각 구성을 로딩하는 메모리와 메모리에 저장된 각 구성을 수행하는 프로세서를 포함할 수 있다. 제어장치(110)는 구성요소 중 일부를 생략하여 구현될 수 있다. 예를 들어, 제어장치(110)는 제1 움직임패턴추출부(1025) 및 제2 움직임패턴추출부(1050) 중 어느 하나만을 포함할 수 있다.Referring to FIG. 10 , the control device 110 includes a first learning unit 1000 , an extended image generating unit 1010 , a color extracting unit 1020 , a first movement pattern extracting unit 1025 , and a second learning unit ( 1030 ), an emotion detection unit 1040 , a second movement pattern extraction unit 1050 , and a control unit 1060 . Each configuration of the control device may be implemented in software. For example, the control device may include a memory for loading each configuration implemented in software and a processor for performing each configuration stored in the memory. The control device 110 may be implemented by omitting some of the components. For example, the control device 110 may include only one of the first movement pattern extraction unit 1025 and the second movement pattern extraction unit 1050 .

제1 학습부(1000)는 게임화면에 대한 확장영상을 생성하는 제1 인공지능모델을 학습시킨다. 제1 인공지능모델의 학습 과정의 일 예가 도 3에 도시되어 있다. 일 실시 예로, 제어장치(110)는 제1 학습부(1000)를 포함하지 않고, 학습완료된 제1 인공지능모델을 포함할 수 있다. The first learning unit 1000 learns a first artificial intelligence model that generates an extended image for a game screen. An example of the learning process of the first artificial intelligence model is shown in FIG. 3 . As an embodiment, the control device 110 may include the first artificial intelligence model that has been trained without including the first learning unit 1000 .

확장영상생성부(1010)는 학습완료된 제1 인공지능모델을 이용하여 게임화면에 대한 확장영상을 생성한다. 도 2를 참조하면, 확장영상생성부(1010)는 실시간 게임이 진행되는 동안에 게임화면을 캡쳐한 후 이를 제1 인공지능모델에 입력하여 게임화면에 대한 확장영상을 생성할 수 있다.The extended image generating unit 1010 generates an extended image for the game screen by using the learned first artificial intelligence model. Referring to FIG. 2 , the extended image generating unit 1010 may generate an extended image for the game screen by capturing a game screen while a real-time game is in progress and inputting it to the first artificial intelligence model.

색상추출부(1020)는 확장영상으로부터 적어도 하나 이상의 색상을 추출한다. 색상추출부(1020)는 다양한 방법으로 게임화면과 연관되는 다양한 색상이나 이미지 등을 추출할 수 있으며, 그에 대한 상세한 내용이 도 4에 도시되어 있다.The color extraction unit 1020 extracts at least one color from the extended image. The color extraction unit 1020 may extract various colors or images related to the game screen in various ways, and details thereof are shown in FIG. 4 .

제1 움직임패턴추출부는 확장영상의 움직임 패턴을 추출한다. 예를 들어, 제1 움직임패턴추출부는 확장영상의 전체 또는 기 정의된 일정 영역의 색상이나 패턴 또는 무늬의 변화를 추출할 수 있다. The first movement pattern extraction unit extracts the movement pattern of the extended image. For example, the first movement pattern extracting unit may extract a change in color, pattern, or pattern of the entire extended image or of a predetermined area.

제2 학습부(1030)는 게임음악으로부터 감정을 추출하는 제2 인공지능모델을 학습시킨다. 제2 인공지능모델의 학습 과정의 일 예가 도 5에 도시되어 있다. 일 실시 예로, 제어장치(110)는 제2 학습부(1030)를 포함하지 않고, 학습완료된 제2 인공지능모델을 포함할 수 있다. The second learning unit 1030 learns a second artificial intelligence model for extracting emotions from game music. An example of the learning process of the second artificial intelligence model is shown in FIG. 5 . As an embodiment, the control device 110 may include a second artificial intelligence model that has been trained without including the second learning unit 1030 .

감정파악부(1040)는 학습완료된 제2 인공지능모델을 이용하여 게임음악에 대한 감정을 파악한다. 감정파악부(1040)의 감정 파악 주기와 확장영상생성부(1010)의 확장영상의 생성 주기는 서로 동기화될 수 있다.The emotion detection unit 1040 uses the learned second artificial intelligence model to identify emotions for the game music. The emotion detection cycle of the emotion detection unit 1040 and the extended image generation cycle of the extended image generator 1010 may be synchronized with each other.

제2 움직임패턴추출부(1050)는 감정파악부(1040)에 의해 파악된 감정에 해당하는 움직임패턴을 파악한다. 감정과 움직임패턴 사이의 맵핑관계는 도 6과 같이 미리 설정될 수 있다. The second movement pattern extraction unit 1050 detects a movement pattern corresponding to the emotion detected by the emotion detection unit 1040 . A mapping relationship between emotions and movement patterns may be preset as shown in FIG. 6 .

제어부(1060)는 색상추출부(1020)에 의해 추출된 적어도 하나 이상의 색상을 제1 움직임패턴추출부(1025) 또는 제2 움직임패턴추출부(1050)에 의해 파악된 움직임패턴을 통해 출력하는 제어명령을 생성하고, 이를 조명장치로 전송한다. 다른 예로, 제어부(1060)는 도 8과 같이 게임음악의 높낮이 또는 세기 등을 기초로 움직임패턴의 강약 또는 빠르기 등을 결정한 후 이를 반영한 제어명령을 생성하여 조명장치로 전송할 수 있다.The control unit 1060 controls to output at least one color extracted by the color extraction unit 1020 through the movement pattern identified by the first movement pattern extraction unit 1025 or the second movement pattern extraction unit 1050 . It generates a command and sends it to the lighting device. As another example, as shown in FIG. 8 , the controller 1060 may determine the strength or speed of a movement pattern based on the height or intensity of the game music, etc., and then generate a control command reflecting this determination and transmit it to the lighting device.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. In addition, the computer-readable recording medium is distributed in a network-connected computer system so that the computer-readable code can be stored and executed in a distributed manner.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at with respect to preferred embodiments thereof. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

Claims (14)

영상을 입력받으면 상기 영상에 대한 확장영상을 출력하는 제1 인공지능모델을 이용하여 게임화면의 확장영상을 생성하는 단계;
상기 게임화면의 확장영상으로부터 적어도 하나 이상의 색상을 추출하는 단계; 및
상기 추출한 색상을 출력하도록 제어명령을 조명장치에 출력하는 단계;를 포함하는 것을 특징으로 하는 게임 동화형 조명무드 제어방법.generating an extended image of a game screen by using a first artificial intelligence model that outputs an extended image for the image when receiving an image;
extracting at least one color from the expanded image of the game screen; and
and outputting a control command to a lighting device to output the extracted color. 제 1항에 있어서,
음악을 입력받으면 상기 음악에 대한 감정을 출력하는 제2 인공지능모델을 이용하여 게임음악에 대한 감정을 파악하는 단계; 및
감정과 움직임패턴 사이에 미리 정의된 맵핑관계에 따라 상기 게임음악의 감정에 해당하는 움직임패턴을 추출하는 단계;를 더 포함하고,
상기 제어명령을 출력하는 단계는, 상기 추출한 색상을 상기 움직임패턴에 따라 출력하는 제어명령을 생성하는 단계;를 포함하는 것을 특징으로 하는 게임 동화형 조명무드 제어방법.The method of claim 1,
recognizing emotions for game music by using a second artificial intelligence model that outputs emotions for music when receiving music; and
Further comprising; extracting a movement pattern corresponding to the emotion of the game music according to a predefined mapping relationship between the emotion and the movement pattern;
The step of outputting the control command includes generating a control command for outputting the extracted color according to the movement pattern. 제 2항에 있어서, 상기 제어명령을 생성하는 단계는,
상기 게임음악의 높낮이 또는 세기에 따라 움직임패턴의 강약 또는 빠르기를 결정하는 단계; 및
상기 추출한 색상을 입힌 움직임패턴의 강약 또는 빠르기를 포함하는 제어명령을 생성하는 단계;를 포함하는 것을 특징으로 하는 게임 동화형 조명무드 제어방법.The method of claim 2, wherein the generating of the control command comprises:
determining the strength or speed of the movement pattern according to the pitch or intensity of the game music; and
generating a control command including the strength or speed of the extracted color-applied movement pattern; 제 1항에 있어서, 상기 색상을 추출하는 단계는,
상기 게임화면의 확장영상에서 색상 빈도를 기초로 적어도 하나 이상의 색상을 추출하거나, 상기 게임화면의 확장영상에서 기 정의된 영역에 위치한 적어도 하나 이상의 색상을 기초로 대표 색상을 산출하거나, 상기 게임화면의 확장영상의 일부 또는 전부의 색상을 추출하는 단계를 포함하는 것을 특징으로 하는 게임 동화형 조명무드 제어방법.According to claim 1, wherein the step of extracting the color,
Extracting at least one color based on the color frequency from the extended image of the game screen, calculating a representative color based on at least one or more colors located in a predefined area in the extended image of the game screen, or Game animation lighting mood control method comprising the step of extracting a part or all of the color of the extended image. 제 1항에 있어서,
상기 게임화면의 확장영상의 일부 또는 전체에 대한 색상의 움직임패턴을 파악하는 단계;를 더 포함하고,
상기 제어명령을 출력하는 단계는, 상기 추출한 색상을 상기 움직임패턴에 따라 출력하는 제어명령을 생성하는 단계;를 포함하는 것을 특징으로 하는 게임 동화형 조명무드 제어방법.The method of claim 1,
Recognizing a color movement pattern for a part or all of the expanded image of the game screen; further comprising,
The step of outputting the control command includes generating a control command for outputting the extracted color according to the movement pattern. 제 1항에 있어서,
복수의 게임화면을 캡쳐하는 단계;
각 게임화면을 내부영역과 테두리영역으로 분리하는 단계; 및
상기 내부영역과 테두리영역으로 구성된 학습데이터를 이용하여 기본영상에 대한 확장영상을 생성하는 상기 제1 인공지능모델을 학습시키는 단계;를 더 포함하는 것을 특징으로 하는 게임 동화형 조명무드 제어방법.The method of claim 1,
capturing a plurality of game screens;
dividing each game screen into an inner area and a border area; and
Learning the first artificial intelligence model for generating an extended image for a basic image by using the learning data composed of the inner region and the border region; Game animation type lighting mood control method further comprising a. 제 2항에 있어서,
복수의 게임음악을 캡쳐하는 단계;
상기 게임음악을 기 정의된 구간 단위로 분류하고, 각 구간에 대한 감정을 지정받는 단계; 및
구간 단위의 게임음악과 감정을 포함하는 학습데이터를 이용하여 상기 제2 인공지능모델을 학습시키는 단계;를 더 포함하는 것을 특징으로 하는 게임 동화형 조명무드 제어방법.3. The method of claim 2,
capturing a plurality of game music;
classifying the game music into a unit of a predefined section, and receiving an emotion for each section; and
Learning the second artificial intelligence model by using the learning data including the game music and emotions in units of sections; Game animation-type lighting mood control method, characterized in that it further comprises. 제 1항에 있어서, 상기 제어명령을 출력하는 단계는,
상기 추출한 색상에 대한 인덱스 번호를 포함하는 제어명령을 생성하는 단계;를 포함하는 것을 특징으로 하는 게임 동화형 조명무드 제어방법.The method of claim 1, wherein outputting the control command comprises:
Generating a control command including an index number for the extracted color; Game animation-type lighting mood control method comprising the. 제 1항에 있어서,
상기 조명장치는 게임용 의자의 일측에 위치하는 것을 특징으로 하는 게임 동화형 조명무드 제어방법.The method of claim 1,
The lighting device is a game animation type lighting mood control method, characterized in that located on one side of the game chair. 영상을 입력받으면 상기 영상에 대한 확장영상을 출력하는 제1 인공지능모델을 이용하여 게임화면의 확장영상을 생성하는 확장영상생성부;
상기 게임화면의 확장영상으로부터 적어도 하나 이상의 색상을 추출하는 색상추출부; 및
상기 추출한 색상을 출력하도록 제어명령을 조명장치에 출력하는 제어부;를 포함하는 것을 특징으로 하는 게임 동화형 조명무드 제어장치.an extended image generator for generating an extended image of a game screen by using a first artificial intelligence model that outputs an extended image for the image when receiving an image;
a color extraction unit for extracting at least one color from the expanded image of the game screen; and
and a control unit for outputting a control command to a lighting device to output the extracted color. 제 10항에 있어서,
음악을 입력받으면 상기 음악에 대한 감정을 출력하는 제2 인공지능모델을 이용하여 게임음악에 대한 감정을 파악하는 감정파악부; 및
감정과 움직임패턴 사이에 미리 정의된 맵핑관계에 따라 상기 게임음악의 감정에 해당하는 움직임패턴을 추출하는 움직임패턴추출부;를 더 포함하고,
상기 제어부는, 상기 추출한 색상을 상기 움직임패턴에 따라 출력하는 제어명령을 생성하는 것을 특징으로 하는 게임 동화형 조명무드 제어장치.11. The method of claim 10,
an emotion recognition unit for recognizing emotions for game music by using a second artificial intelligence model that outputs emotions for the music when receiving music; and
Further comprising; a movement pattern extraction unit for extracting a movement pattern corresponding to the emotion of the game music according to a predefined mapping relationship between the emotion and the movement pattern;
The control unit, Game animation type lighting mood control device, characterized in that for generating a control command for outputting the extracted color according to the movement pattern. 제 10항에 있어서,
복수의 게임화면을 캡쳐하고, 각 게임화면을 내부영역과 테두리영역으로 분리하고, 상기 내부영역과 테두리영역으로 구성된 학습데이터를 이용하여 기본영상에 대한 확장영상을 생성하는 상기 제1 인공지능모델을 학습시키는 제1 학습부;를 더 포함하는 것을 특징으로 하는 게임 동화형 조명무드 제어장치.11. The method of claim 10,
The first artificial intelligence model that captures a plurality of game screens, divides each game screen into an inner area and a border area, and generates an extended image for the basic image using the learning data composed of the inner area and the border area. Game animation type lighting mood control device further comprising; a first learning unit for learning. 제 11항에 있어서,
복수의 게임음악을 캡쳐하고, 상기 게임음악을 기 정의된 구간 단위로 분류하여 각 구간에 대한 감정을 지정받은 후 구간 단위의 게임음악과 감정을 포함하는 학습데이터를 이용하여 상기 제2 인공지능모델을 학습시키는 제2 학습부;를 더 포함하는 것을 특징으로 하는 게임 동화형 조명무드 제어장치.12. The method of claim 11,
After capturing a plurality of game music, classifying the game music into predefined section units and receiving emotions for each section, the second artificial intelligence model using learning data including game music and emotions for each section A game animation type lighting mood control device, characterized in that it further comprises; a second learning unit for learning. 제 1항 내지 제 9항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium recording a program for performing the method according to any one of claims 1 to 9.
KR1020200140713A 2020-10-27 2020-10-27 Apparatus for controlling mood lighting in accordance with game and method therefor KR102556886B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200140713A KR102556886B1 (en) 2020-10-27 2020-10-27 Apparatus for controlling mood lighting in accordance with game and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200140713A KR102556886B1 (en) 2020-10-27 2020-10-27 Apparatus for controlling mood lighting in accordance with game and method therefor

Publications (2)

Publication Number Publication Date
KR20220056032A true KR20220056032A (en) 2022-05-04
KR102556886B1 KR102556886B1 (en) 2023-07-19

Family

ID=81584287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200140713A KR102556886B1 (en) 2020-10-27 2020-10-27 Apparatus for controlling mood lighting in accordance with game and method therefor

Country Status (1)

Country Link
KR (1) KR102556886B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102659425B1 (en) * 2023-08-02 2024-04-23 주식회사 이노피아테크 Immersive Lighting Control Method and System for Media Service

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008522201A (en) * 2004-10-25 2008-06-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Lighting control image frame system and method
JP2011040963A (en) * 2009-08-10 2011-02-24 Toshiba Corp Video display device, and illumination control method
KR20120114757A (en) * 2011-04-08 2012-10-17 금오공과대학교 산학협력단 Mood light system of music mood and the method
KR20170135195A (en) * 2016-05-30 2017-12-08 엘지전자 주식회사 Mobile robot and method for controlling the same
JP6492332B2 (en) * 2014-04-21 2019-04-03 ソニー株式会社 Information processing apparatus, information processing method, and program
KR20190088406A (en) * 2018-01-04 2019-07-26 삼성전자주식회사 Video playback device and controlling method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008522201A (en) * 2004-10-25 2008-06-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Lighting control image frame system and method
JP2011040963A (en) * 2009-08-10 2011-02-24 Toshiba Corp Video display device, and illumination control method
KR20120114757A (en) * 2011-04-08 2012-10-17 금오공과대학교 산학협력단 Mood light system of music mood and the method
JP6492332B2 (en) * 2014-04-21 2019-04-03 ソニー株式会社 Information processing apparatus, information processing method, and program
KR20170135195A (en) * 2016-05-30 2017-12-08 엘지전자 주식회사 Mobile robot and method for controlling the same
KR20190088406A (en) * 2018-01-04 2019-07-26 삼성전자주식회사 Video playback device and controlling method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102659425B1 (en) * 2023-08-02 2024-04-23 주식회사 이노피아테크 Immersive Lighting Control Method and System for Media Service

Also Published As

Publication number Publication date
KR102556886B1 (en) 2023-07-19

Similar Documents

Publication Publication Date Title
Bobick et al. The KidsRoom: A perceptually-based interactive and immersive story environment
CN102332090B (en) Compartmentalizing focus area within field of view
JP2021192222A (en) Video image interactive method and apparatus, electronic device, computer readable storage medium, and computer program
KR20180092778A (en) Apparatus for providing sensory effect information, image processing engine, and method thereof
US20210312167A1 (en) Server device, terminal device, and display method for controlling facial expressions of a virtual character
US10560994B2 (en) Lighting control apparatus, corresponding method and computer program product
CN111867691A (en) Interactive animated character head system and method
RU2749000C2 (en) Systems and methods for animated head of a character
US11402975B2 (en) Apparatus and method for providing interactive content
US20230021533A1 (en) Method and apparatus for generating video with 3d effect, method and apparatus for playing video with 3d effect, and device
WO2020210407A1 (en) System and layering method for fast input-driven composition and live-generation of mixed digital content
KR20220056032A (en) Apparatus for controlling mood lighting in accordance with game and method therefor
US20230009454A1 (en) Digital character with dynamic interactive behavior
WO2020249543A1 (en) A controller for downscaling a set of light settings and a method thereof
CN112218414A (en) Method and system for adjusting brightness of self-adaptive equipment
Bluff et al. Devising interactive Theatre: Trajectories of production with complex bespoke technologies
US20230306666A1 (en) Sound Based Modification Of A Virtual Environment
KR20230103671A (en) Method and apparatus for providing a metaverse virtual reality companion animal capable of forming a relationship based on a user's emotions in a communication system
KR102262702B1 (en) System For Creating Video Using Change Pattern Of Shot
Breve et al. Perceiving space through sound: mapping human movements into MIDI.
El-Nasr et al. DigitalBeing–using the environment as an expressive medium for dance
KR102636480B1 (en) Artificial Intelligence Image Creation System
KR102555968B1 (en) Artificial intelligence-based digital content creation device and method for generating digital content from text information
KR102596322B1 (en) Method, system, and non-transitory computer-readable recording medium for authoring contents based on in-vehicle video
NL1043015B1 (en) Device and method for content generation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right