WO2022005253A1 - 영상 기반 작곡 장치 및 방법 - Google Patents

영상 기반 작곡 장치 및 방법 Download PDF

Info

Publication number
WO2022005253A1
WO2022005253A1 PCT/KR2021/008438 KR2021008438W WO2022005253A1 WO 2022005253 A1 WO2022005253 A1 WO 2022005253A1 KR 2021008438 W KR2021008438 W KR 2021008438W WO 2022005253 A1 WO2022005253 A1 WO 2022005253A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
frequency
based composition
color
Prior art date
Application number
PCT/KR2021/008438
Other languages
English (en)
French (fr)
Inventor
김민수
김형찬
Original Assignee
김민수
김형찬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김민수, 김형찬 filed Critical 김민수
Publication of WO2022005253A1 publication Critical patent/WO2022005253A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/005—Algorithms for electrophonic musical instruments or musical processing, e.g. for automatic composition or resource allocation

Definitions

  • the present invention relates to an image-based composition apparatus and method, and more particularly, to an image-based composition apparatus and method for automatically composing music based on a visual image.
  • Composition is the task of creating a main melody, which is a component of music, and an automatic composition technology that automatically performs this composition task has been proposed.
  • This automatic composition technology can help people who lack composing ability to compose easily by automatically recording the ideas that come to mind for music composition.
  • an automatic composition apparatus capable of simulating the process of a composer obtaining a compositional motif while using laws existing in the natural world is required.
  • An embodiment of the present invention is to provide an image-based composition apparatus and method for automatically composing music based on a visual image.
  • An embodiment of the present invention is intended to provide an image-based composition apparatus and method capable of performing composition without difficulty even for ordinary people without knowledge of composition.
  • An embodiment of the present invention is to provide an image-based composition apparatus and method capable of performing composition using the law of overtones.
  • An embodiment of the present invention is to provide an image-based composition apparatus and method capable of delivering a playful element to a user.
  • an image-based composition apparatus for composing music by analyzing an image, comprising: an image input unit to which a source image is input; a range setting unit for setting a composition range to be composed in the source image; a unit dividing unit dividing the composition range into one or more measure units, and dividing the bar unit into one or more basic units; a first frequency setting unit that derives color information of the basic unit and sets a visible ray frequency corresponding to the color information in a visible ray frequency region; A second frequency setting unit for setting an audible frequency in a harmonic relationship with the visible light frequency, and a sound corresponding to the audible frequency of the basic unit by arranging the sound corresponding to the audible frequency of the basic unit according to the arrangement order of the basic unit to configure the scale of the measure unit An image-based composition device including a composition unit is provided.
  • the first frequency setting unit derives the color information, it may mean that at least one color of a known color classification system is matched to the basic unit.
  • the first frequency setting unit may select and match the plurality of colors among the plurality of colors.
  • the known color classification system is IRI Hue & Tone 120 that classifies colors according to Hue and Tone
  • the first frequency setting unit divides the frequency range of the visible light for each color
  • the visible ray frequency may be set by subdividing the frequency region of the visible ray divided for each color according to the hue of the color.
  • the first frequency setting unit and the second frequency setting unit are configured not to set the visible light frequency and the audible frequency with respect to a basic unit in which the color information is an achromatic color, and the composition unit is configured such that the color information is an achromatic color.
  • a comma may be arranged in place of the sound for the unit.
  • the composition unit may combine a plurality of consecutive notes to form one long note.
  • the composing unit may compose the music by connecting the one or more scales individually configured for the one or more measure units.
  • the composing unit may compose the music by sequentially connecting the one or more musical scales according to the positions of the measure units.
  • the composing unit may compose the music by sequentially connecting the one or more musical scales along the direction selected by the user.
  • the composing unit may further include an output unit for outputting the music composed by the user in a form that can be heard by the user.
  • an image-based composition method for composing music using an image-based composition apparatus comprising: inputting a source image to the image-based composition apparatus; setting, by the image-based composition device, a composition range to be composed among the source images; dividing, by the image-based composition device, the composition range into one or more measure units, and dividing the measure unit into one or more basic units; setting, by the image-based composition device, color information of the basic unit and a visible ray frequency corresponding to the color information in a visible ray frequency range; Setting the audible frequency in the image-based composition device in a harmonic relationship with the visible light frequency, and the image-based composition device arranging the notes corresponding to the audible frequency of the basic unit to configure the scale of the measure unit An image-based composition method comprising the steps is provided.
  • An image-based composition apparatus derives color information included in an image by a first frequency setting unit, sets a visible light frequency based on this, and sets the visible light frequency by a second frequency setting unit
  • a first frequency setting unit sets a visible light frequency based on this
  • a second frequency setting unit sets the audible frequency
  • the image-based composition apparatus is formed so that the user can set the composition range and the connection sequence of each measure while the composition process is performed automatically, so that the user can feel a sense of artistic achievement without specialized knowledge. have.
  • FIG. 1 is a block diagram showing the configuration of an image-based composition apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining that a scale of each measure is configured in the image-based composition apparatus according to an embodiment of the present invention. Referring to FIG.
  • 3 is a diagram illustrating a range of frequencies for each color of visible light.
  • FIG. 4 is a diagram illustrating audible frequencies for each note constituting a musical scale.
  • FIG. 5 is a diagram illustrating IRI Hue & Tone 120 in which colors are classified according to Hue and Tone among known color classification systems.
  • FIG. 6 is a diagram illustrating a frequency region of visible light subdivided for each color tone.
  • FIG. 7 is a flowchart of an image-based composition method according to an embodiment of the present invention.
  • 8 to 17 are views each showing various examples related to a known color classification system.
  • Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and/or software configurations that perform specific functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors, or by circuit configurations for a given function.
  • the functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks may be implemented as an algorithm running on one or more processors.
  • the present disclosure may employ prior art for electronic configuration, signal processing, and/or data processing, and the like. Terms such as “mechanism”, “element”, “means” and “configuration” may be used broadly and are not limited to mechanical and physical components.
  • the image-based composition device 1 is a device capable of composing music that can be recognized by hearing by using a visual image as a motif, and even a user without professional knowledge about composition can only provide an image It is a device that can compose music by automatically analyzing video.
  • the image-based composition device 1 according to an embodiment of the present invention is a device capable of composing music using natural laws by using the rule of harmonics between a frequency and an audible frequency when composing.
  • FIG. 1 is a block diagram showing the configuration of an image-based composition apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining that a scale of each measure is configured in the image-based composition apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a range of frequencies for each color of visible light.
  • 4 is a diagram illustrating audible frequencies for each note constituting a musical scale.
  • 5 is a diagram illustrating IRI Hue & Tone 120 in which colors are classified according to Hue and Tone among known color classification systems.
  • 6 is a diagram illustrating a frequency region of visible light subdivided for each color tone.
  • an image-based composition apparatus 1 includes an image input unit 10 , a range setting unit 20 , a unit division unit 30 , and a first frequency setting unit 40 . , and a second frequency setting unit 50 and a composition unit 60 .
  • the image input unit 10 may receive an arbitrary source image selected by a user.
  • the source image is a basic material that becomes a composition material of the image-based composition apparatus 1 according to an embodiment of the present invention, is configured in units of pixels, and can be recognized by a computer.
  • the source image may include a still image (frame) or a moving image composed of a plurality of frames.
  • the source image may include both a real image captured by an image sensor including a camera as well as a virtual image produced by computer graphics technology.
  • the source image may be an image that has been previously photographed or produced and stored in advance, or may be an image immediately captured by an image sensor at the time of composing and transmitted to the image input unit 10 .
  • the image-based composition apparatus 1 includes a range setting unit 20 for setting a composition range with respect to the source image received from the image input unit 10 .
  • the range setting unit 20 may select at least a partial region to be used as a composition target from among the entire region of the source image composed of various shapes and colors. In this case, the range setting unit 20 may select an entire region instead of a part of the entire region of the source image.
  • the meaning that the range setting unit 20 sets the composition range may include both the composition range being set arbitrarily by the user, or the range automatically set by an algorithm in the form of a program. have.
  • the range setting unit 20 sets the area designation means (A) for setting the composition range on the image visualized through a known display device such as a monitor or smartphone screen.
  • a known display device such as a monitor or smartphone screen.
  • the area designating means (A) may be reduced in size or enlarged according to an input signal generated through a mouse device of a computer or a user's finger, and may be changed in location.
  • the range setting unit 20 sets the range of the entire image area in a partial region with a colorful composition, and a part with the highest color brightness or saturation. It may be formed to select an area, a partial area in which a shape change is frequent, and the like.
  • the above-described partial regions are merely examples, and the range setting unit 20 may have various algorithms for setting the composition range.
  • the image-based composition apparatus 1 divides the selected composition range into a plurality of measure units, and divides the measure unit into one or more basic units (B) again. It includes a division part (30).
  • the unit dividing unit 30 may divide the composition range set in the range setting unit 20 into a plurality of measures.
  • the unit divider 30 partitions the composition range, just as one piece of music includes a plurality of measures and constitutes a scale, for the entire composition range, a unit region corresponding to a measure, which is the basic unit constituting the scale, in order to match That is, the measure unit may function as a basic unit in which the image-based composition apparatus 1 according to an embodiment of the present invention performs a composition operation.
  • the unit divider 30 may divide the composition region so that the total number of measure units is a multiple of 4, such as 4, 8, 12, m, 4n, and the like. This was inspired by the fact that the number of measures in normal music is 4n, and is to prevent a sense of alienation compared to general music when the scale is completed later. However, it should be noted that this is only an example of how the unit division unit 30 divides the composition unit into measure units, and is not limited thereto.
  • the unit dividing unit 30 may divide a single node unit into a plurality of basic units B again.
  • the basic unit (B) means a unit area corresponding to a note or a rest, which is the minimum unit constituting a musical scale, and a specific image area may be converted into a note later based on this.
  • a single measure range may be divided into a plurality of basic units (in the case of FIG. 2 , divided into 64 basic units B), each of which may be individually converted into notes.
  • the measure unit is divided in a grid pattern
  • this is a method in which the unit division unit 30 of the image-based composition apparatus 1 according to an embodiment of the present invention generates the basic unit B.
  • the basic unit (B) may be divided to be parallel to each other along the corresponding direction by selecting only one of the horizontal (horizontal) direction or the vertical (vertical) direction of the composition range, and a curved shape It can also be partitioned using
  • the individual basic unit B may be converted into a 64th note as shown in FIG. 2 , for example. That is, in the case of FIG. 2 , 64 quarter notes may be gathered to constitute a scale of one measure.
  • the pitch of each 64th note to be converted from the individual basic unit (B) is determined later by analyzing the color information of the corresponding basic unit (B) by the first frequency setting unit 40 and the second frequency setting unit 50, which will be described later. can be done This will be described in detail through the description related to the first frequency setting unit 40 and the second frequency setting unit 50 .
  • the conversion of the basic unit B into 64th notes is only an embodiment of the present invention, and it may be converted into 32nd notes, 16th notes, or 8th notes according to a user's setting.
  • the individual basic units may all be converted to have the same sound length, or alternatively, may be converted to have different sound lengths by reflecting the characteristics of the individual basic units.
  • the image-based composition apparatus 1 divides one image into a plurality of basic units (B) to perform composition.
  • the divided basic unit (B) is converted into a scale.
  • the image-based composition apparatus 1 includes a first frequency setting unit ( 40).
  • visible light refers to a region of light that can be visually recognized by humans.
  • visible light has a unique wavelength and frequency for each color information.
  • the first frequency setting unit 40 of the image-based composition apparatus 1 performs image analysis on the basic unit B to obtain color information of the basic unit. After deriving it, a frequency range corresponding to it can be set.
  • the first frequency setting unit 40 analyzes the color information of a specific basic unit, and the color information of the specific basic unit is identified as red, the first frequency setting unit 40 is configured for the corresponding basic unit Visible light frequency of 405 to 480 THz can be set.
  • the first frequency setting unit 40 deriving the color information of the basic unit (B) corresponds to at least one color of the known color classification system with respect to the basic unit (B). It can mean to make
  • the first frequency setting unit 40 may specify any one of the 120 colors by IRI Hue & Tone 120 to correspond to the corresponding basic unit, and the corresponding color is the color information of the corresponding basic unit.
  • a method for the first frequency setting unit 40 to analyze color information may be a known method. As an example, it may be made in various ways, such as a method using RGB (Red, Green, Blue) information or CMYK (Cyan, Magenta, Yellow and Ke (Black)) information of the pixels included in the basic unit (B).
  • RGB Red, Green, Blue
  • CMYK Cyan, Magenta, Yellow and Ke (Black)
  • the first frequency setting unit 40 of the image-based composing apparatus 1 may select and match the largest number of colors among the plurality of color information.
  • the frequency of visible light corresponding thereto may be 405 to 480 THz as described above.
  • IRI Hue & Tone 120 classifies one color into 11 types according to tone
  • the red visible light frequency range described above may also be divided into 11 sections.
  • FIG. 6 shows the division of the visible ray frequency range of red into 11 sections according to color tones as described above.
  • the first frequency setting unit 40 when the first frequency setting unit 40 conforms to the color classification system of IRI Hue & Tone 120, the first frequency setting unit 40 sets the frequency range of the entire visible light to a color (color). ), and the visible ray frequency region divided by color can be subdivided by the tone of the corresponding color to set the visible ray frequency.
  • a known color information extraction program analyzes RGB information, and the predetermined basic unit (B) is red among 120 colors of IRI Hue & Tone 120, and the color tone is clear ( vivid), referring to FIG. 6 , the first frequency setting unit 40 may match 405.2 to 412 THz as a visible light frequency range corresponding to the color information.
  • the first frequency setting unit 40 derives color information of the basic unit (B) using the color classification system of IRI Hue & Tone 120, but image-based composition according to an embodiment of the present invention
  • the application of the device 1 is not limited thereto.
  • the image-based composition apparatus 1 includes a variety of known color classification systems including those illustrated in FIGS. 8 to 17 .
  • Color information of the basic unit B can be derived using the color classification system (refer to FIGS. 8 to 17).
  • the various color classification systems can classify a wide range of color spaces existing in the natural world into a plurality of colors based on color elements such as hue, brightness, chroma, or luminance.
  • the various color classification systems are The WCS stimulus palette (see Fig. 8), munsell color system (see Fig. 9), The NCS Natural Color System (see Fig. 10), Ostwald color system (see Fig. 11), CIELAB color space (see Fig. 12), GitLab's UI: A new color system (see Fig. 13), HKS (see Fig. 14), Google color system (see Fig. 15), CIE color space (see Fig. 16) or pantone color system ( 17) and the like.
  • the various color classification systems are not limited to the examples listed above, and other known color classification systems that are not shown may be included.
  • the first frequency setting unit 40 sets the entire visible light frequency range and the number of individual colors constituting the color classification system. After properly dividing to correspond to , it is possible to make a one-to-one correspondence between individual frequency regions corresponding to a specific color.
  • the first frequency setting unit 40 derives the color information of the basic unit (B) after analyzing the color information using RGB information or CMYK information for the basic unit (B) as described above. , may mean matching at least one color of a corresponding color classification system to the basic unit B.
  • the first frequency setting unit 40 may set an individual frequency region corresponding one-to-one to a specific color corresponding to the basic unit (B) as the visible light frequency of the basic unit (B).
  • the image-based composition apparatus 1 includes a second frequency setting unit 50 for setting an audible frequency corresponding to the visible light frequency set by the first frequency setting unit 40 .
  • the second frequency setting unit 50 may select and match the frequency of visible light and the frequency of audible harmonics in a relationship of harmonics.
  • the overtone means that the frequency of each overtone above the fundamental is an integer multiple of the frequency of the fundamental.
  • FIG. 4 looking at the frequency band of sound A, it can be seen that, in order from the first octave, 55.00, 110.00, 220.00, 440.00, ... 3520.00, etc. are in a relationship of integer multiples. .
  • the image-based composition device 1 is for extending and applying the law of overtones existing between audible frequencies of the natural world to the range of visible light frequencies, and through this, the composition work to which the rule of overtones is applied can be done automatically.
  • the second frequency setting unit 50 may set the sole sound (G, 4 octaves) as the audible frequency of the corresponding basic unit. This is because the frequency of 392 Hz, which is the frequency of the sol sound (G, 4 octaves), and the frequency of visible light, which is 431 THz, which exist within the range of 425.6 to 432.4 THz of the visible light frequency, have an overtone relationship with each other. (If 392Hz is multiplied by 2 to the power of 40, it can reach 431THz)
  • the second frequency setting unit 50 may not set the visible light frequency and the audible frequency for the corresponding basic unit. This is to solve that, in the case of the visible light frequency range, the frequency range corresponding to the achromatic color does not exist.
  • the music may be completed by arranging commas instead of notes.
  • the image-based composing apparatus 1 may include a composing unit 60 that completes a scale by arranging notes corresponding to audible frequencies.
  • the composing unit 60 may sequentially arrange the corresponding notes according to the arrangement order of the basic units B positioned within the measure range.
  • the meaning of arranging the notes sequentially according to the arrangement order of the basic units means that the notes corresponding to the basic units (B) adjacent to each other are sequentially arranged along the horizontal (horizontal) direction or the vertical (vertical) direction of the bar range. means to do
  • the composing unit 60 may complete the scale by sequentially arranging the notes corresponding to the basic units that do not exist adjacent to each other, rather than sequentially arranging the notes according to the arrangement order of the basic units.
  • the image-based composition apparatus 1 determines whether the composition unit 60 arranges the notes according to the arrangement order of the basic units or arranges the notes according to an arbitrary order. Whether or not it may be formed so that the user can select.
  • the composer 60 may merge the consecutive sounds to form one long sound.
  • the composing unit 60 can complete a variety of scales composed of notes of various note lengths, not of a single note length.
  • the composing unit 60 may compose one piece of music by connecting a plurality of scales individually configured for a plurality of measure units to each other.
  • the composing unit 60 connects the musical scales formed from a plurality of measure units in sequence, taking into account the arrangement order of each measure unit within the composition range, similarly to when arranging individual notes in each measure unit.
  • the notes may be arranged in an arbitrary order.
  • the composing unit 60 sequentially connects the bar units, various orders such as horizontal (horizontal) or vertical (vertical) may be considered, of course, and the composing unit 60 may be used to select the connection direction by the user. ) can be formed.
  • the image-based composition apparatus 1 may further include an output unit 70 for outputting the music completed by the composition unit 60 in a form that a user can listen to.
  • the output unit 70 may include well-known music output means such as speakers, headphones, earphones, etc., through the output unit 70, the user can enjoy the music completed for the composition range selected by the user. have.
  • FIG. 7 is a flowchart of an image-based composition method according to an embodiment of the present invention.
  • the image-based composition method according to an embodiment of the present invention may be performed by the image-based composition apparatus 1 described above.
  • the range setting unit 20 may set a composition range to be composed among the source images.
  • the unit divider 30 divides the composition range into one or more measures, and then divides the unit into one or more basic units again.
  • the first frequency setting unit 40 divides By deriving the color information of the basic unit, the visible ray frequency corresponding to the color information in the visible ray frequency range can be set.
  • the audible frequency is set in (S50)
  • the composer 60 that has received the audible frequency can configure a musical scale for each measure by arranging the notes corresponding to the audible frequency of the basic unit (S60).
  • the image-based composition apparatus and method according to an embodiment of the present invention may be implemented in a state mounted on a smartphone as a preferred embodiment.
  • each component of the image-based music composition apparatus and method according to an embodiment of the present invention may be implemented with a variety of hardware and/or software components running a smart phone.
  • the image-based composition apparatus As described above, through the image-based composition apparatus according to an embodiment of the present invention, a user can compose various musical scales by himself/herself by providing an image.
  • the image-based composition apparatus according to an embodiment of the present invention does not simply randomly arrange unrelated musical scales, but uses the law of overtones existing in the natural world, that is, only the unique frequency information of the divided image.
  • the user By composing the divided image based on the audible frequency in the harmonic relationship, the user can experience a more systematic composition work and can create beautiful melodic music.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

영상 기반 작곡 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 기반 작곡 장치는 영상을 분석하여 음악을 작곡하는 영상 기반 작곡 장치로서, 소스 영상이 입력되는 영상 입력부; 소스 영상 중에서 작곡의 대상이 되는 작곡 범위를 설정하는 범위 설정부; 작곡 범위를 하나 이상의 마디 단위로 구분하고, 마디 단위를 하나 이상의 기본 단위로 분할하는 단위 분할부; 기본 단위의 색 정보를 도출하여 가시광선의 진동수 영역 중 색 정보에 대응되는 가시광선 진동수를 설정하는 제 1 진동수 설정부; 가시광선 진동수와 배음 관계에 있는 가청 진동수를 설정하는 제 2 진동수 설정부 및 기본 단위의 가청 진동수에 대응되는 음을 기본 단위의 배치 순서를 따라 배열함으로써 마디 단위의 음계를 구성하는 작곡부를 포함한다.

Description

영상 기반 작곡 장치 및 방법
본 발명은 영상 기반 작곡 장치 및 방법에 관한 것으로, 보다 상세하게는, 시각적 영상을 기초로 하여 자동으로 음악을 작곡하는 영상 기반 작곡 장치 및 방법에 관한 것이다.
작곡이란 음악의 구성요소인 주선율을 만드는 작업으로서, 이러한 작곡 작업을 자동으로 수행하는 자동 작곡 기술이 제안된 바 있다. 이러한 자동 작곡 기술은 음악 작곡을 위해 떠오른 악상을 기록하는 것을 자동으로 수행하여 작곡능력이 부족한 사람들이 쉽게 작곡을 할 수 있도록 도와줄 수 있다.
그러나 종래에 제시되었던 자동 작곡 기술들은 실질적인 작곡을 하는 것이 아니라, 단순한 음악 파편들을 조합하는 것에 불과하거나, 또는 서로 연관 관계가 없는 음을 단순히 나열하여 음계를 구성하는 등 음악적 법칙을 기반으로 하지 않는 이유로, 고품질의 결과물을 제공하기 어려운 면이 있다.
한편, 작곡자가 작곡의 모티브를 얻는 과정을 살펴보면, 인상 깊은 시각적 이미지로부터 악상을 떠올리는 경우가 자주 있다. 이것은 예술의 영역에 속하는 작곡의 경우 작곡자의 감정을 기반으로 작곡이 이루어지는 것을 고려하였을 때, 비록 시각과 청각은 서로 다른 감각을 담당하긴 하나, 작곡자로 하여금 유사한 감정을 일으키기도 하기 때문이다.
따라서, 자동 작곡 기술을 이용하여 보다 체계적이고 의미 있는 작곡 결과물을 얻기 위해서는 자연계에 존재하는 법칙을 이용하면서도, 작곡자가 작곡의 모티브를 얻는 과정을 모사할 수 있는 자동 작곡 장치가 필요하다.
본 발명의 일 실시예는 시각적 영상을 기초 자료로 하여 자동으로 음악을 작곡하는 영상 기반 작곡 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 작곡에 대한 지식이 없는 일반인도 어려움 없이 작곡을 수행할 수 있는 영상 기반 작곡 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 배음의 법칙을 이용하여 작곡을 수행할 수 있는 영상 기반 작곡 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 사용자에게 유희적 요소를 전달할 수 있는 영상 기반 작곡 장치 및 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 영상을 분석하여 음악을 작곡하는 영상 기반 작곡 장치로서, 소스 영상이 입력되는 영상 입력부; 상기 소스 영상 중에서 작곡의 대상이 되는 작곡 범위를 설정하는 범위 설정부; 상기 작곡 범위를 하나 이상의 마디 단위로 구분하고, 상기 마디 단위를 하나 이상의 기본 단위로 분할하는 단위 분할부; 상기 기본 단위의 색 정보를 도출하여 가시광선의 진동수 영역 중 상기 색 정보에 대응되는 가시광선 진동수를 설정하는 제 1 진동수 설정부; 상기 가시광선 진동수와 배음 관계에 있는 가청 진동수를 설정하는 제 2 진동수 설정부 및 상기 기본 단위의 상기 가청 진동수에 대응되는 음을 상기 기본 단위의 배치 순서를 따라 배열함으로써 상기 마디 단위의 음계를 구성하는 작곡부를 포함하는, 영상 기반 작곡 장치가 제공된다.
이 때, 상기 제 1 진동수 설정부가 상기 색 정보를 도출하는 것은 상기 기본 단위에 대하여 공지의 색 분류 체계 중 적어도 하나의 색을 대응시키는 것을 의미할 수 있다.
이 때, 상기 제 1 진동수 설정부는 상기 기본 단위에 대하여 상기 공지의 색 분류 체계 중 복수의 색이 대응되는 경우, 상기 복수의 색 중 가장 다수의 색을 선택하여 대응시킬 수 있다.
이 때, 상기 공지의 색 분류 체계는 색상(Hue) 및 색조(Tone)에 따라 색을 분류한 IRI Hue & Tone 120 이며, 상기 제 1 진동수 설정부는 상기 가시광선의 진동수 영역을 상기 색상 별로 구분하고, 상기 색상 별로 구분된 상기 가시광선의 진동수 영역을 상기 색상의 색조 별로 세분화하여 상기 가시광선 진동수를 설정할 수 있다.
이 때, 제 1 진동수 설정부와 상기 제 2 진동수 설정부는 상기 색 정보가 무채색인 기본 단위에 대하여 상기 가시광선 진동수와 상기 가청 진동수를 설정하지 않도록 형성되며, 상기 작곡부는 상기 색 정보가 무채색인 기본 단위에 대하여 상기 음을 대신하여 쉼표를 배열할 수 있다.
이 때, 상기 작곡부는 상기 음계에 동일한 음이 연속될 경우 연속되는 복수의 음을 합쳐 하나의 장음으로 구성할 수 있다.
이 때, 상기 작곡부는 상기 하나 이상의 마디 단위에 대하여 개별적으로 구성된 상기 하나 이상의 음계를 서로 연결하여 상기 음악을 작곡할 수 있다.
이 때, 상기 작곡부는 상기 하나 이상의 음계를 상기 마디 단위의 위치에 따라 순차적으로 연결하여 상기 음악을 작곡할 수 있다.
이 때, 상기 작곡부는 사용자에 의하여 선택된 방향을 따라 상기 하나 이상의 음계를 순차적으로 연결하여 상기 음악을 작곡할 수 있다.
이 때, 작곡부가 작곡한 상기 음악을 사용자가 들을 수 있는 형태로 출력하는 출력부를 더 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 영상 기반 작곡 장치를 이용하여 음악을 작곡하는 영상 기반 작곡 방법으로서, 상기 영상 기반 작곡 장치에 소스 영상을 입력하는 단계; 상기 영상 기반 작곡 장치가 상기 소스 영상 중에서 작곡의 대상이 되는 작곡 범위를 설정하는 단계; 상기 영상 기반 작곡 장치가 상기 작곡 범위를 하나 이상의 마디 단위로 구분하고, 상기 마디 단위를 하나 이상의 기본 단위로 분할하는 단계; 상기 영상 기반 작곡 장치가 상기 기본 단위의 색 정보를 도출하여 가시광선의 진동수 영역 중 상기 색 정보에 대응되는 가시광선 진동수를 설정하는 단계; 상기 영상 기반 작곡 장치가 상기 가시광선 진동수와 배음 관계에 있는 가청 진동수를 설정하는 단계 및 상기 영상 기반 작곡 장치가 상기 기본 단위의 상기 가청 진동수에 대응되는 음을 배열함으로써 상기 마디 단위의 음계를 구성하는 단계를 포함하는, 영상 기반 작곡 방법이 제공된다.
본 발명의 일 실시예에 따른 영상 기반 작곡 장치는 제 1 진동수 설정부에 의해 영상에 포함된 색 정보를 도출하고, 이를 기초로 하여 가시광선 진동수를 설정하고, 제 2 진동수 설정부에 의해 상기 가시광선 진동수와 배음관계에 있는 가청 진동수를 설정함으로써 자연계에 존재하는 배음의 법칙을 적용하여 체계적으로 작곡 작업을 수행할 수 있다.
본 발명의 일 실시예에 따른 영상 기반 작곡 장치는 작곡 과정이 자동으로 수행되면서도, 사용자가 작곡 범위의 설정 및 마디 단위의 연결 순서 등을 설정할 수 있도록 형성되어 사용자가 전문지식 없이도 예술적 성취감을 느낄 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 작곡 장치의 구성을 블록도 형태로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 작곡 장치에서 각 마디 단위의 음계가 구성되는 것을 설명하기 위한 도면이다.
도 3은 가시광선의 색상 별 진동수의 범위를 나타낸 도면이다.
도 4는 음계를 구성하는 음 별 가청 진동수를 나타낸 도면이다.
도 5는 공지의 색 분류 체계 중 색상(Hue) 및 색조(Tone)에 따라 색을 분류한 IRI Hue & Tone 120을 도시한 도면이다.
도 6은 가시광선의 진동수 영역을 색상의 색조 별로 세분화하여 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 기반 작곡 방법의 순서도이다.
도 8 내지 도 17은 공지의 색 분류 체계와 관련된 다양한 예시를 각각 도시한 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 시각적 이미지를 모티브로 하여 청각으로 인식할 수 있는 음악을 작곡할 수 있는 장치로서, 작곡에 대한 전문적인 지식이 없는 사용자도 이미지 제공 만으로 자동적으로 영상을 분석하여 음악을 작곡할 수 있는 장치이다. 특히 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 작곡시 주파수와 가청 주파수 사이의 배음의 법칙을 이용함으로써, 자연 법칙을 이용하여 음악을 작곡할 수 있는 장치이다.
이하, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)의 주요 구성에 대하여 보다 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 작곡 장치의 구성을 블록도 형태로 도시한 도면이다. 도 2는 본 발명의 일 실시예에 따른 영상 기반 작곡 장치에서 각 마디 단위의 음계가 구성되는 것을 설명하기 위한 도면이다. 도 3은 가시광선의 색상 별 진동수의 범위를 나타낸 도면이다. 도 4는 음계를 구성하는 음 별 가청 진동수를 나타낸 도면이다. 도 5는 공지의 색 분류 체계 중 색상(Hue) 및 색조(Tone)에 따라 색을 분류한 IRI Hue & Tone 120을 도시한 도면이다. 도 6은 가시광선의 진동수 영역을 색상의 색조 별로 세분화하여 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 영상 입력부(10), 범위 설정부(20), 단위 분할부(30), 제 1 진동수 설정부(40), 제 2 진동수 설정부(50) 및 작곡부(60)를 포함한다.
본 발명의 일 실시예에서, 영상 입력부(10)는 사용자에 의해 선택된 임의의 소스 영상을 입력 받을 수 있다.
이 때, 소스 영상은 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)의 작곡 재료가 되는 기초 자료로서, 픽셀 단위로 구성되며 컴퓨터에 의해 인식될 수 있다.
일례로 소스 영상은 정지 상태의 이미지(프레임) 또는 복수의 프레임으로 구성된 동영상을 포함할 수 있다. 또한, 소스 영상은 카메라를 포함한 이미지 센서에 의해 촬영된 실사 이미지는 물론 컴퓨터 그래픽 기술에 의해 제작된 가상 이미지를 모두 포함할 수 있다. 또한, 소스 영상은 과거에 미리 촬영되거나 제작되어 미리 저장된 형태의 영상일 수도 있고, 작곡 시점에 이미지 센서에 의해 즉시 촬영되어 영상 입력부(10)로 전송된 영상일 수도 있다.
본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 영상 입력부(10)로부터 전달받은 소스 영상에 대하여 작곡 범위를 설정하기 위한 범위 설정부(20)를 포함한다.
보다 상세하게, 도 2를 참조하면, 범위 설정부(20)는 다양한 형상과 색상으로 구성된 소스 영상의 전체 영역 중에서 작곡의 대상으로 이용될 적어도 일부 영역을 선택할 수 있다. 이 때, 범위 설정부(20)는 소스 영상의 전체 영역 중 일부가 아닌 전체 영역을 선택할 수도 있다.
본 발명의 일 실시예에서 범위 설정부(20)가 작곡 범위를 설정한다는 것의 의미는 사용자에 의해 임의로 작곡 범위가 설정되거나, 또는 프로그램 형태의 알고리즘에 의해 자동적으로 범위가 설정되는 것을 모두 포함할 수 있다.
그 중, 만약 사용자에 의해 임의로 작곡 범위가 설정되는 경우, 범위 설정부(20)는 모니터 또는 스마트폰 화면 등 공지의 디스플레이 장치를 통해 시각화되는 이미지 위에 작곡 범위 설정을 위한 영역 지정 수단(A)을 표시해 줄 수 있다. 이러한 영역 지정 수단(A)은 비제한적인 일례로서, 컴퓨터의 마우스 장치 또는 사용자의 손가락을 통해 발생된 입력 신호에 따라 그 크기가 축소되거나 확대될 수 있으며, 위치가 변경될 수도 있다.
만약, 범위 설정부(20)가 정해진 알고리즘에 의해 자동적으로 작곡 범위를 설정하는 경우, 범위 설정부(20)는 전체 이미지 영역 중에서 색상의 구성이 다채로운 일부 영역, 색상의 명도 또는 채도가 가장 높은 일부 영역, 형상의 변화가 빈번한 일부 영역 등을 선택하도록 형성될 수 있다. 다만, 상술한 일부 영역은 일례에 불과하며, 범위 설정부(20)는 작곡 범위를 설정하는 다양한 알고리즘을 가질 수 있다.
다시 도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 선택된 작곡 범위를 복수의 마디 단위로 구분하고, 다시 마디 단위를 하나 이상의 기본 단위(B)로 분할하는 단위 분할부(30)를 포함한다.
본 발명의 일 실시예에서, 단위 분할부(30)는 범위 설정부(20)에 설정된 작곡 범위를 복수의 마디 단위로 구획할 수 있다. 여기서, 단위 분할부(30)가 작곡 범위를 구획하는 것은, 하나의 음악이 복수의 마디를 포함하며 음계를 구성하듯이, 전체 작곡 범위에 대해서도 음계를 구성하는 기본 단위인 마디에 대응되는 단위 영역을 매칭시키기 위함이다. 즉, 마디 단위는 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)가 작곡 작업을 수행하는 기본 단위로 기능할 수 있다.
이 때, 단위 분할부(30)는 바람직하게는 4개, 8개, 12개,쪋,4n 개 등과 같이 총 마디 단위의 개수가 4의 배수가 되도록 작곡 영역을 분할할 수 있다. 이것은 통상의 음악에서 마디의 개수는 4n 개로 구성되는 것에서 착안한 것으로, 추후 음계가 완성되었을 때, 일반적인 음악과 비교하여 이질감이 느껴지지 않도록 하기 위함이다. 그러나, 이것은 단위 분할부(30)가 작곡 단위를 마디 단위로 구획하는 방법의 일례에 불과하며, 이에 제한되는 것은 아님을 밝혀 둔다.
그리고, 단위 분할부(30)는 단일한 마디 단위를 다시 복수의 기본 단위(B)로 분할할 수 있다. 여기서, 기본 단위(B)란 음계를 구성하는 최소 단위인 음표 또는 쉼표에 대응되는 단위 영역을 의미하며, 추후 이를 기초로 하여 특정 이미지 영역이 음표로 변환될 수 있다.
구체적으로, 도 2를 참조하면, 단일한 마디 범위는 복수 개의 기본 단위(도 2의 경우 64개의 기본 단위(B)로 분할됨)로 나뉘어 각각이 개별적으로 음표로 변환될 수 있다. 다만, 도 2에서는 마디 단위를 격자 무늬 형태로 분할한 것으로 도시되었으나, 이는 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)의 단위 분할부(30)가 기본 단위(B)를 생성하는 일 예시에 불과하며, 필요에 따라 기본 단위(B)는 작곡 범위의 수평(가로) 방향 또는 수직(세로) 방향 중 어느 한 방향만을 선택하여 해당 방향을 따라 서로 평행하도록 분할될 수도 있으며, 곡선 형태를 이용하여 분할될 수도 있다.
이 때, 개별 기본 단위(B)는 일례로, 도 2에 도시된 바와 같이 64분 음표로 변환될 수 있다. 즉, 도 2의 경우, 64개의 64분 음표가 모여서 하나의 마디의 음계를 구성할 수 있다. 여기서 개별 기본 단위(B)로부터 변환될 개별 64분 음표의 음 높이는 후술될 제 1 진동수 설정부(40) 및 2 진동수 설정부(50)가 해당 기본 단위(B)의 색 정보를 분석함으로써 추후 정해질 수 있다. 이에 대해서는 제 1 진동수 설정부(40) 및 2 진동수 설정부(50)와 관련된 설명을 통해 자세히 기술하기로 한다.
그러나, 기본 단위(B)가 64분 음표로 변환되는 것은 본 발명의 일 실시예에 불과하며, 사용자의 설정에 따라 32분 음표, 16분 음표 또는 8분 음표 등으로 변환되도록 할 수도 있다. 또한 개별 기본 단위는 전술한 바와 같이 모두 동일한 음 길이를 가지도록 변환되거나, 이와는 달리 개별 기본 단위의 특징을 반영하여 서로 상이한 음길이를 가지도록 변환될 수도 있다.
이상에서는 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)가 작곡을 수행하기 위해 하나의 이미지를 복수의 기본 단위(B)로 분할하는 것에 대하여 설명하였다. 아래에서는 이와 같이 분할된 기본 단위(B)가 어떻게 음계로 변환되는지에 대하여 자세히 기술하도록 한다.
본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 기본 단위(B)의 색(color)에 대응되는 가시광선 진동수 범위(이하 "가시광선 진동수")를 설정하는 제 1 진동수 설정부(40)를 포함한다.
구체적으로, 가시광선은 빛 가운데 인간에 의해 시각적 인지가 가능한 영역을 의미하는 것으로서, 도 3을 참조하면, 가시광선은 각각의 색(color) 정보 별로 고유의 파장과 진동수가 가진다. 이를 기초로 하여, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)의 제 1 진동수 설정부(40)는 기본 단위(B)에 대하여 이미지 분석을 수행하여 기본 단위가 가지고 있는 색 정보를 도출한 후, 이에 대응되는 진동수 영역을 설정할 수 있다.
일례로, 제 1 진동수 설정부(40)가 특정 기본 단위의 색 정보를 분석하였는데, 상기 특정 기본 단위의 색 정보가 빨간색으로 확인되는 경우, 제 1 진동수 설정부(40)는 해당 기본 단위에 대하여 405 내지 480 THz의 가시광선 진동수를 설정할 수 있다.
한편, 본 발명의 일 실시예에서, 제 1 진동수 설정부(40)가 기본 단위(B)의 색 정보를 도출하는 것은 기본 단위(B)에 대하여 공지의 색 분류 체계 중 적어도 하나의 색을 대응시키는 것을 의미할 수 있다.
도 5를 참조하면, 공지의 색 분류 체계의 일례로서, 색상(Hue) 및 색조(Tone)에 따라 색을 분류한 IRI Hue & Tone 120를 들 수 있다. 즉, 제 1 진동수 설정부(40)는 IRI Hue & Tone 120에 의한 120가지의 색 중 어느 하나의 색을 특정하여 해당 기본 단위에 대응시킬 수 있으며, 이렇게 대응된 색이 해당 기본 단위의 색 정보가 될 수 있다.
본 발명의 일 실시예에서, 제 1 진동수 설정부(40)가 색 정보를 분석하는 방법은 공지의 방법에 의할 수 있다. 일례로, 기본 단위(B)에 포함된 픽셀의 RGB(Red, Green, Blue) 정보 또는 CMYK(Cyan, Magenta, Yellow and Ke(Black)) 정보를 이용하는 방법 등 다양한 방법으로 이루어질 수 있으며, 공지된 색 정보 추출 프로그램을 이용할 수 있다.
본 발명의 일 실시예에서, 만약 단일 기본 단위가 복수의 픽셀로 구성되고, 픽셀 단위로 색 정보를 도출할 경우, 해당 기본 단위에 대해서는 공지의 색 분류 체계 중 복수의 색 정보가 대응될 수 있을 것이다. 이 경우, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)의 제 1 진동수 설정부(40)는 상기 복수의 색 정보 중 가장 다수의 색을 하나 선택하여 대응시킬 수 있다.
본 발명의 일 실시예에서, 제 1 진동수 설정부(40)가 공지의 색 분류 체계 중 IRI Hue & Tone 120에 따라 가시광선 진동수를 설정하는 과정을 구체적인 예시와 함께 살펴보면 다음과 같다.
일례로, 소정 기본 단위의 색상 정보가 빨간색(RED)일 경우, 이에 대응되는 가시광선 진동수는 앞서 설명한 바와 같이 405 내지 480 THz 일 수 있다. 그러나, IRI Hue & Tone 120은 하나의 색상(color)을 색조(tone)에 따라 11가지로 분류하고 있으므로, 앞서 설명한 빨간색의 가시광선 진동수 범위도 11개의 구간으로 분할될 수 있을 것이다. 도 6은 이와 같이 빨간색의 가시광선 진동수 범위를 색조에 따라 11개의 구간으로 분할하는 것을 도시하고 있다.
즉, 본 발명의 일 실시예에서, 제 1 진동수 설정부(40)가 IRI Hue & Tone 120의 색 분류 체계에 따를 경우, 제 1 진동수 설정부(40)는 전체 가시광선의 진동수 영역을 색상(color) 별로 구분하고, 색상 별로 구분된 가시광선 진동수 영역을 다시 해당 색상의 색조(tone) 별로 세분화하여 가시광선 진동수를 설정할 수 있을 것이다.
보다 구체적인 설명을 위한 일 예시로서, 공지의 색 정보 추출 프로그램이 RGB 정보를 분석하여, 소정 기본 단위(B)가 IRI Hue & Tone 120의 120가지 색 중 색상이 빨간색(Red)이고 색조가 선명한(vivid) 색조에 해당되는 것으로 확인하였을 경우, 도 6을 참조하면, 제 1 진동수 설정부(40)는 상기 색 정보에 대응되는 가시광선 진동수 범위로서, 405.2 내지 412 THz 를 매칭 시킬 수 있다.
이상의 설명에서는 제 1 진동수 설정부(40)가 IRI Hue & Tone 120의 색 분류 체계를 이용하여 기본 단위(B)의 색 정보를 도출하는 것을 예시하였지만, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)의 적용은 이에 제한되지 않는다.
즉, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 도 5에 도시된 IRI Hue & Tone 120의 색 분류 체계 외에도 도 8 내지 도 17에 도시된 색 분류 체계를 포함하여 공지된 다양한 색 분류 체계를 이용하여 기본 단위(B)의 색 정보를 도출할 수 있다.(도 8 내지 도 17 참조)
이 때, 상기 다양한 색 분류 체계는 도면에 도시되는 바와 같이 자연계에 존재하는 광범위한 색 공간을 예를 들면 색상, 명도, 채도 또는 휘도 등의 색 요소를 기준으로 하여 복수의 색으로 분류할 수 있다.
구체적인 일례로서, 상기 다양한 색 분류 체계는 The WCS stimulus palette(도 8 참조), munsell color system(도 9 참조), The NCS Natural Color System(도 10 참조), Ostwald color system(도 11 참조), CIELAB color space(도 12 참조), GitLab's UI: A new color system(도 13 참조), HKS(도 14 참조), Google colour system(도 15 참조), CIE colour space(도 16 참조) 또는 pantone colour system(도 17 참조) 등 일 수 있다. 그러나, 상기 다양한 색 분류 체계는 앞서 열거된 예시에 한정되지 않으며, 그 외 도시되지 않은 공지의 색 분류 체계를 포함할 수 있음을 밝혀 둔다.
이와 같이, IRI Hue & Tone 120의 색 분류 체계 외 다른 색 분류 체계를 이용하는 경우에도 제 1 진동수 설정부(40)는 전체 가시광선 진동수 영역을, 해당 색 분류 체계를 구성하는 복수 개의 개별 색의 개수에 대응되도록 적절히 분할한 후, 어느 특정 색에 대하여 이에 대응되는 개별 진동수 영역을 일대일 대응시킬 수 있다.
이 때, 제 1 진동수 설정부(40)가 기본 단위(B)의 색 정보를 도출하는 것은 앞서 설명한 바와 마찬가지로 기본 단위(B)에 대하여 RGB 정보 또는 CMYK 정보 등을 이용하여 색 정보를 분석한 후, 상기 기본 단위(B)에 해당 색 분류 체계 중 적어도 하나의 색을 대응시키는 것을 의미할 수 있다.
이 후, 제 1 진동수 설정부(40)는 상기 기본 단위(B)에 대응된 특정 색에 대하여 일대일 대응되는 개별 진동수 영역을 상기 기본 단위(B)의 가시광선 진동수로 설정할 수 있다.
본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 제 1 진동수 설정부(40)에 의해 설정된 상기 가시광선 진동수와 대응 관계에 있는 가청 진동수를 설정하는 제 2 진동수 설정부(50)를 포함한다.
이 때, 제 2 진동수 설정부(50)는 가시광선 진동수와 배음 관계에 있는 가청 진동수를 선택하여 대응시킬 수 있다. 여기서, 배음(倍音, harmonic overtones 또는 harmonics)이란, 기초음 위의 각 상음의 진동수가 기초음의 진동수에 대해서 정수배(整數倍)가 되는 것을 의미한다. 보다 상세하게, 도 4를 참조하면, 라(A)음의 진동수 대역을 살펴보면, 제 1 옥타브부터 차례로, 55.00, 110.00, 220.00, 440.00, ... 3520.00 등 서로 정수배의 관계에 있는 것을 알 수 있다.
본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 자연계의 가청 진동수 사이에 존재하는 배음의 법칙을 가시광선 진동수의 영역까지 확장, 적용하기 위한 것으로서, 이를 통해 배음의 법칙이 적용된 작곡 작업을 자동으로 수행할 수 있다.
구체적인 설명을 위한 일례로서, 도 4 및 도 6을 참조하면, 만약 제 1 진동수 설정부(40)에 의해 소정 기본 단위에 대하여 425.6 내지 432.4 THz의 가시광선 주파수가 설정되었을 경우(즉, 기본 단위의 색상이 빨간색이고, 색조가 페일(Pale, P)인 경우), 제 2 진동수 설정부(50)는 해당 기본 단위의 가청 진동수로서 솔음(G, 4옥타브)을 설정할 수 있다. 이것은 솔음(G, 4옥타브)의 진동수인 392Hz와, 가시광선 진동수 범위 425.6 내지 432.4 THz 내에 존재하는 431THz인 가시광선 진동수가 서로 배음의 관계에 있기 때문이다. (392Hz를 2의 40 제곱배 하였을 경우, 431THz에 이를 수 있음)
이러한 배음의 관계를 고려하였을 때, 공지의 색 분류 체계의 적용에 따른 장점을 확인할 수 있다.
구체적으로, 색 정보를 단순하게 도 3과 같이 색상에 따라 7가지 색으로만 분류하였을 경우, 단일한 색상에 대한 가시광선 진동수의 범위가 매우 넓어지게 된다. 따라서, 하나의 가시광선 진동수에 대응되는 가청 주파수가 복수로 존재하게 되는 단점이 있다. 일례로, 빨간색의 진동수 405 내지 480 THz에는 파#(F#, 369.99Hz), 솔(G, 392Hz), 솔#(G#, 415.30Hz)와 같이 복수의 음이 대응될 수 있으므로, 단일한 음을 선택할 수 없는 문제가 발생한다.
그러나, IRI Hue & Tone 120와 같은 세분화된 색 분류 체계에 의할 경우, 가시광선 주파수의 범위를 세부적으로 분할함에 따라 하나의 가시광선 주파수에 대하여 단일한 가청 주파수(음)을 일대일 대응시킬 수 있는 것이다.
한편, 본 발명의 일 실시예에서, 제 2 진동수 설정부(50)는 기본 단위의 색 정보가 무채색으로 확인되는 경우, 해당 기본 단위에 대해서는 가시광선 진동수와 가청 진동수를 설정하지 않을 수 있다. 이것은 가시광선 진동수 범위의 경우, 무채색에 대응되는 진동수 범위가 존재하지 않는 것을 해결하기 위한 것이다. 또한 후술할 작곡부(60)의 경우, 이러한 기본 단위에 대해서는 음표 대신 쉼표를 배열하여 음악을 완성할 수 있다.
본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 가청 진동수에 대응되는 음을 배열함으로써 음계를 완성하는 작곡부(60)를 포함할 수 있다.
이 때, 다시 도 2를 참조하면, 작곡부(60)는 마디 범위 내에 위치하는 기본 단위(B)의 배치 순서에 따라 해당 음을 순차적으로 배열할 수 있다. 이 때, 기본 단위의 배치 순서에 따라 음을 순차적으로 배열한다는 것의 의미는 마디 범위의 수평(가로) 방향 또는 수직(세로) 방향을 따라 서로 인접한 기본 단위(B)에 대응되는 음을 연속적으로 배치하는 것을 의미한다.
한편, 작곡부(60)는 음을 기본 단위의 배치 순서에 따라 순차적으로 배치하지 않고, 각각 인접하여 존재하지 않는 기본 단위에 해당되는 음을 차례로 배열함으로써 음계를 완성할 수도 있다.
이와 관련하여, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 상기 작곡부(60)가 기본 단위의 배치 순서에 따라 음을 배열할 지 또는 임의의 순서에 따라 음을 배열할 지 여부를 사용자가 선택 가능하도록 형성될 수 있다.
한편, 본 발명의 일 실시예에서, 작곡부(60)는 동일한 음이 연속될 경우, 연속되는 음은 병합하여 하나의 장음으로 구성할 수 있다. 이를 통해 작곡부(60)는 단일한 음길이가 아닌, 다양한 음길이의 음표로 구성된 다채로운 음계를 완성할 수 있다.
본 발명의 일 실시예에서, 작곡부(60)는 복수의 마디 단위에 대하여 각각 개별적으로 구성된 복수의 음계를 서로 연결함으로써, 하나의 음악을 작곡할 수 있다.
이 때, 작곡부(60)는 복수의 마디 단위로부터 형성된 음계를 연결함에 있어서, 마디 단위에서 개별 음을 배열할 때와 유사하게, 작곡 범위 내 각각의 마디 단위의 배치 순서를 고려하여 순차적으로 연결하거나 또는 임의의 순서에 따라 음을 배열할 수 있을 것이다.
만약 작곡부(60)가 마디 단위를 순차적으로 연결하는 경우, 수평(가로) 또는 수직(세로) 등 다양한 순서가 고려될 수 있음은 물론이며, 사용자가 이러한 연결 방향을 선택할 수 있도록 작곡부(60)를 형성할 수 있을 것이다.
본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 작곡부(60)에 의해 완성된 음악을 사용자가 들을 수 있는 형태로 출력하는 출력부(70)를 더 포함할 수 있다. 이 때, 출력부(70)는 스피커, 헤드폰, 이어폰 등 공지의 음악 출력 수단을 포함할 수 있으며, 상기 출력부(70)를 통해서 사용자는 자신이 선택한 작곡 범위에 대하여 완성된 음악을 감상할 수 있다.
이하 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)를 이용하여 음악을 작곡하는 방법(이하 영상 기반 작곡 방법)을 종합적으로 설명한다.
도 7은 본 발명의 일 실시예에 따른 영상 기반 작곡 방법의 순서도이다.
도 7를 참조하면, 본 발명의 일 실시예에 따른 영상 기반 작곡 방법은, 상술한 영상 기반 작곡 장치(1)에 의해 수행될 수 있다.
먼저, 영상 입력부(10)에 소스 영상을 입력하면(S10) 범위 설정부(20)가 해당 소스 영상 중에서 작곡의 대상이 되는 작곡 범위를 설정할 수 있다. (S20) 이 때, 전체 소스 영상을 작곡 범위로 설정할 수도 있음은 물론이다. 다음으로 단위 분할부(30)가 작곡 범위를 하나 이상의 마디 단위로 구분한 후, 다시 마디 단위를 하나 이상의 기본 단위로 분할할 수 있다.(S30) 그리고, 제 1 진동수 설정부(40)가 분할된 기본 단위의 색 정보를 도출함으로써, 가시광선의 진동수 영역 중 해당 색 정보에 대응되는 가시광선 진동수를 설정할 수 있다.(S40) 그 후, 제 2 진동수 설정부(50)가 가시광선 진동수와 배음 관계에 있는 가청 진동수를 설정하면(S50) 이를 전달 받은 작곡부(60)가 기본 단위의 가청 진동수에 대응되는 음을 배열함으로써 마디 단위의 음계를 구성할 수 있다.(S60)
한편, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치 및 방법은 바람직한 실시 형태로서, 스마트폰에 탑재된 상태로 실시될 수 있다. 이 때, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치 및 방법의 각 구성은 스마트폰을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다.
살펴본 바와 같이, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치를 통해 사용자는 영상 제공만으로도 다채로운 음계를 스스로 작곡할 수 있다. 또한 본 발명의 일 실시예에 따른 영상 기반 작곡 장치는 단순하게 서로 관련 없는 음계를 무작위로 배치하는 것이 아니라, 자연계에 존재하는 배음의 법칙을 이용하여 즉, 분할된 영상이 가진 고유의 진동수 정보 만을 기초로 하여 상기 분할된 영상을 배음 관계에 있는 가청 진동수에 대응시켜 작곡함으로써, 사용자는 보다 체계적인 작곡 작업을 경험할 수 있으며, 아름다운 선율의 음악을 창작할 수 있다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.

Claims (11)

  1. 영상을 분석하여 음악을 작곡하는 영상 기반 작곡 장치로서,
    소스 영상이 입력되는 영상 입력부;
    상기 소스 영상 중에서 작곡의 대상이 되는 작곡 범위를 설정하는 범위 설정부;
    상기 작곡 범위를 하나 이상의 마디 단위로 구분하고, 상기 마디 단위를 하나 이상의 기본 단위로 분할하는 단위 분할부;
    상기 기본 단위의 색 정보를 도출하여 가시광선의 진동수 영역 중 상기 색 정보에 대응되는 가시광선 진동수를 설정하는 제 1 진동수 설정부;
    상기 가시광선 진동수와 배음 관계에 있는 가청 진동수를 설정하는 제 2 진동수 설정부 및
    상기 기본 단위의 상기 가청 진동수에 대응되는 음을 상기 기본 단위의 배치 순서를 따라 배열함으로써 상기 마디 단위의 음계를 구성하는 작곡부를 포함하는, 영상 기반 작곡 장치.
  2. 제 1 항에 있어서,
    상기 제 1 진동수 설정부가 상기 색 정보를 도출하는 것은 상기 기본 단위에 대하여 공지의 색 분류 체계 중 적어도 하나의 색을 대응시키는 것을 의미하는, 영상 기반 작곡 장치.
  3. 제 2 항에 있어서,
    상기 제 1 진동수 설정부는 상기 기본 단위에 대하여 상기 공지의 색 분류 체계 중 복수의 색이 대응되는 경우, 상기 복수의 색 중 가장 다수의 색을 선택하여 대응시키는, 영상 기반 작곡 장치.
  4. 제 2 항에 있어서,
    상기 공지의 색 분류 체계는 색상(Hue) 및 색조(Tone)에 따라 색을 분류한 IRI Hue & Tone 120 이며,
    상기 제 1 진동수 설정부는 상기 가시광선의 진동수 영역을 상기 색상 별로 구분하고, 상기 색상 별로 구분된 상기 가시광선의 진동수 영역을 상기 색상의 색조 별로 세분화하여 상기 가시광선 진동수를 설정하는, 영상 기반 작곡 장치.
  5. 제 4 항에 있어서,
    제 1 진동수 설정부와 상기 제 2 진동수 설정부는 상기 색 정보가 무채색인 기본 단위에 대하여 상기 가시광선 진동수와 상기 가청 진동수를 설정하지 않도록 형성되며, 상기 작곡부는 상기 색 정보가 무채색인 기본 단위에 대하여 상기 음을 대신하여 쉼표를 배열하는, 영상 기반 작곡 장치.
  6. 제 1 항에 있어서,
    상기 작곡부는 상기 음계에 동일한 음이 연속될 경우 연속되는 복수의 음을 합쳐 하나의 장음으로 구성하는, 영상 기반 작곡 장치.
  7. 제 1 항에 있어서,
    상기 작곡부는 상기 하나 이상의 마디 단위에 대하여 개별적으로 구성된 상기 하나 이상의 음계를 서로 연결하여 상기 음악을 작곡하는, 영상 기반 작곡 장치.
  8. 제 7 항에 있어서,
    상기 작곡부는 상기 하나 이상의 음계를 상기 마디 단위의 위치에 따라 순차적으로 연결하여 상기 음악을 작곡하는, 영상 기반 작곡 장치.
  9. 제 8 항에 있어서,
    상기 작곡부는 사용자에 의하여 선택된 방향을 따라 상기 하나 이상의 음계를 순차적으로 연결하여 상기 음악을 작곡하는, 영상 기반 작곡 장치.
  10. 제 7 항에 있어서,
    상기 작곡부가 작곡한 상기 음악을 사용자가 들을 수 있는 형태로 출력하는 출력부를 더 포함하는, 영상 기반 작곡 장치.
  11. 영상 기반 작곡 장치를 이용하여 음악을 작곡하는 영상 기반 작곡 방법으로서,
    상기 영상 기반 작곡 장치에 소스 영상을 입력하는 단계;
    상기 영상 기반 작곡 장치가 상기 소스 영상 중에서 작곡의 대상이 되는 작곡 범위를 설정하는 단계;
    상기 영상 기반 작곡 장치가 상기 작곡 범위를 하나 이상의 마디 단위로 구분하고, 상기 마디 단위를 하나 이상의 기본 단위로 분할하는 단계;
    상기 영상 기반 작곡 장치가 상기 기본 단위의 색 정보를 도출하여 가시광선의 진동수 영역 중 상기 색 정보에 대응되는 가시광선 진동수를 설정하는 단계;
    상기 영상 기반 작곡 장치가 상기 가시광선 진동수와 배음 관계에 있는 가청 진동수를 설정하는 단계 및
    상기 영상 기반 작곡 장치가 상기 기본 단위의 상기 가청 진동수에 대응되는 음을 배열함으로써 상기 마디 단위의 음계를 구성하는 단계를 포함하는, 영상 기반 작곡 방법.
PCT/KR2021/008438 2020-07-03 2021-07-02 영상 기반 작곡 장치 및 방법 WO2022005253A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200082418 2020-07-03
KR10-2020-0082418 2020-07-03

Publications (1)

Publication Number Publication Date
WO2022005253A1 true WO2022005253A1 (ko) 2022-01-06

Family

ID=77504310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008438 WO2022005253A1 (ko) 2020-07-03 2021-07-02 영상 기반 작곡 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102294528B1 (ko)
WO (1) WO2022005253A1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120060085A (ko) * 2010-12-01 2012-06-11 주식회사 싸일런트뮤직밴드 자동작곡시스템 및 이를 이용한 자동작곡방법, 그 방법이 기록된 기록매체
JP2014153597A (ja) * 2013-02-12 2014-08-25 Casio Comput Co Ltd 楽曲生成装置、楽曲生成方法及びプログラム
KR20190033482A (ko) * 2016-05-27 2019-03-29 지 하오 퀴우 색상 데이터를 음표로 변환하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120060085A (ko) * 2010-12-01 2012-06-11 주식회사 싸일런트뮤직밴드 자동작곡시스템 및 이를 이용한 자동작곡방법, 그 방법이 기록된 기록매체
JP2014153597A (ja) * 2013-02-12 2014-08-25 Casio Comput Co Ltd 楽曲生成装置、楽曲生成方法及びプログラム
KR20190033482A (ko) * 2016-05-27 2019-03-29 지 하오 퀴우 색상 데이터를 음표로 변환하는 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHAEHYUN LEE, HUI JUNE KIM, SANG YEOL KIM, HYU- BIN KIM: "Study of Image Visualization through Analyzing Overtone's Frequency - Centered to Analyzing Electric Signals of National Emblem of South Korea (Ahegookga)", THE JOURNAL OF EASKO, vol. 5, no. 1, Korea, pages 49 - 61, XP009533491, ISSN: 2092-6766 *
HWANG, TAEYEONG: "Study on musical data extraction by color analysis of image. thesis, Technology Art Department of Art & Technology Chung Ang University", THESIS, 2008, Korea, pages 1 - 72, XP009533446 *

Also Published As

Publication number Publication date
KR102294528B1 (ko) 2021-08-27

Similar Documents

Publication Publication Date Title
US10170090B2 (en) Music information generating device, music information generating method, and recording medium
JPH0777954A (ja) カラーマッチング方法および装置
WO2016129905A1 (ko) 가상 공간에서의 전시 제공 시스템 및 방법
US20080223196A1 (en) Semiconductor Device Having Music Generation Function, and Mobile Electronic Device, Mobile Telephone Device, Spectacle Instrument, and Spectacle instrument Set Using the Same
JP2008233576A (ja) 楽曲及び楽譜の映像化及び画像化の方法
WO2017057926A1 (ko) 디스플레이 장치 및 이의 제어 방법
WO2020091431A1 (ko) 그래픽 객체를 이용한 자막 생성 시스템
WO2022005253A1 (ko) 영상 기반 작곡 장치 및 방법
WO2015093738A1 (ko) 연주 연습 성과 관리 방법, 이를 이용한 관리시스템 및 이에 사용되는 데이터베이스
WO2020166849A1 (en) Display system for sensing defect on large-size display
CN108737851A (zh) 用于针对视频内容项的调色板提取的方法、系统和介质
WO2015126008A1 (ko) 음향조명기기의 밸런스 조절 제어 방법
JP3643829B2 (ja) 楽音生成装置、楽音生成プログラムおよび楽音生成方法
US20110050718A1 (en) Method for color enhancement
KR100419214B1 (ko) 칼라 디스플레이 시스템의 색온도 변환 장치 및 방법
WO2024122773A1 (ko) 악보 저작 도구 제공 방법 및 장치
CN111341355A (zh) 基于声音的图像、图片、图案的生成方法
WO2017131339A1 (ko) 라이트 테라피 제공 방법 및 서버
JPS5948425B2 (ja) 色彩画像解析装置
WO2022191649A1 (ko) 가전 제품의 컬러 추천 방법 및 컴퓨터로 판독 가능한 비일시적인 기록 매체
JPH10318840A (ja) 色合わせ方法
WO2024034705A1 (ko) 이미지 블록 기반의 블록 연결 패턴 생성 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
WO2022065820A1 (ko) 아바타 기반의 의류 매칭 정보를 제공하는 방법, 및 이를 이용하는 서버
JPS62262575A (ja) 静止画伝送装置
JP3329047B2 (ja) ビデオカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21833334

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21833334

Country of ref document: EP

Kind code of ref document: A1