KR20200124911A - 이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법 - Google Patents

이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법 Download PDF

Info

Publication number
KR20200124911A
KR20200124911A KR1020190048354A KR20190048354A KR20200124911A KR 20200124911 A KR20200124911 A KR 20200124911A KR 1020190048354 A KR1020190048354 A KR 1020190048354A KR 20190048354 A KR20190048354 A KR 20190048354A KR 20200124911 A KR20200124911 A KR 20200124911A
Authority
KR
South Korea
Prior art keywords
image
color
music file
content
instrument
Prior art date
Application number
KR1020190048354A
Other languages
English (en)
Other versions
KR102241864B1 (ko
Inventor
김상욱
차오동싱
류신혜
김선형
최희주
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020190048354A priority Critical patent/KR102241864B1/ko
Publication of KR20200124911A publication Critical patent/KR20200124911A/ko
Application granted granted Critical
Publication of KR102241864B1 publication Critical patent/KR102241864B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/4652—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18105—Extraction of features or characteristics of the image related to colour
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/111—Automatic composing, i.e. using predefined musical rules
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G10H2210/145—Composing rules, e.g. harmonic or musical rules, for use in automatic composition; Rule generation algorithms therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Image Analysis (AREA)

Abstract

이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법이 개시된다.
이미지 분석에 기반한 콘텐츠 제공 장치는 이미지를 픽셀 별로 분석하여 색상 별 사용 빈도 및 상기 이미지에 나타나는 피사체의 위치 좌표를 획득하고, 상기 색상 별 사용 빈도에 따라 악기를 설정하고, 상기 이미지에 나타나는 피사체의 위치 좌표에 따라 음계를 설정하며, 상기 악기로 상기 음계를 연주하는 음악 파일을 생성하여 출력한다.

Description

이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법{APPARATUS OF CONTENTS PROVIDING BASED ON IMAGE ANALYZING, CONTENTS PROVIDING SYSTEM INCLUDING THE APPARATUS AND METHOD OF CONTENTS PROVIDING}
본 발명은 이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법에 관한 것으로, 더욱 상세하게는 이미지의 분위기를 분석하여 이미지와 대응되는 음악 파일을 생성하는 이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법에 관한 것이다.
사용자는 자신이 직접 촬영한 영상이나, 이미 저장된 영상을 감상하는 경우가 많다. 이러한 영상을 감상할 때 영상이 나타내는 분위기와 유사한 음악이 함께 재생되면, 영상으로부터 느끼는 감정이 향상될 수 있다.
예를 들어, 밝고 화사한 봄에 찍은 영상에 대응하여 경괘하고 빠른 느낌의 음악이 재생되면, 사용자는 해당 영상을 감상할 때의 심미감이 증가될 수 있다.
이에 이미지를 음악, 소리 등으로 변환하는 방법에 대한 다양한 연구가 진행되고 있다.
대한민국 공개특허 제2007-0094207호에 따르면 이미지의 물리적 특성을 고려하여 이미지를 음악으로 변환하는 방법을 제시한다. 예컨대, 이미지의 색상을 고려하여 음악을 생성할 때, 이미지에 포함된 색상의 파장과 대응되는 파장의 소리로 변환하는 식이다.
이처럼 종래의 이미지를 이용한 음성 콘텐츠 변환 방법은 이미지의 밝기에 대한 물리학적 특징에 기초하여 소리를 추출할 뿐이므로, 이미지의 전체 분위기를 반영한 음악 콘텐츠 생성에는 한계가 있다.
본 발명의 일측면은 이미지의 색상 사용 및 이미지에 나타나는 피사체를 분석하여 이미지에 대응되는 음악 파일을 생성하는 이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법을 제공한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 이미지 분석에 기반한 콘텐츠 제공 장치는 이미지를 입력 받는 인터페이스부, 상기 이미지를 픽셀 별로 분석하여 색상 별 사용 빈도 및 상기 이미지에 나타나는 피사체의 위치 좌표를 획득하는 이미지 분석부 및 상기 색상 별 사용 빈도에 따라 악기를 설정하고, 상기 이미지에 나타나는 피사체의 위치 좌표에 따라 음계를 설정하며, 상기 악기로 상기 음계를 연주하는 음악 파일을 생성하여 출력하는 콘텐츠 생성부를 포함한다.
한편, 상기 이미지 분석부는, 상기 이미지에 나타나는 피사체를 분석하여 상기 이미지의 종류를 분류할 수 있다.
또한, 상기 콘텐츠 생성부는, 상기 이미지의 종류에 따라 음악 장르를 설정하고, 상기 음악 장르 별로 미리 설정되어 있는 멜로디를 추출하며, 상기 악기로 상기 멜로디를 따라 상기 음계를 연주하는 상기 음악 파일을 생성할 수 있다.
또한, 상기 인터페이스부는, 사용자가 직접 이미지를 생성하거나, 미리 생성된 이미지를 선택할 수 있는 인터페이스를 제공할 수 있다.
또한, 상기 콘텐츠 생성부는, 상기 음악 파일이 출력되는 공간의 조도 값을 획득하고, 상기 조도 값에 따라 상기 음악 파일의 소리 크기를 설정할 수 있다.
한편 본 발명의 이미지 분석에 기반한 콘텐츠 제공 시스템은 사용자로부터 이미지를 입력 받는 입력 장치, 상기 이미지를 픽셀 별로 분석하여 색상 별 사용 빈도 및 상기 이미지에 나타나는 피사체의 위치 좌표를 획득하고, 상기 색상 별 사용 빈도에 따라 악기를 설정하고, 상기 이미지에 나타나는 피사체의 위치 좌표에 따라 음계를 설정하며, 상기 악기로 상기 음계를 연주하는 음악 파일을 생성하는 콘텐츠 제공 장치 및 상기 이미지 및 상기 음악 파일을 출력하는 출력 장치를 포함한다.
한편, 상기 출력 장치가 설치된 공간의 조도 값을 획득하는 조도 센서를 더 포함할 수 있다.
또한, 상기 콘텐츠 제공 장치는, 상기 조도 센서로부터 상기 조도 값을 수신하여 상기 조도 값에 따라 상기 음악 파일의 소리 크기를 설정할 수 있다.
한편, 본 발명의 이미지 분석에 기반한 콘텐츠 제공 방법은 입력 이미지를 분석하여 상기 입력 이미지에 대응하는 음악 파일을 생성하는 콘텐츠 제공장치에서의 이미지 분석에 기반한 콘텐츠 제공 방법에 있어서, 상기 이미지를 픽셀 별로 분석하여 색상 별 사용 빈도 및 상기 이미지에 나타나는 피사체의 위치 좌표를 획득하는 단계 및 상기 색상 별 사용 빈도에 따라 악기를 설정하고, 상기 이미지에 나타나는 피사체의 위치 좌표에 따라 음계를 설정하며, 상기 악기로 상기 음계를 연주하는 음악 파일을 생성하는 단계를 포함한다.
한편, 상기 이미지를 픽셀 별로 분석하여 색상 별 사용 빈도 및 상기 이미지에 나타나는 피사체의 위치 좌표를 획득하는 단계는, 상기 이미지에 나타나는 피사체를 분석하여 상기 이미지의 종류를 분류하는 단계를 더 포함할 수 있다.
또한, 상기 악기로 상기 음계를 연주하는 음악 파일을 생성하는 단계는, 상기 이미지의 종류에 따라 음악 장르를 설정하는 단계, 상기 음악 장르 별로 미리 설정되어 있는 멜로디를 추출하는 단계; 및 상기 악기로 상기 멜로디를 따라 상기 음계를 연주하는 상기 음악 파일을 생성하는 단계를 포함할 수 있다.
또한, 사용자가 직접 이미지를 생성하거나, 미리 생성된 이미지를 선택할 수 있는 인터페이스를 제공하는 단계를 더 포함할 수 있다.
또한, 상기 색상 별 사용 빈도에 따라 악기를 설정하고, 상기 이미지에 나타나는 피사체의 위치 좌표에 따라 음계를 설정하며, 상기 악기로 상기 음계를 연주하는 음악 파일을 생성하는 단계는, 상기 음악 파일이 출력되는 공간의 조도 값을 수신하는 단계 및 상기 음악 파일이 출력되는 공간의 조도 값에 따라 상기 음악 파일의 크기를 설정하는 단계를 포함할 수 있다.
본 발명의 일측면에 따르면 사용자에 의해 입력 되는 이미지에 대응하는 콘텐츠를 생성하여 제공함으로써, 사용자 참여형 콘텐츠 제공 서비스를 구현할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 분석에 기반한 콘텐츠 제공 시스템을 보여주는 도면이다.
도 2는 도 1에 도시된 콘텐츠 제공 장치의 블록도이다.
도 3은 도 2에 도시된 이미지 분석부의 세부 블록도이다.
도 4는 도 2에 도시된 콘텐츠 생성부의 세부 블록도이다.
도 5는 본 발명의 일 실시예에 따른 이미지 분석에 기반한 콘텐츠 제공 방법의 순서도이다.
도 6은 도 5의 음악 파일 생성 단계의 일 예를 보여주는 순서도이다.
도 7은 도 5의 음악 파일 생성 단계의 다른 예를 보여주는 순서도이다.
도 8은 도 5의 음악 파일 생성 단계의 또 다른 예를 보여주는 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이미지 분석에 기반한 콘텐츠 제공 시스템을 보여주는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이미지 분석에 기반한 콘텐츠 제공 시스템(1)은 이미지를 분석하고, 이미지의 분석 결과에 따라 이미지와 어울리는 음악 콘텐츠를 생성하여 제공하는 시스템으로, 입력 장치(10), 콘텐츠 제공 장치(100) 및 출력 장치(30)를 포함할 수 있다.
입력 장치(10)는 사용자로부터 이미지를 입력 받을 수 있다.
입력 장치(10)는 콘텐츠 제공 장치(100)에서 사용자로부터 이미지를 입력 받기 위해 생성하는 인터페이스를 출력할 수 있다. 사용자는 입력 장치(10)에 출력되는 인터페이스를 조작하여 이미지의 입력 방식 및 이미지의 형태 등을 선택하여 입력 장치(10)에 이미지를 입력할 수 있다.
예를 들면, 입력 장치(10)는 사용자가 직접 생성하는 이미지를 입력 받을 수 있다. 이때 이미지의 형태는 사진 또는 그림일 수 있다. 이를 위해 입력 장치(10)는 사용자가 직접 그리는 그림을 입력 받을 수 있도록 터치 패드를 포함하여 구현될 수 있다. 또는 입력 장치(10)는 사용자가 촬영하는 사진을 입력 받을 수 있도록 카메라를 포함하여 구현될 수 있다.
또는 입력 장치(10)는 사용자로부터 미리 생성된 이미지를 선택 받을 수 있다. 이를 위해 입력 장치(10)는 사진 또는 그림을 저장하고 있는 외부 서버에 접속할 수 있도록 통신 모듈을 포함하여 구현될 수 있다.
출력 장치(30)는 콘텐츠 제공 장치(100)에서 생성하는 콘텐츠를 전달 받고, 입력 장치(10)로부터 이미지를 전달 받아 함께 출력할 수 있다. 여기서 콘텐츠는 음악 파일일 수 있다. 따라서 출력 장치(30)는 스피커, 디스플레이 등을 포함하여 구현될 수 있다.
출력 장치(30)는 콘텐츠 제공 장치(100)에서 사용자로부터 콘텐츠 출력 옵션을 선택 받기 위해 생성하는 인터페이스를 출력할 수 있다. 사용자는 출력 장치(30)에 출력되는 인터페이스를 조작하여, 현재 출력 중인 콘텐츠가 저장되도록 하거나, 이전에 저장되어 있던 콘텐츠가 다시 재생되도록 할 수 있다.
이러한 입력 장치(10) 및 출력 장치(30)는 별도의 장치로 구성되거나, 또는 일체형으로 구현될 수도 있음은 물론이다.
콘텐츠 제공 장치(100)는 입력 장치(10) 및 출력 장치(30)와 유선 또는 무선으로 연결되어 이미지 분석에 기반한 콘텐츠 생성을 위한 데이터를 송수신할 수 있다.
콘텐츠 제공 장치(100)는 입력 장치(10)에서 입력 받는 이미지를 획득할 수 있다.
콘텐츠 제공 장치(100)는 입력 이미지를 픽셀 단위로 분석하여 해당 이미지의 분위기에 맞는 음악 파일을 생성할 수 있다.
예를 들면, 콘텐츠 제공 장치(100)는 입력 이미지를 분석하여 사용 빈도가 높은 색상, 이미지에 나타나는 피사체의 위치 좌표 및 이미지에 나타나는 피사체에 따른 이미지의 종류 등을 확인할 수 있으며, 이러한 이미지의 분석 결과에 따라 악기, 음계, 멜로디 등을 설정하여 음악 파일을 생성할 수 있다.
한편 본 발명의 일 실시예에 따른 이미지 분석에 기반한 콘텐츠 제공 시스템(1)은 출력 장치(30)가 설치되는 공간의 조도를 측정하는 조도 센서를 더 포함할 수 있다.
이와 같은 경우 콘텐츠 제공 장치(100)는 조도 센서로부터 조도 값을 획득하고, 조도 값을 반영하여 음악 파일의 소리 크기 등을 설정할 수 있다.
이와 관련하여 구체적인 설명은 도 2 이하를 참조하여 후술한다.
콘텐츠 제공 장치(100)는 음악 파일을 출력 장치(30)로 전달하여 출력되도록 할 수 있다.
이와 같은 본 발명의 일 실시예에 따른 이미지 분석에 기반한 콘텐츠 제공 시스템(1)은 사용자에 의해 입력 되는 이미지에 대응하는 콘텐츠를 생성하여 제공함으로써, 사용자 참여형 콘텐츠 제공 서비스를 구현할 수 있을 것이다.
도 2는 도 1에 도시된 콘텐츠 제공 장치의 블록도이다.
도 2를 참조하면, 콘텐츠 제공 장치(100)는 인터페이스부(110), 이미지 분석부(130) 및 콘텐츠 생성부(150)를 포함할 수 있다.
본 발명의 일 실시예에 따른 콘텐츠 제공 장치(100)는 도 2에 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있고, 그보다 적은 구성요소에 의해 구현될 수도 있다.
본 발명의 일 실시예에 따른 콘텐츠 제공 장치(100)는 정보의 입출력이 가능한 장치로, 이미지 분석에 기반한 콘텐츠 생성을 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 도 2에 도시된 인터페이스부(110), 이미지 분석부(130) 및 콘텐츠 생성부(150)는 본 발명의 일 실시예에 따른 장치(100)에서 실행되는 소프트웨어에 의해 제어될 수 있다.
본 발명의 일 실시예에 따른 콘텐츠 제공 장치(100)는 입력 장치(10)를 통해 이미지를 획득하고, 이미지를 분석하여 그 결과에 따라 음악 파일을 생성하며, 출력 장치(30)를 통해 음악 파일을 출력할 수 있다.
이하 도 2에 도시된 본 발명의 일 실시예에 따른 콘텐츠 제공 장치(100)의 각 구성요소에 대해 구체적으로 설명한다.
인터페이스부(110)는 사용자로부터 이미지를 입력 받기 위한 인터페이스를 생성하고, 해당 인터페이스를 입력 장치(10)를 통해 출력하여 이미지를 입력 받을 수 있다.
예를 들면, 인터페이스부(110)는 사용자로부터 이미지 입력 방법을 선택 받기 위한 인터페이스를 생성할 수 있다. 본 실시예에서 이미지 입력 방법으로는 사용자가 직접 생성하는 방법 및 미리 생성된 이미지를 선택하는 방법으로 나뉠 수 있다. 인터페이스부(110)는 위와 같은 두 가지 방법 중 어느 하나의 방법을 선택 받기 위한 인터페이스를 생성하여 입력 장치(10)를 통해 출력할 수 있다.
인터페이스부(110)는 이미지 입력 방법으로, 사용자가 직접 생성하는 방법이 선택되는 경우, 이미지 생성을 위한 인터페이스를 생성하여 입력 장치(10)를 통해 출력할 수 있다. 본 실시예에서 이미지 생성 방법으로는 카메라를 통해 촬영한 사진 형태의 이미지를 생성하는 방법 또는 터치 패트를 통해 그림 형태의 이미지를 생성하는 방법으로 나뉠 수 있다. 인터페이스부(110)는 위와 같은 두 가지 방법 중 어느 하나의 방법을 선택 받기 위한 인터페이스를 생성하여 입력 장치(10)를 통해 출력할 수 있다.
인터페이스부(110)는 이미지 입력 방법으로, 미리 생성된 이미지를 선택하는 방법이 선택되는 경우, 이미지 선택을 위한 인터페이스를 생성하여 입력 장치(10)를 통해 출력할 수 있다. 본 실시예에서 이미지 선택 방법으로는 타 서버에 접속하여 사진 또는 그림 형태의 이미지를 선택하거나, 사용자가 소지하고 있는 이동 단말로부터 사진 또는 그림 형태의 이미지를 전송 받거나, 자체 메모리에 저장된 사진 또는 그림 형태의 이미지를 선택받는 방법 등으로 나뉠 수 있다. 인터페이스부(110)는 위와 같은 방법들 중 어느 하나의 방법을 선택 받기 위한 인터페이스를 생성하여 입력 장치(10)를 통해 출력할 수 있다.
이외에도 인터페이스부(110)는 사용자로부터 이미지를 입력 받기 위한 인터페이스를 생성하여 입력 장치(10)를 통해 출력함으로써, 이미지를 획득할 수 있다.
또한 인터페이스부(110)는 사용자로부터 콘텐츠 출력 옵션을 선택 받기 위한 인터페이스를 생성하고, 해당 인터페이스를 출력 장치(30)를 통해 출력하여 콘텐츠 울력 옵션을 입력 받을 수 있다.
예를 들면, 인터페이스부(110)는 현재 출력 중인 콘텐츠가 저장되도록 하는 인터페이스를 생성하여 출력 장치(30)를 통해 출력할 수 있다. 이때 콘텐츠 생성부(150)는 사용자에 의해 현재 출력 중인 콘텐츠의 저장이 요청되는 경우, 해당 콘텐츠를 메모리 또는 외부 서버에 저장할 수 있다.
인터페이스부(110)는 이전에 저장되어 있던 콘텐츠가 재생되도록 하는 인터페이스를 생성하여 출력 장치(30)를 통해 출력할 수 있다. 이때 콘텐츠 생성부(150)는 사용자에 의해 이전에 저장되어 있던 콘텐츠의 재생이 요청되는 경우, 메모리 또는 외부 서버에서 해당 콘텐츠를 검색하여 출력 장치(30)를 통해 출력되도록 제어할 수 있다.
이외에도 인터페이스부(110)는 사용자로부터 콘텐츠 출력 옵션을 입력 받기 위한 인터페이스를 생성하여 출력 장치(30)를 통해 출력함으로써, 콘텐츠의 출력을 제어할 수 있다.
이미지 분석부(130)는 입력 장치(10)를 통해 입력 되는 이미지를 분석하여 해당 이미지의 분위기(mood)를 확인할 수 있다.
예를 들면, 이미지 분석부(130)는 이미지를 픽셀 단위로 분석하여 색상 별 사용 빈도, 피사체의 위치 좌표, 피사체의 종류 등을 확인할 수 있다. 이와 관련하여 구체적인 설명은 도 3을 참조하여 후술한다.
콘텐츠 생성부(150)는 입력 장치(10)를 통해 입력 되는 이미지의 분석 결과에 따라 음악 파일을 생성하여 출력 장치(30)를 통해 출력할 수 있다.
예를 들면, 콘텐츠 생성부(150)는 이미지에서 자주 사용되는 색상에 따라 악기를 선택할 수 있으며, 이미지에 나타나는 피사체의 위치 좌표에 따라 음계를 선택할 수 있다. 또한 콘텐츠 생성부(150)는 이미지의 종류에 따라 멜로디를 선택할 수 있다. 콘텐츠 생성부(150)는 선택한 악기로 멜로디를 따라 음계를 연주하는 음악 파일을 생성할 수 있다. 아울러 출력 장치(30)가 설치되는 장소에 조도 센서가 마련되는 경우, 콘텐츠 생성부(150)는 조도 센서로부터 조도 값을 획득하여 음악 파일의 소리 크기를 설정할 수 있다. 이와 관련하여 구체적인 설명은 도 4를 참조하여 후술한다.
도 3은 도 2에 도시된 이미지 분석부의 세부 블록도이다.
도 3을 참조하면, 이미지 분석부(130)는 색상 분석부(131) 및 피사체 분석부(133)를 포함할 수 있다.
색상 분석부(131)는 이미지의 색상을 분석하여, 이미지에서의 색상 사용 빈도를 확인할 수 있다.
예를 들면, 색상 분석부(131)는 이미지를 픽셀 단위로 나누고, 각 픽셀의 색상 코드를 확인할 수 있다.
색상 분석부(131)는 각 픽셀의 색상 코드를 정규화할 수 있다. 이를 위해 색상 분석부(131)는 색상 코드를 RGB, HSB, CMYK 등의 값에 따라 어두움, 보통, 낮음의 세 가지로 나타낼 수 있다. 이를 이용하여 색상 분석부(131)는 각 픽셀의 색상을 그 색상 코드에 따라 어두움, 보통 및 밝음 중 어느 하나로 분류할 수 있다.
색상 분석부(131)는 어두움, 보통 및 밝음의 색상 분류 별로 픽셀의 개수를 카운트할 수 있다.
색상 분석부(131)는 어두움, 보통 및 밝음의 색상 분류 별 픽셀의 개수를 이용하여 색상 사용 빈도가 높은 순으로 정렬하고, 색상 사용 빈도가 가장 높은 색상을 확인할 수 있다.
이때 색상 분석부(131)는 색상 간의 픽셀의 개수 차이를 산출하고, 그 차이가 미리 설정되는 개수 이하인 경우, 해당 이미지를 입력한 사용자가 이전 시점에 입력한 이미지를 참조하여 색상 사용 빈도가 가장 높은 색상을 선정할 수 있다.
예를 들면, 색상 분석부(131)는 색상 간의 픽셀의 개수 차이가 미리 설정되는 개수 이하인 경우, 해당 이미지를 입력한 사용자가 이전 시점에 입력한 이미지의 분석 결과를 불러올 수 있다. 색상 분석부(131)는 현재 이미지의 색상 분류 별 픽셀의 개수에 이전 시점에 입력한 이미지의 색상 분류 별 픽셀 개수를 더하여, 색상 사용 빈도가 가장 높은 색상을 선정할 수 있다.
이처럼 색상 분석부(131)는 이미지의 색상을 분석하여, 이미지에서 색상 사용 빈도가 가장 높은 색상을 확인할 수 있으며, 해당 색상이 어두움, 보통 및 밝음 중 어디에 해당하는지를 확인할 수 있다.
피사체 분석부(133)는 이미지에 포함되는 피사체를 추출하고, 피사체의 위치, 종류 등을 확인할 수 있다.
예를 들면, 피사체 분석부(133)는 이미지를 이진화하여 이미지에 포함되는 적어도 하나의 피사체의 외곽선을 검출할 수 있다.
피사체 분석부(133)는 외곽선이 검출된 픽셀을 확인하고, 미리 저장된 이미지의 픽셀 별 위치 좌표와 매칭하여 피사체의 위치 좌표를 확인할 수 있다. 이를 위해 본 실시예에서는 이미지의 규격이 미리 규정될 수 있다.
피사체 분석부(133)는 이미지에 포함되는 적어도 하나의 피사체의 종류를 확인할 수 있다. 여기서 피사체의 종류는 인물, 동물, 풍경, 도형 등에 해당한다. 피사체 분석부(133)는 이미지에 포함되는 적어도 하나의 피사체의 외곽선 형태와 미리 저장된 피사체의 종류 별 외곽선의 형태를 비교하여 적어도 하나의 피사체의 종류를 확인할 수 있다.
피사체 분석부(133)는 이미지에 포함되는 적어도 하나의 피사체의 종류를 이용하여 이미지의 종류를 분류할 수 있다. 여기서 이미지의 종류는 풍경화, 인물화, 추상화로 나뉠 수 있다. 피사체 분석부(133)는 피사체의 종류 별 이미지 종류가 매칭되어 저장될 수 있으며, 이미지에 포함되는 적어도 하나의 피사체의 종류에 따라 이미지의 종류를 확인할 수 있다.
이처럼 피사체 분석부(133)는 이미지에 포함되는 적어도 하나의 피사체를 분석하여, 이미지에서 피사체의 위치 좌표를 확인하고, 해당 이미지의 종류를 확인할 수 있다.
도 4는 도 2에 도시된 콘텐츠 생성부의 세부 블록도이다.
도 4를 참조하면, 콘텐츠 생성부(150)는 악기 설정부(151), 음계 설정부(153), 멜로디 설정부(155) 및 소리 크기 설정부(157)를 포함할 수 있다.
악기 설정부(151)는 이미지의 색상 별 사용 빈도에 따라 악기를 설정할 수 있다.
악기 설정부(151)는 색상 분석부(131)를 통해 이미지에서 색상 사용 빈도가 가장 높은 색상을 확인할 수 있으며, 해당 색상이 어두움, 보통 및 밝음 중 어디에 해당하는지를 확인할 수 있다.
예를 들면, 악기 설정부(151)는 이미지에서 색상 사용 빈도가 가장 높은 색상이 어두운 색상에 해당하는 경우, 낮은 음역대의 악기(일예로, 목관악기)를 선택할 수 있다.
또는 악기 설정부(151)는 이미지에서 색상 사용 빈도가 가장 높은 색상이 보통 색상에 해당하는 경우, 중간 음역대의 악기(일예로, 금관악기)를 선택할 수 있다.
또는 악기 설정부(151)는 이미지에서 색상 사용 빈도가 가장 높은 색상이 밝은 색상에 해당하는 경우, 높은 음역대의 악기(일예로, 현악기)를 선택할 수 있다.
이를 위해 악기 설정부(151)는 어두움, 보통 및 밝음의 색상 분류 별로 음역대를 매칭하고, 음역대에 해당하는 악기를 매칭하여 저장할 수 있다.
악기 설정부(151)는 악기를 설정한 경우, 해당 악기로 램덤한 음계 및 멜로디를 연주하는 음악 파일을 생성하여 출력 장치(30)를 통해 출력할 수도 있다.
음계 설정부(153)는 이미지에 포함되는 피사체의 위치 좌표에 따라 음계를 설정할 수 있다.
음계 설정부(153)는 피사체 분석부(133)를 통해 이미지에 포함되는 피사체의 위치 좌표를 확인할 수 있다.
음계 설정부(153)는 미리 설정되는 규격의 이미지의 위치 좌표 별로 음계를 할당하여 미리 저장할 수 있으며, 이를 이용하여 피사체의 위치 좌표에 해당하는 음계를 추출할 수 있다.
음계 설정부(153)는 음계를 설정하는 경우, 악기 설정부(151)에서 설정하는 악기로 해당 음계를 연주하는 음악 파일을 생성하여 출력 장치(30)를 통해 출력할 수 있다.
멜로디 설정부(155)는 이미지의 종류에 따라 음악 장르를 설정하고, 음악 장르 별로 미리 설정되어 있는 멜로디를 추출할 수 있다.
멜로디 설정부(155)는 피사체 분석부(133)를 통해 이미지가 풍경화, 인물화 및 초상화 중 어느 종류에 해당하는지를 확인할 수 있다.
예를 들면, 멜로디 설정부(155)는 이미지가 풍경화인 것으로 확인되는 경우, 음악 장르를 클래식으로 설정하고, 클래식 장르에 미리 설정되어 있는 복수의 멜로디 중 어느 하나의 멜로디를 랜덤으로 추출할 수 있다.
멜로디 설정부(155)는 멜로디를 설정하는 경우, 악기 설정부(151)에서 설정하는 악기로 해당 멜로디를 따라 음계 설정부(153)에서 설정하는 음계를 연주하는 음악 파일을 생성하여 출력 장치(30)를 통해 출력할 수 있다.
소리 크기 설정부(157)는 출력 장치(30)가 설치된 공간의 조도를 측정하는 조도 센서로부터 출력 장치(30)가 설치된 공간의 조도 값을 획득하고, 조도 값을 이용하여 음악 파일의 소리 크기를 설정할 수 있다.
예를 들면, 소리 크기 설정부(157)는 소리 크기 범위 별로 조도 값의 범위를 매칭하여 미리 저장할 수 있다. 소리 크기 설정부(157)는 출력 장치(30)가 설치된 공간의 조도 값을 획득하고, 해당 조도 값이 포함되는 조도 값 범위와 매칭되는 소리 크기 범위 내에서 음악 파일의 소리 크기를 설정할 수 있다.
이에 따라 음악 파일은 이미지의 분위기뿐만 아니라 음악 파일이 재생되는 공간의 분위기를 반영하여 생성될 수 있을 것이다.
이하에서는 본 발명의 일 실시예예 따른 이미지 분석에 기반한 콘텐츠 제공 방법에 대하여 설명한다.
본 발명의 일 실시예에 따른 이미지 분석에 기반한 콘텐츠 제공 방법은 도 1 및 도 2에 도시된 본 발명의 일 실시예예 따른 콘텐츠 제공 장치(100)와 실질적으로 동일한 구성 하에서 진행될 수 있다. 따라서 도 1 및 도 2의 장치(100)와 동일한 구성요소는 동일한 도면부호를 부여하고 반복되는 설명은 생략한다.
도 5는 본 발명의 일 실시예에 따른 이미지 분석에 기반한 콘텐츠 제공 방법의 순서도이다.
도 5를 참조하면, 이미지 분석부(130)는 입력 이미지를 분석할 수 있다(S100).
이미지 분석부(130)는 입력 장치(10)를 통해 입력 되는 이미지를 분석하여 해당 이미지의 분위기(mood)를 확인할 수 있다.
예를 들면, 이미지 분석부(130)는 이미지의 색상을 분석하여, 이미지에서 색상 사용 빈도가 가장 높은 색상을 확인할 수 있으며, 해당 색상이 어두움, 보통 및 밝음 중 어디에 해당하는지를 확인할 수 있다.
또한 이미지 분석부(130)는 이미지에 포함되는 피사체를 추출하고, 피사체의 위치 좌표, 종류 등을 확인할 수 있으며, 피사체의 종류를 이용하여 이미지의 종류를 확인할 수 있다.
콘텐츠 생성부(150)는 이미지의 분석 결과에 따라 음악 파일을 생성하여(S200), 출력 장치(30)를 통해 음악 파일을 출력할 수 있다(S300). 이와 관련하여 구체적인 설명은 도 6 내지 도 8을 참조하여 설명한다.
도 6은 도 5의 음악 파일 생성 단계의 일 예를 보여주는 순서도이다.
도 6을 참조하면, 콘텐츠 생성부(150)는 이미지 분석부(130)를 통해 색상 별 사용 빈도 및 피사체의 위치 좌표를 획득할 수 있다(S211).
콘텐츠 생성부(150)는 색상 별 사용 빈도에 따라 악기를 설정할 수 있다(S212).
콘텐츠 생성부(150)는 이미지에서 색상 사용 빈도가 가장 높은 색상을 확인할 수 있으며, 해당 색상이 어두움, 보통 및 밝음 중 어디에 해당하는지를 확인할 수 있다.
예를 들면, 콘텐츠 생성부(150)는 이미지에서 색상 사용 빈도가 가장 높은 색상이 어두운 색상에 해당하는 경우, 낮은 음역대의 악기(일예로, 목관악기)를 선택할 수 있다.
콘텐츠 생성부(150)는 피사체의 위치 좌표에 따라 음계를 설정할 수 있다(S213).
콘텐츠 생성부(150)는 미리 설정되는 규격의 이미지의 위치 좌표 별로 음계를 할당하여 미리 저장할 수 있으며, 이를 이용하여 피사체의 위치 좌표에 해당하는 음계를 추출할 수 있다.
콘텐츠 생성부(150)는 설정한 악기로 음계를 연주하는 음악 파일을 생성할 수 있다(S214).
도 7은 도 5의 음악 파일 생성 단계의 다른 예를 보여주는 순서도이다.
도 7을 참조하면, 콘텐츠 생성부(150)는 이미지 분석부(130)를 통해 색상 별 사용 빈도, 피사체의 위치 좌표 및 이미지의 종류를 획득할 수 있다(S221).
콘텐츠 생성부(150)는 색상 별 사용 빈도에 따라 악기를 설정할 수 있다(S222).
콘텐츠 생성부(150)는 이미지에서 색상 사용 빈도가 가장 높은 색상을 확인할 수 있으며, 해당 색상이 어두움, 보통 및 밝음 중 어디에 해당하는지를 확인할 수 있다.
예를 들면, 콘텐츠 생성부(150)는 이미지에서 색상 사용 빈도가 가장 높은 색상이 어두운 색상에 해당하는 경우, 낮은 음역대의 악기(일예로, 목관악기)를 선택할 수 있다.
콘텐츠 생성부(150)는 피사체의 위치 좌표에 따라 음계를 설정할 수 있다(S223).
콘텐츠 생성부(150)는 미리 설정되는 규격의 이미지의 위치 좌표 별로 음계를 할당하여 미리 저장할 수 있으며, 이를 이용하여 피사체의 위치 좌표에 해당하는 음계를 추출할 수 있다.
콘텐츠 생성부(150)는 이미지의 종류에 따라 멜로디를 추출할 수 있다(S224).
콘텐츠 생성부(150)는 이미지의 종류에 따라 음악 장르를 설정하고, 음악 장르 별로 미리 설정되어 있는 멜로디를 추출할 수 있다.
예를 들면, 콘텐츠 생성부(150)는 이미지가 풍경화인 것으로 확인되는 경우, 음악 장르를 클래식으로 설정하고, 클래식 장르에 미리 설정되어 있는 복수의 멜로디 중 어느 하나의 멜로디를 랜덤으로 추출할 수 있다.
콘텐츠 생성부(150)는 악기로 멜로디를 따라 음계를 연주하는 음악 파일을 생성할 수 있다(S225).
도 8은 도 5의 음악 파일 생성 단계의 또 다른 예를 보여주는 순서도이다.
도 8을 참조하면, 콘텐츠 생성부(150)는 음악 파일이 출력되는 공간의 조도 값을 획득할 수 있다(S231).
콘텐츠 생성부(150)는 음악 파일을 출력하는 출력 장치(30)가 설치된 공간의 조도를 측정하는 조도 센서로부터 출력 장치(30)가 설치된 공간의 조도 값을 획득할 수 있다.
콘텐츠 생성부(150)는 조도 값에 따라 음악 파일의 소리 크기를 설정할 수 있다(S232).
콘텐츠 생성부(150)는 소리 크기 범위 별로 조도 값의 범위를 매칭하여 미리 저장할 수 있다. 콘텐츠 생성부(150)는 출력 장치(30)가 설치된 공간의 조도 값을 획득하고, 해당 조도 값이 포함되는 조도 값 범위와 매칭되는 소리 크기 범위 내에서 음악 파일의 소리 크기를 설정할 수 있다.
이와 같은, 본 발명의 이미지 분석에 기반한 콘텐츠 제공 방법은 어플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1: 이미지 분석에 기반한 콘텐츠 제공 시스템
10: 입력 장치
30: 출력 장치
100: 콘텐츠 제공 장치

Claims (13)

  1. 이미지를 입력 받는 인터페이스부;
    상기 이미지를 픽셀 별로 분석하여 색상 별 사용 빈도 및 상기 이미지에 나타나는 피사체의 위치 좌표를 획득하는 이미지 분석부; 및
    상기 색상 별 사용 빈도에 따라 악기를 설정하고, 상기 이미지에 나타나는 피사체의 위치 좌표에 따라 음계를 설정하며, 상기 악기로 상기 음계를 연주하는 음악 파일을 생성하여 출력하는 콘텐츠 생성부를 포함하는 이미지 분석에 기반한 콘텐츠 제공 장치.
  2. 제1항에 있어서,
    상기 이미지 분석부는,
    상기 이미지에 나타나는 피사체를 분석하여 상기 이미지의 종류를 분류하는 이미지 분석에 기반한 콘텐츠 제공 장치.
  3. 제2항에 있어서,
    상기 콘텐츠 생성부는,
    상기 이미지의 종류에 따라 음악 장르를 설정하고, 상기 음악 장르 별로 미리 설정되어 있는 멜로디를 추출하며, 상기 악기로 상기 멜로디를 따라 상기 음계를 연주하는 상기 음악 파일을 생성하는 이미지 분석에 기반한 콘텐츠 제공 장치.
  4. 제1항에 있어서,
    상기 인터페이스부는,
    사용자가 직접 이미지를 생성하거나, 미리 생성된 이미지를 선택할 수 있는 인터페이스를 제공하는 이미지 분석에 기반한 콘텐츠 제공 장치.
  5. 제1항에 있어서,
    상기 콘텐츠 생성부는,
    상기 음악 파일이 출력되는 공간의 조도 값을 획득하고, 상기 조도 값에 따라 상기 음악 파일의 소리 크기를 설정하는 이미지 분석에 기반한 콘텐츠 제공 장치.
  6. 사용자로부터 이미지를 입력 받는 입력 장치;
    상기 이미지를 픽셀 별로 분석하여 색상 별 사용 빈도 및 상기 이미지에 나타나는 피사체의 위치 좌표를 획득하고, 상기 색상 별 사용 빈도에 따라 악기를 설정하고, 상기 이미지에 나타나는 피사체의 위치 좌표에 따라 음계를 설정하며, 상기 악기로 상기 음계를 연주하는 음악 파일을 생성하는 콘텐츠 제공 장치; 및
    상기 이미지 및 상기 음악 파일을 출력하는 출력 장치를 포함하는 이미지 분석에 기반한 콘텐츠 제공 시스템.
  7. 제6항에 있어서,
    상기 출력 장치가 설치된 공간의 조도 값을 획득하는 조도 센서를 더 포함하는 이미지 분석에 기반한 콘텐츠 제공 시스템.
  8. 제7항에 있어서,
    상기 콘텐츠 제공 장치는,
    상기 조도 센서로부터 상기 조도 값을 수신하여 상기 조도 값에 따라 상기 음악 파일의 소리 크기를 설정하는 이미지 분석에 기반한 콘텐츠 제공 시스템.
  9. 입력 이미지를 분석하여 상기 입력 이미지에 대응하는 음악 파일을 생성하는 콘텐츠 제공장치에서의 이미지 분석에 기반한 콘텐츠 제공 방법에 있어서,
    상기 이미지를 픽셀 별로 분석하여 색상 별 사용 빈도 및 상기 이미지에 나타나는 피사체의 위치 좌표를 획득하는 단계; 및
    상기 색상 별 사용 빈도에 따라 악기를 설정하고, 상기 이미지에 나타나는 피사체의 위치 좌표에 따라 음계를 설정하며, 상기 악기로 상기 음계를 연주하는 음악 파일을 생성하는 단계를 포함하는 이미지 분석에 기반한 콘텐츠 제공 방법.
  10. 제9항에 있어서,
    상기 이미지를 픽셀 별로 분석하여 색상 별 사용 빈도 및 상기 이미지에 나타나는 피사체의 위치 좌표를 획득하는 단계는,
    상기 이미지에 나타나는 피사체를 분석하여 상기 이미지의 종류를 분류하는 단계를 더 포함하는 이미지 분석에 기반한 콘텐츠 제공 방법.
  11. 제10항에 있어서,
    상기 악기로 상기 음계를 연주하는 음악 파일을 생성하는 단계는,
    상기 이미지의 종류에 따라 음악 장르를 설정하는 단계;
    , 상기 음악 장르 별로 미리 설정되어 있는 멜로디를 추출하는 단계; 및 상기 악기로 상기 멜로디를 따라 상기 음계를 연주하는 상기 음악 파일을 생성하는 단계를 포함하는 이미지 분석에 기반한 콘텐츠 제공 방법.
  12. 제9항에 있어서,
    사용자가 직접 이미지를 생성하거나, 미리 생성된 이미지를 선택할 수 있는 인터페이스를 제공하는 단계를 더 포함하는 이미지 분석에 기반한 콘텐츠 제공 방법.
  13. 제9항에 있어서,
    상기 색상 별 사용 빈도에 따라 악기를 설정하고, 상기 이미지에 나타나는 피사체의 위치 좌표에 따라 음계를 설정하며, 상기 악기로 상기 음계를 연주하는 음악 파일을 생성하는 단계는,
    상기 음악 파일이 출력되는 공간의 조도 값을 수신하는 단계; 및
    상기 음악 파일이 출력되는 공간의 조도 값에 따라 상기 음악 파일의 크기를 설정하는 단계를 포함하는 이미지 분석에 기반한 콘텐츠 제공 방법.
KR1020190048354A 2019-04-25 2019-04-25 이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법 KR102241864B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190048354A KR102241864B1 (ko) 2019-04-25 2019-04-25 이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190048354A KR102241864B1 (ko) 2019-04-25 2019-04-25 이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법

Publications (2)

Publication Number Publication Date
KR20200124911A true KR20200124911A (ko) 2020-11-04
KR102241864B1 KR102241864B1 (ko) 2021-04-16

Family

ID=73571634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190048354A KR102241864B1 (ko) 2019-04-25 2019-04-25 이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법

Country Status (1)

Country Link
KR (1) KR102241864B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004205738A (ja) * 2002-12-25 2004-07-22 Shunsuke Nakamura 楽音生成装置、楽音生成プログラムおよび楽音生成方法
JP2005110044A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 電子機器および音量制御方法
JP2007219393A (ja) * 2006-02-20 2007-08-30 Doshisha 画像から音楽を生成する音楽生成装置
KR101896193B1 (ko) * 2017-08-28 2018-09-07 한양대학교 산학협력단 이미지를 음악으로 변환하는 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004205738A (ja) * 2002-12-25 2004-07-22 Shunsuke Nakamura 楽音生成装置、楽音生成プログラムおよび楽音生成方法
JP2005110044A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 電子機器および音量制御方法
JP2007219393A (ja) * 2006-02-20 2007-08-30 Doshisha 画像から音楽を生成する音楽生成装置
KR101896193B1 (ko) * 2017-08-28 2018-09-07 한양대학교 산학협력단 이미지를 음악으로 변환하는 방법

Also Published As

Publication number Publication date
KR102241864B1 (ko) 2021-04-16

Similar Documents

Publication Publication Date Title
US8866846B2 (en) Apparatus and method for playing musical instrument using augmented reality technique in mobile terminal
US20200265817A1 (en) Systems and methods for visual image audio composition based on user input
US9679547B1 (en) Augmented reality music composition
JP7086521B2 (ja) 情報処理方法および情報処理装置
JP2006331393A (ja) アルバム作成装置、アルバム作成方法、及びプログラム
CN109788345A (zh) 直播控制方法、装置、直播设备及可读存储介质
CN102244788A (zh) 信息处理方法、信息处理装置、场景元数据提取装置、丢失恢复信息生成装置和程序
US20210168460A1 (en) Electronic device and subtitle expression method thereof
JP7140221B2 (ja) 情報処理方法、情報処理装置およびプログラム
CN102193772A (zh) 信息处理器、信息处理方法和程序
KR20190076360A (ko) 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
KR101896193B1 (ko) 이미지를 음악으로 변환하는 방법
Friedland et al. Multimedia computing
KR101579229B1 (ko) 영상 출력 장치 및 그 제어 방법
CN101924847B (zh) 多媒体播放装置及其播放方法
KR102241864B1 (ko) 이미지 분석에 기반한 콘텐츠 제공 장치, 이를 포함하는 콘텐츠 제공 시스템 및 이의 콘텐츠 제공 방법
JP2009526301A (ja) メタデータを生成する方法及び装置
WO2019087331A1 (ja) 基準位置検出装置および基準位置検出方法
US20220335974A1 (en) Multimedia music creation using visual input
KR20140037439A (ko) 음악의 분위기를 이용한 슬라이드 쇼 생성 방법 및 장치
KR20070094207A (ko) 영상을 소리로 변환하는 방법 및 장치
Wu et al. A study of image-based music composition
KR20160141070A (ko) 영상이미지를 이용한 음악연주장치, 그 방법 및 영상이미지를 이용한 음악연주 프로그램을 저장하는 저장매체
JP2005242833A (ja) Ｗｅｂ画面解析装置、ｗｅｂ画面解析方法、ｗｅｂ解析型音楽装置、及びｗｅｂ監視装置
WO2019132126A1 (ko) 그래픽 컨텐츠 기반 작곡서비스 운영장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right