KR101579229B1 - 영상 출력 장치 및 그 제어 방법 - Google Patents

영상 출력 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR101579229B1
KR101579229B1 KR1020140098487A KR20140098487A KR101579229B1 KR 101579229 B1 KR101579229 B1 KR 101579229B1 KR 1020140098487 A KR1020140098487 A KR 1020140098487A KR 20140098487 A KR20140098487 A KR 20140098487A KR 101579229 B1 KR101579229 B1 KR 101579229B1
Authority
KR
South Korea
Prior art keywords
information
image
feature information
color
music
Prior art date
Application number
KR1020140098487A
Other languages
English (en)
Inventor
이민호
장영민
김태웅
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020140098487A priority Critical patent/KR101579229B1/ko
Application granted granted Critical
Publication of KR101579229B1 publication Critical patent/KR101579229B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

영상처리 장치가 개시된다. 본 장치는, 입력된 영상에서 색상, 윤곽선 및 주파수에 대한 특징 정보를 추출하고, 사전에 학습된 MLP를 이용하여 특징 정보 각각에 대응하는 멜로디, 화성 및 리듬을 생성하여 음악을 창작하는 제어부 및, 창작된 음악을 영상과 함께 출력하는 출력부를 포함한다.

Description

영상 출력 장치 및 그 제어 방법 { Video display apparatus and control method thereof }
본 발명은 영상 출력 장치 및 그 제어 방법에 대한 것으로, 보다 상세하게는, 음악의 창작 및 재생이 가능한 영상 출력 장치 및 그 제어 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 영상 출력 장치가 개발되고 있다. 특히, TV, PC, 랩탑 컴퓨터, 태블릿 PC, 휴대폰, MP3 플레이어 등과 같은 영상 출력 장치들은 대부분의 가정에서 사용될 정도로 보급율이 높다.
최근에는 더 새롭고 다양한 기능을 원하는 사용자의 니즈(needs)에 부합하기 위하여, 영상 출력 장치를 좀 더 새로운 형태로 개발하기 위한 노력이 이루어지고 있다.
한편, 일반적으로 사람들은 오감 중에서 대부분의 정보를 시각을 통해 받아들이고 있다. 대표적인 시각 정보로는 동영상이나 사진, 그림과 같은 이미지가 있는데, 시각 정보를 시각 이외의 다른 감각을 이용하여 인지를 향상시킬 수 있는 형태로 제공하는 수단이 있을 수 있다.
예를 들어, 따뜻한 풍경을 담은 이미지를 디스플레이할 때, 이러한 이미지를 음악으로 재창작하여, 이미지를 디스플레이하면서 따뜻한 풍경에 걸맞는 따뜻한 느낌의 음악을 출력할 수 있다. 반대로 시원한 풍경을 담은 이미지를 디스프레이할 때는, 이에 걸맞는 시원한 느낌의 음악을 출력할 수 있다. 이로써, 사용자는 시청하고 있는 영상 컨텐츠를 감상하면서 그에 맞는 청각적인 효과 또한 얻을 수 있다.
기존에 시각 정보를 청각 정보의 형태로 제공해 주는 기술은 있으나, 아직까지는 사용자에 대한 고려 없이, 유연하지 않은 서비스를 제공해주는 데에 그치는 초기 단계에 머물러 있는 실정이다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 영상을 분석하고, 분석된 영상에 대응되는 음악을 유연성 있게 창작 및 재생할 수 있는 영상 출력 장치 및 그 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 출력 장치는, 입력된 영상에서 색상, 윤곽선 및 주파수에 대한 특징 정보를 추출하고, 사전에 학습된 MLP(Multi-Layer Perceptron)을 이용하여 특징 정보 각각에 대응하는 멜로디, 화성 및 리듬을 생성하여 음악을 창작하는 제어부 및, 창작된 음악을 영상과 함께 출력하는 출력부를 포함한다.
또한, 제어부는 영상의 R/G/B, H/S/I 및 Y/Cb/Cr 색 공간 좌표 중 적어도 하나를 이용하여 색상에 대한 특징 정보를 추출하고, 영상에 대한 에지를 검출하여 윤곽선에 대한 특징 정보를 추출하고, 영상에 FFT(Fast Fourier Transform)를 적용하여 추출된 주파수 패턴을 이용하여 주파수에 대한 특징 정보를 추출할 수 있다.
또한, 영상 출력 장치는 사용자에 의해 설정된 악기 정보 및 기존에 사용된 악기 정보 중 적어도 하나에 대한 룩업 테이블(Lookup table)를 저장하는 저장부를 더 포함할 수 있고, 제어부는, 룩업 테이블 및 생성된 멜로디, 화음 및 리듬 정보를 사전에 학습된 MLP(Multi-Layer Perceptron)로 분석한 정보에 기초하여 악기를 선정하고, 선정된 악기에 기초하여 창작된 음악을 재생할 수 있다.
또한, 제어부는 영상의 색상, 명도 및 채도 중 적어도 하나의 색 속성 정보를 추출하는 속성 정보 추출부, 추출된 색 속성 정보를 FCM(fuzzy-C-means clustering) 기법을 이용하여 기설정된 복수의 감성 요소로 분류하는 클러스터링부, 및 영상의 화소 값을 기준으로 색 속성 정보의 분포를 분석하여, 감성 요소의 강도 값을 조정하여 조정된 감성 요소에 기초하여 분위기 정보를 생성하는 정보 생성부를 포함할 수 있다.
또한, 제어부는, 사전에 학습된 MLP(Multi-Layer Perceptron)의 학습 데이터에 대한 룩업 테이블(Look Up Table)을 이용하여 특징 정보 각각에 대해 가중치를 부여하고, 가중치가 부여된 특징 정보에 대응되는 멜로디, 화성 및 리듬을 생성할 수 있다.
한편, 본 발명의 일 실시 예에 따른 영상 출력 제어 방법은, 입력된 영상에서 색상, 윤곽선 및 주파수에 대한 특징 정보를 추출하는 단계, 사전에 학습된 MLP(Multi-Layer Perceptron)을 이용하여 특징 정보 각각에 대응하는 멜로디, 화성 및 리듬을 생성하여 음악을 창작하는 단계, 및 창작된 음악을 영상과 함께 출력하는 단계를 포함할 수 있다.
또한, 특징 정보를 추출하는 단계는, 영상의 R/G/B, H/S/I 및 Y/Cb/Cr 색 공간 좌표 중 적어도 하나를 이용하여 색상에 대한 특징 정보를 추출하고, 영상에 대한 에지를 검출하여 윤곽선에 대한 특징 정보를 추출하고, 영상에 FFT(Fast Fourier Transform)를 적용하여 추출된 주파수 패턴을 이용하여 주파수에 대한 특징 정보를 추출할 수 있다.
또한, 출력하는 단계는, 기 저장된 사용자에 의해 설정된 악기 정보 및 기존에 사용된 악기 정보 중 적어도 하나에 대한 룩업 테이블(Lookup table) 및 생성된 멜로디, 화음 및 리듬 정보를 사전에 학습된 MLP(Multi-Layer Perceptron)로 분석한 정보에 기초하여 악기를 선정하는 단계, 및 선정된 악기에 기초하여 창작된 음악을 재생하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따른 영상 출력 제어 방법은, 영상의 색상(Hue), 명도(Intensity) 및 채도(Chroma) 중 적어도 하나를 추출하여 음악의 분위기 정보를 생성하고, 창작된 음악에 생성된 분위기 정보를 결합하는 단계를 더 포함할 수 있다.
또한, 생성된 분위기 정보를 결합하는 단계는, 영상의 색상, 명도 및 채도 중 적어도 하나의 색 속성 정보를 추출하는 단계, 추출된 색 속성 정보를 FCM(fuzzy-C-means clustering) 기법을 이용하여 기설정된 복수의 감성 요소로 분류하는 단계, 및 영상의 화소 값을 기준으로 색 속성 정보의 분포를 분석하여, 감성 요소의 강도 값을 조정하여 조정된 감성 요소에 기초하여 분위기 정보를 생성하는 단계를 포함할 수 있다.
또한, 음악을 창작하는 단계는, 사전에 학습된 MLP(Multi-Layer Perceptron)의 학습 데이터에 대한 룩업 테이블(Look Up Table)을 이용하여 특징 정보 각각에 대해 가중치를 부여하고, 가중치가 부여된 특징 정보에 대응되는 멜로디, 화성 및 리듬을 생성할 수 있다.
상술한 본 발명의 다양한 실시 예에 따르면, 영상 출력 장치는 영상을 디스플레이하면서, 영상에 맞는 음악을 효과적으로 생성하여 사용자에게 제공해 줄 수 있으므로, 사용자의 편이성이 향상된다.
도 1은 본 발명의 일 실시 예에 따른 영상 출력 장치의 구성을 나타내는 블럭도,
도 2는 본 발명의 일 실시 예에 따른 학습된 MLP를 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 영상 출력 장치의 구성을 좀 더 구체적으로 나타낸 블럭도,
도 4는 본 발명의 일 실시 예에 따른 영상으로부터 멜로디, 화음 및 리듬을 생성할 수 있음을 도시한 도면,
도 5은 본 발명의 일 실시 예에 따른 영상으로부터 멜로디, 화음 및 리듬을 생성하는 구체적인 방법을 도시한 도면,
도 6는 본 발명의 일 실시 예에 따른 영상의 색상 계통과 멜로디의 관계를 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 분위기 정보를 생성하는 전 과정을 도시한 도면,
도 8은 본 발명의 다른 실시 예에 따른 영상 출력 장치의 구성을 나타내는 블럭도,
도 9은 본 발명의 일 실시 예에 따른 영상 출력 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여, 본 발명에 대해 자세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 영상 출력 장치의 구성을 나타내는 블럭도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 영상 출력 장치(100)는 제어부(110) 및 출력부(120)를 포함한다.
영상 출력 장치(100)는 영상을 처리하여 출력할 수 있는 디지털 TV, 다양한 종류의 모니터, 스마트폰, PMP, 노트북 컴퓨터, 전자사전 등이 될 수 있다.
제어부(110)는 영상 출력 장치의 다양한 구성에 대한 제어 동작을 수행한다.
특히, 제어부(110)는 입력된 영상에서 색상, 윤곽선 및 주파수에 대한 특징 정보를 추출하고, 사전에 학습된 MLP(Multi-Layer Perceptron)를 이용하여 특징 정보 각각에 대응하는 멜로디, 화성 및 리듬을 생성하여 음악을 창작할 수 있다. 여기서, MLP란, 학습 과정을 통해 자유롭게 활성화되는 내부적 뉴런의 집합체로 구성되어 있는 알고리즘으로서, 구체적으로 입력 집합체와 여러 가중치의 선형 결합을 통한 다중 학습에 의해 신경망이 구성되어 최적의 결과값을 결정할 수 있는 다중 학습 신경망 알고리즘을 의미한다.
도 2는 MLP의 구조를 설명하기 위한 도면이다. 특징 정보를 입력값으로 넣었을 때, 대응되는 멜로디가 출력값으로 나오는 일 예이다. 원으로 표시된 노드는 뉴런을 의미하고 원을 연결하는 연결선은 데이터 통로를 의미하며, 연결선에는 가중치가 부여된다. 입력층과 출력층 사이에 1개 이상의 은닉층(hidden layer)이 존재하고 입력과 출력을 대응시켜 주는 전달함수로는 Sigmoid 함수가 사용된다. 신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 연결선의 가중치(weight)를 조정함으로써 이루어진다. MLP는 학습에 의해 가중치 값을 지속적으로 업데이트 시킬 수 있다. 따라서, 이러한 MLP를 이용하면 추출한 특징 정보를 효과적으로 판별할 수 있다.
또한, 제어부(110)는 영상의 R/G/B, H/S/I 및 Y/Cb/Cr 색 공간 좌표 중 적어도 하나를 이용하여 색상에 대한 특징 정보를 추출하고, 영상에 대한 에지를 검출하여 윤곽선에 대한 특징 정보를 추출하고, 영상에 FFT(Fast Fourier Transform)를 적용하여 추출된 주파수 패턴을 이용하여 주파수에 대한 특징 정보를 추출할 수 있다.
또한, 제어부(110)는 사용자에 의해 설정된 악기 정보 및 기존에 사용된 악기 정보 중 적어도 하나에 대한 룩업 테이블(Lookup Table)과 생성된 멜로디, 화음 및 리듬 정보를 사전에 학습된 MLP로 분석한 정보에 기초하여 악기를 선정하고, 선정된 악기에 기초하여 창작된 음악을 재생할 수 있다.
또한, 제어부(110)는 영상의 색상(Hue), 명도(Intensity) 및 채도(Chroma) 중 적어도 하나를 추출하여 음악의 분위기 정보를 생성하고, 창작된 음악에 생성된 분위기 정보를 결합할 수 있다.
또한, 제어부(110)는 영상의 색상, 명도 및 채도 중 적어도 하나의 색 속성정보를 추출하고, 추출된 색 속성 정보를 FCM(fuzzy-C-means clustering) 기법을 이용하여 기설정된 복수의 감성 요소로 분류하고, 영상의 화소 값을 기준으로 색 속성 정보의 분포를 분석하여, 감성 요소의 강도 값을 조정하여 조정된 감성 요소에 기초하여 분위기 정보를 생성할 수 있다. 여기서, FCM(fuzzy-C-means clustering)이란, 하나의 클러스터에 속해 있는 각각의 데이터 점의 클러스터에 대한 소속 정도를 일일이 열거한 데이터 분류 알고리즘이다. 각각의 오브젝트는 가중치를 가지고 각각의 클러스터에 속하게 된다.
또한, 제어부(110)는 사전에 학습된 MLP의 학습 데이터에 대한 룩업 테이블을 이용하여 특징 정보 각각에 대해 가중치를 부여하고, 가중치가 부여된 특징 정보에 대응되는 멜로디, 화성 및 리듬을 생성할 수 있다. 또한, 특징 정보를 룩업 테이블에 업데이트 할 수 있다.
한편, 출력부(120)는 영상 및 음향을 출력할 수 있다. 여기서, 출력부(120)는 디스플레이부 및 스피커를 포함하도록 구현될 수 있는데 이에 대한 자세한 설명은 후술하도록 한다.
이와 같이, 본 발명에 따른 영상 출력 장치(100)는 영상에 맞는 음악을 효과적으로 생성하여 제공할 수 있게 된다.
도 3은 본 발명의 일 실시 예에 따른 영상 출력 장치(100)의 구성을 좀 더 구체적으로 나타낸 블럭도이다. 도 3을 참조하면, 본 발명의 다른 실시 예에 따른 영상 출력 장치(100A)는 제어부(110)가 특징정보 추출부(111), 음악 창작부(112)를 포함하며, 출력부(120)는 디스플레이부(121) 및 스피커(122)를 포함한다.
특징정보 추출부(111)는 입력된 영상의 색상, 윤곽선 및 주파수에 대한 특징 정보를 추출한다. 여기서 영상의 색상에 대한 특징이란, 예를 들어 R/G/B의 색 공간 좌표에서 영상이 24비트의 color depth를 가지고 있는 경우, R, G, B 각 요소에 대해 256단계의 색을 표현할 수 있으므로, 전체 색상은 16777216가지가 되고 이러한 색상 정보를 이용하여 추출된 정보를 의미한다. 윤곽선에 대한 특징이란, 영상 내 물체들의 에지(Edge)를 검출하여 윤곽선의 강도 및 각도 성분들로 추출된 정보를 의미한다. 주파수에 대한 특징이란, 영상에 FFT(Fast Fourier trasform)을 적용하여 추출된 주파수 패턴에 대한 정보를 의미한다.
음악 창작부(112)는 특징정보 추출부(111)에서 추출된 영상의 색상, 윤곽선 및 주파수에 대한 특징 정보를 이용하여 각각 멜로디, 화성 및 리듬을 생성하고, 음악을 창작한다. 멜로디, 화성 및 리듬을 생성하는 구체적인 방법에 대해서는 도 5에서 상세하도록 한다.
한편, 디스플레이부(121)는 영상을 디스플레이한다. 구체적으로, 디스플레이부(110)는 제어부(130)의 제어에 따라 영상 처리부(120)를 통해 처리된 영상을 디스플레이할 수 있다. 디스플레이부(110)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이부(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다.
한편, 스피커(122)는 음향을 출력할 수 있다.
특히, 스피커(122)는 음악 창작부(112)에서 창작된 음악 즉, 디스플레이된 영상에 기초하여 창작된 음향을 출력할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 영상으로부터 멜로디, 화음 및 리듬을 생성할 수 있음을 도시한 도면이다.
도 4를 참조하면, 음악 창작부(112)는 영상의 색상을 분석하여 멜로디를 생성할 수 있고, 영상의 윤곽선을 분석하여 화음을 생성할 수 있고, 영상의 주파수를 분석함으로써 리듬을 생성할 수 있다. 그러나, 이러한 대응관계는 상술한 예에 한정되는 것은 아니며, 실시 예에 따라 다양하게 변경될 수 있음은 물론이다. 예를 들어, 영상의 색상을 분석하여 화음을 생성할 수 있고, 영상의 윤곽선을 분석하여 리듬을 생성할 수 있고, 영상의 주파수를 분석함으로써 멜로디를 생성할 수도 있다. 그러나, 본 실시 예에서는 설명의 편의를 위하여 영상의 색상, 윤곽선 및 주파수로부터 각각 멜로디, 화음 및 리듬을 생성하는 경우를 한정하여 설명하도록 한다.
도 5는 본 발명의 일 실시 예에 따른 영상으로부터 멜로디, 화음 및 리듬을 생성하는 구체적인 방법을 도시한 도면이다.
도 5를 참조하면, 특징정보 추출부(111)는 멜로디를 생성하기 위하여, 영상의 색 공간 좌표(510)를 분석하여 영상의 색 공간에 대한 특징 정보를 추출할 수 있다. 여기서, 색 공간 좌표는 R/G/B, H/S/I 및 Y/Cb/Cr 중 적어도 하나를 포함할 수 있다. 예를 들어, 만약 영상이 24bit 색상이라면 256(R)*256(G)*256(B)의 16777216 색상정보를 기준으로 특징정보를 추출할 수 있다. 이 경우, 추출된 특징정보는 사전에 학습된 MLP를 통과하여 가중치가 변경될 수 있다. 이 때, 사전에 사용자가 MLP 학습으로 셋업해 둔 기저장된 룩업 테이블이 이용될 수도 있다. 이렇게 가중치가 변경된 특징정보는 음악 창작부(112)로 전송되고, 음악 창작부(112)는 가중치가 변경된 특징정보를 이용하여 멜로디를 생성할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 영상의 색상 계통과 멜로디의 관계를 도시한 도면이다. 도 6을 참조하면, 색상의 단위에 따라서 영상이 파란 색상의 계통인 경우 시원한 느낌의 멜로디가 생성되도록, 영상이 푸른 색상의 계통인 경우 경쾌한 느낌의 멜로디가 생성되도록, 영상이 검은 색상의 계통인 경우 암울한 느낌의 멜로디가 생성되도록 MLP 상의 학습데이터가 사전 설정되어 있다.
한편, 특징 정보 추출부(111)는 화음을 생성하기 위하여, 영상 내 물체들의 에지(Edge)를 검출하여 영상의 윤곽선에 대한 특징 정보를 추출할 수 있다. 에지 추출은 미분연산자에 의한 밝기 값의 변화를 이용하는 것으로 에지는 영상의 강도(Intensity)가 급격하게 변하는 부분을 의미한다.
이 경우, 소벨(Sobel) 에지 추출, 프리윗(Prewitt) 에지 추출, 로버츠(Roberts) 에지 추출 등 다양한 추출방법이 사용되며, 설명의 편의를 위하여 본 실시 예에서는 소벨(Sobel) 에지 추출방법을 이용하여 윤곽선(530)을 구하는 방법으로 설명하도록 한다.
구체적으로, 특징정보 추출부(111)는 3*3 소벨 마스크(520) 상에서 x축의 미분값 및 y축의 미분값을 구하고, 삼각함수(arctangent)를 이용하여 각도 성분을 추출할 수 있다. 이러한 방법으로 x축과 y축의 윤곽선 강도 및 각도 성분의 3가지에 대한 특징정보를 추출할 수 있다. 이 경우, 추출된 특징 정보는 사전에 학습된 MLP를 통과하여 가중치가 변경될 수 있다. 이 때, 사전에 사용자가 MLP 학습으로 셋업해 둔 기저장된 룩업 테이블이 이용될 수도 있다. 이렇게 가중치가 변경된 특징정보는 음악 창작부(112)로 전송되고, 음악 창작부(112)는 가중치가 변경된 특징정보를 이용하여 멜로디를 생성할 수 있다.
한편, 특징정보 추출부(111)는 리듬을 생성하기 위하여, 영상에 FFT(Fast Fourier transform)을 적용하여 주파수 패턴에 대한 특징 정보를 추출할 수 있다. 구체적으로, 특징정보 추출부(111)는 영상에 FFT를 적용하여 영상이 주파수 영역(540)으로 변화하면, 영상 전체 패턴에서 반복되는 주파수의 패턴을 찾을 수 있다. 그리고, 기설정된 값을 기준으로 그 이상 일정하게 반복되는 주파수 패턴에 대한 특징정보를 추출할 수 있다. 이 경우, 추출된 특징 정보는 사전에 학습된 MLP를 통과하여 가중치가 변경될 수 있다. 이 때, 추출된 주파수 패턴이 고주파인지 저주파인지 분류하여 고주파일 경우 리듬을 빠르게, 저주파일 경우 리듬이 느리게 세팅된 룩업 테이블이 이용될 수도 있다. 이렇게 가중치가 변경된 특징정보는 음악 창작부(112)로 전송되고, 음악 창작부(112)는 가중치가 변경된 특징정보를 이용하여 리듬을 생성할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 분위기 정보를 생성하는 전 과정을 도시한 도면이다.
도 7을 참조하면, 제어부(110)는, 영상을 해석하기 전 전처리과정(710)을 거쳐, 영상의 색상(Hue), 명도(Intensity) 및 채도(Chroma) 중 적어도 하나의 색상정보를 추출할 수 있다. 이 후, 추출된 색상정보를 이용하여 Fuzzy C-means 클러스터링(clustering)을 통해 감성요소를 추출할 수 있다. 여기서, Fuzzy C-means 클러스터링은 fuzzy C-Means 알고리즘을 이용하여 주관적인 감성 데이터를 처리하기 위해 주관적 구분 기준을 통해 표본을 클러스터링하여 정량화하기 위한 것이다. 예를 들어, 어떤 점들의 집합이 있을 때, 다수의 데이터로부터 규칙을 추출하여 클러스터를 형성하고, 그 클러스터를 가장 잘 대표하는 점을 중심점(대표 감성요소)이라고 하며, 이 중심점을 찾아서 점들을 여러 클러스터로 나눌 수 있다. 이 때 클러스터는 fuzzy하게 나누며, 클러스터의 개수가 정해져 있을 때, 공분산을 이용할 수 있다. 중심점의 이동이 최소(임계치)로 되면 그 중심점의 위치가 클러스터의 중심점이며 클러스터를 대표하는 감성요소이다. 각각의 오브젝트(감성요소)는 0과 1 사이의 set에 속할 수 있으며, 각각의 오브젝트는 가중치를 가지고 각각의 클러스터에 속한다. 감성요소에는 화남, 즐거움, 실망, 슬픔, 지침, 조용함, 행복함 등의 수많은 인감의 감정이 포함된다.
한편, 추출된 색상정보는 fuzzy C-means 클러스터링에 의해 분류되고 이에 기초하여 추출된 색상 정보에 대응되는 감성요소가 추출될 수 있다. 또한, 제어부(110)는 영상의 화소값을 기준으로 영상 내 색상 정보의 분포에 따라서 영상 내 대응되는 감성요소의 강도 값을 조정할 수 있다. 영상 내 감성요소의 강도 값 조정에 대한 정보는 분위기 정보로서 음악 창작부(112)에서 창작된 음악과 결합하여 최종적으로 디스플레이되는 영상의 분위기와 일치하는 음악이 생성되게 된다.
도 8은 본 발명의 다른 실시 예에 따른 영상 출력 장치의 구성을 나타내는 블럭도이다.
도 8을 참조하면, 제어부(110)는 악기 선정부(113) 및 분위기 정보 생성부(114)를 더 포함할 수 있다.
악기선정부(113)는 생성된 멜로디, 화음 및 리듬의 요소를 이용하여 창작된 음악을 어떤 악기로 연주(재생)할 것인지를 결정할 수 있다. 여기서 악기선정부(113)는, 멜로디, 화음 및 리듬에 대한 분석정보와 사용자가 선택적으로 설정해둔 악기(기타, 바이올린, 건반 등)가 대응되는 저장부(130)의 룩업 테이블과, 현재 입력 영상 분석으로 입력된 멜로디, 화음, 리듬 정보를 사전에 학습된 MLP로 판별 분석하여 얻어진 결과를 이용하여 악기를 선정할 수 있다.
또는, 악기선정부(113)는 멜로디, 화음 및 리듬에 대한 분석정보와 기존 음악 및 오케스트라 등에 사용된 악기가 대응되는 룩업 테이블과, 현재 입력 영상 분석으로 입력된 멜로디, 화음, 리듬 정보를 사전에 학습된 MLP로 판별 분석하여 얻어진 결과를 이용하여 악기를 선정할 수도 있다.
또는, 악기선정부(113)는 위의 두 가지 룩업 테이블과, 현재 입력 영상 분석으로 입력된 멜로디, 화음, 리듬 정보를 사전에 학습된 MLP로 판별 분석하여 얻어진 결과를 이용하여 악기가 선정할 수도 있다. 이에 따라 악기가 선정되면, 선정된 악기에 기초하여 창작된 음악이 재생될 수 있다.
분위기 정보 생성부(114)는 속성 정보 추출부(114-1), 클러스터링부(114-2) 및 정보 생성부(114-3)를 포함할 수 있다.
속성 정보 추출부(114-1)는 영상의 색상, 명도 및 채도 중 적어도 하나의 색 속성 정보를 추출할 수 있다.
클러스터링부(114-2)는 추출된 색 속성 정보를 FCM(fuzzy-C-means clustering) 기법을 이용하여 기설정된 복수의 감성 요소로 분류할 수 있다.
정보 생성부(114-3)는 영상의 화소 값을 기준으로 색 속성 정보의 분포를 분석하여, 감성 요소의 강도 값을 조정하여 조정된 감성 요소에 기초하여 분위기 정보를 생성할 수 있다.
한편, 본 발명의 다른 실시 예에 따른 영상 출력 장치(100)는 저장부(130), 영상 입력부(140) 및 사용자 인터페이스부(150)를 더 포함할 수 있다.
저장부(130)는, 학습된 MLP 및 룩업 테이블을 저장할 수 있다. 따라서, 저장부(130)에 저장된 학습된 MLP들에 대한 정보는 특징 정보 추출부(111)에서의 색상, 윤곽선 및 주파수에 대한 특징 정보 추출, 음악 창작부(112)에서의 멜로디, 화음 및 리듬 생성 및 악기 선정부(113)에서의 생성된 멜로디, 화음 및 리듬 정보를 이용한 악기 선정 등에 이용될 수 있으며, 이러한 방식에 의하여 영상 출력 장치는 앞서 분석된 영상정보를 기반으로 어떤 음악이 적응적으로 맞는지 학습할 수 있다.
영상 입력부(140)는, 영상을 입력받을 수 있는 구성요소이다. 영상 입력부(140)는 일 예로서 S-Video, 컴포넌트, 컴포지트, D-Sub, DVI, HDMI 등을 인터페이스할 수 있다.
사용자 인터페이스부(150)는 사용자의 입력을 받을 수 있는 구성요소이다. 예를 들어, 사용자 인터페이스부(140)는 터치스크린으로 구현될 수 있으며, 이러한 경우 사용자 입력은 터치스크린 패널을 통하여 입력될 수 있다. 또한, 사용자 인터페이스부(140)는 키보드, 마우스 등으로 구현됨으로써, 각각의 구현방식에 따라 사용자의 입력을 받을 수도 있다.
도 9는 본 발명의 일 실시 예에 따른 영상 출력 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 영상이 입력되면(S910), 입력된 영상에서 색상, 윤곽선 및 주파수에 대한 특징 정보를 추출하고, 사전에 학습된 MLP를 이용하여 특징 정보 각각에 대응하는 멜로디, 화성 및 리듬을 생성하여 음악을 창작할 수 있다(S920). 이 후, 창작된 음악을 영상과 함께 출력할 수 있다(S930).
여기서 특징 정보를 추출하는 S920 단계는, 영상의 R/G/B, H/S/I 및 Y/Cb/Cr 색 공간 좌표 중 적어도 하나를 이용하여 색상에 대한 특징 정보를 추출하고, 영상에 대한 에지를 검출하여 윤곽선에 대한 특징 정보를 추출하고, FFT를 적용하여 추출된 주파수 패턴을 이용하여 주파수에 대한 특징 정보를 추출할 수 있다.
또한, 출력하는 단계(S930)는, 기저장된 사용자에 의해 설정된 악기 정보 및 기존에 사용된 악기 정보 중 적어도 하나에 대한 룩업 테이블 및 생성된 멜로디, 화음 및 리듬 정보를 사전에 학습된 MLP로 분석한 정보에 기초하여 악기를 선정하고, 선정된 악기에 기초하여 창작된 음악을 재생할 수 있다.
또한, 음악을 창작하는 S920 단계는, 영상의 색상, 명도 및 채도 중 적어도 하나를 추출하여 음악의 분위기 정보를 생성하고, 창작된 음악에 생성된 분위기 정보를 결합하는 단계를 더 포함할 수 있다.
또한, 분위기 정보를 결합하는 단계는, 영상의 색상, 명도 및 채도 중 적어도 하나의 색 속성 정보를 추출하고, 추출된 색 속성 정보를 FCM 기법을 이용하여 기설정된 복수의 감성 요소로 분류하고, 영상의 화소 값을 기준으로 색 속성 정보의 분포를 분석하여, 감성 요소의 강도 값을 조정하여 조정된 감성 요소에 기초하여 분위기 정보를 생성하는 단계를 포함할 수 있다.
또한, 음악을 창작하는 S920 단계는, 사전에 학습된 MLP의 학습 데이터에 대한 룩업 테이블을 이용하여 특징 정보 각각에 대해 가중치를 부여하고, 가중치가 부여된 특징 정보에 대응되는 멜로디, 화성 및 리듬을 생성할 수 있다.
이상과 같이 상술한 본 발명의 다양한 실시 예에 따르면, 영상을 디스플레이하면서 영상에 맞는 음악을 효과적으로 생성하여 사용자에게 제공해 줄 수 있다.
상술한 다양한 실시 예에 따른 영상 출력 장치의 제어 방법은 프로그램으로 구현되어 영상 출력 장치에 제공될 수 있다.
일 예로, 영상이 입력되면 색상, 윤곽선 및 주파수에 대한 특징 정보를 추출하고, 사전에 학습된 MLP를 이용하여 특징 정보 각각에 대응하는 멜로디, 화성 및 리듬을 생성하여 음악을 창작하는 구성을 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 영상 출력 장치에 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였다. 그러나 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능하다. 또한, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 영상처리 장치 110: 제어부
120: 출력부 130: 저장부
140: 영상입력부 150: 사용자 인터페이스부

Claims (12)

  1. 입력된 영상에서 색상, 윤곽선 및 주파수에 대한 특징 정보를 추출하고, 사전에 학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 특징 정보 각각에 대응하는 멜로디, 화성 및 리듬을 생성하여 음악을 창작하는 제어부;
    상기 창작된 음악을 상기 영상과 함께 출력하는 출력부; 및
    사용자에 의해 설정된 악기 정보 및 기존에 사용된 악기 정보 중 적어도 하나에 대한 룩업 테이블(Lookup table)를 저장하는 저장부;를 포함하고,
    상기 제어부는,
    상기 룩업 테이블 및 상기 생성된 멜로디, 화음 및 리듬 정보를 사전에 학습된 MLP(Multi-Layer Perceptron)로 분석한 정보에 기초하여 악기를 선정하고, 상기 선정된 악기에 기초하여 상기 창작된 음악을 재생하는 영상 출력 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 영상의 R/G/B, H/S/I 및 Y/Cb/Cr 색 공간 좌표 중 적어도 하나를 이용하여 상기 색상에 대한 특징 정보를 추출하고,
    상기 영상에 대한 에지를 검출하여 상기 윤곽선에 대한 특징 정보를 추출하고,
    상기 영상에 FFT(Fast Fourier Transform)를 적용하여 추출된 주파수 패턴을 이용하여 상기 주파수에 대한 특징 정보를 추출하는 것을 특징으로 하는 영상 출력 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 제어부는,
    상기 영상의 색상(Hue), 명도(Intensity) 및 채도(Chroma) 중 적어도 하나를 추출하여 음악의 분위기 정보를 생성하고, 상기 창작된 음악에 상기 생성된 분위기 정보를 결합하는 것을 특징으로 하는 영상 출력 장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 영상의 색상, 명도 및 채도 중 적어도 하나의 색 속성 정보를 추출하는 속성 정보 추출부;
    상기 추출된 색 속성 정보를 FCM(fuzzy-C-means clustering) 기법을 이용하여 기설정된 복수의 감성 요소로 분류하는 클러스터링부; 및
    상기 영상의 화소 값을 기준으로 상기 색 속성 정보의 분포를 분석하여, 상기 감성 요소의 강도 값을 조정하여 상기 조정된 감성 요소에 기초하여 상기 분위기 정보를 생성하는 정보 생성부;를 포함하는 것을 특징으로 하는 영상 출력 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 사전에 학습된 MLP(Multi-Layer Perceptron)의 학습 데이터에 대한 룩업 테이블(Look Up Table)을 이용하여 상기 특징 정보 각각에 대해 가중치를 부여하고, 상기 가중치가 부여된 특징 정보에 대응되는 멜로디, 화성 및 리듬을 생성하는 것을 특징으로 하는 영상 출력 장치.
  7. 영상 출력 장치의 제어 방법에 있어서,
    입력된 영상에서 색상, 윤곽선 및 주파수에 대한 특징 정보를 추출하는 단계;
    사전에 학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 특징 정보 각각에 대응하는 멜로디, 화성 및 리듬을 생성하여 음악을 창작하는 단계;
    기 저장돤 사용자에 의해 설정된 악기 정보 및 기존에 사용된 악기 정보 중 적어도 하나에 대한 룩업 테이블(Lookup table) 및 상기 생성된 멜로디, 화음 및 리듬 정보를 사전에 학습된 MLP(Multi-Layer Perceptron)로 분석한 정보에 기초하여 악기를 선정하는 단계; 및
    상기 선정된 악기에 기초하여 상기 창작된 음악을 재생하는 단계;를 포함하는 제어 방법.
  8. 제7항에 있어서,
    상기 특징 정보를 추출하는 단계는,
    상기 영상의 R/G/B, H/S/I 및 Y/Cb/Cr 색 공간 좌표 중 적어도 하나를 이용하여 상기 색상에 대한 특징 정보를 추출하고,
    상기 영상에 대한 에지를 검출하여 상기 윤곽선에 대한 특징 정보를 추출하고,
    상기 영상에 FFT(Fast Fourier Transform)를 적용하여 추출된 주파수 패턴을 이용하여 상기 주파수에 대한 특징 정보를 추출하는 것을 특징으로 하는 제어 방법.
  9. 삭제
  10. 제7항에 있어서,
    상기 영상의 색상(Hue), 명도(Intensity) 및 채도(Chroma) 중 적어도 하나를 추출하여 음악의 분위기 정보를 생성하고, 상기 창작된 음악에 상기 생성된 분위기 정보를 결합하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  11. 제10항에 있어서,
    상기 생성된 분위기 정보를 결합하는 단계는,
    상기 영상의 색상, 명도 및 채도 중 적어도 하나의 색 속성 정보를 추출하는 단계;
    상기 추출된 색 속성 정보를 FCM(fuzzy-C-means clustering) 기법을 이용하여 기설정된 복수의 감성 요소로 분류하는 단계; 및
    상기 영상의 화소 값을 기준으로 상기 색 속성 정보의 분포를 분석하여, 상기 감성 요소의 강도 값을 조정하여 상기 조정된 감성 요소에 기초하여 상기 분위기 정보를 생성하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  12. 제7항에 있어서,
    상기 음악을 창작하는 단계는,
    상기 사전에 학습된 MLP(Multi-Layer Perceptron)의 학습 데이터에 대한 룩업 테이블(Look Up Table)을 이용하여 상기 특징 정보 각각에 대해 가중치를 부여하고, 상기 가중치가 부여된 특징 정보에 대응되는 멜로디, 화성 및 리듬을 생성하는 것을 특징으로 하는 제어 방법.
KR1020140098487A 2014-07-31 2014-07-31 영상 출력 장치 및 그 제어 방법 KR101579229B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140098487A KR101579229B1 (ko) 2014-07-31 2014-07-31 영상 출력 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140098487A KR101579229B1 (ko) 2014-07-31 2014-07-31 영상 출력 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR101579229B1 true KR101579229B1 (ko) 2015-12-21

Family

ID=55083963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140098487A KR101579229B1 (ko) 2014-07-31 2014-07-31 영상 출력 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR101579229B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101915587B1 (ko) * 2017-06-13 2018-11-07 유용재 음악 작곡 장치
CN108961346A (zh) * 2018-08-08 2018-12-07 浙江工商大学 基于bp神经网络对颜色和谐度进行预测的方法
KR102148006B1 (ko) * 2019-04-30 2020-08-25 주식회사 카카오 동영상에 특수 이펙트를 제공하는 방법 및 장치
WO2022005442A1 (ru) * 2020-07-03 2022-01-06 Назар Юрьевич ПОНОЧЕВНЫЙ Система (варианты) для гармоничного объединения видеофайлов и аудиофайлов и соответствующий способ
KR20230109302A (ko) * 2022-01-13 2023-07-20 주식회사 킨트 음악 매칭 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321460A (ja) * 2004-05-06 2005-11-17 Dainippon Printing Co Ltd 映像データへの楽曲データ付加装置
KR20060085489A (ko) * 2005-01-24 2006-07-27 고영혁 색상인식 감각화 장치 및 그 방법
KR20070094207A (ko) * 2006-03-16 2007-09-20 주식회사 하모니칼라시스템 영상을 소리로 변환하는 방법 및 장치
KR20120101233A (ko) * 2011-02-28 2012-09-13 (주)다음소프트 감성 정보 생성 방법, 그를 이용한 감성 정보 기반의 콘텐츠 추천 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321460A (ja) * 2004-05-06 2005-11-17 Dainippon Printing Co Ltd 映像データへの楽曲データ付加装置
KR20060085489A (ko) * 2005-01-24 2006-07-27 고영혁 색상인식 감각화 장치 및 그 방법
KR20070094207A (ko) * 2006-03-16 2007-09-20 주식회사 하모니칼라시스템 영상을 소리로 변환하는 방법 및 장치
KR20120101233A (ko) * 2011-02-28 2012-09-13 (주)다음소프트 감성 정보 생성 방법, 그를 이용한 감성 정보 기반의 콘텐츠 추천 방법 및 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101915587B1 (ko) * 2017-06-13 2018-11-07 유용재 음악 작곡 장치
CN108961346A (zh) * 2018-08-08 2018-12-07 浙江工商大学 基于bp神经网络对颜色和谐度进行预测的方法
CN108961346B (zh) * 2018-08-08 2022-02-18 浙江工商大学 基于bp神经网络对颜色和谐度进行预测的方法
KR102148006B1 (ko) * 2019-04-30 2020-08-25 주식회사 카카오 동영상에 특수 이펙트를 제공하는 방법 및 장치
WO2022005442A1 (ru) * 2020-07-03 2022-01-06 Назар Юрьевич ПОНОЧЕВНЫЙ Система (варианты) для гармоничного объединения видеофайлов и аудиофайлов и соответствующий способ
KR20230109302A (ko) * 2022-01-13 2023-07-20 주식회사 킨트 음악 매칭 시스템 및 방법
KR102651201B1 (ko) * 2022-01-13 2024-03-26 주식회사 킨트 음악 매칭 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR101579229B1 (ko) 영상 출력 장치 및 그 제어 방법
JP2009531825A (ja) ビデオ及びオーディオに基づく組み合わせのアンビエント照明制御
US9582517B2 (en) Content based systems and methods for conducting spectrum color based image search
CN106537390A (zh) 标识教育视频的呈现样式
Knees et al. Searching for audio by sketching mental images of sound: A brave new idea for audio retrieval in creative music production
Fan et al. Measuring and evaluating the visual complexity of Chinese ink paintings
KR20210098997A (ko) 자동화된 실시간 하이 다이나믹 레인지 콘텐츠 검토 시스템
US9872093B2 (en) Audio output apparatus and control method thereof
Liu et al. Image-driven harmonious color palette generation for diverse information visualization
Solah et al. Mood-driven colorization of virtual indoor scenes
Feng Design and research of music teaching system based on virtual reality system in the context of education informatization
Santini Synesthesizer: Physical modelling and machine learning for a color-based synthesizer in virtual reality
KR102447484B1 (ko) 멀티미디어 정보를 미리 수집하여 맞춤형으로 제작된 디지털 교재를 제공하는 시스템
KR20240100967A (ko) 영상 상황 기반 음악 추천 방법, 장치 및 프로그램
Zhang et al. Semantic 3D indoor scene enhancement using guide words
Thomas Multimodality and media archaeology: Complementary optics for looking at digital stuff?
Ma et al. VideoMap: An interactive and scalable visualization for exploring video content
Linke et al. SOMson--Sonification of Multidimensional Data in Kohonen Maps
Nardelli A viewpoint on the computing-art dialogue: The classification of interactive digital artworks
US20240127457A1 (en) Layout-aware background generating system and method
Kane et al. Exhaustion aesthetics
Liu et al. Visual communication of moving images based on AI recognition and light sensing image edge detection algorithm
CN114676360B (zh) 图像处理方法、装置、电子设备及存储介质
KR20160014929A (ko) 디스플레이 장치 및 그 제어 방법
Vickery Notational semantics in music visualization and notation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191204

Year of fee payment: 5