KR20150024650A

KR20150024650A - 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법 및 장치

Info

Publication number: KR20150024650A
Application number: KR20130101838A
Authority: KR
Inventors: 이형민; 종인원; 장철호
Original assignee: 삼성전자주식회사
Priority date: 2013-08-27
Filing date: 2013-08-27
Publication date: 2015-03-09
Also published as: US9594473B2; US20150067511A1

Abstract

본 발명은 전자 장치에서 사운드와 연관된 이미지를 활용하여 사운드를 시각적으로 제공하기 위한 방법 및 장치에 관한 방법 및 장치에 관한 것이다.
본 발명의 일 실시예에 따른 방법은, 전자 장치에서 오디오 데이터를 재생하기 위한 방법으로, 상기 오디오 데이터의 재생이 요구될 시 상기 오디오 데이터와 매칭된 이미지로부터 상기 이미지에 포함된 색상 정보들을 획득하는 동작; 상기 획득된 색상 정보들 중 적어도 일부를 상기 이미지에 포함된 비율에 따라 미리 설정된 가청음 범위들에 매핑하는 동작; 및 상기 오디오 데이터 재생 시 상기 재생되는 오디오 데이터의 출력에 대응하여 각 범위별로 매핑된 색상 정보를 이용하여 미리 설정된 오브젝트 패턴으로 표시하는 동작;을 포함할 수 있다.

Description

전자 장치에서 사운드를 시각적으로 제공하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING VISUALIZATION OF SOUND IN A ELECTRONIC DEVICE}

본 발명은 전자 장치에서 사운드와 연관된 이미지를 활용하여 사운드를 시각적으로 제공하기 위한 방법 및 장치에 관한 방법 및 장치에 관한 것이다.

기술이 발전하면서 많은 형태의 전자 장치들에서 노래나 클래식 등의 사운드(sound)를 제공할 수 있게 되었다. 예를 들어, 핸드폰, 스마트 폰, 태블릿 컴퓨터, 노트북 컴퓨터, 개인용 컴퓨터, TV, 오디오 기기, 전자 사전, 녹음용 전자 펜 등 다양한 형태의 전자 장치들에서 사운드를 제공할 수 있다.

이처럼 사운드를 제공할 수 있는 형태의 전자 장치들은 각각의 기능에 따라 제공하는 사운드의 형태도 다양하다. 예를 들어 단순히 음악이나 소리 등의 사운드만을 제공하는 형태의 전자 장치가 있으며, 그 밖에 이미지나 동영상 등을 함께 제공할 수 있는 형태의 전자 장치들도 있다. 전자 장치에서 특정의 이미지와 매칭된 사운드를 제공하는 경우 특정한 사운드가 재생되는 동안 매칭된 이미지를 지속적으로 제공한다. 또한 동영상과 사운드가 매칭되어 있는 사운드를 재생하는 경우 전자 장치는 해당 동영상과 함께 사운드를 제공한다.

하지만, 이미지와 매칭된 사운드를 제공하는 경우에도 사용자가 매칭된 이미지가 아닌 이퀄라이징 형태의 그래픽을 원하는 경우도 있다. 이러한 경우 전자 장치는 사용자에게 사운드 이퀄라이징의 동적인 형상을 제공할 수 있다. 전자 장치에서 사용자에게 사운드에 대한 이퀄라이징 형태의 그래픽을 제공하는 경우 그래픽의 패턴 등은 미리 설정된 형태일 수 있다. 또한 전자 장치에서 사운드를 제공할 때, 사운드의 저음, 중음, 고음 등의 대역에 따라 미리 설정된 그래픽의 패턴인 원형, 다각형, 입체적 파형 등의 변화하는 그래픽을 제공할 수 있다.

하지만, 전자 장치에서 사운드를 출력할 때 사운드의 대역에 따라 미리 설정된 패턴의 변화하는 그래픽을 제공하는 경우 색상에 대해서는 아무런 고려가 없다. 예를 들어 전자 장치에 미리 설정된 색상의 패턴이 저장되어 있거나 또는 사용자가 특정한 색상을 선택하는 경우 전자 장치는 미리 설정된 색상 패턴 또는 사용자에 의해 선택된 색상의 패턴만을 그래픽으로 제공한다.

이는 사운드와 함께 매칭된 이미지를 활용하지 못하고 있는 것이다. 특정한 가수의 앨범을 예를 들어 살펴보자. 앨범에 포함된 이미지는 가수 또는 작곡가 또는 작사가가 음악을 표현하기 위한 시각적인 한 컨셉인 경우가 많다. 하지만, 전자 장치에서 사운드와 함께 제공되는 그래픽에서는 이러한 이미지를 활용하지 못하고 사운드의 스펙트럼 데이터 또는 웨이브 데이터만을 활용하는 수준에 머물렀다.

음악가의 앨범에 포함된 커버 이미지 또는 특정한 음악마다 매칭된 특정 이미지는 그 음악의 분위기와 느낌을 나타내고, 아이덴티티를 가지도록 제작된 이미지인 경우가 대부분이다.

따라서 본 발명에서는 음악의 앨범 커버 이미지 또는 특정한 음악에 매칭된 이미지의 색상 데이터와 음악의 스펙트럼(Spectrum) 데이터 또는 웨이브(Wave) 데이터를 결합하여 보다 그 음악의 분위기와 느낌을 잘 나타낼 수 있는 시각적 이펙트 방법 및 장치를 제공한다.

또한 본 발명에서는 전자 장치에서 사운드와 매칭된 이미지를 활용하여 사운드에 적합한 형태의 이미지 또는 그래픽 또는 영상을 제공하는 방법 및 장치를 제공한다.

또한 본 발명에서는 사운드와 친밀도가 높은 형태의 이미지 또는 그래픽 또는 영상을 사용자에게 보여줄 수 있는 방법 및 장치를 제공한다.

본 발명의 일 실시예에 따른 방법은, 전자 장치에서 오디오 데이터를 재생하기 위한 방법으로, 상기 오디오 데이터의 재생이 요구될 시 상기 오디오 데이터와 매칭된 이미지로부터 상기 이미지에 포함된 색상 정보들을 획득하는 동작; 상기 획득된 색상 정보들 중 적어도 일부를 상기 이미지에 포함된 비율에 따라 미리 설정된 가청음 범위들에 매핑하는 동작; 및 상기 오디오 데이터 재생 시 상기 재생되는 오디오 데이터의 출력에 대응하여 각 범위별로 매핑된 색상 정보를 이용하여 미리 설정된 오브젝트 패턴으로 표시하는 동작;을 포함할 수 있다.

본 발명의 일 실시예에 따른 장치는, 상기 오디오 데이터, 상기 오디오 데이터와 매칭된 이미지, 미리 설정된 오브젝트 패턴들, 색상환 정보 및 가청음 대역을 소정의 범위로 구분하기 위한 정보를 저장하는 메모리; 상기 오디오 데이터를 전기적 오디오 신호로 변환하기 위한 오디오 코덱; 상기 전기적 오디오 신호를 가청음 대역으로 출력하기 위한 스피커; 상기 출력되는 오디오 신호의 범위에 따라 상기 오브젝트 패턴 중 하나를 표시하는 디스플레이 모듈; 및 상기 오디오 데이터의 재생이 요구될 시 상기 메모리에 저장된 상기 오디오 데이터와 매칭된 이미지로부터 상기 이미지에 포함된 색상 정보들을 획득하고, 상기 획득된 색상 정보들을 상기 이미지에 포함된 비율에 따라 미리 설정된 가청음 범위들에 매핑하며, 상기 오디오 데이터 재생 시 상기 재생되는 오디오 데이터의 출력에 대응하여 각 범위별로 매핑된 색상 정보를 미리 설정된 오브젝트 패턴으로 상기 디스플레이 모듈에 표시하도록 제어하는 제어부;를 포함할 수 있다.

본 발명에 따른 전자 장치에서 특정 이미지와 매핑된 사운드를 출력하는 경우 해당하는 이미지를 활용하여 사운드의 분위기를 더욱 잘 표현할 수 있다. 예를 들어 음악가의 앨범에 포함된 커버 이미지 또는 특정한 음악마다 매칭된 특정 이미지는 그 음악의 분위기와 느낌을 나타내고, 아이덴티티를 가지도록 제작된 이미지인 경우가 대부분이다. 따라서 본 발명에 따른 전자 장치를 통해 사운드를 청취할 시 음악의 앨범 커버 이미지 또는 특정한 음악에 매칭된 이미지의 색상 데이터와 음악의 스펙트럼(Spectrum) 데이터 또는 웨이브(Wave) 데이터를 결합하여 보다 그 음악의 분위기와 느낌을 잘 이해할 수 있다. 또한 본 발명에 따른 전자 장치에서 사운드와 매칭된 이미지를 활용하여 사운드에 적합한 형태의 이미지 또는 그래픽 또는 영상을 사용자에게 제공함으로써 사용자들은 자신들이 듣고 있는 음악의 분위기에 맞는 영상을 보게 되어 제품의 감성 품질을 향상시킬 수 있다.

도 1은 다양한 실시예에 따른 전자장치에 대한 블록도,
도 2는 다양한 실시예들에 따른 하드웨어 200의 블록도,
도 3은 한 실시예에 따른 프로그래밍 모듈 300의 블록도,
도 4는 본 발명의 일 실시예에 따라 오디오 재생 모드에서 시각적으로 사운드를 제공하기 위한 제어 흐름도,
도 5는 본 발명의 일 실시예에 따라 오디오 파일과 매칭된 이미지 파일을 미리 설정된 크기로 축소하는 경우의 일 예시도,
도 6은 특정 이미지에 포함된 색상 정보들이 이미지에 사용된 비율에 따라 내림차순으로 정렬한 일 예시도,
도 7은 본 발명에 따라 이미지에서 추출된 색상 정보를 매핑하기 위해 가청음 대역을 5개의 범위(range)로 구분한 일 예시도,
도 8은 본 발명에 따라 가청음 대역을 다수의 범위로 구분하고, 오디오 데이터와 관련된 이미지로부터 획득한 색상 정보를 이용해 시각화하여 표시하는 경우의 예시도.

이하, 첨부된 도면을 참조하여 본 개시(present disclosure)를 설명한다. 본 개시는 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 따라서, 본 개시는 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경 또는균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다.

본 개시 가운데 사용될 수 있는"포함한다", "포함할 수 있다" 등의 표현은 개시된 해당 기능, 동작, 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작, 구성요소 등을 제한하지 않는다. 또한, 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한 본 개시에서 "및/또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, A 및/또는 B는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.

또한 본 개시 가운데 "제1", "제2", "첫째", "둘째" 등의 표현들이 본 개시의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1사용자 기기와 제2사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소도 제1구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다. 본 개시에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 개시에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 카메라(camera), 웨어러블 장치(wearable device), 전자 시계(electronic clock), 손목 시계(wrist watch), 가전 제품(home appliance)(예: 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기 등), 인공 지능 로봇, TV, DVD(digital video disk) 플레이어, 오디오, 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSync^TM, 애플TV^TM, 또는 구글 TV^TM), 전자 사전, 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(electronic equipment for ship, 예를 들면, 선박용 항법 장치, 자이로콤파스 등), 항공 전자기기(avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(camcorder), 게임 콘솔(game consoles), HMD(head-mounted display), 평판표시장치(flat panel display device), 전자 액자, 전자 앨범, 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device) 또는 프로젝터(projector) 등의 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 본 개시에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.

도 1은 다양한 실시예에 따른 전자장치에 대한 블록도를 도시한다.

도 1을 참조하면, 상기 전자장치 100는 버스 110, 프로세서 120, 메모리 130, 사용자 입력 모듈 140, 디스플레이 모듈 150, 또는 통신 모듈 160을 포함할 수 있다.

상기 버스 110은, 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.

상기 프로세서 120은, 예를 들면, 상기 버스110를 통해 전술한 다른 구성요소들(예: 상기 메모리130, 상기 사용자 입력 모듈140, 상기 디스플레이 모듈150, 상기 통신 모듈160 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.

상기 메모리 130은, 상기 프로세서 120 또는 다른 구성요소들(예: 상기 사용자 입력 모듈 140, 상기 디스플레이 모듈 150, 상기 통신 모듈 160 등)로부터 수신되거나 상기 프로세서 120 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리 130은, 예를 들면, 커널 131, 미들웨어 132, 어플리케이션 프로그래밍 인터페이스(API: application programming interface)133 또는 어플리케이션 134 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.

상기 커널 131은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에 구현된 동작 또는 기능을 실행하는데 사용되는 시스템 리소스들(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)을 제어 또는 관리할 수 있다.또한, 상기 커널 131은 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에서 상기 전자 장치 100의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.

상기 미들웨어 132는 상기 API 133 또는 상기 어플리케이션 134가 상기 커널 131과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어 132는 상기 (다수의) 어플리케이션들 134로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 (다수의) 어플리케이션들 134들 중 적어도 하나의 어플리케이션에 상기 전자 장치 100의 시스템 리소스(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 로드 밸런싱을 수행할 수 있다.

상기 API 133은 상기 어플리케이션 134가 상기 커널 131 또는 상기 미들웨어 132에서 제공하는 기능을 제어할 수 있는 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수를 포함할 수 있다.

상기 사용자 입력 모듈 140은, 예를 들면, 사용자로부터 명령 또는 데이터를 입력받아 상기 버스 110을 통해 상기 프로세서 120 또는 상기 메모리 130에 전달할 수 있다. 상기 디스플레이 모듈 150은 사용자에게 화상, 영상 또는 데이터 등을 표시할 수 있다.

상기 통신 모듈 160은 다른 전자 장치 102와 상기 전자 장치 100간의 통신을 연결할 수 있다. 상기 통신 모듈 160은 소정의 근거리 통신 프로토콜(예: Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication) 또는 소정의 네트워크 통신(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등) 162를 지원할 수 있다. 상기 전자 장치 102, 104 각각은 상기 전자 장치 100과 동일한(예: 같은 타입의) 장치이거나 또는 다른(예: 다른 타입의) 장치일 수 있다.

도 2는 다양한 실시예들에 따른 하드웨어 200의 블록도를 도시한다.

상기 하드웨어 200은, 예를 들면, 도 1에 도시된 전자 장치 100일 수 있다.도 2를 참조하면, 상기 하드웨어 200은 하나 이상의 프로세서 210, SIM(subscriber identification module) 카드 214, 메모리 220, 통신 모듈 230, 센서 모듈 240, 사용자 입력 모듈 250, 디스플레이 모듈 260, 인터페이스 270, 오디오 코덱 280, 카메라 모듈 291, 전력관리 모듈 295, 배터리 296, 인디케이터 297 또는 모터 298를 포함할 수 있다.

상기 프로세서 210(예: 상기 프로세서 120)은 하나 이상의 어플리케이션 프로세서(AP: application processor) 211 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor) 213을 포함할 수 있다. 상기 프로세서 210은, 예를 들면, 도 1에 도시된 프로세서 120일 수 있다. 도 2에서는 상기 AP 211 및 상기 CP 213이 프로세서 210 내에 포함된 것으로 도시되었으나, 상기 AP 211와 상기 CP 213은 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 한 실시예에서는 상기 AP 211 및 상기 CP 213은 하나의 IC 패키지 내에 포함될 수 있다.

상기 AP 211은 운영체제 또는 응용 프로그램을 구동하여 상기 AP 211에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP 211은, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시예에 따르면, 상기 프로세서 210은 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.

상기 CP 213은 상기 하드웨어 200을 포함하는 전자 장치(예: 상기 전자 장치 100)와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. 상기 CP 213은, 예를 들면, SoC로 구현될 수 있다. 한 실시예에 따르면, 상기 CP 213은 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. 상기 CP 213은, 예를 들면, 가입자 식별 모듈(예: SIM 카드 214)을 이용하여 통신 네트워크 내에서 단말의 구별 및 인증을 수행할 수 있다. 또한, 상기 CP 213은 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.

또한, 상기 CP 213은 상기 통신 모듈 230의 데이터 송수신을 제어할 수 있다. 도 2에서는, 상기 CP 213, 상기 전력관리 모듈 295 또는 상기 메모리 220 등의 구성요소들이 상기 AP 211과 별개의 구성요소로 도시되어 있으나, 한 실시예에 따르면, 상기 AP 211가 전술한 구성요소들의 적어도 일부(예: 상기 CP 213)를 포함하도록 구현될 수 있다.

한 실시예에 따르면, 상기 AP 211 또는 상기 CP 213은 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP 211 또는 상기 CP 213은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.

상기 SIM 카드 214는 가입자 식별 모듈을 구현한 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드 214는 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.

상기 메모리 220은 내장메모리 222 또는 외장 메모리 224를 포함할 수 있다.상기 메모리 220은, 예를 들면, 도 1에 도시된 메모리 130일 수 있다. 상기 내장 메모리 222는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 상기 내장 메모리 222는 Solid State Drive(SSD)의 형태를 취할 수도 있다. 상기 외장 메모리 224는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 MemoryStick 등을 더 포함할 수 있다.

상기 통신 모듈 230은 무선 통신 모듈 231 또는 RF 모듈 234를 포함할 수 있다. 상기 통신 모듈 230은, 예를 들면, 도 1에 도시된 통신 모듈 160일 수 있다. 상기 무선 통신 모듈 231은, 예를 들면, WiFi 233, BT(bluetooth) 235, GPS 237 또는 NFC(near field communication) 239를 포함할 수 있다. 예를 들면, 상기 무선 통신 모듈 231은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 추가적으로 또는 대체적으로, 상기 무선 통신 모듈 231은 상기 하드웨어 200을 네트워크(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.

상기 RF 모듈 234는 데이터의 송수신, 예를 들면, RF 신호 또는 호출된 전자신호의 송수신을 담당할 수 있다. 상기 RF 모듈 234는, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈234는 무선통신에서 자유공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.

상기 센서 모듈 240은, 예를 들면, 제스처 센서 240A, 자이로 센서 240B, 기압 센서 240C, 마그네틱 센서 240D, 가속도 센서 240E, 그립 센서 240F, 근접 센서 240G, RGB(red, green, blue) 센서 240H, 생체 센서 240I, 온/습도 센서 240J, 조도 센서 240K 또는 UV(ultra violet) 센서 240M 중의 적어도 하나를 포함할 수 있다. 상기 센서 모듈 240은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 추가적으로/대체적으로, 상기 센서 모듈 240은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시) 또는 지문 센서 등을 포함할 수 있다. 상기 센서 모듈 240은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어회로를 더 포함할 수 있다.

상기 사용자 입력 모듈 250은 터치 패널(touch panel) 252, (디지털) 펜 센서(pen sensor) 254, 키(key) 256 또는 초음파 입력 장치 258을 포함할 수 있다. 상기 사용자 입력 모듈 250은, 예를 들면, 도 1에 도시된 사용자 입력 모듈 140일수 있다. 상기 터치 패널 252는, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널 252는 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우, 직접 터치뿐만 아니라 근접 인식도 가능하다. 상기 터치 패널 252는 택타일레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널 252는 사용자에게 촉각 반응을 제공할 수 있다.

상기 (디지털) 펜 센서 254는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 상기 키 256로서, 예를 들면, 키패드 또는 터치 키가 이용될 수 있다. 상기 초음파 입력 장치 258은 초음파 신호를 발생하는 펜을 통해, 단말에서 마이크(예: 마이크 288)로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시예에 따르면, 상기 하드웨어 200은 상기 통신 모듈 230을 이용하여 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.

상기 디스플레이 모듈 260은 패널 262 또는 홀로그램 264를 포함할 수 있다.상기 디스플레이 모듈 260은, 예를 들면, 도 1에 도시된 디스플레이 모듈 150일 수 있다. 상기 패널 262는, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널262는, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널 262는 상기 터치 패널 252와 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 264는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 한 실시예에 따르면, 상기 디스플레이 모듈 260은 상기 패널 262 또는 상기 홀로그램 264를 제어하기 위한 제어회로를 더 포함할 수 있다.

상기 인터페이스 270은, 예를 들면, HDMI(high-definition multimedia interface) 272, USB(universal serial bus) 274, 프로젝터 276 또는 D-sub(D-subminiature) 278을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스 270은, 예를 들면, SD(secure Digital)/MMC(multi-media card)(미도시) 또는 IrDA(infrared data association, 미도시)를 포함할 수 있다.

상기 오디오 코덱 280은 음성과 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 코덱 280은, 예를 들면, 스피커 282, 리시버 284, 이어폰 286 또는 마이크 288 등을 통해 입력 또는 출력되는 음성 정보를 변환시킬 수 있다.

상기 카메라 모듈 291은 화상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 렌즈 또는 후면 렌즈), ISP(image signal processor, 미도시) 또는 플래쉬 LED(flash LED, 미도시)를 포함할 수 있다.

상기 전력관리 모듈 295는 상기 하드웨어 200의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력관리 모듈 295는, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 게이지(battery fuel gauge)를 포함할 수 있다.

상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.

상기 배터리 게이지는, 예를 들면, 상기 배터리 296의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리 296은 전기를 생성하여 전원을 공급할 수 있고, 예를 들면, 충전식 전지(rechargeable battery)일 수 있다.

상기 인디케이터 297은 상기 하드웨어 200 혹은 그 일부(예: 상기 AP 211)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터 298은 전기적 신호를 기계적 진동으로 변환할 수 있다. 상기 MCU 299는, 상기 센서 모듈 240을 제어할 수 있다.

도시되지는 않았으나, 상기 하드웨어 200은 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.본 개시에 따른 하드웨어의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자장치의 종류에 따라서 달라질 수 있다. 본 개시에 따른 하드웨어는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 개시에 따른 하드웨어의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.

본 개시에 사용된 용어"모듈"은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 개시에 따른 "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.

도 3은 한 실시예에 따른 프로그래밍 모듈 300의 블록도를 도시한다.

상기 프로그래밍 모듈 300은 도 1에 도시된 전자 장치100(예: 상기 메모리 130)에 포함(예: 저장)될 수 있다. 상기 프로그래밍 모듈 300의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다. 상기 프로그래밍 모듈 300은 하드웨어(예: 상기 하드웨어 200)에 구현되어 전자 장치(예: 상기 전자 장치 100)에 관련된 자원을 제어하는 운영체제(OS: operation system) 또는 운영체제 상에서 구동되는 다양한 어플리케이션(예: 상기 어플리케이션 370)을 포함할 수 있다. 예를 들면, 상기 운영체제는 안드로이드(Android), iOS, 윈도우즈(Windows), 심비안(Symbian), 타이젠(Tizen) 또는 바다(Bada) 등이 될 수 있다. 도 3을 참조하면, 상기 프로그래밍 모듈 300은 커널 310, 미들웨어 330, API(application programming interface) 360 또는 어플리케이션 370을 포함할 수 있다.

상기 커널 310(예: 상기 커널 131)은 시스템 리소스 매니저 311 또는 디바이스 드라이버 312를 포함할 수 있다. 상기 시스템 리소스 매니저 311은, 예를 들면, 프로세스관리부 313, 메모리관리부 315 또는 파일시스템관리부 317 등을 포함할 수 있다. 상기 시스템 리소스 매니저 311은 시스템 리소스의 제어, 할당 또는 회수 등을 수행할 수 있다. 상기 디바이스 드라이버 312는, 예를 들면, 디스플레이 드라이버 314, 카메라 드라이버 316, 블루투스 드라이버 318, 공유 메모리 드라이버 320, USB 드라이버 322, 키패드 드라이버 324, WiFi 드라이버 326 또는 오디오 드라이버 328를 포함할 수 있다. 또한, 한 실시예에 따르면, 상기 디바이스 드라이버 312는 IPC (inter-process communication, 미도시) 드라이버를 포함할 수 있다.

상기 미들웨어 330은 상기 어플리케이션 370이 공통적으로 필요로 하는 기능을 제공하기 위해 미리 구현해 놓은 복수의 모듈들을 포함할 수 있다. 또한, 상기 미들웨어 330은 상기 어플리케이션 370이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 상기 API 360를 통해 기능을 제공할 수 있다. 예를 들면, 도 3에 도시된 바와 같이, 상기 미들웨어 330(예: 상기 미들웨어 132)은 런타임 라이브러리 335, 어플리케이션 매니저(application manager) 341, 윈도우 매니저(window manager) 342, 멀티미디어 매니저(multimedia manager) 343, 리소스 매니저(resource manager) 344, 파워 매니저(power manager) 345, 데이터베이스 매니저(database manager) 346, 패키지 매니저 347, 연결 매니저(connectivity manager) 348, 통지 매니저(notification manager) 349, 위치 매니저(location manager) 350, 그래픽 매니저(graphic manager) 351 또는 보안 매니저(security manager) 352 중 적어도 하나를 포함할 수 있다.

상기 런타임 라이브러리 335는, 예를 들면, 상기 어플리케이션 370이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 한 실시예에 따르면, 상기 런타임 라이브러리 335는 입출력, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다.

상기 어플리케이션 매니저 341은, 예를 들면, 상기 어플리케이션 370중 적어도 하나의 어플리케이션의 생명주기(life cycle)를 관리할 수 있다. 상기 윈도우 매니저 342는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 상기 멀티미디어 매니저 343은 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 상기 리소스 매니저 344는 상기 어플리케이션 370 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.

상기 파워 매니저 345는 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 동작에 필요한 전력 정보 등을 제공할 수 있다. 상기 데이터베이스 매니저 346은 상기 어플리케이션 370 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있도록 관리할 수 있다. 상기 패키지 매니저 347은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.

상기 연결 매니저 348은, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 상기 통지 매니저 349는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 상기 위치 매니저 350은 전자 장치의 위치 정보를 관리할 수 있다. 상기 그래픽 매니저 351은 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 상기 보안 매니저 352는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시예에 따르면, 전자 장치(예: 상기 전자 장치 100)가 전화 기능을 구비한 경우에는, 상기 미들웨어 330은 상기 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager, 미도시)를 더 포함할 수 있다.

상기 미들웨어 330은 전술한 내부 구성요소 모듈들의 다양한 기능 조합을 통해 새로운 미들웨어 모듈을 생성하여 사용할 수 있다. 상기 미들웨어 330은 차별화된 기능을 제공하기 위해 운영체제의 종류별로 특화된 모듈을 제공할 수 있다. 또한, 상기 미들웨어 330은 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 따라서, 본 개시의 실시예에 기재된 구성요소를 일부 생략하거나 다른 구성요소를 더 구비하거나 또는 유사한 기능을 수행하는 다른 명칭을 갖는 구성요소로 대체할 수 있다.

상기 API 360(예: 상기 API 133)은 API 프로그래밍 함수들의 집합으로, 운영체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 예를 들면, 플랫폼별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 예를 들면, 두 개 이상의 API 셋을 제공할 수 있다.

상기 어플리케이션 370(예: 상기 어플리케이션 134)은, 예를 들면, 프리로드 어플리케이션(preloaded Application) 또는 제 삼자 어플리케이션(third party application)을 포함할 수 있다.

상기 프로그래밍 모듈 300의 적어도 일부는 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서(예:상기 프로세서 210)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 260이 될 수 있다. 상기 프로그래밍 모듈 300의 적어도 일부는, 예를 들면, 상기 프로세서 210에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈 300의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 및/또는 프로세스 등을 포함할 수 있다.

본 개시에 따른 프로그래밍 모듈(예: 상기 프로그래밍 모듈 300)의 구성요소들의 명칭은 운영체제의 종류에 따라서 달라질 수 있다. 본 개시에 따른 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 개시에 따른 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 처리될 수 있으며, 또한 일부 동작이 생략되거나, 다른 동작이 추가될 수 있다.

도 4는 본 발명의 일 실시예에 따라 오디오 재생 모드에서 시각적으로 사운드를 제공하기 위한 제어 흐름도이다.

도 4의 흐름도를 설명함에 있어 도 2의 블록 구성도를 참조하여 살펴보기로 한다. 하지만, 도 4의 흐름도를 도 2의 구성이 아닌 도 1 및 도 3을 이용하는 경우에도 동일하게 적용될 수 있음은 이 분야의 통상의 지식을 가진 자에게 자명한 일이다. 가령 도 1의 경우 도 2의 어플리케이션 프로세서 211은 프로세서 120이 될 수 있다. 또한 도 2의 어플리케이션 프로세서 211에서 수행되는 동작은 도 3의 미디어 플레이어 382에서 수행되는 동작일 수 있다. 또한 이하의 설명에서 도 2의 구성 중 어플리케이션 프로세서 211은 커뮤니케이션 프로세서 213을 포함할 수 있다. 따라서 이하의 설명에서 어플리케이션 프로세서 211을 '제어부'라 칭하여 설명하기로 한다. 즉, 제어부는 어플리케이션 프로세서 211의 동작만을 수행할 수도 있고, 커뮤니케이션 프로세서 213의 동작을 포함할 수도 있다.

또한 이하의 설명에서 오디오 데이터는 사운드 데이터, 사운드, 오디오 신호, 음향, 가청음 대역의 신호 등 다양한 형태로 이해될 수 있으며, 전자 장치를 통해 사용자에게 가청음 대역으로 출력되는 형태의 모든 데이터를 의미한다.

제어부는 400동작에서 오디오 재생이 요청된 해당 오디오의 데이터와 매칭된 이미지를 메모리 220로부터 또는 전자 장치가 접속 가능한 서버로부터 획득할 수 있다. 예컨대, MP3 오디오 데이터를 가정하면, MP3 오디오 데이터에는 사용자에게 가청음 대역으로 출력하기 위한 데이터와 앨범 커버 이미지 데이터가 함께 저장되어 있을 수 있다. 다른 예로, 오디오 데이터와는 별도로 특정한 이미지 파일이 존재하고, 별도의 이미지 파일은 오디오 데이터와 매핑된 형태로 수도 있다. 이처럼 별도의 이미지 파일이 존재하는 경우 이미지 파일은 전자 장치의 메모리 220에 저장되어 있을 수도 있고, 전자 장치가 접속 가능한 임의의 서버에 저장되어 있을 수도 있다. 이처럼 임의의 서버에 저장되어 있는 경우 해당 서버로부터 이미지 데이터를 획득할 수 있다. 전자장치가 서버로부터 이미지 파일을 획득하는 동작은 이동통신 네트워크 또는 와이파이 또는 유선으로 연결된 소정의 네트워크를 통해 획득할 수 있으며, 일반적인 데이터의 다운로드와 동일 또는 유사한 형태로 획득할 수 있다. 400동작은 이처럼 오디오 데이터와 이미지가 함께 또는 매핑된 상태로 존재하는 경우 특정 오디오 데이터의 재생이 요구될 시 오디오 데이터와 이미지를 함께 획득하는 동작이다.

이후 제어부는 402동작에서 획득된 이미지를 미리 설정된 크기의 이미지로 축소한다. 가령 획득된 이미지가 1600X1600 크기의 이미지라 가정하면, 200X200 크기의 이미지로 축소할 수 있다. 여기서 미리 설정된 크기로 이미지를 축소하는 것은 획득된 이미지에 포함된 색상 정보를 단순화하거나 또는 색상 정보의 추출을 쉽게 하기 위함이다. 예를 들어 카메라로 붉은색의 꽃을 촬영한 경우에도 꽃의 색이 모두 동일한 붉은 색이 아닐 수 있다. 이는 꽃을 카메라로 촬영할 때의 빛의 각도 또는/및 광량 등에 따라 붉은색의 꽃이 아니라 붉은색과 붉은색 비슷한 다른 색이 가미된 형태로 촬영될 수 있기 때문이다. 이처럼 다른 색이 가미된 형태의 색이 포함되면, 이미지로부터 획득해야 하는 색의 수가 너무 많아지고, 이미지에 포함된 색상마다의 비율을 결정하는데 어려움이 있을 수 있다. 그러므로 여기서 획득된 이미지를 축소하기 위해 미리 설정된 크기는 오디오 데이터와 관련된 이미지로부터 추출할 색상들의 가짓수를 결정하기 위해 적절한 크기로 설정된 값이 될 수 있다.

도 5는 본 발명의 일 실시예에 따라 오디오 파일과 매칭된 이미지 파일을 미리 설정된 크기로 축소하는 경우의 일 예시도이다.

도 5에서 참조부호 500은 원본 이미지이며, 참조부호 510은 미리 설정된 크기의 축소된 이미지를 예시하였다. 원본 이미지 500은 오디오 파일과 함께 저장된 또는 오디오 파일과 매칭된 하나의 이미지일 수 있다. 이처럼 원본 이미지 500이 미리 설정된 크기 이상인 경우 미리 설정된 크기가 되도록 축소시켜 축소 이미지 510을 생성한다. 이처럼 이미지를 축소하는 방법들 중 하나를 예시하면, 축소 배율에 따라 원본 이미지 500을 여러 개의 작은 영역들로 구분하고, 구분된 영역들에서 배율만큼의 화소들을 추출하는 방법을 사용할 수 있다. 가령, 원본 이미지를 50%로 축소해야 하는 경우 원본 이미지 500을 여러 구역들로 구분하고, 각각의 구역에서 각 지점마다 동일한 비율이 되도록 축소 비율만큼의 화소를 추출할 수도 있다. 유사한 방법의 다른 예로, 원본 이미지 500로부터 모든 지점에서 동일한 비율이 되도록 미리 설정된 배율만큼 화소들을 추출하여 축소 이미지 510을 획득할 수도 있다. 이미지를 축소하는 방법은 그 밖의 다른 이미지 축소 방법을 사용하여도 무방하다.

또한 402동작은 경우에 따라서는 다른 형태로 변경할 수도 있고, 402동작을 포함하지 않도록 구성할 수도 있다. 그러면 먼저 402동작의 변형 예를 살펴보자. 원본 이미지 500을 축소시키지 않고 원본 이미지 500에 포함된 모든 색상들의 정보를 추출한다. 이후 원본 이미지 500에서 획득된 색상들의 정보마다 유사도를 검출하고, 유사도가 미리 설정된 값 이상인 경우 대표되는 하나의 색 정보로 정리할 수도 있다. 이러한 경우 402동작은 모든 색상의 정보를 추출하고, 추출된 색상 정보들로부터 유사도에 따라 단순화하는 동작이 될 수 있다.

또 다른 예로 402동작을 포함하지 않도록 하는 경우를 살펴보자. 402동작이 포함되지 않는 경우는 획득된 이미지가 미리 설정된 크기 이하이거나 또는/및 사용된 색상 정보가 미리 설정된 개수 이하이거나 또는/및 색상이 이미 단순화되어 있는 경우일 수 있다. 이러한 경우 또는 이와 유사한 형태의 경우에는 402동작을 포함하지 않을 수도 있다.

이상에서는 402동작의 변형 예와 402동작이 포함되지 않는 경우를 가정하여 설명하였다. 하지만 이하에서는 설명의 편의를 위해 402동작이 변형되지 않고 그대로 포함된 경우로 설명하기로 한다.

이후 제어부는 404동작에서 축소된 이미지에 포함된 색상 정보들을 각각 해당 이미지에 포함된 비율에 따라 정렬한다. 앞서 402동작에서 이미지를 축소하여 축소된 이미지 510에 포함된 색상의 가짓수를 줄여 놓은 상태이므로, 정렬해야 하는 색상의 수 즉, 색상 정보들의 수는 원본 이미지 500을 그대로 사용하는 경우보다 적을 수 있다.

404동작은 축소된 이미지 510에 포함된 색상들의 정보가 축소된 이미지 510에 어느 정도의 범위를 차지하는가를 판별하여 정렬할 수 있다. 가령, 특정한 색상이 축소된 이미지 510에 포함된 비율이 35%이고, 다른 색상은 17%, 또 다른 색상은 11%, 또 다른 색상은 6% 등의 순이라면, 이러한 비율에 따라 색상 정보들을 정렬하는 것이다. 이를 도 6을 참조하여 살펴보기로 하자.

도 6은 특정 이미지에 포함된 색상들이 이미지에 사용된 비율에 따라 내림차순으로 색상 정보들을 정렬한 일 예시도이다.

축소된 이미지 510에서 추출된 색상 정보들이 N개라 가정하면, 시각적으로는 참조부호 600과 같이 사용된 이미지의 비율에 따라 나열될 것이다. 하지만, 각각의 색상들에 대한 정보는 참조부호 610과 같이 색상에 대한 정보 예컨대, #1111000, #D7267B, #28B3BO, #27B3BO, ??, #76722D와 같이 특정한 코드 값을 가질 수 있다. 또한 축소된 이미지 510에 포함된 비율들이 각각의 색상 정보들마다 28%, 18%, 16%, 10%, ??, 1%와 같이 비율 값을 가질 수 있다. 이처럼 404동작은 색상 정보와 해당 색상 정보가 해당 이미지에서 차지하는 비율에 따라 오름차순 또는 내림차순으로 정렬할 수 있다. 한편, 축소된 이미지에서 포함된 색상 정보의 비율은 원본 이미지 500에 포함된 색상의 비율과 동일 또는 유사한 값이 될 수 있다.

도 6과 같이 색상들을 정렬한 후 제어부는 406동작에서 가청음 대역을 다수의 범위로 구분하고, 구분된 범위들 전체 또는 일부에 색상 정보들을 매핑한다. 가청음 대역을 다수의 범위로 구분하고, 구분된 범위들 전체 또는 일부에 색상 정보들을 매핑하는 동작은 여러 가지 형태가 가능하다. 먼저 오디오 대역은 가청음 대역으로 이미 알려진 바와 같이 20hz부터 20000hz까지의 대역이 가청음 대역이다. 하지만, 20hz부터 20000hz까지의 전체 가청음 대역을 사용하지 않고 편의에 따라 가청음 대역의 일부만을 또는 가청음 대역보다 넓은 대역을 규정하여 사용할 수 있다. 가청음 대역의 일부만을 사용하는 경우를 예를 들어보면, 20hz부터 16000hz까지의 대역을 사용할 수도 있고, 400hz부터 16000hz까지의 대역을 사용할 수도 있다. 가청음 대역보다 넓은 대역을 사용하는 경우를 예를 들어보면, 0hz부터 22000hz까지의 대역을 사용할 수도 있다. 이처럼 사용자가 직접 청취하지 못하는 음 대역에 대해서도 필요한 경우 색상을 매핑할 수 있도록 설정할 수도 있다. 또한 여기서 예시한 것은 단지 하나의 예시일 뿐이다. 또한 사용할 대역을 각 오디오 파일의 특성들을 검사하여 범위를 정할 수도 있다.

다음으로 오디오 대역을 구분하는 방식도 다양한 형태가 가능하다. 이를 첨부된 도 7을 참조하여 살펴보기로 한다.

도 7은 본 발명에 따라 이미지에서 추출된 색상 정보를 매핑하기 위해 가청음 대역을 5개의 범위(range)로 구분한 일 예시도이다.

도 7에 도시한 예시에서는 베이스(music-base) 대역 701을 0~40hz의 범위로 설정하였고, 저 대역(music-low) 702를 41~200hz의 범위로 설정했으며, 중간 대역(music-mid) 703을 201~1000khz의 범위로 설정하였고, 고 대역(music-high) 704를 1001~16000hz의 범위로 설정한 경우이다. 도 7에서 예시한 방법 이외에 다른 방법들도 가능하다. 예를 들어 저 대역을 보다 세분화하거나 또는 중간 대역을 보다 세분화하거나 또는 고 대역을 보다 세분화하거나 또는 이들 중 몇 가지 대역을 보다 세분화할 수도 있다. 반대로 도 7에서 예시한 것보다 적은 수의 범위들이 되도록 주파수 대역을 구분할 수도 있다. 이처럼 범위들의 수를 결정하는 것은 기본적으로 전자 장치를 제작할 시 제어부의 부하(load)를 고려하여 설정할 수 있다. 만일 제어부에서 보다 많은 범위들을 갖더라도 처리에 큰 지장이 없는 경우라면 사용자가 오디오 파일 재생 시 시각화를 위한 설정을 통해 보다 다양한 범위들이 되도록 설정할 수 있게 구성할 수도 있다.

이와 다른 방법으로 오디오 데이터에서 범위들을 구분할 경우 오디오 데이터의 장르 정보를 이용할 수도 있다. 예컨대, 오디오 데이터가 클래식 음악이고, 빠르고 높은 음역을 갖고 있음을 알리는 정보가 오디오 데이터와 함께 또는 오디오 데이터와 매핑되어 있는 경우 빠르고 높은 음역의 클래식에 적합한 범위 구분 방식을 미리 메모리 220에 저장해 두고, 해당 방식에 맞춰 범위를 구분하도록 할 수 있다. 다른 예로, 오디오 데이터가 헤비메탈의 음악인 경우 클래식과는 다른 형태의 범위를 갖도록 범위를 규정할 수 있다. 이처럼 오디오 데이터와 함께 또는 매핑되어 저장된 오디오 데이터의 속성 또는 장르 정보를 이용하여 범위들을 구분할 수도 있다.

406동작에서 제어부는 이상에서 설명한 바와 같이 오디오 데이터를 특정한 방식에 따라 음 대역별로 구분한 각각의 범위에 색상 정보들을 매핑하는 것이다. 그러면 색상 정보들을 각각의 범위에 매핑하는 다양한 방법들에 대해 살펴보기로 하자.

먼저 도 7과 같이 5개의 범위들 중 2개의 범위만 사용하는 경우를 살펴보기로 하자. 이미지 파일로부터 획득된 색상 정보들 중 가장 높은 비율을 갖는 색상 정보 611은 오디오 파일의 시각화를 위한 배경 색상으로 사용하고, 두 번째 높은 비율을 갖는 색상 정보 612와 세 번째 높은 비율을 갖는 색상 정보 613을 각각 저 대역(music-low) 702 및 고 대역 704에 매핑하는 것이다. 도 7에 도시한 바와 같이 2개의 범위만 이미지로부터 획득된 색상 정보들을 이용하는 경우 매핑되지 않은 나머지 범위들의 오디오 신호 출력 시 이를 시각적으로 표시하지 않을 수도 있고, 기본 값으로 설정된 색상 예컨대, 흰색 또는 검정색 등의 색상으로 표현될 수도 있다.

앞서 도 6에서 살펴본 바와 같이 실제로 추출된 색상 정보가 N개인 경우 이들이 모두 사용될 수도 있지만, 범위들을 구분한 가짓수와 매핑하는 방식에 따라 전체의 색상 정보들이 사용되지 않고 일부만 사용될 수도 있다. 반면에 이미지로부터 획득된 색상 정보들의 개수보다 범위를 많이 구분하는 경우 도 7에 도시한 바와 같이 특정한 대역에는 색상 정보를 매핑하지 않을 수도 있다.

이상에서는 추출된 색상 정보들을 특정한 범위에 그대로 매핑하여 사용하는 경우만을 가정하여 설명하였다. 하지만, 매핑된 색상들 중 일부 또는 전부를 반전하여 사용할 수도 있다. 색상들의 반전이란 보색 관계일 수도 있고, 색상에 대해 디지털적으로 매핑된 값을 반전한 다른 임의의 색이 될 수도 있다. 또 다른 방법으로 추출된 색상 정보들을 각각 색상환에 대입하고, 색상환으로부터 일정한 값만큼 오른쪽 또는 왼쪽으로 쉬프트된 색상 정보를 사용하도록 매핑할 수도 있다.

이상에서 설명한 바와 같이 오디오 데이터와 함께 저장된 또는 오디오 데이터와 매칭된 이미지로부터 획득한 색상 정보의 매핑이 완료되면, 제어부는 408동작으로 진행한다.

제어부는 408동작에서 오디오 데이터를 재생하면서 미리 설정된 오브젝트 패턴을 디스플레이 모듈 260에 표시한다. 먼저 오디오 데이터의 재생은 제어부의 제어 하에 오디오 코덱 280에서 오디오 데이터가 복호된다. 이처럼 복호된 오디오 데이터는 전기적인 오디오 신호로 변환되어 스피커 282로 출력된다. 스피커 282는 전기적인 오디오 신호를 수신하여 가청음 신호로 출력할 수 있다. 또한 이어폰이나 다른 장치를 통해 출력되도록 연결된 경우 전기적인 오디오 신호는 해당 장치로 전송되어 가청음으로 출력될 수 있다.

또한 408동작에서 디스플레이 모듈 260에 표시되는 오브젝트 패턴은 원형, 사각형, 다각형, 입체적인 패턴 등의 다양한 형태의 패턴일 수 있다. 오브젝트 패턴의 예를 살펴보면, 개인용 컴퓨터(personal Computer, PC)의 윈도우즈(windows) 미디어 플레이어에서 오디오 데이터를 재생할 때 모니터 상에 표시되는 형태와 동일 또는 유사한 형태도 가능하다. 본 발명에서 디스플레이 모듈 260에 표시되는 오브젝트 패턴은 개인용 컴퓨터(PC)에서 사용하는 패턴과 동일 또는 유사한 형태일 수 있으나, 개인용 컴퓨터에서는 임의의 색상 정보를 사용함에 반해 본 발명에서는 오디오 파일과 관련된 이미지로부터 획득한 색상 정보들을 표시한다. 이를 좀 더 설명하면, 앞서 설명한 바와 같이 가청음 대역을 여러 개의 범위로 구분하고, 구분된 범위들 전체 또는 일부에 이미지로부터 획득한 색상 정보들을 매핑하여 디스플레이 모듈 260에 표시한다.

이처럼 표시되는 일 예를 도 8을 참조하여 살펴보기로 하자. 도 8은 본 발명에 따라 가청음 대역을 다수의 범위로 구분하고, 오디오 데이터와 관련된 이미지로부터 획득한 색상 정보를 이용해 시각화하여 표시하는 경우의 예시도이다.

도 8의 참조부호 801은 저 대역(music-low)의 오디오 신호 또는 사운드만 출력되는 경우 디스플레이 모듈 260에 표시되는 형태의 일 예시도이며, 참조부호 802는 고 대역(music-high)의 오디오 신호 또는 사운드만 출력되는 경우 디스플레이 모듈 260에 표시되는 형태의 일 예시도이다.

일반적으로 음악의 경우 특정한 시점에서 하나의 대역에서만 음이 출력되는 경우보다는 출력되는 음이 서로 다른 대역들에서 함께 출력된다. 이처럼 저 대역의 오디오 신호 또는 사운드와 고 대역의 오디오 신호 또는 사운드가 함께 출력되는 경우 참조부호 803과 같은 형태로 디스플레이 모듈 260에 표시된다.

또한 오디오 데이터는 시간의 흐름에 따라 변화하면서 재생되기 때문에 도 8에 도시한 오디오 데이터 관련된 이미지를 시각화한 형태는 지속적으로 변화하며, 색상 또한 지속적으로 변화한다.

제어부는 408동작에서 오디오를 재생 및 오브젝트 패턴을 표시하면서 410동작으로 진행하여 사용자 입력 모듈 250로부터 오브젝트 변경이 요청되는가를 검사한다. 410동작의 검사결과 오브젝트의 변경이 요청되는 경우 제어부는 412동작으로 진행하고, 그렇지 않은 경우 414동작으로 진행한다.

먼저 412동작으로 진행하는 경우 제어부는 메모리 220에 저장된 선택 가능한 오브젝트 형태들을 읽어와 디스플레이 모듈 260에 표시한다. 이때 선택 가능한 오브젝트의 형태들을 표시할 때에도 디스플레이 모듈 260의 일부 영역에만 선택 가능한 오브젝트 형태들을 표시하고, 나머지 영역에는 408동작 전체 또는 일부를 지속적으로 수행할 수 있다. 가령, 도 4의 제어 흐름도는 오디오 재생 모드의 흐름도이기 때문에 오디오 재생은 지속적으로 이루어져야 한다. 반면에 이미지로부터 획득한 색상 정보들을 구분된 대역별로 매핑하여 표시하는 동작은 오브젝트 형태를 변경하는 경우 표시하지 않을 수도 있다. 또한 412동작에서 제어부는 선택된 오브젝트 패턴을 디스플레이 모듈 260에 미리 보기 형식으로 제공할 수도 있다.

이렇게 선택된 오브젝트 형태에 색상 정보를 매핑한 오브젝트 패턴이 표시될 수도 있지만, 오디오 데이터와 매칭된 이미지(예를 들어, 앨범 커버 이미지)를 이용한 오브젝트 패턴이 표시될 수도 있다.

예를 들어, 제어부는 앨범 커버 이미지를 분석하고, 앨범 커버 이미지를 구성하는 오브젝트 요소에 따라 앨범 커버 이미지를 잘라낼 수 있다.

제어부는 잘라낸 이미지들을 이용한 오브젝트 패턴을 표시할 수 있다.

또한, 제어부는 앨범 커버 이미지를 구성하는 오브젝트 요소에 따라 앨범 커버 이미지를 잘라내는 형태를 결정할 수 있다.

410동작에서 414동작으로 진행하면, 제어부는 사용자 입력 모듈 250으로부터 색 정보의 변경이 요청되는가를 검사한다. 414동작의 검사결과 색 정보의 변경이 요청된 경우 제어부는 416동작으로 진행하여 각 범위별로 매핑된 색상 정보 또는/및 메모리 220에 저장된 색상환을 디스플레이 모듈 260에 표시한다. 이후 제어부는 416동작에서 표시된 색 정보들의 변경이 요청될 시 앞서 설명한 바와 같이 보색 형태로 또는 색상환에서 오른쪽 또는 왼쪽으로 일정 값만큼 쉬프트 된 값만큼 색상에 대응한 정보들로 변환할 수 있다. 이때에도 앞서 설명한 바와 같이 디스플레이 모듈 260의 일부 영역에만 색상 정보의 변경을 위한 형태가 표시되고, 나머지 영역에는 408동작 전체 또는 일부를 지속적으로 수행할 수 있다. 가령, 도 4의 제어 흐름도는 오디오 재생 모드의 흐름도이기 때문에 오디오 재생은 지속적으로 이루어져야 한다. 반면에 이미지로부터 획득한 색상 정보들을 구분된 대역별로 매핑하여 표시하는 동작은 색상 정보를 변경하는 동안 표시하지 않을 수도 있다. 또한 416동작에서 제어부는 선택된 색상 정보들의 변경된 매핑 정보에 근거하여 미리보기 형식을 제공할 수도 있다.

414동작의 검사결과 색상 정보의 변경이 요청되지 않은 경우 제어부는 418동작에서 재생의 종료가 요청되는가를 검사한다. 418동작의 검사결과 오디오 재생의 종료가 요청되는 경우 제어부는 도 4의 루틴을 종료한다. 이처럼 도 4의 루틴이 종료되면, 오디오 재생이 중지되며, 동시에 오디오와 관련된 이미지로부터 획득된 시각적 표시 동작 또한 중지된다. 이처럼 루틴의 종료가 요구되는 경우는 사용자가 직접 사용자 입력 모듈 250을 통해 루틴의 종료를 요청하는 경우 또는 그 밖의 다른 중요 이벤트가 발생한 경우 등이 될 수 있다. 다른 중요 이벤트를 예를 들어 살펴보자. 본 발명에 따른 전자 장치가 음성 통신이 가능한 휴대 단말인 경우 호가 착신되는 경우 또는 메시지가 착신되는 경우 등이 중요 이벤트가 될 수 있다. 그 밖에 미리 설정된 알람 시간이 도래한 경우 등 다양한 경우들이 중요 이벤트가 될 수 있다. 반면에 418동작의 검사결과 오디오 재생의 종료가 요청되지 않는 경우 408동작을 계속하여 수행한다.

100, 102, 104 : 전자 장치 110 : 버스
120 : 프로세서 130 : 메모리
131, 310 : 커널 132, 330 : 미들웨어
133, 360 : 어플리케이션 프로그래밍 인터페이스(API)
134, 370 : 어플리케이션 140 : 사용자 입력 모듈
150 : 디스플레이 모듈 160 : 통신 모듈
162 : 네트워크 164 : 서버
200 : 하드웨어 210 : 프로세서
211 : 어플리케이션 프로세서(AP)
213 : 커뮤니케이션 프로세서(CP)
214 : SIM 카드 220 : 메모리
222 : 내장메모리 224 : 외장메모리
230 : 통신 모듈 231 : 무선 통신 모듈
233 : Wi-Fi 234 : RF 모듈
235 : BT 237 : GPS
239 : NFC 240 : 센서 모듈
240A : 제스쳐 센서 240B : 자이로 센서
240C : 기압 센서 240D : 마그네틱 센서
240E : 가속도 센서 240F : 그립 센서
240G : 근접 센서 240H : RGB 센서
240I : 생체 센서 240J : 온/습도 센서
240K : 조도 센서 240M : UV 센서
250 : 사용자 모듈 252 : 터치 패널
254 : 펜 센서 256 : 키
258 : 울트라 소닉 260 : 디스플레이 모듈
262 : 패널 264 : 홀로그램
270 : 인터페이스 272 : HDMI
274 : USB 276 : 프로젝터
278 : D-SUB 280 : 오디오 코덱
282 : 스피커 284 : 리시버
286 : 이어폰 288 : 마이크
291 : 카메라 모듈 295 : 전력 관리 모듈
296 : 배터리 297 : 인디케이터
298 : 모터 300 : 프로그래밍 모듈
311 : 시스템 리소스 매니저 312 : 디바이스 드라이버
335 : 런타임 라이브러리 341 : 어플리케이션 매니저
342 : 윈도우 매니저 343 : 멀티미디어 매니저
344 : 리소스 매니저 345 : 파워 매니저
346 : 데이터베이스 매니저 347 : 패키지 매니저
348 : 연결 매니저 349 : 통지 매니저
350 : 위치 매니저 351 : 그래픽 매니저
352 : 보안 매니저 371 : 홈
372 : 다이얼러 373 : SMS/MMS
374 : IM 375 : 브라우저
376 : 카메라 377 : 알람
378 : 컨택트 379 : 음성다이얼
380 : 이메일 381 : 달력
382 : 미디어 플레이어 383 : 앨범
384 : 시계 500 : 원본 이미지
510 : 축소된 이미지
600, 611, 612, 613, 614, 61N : 추출된 색상들
701, 702, 703, 704, 705 : 가청음 대역의 구분된 범위(range)

Claims

전자 장치에서 오디오 데이터를 재생하기 위한 방법에 있어서,
상기 오디오 데이터의 재생이 요구될 시 상기 오디오 데이터와 매칭된 이미지로부터 상기 이미지에 포함된 색상 정보들을 획득하는 동작;
상기 획득된 색상 정보들 중 적어도 일부를 상기 이미지에 포함된 비율에 따라 미리 설정된 가청음 범위들에 매핑하는 동작; 및
상기 오디오 데이터 재생 시 상기 재생되는 오디오 데이터의 출력에 대응하여 각 범위별로 매핑된 색상 정보를 이용하여 미리 설정된 오브젝트 패턴으로 표시하는 동작;을 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제1항에 있어서,
상기 이미지에 포함된 색상 정보들을 획득 시 상기 매칭된 이미지를 미리 설정된 크기의 이미지가 되도록 축소하는 동작; 및
상기 축소된 이미지에 포함된 색상 정보들을 획득하는 동작;을 더 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제1항에 있어서,
상기 미리 설정된 가청음 범위들에 매핑 시 상기 이미지에 포함된 색상 정보들을 비율에 따라 정렬하는 동작;
상기 정렬된 색상 정보들 중 최고 비율을 갖는 색상을 배경 색으로 설정하는 동작; 및
상기 최고 비율을 갖는 색상 정보를 제외한 나머지 색상 정보들을 상기 설정된 범위들에 매핑하는 동작;을 더 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제3항에 있어서,
상기 최고 비율을 갖는 색상 정보를 제외한 나머지 색상 정보들을 상기 설정된 범위들에 매핑 시 미리 설정된 범위들에만 사용된 비율에 따라 매칭하는 동작;을 더 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제1항에 있어서,
상기 이미지에 포함된 색상 정보들의 획득 시 상기 이미지에 포함된 색상의 유사도를 검사하는 동작; 및
미리 설정된 유사도 이상을 갖는 색상 정보들을 대표되는 하나의 색상 정보로 결정하는 동작;을 더 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제1항에 있어서,
상기 이미지에 포함된 비율에 따라 미리 설정된 가청음 범위들에 색상 정보들의 매핑 시 미리 설정된 소정의 색상 정보들을 반전하여 매핑하는 동작;을 더 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제1항에 있어서,
상기 획득된 색상 정보들을 상기 이미지에 포함된 비율에 따라 미리 설정된 가청음 범위들에 매핑 시 상기 획득된 색상 정보들을 색상환의 위치에서 미리 설정된 값만큼 쉬프트한 값으로 변경하는 동작; 및
상기 변경된 색상 정보들을 상기 범위들에 매핑하는 동작;을 더 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제1항에 있어서,
상기 오브젝트 패턴을 표시하는 중 상기 오브젝트 패턴의 변경이 요구될 시 선택 가능한 오브젝트들을 표시하는 동작; 및
상기 표시된 오브젝트들 중 하나가 선택될 시 상기 선택된 오브젝트 패턴으로 변경하여 표시하는 동작;을 더 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제8항에 있어서,
상기 오브젝트 패턴이 선택될 시 미리 보기를 제공하는 동작;을 더 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제8항에 있어서,
상기 선택 가능한 오브젝트 패턴들의 표시 및 오브젝트 패턴의 변경 시 상기 오디오 데이터의 출력을 계속 수행하는 동작;을 더 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제1항에 있어서,
상기 오브젝트 패턴의 색상 정보 변경이 요청될 시 상기 범위별 매핑된 색상 정보 및 변경 가능한 색상 정보들을 표시하는 동작;
사용자의 입력에 대응하여 상기 범위별 매핑된 색상 정보의 변경 정보를 수신하여 재매핑하는 동작; 및
상기 재매핑된 색상 정보로 오브젝트 패턴을 표시하는 동작;을 더 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제11항에 있어서,
상기 색상 정보 매핑이 변경될 시 미리 보기를 제공하는 동작;을 더 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제11항에 있어서,
상기 색상 정보 매핑 변경 시 상기 오디오 데이터의 출력을 계속 수행하는 동작;을 더 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
제1항에 있어서,
상기 미리 설정된 가청음 범위들은 상기 오디오 데이터의 장르 정보를 기반하여 구분하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법.
상기 오디오 데이터, 상기 오디오 데이터와 매칭된 이미지, 미리 설정된 오브젝트 패턴들, 색상환 정보 및 가청음 대역을 소정의 범위로 구분하기 위한 정보를 저장하는 메모리;
상기 오디오 데이터를 전기적 오디오 신호로 변환하기 위한 오디오 코덱;
상기 전기적 오디오 신호를 가청음 대역으로 출력하기 위한 스피커;
상기 출력되는 오디오 신호의 범위에 따라 상기 오브젝트 패턴 중 하나를 표시하는 디스플레이 모듈; 및
상기 오디오 데이터의 재생이 요구될 시 상기 메모리에 저장된 상기 오디오 데이터와 매칭된 이미지로부터 상기 이미지에 포함된 색상 정보들을 획득하고, 상기 획득된 색상 정보들을 상기 이미지에 포함된 비율에 따라 미리 설정된 가청음 범위들에 매핑하며, 상기 오디오 데이터 재생 시 상기 재생되는 오디오 데이터의 출력에 대응하여 각 범위별로 매핑된 색상 정보를 미리 설정된 오브젝트 패턴으로 상기 디스플레이 모듈에 표시하도록 제어하는 제어부;를 포함하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 장치.
제15항에 있어서, 상기 제어부는,
상기 이미지에 포함된 색상 정보들의 획득 시 상기 매칭된 이미지를 미리 설정된 크기의 이미지가 되도록 축소시킨 후 상기 축소된 이미지에 포함된 색상 정보들을 획득하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 장치.
제15항에 있어서, 상기 제어부는,
상기 미리 설정된 가청음 범위들에 매핑 시 상기 이미지에 포함된 색상 정보들을 비율에 따라 정렬하고, 상기 정렬된 색상 정보들 중 최고 비율을 갖는 색상 정보를 배경으로 설정하고, 상기 최고 비율을 갖는 색상 정보를 제외한 나머지 색상 정보들을 상기 설정된 범위들에 매핑하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 장치.
제15항에 있어서, 상기 제어부는,
상기 이미지에 포함된 색상 정보들을 획득 시 상기 이미지에 포함된 색상 정보의 유사도를 검사하고, 미리 설정된 유사도 이상을 갖는 색상 정보들을 대표되는 하나의 색상 정보로 결정하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 장치.
제15항에 있어서, 상기 제어부는,
상기 이미지에 포함된 비율에 따라 미리 설정된 가청음 범위들에 색상 정보들의 매핑 시 미리 획득된 색상 정보들을 변경하여 매핑하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 장치.
제1항에 있어서,
상기 미리 설정된 가청음 범위들은 상기 오디오 데이터의 장르 정보에 기반하여 구분하는, 전자 장치에서 사운드를 시각적으로 제공하기 위한 장치.