KR20170039379A - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20170039379A
KR20170039379A KR1020150138431A KR20150138431A KR20170039379A KR 20170039379 A KR20170039379 A KR 20170039379A KR 1020150138431 A KR1020150138431 A KR 1020150138431A KR 20150138431 A KR20150138431 A KR 20150138431A KR 20170039379 A KR20170039379 A KR 20170039379A
Authority
KR
South Korea
Prior art keywords
image
area
audio content
areas
audio
Prior art date
Application number
KR1020150138431A
Other languages
English (en)
Inventor
박안나
손병준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150138431A priority Critical patent/KR20170039379A/ko
Priority to US15/278,414 priority patent/US10628121B2/en
Priority to PCT/KR2016/010994 priority patent/WO2017057960A1/en
Publication of KR20170039379A publication Critical patent/KR20170039379A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G06F17/3074—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

전자 장치 및 이의 제어 방법이 제공된다. 본 전자 장치는 영상을 획득하는 영상 획득부, 오디오 컨텐츠를 재생하는 오디오 출력부 및 획득된 영상을 복수의 영역으로 분할하고, 분할된 복수의 영역을 분석하며, 분석 결과를 바탕으로 복수의 영역에 대응되는 오디오 컨텐츠를 획득하고, 획득된 오디오 컨텐츠를 재생하도록 오디오 출력부를 제어하는 제어부를 포함한다.

Description

전자 장치 및 이의 제어 방법{ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE ELECTRONIC DEVICE THEREOF}
본 발명은 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 영상을 분석하여 영상에 대한 오디오를 출력할 수 있는 전자 장치 및 이의 제어 방법에 관한 것이다.
근래에는 다양한 영상 컨텐츠들이 다양한 소스를 통해 제공되고 있다. 특히, 사용자는 스마트 폰과 같은 휴대용 단말을 통해 시간과 장소를 불문하고 영상 컨텐츠를 제공받을 수 있다.
그러나, 시각 장애인은 점자와 같은 단순한 텍스트 형태의 컨텐츠나 오디오 형태의 컨텐츠를 통해 정보를 확인하거나 이용할 수 있을 뿐, 영상 컨텐츠를 확인할 수 없다, 따라서, 시각 장애인은 수많은 영상 컨텐츠가 제공됨에도 불구하고 수많은 영상 컨텐츠를 통해 정보를 확인하기 어려운 문제점이 있다.
따라서, 시각 장애인이 영상 컨텐츠에 대한 직관적인 정보를 확인하기 위한 방안의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은, 영상 컨텐츠에 대응되는 오디오 컨텐츠를 재공함으로써, 사용자에게 영상 컨텐츠에 대한 정보나 분위기를 제공할 수 있는 전자 장치 및 이의 제어 방법에 관한 것이다.
또한, 본 발명의 다른 목적은, 영상 컨텐츠를 청각화하여 사용자에게 더욱 직관적인 영역 안내 정보를 제공할 수 있는 전자 장치 및 이의 제어 방법에 관한 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 영상을 획득하는 영상 획득부; 오디오 컨텐츠를 재생하는 오디오 출력부; 및 상기 획득된 영상을 복수의 영역으로 분할하고, 상기 분할된 복수의 영역을 분석하며, 상기 분석 결과를 바탕으로 상기 복수의 영역에 대응되는 오디오 컨텐츠를 획득하고, 상기 획득된 오디오 컨텐츠를 재생하도록 상기 오디오 출력부를 제어하는 제어부;를 포함한다.
그리고, 영상의 카테고리와 오디오 컨텐츠를 매핑하여 저장하는 저장부;를 더 포함하며, 상기 제어부는, 상기 분할된 복수의 영역 각각의 카테고리를 판단하고, 상기 판단된 카테고리에 매핑된 오디오 컨텐츠를 검색하여 상기 복수의 영역에 대응되는 오디오 컨텐츠를 획득할 수 있다.
또한, 영상 파라미터와 작곡 파라미터를 매핑하여 저장하는 저장부;를 더 포함하며, 상기 제어부는, 상기 분할된 복수의 영역 각각에 대한 영상 파라미터를 분석하고, 상기 분석된 영상 파리미터에 매핑된 작곡 파라미터에 따라 상기 오디오 컨텐츠를 생성할 수 있다.
그리고, 영상의 카테고리와 작곡 파라미터를 매핑하여 저장하는 저장부;를 더 포함하고, 상기 제어부는, 상기 분할된 복수의 영역의 카테고리를 판단하고, 상기 판단된 카테고리에 매핑된 작곡 파라미터를 이용하여 상기 오디오 컨텐츠를 생성할 수 있다.
또한, 상기 제어부는, 상기 복수의 영역 각각의 영상 면적을 결정하고, 상기 획득된 복수의 영역 각각의 영상 면적에 따라 복수의 영역 각각에 대응되는 오디오 컨텐츠들의 재생 시간 및 재생 순서 중 적어도 하나를 결정할 수 있다.
그리고, 상기 제어부는, 상기 영상에 포함된 복수의 영역을 메인 영역 및 서브 영역으로 구분하며, 상기 메인 영역을 이용하여 메인 오디오 컨텐츠를 생성하고, 상기 서브 영역을 이용하여 서브 오디오 컨텐츠를 생성할 수 있다.
또한, 상기 획득된 영상 중 제1 영역을 터치하는 사용자 명령을 입력받는 입력부;를 더 포함하고, 상기 제어부는, 상기 사용자 명령이 입력된 상기 제1 영역의 영상을 분석하며, 상기 분석 결과를 바탕으로 상기 제1 영역에 대응되는 오디오 컨텐츠를 획득할 수 있다.
그리고, 햅틱 피드백을 제공하는 햅틱 제공부;를 더 포함하며, 상기 제어부는, 상기 제1 영역을 터치하는 사용자 명령이 입력되면, 상기 제1 영역에 햅틱 피드백을 제공하도록 상기 햅틱 제공부를 제어할 수 있다.
또한, 상기 제어부는, 상기 복수의 영역 중 제1 영역에 포함된 오브젝트의 움직임을 판단하고, 상기 제1 영역에 포함된 오브젝트의 움직임에 대응되는 정보를 포함하는 오디오 컨텐츠를 생성할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은, 영상을 획득하는 단계; 상기 획득된 영상을 복수의 영역으로 분할하고, 상기 분할된 복수의 영역을 분석하는 단계; 상기 분석 결과를 바탕으로 상기 복수의 영역에 대응되는 오디오 컨텐츠를 획득하는 단계; 및 상기 획득된 오디오 컨텐츠를 재생하는 단계;를 포함한다.
그리고, 영상의 카테고리와 오디오 컨텐츠를 매핑하여 저장하는 단계;를 더 포함하며, 상기 분석하는 단계는, 상기 분할된 복수의 영역 각각의 카테고리를 판단하는 단계;를 더 포함하며, 상기 오디오 컨텐츠를 획득하는 단계는, 상기 판단된 카테고리에 매핑된 오디오 컨텐츠를 검색하여 상기 복수의 영역에 대응되는 오디오 컨텐츠를 획득할 수 있다.
또한, 영상 파라미터와 작곡 파라미터를 매핑하여 저장하는 단계;를 더 포함하고, 상기 분석하는 단계는, 상기 분할된 복수의 영역 각각에 대한 영상 파라미터를 분석하는 단계;를 더 포함하고, 상기 오디오 컨텐츠를 획득하는 단계는, 상기 분석된 영상 파리미터에 매핑된 작곡 파라미터에 따라 상기 오디오 컨텐츠를 생성할 수 있다.
그리고, 영상의 카테고리와 작곡 파라미터를 매핑하여 저장하는 단계;를 더 포함하고, 상기 분석하는 단계는, 상기 분할된 복수의 영역의 카테고리를 판단하는 단계;를 더 포함하며, 상기 오디오 컨텐츠를 획득하는 단계는, 상기 판단된 카테고리에 매핑된 작곡 파라미터를 이용하여 상기 오디오 컨텐츠를 생성할 수 있다.
또한, 상기 분석하는 단계는, 상기 복수의 영역 각각의 영상 면적을 결정하는 단계;를 더 포함하고, 상기 오디오 컨텐츠를 획득하는 단계는, 상기 획득된 복수의 영역 각각의 영상 면적에 따라 복수의 영역 각각에 대응되는 오디오 컨텐츠들의 재생 시간 및 재생 순서 중 적어도 하나를 결정할 수 있다.
그리고, 상기 분석하는 단계는, 상기 영상에 포함된 복수의 영역을 메인 영역 및 서브 영역으로 구분하는 단계;를 더 포함하고, 상기 오디오 컨텐츠를 획득하는 단계는, 상기 메인 영역을 이용하여 메인 오디오 컨텐츠를 생성하고, 상기 서브 영역을 이용하여 서브 오디오 컨텐츠를 생성할 수 있다.
또한, 상기 획득된 영상 중 제1 영역을 터치하는 사용자 명령을 입력받는 단계;를 더 포함하고, 상기 분석하는 단계는, 상기 제1 영역의 영상을 분석하며, 상기 오디오 컨텐츠를 획득하는 단계는, 상기 분석 결과를 바탕으로 상기 제1 영역에 대응되는 오디오 컨텐츠를 획득할 수 있다.
그리고, 상기 제1 영역을 터치하는 사용자 명령이 입력되면, 상기 제1 영역에 햅틱 피드백을 제공하는 단계;를 더 포함할 수 있다.
또한, 상기 분석하는 단계는, 상기 복수의 영역 중 제1 영역에 포함된 오브젝트의 움직임을 판단하는 단계;를 더 포함하고, 상기 오디오 컨텐츠를 획득하는 단계는, 상기 제1 영역에 포함된 오브젝트의 움직임에 대응되는 정보를 포함하는 오디오 컨텐츠를 생성할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른, 전자 장치는, 외부 장치와 통신을 수행하는 통신부; 및 상기 통신부를 통해 수신된 영상을 복수의 영역으로 분할하고, 상기 분할된 복수의 영역을 분석하여 상기 복수의 영역에 대응되는 영역 안내 정보를 생성하며, 상기 획득된 영역 안내 정보를 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함할 수 있다.
그리고, 상기 제어부는, 상기 외부 장치로부터 영상의 키프레임을 수신하고, 상기 수신된 키프레임을 복수의 영역으로 분할하여 분석할 수 있다.
또한, 상기 제어부는, OCR을 이용하여 상기 수신된 영상에 포함된 텍스트를 인식하거나 영상에 대응되는 카테고리를 분석할 수 있다.
그리고, 상기 영역 안내 정보가 오디오 형태의 정보인 경우, 상기 제어부는, 상기 영상의 재생 길이보다 상기 영역 안내 정보의 재생 길이가 긴 경우, 상기 영상에 복사 프레임 및 보간 프레임 중 적어도 하나를 삽입할 수 있다.
또한, 상기 영상 중 제1 영역을 터치하는 사용자 명령을 입력받는 입력부;를 더 포함하고, 상기 제어부는, 상기 사용자 명령이 입력된 제1 영역을 분석하고, 상기 분석 결과를 바탕으로 상기 제1 영역에 대응되는 영역 안내 정보를 생성할 수 있다.
그리고, 상기 제어부는, 상기 획득된 영역 안내 정보와 함께 대응되는 영역의 위치를 함께 전송하도록 상기 통신부를 제어할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은, 외부 장치로부터 영상을 수신하는 단계; 상기 수신된 영상을 복수의 영역으로 분할하고, 상기 분할된 복수의 영역을 분석하는 단계; 상기 분석 결과를 바탕으로 상기 복수의 영역에 대응되는 영역 안내 정보를 생성하는 단계; 및 상기 영역 안내 정보를 상기 외부 장치로 전송하는 단계;를 포함한다.
그리고, 상기 수신된 영상의 키프레임을 추출하는 단계;를 더 포함하고, 상기 분석하는 단계는, 상기 추출된 키프레임을 복수의 영역으로 분할하여 분석할 수 있다.
또한, 상기 분석하는 단계는, OCR을 이용하여 상기 영상에 포함된 텍스트를 인식하거나 영상에 대응되는 카테고리를 분석할 수 있다.
그리고, 상기 영역 안내 정보가 오디오 형태의 정보인 경우, 상기 영상의 재생 길이보다 상기 영역 안내 정보의 재생 길이가 긴 경우, 상기 영상에 복사 프레임 및 보간 프레임 중 적어도 하나를 삽입하는 단계;를 더 포함할 수 있다.
또한, 상기 영상 중 제1 영역을 터치하는 사용자 명령을 입력받는 단계;를 더 포함하고, 상기 분석하는 단계는, 상기 사용자 명령이 입력된 제1 영역을 분석할 수 있다.
그리고, 상기 전송하는 단계는, 상기 생성된 영역 안내 정보와 함께 대응되는 영역의 위치를 함께 전송할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 영상 컨텐츠에 대한 정보나 분위기를 더욱 쉽고 직관적으로 확인할 수 있게 된다.
도 1 은 본 발명의 일 실시예에 따른, 전자 장치의 구성을 간략히 도시한 블록도,
도 2는 본 발명의 일 실시예에 따른, 전자 장치의 구성을 상세히 도시한 블록도,
도 3은 본 발명의 일 실시예에 따른, 저장부의 구성을 상세히 도시한 블록도,
도 4a 내지 도 8b는 본 발명의 제1 실시예에 따른, 영상을 분석하여 오디오 컨텐츠를 제공하는 실시예들을 설명하기 위한 도면들,
도 9는 본 발명의 제1 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 10은 본 발명의 제2 실시예에 따른, 컨텐츠 제공 시스템을 도시한 도면,
도 11a 내지 도 18은 본 발명의 제2 실시예에 따른, 영상에 영역 안내 정보를 삽입하여 제공하는 실시예를 설명하기 위한 도면들,
도 19는 본 발명의 제2 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 20 및 도 21은 본 발명의 제2 실시예에 따른, 컨텐츠 제공 시스템의 오디오가 삽입된 영상을 제공하는 방법을 설명하기 위한 시퀀스도, 그리고,
도 22는 본 발명의 제2 실시예에 따른, 전자 장치의 구성을 나타내는 블럭도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은, 본 발명의 일 실시 예에 따른, 전자 장치(100)의 구성을 간략히 도시한 블럭도이다. 도 1에 도시된 바와 같이, 전자 장치(100)는 영상 획득부(110), 오디오 출력부(120) 및 제어부(130)를 포함한다. 한편, 본 발명의 일 실시예에 따른, 전자 장치(100)는 스마트 폰으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 태블릿 PC, 노트북 PC, 스마트 TV, 카메라 등과 같은 다양한 전자 장치로 구현될 수 있다.
영상 획득부(110)는 다양한 소스로부터 영상 데이터를 획득한다. 구체적으로, 영상 획득부(110)는 카메라를 통해 영상을 촬영하여 영상 데이터를 획득할 수 있고, 외부의 다양한 장치로부터 영상 데이터를 수신하여 영상 데이터를 획득할 수 있다.
오디오 출력부(120)는 오디오 데이터를 출력한다. 특히, 오디오 출력부(120)는 영상 획득부(110)에 의해 획득된 영상 데이터에 대응되는 오디오를 출력할 수 있다.
제어부(130)는 전자 장치(100)의 전반적인 동작을 제어한다. 본 발명의 일 실시예에 따르면, 제어부(130)는 영상 획득부(110)를 통해 획득된 영상을 복수의 영역으로 분할하고, 분할된 복수의 영역을 분석하며, 분석 결과를 바탕으로 복수의 영역에 대응되는 오디오 컨텐츠를 획득하고, 획득된 오디오 컨텐츠를 재생하도록 오디오 출력부(120)를 제어할 수 있다.
구체적으로, 제어부(130)는 영상 획득부(110)를 통해 획득된 영상을 복수의 영역으로 분할할 수 있다. 이때, 제어부(130)는 획득된 영상의 픽셀값을 분석하여 획득된 영상을 복수의 영역으로 분할할 수 있다.
그리고, 제어부(130)는 복수의 영역에 대한 분석을 수행할 수 있다. 구체적으로, 제어부(130)는 복수의 영역에 대한 픽셀 분석을 통해 복수의 영역에 포함된 오브젝트나 배경에 대해 분석할 수 있다. 이때, 제어부(130)는 영상 데이터를 자체적으로 분석할 수 있으나, 이는 일 실시예에 불과할 뿐, 제어부(130)는 획득된 영상 데이터를 외부의 서버에 전송하여 영상 데이터의 분석 결과를 수신하도록 통신부를 제어할 수 있다.
그리고, 제어부(130)는 분석 결과를 바탕으로 복수의 영역에 대응되는 오디오 컨텐츠를 획득한다. 본 발명의 일 실시예로, 제어부(130)는 분할된 복수의 영역 각각의 카테고리를 판단하고, 판단된 카테고리에 매핑된 오디오 컨텐츠를 검색하여 복수의 영역에 대응되는 오디오 컨텐츠를 획득할 수 있다. 즉, 제어부(130)는 영상의 파라미터에 따라 직접 음악 컨텐츠를 제작하는 것이 아닌, 기 제작된 오디오 컨텐츠를 이용하여 오디오 컨텐츠를 생성할 수 있다.
본 발명의 또 다른 실시예로, 제어부(130)는 분할된 복수의 영역 각각에 대한 영상 파라미터를 분석하고, 분석된 영상 파리미터에 기 매핑된 작곡 파라미터에 따라 오디오 컨텐츠를 생성할 수 있다. 구체적으로, 제어부(130)는 영상의 다양한 파라미터(예를 들어, 색상, 이미지의 크기, 물체의 유형 등)에 따라 오디오 컨텐츠의 음정, 박자, 분위기, 음악적 표현 등을 결정할 수 있다. 또한, 제어부(130)는 분할된 복수의 영역의 카테고리(예를 들어, 산, 바다, 도시 등)를 판단하고, 판단된 카테고리에 매핑된 작곡 파라미터를 이용하여 오디오 컨텐츠를 생성할 수 있다. 즉, 제어부(130)는 영상의 다양한 파라미터에 따라 직접 음악 컨텐츠를 생성할 수 있다.
또한, 제어부(130)는 복수의 영역 각각의 영상 면적을 결정하고, 획득된 복수의 영역 각각의 영상 면적에 따라 복수의 영역 각각에 대응되는 오디오 컨텐츠들의 재생 시간 및 재생 순서 중 적어도 하나를 결정할 수 있다. 예를 들어, 제어부(130)는 영역의 면적이 클수록 대응되는 오디오 컨텐츠의 재생 시간을 길게 설정하거나 대응되는 오디오 컨텐츠의 재생 순서를 앞선 재생 순서로 설정할 수 있다.
또한, 제어부(130)는 영상에 포함된 복수의 영역을 메인 영역 및 서브 영역으로 구분하며, 메인 영역을 이용하여 메인 오디오 컨텐츠를 생성하고, 서브 영역을 이용하여 서브 오디오 컨텐츠를 생성할 수 있다. 이때, 메인 오디오 컨텐츠는 재생 시간이 긴 오디오 컨텐츠일 수 있으나, 이는 일 실시예에 불과할 뿐, 멜로디 라인의 오디오 컨텐츠일 수 있다. 또한, 서브 오디오 컨텐츠는 재생 시간이 메인 오디오 컨텐츠보다 짧은 오디오 컨텐츠일 수 있으나, 이는 일 실시예에 불과할 뿐, 반주의 오디오 컨텐츠일 수 있다.
또한, 획득된 영상 중 제1 영역을 터치하는 사용자 명령이 입력된 경우, 제어부(130)는 사용자 명령이 입력된 제1 영역의 영상을 분석하며, 분석 결과를 바탕으로 제1 영역에 대응되는 오디오 컨텐츠를 획득할 수 있다. 예를 들어, 제어부(130)는 사용자 명령이 입력된 영역의 파라미터 또는 카테고리를 분석하여 사용자 명령이 입력된 영역에 대응되는 오디오 컨텐츠를 생성할 수 있다. 이때, 제1 영역을 터치하는 사용자 명령이 입력되면, 제어부(130)는 제1 영역에 햅틱 피드백을 제공할 수 있다.
또한, 제어부(130)는 복수의 영역 중 제1 영역에 포함된 오브젝트의 움직임을 판단하고, 제1 영역에 포함된 오브젝트의 움직임에 대응되는 정보를 포함하는 오디오 컨텐츠를 생성할 수 있다. 예를 들어, 복수의 영역 중 제1 영역에 자동차가 움직이는 것으로 판단되면, 제어부(130)는 자동차가 이동되는 것을 나타내는 경적 소리를 포함하는 오디오 컨텐츠를 생성할 수 있다.
상술한 바와 같은 다양한 실시예에 따라, 사용자는 현재 영상과 관련된 분위기, 정보 등을 청각적인 형태로 더욱 쉽고 직관적으로 확인할 수 있게 된다.
이하에서는 도 2 내지 도 8b를 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치(200)의 구성을 나타내는 블록도이다.
도 2에 도시된 바와 같이, 전자 장치(200)는 영상 획득부(210), 영상 처리부(220), 디스플레이부(230), 오디오 출력부(240), 저장부(250), 통신부(260), 입력부(290), 햅틱 제공부(280) 및 제어부(290)를 포함할 수 있다. 한편, 도 2에 도시된 전자 장치(200)의 구성은 일 예에 불과하므로, 반드시 전술된 블록도에 한정되는 것은 아니다. 따라서, 전자 장치(200)의 종류 또는 전자 장치(200)의 목적에 따라 도 2에 도시된 전자 장치(200)의 구성의 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다.
영상 획득부(210)는 다양한 소스로부터 영상을 획득한다. 구체적으로, 영상 획득부(210)는 카메라를 이용하여 영상을 촬영함으로써, 영상을 획득할 수 있다. 또한, 영상 획득부(210)는 외부의 다양한 소스(예를 들어, 외부의 서버, 영상 재생 기기, 영상 촬영 기기 등)로부터 영상 데이터를 수신함으로써, 영상을 획득할 수 있다. 또한, 영상 획득부(210)는 사용자 명령에 따라 기 저장된 영상 데이터를 독출함으로써, 영상을 획득할 수 있다.
영상 처리부(220)는 영상 획득부(210)로부터 획득된 영상 데이터에 대한 영상 처리를 수행하는 구성요소이다. 영상 처리부(220)는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
디스플레이부(230)는 영상 획득부(210)로부터 수신된 영상 컨텐츠 및 그래픽 처리부(293)로부터 처리된 다양한 UI 중 적어도 하나를 디스플레이한다. 이때, 디스플레이부(210)는 다양한 크기를 가질 수 있다. 예를 들어, 디스플레이부(210)는 3인치, 4인치, 4.65인치, 5인치, 6.5인치, 8.4인치 등의 크기를 가질 수 있다. 디스플레이부(210)는 복수의 픽셀들로 구성될 수 있다. 이 때, 복수의 픽셀들의 가로 개수 X 세로 개수는 해상도(resolution)로 표현될 수 있다. 예를 들어, 디스플레이부(210)는 320×320 해상도, 360×480 해상도, 720×1280 해상도, 1280×800 해상도 또는 3940×2160 해상도 등을 가질 수 있다.
또한, 디스플레이부(230)는 다양한 형태의 디스플레이 패널로 구현될 수 있다. 예로, 디스플레이 패널은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon) 또는 DLP(Digital Light Processing) 등과 같은 다양한 디스플레이 기술로 구현될 수 있다.
디스플레이부(230)는 플렉서블 디스플레이(flexible display)의 형태로 전자 장치(200)의 전면 영역 및, 측면 영역 및 후면 영역 중 적어도 하나에 결합될 수도 있다. 플렉서블 디스플레이는 종이처럼 얇고 유연한 기판을 통해 손상 없이 휘거나 구부리거나 말 수 있는 것을 특징으로 할 수 있다. 이러한 플렉서블 디스플레이는 일반적으로 사용되는 유리 기판뿐 아니라 플라스틱 기판을 사용하여 제조될 수도 있다. 플라스틱 기판을 사용하는 경우, 기판의 손상을 방지하기 위해서 기존의 제조 프로세서를 사용하지 않고 저온 제조 프로세서를 사용하여 형성될 수 있다. 또한, 플렉서블 액정을 싸고 있는 유리 기판을 플라스틱 필름으로 대체하여, 접고 펼 수 있는 유연성을 부여할 수 있다. 이러한 플렉서블 디스플레이는 얇고 가벼울 뿐만 아니라 충격에도 강하며, 또한 휘거나 굽힐 수 있고 다양한 형태로 제작이 가능하다는 장점을 갖고 있다.
디스플레이부(230)는 터치 입력부와 결합하여 레이어 구조의 터치 스크린으로 구현될 수 있다. 터치 스크린은 디스플레이 기능뿐만 아니라 터치 입력 위치, 터치된 면적뿐만 아니라 터치 입력 압력까지도 검출하는 기능을 가질 수 있고, 또한 실질적인 터치(real-touch)뿐만 아니라 근접 터치(proximity touch)도 검출하는 기능을 가질 수 있다.
오디오 출력부(240)는 오디오 처리부(240)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 오디오 출력부(250)는 스피커로 구현될 수 있으나, 이는 일 실시 예에 불과할 뿐, 오디오 데이터를 출력할 수 있는 출력 단자로 구현될 수 있다.
저장부(250)는 전자 장치(200)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 저장부(250)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 저장부(250)는 제어부(290)에 의해 액세스되며, 제어부(290)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 발명에서 저장부(250)는 제어부(290) 내 ROM(292), RAM(291) 또는 전자 장치(200)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다. 또한, 저장부(250)에는 디스플레이부(230)의 디스플레이 영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다.
이하에서는 도 3을 참조하여 저장부(230)에 저장된 소프트웨어의 구조를 설명한다. 도 3에 따르면, 저장부(230)에는 OS(310), 커널(320), 미들웨어(330), 어플리케이션(340) 등을 포함하는 소프트웨어가 저장될 수 있다.
운영체제(Operating System: OS, 310)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(310)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다.
커널(320)은 감지부(260)에서 감지되는 터치 신호 등을 비롯한 각종 신호들을 미들웨어(330)로 전달하는 통로 역할을 한다.
미들웨어(330)는 전자 장치(200)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다. 도 3에 따르면, 미들웨어(330)는 X11 모듈(330-1), APP 매니저(330-2), 연결 매니저(330-3), 보안 모듈(330-4), 시스템 매니저(330-5), 멀티미디어 프레임워크(330-6), 메인 UI 프레임워크(330-7), 윈도우 매니저(330-8), 서브 UI 프레임워크(330-9)를 포함한다.
X11 모듈(330-1)은 전자 장치(200)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다. 여기서 이벤트란, 사용자 제스쳐가 감지되는 이벤트, 시스템 알람(alarm)이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다.
APP 매니저(330-2)는 저장부(230)에 설치(install)된 각종 어플리케이션(340)의 실행 상태를 관리하는 모듈이다. APP 매니저(330-2)는 X11 모듈(330-1)로부터 어플리케이션 실행 이벤트가 감지되면, 해당 이벤트에 대응되는 어플리케이션을 호출하여 실행시킨다.
연결 매니저(330-3)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(330-3)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다.
보안 모듈(330-4)은 하드웨어에 대한 인증(Certification), 요청허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다.
시스템 매니저(330-5)는 전자 장치(200) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 타 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등이 발생하면 시스템 매니저(330-5)는 그 모니터링 결과를 메인 UI 프레임워크(330-7)나 서브 UI 프레임워크(330-9)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다.
멀티미디어 프레임워크(330-6)는 전자 장치(200)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(330-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다.
메인 UI 프레임워크(330-7)는 디스플레이부(210)의 메인 영역에 표시할 각종 UI를 제공하기 위한 모듈이고, 서브 UI 프레임워크(330-9)는 서브 영역에 표시할 각종 UI를 제공하기 위한 모듈이다. 메인 UI 프레임워크(330-7) 및 서브 UI 프레임워크(330-9)는 각종 UI 엘리먼트를 구성하는 이미지 합성기(Image Compositor module), UI 엘리먼트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 UI 엘리먼트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.
윈도우 매니저(330-8)는 사용자의 신체나 펜을 이용한 터치 이벤트나 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(330-8)는 이러한 이벤트가 감지되면 메인 UI 프레임워크(330-7) 또는 서브 UI 프레임워크(330-9)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.
그 밖에도, 사용자가 화면을 터치 및 드래그하는 경우, 드래그 궤적에 따라 라인을 드로잉하기 위한 필기 모듈이나, 움직임 감지부에서 감지된 센서 값에 기초하여 피치각, 롤각, 요우각 등을 산출하기 위한 각도 산출 모듈 등과 같은 다양한 프로그램 모듈이 전자 장치(200) 내에 저장될 수도 있다.
어플리케이션 모듈(340)은 다양한 기능을 지원하기 위한 어플리케이션들(340-1~340-n)을 포함한다. 예를 들어, 네비게이션 프로그램 모듈, 게임 모듈, 전자 책 모듈, 달력 모듈, 알람 관리 모듈, 음악 재생 모듈 등과 같은 다양한 서비스를 제공하기 위한 프로그램 모듈을 포함할 수 있다. 이러한 어플리케이션들은 디폴트로 설치되어 있을 수도 있고, 사용자가 사용 과정에서 임의로 설치하여 사용할 수도 있다. UI 엘리먼트가 선택되면, 메인 CPU(294)는 어플리케이션 모듈(340)을 이용하여 선택된 UI 엘리먼트에 대응되는 어플리케이션을 실행시킬 수 있다.
도 3에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 전자 장치(200)의 종류 또는 전자 장치(200)의 목적에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 저장부(230)에는 각종 센서들에서 센싱된 신호들을 분석하기 위한 센싱 모듈이나, 메신저 프로그램, 문자 메시지 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈, 웹 브라우저 모듈 등과 같이 다양한 프로그램들이 추가로 마련될 수도 있다.
또한, 저장부(230)는 영상 분석을 위한 영상 분석 모듈, 영상에 대응되는 음악 작곡을 위한 작곡 모듈, 영상에 대응되는 음악 검색을 위한 음악 검색 모듈 등을 더 포함할 수 있다.
또한, 저장부(230)는 영상 카테고리와 작곡 파라미터를 매핑 저장하거나, 영상 파라미터와 작곡 파라미터를 매핑하여 저장할 수 있다. 또한, 저장부(230)는 영상 카테고리에 대응되는 오디오 컨텐츠를 매핑하여 저장할 수 있다.
다시, 도 2에 대해 설명하면, 통신부(260)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(260)는 와이파이칩, 블루투스 칩, 무선 통신 칩, NFC 칩 중 적어도 하나를 포함할 수 있다. 제어부(290)는 통신부(260)를 이용하여 외부 서버 또는 각종 외부 기기와 통신을 수행할 수 있다.
특히, 와이파이 칩, 블루투스 칩 각각은 WiFi 방식, Bluetooth 방식으로 통신을 수행할 수 있다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
특히, 통신부(260)는 영상 분석을 위하여 외부의 서버와 통신을 수행할 수 있으며, 음악 작곡을 위하여 외부의 서버와 통신을 수행할 수 있다. 또한, 통신부(260)는 외부 장치와 통신을 수행하여 다양한 오디오 컨텐츠 및 영상 컨텐츠를 송수신할 수 있다. 또한, 통신부(260)는 영상에 대한 설명을 태깅하기 위해 외부 장치와 영상을 송수신할 수 있다.
입력부(290)는 다양한 사용자 명령을 입력받는다. 또한, 입력부(290)는 전자 장치(200)의 자세 변화, 조도 변화, 가속도 변화 등과 같은 다양한 변화들 중 적어도 하나를 검출하고, 그에 해당하는 전기적 신호를 제어부(290)로 전달할 수 있다. 즉, 입력부(290)는 전자 장치(200)를 기반으로 이루어지는 상태 변화를 감지하고, 그에 따른 감지 신호를 생성하여 제어부(290)로 전달할 수 있다.
본 발명의 일 실시예에서 입력부(290)는 다양한 센서들로 이루어질 수 있으며, 전자 장치(200) 구동 시(또는 사용자 설정 기반) 입력부(290)의 제어에 따라 설정된 적어도 하나의 센서에 전원이 공급되어 전자 장치(200)의 상태 변화를 감지할 수 있다. 이 경우, 입력부(290)는 다양한 센서들로 이루어질 수 있으며, 전자 장치(200)의 상태 변화를 검출할 수 있는 모든 형태의 센싱 디바이스(sensing device)들 중 적어도 하나의 디바이스를 포함하여 구성될 수 있다. 예를 들어, 입력부(290)는 터치 센서(Touch Sensor), 가속도 센서(Acceleration Sensor), 자이로 센서(Gyro Sensor), 조도 센서(illuminance sensor), 근접 센서(proximity sensor), 압력 센서(pressure sensor), 노이즈 센서(Noise Sensor)(예컨대, 마이크), 비디오 센서(Video Sensor)(예컨대, 카메라 모듈), 펜 감지 센서 그리고 타이머 등과 같은 다양한 센싱 디바이스들 중 적어도 하나의 센서를 포함하여 구성될 수 있다.
특히, 터치 입력부는 사용자의 손가락 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 입력부의 터치 패널은 디스플레이부(230)의 아래에 실장될 수 있다. 터치 입력부가 사용자의 손가락 입력을 감지하는 방식에는, 예로, 정전식 방식과 감압식 방식이 있을 수 있다. 정전식은 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 패널에 내장된 두 개의 전극 판을 포함하여, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다.
터치 입력부는 터치 센서로부터 사용자의 입력에 따른 출력 신호를 획득할 수 있다. 터치 입력부는 신호 값들로부터 터치 위치 또는 터치 좌표, 터치 개수, 터치 세기, 셀 ID, 터치 각도 또는 터치 면적 등의 사용자 입력 정보를 산출하고, 산출된 사용자 입력 정보를 이용하여 터치 입력의 종류를 결정할 수 있다. 이때, 터치 입력부는 터치 패널의 메모리(미도시)에 있는 터치 인식 알고리즘 및 터치 패턴 데이터 등을 이용하여 터치 입력의 종류를 결정할 수 있다. 터치 입력의 종류가 결정되면, 터치 입력부는 터치 입력의 종류에 관한 정보를 제어부(290)로 전송할 수 있다. 터치 입력부은 전술된 바와 같이 사용자에 의해 입력된 근접 터치 위치(또는 호버링 위치)를 감지할 수 있다.
이때, 제어부(290)가 터치 입력부의 기능의 일부를 대신할 수 있다. 예를 들어, 터치 입력부는 터치 센서로부터 획득한 신호 값 또는 신호 값으로부터 산출된 사용자 입력 정보를 제어부(290)로 전송할 수 있다. 제어부(290)는 수신된 신호 값 또는 사용자 입력 정보를 저장부(250)에 저장된 터치 인식 알고리즘 및 터치 패턴 데이터 등을 이용하여 터치 입력의 종류를 결정할 수 있다.
그밖에, 입력부(270)는 펜 입력부(예로, 펜 인식 패널)(미도시)를 더 포함할 수 있다. 펜 입력부는 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 사용자의 펜 입력을 감지하고, 펜 근접 이벤트 값 또는 펜 터치 이벤트 값을 출력할 수 있다. 펜 감지부는, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 펜 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널은 그리드 구조를 가지는 전자 유도 코일 센서와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부를 포함하여 구성될 수 있다. 이러한 펜 인식 패널의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다.
마이크(미도시)는 전자 장치(200)를 통하여 의료 기기를 제어하기 위한 사용자 음성(예로, 촬영 시작, 촬영 정지 또는 촬영 종료 등)을 수신할 수 있다.
햅틱 제공부(280)는 햅틱 피드백을 제공한다. 특히, 사용자가 디스플레이부(230)의 일 영역을 터치할 경우, 햅틱 제공부(280)는 사용자가 터치한 일 영역에 햅틱 피드백을 제공할 수 있다.
제어부(290)(또는, 프로세서)는 저장부(250)에 저장된 각종 프로그램을 이용하여 전자 장치(200)의 전반적인 동작을 제어할 수 있다.
제어부(290)는 RAM(291), ROM(292), 그래픽 처리부(293), 메인 CPU(294), 제1 내지 n 인터페이스(295-1 ~ 275-n), 버스(296)로 구성될 수 있다. 이때, RAM(291), ROM(292), 그래픽 처리부(293), 메인 CPU(294), 제1 내지 n 인터페이스(295-1 ~ 275-n) 등은 버스(296)를 통해 서로 연결될 수 있다.
RAM(291)은 O/S 및 어플리케이션 프로그램을 저장한다. 구체적으로, 전자 장치(200)가 부팅되면 O/S가 RAM(291)에 저장되고, 사용자가 선택한 각종 어플리케이션 데이터가 RAM(291)에 저장될 수 있다.
ROM(292)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(294)는 ROM(292)에 저장된 명령어에 따라 저장부(250)에 저장된 O/S를 RAM(291)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(294)는 저장부(250)에 저장된 각종 어플리케이션 프로그램을 RAM(291)에 복사하고, RAM(291)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(293)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이템, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 여기서, 연산부는 감지부(260)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산하는 구성일 수 있다. 그리고, 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성하는 구성이 일 수 있다. 이러한 렌더링부에서 생성된 화면은 디스플레이부(210)의 디스플레이 영역 내에 표시될 수 있다.
메인 CPU(294)는 저장부(250)에 액세스하여, 저장부(250)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(294)는 저장부(250)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(295-1 내지 275-n)는 상술한 각종 구성요소들과 연결된다. 제1 내지 n 인터페이스(295-1 내지 275-n) 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 제어부(290)는 영상 획득부(210)를 통해 획득된 영상을 복수의 영역으로 분할하고, 분할된 복수의 영역을 분석하며, 분석 결과를 바탕으로 복수의 영역에 대응되는 오디오 컨텐츠를 획득하고, 획득된 오디오 컨텐츠를 재생하도록 오디오 출력부(240)를 제어할 수 있다.
구체적으로, 제어부(290)는 영상 획득부(210)를 통해 획득된 영상을 디스플레이하도록 디스플레이부(230)를 제어한다.
그리고, 영상이 디스플레이되는 동안 현재 디스플레이되는 영상에 대응되는 오디오 컨텐츠를 작곡하기 위한 사용자 명령이 입력되면, 제어부(290)는 현재 디스플레이된 영상을 복수의 영역으로 분할할 수 있다. 이때, 제어부(290)는 영상의 픽셀 분석을 통해 하나의 영상 프레임을 복수의 영역으로 분할할 수 있다. 구체적으로, 제어부(290)는 영상 속에 포함된 오브젝트의 유형, 픽셀의 변화 등을 이용하여 영상 프레임을 복수의 영역으로 분할할 수 있다.
그리고, 제어부(290)는 복수의 영역을 분석하여 복수의 영역에 대응되는 오디오 컨텐츠를 획득할 수 있다.
본 발명의 일 실시예로, 제어부(290)는 분할된 복수의 영역 각각의 카테고리를 판단하고, 판단된 카테고리에 매핑된 오디오 컨텐츠를 검색하여 복수의 영역에 대응되는 오디오 컨텐츠를 획득할 수 있다. 이때, 제어부(290)는 저장부(250)에 저장된 오디오 컨텐츠를 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 외부의 서버로부터 오디오 컨텐츠를 획득할 수 있다.
예를 들어, 도 4a에 도시된 바와 같은 영상(410)이 획득된 경우, 제어부(290)는 픽셀 분석을 통해 영상(410)을 도 4b에 도시된 바와 같은 다섯 개의 영역(420-1 내지 420-5)로 분할할 수 있다. 이때, 제1 영역(420-1)은 하늘이 표시되는 영역, 제2 영역(420-2)은 나무가 표시되는 영역, 제3 영역(420-3)은 풀밭이 표시되는 영역, 제4 영역(420-4)은 나무가 표시되는 영역, 제5 영역(420-5)은 풀밭이 표시되는 영역일 수 있다. 그리고, 제어부(290)는 복수의 영역(420-1 내지 420-5)에 대한 카테고리를 결정할 수 있다. 구체적으로, 제어부(290)는 제1 영역(420-1)을 하늘 카테고리로 결정하고, 제2 영역(420-2) 및 제4 영역(420-4)을 풀밭 카테고리로 결정하고, 제3 영역(420-3) 및 제5 영역(420-5)을 나무 카테고리를 결정할 수 있다.
그리고, 제어부(290)는 저장부(250)에 저장된 오디오 컨텐츠 들 중 하늘 카테고리와 대응되는 제1 오디오 컨텐츠, 풀밭 카테고리와 대응되는 제2 오디오 컨텐츠 및 나무 카테고리에 대응되는 제3 오디오 컨텐츠를 결정할 수 있다. 이때, 제1 오디오 컨텐츠는 하늘을 연상할 수 있는 음악으로서, 예를 들어, 뉴에이지 장르의 "Flight of Fantasy" 등일 수 있다. 또한, 제2 오디오 컨텐츠는 풀밭을 연상할 수 있는 음악으로서, 예를 들어, 뉴 에이지 장르의 "Grass" 등일 수 있다. 또한, 제3 오디오 컨텐츠는 나무를 연상시킬 수 있는 음악으로서, 예를 들어, 뉴 에이지 장르의 "Look Down the Sea" 등일 수 있다.
그리고, 제어부(290)는 복수의 영역의 위치를 바탕으로 결정된 오디오 컨텐츠들을 위치를 결정하여 하나의 오디오 컨텐츠를 생성할 수 있다. 구체적으로, 제어부(290)는 가장 가깝게 위치한 영역 순서대로 오디오 컨텐츠의 위치를 결정할 수 있다. 예를 들어, 제어부(290)는 가장 가까이 위치하는 순서로서 제5 영역(420-5)에 대응되는 제3 오디오 컨텐츠, 제4 영역(420-4)에 대응되는 제2 오디오 컨텐츠, 제3 영역(420-3)에 대응되는 제3 오디오 컨텐츠, 제2 영역(420-2)에 대응되는 제2 오디오 컨텐츠, 제1 영역(420-1)에 대응되는 제1 오디오 컨텐츠 순으로 오디오 컨텐츠의 순서를 결정할 수 있다.
또한, 제어부(290)는 복수의 영역의 면적의 크기를 바탕으로 복수의 영역에 대응되는 오디오 컨텐츠의 재생 길이를 결정할 수 있다. 예를 들어, 도 4a에 대응되는 오디오 컨텐츠의 재생 시간이 총 4분인 경우, 제어부(290)는 가장 면적이 큰 제4 영역(420-4)에 대응되는 제2 오디오 컨텐츠의 재생 시간을 1분 30초, 제5 영역(420-5)에 대응되는 제3 오디오 컨텐츠의 재생 시간을 1분 20초, 제3 영역(420-3)에 대응되는 제3 오디오 컨텐츠의 재생 시간을 40초, 제1 영역(420-1)에 대응되는 제1 오디오 컨텐츠의 재생 시간을 20초, 제2 영역(420-2)에 대응되는 제2 오디오 컨텐츠의 재생 시간을 10초로 결정할 수 있다.
즉, 도 4a에 도시된 바와 같은 영상(410)이 획득된 경우, 제어부(290)는 제5 영역(420-5)에 대응되는 제3 오디오 컨텐츠의 1분 20초 분량의 오디오 컨텐츠, 제4 영역(420-4)에 대응되는 제2 오디오 컨텐츠의 1분 30초 분량의 오디오 컨텐츠, 제3 영역(420-3)에 대응되는 제3 오디오 컨텐츠의 40초 분량의 오디오 컨텐츠, 제2 영역(420-2)에 대응되는 제2 오디오 컨텐츠의 10초 분량의 오디오 컨텐츠, 제1 영역(420-1)에 대응되는 제1 오디오 컨텐츠의 20초 분량의 오디오 컨텐츠 순으로 오디오 컨텐츠를 결합하여 하나의 오디오 컨텐츠를 생성할 수 있다.
그리고, 제어부(290)는 생성된 오디오 컨텐츠를 재생하도록 오디오 출력부(240)를 제어할 수 있다.
한편, 상술한 실시예에서는 제어부(290)는 영역의 위치를 바탕으로 영역에 대응되는 오디오 컨텐츠의 순서를 결정하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 영역의 면적 크기 순서대로 오디오 컨텐츠의 위치를 결정할 수 있다. 예를 들어, 제어부(290)는 영역의 면적 순서대로 제4 영역(420-4)에 대응되는 제2 오디오 컨텐츠, 제5 영역(420-5)에 대응되는 제3 오디오 컨텐츠, 제3 영역(420-3)에 대응되는 제3 오디오 컨텐츠, 제1 영역(420-1)에 대응되는 제1 오디오 컨텐츠, 제2 영역(420-2)에 대응되는 제2 오디오 컨텐츠 순으로 오디오 컨텐츠의 순서를 결정할 수 있다.
본 발명의 다른 실시예로, 제어부(290)는 복수의 영역을 분석하여 분석된 영역에 대한 영상 파라미터를 산출할 수 있다. 이때, 영상 파라미터는 색상, 명암, 채도 등과 같은 다양한 파라미터로 구현될 수 있다. 그리고, 제어부(290)는 작곡 모듈을 이용하여 복수의 영역의 영상 파라미터를 바탕으로 복수의 영역에 대응되는 오디오 컨텐츠를 획득할 수 있다. 구체적으로, 제어부(290)는 복수의 영역의 영상 파라미터를 이용하여 대응되는 영역의 오디오 컨텐츠의 작곡 파라미터를 획득할 수 있다. 이때, 작곡 파라미터에는 스케일, 리듬형태, 가락, 화성, 형식, 셈 여림, 빠르기, 강약, 음색의 변화등이 포함될 수 있다. 구체적으로, 제어부(290)는 명도가 높을 수록 밝은 느낌으로 작곡하고, 명도가 낮을수록 어두운 느낌으로 작곡할 수 있다. 또한, 제어부(290)는 채도가 높을수록 고음을 활용하고, 채도가 낮을수록 저음을 활용할 수 있다. 또한, 색상이 따뜻한 색인 경우, 제어부(290)는 액티브한 이미지로 빠른 리듬 및 고음 위주로 음악을 작곡하며, 색상이 차가운 색일 경우, 제어부(290)는 차분한 느낌으로 느린 리듬과 저음 위주로 음악을 작곡할 수 있다. 또한, 제어부(290)는 아래의 표 1과 같이, 색상에 따라 다양한 음악적 표현을 이용하여 음악을 작곡할 수 있다.
색상 이미지 음악적 표현
빨강 정열적 빠른 음가, 뛰어다니는 음, 부점, 알레그로
노랑 명랑함 빠른 음가, 고음, 장조
녹색 편안함,안정적 느린 음가, 붙어다니는음, 안단테
파랑 차분함 4분음표, 단조
횐색 깨끗함 단조, 3박자
검정 어두움,우울함 단조 스케일
그리고, 제어부(290)는 작곡 파라미터를 이용하여 복수의 영역 각각에 대응되는 오디오 컨텐츠를 작곡하며, 작곡된 오디오 컨텐츠를 결합하여 영상에 대응되는 오디오 컨텐츠를 생성할 수 있다. 구체적으로, 제어부(290)는 제1 영역에 대응되는 제1 작곡 파라미터를 이용하여 제1 영역에 대응되는 제1 오디오 컨텐츠를 생성하며, 제2 영역에 대응되는 제2 작곡 파라미터를 이용하여 제2 영역에 대응되는 제2 오디오 컨텐츠를 생성할 수 있다. 그리고, 제어부(290)는 상술한 바와 같이, 영역의 크기 및 위치에 따라 재생 순서 및 재생 길이를 결정하여 제1 오디오 컨텐츠 및 제2 오디오 컨텐츠를 통해 하나의 오디오 컨텐츠를 생성할 수 있다.
그리고, 제어부(290)는 생성된 오디오 컨텐츠를 재생하도록 오디오 출력부(240)를 제어할 수 있다.
또한, 제어부(290)는 분할된 복수의 영역의 카테고리를 판단하고, 판단된 카테고리에 매핑된 작곡 파라미터를 이용하여 오디오 컨텐츠를 생성할 수 있다. 예를 들어, 도 5a에 도시된 바와 같은 영상(510)이 획득된 경우, 제어부(290)는 도 5b에 도시된 바와 같이, 영역을 제1 영역(520-1) 및 제2 영역(520-2)으로 분할할 수 있다. 이때, 제1 영역(520-1)은 하늘이 디스플레이된 영역(520-1)으로 면적은 60%를 차지하며, 제2 영역(520-2)은 바다가 디스플레이된 영역(520-2)으로 면적은 40%를 차지할 수 있다.
그리고, 제어부(290)는 제1 영역(520-1)에 대응되는 오디오 컨텐츠로 하늘 이미지에 대응되는 안정적인 분위기가 나도록 16분 음표를 연속 사용하고, 셋잇단음표 및 당김음을 이용하여 제1 오디오 컨텐츠를 획득할 수 있다. 그리고, 제어부(290)는 제2 영역(520-2)에 대응되는 오디오 컨텐츠로 바다 이미지에 대응되는 파도 소리의 분위기가 나도록 장 3도 및 당김음을 이용하여 제2 오디오 컨텐츠를 획득할 수 있다.
그리고, 제어부(290)는 복수의 영역의 위치를 바탕으로 결정된 오디오 컨텐츠들을 위치를 결정하여 하나의 오디오 컨텐츠를 생성할 수 있다. 구체적으로, 제어부(290)는 가장 가깝게 위치한 제2 영역(520-2)에 대응되는 제2 오디오 컨텐츠, 제1 영역(420-1)에 대응되는 제1 오디오 컨텐츠 순으로 오디오 컨텐츠의 순서를 결정할 수 있다.
그리고, 제어부(290)는 복수의 영역의 면적 크기를 바탕으로 복수의 영역에 대응되는 오디오 컨텐츠의 재생 길이를 결정할 수 있다. 예를 들어, 도 4a에 대응되는 오디오 컨텐츠의 재생 시간이 총 5분인 경우, 제어부(290)는 가장 면적이 큰 제1 영역(520-1)에 대응되는 제1 오디오 컨텐츠의 재생 시간을 3분, 제2 영역(520-2)에 대응되는 제2 오디오 컨텐츠의 재생 시간을 2분으로 결정할 수 있다.
즉, 도 5a에 도시된 바와 같은 영상(510)이 획득된 경우, 제어부(290)는 제2 영역(520-2)에 대응되는 제2 오디오 컨텐츠의 2분 분량의 오디오 컨텐츠, 제1 영역(520-1)에 대응되는 제1 오디오 컨텐츠의 3분 분량의 오디오 컨텐츠 순으로 오디오 컨텐츠를 결합하여 하나의 오디오 컨텐츠를 생성할 수 있다.
또한, 제어부(290)는 분할된 복수의 영역을 메인 영역 및 서브 영역으로 구분하며, 메인 영역을 이용하여 메인 오디오 컨텐츠를 생성하고, 서브 영역을 이용하여 서브 오디오 컨텐츠를 생성할 수 있다.
예를 들어, 도 6a에 도시된 바와 같은 영상(610)이 입력되면, 제어부(290)는 입력된 영상을 분석하여 제1 영역(620-1) 및 제2 영역(620-2)으로 분할할 수 있다. 이때, 제1 영역(620-1)은 사자가 디스플레이된 영역일 수 있으며, 제2 영역(620-2)은 풀밭이 디스플레이된 영역일 수 있다.
그리고, 제어부(290)는 오브젝트의 움직임, 영역의 크기 및 위치 등을 바탕으로 복수의 영역을 메인 영역 및 서브 영역으로 구분할 수 있다. 예를 들어, 제어부(290)는 움직이는 사자가 디스플레이된 제1 영역(620-1)을 메인 영역으로 결정하고, 배경인 풀밭이 디스플레이된 제2 영역(620-2)을 서브 영역으로 결정할 수 있다.
그리고, 제어부(290)는 메인 영역인 제1 영역(620-1)을 이용하여 상술한 바와 같은 방법으로 메인 오디오 컨텐츠를 생성하고, 서브 영역인 제2 영역(620-2)을 이용하여 서브 오디오 컨텐츠를 생성할 수 있다. 이때, 메인 오디오 컨텐츠는 서브 오디오 컨텐츠보다 재생 길이가 긴 오디오 컨텐츠일 수 있다. 또 다른 실시예에서는 메인 오디오 컨텐츠는 멜로디 라인의 오디오 컨텐츠이며, 서브 오디오 컨텐츠는 반주의 오디오 컨텐츠일 수 있다.
따라서, 제어부(290)는 메인 오디오 컨텐츠 및 서브 오디오 컨텐츠를 결합하여 하나의 오디오 컨텐츠를 생성할 수 있다.
또한, 복수의 영역 중 제1 영역에 사용자 터치 명령이 입력되면, 제어부(290)는 사용자 명령이 입력된 제1 영역의 영상을 분석하며, 분석 결과를 바탕으로 제1 영역에 대응되는 오디오 컨텐츠를 획득할 수 있다.
구체적으로, 도 7a에 도시된 바와 같은 영상(710)이 획득된 경우, 영상(710)은 도 7b에 도시된 바와 같이, 제1 영역 내지 제4 영역(720-1 내지 720-4)로 구분될 수 있다. 이때, 제1 영역(720-1)은 하늘이 디스플레이된 영역, 제2 영역(720-2)은 나무가 디스플레이된 영역, 제3 영역(720-3)은 건물이 디스플레이된 영역, 제4 영역(720-4)은 땅이 디스플레이된 영역일 수 있다.
그리고, 도 7c에 도시된 바와 같이, 제1 영역(720-1)을 터치하는 사용자 터치(730)가 입력되면, 제어부(290)는 사용자 터치(730)가 입력된 제1 영역(720-1)을 분석하여 제1 영역에 대응되는 오디오 컨텐츠를 생성할 수 있다. 예를 들어, 제어부(290)는 하늘이 디스플레이된 제1 영역(720-1)의 카테고리를 하늘 카테고리로 결정하고, 하늘 카테고리에 대응되는 제1 오디오 컨텐츠를 생성할 수 있다. 이때, 제1 영역(720-1)을 터치하는 사용자 터치가 입력되면, 제어부(290)는 제1 영역에 햅틱 피드백을 제공하도록 햅틱 제공부(280)를 제어할 수 있다.
또한, 제어부(290)는 복수의 영역 중 제1 영역에 포함된 오브젝트의 움직임을 판단하고, 제1 영역에 포함된 오브젝트의 움직임에 대응되는 정보를 포함하는 오디오 컨텐츠를 생성할 수 있다. 예를 들어, 도 8a 및 8b에 도시된 바와 같이, 영상 속에서 자동차(810)가 움직이는 경우, 제어부(290)는 움직이는 자동차에 대응되는 정보로서 경적 소리를 오디오 컨텐츠의 엘리먼트로 포함시켜 오디오 컨텐츠를 생성할 수 있다. 이로 인해, 사용자는 오디오 컨텐츠에 포함된 오디오 엘리먼트(예를 들어, 경적소리) 를 통해 현재 디스플레이되는 영상에 대한 정보를 더욱 직관적으로 확인할 수 있게 된다.
또한, 제어부(290)는 현재 복수의 영역에 포함된 오브젝트에 대응되는 소리를 오디오 엘리먼트로 추가하여 오디오 컨텐츠를 생성할 수 있다. 예를 들어, 영상에 포함된 오브젝트로, 갈매기, 파도가 포함된 경우, 제어부(290)는 오디오 엘리먼트로서 갈매기 소리, 파도 소리가 포함된 오디오 컨텐츠를 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(100)는 영상을 획득한다(S910). 이때, 전자 장치(100)는 카메라를 통해 영상을 촬영하거나 외부 장치로부터 영상을 수신할 수 있다.
그리고, 전자 장치(100)는 획득된 영상을 복수의 영역으로 분할하고, 복수의 영역을 분석한다(S920). 구체적으로, 전자 장치(100)는 획득된 영상을 픽셀 분석, 화면 카테고리화(scene categorization), 오브젝트 인식(object recognition) 등을 통해 복수의 영역으로 분할하고, 복수의 영역을 분석하여 복수의 영역의 영상 파라미터 또는 카테고리를 판단할 수 있다.
그리고, 전자 장치(100)는 분석 결과를 바탕으로 복수의 영역에 대응되는 오디오 컨텐츠를 획득한다(S930). 구체적으로, 전자 장치(100)는 복수의 영역의 영상 카테고리에 대응되는 오디오 컨텐츠를 검색하여 오디오 컨텐츠를 획득할 수 있다. 그리고, 전자 장치(100)는 복수의 영역의 영상 파라미터를 산출하고, 영상 파라미터에 대응되는 작곡 파라미터를 이용하여 오디오 컨텐츠를 획득할 수 있다.
그리고, 전자 장치(100)는 획득된 오디오 컨텐츠를 출력한다(S940).
상술한 바와 같이, 영상을 복수의 영역으로 분할하고, 분할된 복수의 영역에 대응되는 오디오 컨텐츠를 획득하며, 획득된 복수의 오디오 컨텐츠를 하나로 결합함으로써, 사용자는 현재 디스플레이되는 영상에 대한 분위기나 정보를 청각적인 형태의 오디오 컨텐츠를 통해 제공받을 수 있게 된다.
이하에서는 도 10 내지 도 22를 참조하여 본 발명의 또 다른 실시예인, 영상에 영역 안내 정보를 삽입하여 제공하는 실시예에 대해 설명하기로 한다.
도 10은 본 발명의 일 실시예에 따른, 정보 제공 시스템을 설명하기 위한 도면이다. 정보 제공 시스템은 도 10에 도시된 바와 같이, 전자 장치(1000-2) 및 외부 장치(1000-1)를 포함할 수 있다. 이때, 외부 장치(1000-1)는 및 전자 장치(1000-2)는 스마트 폰일 수 있으나, 이는 일 실시예에 불과할 뿐, 태블릿 PC, 스마트 TV 등과 같이 다른 전자 장치로 구현될 수 있다.
한편, 본 발명의 일 실시예에서 외부 장치(1000-1)는 시각 장애인이 사용하는 스마트 폰일 수 있으며, 전자 장치(1000-2)는 봉사자가 사용하는 스마트 폰일 수 있다.
구체적으로, 시각 장애인이 사용하는 외부 장치(1000-1)는 사용자의 명령에 따라 영상을 획득하고, 획득된 영상을 전자 장치(1000-2)로 전송한다. 이때, 외부 장치(1000-1)는 동영상을 전송할 수 있다. 한편, 외부 장치(1000-1)는 획득된 동영상의 모든 프레임을 전송할 수 있으나, 이는 일 실시예에 불과할 뿐, 획득된 영상의 키 프레임만을 전송할 수 있다.
전자 장치(1000-2)는 수신된 영상에 영역 안내 정보를 삽입하고, 영역 안내 정보가 삽입된 영상을 다시 외부 장치(1000-1)에 전송할 수 있다. 구체적으로, 전자 장치(1000-2)는 봉사자에 의해 입력된 영역 안내 정보를 영상에 삽입할 수 있다. 또한, 전자 장치(1000-2)는 수신된 영상을 분석하여 영역 안내 정보를 영상에 삽입할 수 있다. 이때, 영역 안내 정보는 영상에 포함된 적어도 하나의 영역을 설명해 주는 정보로서 오디오 데이터 형식의 정보일 수 있으나, 이는 일 실시예에 불과할 뿐, 진동, 향기, 텍스트 등과 같은 다양한 형태의 정보일 수 있다.
그리고, 외부 장치(1000-1)는 영역 안내 정보가 삽입된 영상을 재생할 수 있다.
이하에서는 도 11a 내지 18을 참조하여 본 발명의 다양한 실시예에 따른, 전자 장치(1000-2)가 영역 안내 정보를 삽입하는 방법에 대해 더욱 상세히 설명하기로 한다.
본 발명의 일 실시예에 따르면, 외부 장치(1000-1)는 동영상 데이터를 획득할 수 있다. 이때, 외부 장치(1000-1)는 카메라를 통해 동영상 데이터를 획득할 수 있으며, 외부로부터 동영상 데이터를 수신할 수 있다.
그리고, 외부 장치(1000-1)는 획득된 동영상 데이터를 전자 장치(1000-2)로 전송할 수 있다. 이때, 외부 장치(1000-1)는 획득된 동영상 데이터의 전체 프레임을 전송할 수 있으나, 이는 일 실시예에 불과할 뿐, 동영상 데이터의 전체 프레임 중 키 프레임들만 전송할 수 있다. 이때, 키 프레임이라 함은 유사한 장면을 제공하는 복수의 프레임 중 하나를 의미할 수 있다.
전자 장치(1000-2)는 전송된 동영상 데이터를 디스플레이할 수 있다. 그리고, 동영상 데이터가 디스플레이되는 동안 사용자 명령이 입력되고, 영역 안내 정보에 대응되는 사용자 음성이 입력되면, 전자 장치(1000-2)는 사용자 명령에 따라 동영상 데이터 중 적어도 일부 프레임에 사용자 음성에 대응되는 영역 안내 정보를 삽입할 수 있다. 예를 들어, 동영상 데이터 중 제1 장면이 디스플레이되는 동안 사용자 명령이 입력되고, 제1 장면에 영역 안내 정보를 삽입하기 위해 봉사자의 제1 음성(예를 들어, "이 장면은 꽃과 풍차가 있습니다."라는 음성)이 입력되는 경우, 전자 장치(1000-2)는 제1 장면에 봉사자의 제1 음성을 영역 안내 정보로서 삽입할 수 있다. 이때, 전자 장치(1000-2)는 제1 장면에 봉사자의 제1 음성에 대한 음성 데이터를 태깅함으로써, 동영상 데이터에 영역 안내 정보를 삽입할 수 있다. 또한, 동영상 데이터 중 제2 프레임이 디스플레이되는 동안 사용자 명령이 입력되고, 제2 장면에 영역 안내 정보를 삽입하기 위한 봉사자의 제2 음성(예를 들어, "이 장면은 바다와 하늘이 있습니다."라는 음성)이 입력되는 경우, 전자 장치(1000-2)는 제2 장면에 봉사자의 제2 음성에 대응되는 데이터를 태깅함으로써, 제2 장면에 봉사자의 제2 음성을 삽입할 수 있다. 이로 인해, 시각 장애인은 해당 장면이 디스플레이되는 동안 영역 안내 정보를 통해 해당 프레임의 내용이나 분위기를 확인할 수 있게 된다.
한편, 전자 장치(1000-2)는 동영상 데이터에서 사용자가 입력하고자 하는 장면과 영역 안내 정보를 동기화하여 삽입할 수 있다. 특히, 전자 장치(1000-2)는 삽입될 영역 안내 정보의 삽입 위치를 변경하여 사용자가 입력하고자 하는 장면과 영역 안내 정보를 동기화할 수 있다.
구체적으로, 도 11a에 도시된 바와 같이, 동영상 데이터로서, 장면 A에 대한 영상 프레임으로 제1 프레임 내지 제4 프레임(1110-1 내지 1110-4) 및 장면 B에 대한 영상 프레임으로 제5 프레임 내지 제 6 프레임(1120-1 및 1120-2)이 수신된 경우, 전자 장치(1000-2)는 사용자의 명령에 따라 제2 프레임(1110-2)을 영역 안내 정보를 삽입할 키프레임으로 결정할 수 있다.
그리고, 전자 장치(1000-2)는 사용자 음성에 의해 제2 프레임(1110-2)부터 제5 프레임(1120-1)까지 재생될 오디오 형태의 영역 안내 정보를 삽입할 수 있다. 이때, 영역 안내 정보가 제5 프레임(1120-1)까지 제공될 경우, 현재 디스플레이되는 장면과 오디오 형태의 영역 안내 정보가 불일치하는 현상이 발생할 수 있다. 즉, 도 11a에 도시된 바와 같이, 장면 B인 제5 프레임(1120-1)이 디스플레이되는 동안 장면 A에 대한 영역 안내 정보가 출력되는 미스매치 현상이 발생하게 된다.
따라서, 전자 장치(1000-2)는 도 11b에 도시된 바와 같이, 오디오 형태의 영역 안내 정보를 장면 A에 포함된 제1 프레임(1110-1)부터 시작하도록 영역 안내 정보를 영상에 동기화시킬 수 있다.
또한, 전자 장치(1000-2)는 복사 프레임을 이용하여 사용자가 입력하고자 하는 장면과 영역 안내 정보를 동기화할 수 있다.
구체적으로, 도 12a에 도시된 바와 같이, 동영상 데이터로서, 장면 A에 대한 영상 프레임으로 제1 프레임 내지 제3 프레임(1210-1 내지 1210-3) 및 장면 B에 대한 영상 프레임으로 제4 프레임 내지 제 6 프레임(1220-1 및 1220-3)이 수신된 경우, 전자 장치(1000-2)는 사용자의 명령에 따라 제2 프레임(1210-2)을 영역 안내 정보를 삽입할 키프레임으로 결정할 수 있다.
그리고, 전자 장치(1000-2)는 사용자 음성에 따라 제2 프레임(1210-2)부터 제5 프레임(1220-2)까지 재생될 오디오 형태의 영역 안내 정보를 삽입할 수 있다. 이때, 영역 안내 정보가 제5 프레임(1220-2)까지 제공될 경우, 현재 디스플레이되는 장면과 오디오 형태의 영역 안내 정보가 불일치하는 현상이 발생할 수 있다. 또한, A 장면에 대한 영역 안내 정보가 제공되는 재생 시간이 4 프레임 구간인 경우, A 장면에 대응되는 3 프레임 구간을 초과하여 영역 안내 정보가 제공되는 문제점이 발생한다.
따라서, 전자 장치(1000-2)는 도 12b에 도시된 바와 같이, 오디오 형태의 영역 안내 정보를 장면 A에 포함된 제1 프레임(1210-1)부터 시작하도록 설정하고, 제3 프레임(1210-3)을 복사한 제7 프레임(1230-1)을 제3 프레임(1210-3) 및 제4 프레임(1220-1) 사이에 삽입할 수 있다. 이에 의해, 전자 장치(1000-2)가 A 장면에 대한 영역 안내 정보를 A 장면과 동기화시켜 재생할 수 있게 된다.
또 다른 실시예에 따르면, 도 13a에 도시된 바와 같이, 동영상 데이터로서, 장면 A에 대한 영상 프레임으로 제1 프레임 및 제2 프레임(1310-1 내지 1310-2), 장면 B에 대한 영상 프레임으로 제3 프레임 내지 제 6 프레임(1320-1 및 1320-4)이 수신된 경우, 전자 장치(1000-2)는 사용자의 명령에 따라 제2 프레임(1310-2)을 영역 안내 정보를 삽입할 키프레임으로 결정할 수 있다.
그리고, 전자 장치(1000-2)는 사용자 음성에 따라 제2 프레임(1310-2)부터 제5 프레임(1320-3)까지 재생될 오디오 형태의 영역 안내 정보를 삽입할 수 있다. 이때, 영역 안내 정보가 제5 프레임(1320-3)까지 제공될 경우, 현재 디스플레이되는 장면과 오디오 형태의 영역 안내 정보가 불일치하는 현상이 발생할 수 있다. 또한, A 장면에 대한 영역 안내 정보가 제공되는 재생 시간이 4 프레임 구간이므로, A 장면에 대응되는 2 프레임 구간을 초과하여 영역 안내 정보가 제공되는 문제점이 발생한다.
따라서, 전자 장치(1000-2)는 도 13b에 도시된 바와 같이, 오디오 형태의 영역 안내 정보를 장면 A에 포함된 제1 프레임(1310-1)부터 시작하도록 설정하고, 제1 프레임(1310-1)을 복사한 제7 프레임(1330-1)을 제1 프레임(1310-1) 및 제2 프레임(1310-2) 사이에 삽입하고, 제2 프레임(1310-2)을 복사한 제8 프레임(1330-2)을 제2 프레임(1310-2) 및 제 3 프레임(1320-1) 사이에 삽입할 수 있다. 이에 의해, 전자 장치(1000-2)가 A 장면에 대한 영역 안내 정보를 A 장면과 동기화시켜 재생할 수 있게 된다.
또한, 전자 장치(1000-2)는 보간 프레임을 이용하여 사용자가 입력하고자 하는 장면과 영역 안내 정보를 동기화할 수 있다.
구체적으로, 도 14a에 도시된 바와 같이, 동영상 데이터로서, 장면 A에 대한 영상 프레임으로 제1 프레임 내지 제3 프레임(1410-1 내지 1410-3) 및 장면 B에 대한 영상 프레임으로 제4 프레임 내지 제 6 프레임(1420-1 및 1420-3)이 수신된 경우, 전자 장치(1000-2)는 사용자의 명령에 따라 제2 프레임(1410-2)을 영역 안내 정보를 삽입할 키프레임으로 결정할 수 있다.
그리고, 전자 장치(1000-2)는 사용자 음성에 따라 제2 프레임(1410-2)부터 제6 프레임(1420-3)까지 재생될 오디오 형태의 영역 안내 정보를 삽입할 수 있다. 이때, 영역 안내 정보가 제6 프레임(1420-3)까지 제공될 경우, 현재 디스플레이되는 장면과 오디오 형태의 영역 안내 정보가 불일치하는 현상이 발생할 수 있다. 또한, A 장면에 대한 영역 안내 정보가 제공되는 재생 시간이 5 프레임 구간인 경우, A 장면에 대응되는 3 프레임 구간을 초과하여 영역 안내 정보가 제공되는 문제점이 발생한다.
따라서, 전자 장치(1000-2)는 도 14b에 도시된 바와 같이, 오디오 형태의 영역 안내 정보를 장면 A에 포함된 제1 프레임(1210-1)부터 시작하도록 설정하고, 제1 프레임(1410-1) 및 제2 프레임(1410-2)을 보간한 제7 프레임(1430-1)을 제1 프레임(1410-1) 및 제4 프레임(1410-2) 사이에 삽입하고, 제2 프레임(1410-2) 및 제3 프레임(1410-3)을 보간한 제8 프레임(1430-2)을 제2 프레임(1410-2) 및 제3 프레임(1410-3) 사이에 삽입할 수 있다. 이때, 보간 프레임들은 보간 프레임을 생성하기 위해 이용되는 두 프레임의 모션 벡터, 픽셀 변화등을 이용하여 생성될 수 있다. 이에 의해, 전자 장치(1000-2)가 A 장면에 대한 영역 안내 정보를 A 장면과 동기화시켜 재생할 수 있게 될 뿐만 아니라, 자연스럽게 A 장면의 프레임 수를 늘릴 수 있게 된다.
그리고, 전자 장치(1000-2)는 영상과 동기화된 영역 안내 정보를 영상에 삽입하여 외부 장치(1000-1)에 전송할 수 있게 된다.
한편, 상술한 실시예에서는 영역 안내 정보가 오디오 형태의 정보인 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 텍스트, 향기, 진동과 같은 다양한 형태의 정보로 구현될 수 있다.
본 발명의 또 다른 실시예에 따르면, 외부 장치(1000-1)는 동영상 데이터를 획득할 수 있다. 이때, 외부 장치(1000-1)는 카메라를 통해 동영상 데이터를 획득할 수 있으며, 외부로부터 동영상 데이터를 수신할 수 있다.
그리고, 외부 장치(1000-1)는 획득된 동영상 데이터를 전자 장치(1000-2)로 전송할 수 있다. 이때, 외부 장치(1000-1)는 획득된 동영상 데이터의 전체 프레임을 전송할 수 있으나, 이는 일 실시예에 불과할 뿐, 동영상 데이터의 전체 프레임 중 키 프레임들만 전송할 수 있다. 이때, 키 프레임이라 함은 유사한 장면을 제공하는 복수의 프레임 중 하나를 의미할 수 있다.
전자 장치(1000-2)는 전송된 동영상 데이터를 디스플레이할 수 있다. 그리고, 동영상 데이터가 디스플레이되는 동안 사용자 명령이 입력되면, 전자 장치(1000-2)는 외부 장치(1000-1)로부터 수신된 영상을 복수의 영역으로 분할하고, 분할된 복수의 영역을 분석하여 복수의 영역에 대응되는 영역 안내 정보를 생성하며, 획득된 영역 안내 정보를 영상에 삽입하여 외부 장치(1000-1)로 전송할 수 있다.
특히, 전자 장치(1000-2)는 OCR을 이용하여 수신된 영상에 포함된 텍스트를 인식하거나 영상에 대응되는 카테고리를 분석할 수 있다.
구체적으로, 도 15a에 도시된 바와 같은 영상(1510)을 수신한 경우, 전자 장치(1000-2)는 픽셀 분석을 이용하여 수신된 영상(1510)을 제1 영역 내지 제6 영역(1520-1 내지 1520-6)으로 분할할 수 있다. 이때, 제1 영역(1520-1)에는 하늘이 디스플레이되고, 제2 영역(1520-2)에는 공원이 디스플레이되며, 제3 영역(1520-3) 및 제5 영역(1520-5)에는 자동차가 디스플레이되며, 제4 영역(1520-4)에는 도로가 디스플레이되며, 제6 영역(1520-6)에는 건물이 디스플레이되어 있다.
그리고, 전자 장치(1000-2)는 픽셀 분석을 통해 영상에 대응되는 카테고리를 분석할 수 있다. 즉, 전자 장치(1000-2)는 픽셀 분석을 통해 제1 영역(1520-1)을 하늘 카테고리로 결정할 수 있고, 제2 영역(1520-2)을 공원 카테고리로 결정할 수 있으며, 제3 영역(1520-3) 및 제5 영역(1520-5)을 자동차 카테고리로 결정할 수 있고, 제4 영역(1520-4)을 도로 카테고리로 결정할 수 있으며, 제6 영역(1520-6)을 건물 카테고리로 결정할 수 있다.
그리고, 전자 장치(1000-2)는 결정된 카테고리를 바탕으로 영역 안내 정보를 삽입할 수 있다. 구체적으로, 도 15a에 도시된 바와 같은 영상(1510)이 입력된 경우, 전자 장치(1000-2)는 복수의 영역의 위치에 따라 "이 장면은 하늘 아래, 공원과 건물이 배치되어 있고, 길이 위치하며, 길에는 자동차가 있습니다."라는 영역 안내 정보를 생성하여 영상(1510)에 태깅할 수 있다.
또한, 전자 장치(1000-2)는 사용자 입력에 따라 영상을 복수의 영역으로 분할할 수 있다. 구체적으로, 도 16a와 같은 영상이 수신된 경우, 건물 위치를 드래그하는 사용자 명령 및 꽃밭 위치를 드래그하는 사용자 명령이 입력되면, 전자 장치(1000-2)는 제1 영역으로서 건물이 위치하는 영역(1610)을 설정하고, 제2 영역으로서, 꽃밭이 위치하는 영역(1620)을 설정할 수 있다.
그리고, 전자 장치(1000-2)는 제1 영역 (1610) 및 제2 영역(1620)을 분석하여 제1 영역(1610) 및 제2 영역(1620)에 대응되는 카테고리를 결정할 수 있다. 예를 들어, 전자 장치(1000-2)는 제1 영역(1610)의 카테고리를 건물 카테고리로 결정하고, 제2 영역(1620)의 카테고리를 꽃 카테고리로 결정할 수 있다.
그리고, 전자 장치(1000-2)는 결정된 카테고리를 바탕으로 "이 장면은 건물이 있습니다. 그리고, 이 장면은 꽃밭이 있습니다."라는 영역 안내 정보를 영상에 삽입할 수 있다. 이때, 영역 안내 정보는 TTS(Text-to-speech)를 이용하여 생성된 오디오 형태의 정보일 수 있으나, 이는 일 실시예에 불과할 뿐, 텍스트 정보일 수 있다. 영역 안내 정보가 텍스트 정보인 경우, 전자 장치(1000-2)는 영상의 일 영역에 텍스트 정보를 삽입하고, 텍스트 정보가 삽입된 영상을 외부 장치(1000-1)로 전송할 수 있다.
또 다른 실시예로, 도 16b와 같은 영상이 수신된 경우, "CCC 치과"가 디스플레이한 영역을 터치하는 사용자 명령이 입력되면, 전자 장치(1000-2)는 제1 영역으로서, CCC 치과의 간판이 디스플레이된 영역을 설정할 수 있다.
그리고, 전자 장치(1000-2)는 제1 영역(1630)에 디스플레이된 텍스트를 OCR 인식을 통해 분석할 수 있다. 예를 들어, 전자 장치(1000-2)는 OCR 인식을 통해 제1 영역(1630)에 "CCC 치과"라는 텍스트가 존재함으로 확인할 수 있다.
그리고, 전자 장치(1000-2)는 결정된 텍스트를 바탕으로 "이 장면은 CCC 치과가 있습니다."라는 영역 안내 정보를 영상에 삽입할 수 있다. 이때, 영역 안내 정보는 TTS를 이용하여 생성된 오디오 형태의 정보일 수 있으나, 이는 일 실시예에 불과할 뿐, 텍스트 정보일 수 있다. 영역 안내 정보가 텍스트 정보인 경우, 전자 장치(1000-2)는 영상의 일 영역에 텍스트 정보를 삽입하고, 텍스트 정보가 삽입된 영상을 외부 장치(1000-1)로 전송할 수 있다.
또한, 전자 장치(1000-2)는 수신된 영상을 복수의 영역으로 분할하지 않고, 하나의 화면에 대한 영역 안내 정보를 삽입할 수 있으며, 복수의 영역에 대응되는 영역 안내 정보를 영역의 위치와 함께 삽입할 수 있다.
구체적으로, 도 17a에 도시된 바와 같은 영상(1710)이 수신되면, 전자 장치(1000-2)는 영상(1710)을 복수의 영역으로 분할하지 않고, 하나의 영상(1710)을 분석하여 하나의 영상(1710)에 대한 영역 안내 정보를 삽입할 수 있다. 예를 들어, 전자 장치(1000-2)는 "이 장면은 수잔의 생일 파티 화면입니다."라는 영역 안내 정보를 영상(1710)에 삽입할 수 있다.
또한, 도 17b에 도시된 같은 영상이 수신되면, 전자 장치(1000-2)는 화면을 여섯 개의 영역(1720-1 내지 1720-6)으로 구분하고, 구분된 여섯 개의 영역(1720-1)에 대한 영역 안내 정보와 대응되는 위치 정보를 함께 삽입할 수 있다. 이때, 제1 영역(1720-1)은 왼쪽 위이며, 제2 영역(1720-2)는 중앙 위이며, 제3 영역(1720-3)은 오른쪽 위이며, 제4 영역(1720-4)은 왼쪽 아래이며, 제5 영역(1720-5)는 중앙 아래이며, 제6 영역(1720-6)은 오른쪽 아래이다. 예를 들어, 전자 장치(1000-2)는 도 17b의 영상을 분석하여 "이 장면의 왼쪽 위에는 하늘이 있고, 중앙 위에는 건물이 있으며, 오른쪽 위에는 나무가 있고, 왼쪽 아래, 중앙 아래, 왼쪽 아래에는 꽃밭이 있습니다."라는 영역 안내 정보를 영상에 삽입할 수 있다.
또한, 전자 장치(1000-2)는 영역 안내 정보와 화면을 동기화하기 위하여, 도 11a 내지 도 14b에서 설명한 바와 같이, 영역 안내 정보가 삽입될 시작 위치를 변경할 수 있다. 또한, 영상의 재생 길이보다 영역 안내 정보의 재생 길이가 긴 경우, 전자 장치(1000-2)는 도 12a 내지 도 14b에서 설명한 바와 같이, 영상에 복사 프레임 및 보간 프레임 중 적어도 하나를 삽입할 수 있다.
그리고, 전자 장치(1000-2)는 상술한 바와 같은 다양한 방법에 의해 생성된 영역 안내 정보를 영상에 부가하여 외부 장치(1000-1)로 전송할 수 있다.
외부 장치(1000-1)는 영역 안내 정보가 삽입된 영상을 제공받을 수 있게 된다. 이때, 외부 장치(1000-1)를 사용하는 시각 장애인은 오디오 형태의 영역 안내 정보가 삽입된 영상을 제공받을 수 있게 되어, 영상을 더욱 직관적으로 확인할 수 있게 된다.
이때, 외부 장치(1000-1)는 영상과 함께 영상 전체에 대한 영역 안내 정보를 출력할 수 있으나, 이는 일 실시예에 불과할 뿐, 사용자 명령에 따라 일부 영역에 대한 영역 안내 정보만을 사용자에게 제공할 수 있다. 예를 들어, 도 16a에서 설명한 바와 같은 방법으로 영역 안내 정보가 삽입된 영상이 수신된 경우, 도 17c에 도시된 바와 같이, 영상의 제2 영역(1730-2)을 터치하는 사용자 명령이 입력되면, 외부 장치(1000-1)는 영역 안내 정보가 입력된 영역에 대한 햅틱 피드백을 제공하고, 사용자 명령이 입력된 영역에 대한 영역 안내 정보(예를 들어, "이 장면은 꽃밭이 있습니다.")를 제공할 수 있다.
한편, 상술한 실시예에서는 하나의 외부 장치(1000-1)가 하나의 전자 장치(1000-2)로 영상을 전송하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 하나의 외부 장치(1000-1)가 영상을 분할하여 복수의 전자 장치로 영상을 전송할 수 있다. 예를 들어, 도 18에 도시된 바와 같이, 영상에 텍스트가 많은 경우, 하나의 전자 장치(1000-2)가 영상을 분석하면, 시간이 오래 걸리는 단점이 존재한다. 따라서, 외부 장치(1000-1)는 영상을 제1 영역 내지 제4 영역(1810 내지 1840)으로 분할하고, 분할된 제1 영역 내지 제4 영역(1810 내지 1840)을 각각 제1 전자 장치 내지 제4 전자 장치로 전송할 수 있다. 그리고, 외부 장치(1000-1)는 각각의 전자 장치로부터 영역 안내 정보가 삽입된 영상을 수신하여 이를 결합하고, 결합된 영상을 재생할 수 있다. 즉, 외부 장치(1000-1)는 영상 전체에 대한 영역 안내 정보가 삽입된 영상을 제공받을 수 있게 된다.
도 19는 본 발명의 다른 실시예에 따른, 전자 장치(1000-2)의 제어 방법을 설명하기 위한 흐름도이다.
우선, 전자 장치(1000-2)는 외부 장치(1000-1)로부터 영상을 수신한다(S1910). 이때, 전자 장치(1000-2)는 외부 장치(1000-1)로부터 영상 전체를 수신할 수 있으나, 이는 일 실시예에 불과할 뿐, 영상에 포함된 장면의 키프레임만을 수신할 수 있다.
그리고, 전자 장치(1000-2)는 수신된 영상을 복수의 영역으로 분할하고, 복수의 영역을 분석한다(S1920). 이때, 전자 장치(1000-2)는 OCR 인식을 이용하여 영역 속에 포함된 텍스트를 검출하거나 픽셀 분석을 통해 영역에 대응되는 카테고리를 결정할 수 있다.
그리고, 전자 장치(1000-2)는 분석 결과를 바탕으로 복수의 영역에 대응되는 영역 안내 정보를 생성한다(S1930).
그리고, 전자 장치(1000-2)는 생성된 영역 안내 정보를 외부 장치(1000-1)로 전송한다(S1940). 이때, 전자 장치(1000-2)는 영역 안내 정보를 영상에 삽입하여 외부 장치(1000-1)로 전송할 수 있으나, 이는 일 실시예에 불과할 뿐, 영역 안내 정보만을 외부 장치(1000-1)로 전송할 수 있다.
도 20은 본 발명의 다른 실시예에 따른, 전자 장치(1000-2)가 자동으로 영상을 분석하여 영역 안내 정보가 삽입된 영상을 제공하는 정보 제공 시스템의 제어 방법을 설명하기 위한 시퀀스 도이다.
우선, 외부 장치(1000-1)는 영상을 획득한다(S2010). 이때, 외부 장치(1000-1)는 카메라를 통해 영상을 촬영하여 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 장치로부터 영상을 획득할 수 있다.
그리고, 외부 장치(1000-1)는 획득된 영상을 전자 장치(1000-2)로 전송한다(S2020).
그리고, 전자 장치(1000-2)는 영상을 복수의 영역으로 분할하고(S2030), 복수의 영역을 분석한다(S2040). 이때, 전자 장치(1000-2)는 다양한 픽셀 분석 및 OCR 인식 등과 같은 다양한 방법을 통해 복수의 영역에 대응되는 카테고리를 결정하거나 복수의 영역에 포함된 텍스트를 인식할 수 있다.
그리고, 전자 장치(1000-2)는 분석 결과를 바탕으로 영역 안내 정보를 생성한다(S2050). 구체적으로, 전자 장치(1000-2)는 복수의 영역 각각에 대응되는 카테고리 또는 복수의 영역 내에 포함된 텍스트를 바탕으로 영역 안내 정보를 제공할 수 있다. 이때, 영역 안내 정보는 대응되는 영역의 위치 정보를 함께 포함할 수 있다. 또한, 영역 안내 정보는 오디오 형태의 정보일 수 있으나, 이는 일 실시예에 불과할 뿐, 텍스트, 소리, 진동과 같은 다양한 형태의 정보일 수 있다.
그리고, 전자 장치(1000-2)는 영역 안내 정보가 추가된 영상을 외부 장치(1000-1)로 전송한다(S2060).
그리고, 전자 장치(1000-2)는 영역 안내 정보가 추가된 영상을 재생한다(S2070).
도 21은 본 발명의 다른 실시예에 따른, 봉사자에 의해 입력된 오디오 데이터가 삽입된 영상을 제공하는 정보 제공 시스템의 제어 방법을 설명하기 위한 시퀀스 도이다.
우선, 외부 장치(1000-1)는 영상을 획득한다(S2110). 이때, 외부 장치(1000-1)는 카메라를 통해 영상을 촬영하여 획득할 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 장치로부터 영상을 획득할 수 있다.
그리고, 외부 장치(1000-1)는 획득된 영상을 전자 장치(1000-2)로 전송한다(S2120).
그리고, 전자 장치(1000-2)는 사용자 인증을 수행한다(S2130). 이때, 외부 장치(1000-1)가 제공하는 영상은 개인 정보가 포함될 가능성이 높으므로, 보안 강화를 위하여 사용자 인증이 수행될 수 있다. 이때, 사용자 인증은 ID/PW 인증, 지문 인증, 홍채 인증 등과 같은 다양한 인증방법이 포함될 수 있다.
그리고, 전자 장치(1000-2)는 영상에 오디오 데이터를 추가한다(S2140). 이때, 전자 장치(1000-2)는 봉사자의 음성을 직접 녹음하여 오디오 데이터로 추가할 수 있으나, 이는 일 실시예에 불과할 뿐, 봉사자가 입력한 텍스트를 TTS 변환을 통해 오디오 데이터로 추가할 수 있다.
그리고, 전자 장치(1000-2)는 오디오 데이터가 추가된 영상을 외부 장치(1000-1)에 전송한다(S2150).
그리고, 외부 장치(1000-1)는 사용자 인증을 수행한다(S2160). 이 역시 보안 강화를 위해 수행되는 과정이다.
그리고, 외부 장치(1000-1)는 오디오 데이터가 추가된 영상을 재생한다(S2170).
그리고, 외부 장치(1000-1)는 확인 메시지를 전자 장치(1000-2)에 전송하며(S2180), 전자 장치(1000-2)는 확인 메시지에 응답하여 영상을 삭제한다(S2190).
도 22는 본 발명의 제2 실시예에 따른, 전자 장치(1000-2)의 구성을 나타내는 블록도이다. 도 22에 도시된 바와 같이, 전자 장치(1000-2)는 통신부(2210) 및 제어부(2220)를 포함한다.
통신부(2210)는 외부 장치(1000-1)와 통신을 수행한다. 이때, 통신부(2210)는 외부 장치(1000-1)로부터 영상을 수신할 수 있으며, 외부 장치(1000-1)에게 영역 안내 정보가 삽입된 영상을 전송할 수 있다.
제어부(2220)는 전자 장치(1000-2)의 전반적인 동작을 제어한다. 특히, 제어부(2220)는 통신부(2210)를 통해 수신된 영상을 복수의 영역으로 분할하고, 분할된 복수의 영역을 분석하여 복수의 영역에 대응되는 영역 안내 정보를 생성하며, 획득된 영역 안내 정보를 외부 장치(1000-1)로 전송하도록 통신부(2210)를 제어할 수 있다.
이때, 제어부(2220)는 외부 장치(1000-1)로부터 영상의 모든 프레임을 수신한 후, 키프레임을 선택하여 복수의 영역으로 분할할 수 있으나, 이는 일 실시예에 불과할 뿐, 외부 장치로부터 영상의 키프레임만을 수신하고, 수신된 키프레임을 복수의 영역으로 분할하여 분석할 수 있다.
또한, 제어부(2220)는 OCR을 이용하여 수신된 영상에 포함된 텍스트를 인식하거나 픽셀 분석을 통해 영상에 대응되는 카테고리를 분석할 수 있다.
또한, 제어부(2220)는 영역 안내 정보와 대응되는 화면을 동기화하여 제공할 수 있다. 특히, 영상의 재생 길이보다 영역 안내 정보의 재생 길이가 긴 경우, 제어부(2220)는 도 12a 내지 도 14b에서 설명한 바와 같이, 영상에 복사 프레임 및 보간 프레임 중 적어도 하나를 삽입할 수 있다.
또한, 수신된 영상 중 제1 영역을 터치하는 사용자 명령이 입력되면, 제어부(2220)는 사용자 명령이 입력된 제1 영역을 분석하고, 분석 결과를 바탕으로 제1 영역에 대응되는 영역 안내 정보를 생성하여 영상에 삽입할 수 있다.
또한, 제어부(2220)는 획득된 영역 안내 정보와 함께 대응되는 영역의 위치를 함께 전송하도록 통신부(2210)를 제어할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 따라, 시각 장애인은 영역 안내 정보를 통해 영상 컨텐츠에 대한 직관적인 정보를 제공받을 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 전자 장치의 제어 방법은 프로그램으로 구현되어 디스플레이 장치 또는 입력 장치에 제공될 수 있다. 특히, 디스플레이 장치의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110, 210: 영상 획득부 120, 240: 오디오 출력부
130, 290: 제어부 220: 영상 처리부
230: 디스플레이부 250: 저장부
260: 통신부 270: 입력부
280: 햅틱 제공부

Claims (30)

  1. 전자 장치에 있어서,
    영상을 획득하는 영상 획득부;
    오디오 컨텐츠를 재생하는 오디오 출력부; 및
    상기 획득된 영상을 복수의 영역으로 분할하고, 상기 분할된 복수의 영역을 분석하며, 상기 분석 결과를 바탕으로 상기 복수의 영역에 대응되는 오디오 컨텐츠를 획득하고, 상기 획득된 오디오 컨텐츠를 재생하도록 상기 오디오 출력부를 제어하는 제어부;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    영상의 카테고리와 오디오 컨텐츠를 매핑하여 저장하는 저장부;를 더 포함하며,
    상기 제어부는,
    상기 분할된 복수의 영역 각각의 카테고리를 판단하고, 상기 판단된 카테고리에 매핑된 오디오 컨텐츠를 검색하여 상기 복수의 영역에 대응되는 오디오 컨텐츠를 획득하는 것을 특징으로 하는 전자 장치.
  3. 제1항에 있어서,
    영상 파라미터와 작곡 파라미터를 매핑하여 저장하는 저장부;를 더 포함하며,
    상기 제어부는,
    상기 분할된 복수의 영역 각각에 대한 영상 파라미터를 분석하고, 상기 분석된 영상 파리미터에 매핑된 작곡 파라미터에 따라 상기 오디오 컨텐츠를 생성하는 것을 특징으로 하는 전자 장치.
  4. 제1항에 있어서,
    영상의 카테고리와 작곡 파라미터를 매핑하여 저장하는 저장부;를 더 포함하고,
    상기 제어부는,
    상기 분할된 복수의 영역의 카테고리를 판단하고, 상기 판단된 카테고리에 매핑된 작곡 파라미터를 이용하여 상기 오디오 컨텐츠를 생성하는 것을 특징으로 하는 전자 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 영역 각각의 영상 면적을 결정하고, 상기 획득된 복수의 영역 각각의 영상 면적에 따라 복수의 영역 각각에 대응되는 오디오 컨텐츠들의 재생 시간 및 재생 순서 중 적어도 하나를 결정하는 것을 특징으로 하는 전자 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 영상에 포함된 복수의 영역을 메인 영역 및 서브 영역으로 구분하며, 상기 메인 영역을 이용하여 메인 오디오 컨텐츠를 생성하고, 상기 서브 영역을 이용하여 서브 오디오 컨텐츠를 생성하는 것을 특징으로 하는 전자 장치.
  7. 제1항에 있어서,
    상기 획득된 영상 중 제1 영역을 터치하는 사용자 명령을 입력받는 입력부;를 더 포함하고,
    상기 제어부는,
    상기 사용자 명령이 입력된 상기 제1 영역의 영상을 분석하며, 상기 분석 결과를 바탕으로 상기 제1 영역에 대응되는 오디오 컨텐츠를 획득하는 것을 특징으로 하는 전자 장치.
  8. 제7항에 있어서,
    햅틱 피드백을 제공하는 햅틱 제공부;를 더 포함하며,
    상기 제어부는,
    상기 제1 영역을 터치하는 사용자 명령이 입력되면, 상기 제1 영역에 햅틱 피드백을 제공하도록 상기 햅틱 제공부를 제어하는 것을 특징으로 하는 전자 장치.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 영역 중 제1 영역에 포함된 오브젝트의 움직임을 판단하고, 상기 제1 영역에 포함된 오브젝트의 움직임에 대응되는 정보를 포함하는 오디오 컨텐츠를 생성하는 것을 특징으로 하는 전자 장치.
  10. 전자 장치의 제어 방법에 있어서,
    영상을 획득하는 단계;
    상기 획득된 영상을 복수의 영역으로 분할하고, 상기 분할된 복수의 영역을 분석하는 단계;
    상기 분석 결과를 바탕으로 상기 복수의 영역에 대응되는 오디오 컨텐츠를 획득하는 단계;
    상기 획득된 오디오 컨텐츠를 재생하는 단계;를 포함하는 제어 방법.
  11. 제10항에 있어서,
    영상의 카테고리와 오디오 컨텐츠를 매핑하여 저장하는 단계;를 더 포함하며,
    상기 분석하는 단계는,
    상기 분할된 복수의 영역 각각의 카테고리를 판단하는 단계;를 더 포함하며,
    상기 오디오 컨텐츠를 획득하는 단계는,
    상기 판단된 카테고리에 매핑된 오디오 컨텐츠를 검색하여 상기 복수의 영역에 대응되는 오디오 컨텐츠를 획득하는 것을 특징으로 하는 제어 방법.
  12. 제10항에 있어서,
    영상 파라미터와 작곡 파라미터를 매핑하여 저장하는 단계;를 더 포함하고,
    상기 분석하는 단계는,
    상기 분할된 복수의 영역 각각에 대한 영상 파라미터를 분석하는 단계;를 더 포함하고,
    상기 오디오 컨텐츠를 획득하는 단계는,
    상기 분석된 영상 파리미터에 매핑된 작곡 파라미터에 따라 상기 오디오 컨텐츠를 생성하는 것을 특징으로 하는 제어 방법.
  13. 제10항에 있어서,
    영상의 카테고리와 작곡 파라미터를 매핑하여 저장하는 단계;를 더 포함하고,
    상기 분석하는 단계는,
    상기 분할된 복수의 영역의 카테고리를 판단하는 단계;를 더 포함하며,
    상기 오디오 컨텐츠를 획득하는 단계는,
    상기 판단된 카테고리에 매핑된 작곡 파라미터를 이용하여 상기 오디오 컨텐츠를 생성하는 것을 특징으로 하는 제어 방법.
  14. 제10항에 있어서,
    상기 분석하는 단계는,
    상기 복수의 영역 각각의 영상 면적을 결정하는 단계;를 더 포함하고,
    상기 오디오 컨텐츠를 획득하는 단계는,
    상기 획득된 복수의 영역 각각의 영상 면적에 따라 복수의 영역 각각에 대응되는 오디오 컨텐츠들의 재생 시간 및 재생 순서 중 적어도 하나를 결정하는 것을 특징으로 하는 제어 방법.
  15. 제10항에 있어서,
    상기 분석하는 단계는,
    상기 영상에 포함된 복수의 영역을 메인 영역 및 서브 영역으로 구분하는 단계;를 더 포함하고,
    상기 오디오 컨텐츠를 획득하는 단계는,
    상기 메인 영역을 이용하여 메인 오디오 컨텐츠를 생성하고, 상기 서브 영역을 이용하여 서브 오디오 컨텐츠를 생성하는 것을 특징으로 하는 제어 방법.
  16. 제10항에 있어서,
    상기 획득된 영상 중 제1 영역을 터치하는 사용자 명령을 입력받는 단계;를 더 포함하고,
    상기 분석하는 단계는,
    상기 제1 영역의 영상을 분석하며,
    상기 오디오 컨텐츠를 획득하는 단계는,
    상기 분석 결과를 바탕으로 상기 제1 영역에 대응되는 오디오 컨텐츠를 획득하는 것을 특징으로 하는 제어 방법.
  17. 제16항에 있어서,
    상기 제1 영역을 터치하는 사용자 명령이 입력되면, 상기 제1 영역에 햅틱 피드백을 제공하는 단계;를 더 포함하는 제어 방법.
  18. 제10항에 있어서,
    상기 분석하는 단계는,
    상기 복수의 영역 중 제1 영역에 포함된 오브젝트의 움직임을 판단하는 단계;를 더 포함하고,
    상기 오디오 컨텐츠를 획득하는 단계는,
    상기 제1 영역에 포함된 오브젝트의 움직임에 대응되는 정보를 포함하는 오디오 컨텐츠를 생성하는 것을 특징으로 하는 제어 방법.
  19. 전자 장치에 있어서,
    외부 장치와 통신을 수행하는 통신부; 및
    상기 통신부를 통해 수신된 영상을 복수의 영역으로 분할하고, 상기 분할된 복수의 영역을 분석하여 상기 복수의 영역에 대응되는 영역 안내 정보를 생성하며, 상기 획득된 영역 안내 정보를 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함하는 전자 장치.
  20. 제19항에 있어서,
    상기 제어부는,
    상기 외부 장치로부터 영상의 키프레임을 수신하고, 상기 수신된 키프레임을 복수의 영역으로 분할하여 분석하는 것을 특징으로 하는 전자 장치.
  21. 제19항에 있어서,
    상기 제어부는,
    OCR을 이용하여 상기 수신된 영상에 포함된 텍스트를 인식하거나 영상에 대응되는 카테고리를 분석하는 것을 특징으로 하는 전자 장치.
  22. 제19항에 있어서,
    상기 영역 안내 정보가 오디오 형태의 정보인 경우,
    상기 제어부는,
    상기 영상의 재생 길이보다 상기 영역 안내 정보의 재생 길이가 긴 경우, 상기 영상에 복사 프레임 및 보간 프레임 중 적어도 하나를 삽입하는 것을 특징으로 하는 전자 장치.
  23. 제19항에 있어서,
    상기 영상 중 제1 영역을 터치하는 사용자 명령을 입력받는 입력부;를 더 포함하고,
    상기 제어부는,
    상기 사용자 명령이 입력된 제1 영역을 분석하고, 상기 분석 결과를 바탕으로 상기 제1 영역에 대응되는 영역 안내 정보를 생성하는 것을 특징으로 하는 전자 장치.
  24. 제19항에 있어서,
    상기 제어부는,
    상기 획득된 영역 안내 정보와 함께 대응되는 영역의 위치를 함께 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 전자 장치.
  25. 전자 장치의 제어 방법에 있어서,
    외부 장치로부터 영상을 수신하는 단계;
    상기 수신된 영상을 복수의 영역으로 분할하고, 상기 분할된 복수의 영역을 분석하는 단계;
    상기 분석 결과를 바탕으로 상기 복수의 영역에 대응되는 영역 안내 정보를 생성하는 단계; 및
    상기 영역 안내 정보를 상기 외부 장치로 전송하는 단계;를 포함하는 제어 방법.
  26. 제25항에 있어서,
    상기 수신된 영상의 키프레임을 추출하는 단계;를 더 포함하고,
    상기 분석하는 단계는,
    상기 추출된 키프레임을 복수의 영역으로 분할하여 분석하는 것을 특징으로 하는 제어 방법.
  27. 제25항에 있어서,
    상기 분석하는 단계는,
    OCR을 이용하여 상기 영상에 포함된 텍스트를 인식하거나 영상에 대응되는 카테고리를 분석하는 것을 특징으로 하는 제어 방법.
  28. 제25항에 있어서,
    상기 영역 안내 정보가 오디오 형태의 정보인 경우,
    상기 영상의 재생 길이보다 상기 영역 안내 정보의 재생 길이가 긴 경우, 상기 영상에 복사 프레임 및 보간 프레임 중 적어도 하나를 삽입하는 단계;를 더 포함하는 제어 방법.
  29. 제25항에 있어서,
    상기 영상 중 제1 영역을 터치하는 사용자 명령을 입력받는 단계;를 더 포함하고,
    상기 분석하는 단계는,
    상기 사용자 명령이 입력된 제1 영역을 분석하는 것을 특징으로 하는 제어 방법.
  30. 제25항에 있어서,
    상기 전송하는 단계는,
    상기 생성된 영역 안내 정보와 함께 대응되는 영역의 위치를 함께 전송하는 것을 특징으로 하는 제어 방법.




KR1020150138431A 2015-10-01 2015-10-01 전자 장치 및 이의 제어 방법 KR20170039379A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150138431A KR20170039379A (ko) 2015-10-01 2015-10-01 전자 장치 및 이의 제어 방법
US15/278,414 US10628121B2 (en) 2015-10-01 2016-09-28 Electronic device and method for controlling the same
PCT/KR2016/010994 WO2017057960A1 (en) 2015-10-01 2016-09-30 Electronic device and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150138431A KR20170039379A (ko) 2015-10-01 2015-10-01 전자 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20170039379A true KR20170039379A (ko) 2017-04-11

Family

ID=58423887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150138431A KR20170039379A (ko) 2015-10-01 2015-10-01 전자 장치 및 이의 제어 방법

Country Status (3)

Country Link
US (1) US10628121B2 (ko)
KR (1) KR20170039379A (ko)
WO (1) WO2017057960A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018081581A1 (en) * 2016-10-28 2018-05-03 Axon Enterprise, Inc. Systems and methods for supplementing captured data
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
EP3680811A1 (en) * 2019-01-10 2020-07-15 Mirriad Advertising PLC Visual object insertion classification for videos
CN110047520B (zh) * 2019-03-19 2021-09-17 北京字节跳动网络技术有限公司 音频播放的控制方法、装置、电子设备和计算机可读存储介质
US20200310736A1 (en) * 2019-03-29 2020-10-01 Christie Digital Systems Usa, Inc. Systems and methods in tiled display imaging systems
US11789539B2 (en) * 2020-05-29 2023-10-17 Mitsubishi Electric Corporation Display
US20210117152A1 (en) * 2020-10-23 2021-04-22 Intel Corporation Systems, methods, and apparatus for providing accessible user interfaces
CN113436604B (zh) * 2021-06-22 2022-11-29 北京百度网讯科技有限公司 播报内容的方法及装置、电子设备和存储介质
CN113672193A (zh) * 2021-08-23 2021-11-19 维沃移动通信有限公司 音频数据播放方法与装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261752A (ja) * 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
GB2388242A (en) * 2002-04-30 2003-11-05 Hewlett Packard Co Associating audio data and image data
KR100581060B1 (ko) 2003-11-12 2006-05-22 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
TWI292133B (en) 2003-12-04 2008-01-01 Compal Electronics Inc Method for arranging music by image data
JP3919753B2 (ja) * 2004-02-16 2007-05-30 キヤノン株式会社 情報処理装置及びその方法、並びに制御プログラム
US7587136B2 (en) * 2005-02-25 2009-09-08 Fujifilm Corporation Image capturing apparatus, image capturing method, output apparatus, output method and program
JP5067595B2 (ja) 2005-10-17 2012-11-07 ソニー株式会社 画像表示装置および方法、並びにプログラム
KR100725357B1 (ko) 2005-12-28 2007-06-07 삼성전자주식회사 음악 정보와 색 정보를 상호 대응시키는 장치 및 방법
JP4738203B2 (ja) 2006-02-20 2011-08-03 学校法人同志社 画像から音楽を生成する音楽生成装置
WO2009057629A1 (ja) 2007-11-02 2009-05-07 Clarion Co., Ltd. オーディオ装置および楽曲検索方法
US20110320114A1 (en) * 2010-06-28 2011-12-29 Microsoft Corporation Map Annotation Messaging
US20120124470A1 (en) 2010-11-17 2012-05-17 The Johns Hopkins University Audio display system
JP5754967B2 (ja) * 2011-02-09 2015-07-29 キヤノン株式会社 画像情報処理装置及びその制御方法
WO2012170745A2 (en) 2011-06-07 2012-12-13 Lozinski Christopher Touch typing on a touch screen device
US20130000463A1 (en) * 2011-07-01 2013-01-03 Daniel Grover Integrated music files
KR101851239B1 (ko) 2011-11-08 2018-04-23 삼성전자 주식회사 휴대단말기의 이미지 표현장치 및 방법
US9280206B2 (en) * 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법
KR101421066B1 (ko) 2013-12-31 2014-07-21 정영민 음성파일이 포함된 멀티미디어 콘텐츠 제공 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체
JP5959560B2 (ja) * 2014-03-20 2016-08-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
WO2017057960A1 (en) 2017-04-06
US10628121B2 (en) 2020-04-21
US20170097807A1 (en) 2017-04-06

Similar Documents

Publication Publication Date Title
KR20170039379A (ko) 전자 장치 및 이의 제어 방법
US10452333B2 (en) User terminal device providing user interaction and method therefor
US10187520B2 (en) Terminal device and content displaying method thereof, server and controlling method thereof
KR102003255B1 (ko) 다중 입력 처리 방법 및 장치
CN110708596A (zh) 生成视频的方法、装置、电子设备及可读存储介质
KR102285699B1 (ko) 이미지를 디스플레이하는 사용자 단말기 및 이의 이미지 디스플레이 방법
WO2016124095A1 (zh) 生成视频的方法、装置及终端
CN104303140B (zh) 多窗口提供装置和方法
KR20160015727A (ko) 음악 정보 시각화 방법 및 장치
KR20170019242A (ko) 전자 장치에서 유저 인터페이스 제공 방법 및 장치
KR20140128207A (ko) 펜을 이용하는 사용자 단말 장치 및 그 제어 방법
CN106814932A (zh) 一种桌面壁纸显示方法及终端
CN105814628A (zh) 用于基于装置信息来执行语音识别的方法和设备
CN113132526B (zh) 一种页面绘制方法及相关装置
CN110321126B (zh) 生成页面代码的方法和装置
WO2022057852A1 (zh) 一种多应用程序之间的交互方法
CN112257006A (zh) 页面信息的配置方法、装置、设备及计算机可读存储介质
KR102576909B1 (ko) 드로잉 환경을 제공하는 전자 장치 및 방법
KR20160018269A (ko) 디바이스 및 디바이스의 제어 방법
KR20160055552A (ko) 메모 표시 방법 및 이를 위한 디바이스
KR102077228B1 (ko) 전자 장치 및 이의 제어 방법
AU2017330785A1 (en) Electronic apparatus and controlling method thereof
KR102327139B1 (ko) 밝기를 조절하는 휴대 단말기 및 이의 밝기 조절 방법
CN111443858B (zh) 应用界面的显示方法、装置、终端及存储介质
CN112230910B (zh) 嵌入型程序的页面生成方法、装置、设备及存储介质