KR20160024002A - 비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치 - Google Patents

비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치 Download PDF

Info

Publication number
KR20160024002A
KR20160024002A KR1020140109244A KR20140109244A KR20160024002A KR 20160024002 A KR20160024002 A KR 20160024002A KR 1020140109244 A KR1020140109244 A KR 1020140109244A KR 20140109244 A KR20140109244 A KR 20140109244A KR 20160024002 A KR20160024002 A KR 20160024002A
Authority
KR
South Korea
Prior art keywords
sound data
image
sound
electronic device
subject
Prior art date
Application number
KR1020140109244A
Other languages
English (en)
Inventor
이영균
박두용
서은정
이재학
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140109244A priority Critical patent/KR20160024002A/ko
Priority to PCT/KR2015/008564 priority patent/WO2016028042A1/en
Priority to US14/827,786 priority patent/US10684754B2/en
Priority to CN201580044928.2A priority patent/CN106575361B/zh
Priority to EP15833933.3A priority patent/EP3195601B1/en
Publication of KR20160024002A publication Critical patent/KR20160024002A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)

Abstract

본 발명의 실시 예는 이미지의 일부 영역에 사운드 데이터가 링크된 비쥬얼 사운드 이미지를 생성, 편집 및 재생할 수 있는 비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치에 관한 것이다. 상기 방법은 디스플레이를 포함하는 전자장치에 의하여, 적어도 하나의 오브젝트를 포함하는 이미지를 상기 디스플레이 상에 표시하는 동작; 상기 전자장치에 의하여, 상기 디스플레이 상에 표시된 이미지 내의 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역의 선택을 수신하는 동작; 및 상기 전자장치에 의하여, 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역과, 사운드(sound) 데이터를 연결하는 동작을 포함할 수 있다.
또한, 다양한 실시예가 가능하다.

Description

비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치{METHOD FOR PROVIDING VISUAL SOUND IMAGE AND ELECTRONIC DEVICE IMPLEMENTING THE SAME}
본 발명의 다양한 실시 예는 이미지에 사운드 데이터가 링크된 비쥬얼 사운드 이미지를 생성, 편집 및 재생할 수 있는 비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치에 관한 것이다.
최근 정보통신 기술과 반도체 기술 등의 눈부신 발전에 힘입어 전자 장치(예컨대 이동통신 단말기, 스마트 폰, 태블릿 PC 등)의 보급과 이용이 급속도로 증가하고 있다. 이에 따라 상기 전자 장치는 현대인에게 필수품이 되었으며, 사용자들이 필요로 하는 다양한 기능을 제공하고 있다. 예를 들어, 상기 전자 장치는 통화 기능, 이미지 또는 동영상 촬영 기능, 방송 수신 기능, 인터넷 접속 기능, 녹음 기능 등과 같은 다양한 기능들을 제공하고 있다.
최근의 전자 장치는 사진 촬영 시 촬영된 이미지에 사운드 데이터를 링크할 수 있는 기능(이하, 사운드 샷(sound shot) 기능)을 제공하고 있다.
상기 사운드 샷 기능은 하나의 이미지에 하나의 사운드 데이터를 링크시킬 수 있다. 이와 같이 하나의 이미지에 하나의 사운드 데이터를 링크하는 경우 이미지와 링크된 사운드 데이터의 연관성을 알기 어렵다는 문제점이 있다. 예를 들어, 다수의 인물이 포함된 이미지에 특정 인물의 음성을 녹음한 사운드 데이터를 링크한 경우 사용자는 링크된 사운드 데이터를 재생하기 이전에 다수의 인물 중 어느 인물의 음성을 녹음한 사운드 데이터인지 알 수 없다.
또한, 다수의 인물의 음성을 이미지에 링크하고자 하는 경우 종래에는 다수의 인물의 음성을 순차적으로 녹음하여 하나의 사운드 데이터 파일을 생성하거나, 다수의 사운드 데이터를 하나의 사운드 데이터로 편집해야 하는 불편함이 존재한다.
본 발명의 다양한 실시 예들은 다양한 방식으로 이미지의 일부 영역을 선택하고, 선택된 이미지의 일부 영역에 사운드 데이터를 링크시킬 수 있다.
또한, 본 발명의 다양한 실시 예들은 이미지의 일부 영역에 링크된 사운드 데이터를 선택적으로 재생하거나, 전체 사운드 데이터를 순차적으로 재생할 수 있다.
또한, 본 발명의 다양한 실시 예들은 이미지의 일부 영역에 링크된 사운드 데이터의 적어도 일부를 텍스트로 변환하여 표시할 수 있다.
본 발명의 실시 예에 따른 방법은 디스플레이를 포함하는 전자장치에 의하여, 적어도 하나의 오브젝트를 포함하는 이미지를 상기 디스플레이 상에 표시하는 동작; 상기 전자장치에 의하여, 상기 디스플레이 상에 표시된 이미지 내의 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역의 선택을 수신하는 동작; 및 상기 전자장치에 의하여, 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역과, 사운드(sound) 데이터를 연결하는 동작을 포함할 수 있다.
본 발명의 실시 예에 따른 방법은 디스플레이 및 음향 출력 장치를 포함하는 전자장치에 의하여, 적어도 하나의 오브젝트를 포함하는 이미지로서, 상기 오브젝트 또는 상기 이미지의 일부 영역과 사운드 데이터의 연결을 표시하는 심볼, 아이콘, 텍스트, 사진, 또는 그림 중 적어도 하나를 포함하는 이미지를 상기 디스플레이 상에 표시하는 동작; 상기 전자장치에 의하여, 상기 디스플레이 상에 표시된 이미지 내의 상기 심볼, 아이콘, 텍스트, 사진, 또는 그림 중 적어도 하나를 선택하는 입력을 수신하는 동작; 및 상기 전자장치에 의하여, 상기 입력에 적어도 일부 응답하여, 상기 음향 출력 장치를 통하여, 사운드 데이터를 출력하는 동작을 포함할 수 있다.
본 발명의 실시 예에 따른 전자 장치는 적어도 하나의 오브젝트를 포함하는 이미지를 표시하는 표시부; 상기 표시된 이미지 내의 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역의 선택을 수신하고, 상기 선택된 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역에 사운드 데이터를 연결하여 비쥬얼 사운드 이미지를 생성하는 제어부; 및 상기 비쥬얼 사운드 이미지를 저장하는 저장부를 포함할 수 있다.
본 발명의 실시 예에 따른 전자 장치는 오브젝트 또는 이미지의 일부 영역에 사운드 데이터가 연결되었음을 나타내는 심볼, 아이콘, 텍스트, 사진, 또는 그림 중 적어도 하나를 포함하는 이미지를 표시하는 표시부; 상기 심볼, 아이콘, 텍스트, 사진, 또는 그림 중 적어도 하나의 선택 시 연결된 사운드 데이터를 출력하는 오디오 처리부; 및 상기 이미지를 표시하고, 상기 심볼, 아이콘, 텍스트, 사진, 또는 그림 중 적어도 하나를 선택하는 입력을 수신하며, 상기 입력에 대응하여, 상기 연결된 사운드 데이터를 출력하도록 상기 표시부 및 상기 오디오 처리부를 제어하는 제어부를 포함할 수 있다.
본 발명의 다양한 실시 예는 이미지의 적어도 하나의 일부 영역에 적어도 하나의 사운드 데이터를 각각 링크시킬 수 있다.
또한, 본 발명의 다양한 실시 예들은 이미지의 일부 영역에 링크된 사운드 데이터를 선택적으로 재생하거나, 다수의 사운드 데이터를 순차적으로 재생할 수 있다.
또한, 본 발명의 다양한 실시 예들은 이미지의 일부 영역에 링크된 사운드 데이터의 적어도 일부를 텍스트로 변환하여 이미지 상에 표시할 수 있다. 이를 통해, 사용자는 이미지의 일부 영역에 링크된 사운드 데이터를 재생하지 않아도 개략적인 내용을 미리 인지할 수 있다.
도 1a는 본 발명의 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 1b는 본 발명의 실시 예에 따른 전자 장치의 구성 중 제어부의 구성을 상세히 도시한 도면이다.
도 2 및 도 3은 본 발명의 실시 예에 따른 비쥬얼 사운드 이미지의 데이터 구조를 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 전자 장치의 비쥬얼 사운드 이미지를 생성하는 방법을 설명하기 위한 순서도이다.
도 5a 내지 도 5e는 본 발명의 실시 예에 따른 저장된 이미지를 이용하여 비쥬얼 사운드 이미지를 생성하는 방법을 설명하기 위한 화면 예시도이다.
도 6a 내지 도 6c는 본 발명의 실시 예에 따른 사진 촬영 기능을 이용한 비쥬얼 사운드 이미지를 생성하는 방법을 설명하기 위한 화면 예시도이다.
도 7a 및 도 7b는 본 발명의 실시 예에 따른 사진 촬영 기능을 이용한 비쥬얼 사운드 이미지를 생성하는 방법을 설명하기 위한 화면 예시도이다.
도 8a 내지 도 8h는 본 발명의 실시 예에 따른 이미지의 일부 영역을 선택하는 방법을 설명하기 위한 화면 예시도이다.
도 8i는 본 발명의 실시 예에 따른 사운드 데이터와 이미지의 일부 영역을 링크시키는 방법을 설명하기 위한 화면 예시도이다.
도 9는 본 발명의 실시 예에 따른 비쥬얼 사운드 이미지에 포함된 사운드 데이터를 재생하는 방법을 설명하기 위한 순서도이다.
도 10은 본 발명의 실시 예에 따른 비쥬얼 사운드 이미지에 포함된 사운드 데이터를 재생하는 방법을 설명하기 위한 화면 예시도이다.
도 11은 본 발명의 실시 예에 따른 비쥬얼 사운드 이미지에 포함된 사운드 데이터를 알림 효과음으로 설정하는 예를 설명하기 위한 화면 예시도이다.
도 12는 본 발명의 실시 예에 따른 비쥬얼 사운드 이미지를 공유하는 예를 설명하기위한 화면 예시도이다.
도 13은 본 발명의 실시 예에 따른 비쥬얼 사운드 이미지를 이용한 길 안내 방법을 설명하기 위한 순서도 이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예들을 설명한다. 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 이는 본 발명의 다양한 실시 예들을 특정한 형태로 한정하려는 것이 아니다. 예를 들어, 본 발명의 다양한 실시 예들은 다양하게 변경될 수 있고 여러 가지 실시 예를 가질 수 있다. 본 발명의 다양한 실시 예들은 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명의 다양한 실시 예들을 설명하기 위해 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등이 존재하지 않는 것으로 제한하지는 않는다.
또한, 본 발명의 다양한 실시 예들을 설명함에 있어, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 다양한 실시 예를 설명함에 있어, "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는 A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 발명의 다양한 실시 예를 설명함에 있어, "제 1", "제2", "첫째" 또는 "둘째" 등의 표현들이 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 다양한 실시 예들의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명의 실시 예를 설명하기 위해 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 실시 예를 한정하려는 의도가 아니다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 명백하게 정의하지 않은 용어는 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 다양한 실시 예에 따른 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller’s machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명의 다양한 실시 예들에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명의 다양한 실시 예들에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 본 발명의 다양한 실시 예들을 설명하기 위해 사용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도1a는 본 발명의 실시 예에 따른 전자 장치의 구성을 도시한 블록도이고, 도 1b는 본 발명의 실시 예에 따른 전자 장치의 구성 중 제어부의 구성을 상세히 도시한 도면이고, 도 2 및 도 3은 본 발명의 실시예에 따른 비쥬얼 사운드 이미지의 데이터 구조를 도시한 도면이다.
상기 도 1a 내지 도 3을 참조하면, 본 발명의 실시 예에 따른 전자 장치(100)는 제어부(110), 저장부(120), 터치스크린(130), 카메라부(140), 통신부(150), 오디오 처리부(160) 및 위치정보 수신부(170)를 포함할 수 있다. 상기 터치스크린(130)은 표시부(131) 및 터치 감지부(132)를 포함할 수 있다.
상기 제어부(110)는 전자 장치(100)의 전반적인 동작 및 전자 장치(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 예를 들어, 상기 제어부(110)는 중앙 처리 장치(Central Processing Unit : CPU), 어플리케이션 프로세서(Application Processor) 등으로 형성될 수 있다. 상기 제어부(110)는 싱글 코어 프로세서(single core processor) 또는 멀티 코어 프로세서(multi-core processor)로 형성될 수 있다.
본 발명의 실시 예에 따른 제어부(110)는 적어도 하나의 오브젝트(Object)를 포함하는 이미지를 표시부(131)에 출력하고, 상기 이미지의 일부 영역(예컨대, 상기 오브젝트의 적어도 일부, 이미지에서 오브젝트가 없는 영역의 적어도 일부 또는 이미지의 배경 영역의 적어도 일부)에 적어도 하나의 사운드 데이터를 연결(link)시켜 비쥬얼 사운드 이미지(Visual Sound Image)를 생성하는 절차, 비쥬얼 사운드 이미지를 재생하는 절차, 비쥬얼 사운드 이미지를 편집하는 절차, 비쥬얼 사운드 이미지를 공유하는 절차 등을 제어할 수 있다. 이를 위하여, 상기 제어부(110)는 도 1b에 도시된 바와 같이, 영역 선택부(111), 링크부(113), 음성 인식부(115)를 포함할 수 있다.
상기 영역 선택부(111)는 이미지(예컨대 기 저장된 이미지 또는 프리뷰 이미지)의 일부 영역을 선택할 수 있다. 예를 들어, 상기 영역 선택부(111)는 사용자의 제스처, 피사체 검출 및 인식, 사운드 발생 방향 검출, 입술 추적, 시선 추적 및 화자 인식 등을 통해 이미지의 일부 영역을 선택할 수 있다. 이와 같은 이미지의 일부 영역을 선택하는 방법에 대한 상세한 설명은 도 8a 내지 도 8h를 참조하여 후술하기로 한다.
상기 링크부(113)는 이미지의 일부 영역에 사운드 데이터를 링크할 수 있다. 상기 링크부(113)는 기 저장된 사운드 데이터, 새로 생성된 사운드 데이터 및 사운드 데이터가 존재하는 웹 페이지의 주소 정보 중 어느 하나를 상기 영역 선택부(111)에 의해 선택된 이미지의 일부 영역에 링크할 수 있다. 이때, 상기 사운드 데이터가 링크되었음을 알리는 인디케이터(예컨대 심볼, 아이콘, 텍스트, 사진, 그림 등)를 표시할 수 있다. 또한, 상기 선택된 이미지의 일부 영역은 선택되지 않은 타 영역과 시각적으로 구분되도록 표시(예컨대 하이라이트, 흑백, 블러(blur) 등)될 수 있다.
상기 음성 인식부(115)는 사운드 데이터를 문자로 변환할 수 있다. 예를 들어, 상기 음성 인식부(115)는 STT(Speech To Text) 기능을 지원할 수 있다. 본 발명의 실시 예에 따른 음성 인식부(115)는 비쥬얼 사운드 이미지의 출력 시 상기 비쥬얼 사운드 이미지의 일부 영역에 링크된 사운드 데이터의 적어도 일부를 문자로 변환할 수 있다. 상기 변환된 문자는 이미지의 일부 영역의 주변에 표시될 수 있다. 예를 들어, 상기 변환된 문자는 말 풍선을 이용하여 표시될 수 있다.
상기 제어부(110)는 비쥬얼 사운드 이미지를 표시할 수 있다. 상기 비쥬얼 사운드 이미지는 사운드 데이터가 링크되었음을 알리는 인디케이터(심볼, 아이콘, 문자, 사진, 그림 등), 사운드 데이터의 적어도 일부를 변환한 문자 및 상기 이미지의 링크된 모든 사운드 데이터의 재생을 요청하는 전체 재생 아이콘 중 적어도 하나를 포함할 수 있다. 상기 제어부(110)는 상기 비쥬얼 사운드 이미지에 링크된 사운드 데이터를 사용자의 요청에 따라 선택적으로 재생하거나, 전체 사운드 데이터를 순차적으로 재생할 수 있다. 상기 제어부(110)는 사운드 데이터가 연결된 영역 또는, 상기 인디케이터의 선택 시 해당 영역에 링크된 사운드 데이터를 재생할 수 있다. 또한, 상기 제어부(110)는 전체 재생 아이콘의 선택 시 사운드 데이터를 링크한 순서, 사용자가 지정한 순서, 랜덤 순서에 따라 사운드 데이터를 재생할 수 있다. 상기 제어부(110)는 사운드 데이터 재생 시 현재 재생 중인 사운드 데이터가 링크된 이미지의 일부 영역을 시각적으로 구분되도록 표시(예컨대 하이라이트)할 수 있다.
어떤 실시 예에 따르면, 상기 제어부(110)는 상기 이미지를 수신한 수신인 정보를 확인하고, 수신인 정보와 관련된 사운드 데이터를 먼저 재생할 수 있다. 예를 들어, 신랑 및 신부의 인사말이 링크된 청첩장을 수신한 수신인이 신랑과 관련된 사람인 경우 상기 제어부(110)는 신랑의 인사말을 먼저 재생할 수 있다. 반대로, 신랑 및 신부의 인사말이 링크된 청첩장을 수신한 수신인이 신부와 관련된 사람인 경우 상기 제어부(110)는 신부의 인사말을 먼저 재생할 수 있다. 상세하게는, 상기 제어부(110)는 비쥬얼 사운드 이미지를 수신하면, 얼굴 인식을 수행하고, 인식된 인물이 폰북에 저장된 경우 해당 인물의 사운드 데이터를 먼저 재생할 수 있다. 이때, 다수의 인물이 폰북에 존재하는 경우 상기 제어부(110)는 순서 데이터(123)를 기반으로 다수 인물에 링크된 사운드 데이터들을 재생할 수 있다. 한편, 상기 제어부(110)는 순서 데이터(123)를 기반으로 나머지 사운드 데이터(폰북에 존재하지 않는 인물들의 사운드 데이터)들을 순차적으로 재생할 수 있다.
어떤 실시 예에 따르면, 상기 제어부(110)는 상기 이미지의 일부 영역에 다양한 품질의 사운드 데이터를 링크할 수 있다. 예를 들어, 이미지의 선택된 일부 영역은 저음질(예컨대 48 kbps, 96kbps)의 사운드 데이터, 중간 음질(예컨대 128 kbps, 192 kbps)의 사운드 데이터 및 고음질(예컨대 256 kbps)의 사운드 데이터가 링크될 수 있다. 상기 저음질의 사운드 데이터, 중간 음질의 사운드 데이터 및 고음질의 사운드 데이터는 사운드의 품질에 차이가 있을 뿐, 동일한 사운드 정보를 가진다. 이를 위하여, 상기 제어부(110)는 이미지의 일부 영역에 링크할 사운드 데이터 녹음 시 다수의 샘플링 레이트를 이용하여 다수 품질의 사운드 데이터를 생성할 수 있다. 또는, 상기 제어부(110)는 기 저장된 고 음질의 사운드 데이터를 중간 음질 및 저음질로 재인코딩하여 다수 품질의 사운드 데이터를 생성할 수 있다.
상술한 바와 같이 다수 품질의 사운드 데이터가 링크된 경우, 상기 제어부(110)는 사운드 데이터의 재생 요청 시 오디오 처리부(160)의 성능을 고려하여 적절한 품질의 사운드 데이터를 선택하여 재생할 수 있다. 예를 들어, 상기 제어부(110)는 오디오 처리부(160)가 지원하는 코덱의 종류 및 코덱의 프로파일, 코덱의 재생 능력 등에 따라 적절한 품질의 사운드 데이터를 선택할 수 있다.
또는, 상기 제어부(110)는 비쥬얼 사운드 이미지의 전송(공유)이 요청되는 경우 네트워크 트래픽(예컨대 업로드 속도)을 고려하여 적절한 품질의 사운드 데이터가 링크된 비쥬얼 사운드 이미지를 전송(공유)할 수 있다. 또는, 상기 제어부(110)는 비쥬얼 사운드 이미지의 전송이 요청되는 경우 상대방 단말기의 오디오 처리부의 성능을 고려하여 적절한 품질의 사운드 데이터가 링크된 비쥬얼 사운드 이미지를 전송할 수 있다. 이를 위하여, 상기 제어부(110)는 비쥬얼 사운드 이미지의 전송 요청 시 상대방 단말기의 코덱의 종류, 프로파일 등과 같은 정보를 요청하여 수신할 수 있다. 또는, 상기 제어부(110)는 상대방 단말기의 종류(예컨대 모바일 단말기, PC 등)에 따라 적절한 품질의 사운드 데이터가 링크된 비쥬얼 사운드 이미지를 전송할 수 있다.
어떤 실시 예에 따르면, 상기 제어부(110)는 다수의 비쥬얼 사운드 이미지를 슬라이드 재생하는 경우 각 비쥬얼 사운드 이미지에 포함된 적어도 하나의 사운드 데이터의 전체 재생 시간에 따라 슬라이드 간격을 가변할 수 있다.
어떤 실시 예에 따르면, 상기 제어부(110)는 길 안내 기능을 수행할 수 있다. 예를 들어, 상기 제어부(110)는 적어도 하나의 사운드 데이터가 링크된 지도를 표시하고, 위치 정보 수신부(170)를 통해 현재 위치를 수신할 수 있다. 상기 제어부(110)는 수신된 현재 위치 정보에 대응하는 위치에 링크된 사운드 데이터가 존재하는지 확인하고, 사운드 데이터가 존재하는 경우 링크된 사운드 데이터를 재생할 수 있다. 또는, 상기 제어부(110)는 상기 현재 위치에 대응하는 위치에 부가 이미지 데이터가 존재하는 경우 부가 이미지를 출력할 수 있다. 상기 부가 이미지는 상기 특정 위치의 실사 이미지 또는 확대 이미지 일 수 있다.
어떤 실시 예에 따르면, 상기 제어부(110)는 다수의 비쥬얼 사운드 이미지를 합성하는 경우 각 이미지에 링크된 사운드 데이터들도 합성할 수 있다. 유사하게, 상기 제어부(110)는 비쥬얼 사운드 이미지를 편집하는 경우 사운드 데이터도 함께 편집될 수 있다. 예를 들어, 3개의 영역에 각각 사운드 데이터가 링크된 비쥬얼 사운드 이미지에서 사운드 데이터가 링크된 하나의 영역이 잘라지거나, 복사되는 경우 상기 제어부(110)는 전체 사운드 데이터로부터 잘라지거나, 복사된 영역에 링크된 사운드 데이터를 잘라내거나, 복사할 수 있다.
어떤 실시 예에 따르면, 상기 제어부(110)는 비쥬얼 사운드 이미지에 포함된 사운드 데이터를 상기 사운드 데이터가 링크된 인물과 관련된 이벤트(통화 수신, 문자 메시지 수신, IM 수신 등)의 수신을 알리는 효과음으로 지정할 수 있다. 이에 대한 상세한 설명은 도 11을 참조하여 후술하기로 한다.
상기 저장부(120)는 전자 장치(100)의 운영체제(OS, Operating System)를 비롯하여, 기타 옵션(options) 기능 예컨대, 소리 재생 기능, 이미지 또는 동영상 재생 기능, 방송 재생 기능, 인터넷 접속 기능, 문자 메시지 기능, 지도 서비스 기능 등에 필요한 응용 프로그램을 저장할 수 있다. 또한, 상기 저장부(120)는 다양한 데이터 예를 들어, 상기 저장부(120)는 폰북 데이터, 동영상 데이터, 게임 데이터, 음악 데이터, 영화 데이터, 지도 데이터 등을 저장할 수 있다.
상기 저장부(120)는 비쥬얼 사운드 이미지를 생성, 편집 및 재생하는 절차를 제어하는 제어 프로그램을 저장할 수 있다.
상기 저장부(120)는 이미지에 포함된 인물을 인식하기 위한 얼굴 인식 데이터 베이스(미도시) 및 화자 인식을 위한 화자 인식 데이터 베이스(미도시)를 저장할 수 있다.
상기 얼굴 인식 데이터 베이스는 인물의 얼굴 특징 정보를 저장할 수 있다. 상기 화자 인식 데이터 베이스는 인물의 음색 정보를 저장할 수 있다.
본 발명의 실시 예에 따른 저장부(120)는 이미지의 일부 영역에 사운드 데이터가 링크된 비쥬얼 사운드 이미지를 저장할 수 있다. 여기서, 비쥬얼 사운드 이미지의 데이터 구조에 대하여 도 2 및 도 3을 참조하여 설명하기로 한다.
상기 도 2를 참조하면, 상기 비쥬얼 사운드 이미지는 이미지 데이터(210), 정보 데이터(220) 및 사운드 데이터(230)로 구성될 수 있다. 상기 정보 데이터(220)는 선택된 일부 영역의 이미지 상의 위치 정보를 나타내는 위치 데이터(221), 상기 선택된 일부 영역에 포함된 피사체(인물)의 폰북 정보를 나타내는 연락처 데이터(222) 및 사운드 데이터의 재생 순서를 나타내는 순서 데이터(223)를 포함할 수 있다. 상기 순서 데이터(223)는 사운드 데이터가 링크된 순서일 수 있다. 상기 순서 데이터(223)는 사용자에 의해 변경될 수 있다.
상기 정보 데이터(220) 및 사운드 데이터(230)는 사용자가 선택한 영역의 수만큼 존재 할 수 있다. 예를 들어, 상기 도 2는 이미지의 3개의 영역에 정보 데이터(220) 및 사운드 데이터(230)가 각각 링크된 경우의 데이터 구조이다. 한편, 상기 도 2에서는 이미지 데이터(210)가 JPEG 데이터이고, 사운드 데이터(230)가 PCM 데이터인 경우를 예로 도시하였다. 하지만, 본 발명의 실시 예에 따른 정보 데이터(220) 및 사운드 데이터(230)는 다양한 형태(format)를 가질 수 있다.
상기 도 3을 참조하면, 상기 비쥬얼 사운드 이미지는 PNG(Portable Network Graphics) 포맷으로 저장될 수 있다. 일반적인 PNG 구조(structure)는 PNG Signature(310) 및 청크(chunk)를 포함할 수 있다. 상기 청크는 필수적 청크(Critical Chunk, 320) 및 보조적 청크(Ancillary Chunk, 330)를 포함할 수 있다.
본 발명의 실시 예에 따른 비쥬얼 사운드 이미지의 PNG 구조는 PNG 오리지널 필드(340) 및 사운드 데이터 청크 필드(350)를 포함할 수 있다. 상기 PNG 오리지널 필드(340)는 PNG Signature(310) 및 필수적 청크(Critical Chunk, 320)를 포함할 수 있다. 상기 사운드 데이터 청크 필드(350)는 보조적 청크 필드일 수 있다. 상기 사운드 데이터 청크 필드(350)는 4 byte의 길이(length) 필드, 4byte의 청크 타입(Chunk type) 필드, 상기 길이 필드에서 지정한 byte의 청크 데이터(Chunk data) 필드 및 4 byte의 CRC(Cyclic Redundancy Check) 필드를 포함할 수 있다. 이러한 PNG 형태(format)의 비쥬얼 사운드 이미지는 IM, MMS로 전송 시 이용될 수 있다.
상기 터치스크린(130)은 입력 기능 및 표시 기능을 수행할 수 있다. 이를 위하여 상기 터치스크린(130)은 표시부(131) 및 터치 감지부(132)를 포함할 수 있다.
상기 표시부(131)는 전자 장치(100)의 각종 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공하기 위한 정보를 표시한다. 이러한 상기 표시부(131)는 액정 표시 장치(Liquid Crystal Display), OLED(Organic Light Emitted Diode), AMOLED(Active Matrix Organic Light Emitted Diode) 등으로 형성될 수 있다. 상기 표시부(131)는 전자 장치(100)의 이용에 따른 다양한 화면 예컨대 홈 화면, 메뉴 화면, 웹 페이지 화면, 통화 화면 등을 제공할 수 있다. 본 발명의 실시 예에 따른 표시부(131)는 후술하는 화면 예시도와 같은 다양한 화면들을 표시할 수 있다.
상기 터치 감지부(132)는 입력 기능을 제공하기 위한 장치로, 터치입력수단 예컨대 사용자의 손가락, 스타일러스(Stylus), 전자 펜 등이 접촉 또는 근접되는 경우 터치 이벤트를 생성하고, 상기 생성된 터치 이벤트를 제어부(110)로 전달할 수 있다. 상세하게는, 상기 터치 감지부(132)는 터치입력수단의 접촉 또는 근접에 따른 물리량(예컨대 정전 용량, 저항 값 등)의 변화를 통해 터치 이벤트의 발생을 인식할 수 있다. 또한, 상기 터치 감지부(132)는 전자기 유도 방식의 전자 펜을 인식하기 위한 전자기 유도 방식의 터치 패널을 더 포함할 수도 있다. 이러한 상기 터치 감지부(132)는 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 있어 자명한 것이므로 상세한 설명은 생략하기로 한다.
본 발명의 실시 예에 따른 터치 감지부(132)는 비쥬얼 사운드 이미지의 생성, 편집 및 재생을 제어하기 위한 다양한 터치 신호의 입력을 감지하고, 감지된 터치 신호를 제어부(110)로 전송할 수 있다.
상기 카메라부(140)는 피사체를 촬영하기 위한 장치로, 피사체를 촬영한 영상을 전기 신호로 변환하여 디지털 데이터로 저장할 수 있다. 상기 카메라부(140)는 CCD(Charge Coupled Device) 이미지 센서 또는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구현될 수 있다. 상기 카메라부(140)는 사진 촬영 기능 및 동영상 촬영 기능을 지원할 수 있다. 본 발명의 실시 예에 따른 카메라부(140)는 사운드 샷 촬영 모드를 지원할 수 있다. 상기 사운드 샷 촬영 모드는 촬영된 이미지에 사운드 데이터를 링크시킬 수 있는 촬영 모드이다. 본 발명의 실시 예에 따른 카메라부(140)는 전자 장치(100)의 전면(표시부(131)가 위치하는 면)에 설치되는 전면 카메라(미도시) 및 전자 장치(100)의 후면에 위치하는 후면 카메라(미도시)를 포함할 수 있다. 본 발명의 실시 예에 따른 전면 카메라는 사운드 샷 촬영 모드 시 촬영자의 시선을 추적하는데 활용될 수 있다.
어떤 실시 예에 따르면, 전자 장치(100)는 촬영자의 시선을 추적하기 위한 별도의 시선 추적 카메라를 더 구비할 수 있다. 또는, 상기 전자 장치(100)는 촬영자의 시선을 추적할 수 있는 별도의 전자 장치(예컨대 글래스 형태의 웨어러블 전자 장치)와 연동하여, 상기 별도의 전자 장치로부터 촬영자의 시선 정보를 수신할 수 있다.
상기 통신부(150)는 전자 장치(100)의 유선 및/또는 무선 통신 기능을 지원할 수 있다. 예를 들어, 상기 통신부(150)는 이동통신(예컨대 3G 또는 4G 규격의 이동 통신) 기능을 지원하는 이동통신 모듈, 근거리 무선 통신 기능을 지원하는 무선랜 통신 모듈, 블루투스 통신 모듈, 적외선 통신 모듈, 지그비 통신 모듈 및 유선 통신 기능을 지원하는 USB 통신 모듈 등을 포함할 수 있다. 본 발명의 실시예에 따른 통신부(150)는 제어부(110)의 제어 하에 비쥬얼 사운드 이미지를 타 전자 장치로 송신하거나, 타 전자 장치로부터 수신할 수 있다. 또는, 통신부(150)는 웨어러블 전자 장치(미도시)로부터 촬영자의 시선 정보를 수신하여 제어부(110)로 전송할 수 있다.
상기 오디오 처리부(160)는 통화 시 송수신 되는 오디오 신호, 수신된 메시지에 포함된 오디오 신호, 저장부(120)에 저장된 오디오 파일의 재생에 따른 오디오 신호 등을 출력하기 위한 스피커(SPK) 및 사용자의 음성 또는 기타 오디오 신호를 수집하기 위한 적어도 하나의 마이크(MIC)와 연결될 수 있다. 본 발명의 실시 예에 따른 오디오 처리부(160)는 이미지의 일부 영역에 링크할 사운드 데이터를 적어도 하나의 마이크(MIC)를 통해 수집하거나, 이미지의 일부 영역에 링크된 사운드 데이터를 상기 스피커(SPK)를 통해 출력할 수 있다.
상기 위치 정보 수신부(170)는 다양한 방법을 통해 전자 장치(100)의 현재 위치를 측정할 수 있다. 예를 들어, 상기 위치 정보 수신부(170)는 GPS(Global Positioning System), GNSS(Global Navigation Satellite System), GALILEO 등과 같은 위성 항법 장치를 통해 전자 장치(100)의 현재 위치를 측정할 수 있다. 또는, 상기 위치 정보 수신부(170)는 다수의 기지국 예컨대 3개 이상의 기지국으로부터 수신되는 무선 신호를 이용하여 위치를 계산하는 삼각 측량법을 통해 전자 장치(100)의 현재 위치를 측정할 수 있다. 또는, 상기 위치 정보 수신부(170)는 위치를 알고 있는 주변의 AP(Access Point)를 이용하여 전자 장치(100)의 현재 위치를 확인할 수 있다. 이러한 전자 장치(100)의 위치 확인 방법은 공지된 기술로 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 있어 자명하므로 상세한 설명을 생략하기로 한다.
한편, 상기 도 1a에 도시하지 않았지만 상기 전자 장치(100)는 방송 수신을 위한 방송 수신 모듈, MP3 모듈과 같은 디지털 음원 재생 모듈 및 적외선 센서 모듈, 조도 센서 모듈, 모션 센서 모듈 등과 같은 다양한 센서 모듈 등의 구성 요소들을 선택적으로 더 포함할 수 있다. 또한, 본 발명의 실시 예에 따른 전자 장치(100)는 상기 언급된 구성 요소들과 동등한 수준의 구성 요소들을 더 포함할 수 있다.
도 4는 본 발명의 실시 예에 따른 전자 장치의 비쥬얼 사운드 이미지를 생성하는 방법을 설명하기 위한 순서도이다.
상기 도 4를 참조하면, 본 발명의 실시 예에 따른 전자 장치(100)의 제어부(110)는 401 동작에서 이미지를 출력할 수 있다. 상기 이미지는 사진 촬영, 다운로드 등을 통해 전자 장치(100)의 저장부(120)에 기 저장된 이미지 또는 사진 촬영을 위한 프리뷰 이미지가 될 수 있다. 상기 이미지는 적어도 하나의 오브젝트를 포함할 수 있다. 상기 오브젝트는 사람, 동물, 건물, 인형, 모니터, 자동차 등과 같은 피사체가 될 수 있다.
상기 제어부(110)는 403 동작에서 상기 출력중인 이미지의 일부 영역의 선택을 감지할 수 있다. 상기 일부 영역은 상기 오브젝트의 적어도 일부분, 이미지 내의 오브젝트가 없는 영역의 적어도 일부분 또는 이미지의 배경 영역의 적어도 일부분이 될 수 있다.
상기 일부 영역은 사용자에 의해 선택되거나, 제어부(110)의 영역 선택부(111)에 의해 자동으로 선택될 수 있다. 예를 들어, 사용자는 상기 출력 중인 이미지의 특정 피사체를 포함하도록 폐곡선 또는 개곡선(불완전 폐곡선)을 그릴 수 있다. 또는, 상기 영역 선택부(111)는 피사체 검출 및 인식, 사운드 발생 방향 검출, 입술 추적, 시선 추적 및 화자 인식 등을 통해 이미지의 일부 영역을 선택할 수 있다. 이와 같은 이미지의 일부 영역을 선택하는 방법에 대한 상세한 설명은 도 8a 내지 도 8h를 참조하여 후술하기로 한다.
상기 제어부(110)는 405 동작에서 상기 선택된 일부 영역에 사운드 데이터를 링크할 수 있다. 상기 선택된 일부 영역에는 저장부(120)에 기 저장된 사운드 데이터, 녹음 기능을 이용하여 생성된 새로운 사운드 데이터 및 사운드 데이터가 존재하는 웹 페이지의 주소 정보 중 어느 하나가 링크될 수 있다.
상기 사운드 데이터의 링크가 완료되면, 상기 제어부(110)는 407 동작에서 저장이 요청되는지 확인할 수 있다. 상기 저장 요청은 별도의 메뉴(또는 키)를 통해 요청될 수 있다.
상기 저장이 요청되지 않는 경우 상기 제어부(110)는 403 동작으로 복귀할 수 있다. 즉, 상기 제어부(110)는 이미지의 다른 일부 영역의 선택을 감지하고, 선택된 다른 일부 영역에 사운드 데이터를 링크할 수 있다.
반면에, 상기 저장이 요청되는 경우 상기 제어부(110)는 409 동작으로 진행하여 상기 선택된 일부 영역에 사운드 데이터가 링크된 이미지(비쥬얼 사운드 이미지)를 저장할 수 있다.
한편, 어떤 실시예에 따르면, 상기 제어부(110)는 별도의 저장 요청이 없더라도 사운드 데이터의 링크 완료 시 비쥬얼 사운드 이미지를 자동으로 저장할 수도 있다.
도 5a 내지 도 5e는 본 발명의 실시 예에 따른 저장된 이미지를 이용하여 비쥬얼 사운드 이미지를 생성하는 방법을 설명하기 위한 화면 예시도이다.
상기 도 5a 내지 도 5e를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 도 5a의 식별 부호 510의 도면과 같이 저장된 이미지의 리스트 표시를 요청하는 갤러리 아이콘(501)의 선택을 감지할 수 있다. 상기 갤러리 아이콘(501)의 선택이 감지되면, 전자 장치는 도 5a의 식별 부호 515의 도면과 같이 저장된 이미지의 리스트를 출력할 수 있다. 예를 들어, 상기 전자 장치는 썸네일 형태로 이미지의 리스트를 출력할 수 있다.
상기 리스트로부터 하나의 이미지(503)가 선택되면, 상기 전자 장치는 도 5a의 식별 부호 520 의 도면과 같이 선택된 이미지(503)를 전체 화면으로 출력할 수 있다.
상기 전자 장치는 이미지(503)의 일부 영역(504)의 선택을 감지할 수 있다. 예를 들어, 상기 전자 장치는 도 5a의 식별 부호 520 의 도면과 같이 이미지(503) 상에서 감지되는 사용자 제스처를 통해 상기 이미지(503)의 일부 영역(504)의 선택을 감지할 수 있다.
상기 이미지(503)의 일부 영역(504)의 선택이 감지되면, 상기 전자 장치는 도 5b의 식별 부호 525 의 도면과 같이 사운드 데이터를 링크시키기 위한 기능 메뉴(505)를 출력할 수 있다. 상기 기능 메뉴(505)는 기 저장된 사운드 데이터 중 하나를 링크시키는 제1메뉴(505a), 녹음 기능을 통해 새로운 사운드 데이터를 링크시키는 제2메뉴(505b) 및 사운드 데이터가 위치하는 웹 페이지의 주소 정보를 링크시키는 제3메뉴(505c)를 포함할 수 있다. 상기 기능 메뉴(505)는 선택된 일부 영역(504)의 주변에 표시될 수 있다.
상기 기능 메뉴(505) 중 제1메뉴(505a)가 선택되는 경우 전자 장치는 도 5b의 식별 부호 530의 도면과 같이 기 저장된 사운드 데이터의 리스트를 출력할 수 있다.
상기 도 5b의 식별 부호 530의 도면과 같은 상태에서, 특정 사운드 데이터(507)가 선택된 후, 선택 완료 메뉴(509)가 입력되는 경우, 전자 장치는 도 5c의 식별 부호 535 도면과 같이 상기 선택된 이미지(503)를 표시하는 화면으로 복귀하고, 상기 이미지(503)의 선택된 일부 영역(504)의 주변에 사운드 데이터가 존재함을 알리는 제1통지 아이콘(511)을 표시할 수 있다. 한편, 상기 제1통지 아이콘(511)은 심볼, 그림, 이미지, 텍스트 등으로 표시될 수 있다. 또한, 도시하지는 않았으나, 상기 선택된 일부 영역은 선택되지 않은 다른 영역과 시각적으로 구분되도록 표시될 수 있다.
상기 전자 장치는 도 5c의 식별 부호 540의 도면과 같이, 이미지(503)의 다른 영역(513)의 선택을 감지할 수 있다. 상기 다른 영역(513)의 선택이 감지되면, 전자 장치는 도 5c의 식별 부호 545 도면과 같이 기능 메뉴(505)를 출력할 수 있다. 상기 기능 메뉴(505)에서 제2메뉴(505b)가 선택되면, 전자 장치는 도 5d의 식별 부호 550의 도면과 같이 녹음 기능을 수행하기 위한 화면(이하, 녹음 대기 화면)을 출력할 수 있다. 상기 녹음 대기 화면은 이전에 녹음된 파일들의 리스트(514a) 및 녹음 시작을 요청하는 녹음 아이콘(514b)를 포함할 수 있다.
상기 식별 부호 550의 도면에서 녹음 아이콘(514b)이 선택되면, 전자 장치는 도 5d의 식별 부호 555의 도면과 같이 녹음 수행 화면을 표시할 수 있다. 예를 들어, 상기 녹음 수행 화면은 마이크 이미지(516a), 녹음 시간을 알리는 타이머(516b), 녹음 파일의 명칭(516c) 및 녹음 제어 메뉴(517)를 포함할 수 있다. 상기 녹음 제어 메뉴(517)는 취소 메뉴(517a), 일시 중지 메뉴(517b), 녹음 종료 메뉴(517c)를 포함할 수 있다.
상기 도 5d의 식별 부호 560의 도면과 같이 녹음 종료 메뉴(517c)가 입력되면, 전자 장치는 녹음을 종료하고, 도 5e의 식별 부호 565의 도면과 같이 녹음 대기 화면으로 복귀할 수 있다. 이때, 상기 새로 생성된 녹음 파일 Voice 009(516c)는 선택된 상태로 리스트의 최상단에 표시될 수 있다.
상기 도 5e의 식별 부호 565의 도면에서, 선택 완료 메뉴(509)가 입력되는 경우 전자 장치는 도 5e의 식별 부호 570의 도면과 같이 상기 선택된 이미지(503)를 표시하는 화면으로 복귀하고, 상기 이미지(503)의 다른 영역(513)의 주변에 제2 통지 아이콘(519)을 표시할 수 있다.
도 6a 내지 도 6c는 본 발명의 실시 예에 따른 사진 촬영 기능을 이용한 비쥬얼 사운드 이미지를 생성하는 방법을 설명하기 위한 화면 예시도이다.
상기 도 6a 내지 도 6c를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 도 6a의 식별 부호 610의 도면과 같이 카메라 아이콘(601)의 선택을 감지할 수 있다. 상기 카메라 아이콘(601)의 선택이 감지되면, 전자 장치는 도 6a의 식별 부호 615의 도면과 같이 프리뷰 화면을 출력할 수 있다.
상기 프리뷰 화면에서 모드 메뉴(603)가 선택되면, 전자 장치는 도 6b의 식별 부호 620의 도면과 같이 전자 장치가 지원하는 다양한 촬영 모드들을 프리뷰 화면의 일 측에 표시할 수 있다.
상기 다양한 촬영 모드 중 사운드 샷 모드(605)가 선택되면, 전자 장치는 도 6b의 식별 부호 625의 도면과 같이 사운드 샷 모드의 프리뷰 화면을 출력할 수 있다.
상기 도 6b의 식별 부호 625의 도면과 같이, 사운드 데이터가 링크될 영역(607)이 선택된 상태에서 녹음을 요청하는 녹음 요청 메뉴(609)의 선택이 감지되는 경우 전자 장치는 도 6c의 식별 부호 630의 도면과 같이 녹음 기능을 실행할 수 있다. 상기 녹음 요청 메뉴(609)는 사운드 데이터가 링크될 영역(607)의 이미지를 표시할 수 있다. 예를 들어, 인물을 촬영하는 경우 전자 장치는 얼굴 검출 기능을 통해 인물의 얼굴을 검출하고, 상기 검출된 인물의 얼굴을 사운드가 링크될 영역으로 설정할 수 있다. 이와 같은 경우 상기 녹음 요청 메뉴(609)는 인물의 얼굴을 표시할 수 있다.
어떤 실시 예에 따르면, 프리뷰 화면에서 다수의 인물이 검출되는 경우 전자 장치는 다수의 녹음 요청 메뉴를 표시할 수 있다. 사용자는 다수의 녹음 요청 메뉴 중 하나를 선택하고, 선택된 녹음 요청 메뉴에 대응하는 인물의 얼굴 영역에 사운드 데이터를 링크시킬 수 있다. 또는, 프리뷰 화면에서 다수의 인물이 검출되는 경우 전자 장치는 포커스된 인물 또는 사용자가 선택한 인물의 이미지를 녹음 요청 메뉴에 표시할 수 있다.
어떤 실시 예에 따르면, 프리뷰 화면에서 피사체(예컨대 인물)가 검출되면, 전자 장치는 피사체 인식 기능을 통해 피사체를 인식하고, 피사체에 대한 정보를 표시할 수 있다. 예를 들어, 상기 피사체가 인물인 경우 전자 장치는 얼굴 인식 기능을 통해 인물을 인식하고, 해당 인물이 폰북에 저장된 경우 해당 인물의 이름 또는 닉네임을 표시할 수 있다. 이때, 상기 프리뷰 화면에서 인물의 얼굴 영역 또는 이름(또는 닉네임)의 터치가 감지되는 경우 상기 제어부(110)는 녹음 기능을 실행할 수 있다.
상기 도 6c의 식별 부호 630의 도면을 참조하면, 상기 녹음 기능이 실행되는 경우 전자 장치는 녹음 가능 시간 및 녹음된 시간을 알리는 그래프(611)를 프리뷰 화면 일측에 표시할 수 있다. 여기서, 본 발명의 실시 예는 데이터의 용량을 고려하여 녹음 가능 시간을 제한할 수 있다. 하지만, 본 발명의 다른 실시 예는 녹음 가능 시간을 제한하지 않을 수도 있다.
상기 녹음 요청 메뉴(609)가 재선택되면, 전자 장치는 녹음을 종료할 수 있다. 상기 도 6c의 식별 부호 635의 도면과 같이 녹음 종료 후 촬영 메뉴(613)가 선택되면, 전자 장치는 피사체의 촬영할 수 있다.
상기 피사체의 촬영이 완료되면, 전자 장치는 도 6c의 식별 부호 640의 도면과 같이 촬영된 이미지를 출력할 수 있다. 이때, 상기 촬영된 이미지는 통지 아이콘(614)를 포함할 수 있다.
상기 도 6a 내지 도 6c에 따른 본 발명의 실시 예는 피사체를 촬영하기 이전에 링크할 사운드 데이터를 생성할 수 있다.
도 7a 및 도 7b는 본 발명의 실시 예에 따른 사진 촬영 기능을 이용한 비쥬얼 사운드 이미지를 생성하는 방법을 설명하기 위한 화면 예시도이다.
도 7a 및 도 7b를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 도 7a의 식별 부호 710의 도면과 같이 카메라 아이콘(701)의 선택을 감지할 수 있다. 상기 카메라 아이콘(701)의 선택이 감지되면, 전자 장치는 도 7a의 식별 부호 715의 도면과 같이 프리뷰 화면을 출력할 수 있다.
상기 프리뷰 화면에서 촬영 메뉴(702)가 선택되면, 전자 장치는 피사체를 촬영하고, 촬영된 이미지를 출력할 수 있다. 이때, 사용자는 도 7b의 식별 부호 720의 도면과 같이 상기 촬영된 이미지의 일부 영역(703)을 선택할 수 있다. 여기서, 상기 촬영된 이미지의 일부 영역(703)은 사용자의 제스처를 통해 선택되는 것으로 한정되지 않고, 후술하는 다양한 방법을 통해 선택될 수 있다.
상기 이미지의 일부 영역(703)의 선택이 감지되면, 전자 장치는 도 7b의 식별 부호 725의 도면과 같이 기능 메뉴(705)를 출력할 수 있다. 상기 기능 메뉴(705)를 통해 상기 촬영된 이미지의 일부 영역(703)에 사운드 데이터를 링크시킬 수 있다. 여기서, 상기 기능 메뉴(705)를 이용한 사운드 데이터의 링크 방법은 도 5a 내지 도 5e에서 설명하였으므로 생략하기로 한다.
상기 사운드 데이터의 링크가 완료되면, 전자 장치는 도 7b의 식별 부호 730의 도면과 같이 상기 촬영된 이미지의 일 측에 통지 아이콘(707)를 표시할 수 있다.
상기 도 7a 및 도 7b에 따른 본 발명의 실시 예는 피사체를 촬영한 후 사운드 데이터를 링크할 수 있다.
도 8a 내지 도 8h는 본 발명의 실시 예에 따른 이미지의 일부 영역을 선택하는 방법을 설명하기 위한 화면 예시도이다.
상기 도 8a를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 사용자의 제스처를 기반으로 이미지의 일부 영역을 선택할 수 있다. 예를 들어, 사용자는 손가락 또는 터치 입력 수단(예컨대 스타일러스) 등을 이용하여 이미지 상에서 임의의 도형(예컨대 원)을 그릴 수 있다. 상기 임의의 도형은 폐곡선 또는 개곡선(불완전한 폐곡선)이 될 수 있다. 예를 들어, 전자 장치는 상기 도 8a에 도시된 바와 같이 사용자가 불완전한 폐곡선(801)을 그리더라도 완전한 폐곡선이 되도록 나머지 부분(803)을 자동으로 그릴 수 있다.
이와 같이, 본 발명의 실시 예는 사용자의 제스처를 기반으로 사운드 데이터가 링크될 이미지의 일부 영역을 선택(지정)할 수 있다.
상기 도 8b를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 사용자의 제스처를 기반으로 선택된 영역에 포함된 오브젝트를 검출하고, 검출된 오브젝트를 사운드 데이터가 링크될 영역으로 지정할 수 있다. 예를 들어, 상기 도 8b에 도시된 바와 같이, 전자 장치는 사용자의 제스처를 기반으로 그려진 폐곡선(805)들의 내부 영역에서 오브젝트(807)들을 검출하고, 검출된 오브젝트(807)들을 사운드 데이터가 링크될 영역으로 지정할 수 있다. 여기서, 상기 오브젝트를 검출하는 방법은 이미지 프로세싱 분야에서 널리 알려진 기술로 상세한 설명을 생략하기로 한다.
상기 도 8c를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 피사체 검출 기술을 이용하여 이미지의 일부 영역을 선택할 수 있다. 예를 들어, 전자 장치는 얼굴 검출 기술을 통해 이미지로부터 피사체의 얼굴을 검출하고, 검출된 얼굴을 포함하는 영역(809)을 사운드 데이터가 링크될 영역으로 지정할 수 있다. 또는, 전자 장치는 검출된 얼굴에 대응하는 영역(811)을 사운드 데이터가 링크될 영역으로 지정할 수 있다.
상기 도 8d를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 프리뷰 이미지에서 일부 영역을 선택할 수 있다. 예를 들어, 전자 장치는 피사체 검출(예컨대 얼굴 검출)을 통해 사운드 데이터가 링크될 적어도 하나의 영역(812a, 812b)을 선택할 수 있다. 또는, 전자 장치는 사용자의 제스처를 기반으로 일부 영역을 선택할 수 있다.
위와 같이 사운드 데이터를 링크할 일부 영역이 선택되면, 상기 전자 장치는 선택된 일부 영역에서 피사체를 검출하고, 피사체 인식 기능을 통해 검출된 피사체에 대한 정보를 표시할 수 있다. 예를 들어, 상기 도 8d와 같이, 전자 장치는 얼굴 인식을 통해 검출된 인물에 대한 정보(813a, 813b)을 표시할 수 있다. 상기 인물에 대한 정보(813a, 813b)는 폰 북에 저장된 사용자의 이름 또는 닉네임이 될 수 있다. 상기 인물에 대한 정보(813a, 813b)는 말 풍선을 이용하여 표시될 수 있다.
상기 도 8e를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 사운드의 발생 방향을 통해 사운드 데이터를 링크할 영역을 선택할 수 있다. 상기 사운드 발생 방향은 다수의 마이크를 통해 입력되는 사운드 데이터를 이용하여 검출될 수 있다. 이와 같은 사운드 발생 방향을 검출하는 방법은 공지된 기술로 상세한 설명을 생략하기로 한다.
상기 전자 장치는 사운드 발생이 감지되면, 사운드 발생 방향을 검출하고, 검출된 방향에 위치하는 피사체(예컨대 화자)가 표시된 영역 중 일부를 사운드 데이터를 링크할 영역으로 선택할 수 있다. 예를 들어, 전자 장치는 90도 방향에서 사운드가 발생하는 경우 화자 2의 얼굴 영역(814)을 사운드 데이터를 링크할 영역으로 선택하고, 135 도의 방향에서 사운드가 발생하는 경우 화자 1의 얼굴 영역(815)을 사운드 데이터를 링크할 영역으로 선택할 수 있다. 이러한 경우, 전자 장치는 90도 방향에서 발생하는 사운드를 화자 2의 얼굴 영역(814)에 링크시키고, 135 도의 방향에서 발생하는 사운드를 화자 1의 얼굴 영역(815)에 링크시킬 수 있다. 여기서, 사운드 발생 방향은 특정 각도가 아니라, 일정 범위일 수 있다. 한편, 상기 제어부(110)는 사운드 발생 방향을 구분할 수 없는 경우 이미지 전체 영역에 사운드 데이터를 링크할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 동일 방향에 다수의 화자가 존재하는 경우 상기 다수의 화자를 그룹으로 묶고, 상기 그룹에 사운드 데이터를 링크시킬 수 있다. 상기 제어부(110)는 상기 그룹에 속한 인물들의 얼굴을 인식하고, 인식된 인물들이 폰북에 존재하는 경우 인식된 인물들에 대한 폰북 그룹을 생성할 수 있다. 상기 새로운 폰북 그룹이 생성되거나, 상기 인식된 인물들에 대한 폰북 그룹이 이미 존재하는 경우 상기 제어부(110)는 각 구성원들에게 비쥬얼 사운드 이미지를 전송할 수 있다.
한편, 상기 도 8e에서는 사운드 발생 방향을 5개(0도, 45도, 90도, 135도 및 180도)로 구분하고 있으나, 본 발명의 실시 예는 이에 한정되지 않는다. 사운드 발생 방향의 구분은 전자 장치의 성능을 고려하여 최적화될 수 있다. 전자 장치는 사운드 발생 유무 및 사운드 발생 방향을 일정 주기마다 체크할 수 있다. 상기 일정 주기는 전자 장치의 성능을 고려하여 최적화될 수 있다.
상기 도 8f를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 입술 추적을 통해 사운드 데이터를 링크할 영역을 선택할 수 있다. 예를 들어, 상기 전자 장치는 프리뷰 화면에서 적어도 하나의 피사체(예컨대 인물)의 입술(817)을 검출하고, 상기 검출된 입술(817)을 추적하여 입술의 움직임이 감지되는 경우 해당 피사체의 일부 영역(예컨대 얼굴 영역)을 사운드 데이터를 링크할 영역으로 선택할 수 있다. 이때, 전자 장치는 마이크를 통해 현재 입력되는 사운드 데이터(819)를 상기 입술의 움직임이 감지된 피사체의 일부 영역에 링크시킬 수 있다.
상기 도 8g를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 촬영자의 시선을 기반으로 사운드 데이터를 링크할 영역을 선택할 수 있다. 예를 들어, 전자 장치는 후면 카메라(미도시)를 통해 피사체를 프리뷰하고 있는 동안 전면 카메라(825)를 이용하여 촬영자의 시선을 추적하여 촬영자가 응시하고 있는 피사체를 인식할 수 있다. 전자 장치는 촬영자가 응시하고 있는 피사체(821)의 적어도 일부 영역을 사운드 데이터를 링크할 영역으로 선택할 수 있다. 전자 장치는 마이크를 통해 입력되는 사운드 데이터(823)를 상기 인식된 피사체(821)의 일부 영역(예컨대 얼굴 영역)에 링크시킬 수 있다.
상기 도 8h를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 사용자의 터치 입력(예컨대 터치앤드래그)을 통해 사운드 데이터를 링크할 영역을 선택할 수 있다. 예를 들어, 전자 장치는 프리뷰 화면에서 촬영 메뉴(826)의 터치 감지 시 식별 부호 850의 도면과 같이 프리뷰 화면에 포함된 피사체들의 정보(예컨대 얼굴 이미지)를 촬영 메뉴(826)의 주변에 표시할 수 있다.
상기 전자 장치는 식별 부호 860의 도면과 같이 촬영 메뉴(826)가 특정 피사체의 정보(828) 위로 이동되는 경우 상기 특정 피사체의 정보(828)에 대응하는 피사체의 일부 영역(827)을 사운드 데이터를 링크할 영역으로 선택할 수 있다. 이때, 상기 선택된 피사체의 일부 영역(827)은 다른 영역과 시각적으로 구분되도록 표시될 수 있다. 전자 장치는 입력되는 사운드 데이터(829)를 상기 피사체의 일부 영역(827)에 링크시킬 수 있다. 상기 촬영 메뉴(826)의 터치 해제 감지 시 전자 장치는 사진 촬영을 수행할 수 있다.
도 8i는 본 발명의 실시 예에 따른 사운드 데이터와 이미지의 일부 영역을 링크시키는 방법을 설명하기 위한 화면 예시도이다.
상기 도 8i를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 화면을 2개의 영역으로 분할하고, 제1영역(81)에 이미지를 출력하고, 제2영역(83)에 사운드 데이터를 시각화(예컨대 그래프)하여 출력할 수 있다. 어떤 실시 예에 따르면, 전자 장치는 화면을 분할하지 않고, 이미지를 전체 화면으로 출력하고, 이미지의 일측(예컨대 하단)에 시각화된 사운드 데이터를 중첩하여 표시할 수도 있다. 상기 사운드 데이터의 시각화는 사운드 데이터의 파형(wave form), 레벨, 엔벨로프(Envelope) 등과 같은 적어도 하나의 특징을 그래프 형태로 표시하는 것을 의미한다.
사용자는 시각화된 사운드 데이터 중 일부 구간(831)을 선택하여 이미지의 일부 영역(833)에 링크시킬 수 있다. 예를 들어, 사용자는 시각화된 사운드 데이터에서 특정 위치를 터치한 후, 사운드 데이터를 링크하고자 하는 이미지의 일부 영역(833)으로 드래그 앤 드랍(drag&drop)할 수 있다. 이때, 전자 장치는 터치된 위치의 앞에 존재하는 묵음 구간(일정 크기 이하의 사운드만 존재 하는 구간)과 뒤에 위치하는 묵음 구간 사이의 사운드 데이터(831)를 추출하고, 추출된 사운드 데이터(831)를 상기 터치가 해제된 이미지의 일부 영역(833)에 링크시킬 수 있다.
어떤 실시 예에 따르면, 전자 장치는 사운드 데이터의 그래프 상에 구간 선택을 위한 시작 마크 및 종료 마크를 표시하고, 사용자가 시작 마크 및 종료 마크를 이동시켜 사운드 데이터의 일부 구간을 용이하게 선택하도록 할 수도 있다.
어떤 실시 예에 따르면, 전자 장치는 시각화된 사운드 데이터의 각 구간에 대하여 화자 인식을 수행하고, 이미지에 포함된 인물에 대한 얼굴 인식을 수행한 후, 화자 인식 결과 및 얼굴 인식 결과를 비교하여 시각화된 사운드 데이터의 각 구간 마다 매칭되는 화자의 얼굴 이미지를 표시할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 구간이 선택되면, 선택된 구간의 사운드 데이터를 재생할 수도 있다. 이를 통해 사용자는 원하는 사운드 데이터가 제대로 선택되었는지 미리 확인할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 사운드 데이터에 대한 화자 인식을 수행하고, 사운드 데이터를 화자별로 분류할 수 있다. 또한, 전자 장치는 이미지 상의 인물에 대하여 얼굴 인식을 수행할 수 있다. 상기 화자 인식 및 얼굴 인식 결과를 기반으로, 전자 장치는 화자별로 분류된 사운드 데이터들을 해당 인물에 자동으로 링크시킬 수 있다. 예를 들어, 사운드 데이터에 인물 A 의 사운드 데이터가 포함되어 있고, 이미지 상에 인물 A의 얼굴이 존재하는 경우 전자 장치는 인물A 의 사운드 데이터를 인물A의 얼굴에 자동으로 링크시킬 수 있다.
도 9는 본 발명의 실시 예에 따른 비쥬얼 사운드 이미지에 포함된 사운드 데이터를 재생하는 방법을 설명하기 위한 순서도이고, 도 10은 본 발명의 실시 예에 따른 비쥬얼 사운드 이미지에 포함된 사운드 데이터를 재생하는 방법을 설명하기 위한 화면 예시도이다.
상기 도 9 및 도 10을 참조하면, 본 발명의 실시 예에 따른 전자 장치의 제어부(110)는 901 동작에서 사운드 데이터가 링크된 이미지(비쥬얼 사운드 이미지)를 출력할 수 있다. 예를 들어, 상기 제어부(110)는 도 10에 도시된 바와 같이, 비쥬얼 사운드 이미지를 표시부(131)에 출력할 수 있다. 상기 제어부(110)는 비쥬얼 사운드 이미지의 선택 영역(1005)을 다른 영역(비선택 영역)과 시각적으로 구분되게 표시하도록 표시부(131)를 제어할 수 있다. 예를 들어, 상기 제어부(110)는 블러(Blur)/흑백 처리, 명암 조절 등을 통해 선택 영역(1005)와 비선택 영역이 시각적으로 구분되도록 할 수 있다.
상기 비쥬얼 사운드 이미지는 링크된 사운드 데이터의 적어도 일부를 문자로 표시하는 말풍선(1001), 사운드 데이터가 링크되어 있음을 알리는 통지 아이콘(1003) 및 링크된 사운드 데이터를 순차적으로 재생하도록 요청하는 전체 재생 아이콘(1007) 중 적어도 하나를 포함할 수 있다.
상기 제어부(110)는 903 동작에서 사운드 데이터가 링크된 특정 영역이 선택되는지 확인할 수 있다. 상기 특정 영역이 선택되면 경우 상기 제어부(110)는 905 동작으로 진행하여 선택된 특정 영역에 링크된 사운드 데이터를 재생할 수 있다. 반면에 상기 특정 영역이 선택되지 않는 경우 상기 제어부(110)는 907 동작으로 진행하여 전체 재생이 요청되는지 확인할 수 있다. 예를 들어, 상기 제어부(110)는 전체 재생 아이콘(1007)이 터치되는지 확인할 수 있다.
상기 전체 재생이 요청되는 경우 상기 제어부(110)는 909 동작으로 진행하여 전체 사운드 데이터를 순차적으로 재생할 수 있다. 상기 전체 재생이 요청되지 않는 경우 상기 제어부(110)는 911 동작으로 진행할 수 있다.
상기 제어부(110)는 911 동작에서 종료가 요청되는지 확인할 수 있다. 상기 종료가 요청되지 않는 경우 제어부(110)는 903 동작으로 복귀하여 상술한 동작들을 수행할 수 있다. 반면에, 종료가 요청되는 경우 제어부(110)는 비쥬얼 사운드 이미지의 표시를 종료할 수 있다.
한편, 도시하지는 않았지만, 이미지의 일부 영역에는 다수 품질의 사운드 데이터(예컨대 저음질, 중간 음질 및 고음질)가 링크될 수 있다. 이러한 경우 전자 장치는 사운드 데이터의 재생 시 오디오 처리부의 성능을 고려하여 적절한 품질의 사운드 데이터를 선택하여 재생할 수 있다.
도 11은 본 발명의 실시 예에 따른 비쥬얼 사운드 이미지의 사운드 데이터를 알림 효과음으로 설정하는 예를 설명하기 위한 화면 예시도이다.
이하에서, 상기 전자 장치는 스타일러스의 터치 입력과 손가락의 터치 입력을 구분할 수 있는 것으로 가정하기로 한다. 예를 들어, 상기 스타일러스의 터치 입력은 전자기 유도 방식의 터치 패널을 통해 감지되고, 손가락 터치는 정전 용량 방식의 터치 패널을 통해 감지될 수 있다.
상기 도 11을 참조하면, 본 발명의 실시 예에 따른 전자 장치는 사운드 데이터가 링크된 이미지를 출력할 수 있다. 상기 사운드 데이터가 링크된 영역(1101)에서 스타일러스의 터치 입력이 감지되는 경우 전자 장치는 식별 부호 1110의 도면과 같이 다수의 메뉴를 포함하는 팝업 메뉴창(1103)을 출력할 수 있다.
상기 팝업 메뉴창(1103)에서 효과음 지정 메뉴(1103a)가 선택되는 경우 전자 장치는 상기 영역(1101)에 링크된 사운드 데이터를 해당 인물과 관련된 정보(예컨대 통화, SMS, MMS, IM, 이메일 등)의 수신을 알리는 알림 효과음으로 지정할 수 있다. 예를 들어, 상기 전자 장치는 식별 부호 1120의 도면과 같이 상기 영역(1101)에 포함된 인물의 폰북 정보에 저장되어 있는 벨소리(1105) 및 메시지 수신음(1107)을 상기 링크된 사운드 데이터로 변경할 수 있다.
도 12는 본 발명의 실시 예에 따른 비쥬얼 사운드 이미지를 공유하는 예를 설명하기 위한 화면 예시도이다.
상기 도 12를 참조하면, 본 발명의 실시 예에 따른 전자 장치는 사운드 데이터가 링크된 이미지를 MMS(Multimedia Messaging Service) 또는 IM(Instant Message)를 통해 타 전자 장치로 전송할 수 있다. 상세하게는, 식별 부호 1210의 도면과 같은 대화 화면에서 파일 첨부 아이콘(1201)이 선택되면, 전자 장치는 식별 부호 1220의 도면과 같이 저장된 파일들의 썸네일 리스트를 표시할 수 있다. 상기 썸네일 리스트에서 사운드 데이터가 링크된 이미지의 썸네일(1203)을 선택하면, 전자 장치는 선택된 썸네일(1203)을 메시지 입력 영역(1205)에 표시할 수 있다. 이후, 전송 메뉴(1207)가 입력되면, 전자 장치는 선택된 썸네일에 해당하는 파일을 대화 중인 상대방의 단말기로 전송할 수 있다. 이때, 전자 장치는 이미지 데이터 및 사운드 데이터를 패키지 형태로 구성하여 상대방의 단말기로 전송할 수 있다. 예를 들어, 상기 상대방의 단말기로 전송되는 데이터는 상술한 도 3과 같은 구조를 가질 수 있다.
한편, 이미지의 일부 영역에 다수의 품질(예를 들어, 저음질, 중간 음질 및 고음질)의 사운드 데이터가 링크된 경우 전자 장치는 네트워크 트래픽(예컨대 업로드 속도)를 고려하여 적절한 품질의 사운드 데이터를 이미지 데이터에 링크하여 타 전자 장치에 전송할 수 있다. 예를 들어, 전자 장치는 업로드 속도가 제1기준값 미만인 경우 저음질의 사운드 데이터를 링크하여 전송하고, 업로드 속도가 제1기준값 이상 제2기준값 미만인 경우 중간 음질의 사운드 데이터를 링크하여 전송하고, 업로드 속도가 제2기준값 이상인 경우 고 음질의 사운드 데이터를 링크하여 전송할 수 있다.
어떤 실시 예에 따르면, 상기 전자 장치는 상대방 단말기의 종류, 사운드 데이터 재생 능력 등을 고려하여 비쥬얼 사운드 이미지를 상대방 단말기로 전송할 수도 있다. 상세하게는, 전자 장치는 비쥬얼 사운드 이미지의 전송 요청 시 단말기 종류 및 사운드 데이터 재생 능력 등에 대한 정보를 요청하여 수신하고, 수신된 결과를 기반으로 적절한 품질의 사운드 데이터를 이미지에 링크하여 비쥬얼 사운드 이미지를 생성하고, 생성된 비쥬얼 사운드 이미지를 상대방 단말기로 전송할 수 있다. 또는, 전자 장치는 비쥬얼 사운드 이미지에 링크된 다수 품질의 사운드 데이터들 중 상대방 단말기에 적합한 품질의 사운드 데이터를 제외한 나머지 사운드 데이터를 제거한 후 비쥬얼 사운드 이미지를 상대방 단말기로 전송할 수 있다.
도 13은 본 발명의 실시 예에 따른 비쥬얼 사운드 이미지를 이용한 길 안내 방법을 설명하기 위한 순서도 이다.
상기 도 13을 참조하면, 본 발명의 실시 예에 따른 전자 장치(100)의 제어부(110)는 1301 동작에서 길 안내를 위한 사운드 데이터가 링크된 지도를 표시할 수 있다. 상기 지도는 일반적인 길 안내를 위한 지도가 아니라 사용자가 특정 위치에 길 안내를 위한 사운드 데이터를 링크한 지도일 수 있다.
상기 제어부(110)는 1303 동작에서 현재 위치를 측정할 수 있다. 예를 들어, 상기 제어부(110)는 위치 정보 수신부(170)를 통해 현재 위치를 측정할 수 있다.
상기 현재 위치 측정이 완료되면, 상기 제어부(110)는 1305 동작에서 현재 위치에 링크된 사운드 데이터가 존재하는지 확인할 수 있다. 상기 사운드 데이터가 존재하지 않는 경우 제어부(110)는 후술하는 1309 동작으로 진행할 수 있다. 반면에, 상기 사운드 데이터가 존재하는 경우 상기 제어부(110)는 1307 동작으로 진행하여 링크된 사운드 데이터를 재생할 수 있다.
상기 제어부(110)는 1309 동작에서 상기 현재 위치에 링크된 부가 이미지가 존재하는지 확인할 수 있다. 상기 부가 이미지는 현재 위치의 실사 이미지, 확대 이미지 등이 될 수 있다.
상기 부가 이미지가 존재하지 않는 경우 상기 제어부(110)는 후술하는 1313 동작으로 진행할 수 있다. 반면에, 상기 부가 이미지가 존재하는 경우 상기 제어부(110)는 1311 동작으로 진행하여 링크된 부가 이미지를 출력할 수 있다.
상기 제어부(110)는 1313 동작에서 길 안내의 종료가 요청되는지 확인할 수 있다. 상기 종료가 요청되지 않는 경우 상기 제어부(110)는 1303 동작으로 복귀하여 상술한 동작들을 반복할 수 있다. 반면에, 상기 종료가 요청되는 경우 상기 제어부(110)는 길 안내를 종료할 수 있다.
본 발명의 다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 제어부 110)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장 매체는, 예를 들면, 상기 저장부 120 가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시 예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명의 다양한 실시 예들에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성 요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시 예들에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 명세서 및 도면에 개시된 다양한 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 다양한 실시 예들의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시 예들의 범위는 여기에서 설명된 실시 예들 이외에도 본 발명의 다양한 실시 예들의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시 예들의 범위에 포함되는 것으로 해석되어야 한다.
100 : 전자 장치 110 : 제어부
120 : 저장부 130 : 터치스크린
131 : 표시부 132 : 터치 감지부
140 : 카메라부 150 : 무선 통신부
160 : 오디오 처리부 170 : 위치정보 수신부

Claims (55)

  1. 전자장치를 동작하는 방법에 있어서,
    디스플레이를 포함하는 전자장치에 의하여, 적어도 하나의 오브젝트를 포함하는 이미지를 상기 디스플레이 상에 표시하는 동작;
    상기 전자장치에 의하여, 상기 디스플레이 상에 표시된 이미지 내의 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역의 선택을 수신하는 동작; 및
    상기 전자장치에 의하여, 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역과, 사운드(sound) 데이터를 연결하는 동작을 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 전자장치에 의하여, 상기 디스플레이 상에, 상기 사운드 데이터의 연결을 표시하는 심볼, 아이콘, 텍스트, 사진, 또는 그림 중 적어도 하나를 상기 이미지에 표시하는 동작을 더 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역을 선택하는 동작은
    사용자 제스처를 기반으로 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역을 선택하는 동작; 및
    상기 이미지로부터 피사체를 검출하고, 상기 검출된 피사체가 포함되도록 상기 이미지의 일부 영역을 선택하는 동작;
    촬영자의 시선을 추적하고, 촬영자의 시선에 위치하는 피사체가 포함되도록 상기 이미지의 일부 영역을 선택하는 동작;
    피사체의 입술을 추적하고, 추적 결과를 기반으로 입술이 움직이는 피사체가 포함되도록 상기 이미지의 일부 영역을 선택하는 동작;
    사운드 발생 감지 시 사운드 발생 방향을 인식하고, 상기 인식된 사운드의 발생 방향에 위치하는 피사체가 포함되도록 상기 이미지의 일부 영역을 선택하는 동작;
    사운드 데이터에 대한 화자 인식 및 상기 이미지에 포함된 피사체 인식을 수행하고, 화자 인식 결과 및 피사체 인식 결과를 기반으로 상기 인식된 화자에 대응하는 피사체를 포함하도록 상기 이미지의 일부 영역을 선택하는 동작; 및
    프리뷰 화면에서 촬영 메뉴의 터치 감지 시 상기 프리뷰 화면에 포함된 적어도 하나의 피사체에 대응하는 적어도 하나의 아이콘을 상기 촬영 메뉴의 주변에 표시하고, 상기 촬영 메뉴가 특정 아이콘이 표시된 위치로 드래그되는 경우 상기 특정 아이콘에 대응하는 피사체의 일부 영역을 선택하는 동작 중 적어도 하나를 포함하는 방법.
  4. 제 3항에 있어서,
    상기 인식된 사운드의 발생 방향에 위치하는 피사체가 복수의 인물들을 포함하는 경우, 상기 인식된 복수의 인물들을 그룹으로 묶어 상기 사운드 데이터를 연결하는 동작을 더 포함하는 방법.
  5. 제3항에 있어서,
    상기 드래그된 촬영 메뉴의 터치 해제 시 촬영하는 동작을 포함하는 방법.
  6. 제3항에 있어서,
    상기 사용자 제스처는
    폐곡선 또는 개곡선을 그리는 제스처를 포함하는 방법.
  7. 제1항에 있어서,
    상기 선택된 일부 영역이 인물을 포함하는 경우 얼굴 인식을 통해 상기 인물에 대한 정보를 확인하여 표시하는 동작을 더 포함하는 방법.
  8. 제1항에 있어서,
    인물에 사운드 데이터가 연결된 경우 상기 인물에 연결된 사운드 데이터를 상기 인물과 관련된 정보의 수신을 알리는 알림 효과음으로 지정하는 동작을 더 포함하는 방법.
  9. 제1항에 있어서,
    상기 이미지 내의 일부 영역의 선택을 수신하는 동작은
    상기 선택된 일부 영역이 피사체를 포함하는 경우 상기 피사체에 대응하는 영역을 상기 사운드 데이터가 연결될 영역으로 지정하는 동작을 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 사운드 데이터를 연결하는 동작은
    기 저장된 사운드 데이터들 중 하나를 선택하여 연결시키는 동작;
    녹음 기능을 이용하여 새로운 사운드 데이터를 생성하고, 생성된 사운드 데이터를 해당 영역에 연결시키는 동작; 및
    사운드 데이터가 존재하는 웹 페이지의 주소 정보를 연결시키는 동작 중 하나를 포함하는 방법.
  11. 제1항에 있어서,
    상기 사운드 데이터를 연결하는 동작은
    상기 선택된 영역을 상기 이미지의 나머지 영역과 시각적으로 구분되게 표시하는 동작을 더 포함하는 방법.
  12. 제1항에 있어서,
    상기 사운드 데이터를 연결하는 동작은
    사운드 데이터를 시각화하여 표시하는 동작;
    상기 시각화된 사운드 데이터의 일부 구간을 선택하는 동작; 및
    상기 선택된 일부 구간에 해당하는 사운드 데이터를 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역에 연결하는 동작을 포함하는 방법.
  13. 제12항에 있어서,
    상기 사운드 데이터를 시각화하여 표시하는 동작은
    상기 사운드 데이터의 파형, 레벨 및 엔벨로프 중 적어도 하나의 특징을 그래프 형태로 표시하는 동작을 포함하는 방법.
  14. 제12항에 있어서,
    상기 시각화된 사운드 데이터의 각 구간에 대하여 화자 인식을 수행하는 동작;
    상기 이미지에 포함된 인물에 대한 얼굴 인식을 수행하는 동작; 및
    상기 화자 인식 결과 및 상기 얼굴 인식 결과를 비교하여 상기 시각화된 사운드 데이터의 각 구간에 매칭되는 화자의 얼굴 이미지를 표시하는 동작을 더 포함하는 방법.
  15. 제2항에 있어서,
    상기 사운드 데이터가 연결된 영역 또는 상기 심볼, 아이콘, 텍스트, 사진 또는 그림의 선택 시 해당 영역에 연결된 사운드 데이터를 재생하는 동작; 및
    상기 이미지에 연결된 전체 사운드 데이터의 재생 요청 시 상기 이미지에 연결된 적어도 하나의 사운드 데이터를 사용자가 지정한 순서, 사운드 데이터가 연결된 순서 또는 랜덤 순서로 순차적으로 재생하는 동작 중 적어도 하나를 더 포함하는 방법.
  16. 제15항에 있어서,
    상기 순차적으로 재생하는 동작은
    상기 사운드 데이터가 연결된 이미지를 수신한 수신인 정보에 따라 사운드 데이터들의 재생 순서를 변경하고, 변경된 재생 순서에 따라 재생하는 동작을 포함하는 방법.
  17. 제15항에 있어서,
    상기 순차적으로 재생하는 동작은
    현재 재생 중인 사운드 데이터가 연결된 영역을 하이라이트하여 표시하는 동작을 더 포함하는 방법.
  18. 제1항에 있어서,
    하나의 영역에 서로 다른 품질을 가지는 다수의 사운드 데이터가 연결된 경우 오디오 처리부의 성능에 따라 상기 다수의 사운드 데이터 중 하나를 선택하여 재생하는 동작을 포함하는 방법.
  19. 제1항에 있어서,
    사운드 데이터가 연결된 이미지 데이터를 타 전자 장치로 전송 요청 시 통신 속도를 체크하는 동작; 및
    상기 통신 속도에 따라 상기 다수의 사운드 데이터 중 하나를 선택하여 전송하는 동작을 포함하는 방법.
  20. 제1항에 있어서,
    사운드 데이터가 연결된 다수 이미지에 대한 슬라이드 쇼 요청 시 각 이미지에 연결된 사운드 데이터의 재생 시간에 따라 슬라이드 간격이 가변되는 방법.
  21. 제1항에 있어서,
    상기 이미지가 적어도 하나의 특정 위치에 사운드 데이터가 연결된 지도인 경우 현재 위치 정보를 수신하는 동작;
    상기 수신된 현재 위치 정보에 대응하는 상기 지도 상의 특정 위치에 연결된 사운드 데이터가 존재하는지 여부를 확인하는 동작; 및
    상기 연결된 사운드 데이터가 존재하는 경우 상기 연결된 사운드 데이터를 재생하는 동작을 더 포함하는 방법.
  22. 제21항에 있어서,
    상기 수신된 현재 위치 정보에 대응하는 상기 지도 상의 특정 위치에 연결된 부가 이미지 데이터가 존재하는지 여부를 확인하는 동작; 및
    상기 연결된 부가 이미지 데이터가 존재하는 경우 상기 연결된 부가 이미지 데이터를 출력하는 동작을 더 포함하는 방법.
  23. 제22항에 있어서,
    상기 부가 이미지는
    상기 특정 위치의 실사 이미지 또는 확대 이미지를 포함하는 방법.
  24. 제1항에 있어서,
    상기 사운드 데이터가 연결된 이미지의 편집에 대응하여 링크된 사운드 데이터를 편집하는 동작을 더 포함하는 방법.
  25. 제1항에 있어서,
    상기 사운드 데이터가 연결된 다수의 이미지를 합성하는 경우 상기 다수의 이미지에 연결된 사운드 데이터를 합성하는 동작을 더 포함하는 방법.
  26. 전자 장치를 동작하는 방법에 있어서,
    디스플레이 및 음향 출력 장치를 포함하는 전자장치에 의하여, 적어도 하나의 오브젝트를 포함하는 이미지로서, 상기 오브젝트 또는 상기 이미지의 일부 영역과 사운드 데이터의 연결을 표시하는 심볼, 아이콘, 텍스트, 사진, 또는 그림 중 적어도 하나를 포함하는 이미지를 상기 디스플레이 상에 표시하는 동작;
    상기 전자장치에 의하여, 상기 디스플레이 상에 표시된 이미지 내의 상기 심볼, 아이콘, 텍스트, 사진, 또는 그림 중 적어도 하나를 선택하는 입력을 수신하는 동작; 및
    상기 전자장치에 의하여, 상기 입력에 적어도 일부 응답하여, 상기 음향 출력 장치를 통하여, 사운드 데이터를 출력하는 동작을 포함하는 것을 특징으로 하는 방법.
  27. 전자 장치에 있어서,
    적어도 하나의 오브젝트를 포함하는 이미지를 표시하는 표시부;
    상기 표시된 이미지 내의 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역의 선택을 수신하고, 상기 선택된 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역에 사운드 데이터를 연결하여 비쥬얼 사운드 이미지를 생성하는 제어부; 및
    상기 비쥬얼 사운드 이미지를 저장하는 저장부를 포함하는 전자 장치.
  28. 제27항에 있어서,
    상기 제어부는
    상기 사운드 데이터가 연결되었음을 나타내는 심볼, 아이콘, 텍스트, 사진, 또는 그림 중 적어도 하나를 상기 이미지에 표시하는 전자 장치.
  29. 제27항에 있어서,
    상기 제어부는 영역 선택부를 포함하고,
    상기 영역 선택부는
    사용자의 제스처를 기반으로 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역을 선택하거나,
    상기 이미지로부터 피사체를 검출하고, 상기 검출된 피사체가 포함되도록 상기 이미지의 일부 영역을 선택하거나,
    촬영자의 시선을 추적하여 촬영자의 시선에 위치하는 피사체가 포함되도록 상기 이미지의 일부 영역을 선택하거나,
    피사체의 입술을 추적하여 입술이 움직이는 피사체가 포함되도록 상기 이미지의 일부 영역을 선택하거나,
    사운드 발생 감지 시 사운드 발생 방향을 인식하고 상기 인식된 사운드의 발생 방향에 위치하는 피사체가 포함되도록 상기 이미지의 일부 영역을 선택하거나,
    사운드 데이터에 대한 화자 인식 및 상기 이미지에 포함된 피사체 인식을 수행하고, 화자 인식 결과 및 피사체 인식 결과를 기반으로 상기 인식된 화자에 대응하는 피사체를 포함하도록 상기 이미지의 일부 영역을 선택하거나,
    프리뷰 화면에서 촬영 메뉴의 터치 감지 시 상기 프리뷰 화면에 포함된 적어도 하나의 피사체에 대응하는 적어도 하나의 아이콘을 상기 촬영 메뉴의 주변에 표시하고 상기 촬영 메뉴가 특정 아이콘으로 드래그되는 경우 상기 특정 아이콘에 대응하는 피사체의 일부 영역을 선택하는 전자 장치.
  30. 제29항에 있어서,
    상기 제어부는
    상기 인식된 사운드의 발생 방향에 위치하는 피사체가 복수의 인물들을 포함하는 경우, 상기 인식된 복수의 인물들을 그룹으로 묶어 상기 사운드 데이터를 연결하는 전자 장치.
  31. 제29항에 있어서,
    상기 제어부는
    상기 드래그된 촬영 메뉴의 터치 해제 시 피사체를 촬영하는 전자 장치.
  32. 제29항에 있어서,
    상기 사용자 제스처는
    폐곡선 또는 개곡선을 그리는 제스처를 포함하는 전자 장치.
  33. 제27항에 있어서,
    상기 제어부는
    상기 일부 영역에 포함된 피사체에 대한 정보를 인식하고, 인식된 피사체에 대한 정보를 피사체 주변에 표시하도록 제어하는 전자 장치.
  34. 제27항에 있어서,
    상기 제어부는
    상기 비쥬얼 사운드 이미지에 포함된 인물에 링크된 사운드 데이터를 상기 인물과 관련된 정보의 수신을 알리는 알림 효과음으로 지정하는 전자 장치.
  35. 제27항에 있어서,
    상기 제어부는
    상기 선택된 이미지의 일부 영역이 피사체를 포함하는 경우 상기 피사체에 대응하는 영역을 상기 사운드 데이터가 연결될 영역으로 지정하는 전자 장치.
  36. 제27항에 있어서,
    상기 제어부는 링크부를 포함하고,
    상기 링크부는
    기 저장된 사운드 데이터, 녹음 기능을 이용하여 새로 생성된 사운드 데이터 및 사운드 데이터가 존재하는 웹 페이지의 주소 정보 중 하나를 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역에 연결하는 전자 장치.
  37. 제27항에 있어서,
    상기 제어부는
    상기 이미지의 선택된 영역과 상기 이미지의 나머지 영역을 시각적으로 구분되게 표시하도록 상기 표시부를 제어하는 전자 장치.
  38. 제27항에 있어서,
    상기 제어부는
    사운드 데이터의 연결 시 상기 사운드 데이터를 시각화하여 표시하고, 상기 시각화된 사운드 데이터의 일부 구간의 선택을 수신하고, 사용자 요청에 대응하여 상기 일부 구간에 해당하는 사운드 데이터를 상기 오브젝트의 적어도 일부 영역 또는 상기 이미지 내의 일부 영역에 연결하는 전자 장치.
  39. 제38항에 있어서,
    상기 제어부는
    상기 사운드 데이터의 시각화 시 상기 사운드 데이터의 파형, 레벨 및 엔벨로프 중 적어도 하나의 특징을 그래프 형태로 표시하도록 제어하는 전자 장치.
  40. 제38항에 있어서,
    상기 제어부는
    상기 시각화된 사운드 데이터의 각 구간에 대하여 화자 인식을 수행하고,
    상기 이미지에 포함된 인물에 대한 얼굴 인식을 수행하며,
    상기 화자 인식 결과 및 상기 얼굴 인식 결과를 비교하여 상기 시각화된 사운드 데이터의 각 구간에 매칭되는 화자의 얼굴 이미지를 표시하도록 제어하는 전자 장치.
  41. 제28항에 있어서,
    상기 제어부는
    상기 사운드 데이터가 연결된 영역 또는 상기 심볼, 아이콘, 텍스트, 사진 또는 그림의 선택 시 해당 영역에 연결된 사운드 데이터를 재생하고, 상기 이미지에 연결된 전체 사운드 데이터의 재생 요청 시 상기 이미지에 연결된 적어도 하나의 사운드 데이터를 사용자가 지정한 순서, 사운드 데이터가 연결된 순서 또는 랜덤 순서로 순차적으로 재생하는 전자 장치.
  42. 제41항에 있어서,
    상기 제어부는
    상기 전체 사운드 데이터의 재생 요청 시 상기 사운드 데이터가 연결된 이미지를 수신한 수신인 정보를 확인하고, 상기 확인된 수신인 정보에 따라 상기 전체 사운드 데이터의 재생 순서를 변경하여 재생하는 전자 장치.
  43. 제41항에 있어서,
    상기 제어부는
    상기 전체 사운드 데이터를 순차적으로 재생하는 경우 현재 재생 중인 사운드 데이터가 연결된 영역을 하이라이트하여 표시하는 전자 장치.
  44. 제27항에 있어서,
    상기 제어부는
    하나의 영역에 서로 다른 품질을 가지는 다수의 사운드 데이터가 연결된 경우 오디오 처리부의 성능에 따라 상기 다수의 사운드 데이터 중 하나를 선택하여 재생하는 전자 장치.
  45. 제27항에 있어서,
    타 전자 장치와 통신을 수행하는 통신부를 더 포함하고,
    상기 제어부는
    사운드 데이터가 연결된 이미지 데이터를 타 전자 장치로 전송 요청 시 통신 속도를 체크하고, 상기 통신 속도에 따라 상기 다수의 사운드 데이터 중 하나를 선택하여 전송하도록 상기 통신부를 제어하는 전자 장치.
  46. 제27항에 있어서,
    상기 제어부는
    사운드 데이터가 연결된 다수 이미지에 대한 슬라이드 쇼 요청 시 각 이미지에 연결된 사운드 데이터의 재생 시간에 따라 슬라이드 간격을 가변하는 전자 장치.
  47. 제27항에 있어서,
    현재 위치 정보를 수신하는 위치 정보 수신부를 더 포함하고,
    상기 제어부는
    상기 이미지가 적어도 하나의 특정 위치에 사운드 데이터가 연결된 지도인 경우 상기 수신된 현재 위치 정보에 대응하는 상기 지도 상의 특정 위치에 연결된 사운드 데이터가 존재하는지 확인하고, 상기 연결된 사운드 데이터가 존재하는 경우 상기 연결된 사운드 데이터를 재생하는 전자 장치.
  48. 제47항에 있어서,
    상기 제어부는
    상기 수신된 현재 위치 정보에 대응하는 상기 지도 상의 특정 위치에 연결된 부가 이미지 데이터가 존재하는지 확인하고, 상기 연결된 부가 이미지 데이터가 존재하는 경우 상기 연결된 부가 이미지 데이터를 출력하는 전자 장치.
  49. 제48항에 있어서,
    상기 부가 이미지는
    상기 특정 위치의 실사 이미지 또는 확대 이미지를 포함하는 전자 장치.
  50. 제27항에 있어서,
    상기 제어부는
    상기 사운드 데이터가 연결된 이미지의 편집에 대응하여 상기 이미지에 링크된 사운드 데이터를 편집하는 전자 장치.
  51. 제27항에 있어서,
    상기 제어부는
    상기 사운드 데이터가 연결된 다수의 이미지를 합성하는 경우 상기 다수의 이미지에 연결된 사운드 데이터를 합성하는 전자 장치.
  52. 전자 장치에 있어서,
    오브젝트 또는 이미지의 일부 영역에 사운드 데이터가 연결되었음을 나타내는 심볼, 아이콘, 텍스트, 사진, 또는 그림 중 적어도 하나를 포함하는 이미지를 표시하는 표시부;
    상기 심볼, 아이콘, 텍스트, 사진, 또는 그림 중 적어도 하나의 선택 시 연결된 사운드 데이터를 출력하는 오디오 처리부; 및
    상기 이미지를 표시하고, 상기 심볼, 아이콘, 텍스트, 사진, 또는 그림 중 적어도 하나를 선택하는 입력을 수신하며, 상기 입력에 대응하여, 상기 연결된 사운드 데이터를 출력하도록 상기 표시부 및 상기 오디오 처리부를 제어하는 제어부를 포함하는 전자 장치.
  53. 제27항에 있어서,
    상기 비쥬얼 사운드 이미지는
    이미지 데이터, 정보 데이터 및 사운드 데이터를 포함하는 전자 장치.
  54. 제53항에 있어서,
    상기 정보 데이터는
    상기 일부 영역의 이미지 상의 위치 정보를 나타내는 위치 데이터 및 사운드 데이터의 재생 순서를 나타내는 순서 데이터를 포함하는 전자 장치.
  55. 제54항에 있어서,
    상기 정보 데이터는
    상기 일부 영역에 포함된 피사체의 폰북 정보를 나타내는 연락처 데이터를 더 포함하는 전자 장치.
KR1020140109244A 2014-08-21 2014-08-21 비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치 KR20160024002A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140109244A KR20160024002A (ko) 2014-08-21 2014-08-21 비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치
PCT/KR2015/008564 WO2016028042A1 (en) 2014-08-21 2015-08-17 Method of providing visual sound image and electronic device implementing the same
US14/827,786 US10684754B2 (en) 2014-08-21 2015-08-17 Method of providing visual sound image and electronic device implementing the same
CN201580044928.2A CN106575361B (zh) 2014-08-21 2015-08-17 提供视觉声像的方法和实现该方法的电子设备
EP15833933.3A EP3195601B1 (en) 2014-08-21 2015-08-17 Method of providing visual sound image and electronic device implementing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140109244A KR20160024002A (ko) 2014-08-21 2014-08-21 비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20160024002A true KR20160024002A (ko) 2016-03-04

Family

ID=55348329

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140109244A KR20160024002A (ko) 2014-08-21 2014-08-21 비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치

Country Status (5)

Country Link
US (1) US10684754B2 (ko)
EP (1) EP3195601B1 (ko)
KR (1) KR20160024002A (ko)
CN (1) CN106575361B (ko)
WO (1) WO2016028042A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217613A1 (ko) * 2016-06-17 2017-12-21 주식회사 사이 머신러닝을 이용한 동영상 컨텐츠의 자막 생성 및 공유 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160224317A1 (en) * 2015-01-31 2016-08-04 Ian Sherrard Thompson Audible photos & voice comments in digital social interactions
KR20160133781A (ko) * 2015-05-13 2016-11-23 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20170010485A (ko) * 2015-07-20 2017-02-01 엘지전자 주식회사 단말 장치 및 단말 장치의 제어 방법
KR20190005208A (ko) * 2016-05-07 2019-01-15 스마트 써드-아이 리미티드 핸드헬드 디바이스 내의 에지 카메라 어셈블리를 수반하는 시스템 및 방법
US10115016B2 (en) * 2017-01-05 2018-10-30 GM Global Technology Operations LLC System and method to identify a vehicle and generate reservation
CN108121486B (zh) * 2017-12-19 2023-06-16 维沃移动通信有限公司 一种图片显示方法及移动终端
CN110062200A (zh) * 2018-01-19 2019-07-26 浙江宇视科技有限公司 视频监控方法、装置、网络摄像机及存储介质
KR102543656B1 (ko) * 2018-03-16 2023-06-15 삼성전자주식회사 화면 제어 방법 및 이를 지원하는 전자 장치
WO2019205170A1 (zh) 2018-04-28 2019-10-31 华为技术有限公司 一种拍照方法和终端设备
JP7100824B2 (ja) * 2018-06-20 2022-07-14 カシオ計算機株式会社 データ処理装置、データ処理方法及びプログラム
JP2020055348A (ja) * 2018-09-28 2020-04-09 本田技研工業株式会社 エージェント装置、エージェント制御方法、およびプログラム
USD924912S1 (en) 2019-09-09 2021-07-13 Apple Inc. Display screen or portion thereof with graphical user interface
US11307412B1 (en) * 2019-12-30 2022-04-19 Snap Inc. Audio visualizer eyewear device
JP6899940B1 (ja) * 2020-03-30 2021-07-07 株式会社エヌ・ティ・ティ・データ 簡易通信システム、簡易通信方法、及びプログラム
CN115767141A (zh) * 2022-08-26 2023-03-07 维沃移动通信有限公司 视频播放方法、装置和电子设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2683648B1 (fr) 1991-11-12 1996-12-13 Apple Computer Procede de choix d'objets dans une sequence d'images mobiles et piste d'essai de reussite correspondante.
US20060020894A1 (en) 1996-12-06 2006-01-26 Nikon Corporation Information processing apparatus
US6784925B1 (en) 1998-03-24 2004-08-31 Canon Kabushiki Kaisha System to manage digital camera images
GB2351628B (en) 1999-04-14 2003-10-01 Canon Kk Image and sound processing apparatus
US7117157B1 (en) 1999-03-26 2006-10-03 Canon Kabushiki Kaisha Processing apparatus for determining which person in a group is speaking
AU2001238354A1 (en) * 2000-02-18 2001-08-27 The University Of Maryland Methods for the electronic annotation, retrieval, and use of electronic images
US7493559B1 (en) * 2002-01-09 2009-02-17 Ricoh Co., Ltd. System and method for direct multi-modal annotation of objects
JP2005295502A (ja) 2004-03-09 2005-10-20 Yoshito Suzuki 録音及び撮像機能付電子機器と、録音及び撮像機能付装置と、その使用方法と、それに用いるマイクセット
US7978936B1 (en) 2006-01-26 2011-07-12 Adobe Systems Incorporated Indicating a correspondence between an image and an object
US7912289B2 (en) * 2007-05-01 2011-03-22 Microsoft Corporation Image text replacement
US8037424B2 (en) 2007-05-24 2011-10-11 Yahoo! Inc. Visual browsing system and method
US8131750B2 (en) * 2007-12-28 2012-03-06 Microsoft Corporation Real-time annotator
CN101656814A (zh) * 2008-08-18 2010-02-24 爱思开电讯投资（中国）有限公司 用于将声音文件添加到jpeg文件中的方法及装置
CN101997969A (zh) 2009-08-13 2011-03-30 索尼爱立信移动通讯有限公司 图片声音注释添加方法和装置以及包括该装置的移动终端
US20110243449A1 (en) * 2010-03-31 2011-10-06 Nokia Corporation Method and apparatus for object identification within a media file using device identification
KR101688659B1 (ko) 2010-06-29 2016-12-21 엘지전자 주식회사 이동 통신 단말기에서 이미지 컨텐츠 편집방법 및 그 방법을 이용한 이동 통신 단말기
KR101031291B1 (ko) 2010-09-07 2011-04-29 안배근 음성 사진 촬영 장치 및 방법
KR20120068078A (ko) 2010-10-26 2012-06-27 삼성전자주식회사 영상 처리 장치 및 그의 영상 데이터와 오디오 데이터의 연결 방법
US20120151398A1 (en) * 2010-12-09 2012-06-14 Motorola Mobility, Inc. Image Tagging
EP2503545A1 (en) * 2011-03-21 2012-09-26 Sony Ericsson Mobile Communications AB Arrangement and method relating to audio recognition
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
WO2013049374A2 (en) * 2011-09-27 2013-04-04 Picsured, Inc. Photograph digitization through the use of video photography and computer vision technology
KR101921201B1 (ko) 2012-05-17 2018-11-22 삼성전자 주식회사 단말기의 기능 연동 방법 및 이를 지원하는 단말기
US20140006921A1 (en) * 2012-06-29 2014-01-02 Infosys Limited Annotating digital documents using temporal and positional modes
US20140108963A1 (en) * 2012-10-17 2014-04-17 Ponga Tools, Inc. System and method for managing tagged images
KR101374353B1 (ko) * 2012-10-18 2014-03-17 광주과학기술원 음향 재생 장치
TW201426529A (zh) 2012-12-26 2014-07-01 Hon Hai Prec Ind Co Ltd 通訊設備及其播放方法
KR20140114238A (ko) * 2013-03-18 2014-09-26 삼성전자주식회사 오디오와 결합된 이미지 표시 방법
KR102154528B1 (ko) * 2014-02-03 2020-09-10 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20150363157A1 (en) * 2014-06-17 2015-12-17 Htc Corporation Electrical device and associated operating method for displaying user interface related to a sound track

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217613A1 (ko) * 2016-06-17 2017-12-21 주식회사 사이 머신러닝을 이용한 동영상 컨텐츠의 자막 생성 및 공유 방법
WO2017217612A1 (ko) * 2016-06-17 2017-12-21 주식회사 사이 원터치를 이용한 동영상 컨텐츠의 자막 생성 및 공유 방법

Also Published As

Publication number Publication date
EP3195601A1 (en) 2017-07-26
CN106575361A (zh) 2017-04-19
WO2016028042A1 (en) 2016-02-25
EP3195601A4 (en) 2018-04-04
US10684754B2 (en) 2020-06-16
EP3195601B1 (en) 2019-06-05
US20160054895A1 (en) 2016-02-25
CN106575361B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN106575361B (zh) 提供视觉声像的方法和实现该方法的电子设备
CN109819313B (zh) 视频处理方法、装置及存储介质
WO2021135655A1 (zh) 生成多媒体资源的方法及设备
KR101938667B1 (ko) 휴대 전자장치 및 그 제어 방법
CN107533360B (zh) 一种显示、处理的方法及相关装置
KR102196671B1 (ko) 전자 기기 및 전자 기기의 제어 방법
CN104104768B (zh) 通过使用呼叫方电话号码来提供附加信息的装置和方法
WO2021135678A1 (zh) 生成剪辑模板的方法、装置、电子设备及存储介质
KR20150083636A (ko) 전자 장치에서 이미지 운영 방법 및 장치
KR20180133743A (ko) 이동 단말기 및 그 제어 방법
KR102673676B1 (ko) 메시징 시스템 내의 비디오에 광고들을 삽입함
CN112445395A (zh) 音乐片段的选取方法、装置、设备及存储介质
KR102128955B1 (ko) 스핀 이미지 생성 방법 및 그 장치
US20240089531A1 (en) Selecting ads for a video within a messaging system
CN109413478A (zh) 视频编辑方法、装置、电子设备及存储介质
CN113936699B (zh) 音频处理方法、装置、设备及存储介质
US11908489B2 (en) Tap to advance by subtitles
KR20140136349A (ko) 대화 기록 장치 및 그 방법
US20120314043A1 (en) Managing multimedia contents using general objects
KR102113503B1 (ko) 전자 장치 및 전자 장치에서 컨텐츠 제공 방법
KR20150026382A (ko) 전자 장치 및 전자 장치에서 연락처 관리 방법
CN116257159A (zh) 多媒体内容的分享方法、装置、设备、介质及程序产品
CN113377271A (zh) 文本获取方法、装置、计算机设备及介质
US20230138241A1 (en) Method and apparatus for processing multimedia data, and storage medium
KR101611308B1 (ko) 이미지 촬영방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application