KR20080063041A - 사용자 인터페이스 방법 및 장치 - Google Patents

사용자 인터페이스 방법 및 장치 Download PDF

Info

Publication number
KR20080063041A
KR20080063041A KR1020070089574A KR20070089574A KR20080063041A KR 20080063041 A KR20080063041 A KR 20080063041A KR 1020070089574 A KR1020070089574 A KR 1020070089574A KR 20070089574 A KR20070089574 A KR 20070089574A KR 20080063041 A KR20080063041 A KR 20080063041A
Authority
KR
South Korea
Prior art keywords
aui
gui
sound
user interface
adjusting
Prior art date
Application number
KR1020070089574A
Other languages
English (en)
Inventor
이주연
오윤학
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP07851809A priority Critical patent/EP2097807A4/en
Priority to US11/965,088 priority patent/US20080163062A1/en
Priority to PCT/KR2007/006897 priority patent/WO2008082159A1/en
Publication of KR20080063041A publication Critical patent/KR20080063041A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 사용자 인터페이스 방법 및 장치를 제공한다. 본 인터페이스 방법은, UI(user interface) 이벤트 발생 명령이 입력되었는지 판단하는 단계, UI 이벤트 발생 명령이 입력되었다고 판단되면, 기저장된 AUI(Auditory user interface) 요소를 읽어 오는 단계, AUI 요소에 기초하여 AUI(Auditory user interface)를 생성하는 단계 및 생성된 AUI를 외부로 출력하는 단계를 포함한다. 이로써, 소리정보를 이용한 사용자 인터페이스(AUI:Auditory user interface)환경을 제공함으로서 사용자들로 하여금 주어진 태스크를 효율적으로 달성하도록 유도하며 또한 오류를 줄일 수 있도록 하여준다.
UI, AUI, GUI, 음, 멜로디

Description

사용자 인터페이스 방법 및 장치{Method and apparatus for user interface}
본 발명은 사용자 인터페이스 방법 및 이를 적용한 전자기기에 관한 것으로 더욱 상세하게는, 소리 정보를 이용한 사용자 인터페이스(AUI: Auditory User Interface) 방법 및 이를 적용한 전자기기에 관한 것이다.
통상적으로 AUI 기술은 전자기기상에서 사용자의 요구에 따라 수행되는 각종 기능 및 그에 따라 전자기기내부에서 일어나는 태스크에 대해 소리로 피드백(feedback)을 제공함으로서, 사용자로 하여금 자신이 선택한 상황 및 태스크의 수행 상태를 명확하게 인지할 수 있도록 한 것이다.
통상적으로 AUI 처리 장치는 키 입력부, 디지털 신호처리부, AUI 데이터 베이스, AUI 처리 장치를 컨트롤하는 제어부로 구성된다.
AUI 데이터 베이스는 개발자에 의해 지정된 사운드로 구성되어 있다.
제어부는 키 입력부를 통해 입력되는 사용자 명령에 기초하여 사용자 명령에 대응되는 특정 AUI 사운드를 AUI 데이터 베이스에서 독출하여 디지털 신호처리부로 인가한다. 그러면, 디지털 신호처리부는 AUI 사운드를 신호처리하여 재생한다.
종래의 AUI는 이미 개발자에 의해 정해진 사운드로써 데이터 베이스를 구성 하고 각각의 키 입력에 따른 피드백 또는 주어진 기능 수행 및 태스크에 따라 사전에 맵핑(mapping)된 사운드를 출력한다. 그리하여, AUI가 다양해짐에 따라 AUI 데이터 베이스의 용량이 커지는 문제점이 발생한다.
또한, 종래의 AUI는 개발자에 의해 정해지기 때문에 AUI 사운드간 상호 연관성이 없을 수도 있다. AUI 사운드가 상호 연관성이 없기 때문에 입력되는 키 및 전자기기가 수행하는 기능, 태스크의 중요도, 빈도수와 무관하게 매핑되어 각 동작에 따른 각각의 AUI간에 상호 유기적인 관계가 형성되어 있지 않아 사용자 혼란만 가중시킨다.
따라서 이러한 의미없는 AUI로 인해 사용자가 AUI만을 듣고 현재 어떤 기능 및 태스크가 수행되는지를 예측할 수 없어 AUI 기능의 효용성이 떨어지는 결과를 초래하게 되었다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 사용자의 명령에 따라 전자기기가 수행하는 기능 또는 태스크의 중요도, 빈도수에 따라 기본 멜로디 또는 음을 적절히 변화시킴으로서 각각의 AUI간에 상호 유기적인 관계가 형성될 수 있도록 하여, 사용자로 하여금 AUI만을 듣고 전자기기에서 현재 수행되는 태스크의 종류를 쉽게 예측할 수 있도록 하는 사용자 인터페이스 방법 및 그 장치를 제공한다.
상기한 목적을 달성하기 위한 본 발명에 따른 사용자 인터페이스 방법은, UI(user interface) 이벤트 발생 명령이 입력되었는지 판단하는 단계; 상기 UI 이벤트 발생 명령이 입력되었다고 판단되면, 기저장된 AUI(Auditory user interface) 요소를 읽어 오는 단계; 상기 AUI 요소를 변형하여 AUI(Auditory user interface)를 생성하는 단계; 및 상기 생성된 AUI를 외부로 출력하는 단계;를 포함한다.
그리고, 상기 UI 이벤트 발생 명령이 입력되었다고 판단되면, 상기 UI 이벤트에 대응되는 기저장된 GUI(Graphical user interface) 요소를 읽어 오는 단계; 및 상기 GUI 요소에 기초하여 GUI(Auditory user interface)를 생성하는 단계; 및 상기 생성된 GUI를 표시하는 단계;를 더 포함하고, 상기 GUI 표시 단계는, 상기 AUI 출력단계와 함께 수행되는 것이 바람직하다.
또한, 상기 AUI 생성 단계는, 생성된 AUI의 샘플링 레이트를 출력되는 오디 오의 샘플링 레이트에 대응되도록 변환하는 단계;를 포함하는 것이 바람직하다.
그리고, 상기 AUI 생성 단계는, 상기 AUI 요소의 음 길이를 조절하는 단계;를 포함하고, 상기 AUI 요소의 음 길이의 조절은, 상기 AUI 요소의 출력 시간을 조절하는 것이 바람직하다.
또한, 상기 AUI 생성 단계는, 상기 AUI 요소의 음량을 조절하는 단계;를 포함하고, 상기 AUI 요소의 음량의 조절은, 상기 AUI 요소의 진폭을 조절하는 것이 바람직하다.
그리고, 상기 AUI 생성 단계는, 상기 AUI 요소의 음높이를 조절하는 단계;를 포함하고, 상기 AUI 요소의 음높이의 조절은, 상기 AUI 요소의 주파수를 조절하는 것이 바람직하다.
또한, 상기 AUI 요소는, 적어도 하나 이상의 음 또는 멜로디로 구성되어 있는 것이 바람직하다.
그리고, 상기 AUI 요소가 멜로디인 경우, 상기 멜로디를 구성하는 적어도 하나의 음이 출력되지 않도록 함으로써, AUI를 생성하는 것이 바람직하다.
한편, 상기한 목적을 달성하기 위한 본 발명의 전자기기는, AUI(Auditory user interface) 요소가 저장되어 있는 제1 저장부; 상기 AUI요소를 변형하여 AUI(Auditory user interface)를 생성하는 AUI 생성부; 및 UI(user interface) 이벤트 발생 명령이 입력되면, 상기 UI 이벤트에 대응되는 AUI가 생성되도록 상기 AUI 생성부를 제어하는 제어부;를 포함한다.
그리고, GUI(Graphical user interface) 요소가 저장되어 있는 제2 저장부; 및 상기 GUI 요소에 기초하여 GUI를 생성하는 GUI 생성부;를 더 포함하고,상기 제어부는, 상기 UI 이벤트 발생 명령이 입력되면, 상기 UI 이벤트에 대응되는 GUI가 생성되도록 상기 GUI 생성부를 제어하는 것이 바람직하다.
또한, 상기 AUI 생성부는, 생성된 AUI의 샘플링 레이트를 출력되는 오디오의 샘플링 레이트에 대응되도록 변환하는 샘플링레이트 변환부;를 포함하는 것이 바람직하다.
그리고, 상기 AUI 생성부는, 상기 AUI 요소의 음 길이를 조절하는 음길이 조절부;를 포함하고, 상기 AUI 요소의 음 길이의 조절은, 상기 AUI 요소의 출력 시간을 조절하는 것이 바람직하다.
또한, 상기 AUI 생성부는, 상기 AUI 요소의 음량을 조절하는 음량 조절부;를 포함하고, 상기 AUI 요소의 음량의 조절은, 상기 AUI 요소의 진폭을 조절하는 것이 바람직하다.
그리고, 상기 AUI 생성부는, 상기 AUI 요소의 음높이를 조절하는 음높이 조절부;를 포함하고, 상기 AUI 요소의 음높이의 조절은, 상기 AUI 요소의 주파수를 조절하는 것이 바람직하다.
또한, 상기 AUI 요소는, 적어도 하나 이상의 음 또는 멜로디로 구성되어 있는 것이 바람직하다.
그리고, AUI 생성부는, 상기 AUI 요소가 멜로디인 경우, 상기 멜로디를 구성하는 적어도 하나의 음이 출력되지 않도록 함으로써 AUI를 생성하는 것이 바람직하다.
이상 설명한 바와 같이, 본 발명에 따르면, 종래의 그래픽 유저 인터페이스(GUI)와는 별도로 사용자한테 소리정보를 이용한 사용자 인터페이스(AUI:Auditory user interface)환경을 제공함으로서 사용자들로 하여금 주어진 태스크를 효율적으로 달성하도록 유도하며 또한 오류를 줄일 수 있도록 하여준다.
또한, AUI를 실행하는데, 필요한 AUI 요소가 적게 필요하기 때문에 메모리용량을 줄일 수 있는 효과가 발생하게 된다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명이 적용가능한 전자기기의 일종인 MP3 플레이어의 블록도이다. 도 1에 도시된 바와 같이, 본 실시예에 따른 MP3 플레이어는, 저장부(110), 통신 인터페이스(120), AUI 생성부(130), 백엔드부(140), 오디오 처리부(150), 오디오 출력부(160), GUI 생성부(165), 영상 처리부(170), 표시부(175), 조작부(180) 및 제어부(190)를 구비한다.
저장부(110)는 MP3 플레이어를 제어하는데 필요한 프로그램 정보, 컨텐츠 정보, 아이콘 정보 및 파일 등을 저장하며, AUI요소 저장부(112), GUI요소 저장부(114), 프로그램 저장부(116) 및 파일 저장부(118)를 포함한다.
AUI요소 저장부(112)는 AUI를 구성하기 위한 AUI 요소인 기본 음 또는 기본 멜로디가 저장되어 있는 저장부이며, GUI요소 저장부(114)는 GUI를 구성하기 위한 GUI 요소인 컨텐츠 정보, 아이콘 정보 등이 저장되어 있는 저장부이다. 그리고, 프 로그램 저장부(116)는 백엔드부(140) 등 MP3 플레이어의 기능 블럭을 제어하기 위한 프로그램 정보, 갱신 가능한 각종 보관용 데이터 등이 저장된다. 한편, 파일 저장부(118)는 통신 인터페이스(120) 또는 백엔드부(140)에서 출력되는 압축 파일을 저장하는 저장매체이다. 파일 저장부(118)에 저장되는 압축 파일로서, 정지 영상 파일, 동영상 파일, 오디오 파일 등이 있으며, MP3(MPGEP layer 3) 포맷으로 저장된다.
통신 인터페이스(120)는 외부기기와 데이터 통신을 수행하여, 외부기기로부터 파일 또는 프로그램 등을 수신받거나, 파일 저장부(118)에 저장된 파일을 외부기기로 전송하는 기능을 수행한다.
AUI 생성부(130)는 AUI요소 저장부(112)에 저장된 AUI 요소를 이용하여 MP3 플레이어의 AUI를 생성하는 기능을 수행하고, 음높이 조절부(132), 음량 조절부(134), 음길이 조절부(136) 및 샘플링레이트 변환부(138)를 포함한다. 음높이 조절부(132)는 AUI 요소의 음높이를 조절하여 특정 음높이를 갖는 음을 생성한다. 음량 조절부(134)는 음높이 조절부(132)에서 출력되는 음의 음량을 조절한다. 그리고, 음길이 조절부(136)는 음량 조절부(134)에서 출력된 음의 음길이를 조절하여 샘플링레이트 변환부(138)로 인가한다. 샘플링레이트 변환부(138)는 재생되고 있는 오디오의 샘플링 레이트를 검색하고, 음길이 조절부(136)에서 출력되는 음의 샘플링 레이트를 재생되고 있는 오디오의 샘플링 레이트로 변환하여, 오디오 처리부(150)로 인가한다.
한편, GUI 생성부(165)는 제어부(190)의 제어하에 GUI요소 저장부(114)에 저 장되어 있는 GUI 요소를 이용하여 특정 GUI를 생성하고, 생성된 GUI를 표시부(175)를 통해 출력함으로서 사용자가 입력한 명령 및 태스크의 수행상태를 시각적으로 보여주는 효과를 발생시킨다.
백엔드부(140)는 영상 및/또는 오디오에 대한 압축, 신장, 재생처리 등의 신호처리를 담당하는 소자이다. 백엔드부(140)는 크게 디코더(142) 및 인코더(144)를 구비한다.
구체적으로, 디코더(142)는 파일 저장부(118)로부터 입력된 파일을 압축해제하여 오디오는 오디오 처리부(150)으로 인가하고, 영상은 영상 처리부(170)으로 인가한다. 인코더(144)는 인터페이스로부터 입력되는 영상 및 오디오를 소정 포맷으로 압축하고, 압축 파일을 파일 저장부(118)로 전달한다. 그리고, 오디오 처리부(150)로부터 입력되는 오디오를 소정 포맷으로 압축하여 파일 저장부(118)에 전달할 수도 있다.
오디오 처리부(150)는 마이크(미도시) 등의 오디오 입력소자를 통해 입력되는 아날로그 오디오 신호를 디지털 오디오 신호로 변환(Analog to Digital Converting)하여 백엔드부(140)로 전달한다. 그리고, 오디오 처리부(150)는 백엔드부(140)에서 출력되는 디지털 오디오 신호 및 AUI 생성부(130)로부터 인가받은 AUI를 아날로그 오디오 신호로 변환(Digital to Analog Converting)하여 오디오 출력부(160)로 출력하기도 한다.
영상 처리부(170)는 백엔드부(140)로부터 입력되는 영상 및 GUI 생성부(165)로부터 입력되는 GUI에 대한 신호처리를 수행하여 표시부(175)로 출력하는 소자이 다.
표시부(175)는 영상 처리부(170)에서 출력되는 영상, 텍스트, 아이콘 등이 표시되는 디스플레이 소자의 일종이다. 이러한 표시부(175)는 전자기기 자체에 내장될 수도 있고 별도의 외부 출력 장치일 수도 있다.
조작부(180)는 사용자의 조작명령을 입력받아 제어부(190)로 전달하는 장치로서, MP3 플레이어와 일체형으로 마련되는 상, 하, 좌, 우 백(back)키, 선택 키 등의 특정 키 등으로 구현된다. 뿐만 아니라, 조작부(180)는 표시부(175)에 표시되는 메뉴화면을 통해 사용자 명령을 입력할 수 있는 GUI(Graphical User Interface)로 구현될 수 있다.
제어부(190)는 본 MP3 플레이어의 전반적인 동작을 제어한다. 특히, 제어부(190)는 조작부(180)를 통해 사용자 명령이 입력되면, 그에 대응되도록 MP3 플레이어의 여러 기능 블럭들을 제어한다. 예를 들어, 사용자가 파일 저장부(118)에 저장되어 있는 파일의 재생 명령을 입력하면, 제어부(190)는 파일 재생 명령에 대응하는 AUI가 오디오 출력부(160)를 통해 출력되도록 AUI요소 저장부(112), AUI 생성부(130) 및 오디오 처리부(150)를 제어한다. 그리고, 파일 재생 명령에 대응되는 AUI가 출력되고 나서 파일 저장부(118)에 저장된 파일을 독출하여 백엔드부(140)로 인가한다, 그러면 백엔드부(140)는 파일을 복호화하고, 오디오 처리부(150) 및 영상 처리부(170) 각각은 오디오 및 영상을 신호처리한 다음, 오디오는 오디오 출력부(160)를 통해, 영상은 표시부(175)를 통해 출력되게 된다.
또한, 사용자가 조작부(180)를 통해 메뉴 표시 명령을 입력하면, 제어 부(190)는 메뉴 표시 명령에 대응되는 AUI가 출력되도록 AUI요소 저장부(112), AUI 생성부(130) 및 오디오 처리부(150)를 제어하고, 메뉴 표시 명령에 대응되는 GUI가 출력되도록 GUI요소 저장부(114), GUI 생성부(165), 영상 처리부(170) 및 표시부(175)를 제어한다.
도 2는 본 발명의 일 실시예에 따른, 이벤트 발생 명령에 대응되는 AUI 및 GUI가 생성되어 출력되는 방법을 설명하기 위한 흐름도이다.
먼저, 제어부(190)는 이벤트가 발생하였는지 여부를 판단한다(S210). 여기서 이벤트라 함은 조작부(180)를 통해 입력되는 사용자 명령뿐만 아니라, 통신 인터페이스(120)를 통해 외부기기가 연결되었다는 정보, MP3 플레이어의 전력 상태 정보 등 사용자에게 제공하는 각종 UI를 발생시키기 위한 소스를 의미한다. 예를 들어, 제어부(190)는 이벤트 발생의 일종인 전원 온 명령이 입력되었는지 판단한다.
이벤트 발생 명령이 입력되었다고 판단되면(S210-Y), 제어부(190)는 AUI요소 저장부(112)에 저장되어 있는 AUI 요소를 독출하여 AUI 생성부(130)로 인가하고, 이벤트에 대응되는 제어신호를 생성하여 AUI 생성부(130)로 인가한다(S220). 또한, 제어부(190)는 GUI요소 저장부(114)에 저장되어 있는 이벤트에 대응되는 GUI 요소를 독출하여 GUI 생성부(165)로 인가하고, 상기한 이벤트에 대응되는 제어신호를 생성하여 GUI 생성부(165)로 인가한다(S225).
AUI 생성부(130)는 AUI 요소를 기초로 이벤트에 대응되는 AUI를 생성한다(S230). AUI 생성부(130)가 AUI를 생성하는 방법에 대해서는 후술하기로 한다. 또한, GUI 생성부(165)도 GUI를 기초로 이벤트에 대응되는 GUI를 생성한다(S235).
그리고, 생성된 AUI는 오디오 신호처리부를 거쳐 오디오 출력부(160)를 통해 출력되고(S240), 생성된 GUI도 영상 처리부(170)를 거쳐 표시부(175)를 통해 출력된다(S245). 사용자의 편의를 도모하기 위해 GUI의 출력은 AUI의 출력과 동시에 발생하는 것이 바람직하다.
다음은 AUI 생성부(130)가 AUI 요소를 기초로 특정 AUI를 생성하는 과정에 대해 구체적으로 설명한다.
AUI 요소는 크게 음높이 정보, 음량 정보 및 음길이 정보로 구성되어 있으며, 음높이 정보는 음의 주파수와 관련되어 있고, 음량 정보는 음의 진폭과 관련되어 있으며, 음길이 정보는 음의 출력 시간과 관련이 있다. 그리하여 설명의 편의를 도모하기 위해 AUI 요소를 f(t)=A0sin(w0t){U(t)-U(t-T0)}로 정의한다. 여기서, U(t)는 계단함수(step function)이다. 따라서, AUI 요소는 음높이는 f0=w0/2π이고, 진폭은 A0이며, 출력시간은 T0이다. 특히 AUI 요소의 출력시간은 0에서 T0이다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 AUI 요소를 도시한 그래프이다. 도 3a 및 도 3b는 시간 도메인 상에서의 AUI 요소를 도시한 그래프로서, 도 3a는 오디오 출력부(160)의 왼쪽 채널(미도시)에서 출력되는 AUI 요소의 그래프이고, 도 3b는 오디오 출력부(160)의 오른쪽 채널(미도시)에서 출력되는 AUI 요소의 그래프이다. 도 3a 및 도 3b에 도시된 바와 같이 AUI 요소의 음량 정보 즉 진폭은 A0이다. 그리고, 음 길이 정보 즉 음의 출력시간은 T0이다. 도 3c는 주파수 도메인 상에서의 AUI 요소를 도시한 그래프로서, AUI 요소의 음높이 정보 즉 주파수는 f0=w0/2π이다.
상기와 같은 AUI 요소는 제어부(190)의 제어신호에 의해 AUI 생성부(130)에서 특정 음으로 변환된다. 예를 들어, 음 높이 조절부는 음높이 조절부(132)로 입력되는 AUI 요소의 음높이 정보인 주파수 f0를 f'으로 변환시킨다. 이와 같이 주파수를 변환시키기 위해 음높이 조절부(132)는 시간 도메인상의 AUI 요소를 주파수 도메인상의 AUI로 FFT 변환한다. 그리고, FFT 변환된 성분들 중 주요한 에너지 성분을 갖는 f0 주파수의 에너지 값을 f' 주파수의 에너지 값으로 치환한다. 도 4a는 음높이 조절부(132)가 AUI 요소의 음높이 정보 f0를 f'로 변환한 것을 주파수 도메인 상에 도시한 그래프이다. 음높이 조절부(132)가 AUI 요소를 FFT 변환한 이유는 도 3c에 도시한 바와 같이, 음높이 정보는 주파수 도메인상에서 보다 용이하게 변환시킬 수 있기 때문이다. 그러나, 음량 정보 및 음길이 정보는 시간 도메인 상에서 변환이 용이하므로, 음높이 조절부(132)는 FFT 변환된 AUI 요소를 다시 IFFT로 변환한다.
한편, 음량 조절부(134)는 AUI 요소의 음량 정보를 조절한다. 음량은 오디오 출력부(160)를 통해 출력되는 음의 양을 의미하는 것으로 진폭을 변경시킴으로써 가능하다. 도 4b 및 도 4c는 음량 조절부(134)가 음량 정보를 조절한 것을 시간도메인 상에 도시한 그래프이다. 도 4b 및 도 4c에 도시한 바와 같이, 변형된 음은 AUI 요소 대비 -6dB의 크기를 갖는다.
또한, 음길이 조절부(136)는 AUI 요소의 출력 시간을 변경시킨다. 즉, 음길 이 조절부(136)는 제어부(190)의 제어 신호에 따라 특정 음을 반복적으로 출력한다. 도 4d는 음길이 조절부(136)가 음길이 정보를 조절한 것을 시간 도메인 상에 도시한 그래프이다. 도 4d에 도시된 바와 같이 변형된 음은 T'시간 동안 출력된다.
그리하여, AUI 생성부(130)에서 생성된 음은 f'(t)=A'sin(w't){U(t)-U(t-T')가 된다. 즉, 하나의 AUI 요소가 있어도 AUI 생성부(130)는 새로운 음을 생성할 수 있고, 생성된 음은 AUI 요소와 연관성이 있기 때문에 개별적으로 저장하는 AUI보다 사용자에게 친밀감을 제공할 수 있다. 뿐만 아니라, AUI요소 저장부(112)의 저장용량이 클 필요가 없어 전자기기의 소형화를 구현할 수 있다.
그리고 샘플링레이트 변환부(138)는 변형된 음의 샘플링 레이트(sampling rate)를 오디오 처리부(150)에 설정된 샘플링 레이트에 맞게 변환시킨다. 오디오 처리부(150)에 설정된 샘플링 레이트는 파일의 특성 등에 의해 각기 다를 수 있다. 따라서, 파일이 재생되고 있는 도중 AUI를 발생시키기 위해서는 샘플링레이트를 변환시킬 필요가 있다.
본 실시예에서는 하나의 AUI요소를 이용하여 하나의 음을 생성하는 것에 관하여 설명하였으나 이에 한정되지 않는다. 하나의 AUI 요소를 이용하여 멜로디를 또한 화음을 생성할 수 있음도 물론이다.
도 5a는 파워 온시 본 전자기기가 제공하는 AUI이다. 도 5a에 도시된 바와 같이, 파워온시 전자기기가 제공하는 AUI는 4개의 음으로 구성되어 있는 멜로디이다. 제4 음이 AUI 요소라고 한다면, 제1 음을 생성하기 위해 음량 조절부(134) 및 음길이 조절부(136)는 AUI 요소를 변경시킴으로써, 제1 음인 f1(t)=A1sin(w0t){U(t)-U(t-1.5×T0)}이다. 제1 음은 AUI 요소에 비해 진폭이 크고, 출력시간도 길다.
그리고, 음높이 조절부(132)는 AUI 요소의 주파수를 변경시키고, 음길이 조절부(136)는 AUI 요소의 출력시간을 변경시켜서, 제2 음인 f2(t)=Asin(w2t){U(t-1.5×T0)-U(t-2×T0)}을 생성한다. 여기서, w2 는 w0보다 크다. 또한, AUI 요소를 이용하여 멜로디를 생성하여야 하므로, 음길이 조절부(136)는 제1 음이 출력되고 난 후에 제2 음이 출력되도록 하기 위해 제1 음의 출력 종료시간인 1.5×T0부터 2×T0까지를 제2 음의 출력시간으로 설정한다.
마찬가지 방법으로 AUI 생성부(130)는 제3 음인 f3(t)=A0sin(w3t){U(t-2×T0)-U(t-3×T0)}을 생성하고, 제4 음인 f4(t)=A0sin(w0t){U(t-3×T0)-U(t-4×T0)}를 생성하여 오디오 처리부(150)로 출력하면, 오디오 처리부(150)는 아날로그 오디오 신호로 변환한 다음 오디오출력부로 출력하게 되면, 도 5a에 도시된 바와 같은 멜로디가 출력된다.
도 5b는 AUI 생성부(130)가 생성한 멜로디를 시간 도메인 상에서 도시한 그래프이다. 오디오 출력부의 왼쪽 채널 및 오른쪽 채널에서 출력되는 멜로디는 동일하다.
한편, AUI 생성부(130)는 화음을 생성할 수도 있다. 도 6a는 본 발명의 일실시예에 따른 화음이다. 화음을 생성하기 위해, AUI 생성부(130)는 제5 음인 f5(t)=A0sin(w0t){U(t)-U(t-T0)}을 생성한다. 실질적으로 제5 음은 AUI 요소와 동일하다. 따라서, AUI 생성부(130)는 AUI요소 저장부(112)에 저장되어 있는 AUI 요소를 변경없이 출력한다. 그리고, AUI 생성부(130)는 AUI 요소를 기초로 제6 음인 f6(t)=A0sin(w2t){U(t)-U(t-T0)}을 생성한다. 제5 음과 제6 음의 출력시간이 동일하기 때문에 오디오 출력부에서 출력되는 음은 화음이 되는 것이다. 도 6b는 AUI 생성부(130)가 생성한 화음를 주파수 도메인 상에서 도시한 그래프이다.
또한, 메뉴 이동의 효과를 주기 위해 출력되는 음이 왼쪽에서 오른쪽으로 움직이는 효과를 줄 수 있는데, 이를 구현하기 위해서는 오디오 출력부의 왼쪽 채널을 통해 출력되는 음량과 오디오 출력부의 오른쪽 채널을 통해 출력되는 음량을 조절하여 구현할 수 있다.
예를 들어, 왼쪽 채널로 출력되는 음량을 점차적으로 줄이면서 오른쪽 오디오 출력부로 출력되는 음량을 점차적으로 키워 나가면 메뉴 항목 이동에 대한 느낌을 소리를 통해 느낄 수 있다.
구체적으로, AUI 생성부(130)는 왼쪽 채널로 출력되는 음인 fL(t)=A0(1-t/T0)sin(w2t){U(t)-U(t-T0)}을 생성하고, 오른쪽 오디오 출력부로 출력되는 음인 fR(t)=(A0/T0)tsin(w2t){U(t)-U(t-T0)}를 생성하면 된다. 그러면, 방향성을 갖는 AUI가 출력될 수 있다. 도 7a 및 도 7b 각각은 방향성을 갖는 음을 시간 도메인 상에서 도시한 그래프이다.
또한, 왼쪽, 오른쪽 오디오 출력부의 음량 조절은 상기와 반대로 실시함으로써 반대쪽 이동에 대한 효과가 발생할 수 있음도 물론이다.
본 실시예에서는 기본 음인 AUI 요소를 이용하여 여러 종류의 AUI를 생성하는 방법에 대해 설명하였다. 그러나 이에 한정되지 않는다. 즉, AUI 요소가 하나의 음일 필요는 없으며, 복수 개의 음이 AUI 요소가 될 수 있다. 그리하여, 제어부(190)의 제어신호에 따라 AUI 생성부(130)는 하나 또는 그 이상의 AUI 요소를 이용하여 특정 AUI를 생성할 수 있음도 물론이다.
또한, AUI 요소는 멜로디여도 상관없다. 실질적으로, 전자기기가 멜로디를 AUI로 많이 사용하는 경우, 멜로디를 AUI 요소로 저장하고, 멜로디 전체, 또는 그 일부만 출력시킴으로써 AUI를 생성할 수 있음도 물론이다.
이하에서는 앞서 설명한 전원 온 시 제공되는 AUI를 AUI 요소로 설정하고, 다른 이벤트에 따른 AUI 생성방법에 대해 설명한다.
통상적으로 전자기기가 처음 켜졌을 때는 이에 대해 즉각적으로 반응해야 하는데, 이렇게 하기 위해서는 AUI요소 저장부(112)에 저장된 기본 멜로디 데이터를 변형없이 출력해야 가장 빠른 사운드 피드백을 줄 수 있다.
또한 파워온시 제공되는 AUI의 음성출력 시간은 초기 화면 또는 전자기기의 시스템 로딩 시간(부팅시간)보다 길지 않도록 한다.
이는 부팅시간이 끝난 이후에는 사용자로 하여금 다른 명령을 입력해도 된다는 것을 알려줄 필요가 있는데, 통상적으로 사용자는 AUI가 발생되는 동안에는 아직 명령을 입력하면 안되는 것으로 인식하기 때문에 시스템 로딩 또는 부팅시간보 다 길지않게 AUI를 제공한다.
도 8은 파워 오프에 해당하는 AUI를 보여준다. 파워 오프시에는 파워 온 보다 더 빠른 피드백이 요구되기 때문에 기본 멜로디 중 일부만을 사용한다. 본 발명의 실시예에서는 4번째 음만을 사용하여 파워오프시의 AUI를 제공한다.
도 9a 및 도 9b는 메뉴 네비게이션을 위한 AUI중 메뉴를 구성하는 각 아이템을 이동할때 제공되는 AUI이다. 메뉴 네비게이션시 각 항목 이동은 빈번하게 일어나므로 빠른 피드백이 필요하다. 따라서 태스크의 빠른 수행을 돕고 반복적인 사용도를 고려하여야 하며 사용자에게 진행에 관한 정보를 빠르게 피드백해야 하므로 이때 사용되는 AUI는 간결하고 멜로디화(non-melodic) 하지 않은 것이 좋다. 이와 같은 이유 때문에 본 발명의 실시예에서는 멜로디 없이 짧은 음을 출력한다.
또한, 도 9b는 방향성을 갖는 AUI를 도시하였다. 앞서 설명한 바와 같이, 메뉴 이동의 효과에 대한 피드백을 주기 위해 출력되는 음이 왼쪽에서 오른쪽으로 움직이는 효과가 발생한다.
도10는 메뉴에 대한 예를 나타내는 GUI이다. 전자기기는, 메뉴를 구성하는 각 항목의 이동을 나타내는 GUI와 함께 지금까지 설명한 AUI를 출력하는 것이 바람직하다.
도11은 계층적 메뉴구조에 AUI를 적용한 예를 보여준다.
계층적 메뉴구조는 상위레벨과 하위레벨로 구성되어 있고 각각의 레벨을 뎁쓰(depth)1, 뎁쓰2로 표시한다.
뎁쓰1 메뉴에 대한 AUI는 AUI 요소인 기본 멜로디를 구성하는 음 중에서 일 부를 사용하는데, 본 발명에서는 뎁쓰1에 대한 AUI로 파워 온시 사용되는 기본 멜로디의 가장 첫음을 사용한다. 뎁쓰1에서 항목간 이동은 도 9a에 나타난 AUI를 사용한다.
뎁쓰1 메뉴에서 항목이 선택되면, 항목이 선택되었음을 사용자에게 알려주기 위해 기본 멜로디를 구성하는 음들중 2번째 음을 사용하여 AUI를 제공한다.
또한 뎁쓰1에서 항목이 선택되고 뎁쓰2로 메뉴레벨이 변경되면 기본 멜로디를 구성하는 음들 중 3번째 음을 사용하여 AUI를 제공한다.
마찬가지로 뎁쓰2 메뉴에서도 메뉴 아이템 이동시에는 도 9a에 보여진 AUI를 사용한다. 뎁쓰2 메뉴에서 아이템이 선택되면 기본 멜로디를 구성하는 음들 중 4번째음을 사용하여 AUI로 제공한다.
이와 같이 계층적 메뉴 구조에서 메뉴 계층간 이동, 즉 각 뎁쓰(depth)를 이동할때는 기본 멜로디의 일부를 순차적으로 사용함으로서 메뉴 뎁쓰 이동에 대한 AUI를 제공한다.
그리고, 선택(select), 재생(play), 완료(done), 확인등 의 키가 입력 되었을 때 사용되는 사운드 피드백은 앞서 설명한 도 6a의 화음이 이용되는 것이 바람직하다. 상기와 같은 키 입력에 대해서는 긍정적인 확인 피드백을 제공해야 하므로 기본 멜로디를 구성하는 음들 중 제2음, 제4음을 화음으로 구성하여 사용한다. 이와 같이 화음을 이용하여 피드백을 줌으로서 사용자한테 편안한 느낌을 주어 사용자로 하여금 긍정적인 분위기를 느낄 수 있도록 해준다.
도 12a 및 도 12b는 도 6a에 나타난 키와 반대되는 개념의 키를 보여 준다. 취소(cancel), 복귀(back), 일시정지(pause), 정지(stop)키가 이에 해당하며 도 12a 및 도 12b에 보여진 AUI 개념과 연관성을 같기 위해 기본 멜로디의 일부를 이용하여 AUI를 제공하는데, 본 발명에서는 기본 멜로디 중 제3 음을 삭제하여 짧은 리듬으로 구성하여 사용한다.
이와 같이, 몇 가지의 기본 음 또는 기본 멜로디를 이용하여 AUI를 생성하기 때문에 AUI간의 상호 연관성이 있어서, 사용자의 편리성의 도모할 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 이해되어져서는 안 될 것이다.
도 1은 본 발명이 적용가능한 전자기기의 일종인 MP3 플레이어의 블록도,
도 2는 본 발명의 일 실시예에 따른, 이벤트 발생 명령에 대응되는 AUI 및 GUI가 생성되어 출력되는 방법을 설명하기 위한 흐름도,
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 AUI 요소를 도시한 그래프,
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 AUI 요소에 기초하여 생성된 AUI를 도시한 그래프,
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 멜로디로 구현된 AUI와 관련된 도면,
도 6a 및 도 6b는 본 발명의 일실시예에 따른 화음으로 구현된 AUI와 관련된 도면,
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 방향성을 갖는 AUI와 관련된 도면,
도 8은 본 발명의 일실시예에 따른 멜로디 중 일부로 구현되는 AUI와 관련된 도면,
도 9a 및 도 9b는 메뉴 네비게이션을 위한 AUI 중 메뉴를 구성하는 각 아이템을 이동할때 제공되는 AUI와 관련된 도면,
도10는 메뉴에 대한 예를 나타내는 GUI와 관련된 도면,
도11은 계층적 메뉴구조에 AUI를 적용한 예와 관련된 도면, 그리고,
도 12a 및 도 12b는 본 발명의 일실시예에 따른, 또 다른 AUI와 관련된 도면 이다.
*도면의 주요 부분에 대한 부호의 설명*
110: 저장부 112:AUI 요소 저장부
114: GUI 요소 저장부 130: AUI 생성부
132: 음높이 조절부 134: 음량 조절부
136: 음길이 조절부 140: 백엔드부
150: 오디오 처리부 160: 오디오 출력부
165: GUI 생성부 170: 영상 처리부
175: 표시부 190: 제어부

Claims (16)

  1. UI(user interface) 이벤트 발생 명령이 입력되었는지 판단하는 단계;
    상기 UI 이벤트 발생 명령이 입력되었다고 판단되면, 기저장된 AUI(Auditory user interface) 요소를 읽어 오는 단계;
    상기 AUI 요소를 변형하여 AUI(Auditory user interface)를 생성하는 단계; 및
    상기 생성된 AUI를 외부로 출력하는 단계;를 포함하는 소리를 이용한 사용자 인터페이스 방법.
  2. 제 1항에 있어서,
    상기 UI 이벤트 발생 명령이 입력되었다고 판단되면, 상기 UI 이벤트에 대응되는 기저장된 GUI(Graphical user interface) 요소를 읽어 오는 단계; 및
    상기 GUI 요소에 기초하여 GUI(Graphical user interface)를 생성하는 단계; 및
    상기 생성된 GUI를 표시하는 단계;를 더 포함하고,
    상기 GUI 표시 단계는,
    상기 AUI 출력단계와 함께 수행되는 것을 특징으로 하는 사용자 인터페이스 방법.
  3. 제 1항에 있어서,
    상기 AUI 생성 단계는,
    생성된 AUI의 샘플링 레이트를 출력되는 오디오의 샘플링 레이트에 대응되도록 변환하는 단계;를 포함하는 것을 특징으로 하는 사용자 인터페이스 방법.
  4. 제 1항에 있어서,
    상기 AUI 생성 단계는,
    상기 AUI 요소의 음 길이를 조절하는 단계;를 포함하고,
    상기 AUI 요소의 음 길이의 조절은,
    상기 AUI 요소의 출력 시간을 조절하는 것을 특징으로 하는 사용자 인터페이스 방법.
  5. 제 1항에 있어서,
    상기 AUI 생성 단계는,
    상기 AUI 요소의 음량을 조절하는 단계;를 포함하고,
    상기 AUI 요소의 음량의 조절은,
    상기 AUI 요소의 진폭을 조절하는 것을 특징으로 하는 사용자 인터페이스 방법
  6. 제 1항에 있어서,
    상기 AUI 생성 단계는,
    상기 AUI 요소의 음높이를 조절하는 단계;를 포함하고,
    상기 AUI 요소의 음높이의 조절은,
    상기 AUI 요소의 주파수를 조절하는 것을 특징으로 하는 사용자 인터페이스 방법.
  7. 제 1항에 있어서,
    상기 AUI 요소는,
    적어도 하나 이상의 음 또는 멜로디로 구성되어 있는 것을 특징으로 하는 사용자 인터페이스 방법.
  8. 제 7항에 있어서,
    상기 AUI 요소가 멜로디인 경우,
    상기 멜로디를 구성하는 적어도 하나의 음이 출력되지 않도록 함으로써, AUI를 생성하는 것을 특징을 하는 사용자 인터페이스 방법.
  9. AUI(Auditory user interface) 요소가 저장되어 있는 제1 저장부;
    상기 AUI요소를 변형하여 AUI(Auditory user interface)를 생성하는 AUI 생성부; 및
    UI(user interface) 이벤트 발생 명령이 입력되면, 상기 UI 이벤트에 대응되 는 AUI가 생성되도록 상기 AUI 생성부를 제어하는 제어부;를 포함하는 것을 특징으로 하는 전자기기.
  10. 제 9항에 있어서,
    GUI(Graphical user interface) 요소가 저장되어 있는 제2 저장부; 및
    상기 GUI 요소에 기초하여 GUI를 생성하는 GUI 생성부;를 더 포함하고,
    상기 제어부는,
    상기 UI 이벤트 발생 명령이 입력되면, 상기 UI 이벤트에 대응되는 GUI가 생성되도록 상기 GUI 생성부를 제어하는 것을 특징으로 하는 전자기기.
  11. 제 9항에 있어서,
    상기 AUI 생성부는,
    생성된 AUI의 샘플링 레이트를 출력되는 오디오의 샘플링 레이트에 대응되도록 변환하는 샘플링레이트 변환부;를 포함하는 것을 특징으로 하는 전자기기.
  12. 제 9항에 있어서,
    상기 AUI 생성부는,
    상기 AUI 요소의 음 길이를 조절하는 음길이 조절부;를 포함하고,
    상기 AUI 요소의 음 길이의 조절은,
    상기 AUI 요소의 출력 시간을 조절하는 것을 특징으로 하는 전자기기.
  13. 제 9항에 있어서,
    상기 AUI 생성부는,
    상기 AUI 요소의 음량을 조절하는 음량 조절부;를 포함하고,
    상기 AUI 요소의 음량의 조절은,
    상기 AUI 요소의 진폭을 조절하는 것을 특징으로 하는 전자기기.
  14. 제 9항에 있어서,
    상기 AUI 생성부는,
    상기 AUI 요소의 음높이를 조절하는 음높이 조절부;를 포함하고,
    상기 AUI 요소의 음높이의 조절은,
    상기 AUI 요소의 주파수를 조절하는 것을 특징으로 하는 전자기기.
  15. 제 9항에 있어서,
    상기 AUI 요소는,
    적어도 하나 이상의 음 또는 멜로디로 구성되어 있는 것을 특징으로 하는 전자기기.
  16. 제 15항에 있어서,
    AUI 생성부는,
    상기 AUI 요소가 멜로디인 경우,
    상기 멜로디를 구성하는 적어도 하나의 음이 출력되지 않도록 함으로써 AUI를 생성하는 것을 특징을 하는 전자기기.
KR1020070089574A 2006-12-29 2007-09-04 사용자 인터페이스 방법 및 장치 KR20080063041A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07851809A EP2097807A4 (en) 2006-12-29 2007-12-27 USER INTERFACE METHOD AND APPARATUS
US11/965,088 US20080163062A1 (en) 2006-12-29 2007-12-27 User interface method and apparatus
PCT/KR2007/006897 WO2008082159A1 (en) 2006-12-29 2007-12-27 User interface method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060137967 2006-12-29
KR1020060137967 2006-12-29

Publications (1)

Publication Number Publication Date
KR20080063041A true KR20080063041A (ko) 2008-07-03

Family

ID=39815076

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070089574A KR20080063041A (ko) 2006-12-29 2007-09-04 사용자 인터페이스 방법 및 장치

Country Status (5)

Country Link
US (1) US20080163062A1 (ko)
EP (1) EP2097807A4 (ko)
KR (1) KR20080063041A (ko)
CN (1) CN101568899A (ko)
WO (1) WO2008082159A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9507561B2 (en) * 2013-03-15 2016-11-29 Verizon Patent And Licensing Inc. Method and apparatus for facilitating use of touchscreen devices
US9612722B2 (en) 2014-10-31 2017-04-04 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using sounds
US10795881B2 (en) 2015-12-18 2020-10-06 Sap Se Table replication in a database environment
US10235440B2 (en) 2015-12-21 2019-03-19 Sap Se Decentralized transaction commit protocol
US10572510B2 (en) 2015-12-21 2020-02-25 Sap Se Distributed database transaction protocol
US11573947B2 (en) 2017-05-08 2023-02-07 Sap Se Adaptive query routing in a replicated database environment
US10977227B2 (en) 2017-06-06 2021-04-13 Sap Se Dynamic snapshot isolation protocol selection
US11863146B2 (en) * 2019-03-12 2024-01-02 Whelen Engineering Company, Inc. Volume scaling and synchronization of tones

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204969A (en) * 1988-12-30 1993-04-20 Macromedia, Inc. Sound editing system using visually displayed control line for altering specified characteristic of adjacent segment of stored waveform
US5699244A (en) * 1994-03-07 1997-12-16 Monsanto Company Hand-held GUI PDA with GPS/DGPS receiver for collecting agronomic and GPS position data
US7181692B2 (en) * 1994-07-22 2007-02-20 Siegel Steven H Method for the auditory navigation of text
US5682196A (en) * 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5801692A (en) * 1995-11-30 1998-09-01 Microsoft Corporation Audio-visual user interface controls
US5826064A (en) * 1996-07-29 1998-10-20 International Business Machines Corp. User-configurable earcon event engine
US6081266A (en) * 1997-04-21 2000-06-27 Sony Corporation Interactive control of audio outputs on a display screen
US6611196B2 (en) * 1998-03-20 2003-08-26 Xerox Corporation System and method for providing audio augmentation of a physical environment
US6297818B1 (en) * 1998-05-08 2001-10-02 Apple Computer, Inc. Graphical user interface having sound effects for operating control elements and dragging objects
US6324507B1 (en) * 1999-02-10 2001-11-27 International Business Machines Corp. Speech recognition enrollment for non-readers and displayless devices
US6532005B1 (en) * 1999-06-17 2003-03-11 Denso Corporation Audio positioning mechanism for a display
US6639614B1 (en) * 2000-07-10 2003-10-28 Stephen Michael Kosslyn Multi-variate data presentation method using ecologically valid stimuli
US20070234224A1 (en) * 2000-11-09 2007-10-04 Leavitt Joseph M Method for developing and implementing efficient workflow oriented user interfaces and controls
GB2374502B (en) * 2001-01-29 2004-12-29 Hewlett Packard Co Distinguishing real-world sounds from audio user interface sounds
US20030227476A1 (en) * 2001-01-29 2003-12-11 Lawrence Wilcock Distinguishing real-world sounds from audio user interface sounds
US7117442B1 (en) * 2001-02-01 2006-10-03 International Business Machines Corporation Efficient presentation of database query results through audio user interfaces
US6834373B2 (en) * 2001-04-24 2004-12-21 International Business Machines Corporation System and method for non-visually presenting multi-part information pages using a combination of sonifications and tactile feedback
US6744974B2 (en) * 2001-09-15 2004-06-01 Michael Neuman Dynamic variation of output media signal in response to input media signal
US7312785B2 (en) * 2001-10-22 2007-12-25 Apple Inc. Method and apparatus for accelerated scrolling
US6999066B2 (en) * 2002-06-24 2006-02-14 Xerox Corporation System for audible feedback for touch screen displays
US6956473B2 (en) * 2003-01-06 2005-10-18 Jbs Technologies, Llc Self-adjusting alarm system
US7069090B2 (en) * 2004-08-02 2006-06-27 E.G.O. North America, Inc. Systems and methods for providing variable output feedback to a user of a household appliance
US7619616B2 (en) * 2004-12-21 2009-11-17 Microsoft Corporation Pressure sensitive controls
US7683889B2 (en) * 2004-12-21 2010-03-23 Microsoft Corporation Pressure based selection
US7869892B2 (en) * 2005-08-19 2011-01-11 Audiofile Engineering Audio file editing system and method
US7633076B2 (en) * 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7596765B2 (en) * 2006-05-23 2009-09-29 Sony Ericsson Mobile Communications Ab Sound feedback on menu navigation
US8136040B2 (en) * 2007-05-16 2012-03-13 Apple Inc. Audio variance for multiple windows
US20090013254A1 (en) * 2007-06-14 2009-01-08 Georgia Tech Research Corporation Methods and Systems for Auditory Display of Menu Items
US20100293468A1 (en) * 2009-05-12 2010-11-18 Sony Ericsson Mobile Communications Ab Audio control based on window settings
KR101668118B1 (ko) * 2010-07-23 2016-10-21 삼성전자주식회사 원격 사용자 인터페이스 시스템에서 원격 사용자 인터페이스 데이터 송/수신장치 및 방법

Also Published As

Publication number Publication date
CN101568899A (zh) 2009-10-28
EP2097807A4 (en) 2012-11-07
WO2008082159A1 (en) 2008-07-10
US20080163062A1 (en) 2008-07-03
EP2097807A1 (en) 2009-09-09

Similar Documents

Publication Publication Date Title
US20180284897A1 (en) Device and method for defining a haptic effect
KR20080063041A (ko) 사용자 인터페이스 방법 및 장치
CN108762506B (zh) 独立于流的声音到触觉效应转换系统
TWI497406B (zh) 用於為一語音辨識互動模組提供輸入功能之方法及電腦可讀取媒體
JP5166874B2 (ja) 端末装置及びプログラム
WO2006065066A1 (en) Mobile communication terminal with improved user interface
CN109416906B (zh) 音色设定装置、电子乐器系统以及音色设定方法
JP2008158892A (ja) 音量調整方法及び情報処理装置
KR100506228B1 (ko) 음악 연주 및 편집을 위한 이동통신 단말기 및 방법
JP4530001B2 (ja) 楽音制御装置のパラメータ設定装置
KR101715381B1 (ko) 전자장치 및 그 제어방법
KR20060072877A (ko) 이동통신 단말기 상에서 ｍｐ3 파일을 이용한 알람벨 설정방법
JP4299747B2 (ja) 電子早見本装置
JP3966465B2 (ja) 携帯端末装置及び音声生成プログラム
JP2004109745A (ja) 表情付けパラメータ編集装置および表情付けパラメータ編集方法を実現するためのプログラム
KR100650938B1 (ko) 디지털 오디오 기기에서의 노래방 시스템 및 구동 방법
KR100703437B1 (ko) 휴대단말기에서 대기화면 디스플레이 방법
KR200303592Y1 (ko) 키 입력 음성 송출기능을 구비한 휴대용 단말기
JP2003162367A (ja) 入力端末機、入力端末機における入力方法およびプログラム、、プログラムを記録したコンピュータ読取可能な記録媒体および携帯電話機
JP2005128376A (ja) 電子楽器
JP2005195972A (ja) 電子音楽装置及び該装置の制御プログラム
JP2001356783A (ja) コンピュータ制御方法、コンピュータおよび記録媒体
JP2001356782A (ja) コンピュータ制御方法、コンピュータおよび記録媒体
KR20090036737A (ko) 휴대 단말기 및 그의 터치를 이용한 진동벨 제작 방법
JP2011150000A (ja) 電子音楽装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application