KR20130004713A - 이동통신 단말기의 인터페이스 장치 및 방법 - Google Patents

이동통신 단말기의 인터페이스 장치 및 방법 Download PDF

Info

Publication number
KR20130004713A
KR20130004713A KR1020110065935A KR20110065935A KR20130004713A KR 20130004713 A KR20130004713 A KR 20130004713A KR 1020110065935 A KR1020110065935 A KR 1020110065935A KR 20110065935 A KR20110065935 A KR 20110065935A KR 20130004713 A KR20130004713 A KR 20130004713A
Authority
KR
South Korea
Prior art keywords
area
voice
text
mobile communication
communication terminal
Prior art date
Application number
KR1020110065935A
Other languages
English (en)
Inventor
황유식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110065935A priority Critical patent/KR20130004713A/ko
Priority to EP12174980A priority patent/EP2544436A1/en
Priority to US13/542,296 priority patent/US20130012268A1/en
Publication of KR20130004713A publication Critical patent/KR20130004713A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/005—Details of specially-adapted software to access information, e.g. to browse through hyperlinked information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72481—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for visually impaired users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/39—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech synthesis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Abstract

이동통신 단말기의 인터페이스 장치는, 해당 영역 내의 객체를 탐색하기 위한 방향키와, 상기 해당 영역 내의 객체에 대응하는 텍스트 혹은 내용을 결정하는 제어부와, 상기 해당 영역 내의 객체에 대응하는 텍스트 혹은 내용을 음성으로 변환하는 변환부와, 상기 해당 영역 내의 객체에 대응하는 변환된 음성을 출력하는 스피커를 포함하여, 시각장애인 혹은 시력이 저하된 노인들도 편리하게 통신기기를 사용할 수 있는 이점이 있다.

Description

이동통신 단말기의 인터페이스 장치 및 방법{INTERFACE APPARATUS AND METHOD OF MOBILE COMMUNICATION TERMINAL}
본 발명은 이동통신 단말기의 인터페이스에 관한 것으로, 특히 시각장애인을 위한 이동통신 단말기의 인터페이스 장치 및 방법에 관한 것이다.
컴퓨터, 전자, 통신 기술이 비약적으로 발전함에 따라 무선통신망(Wireless Network)을 이용한 다양한 무선통신 서비스가 제공되고 있다. 이에 따라, 무선통신망을 이용한 이동통신 시스템에서 제공하는 서비스는 음성 서비스뿐만 아니라, 회선(circuit) 데이터, 패킷(packet) 데이터 등과 같은 데이터를 송신하는 멀티미디어 통신 서비스로 발전해 가고 있다.
또한, 최근 들어 이동통신 단말기의 기능 및 휴대 정보 단말기(Personal Digital Assistant: PDA)의 기능을 결합시킨 스마트폰(smartphone)이 각광받고 있는 추세이며, 이러한 스마트폰에는 기존 이동통신 단말기에 비해 대용량의 메모리와 고성능 CPU가 탑재되며, 다양한 애플리케이션 실행, 음성/데이터 통신 및 PC 연동 등을 지원하기 위한 운영체제(OS)가 탑재된다.
한편, 상기 스마트폰은 터치스크린을 기반으로 하는 시각적인 인터페이스를 제공하고 있으며, 사용자는 스마트폰의 터치스크린에 표시되는 화면을 보면서, 해당 화면의 위치를 터치하여 입력 이벤트를 발생시킵니다.
하지만, 시각장애인이나 혹은 시력이 저하된 노인들 등은 시각적인 인터페이스를 제공하는 환경에서, 상기 스마트폰 사용에 있어서 제약을 받을 수밖에 없다. 예를 들어, 시각장애인 경우, 스마트폰의 터치스크린을 통해 표시되는 화면을 볼 수 없으므로, 메뉴 선택 혹은 애플리케이션 실행에 있어서 제약을 받게 된다.
따라서, 시각장애인 혹은 시력이 저하된 노인들을 위한 이동통신 단말기 혹은 스마트폰의 인터페이스 장치 및 방법이 필요하다.
본 발명의 목적은 시각장애인을 위한 이동통신 단말기의 인터페이스 장치 및 방법을 제공함에 있다.
본 발명의 다른 목적은 시각장애인이 편리하게 사용하도록 하기 위한 장치 및 방법을 제공함에 있다.
상기한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 이동통신 단말기의 인터페이스 장치에 있어서, 해당 영역 내의 객체를 탐색하기 위한 방향키와, 상기 해당 영역 내의 객체에 대응하는 텍스트 혹은 내용을 결정하는 제어부와, 상기 해당 영역 내의 객체에 대응하는 텍스트 혹은 내용을 음성으로 변환하는 변환부와, 상기 해당 영역 내의 객체에 대응하는 변환된 음성을 출력하는 스피커를 포함하는 것을 특징으로 한다.
상기한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 이동통신 단말기의 인터페이스 방법에 있어서, 방향키를 이용하여 해당 영역 내의 객체를 탐색하는 과정과, 상기 해당 영역 내의 객체에 대응하는 텍스트 혹은 내용을 결정하는 과정과, 상기 해당 영역 내의 객체에 대응하는 텍스트 혹은 내용을 음성으로 변환하는 과정과, 상기 해당 영역 내의 객체에 대응하는 변환된 음성을 출력하는 과정을 포함하는 것을 특징으로 한다.
상술한 바와 같이, 스마트폰에서 방향 키로 객체들 이동할 시 해당 객체에 대응되는 내용 혹은 텍스트를 음성으로 변환하여 사용자에게 출력함으로써, 청각적인 인터페이스를 제공하여 시각장애인 혹은 시력이 저하된 노인들도 편리하게 통신기기를 사용할 수 있는 이점이 있다.
도 1은 본 발명의 실시 예에 따른 스마트폰 형상(100)을 도시하고 있다.
도 2는 본 발명의 실시 예에 따른 스마트폰에서 애플리케이션이 사용하는 화면 구성을 도시하고 있다.
도 3 내지 도 6은 본 발명에 따른 스마트폰 화면 예를 도시하고 있다.
도 7은 본 발명의 실시 예에 따른 시스템 이동통신 단말기의 인터페이스 장치 구성도를 도시하고 있다.
도 8은 본 발명의 실시 예에 따른 시스템 이동통신 단말기의 인터페이스 방법을 위한 흐름도를 도시하고 있다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 본 발명은 시각장애인을 위한 이동통신 단말기의 인터페이스 장치 및 방법에 관해 설명하기로 한다.
특히, 본 발명은 터치스크린을 입력으로 하는 기기(full-Touch device)(예: 터치 스마트폰, 터치 폰)에서 상하 방향키 2개와 선택 키 1개의 조합과 TTS(Text-To-Speech) 기술을 이용하여 화면에 보이는 모든 본문 내용을 인지할 수 있게 하는 사용자 인터페이스 장치 및 방법에 관한 것이다.
이하, 본 발명은 스마트폰을 기반으로 설명하지만, 터치스크린을 입력으로 하는 다른 통신기기에 적용할 수 있음은 물론이다.
도 1은 본 발명의 실시 예에 따른 스마트폰 형상(100)을 도시하고 있다.
상기 도 1을 참조하면, 사용자가 상하 제어 버튼(101)을 통해 화면(104)에 출력되는 객체(object)들을 탐색(navigation)할 시, 각각의 객체에 대응하는 텍스트(혹은 객체에 대한 내용)가 음성으로 변환되어(이하 TTS(Text-To-Speech) 기능이라 칭함) 스피커(102)를 통해 재생이 된다. 여기서, 상기 화면은 다수의 영역으로 구분되며, 각각의 영역에는 다수의 객체가 포함된다. 상기 객체는 데이터(이미지 및 텍스트)와 그 데이터에 관련된 동작(절차, 방법, 기능)을 모두 포함한 개념이다.
이후, 상기 사용자는 상기 스피커(102)를 통해 재생되는 음성을 참조하여, 원하는 객체를 선택 버튼(103)을 이용하여 선택한다. 따라서, 시각장애인 혹은 시력이 저하된 노인들도 상기 스마트폰의 화면을 보지않고도 화면에 대한 내용을 음성을 통해 인지함으로써 해당 기능을 수행할 수 있다.
한편, 사용자는 STT(Speech To Text) 기능을 이용하여 즉, 음성을 텍스트로 변환해주는 기능을 통해 입력할 수 있다.
도 2는 본 발명의 실시 예에 따른 스마트폰에서 애플리케이션이 사용하는 화면 구성을 도시하고 있다.
상기 2를 참조하면, 스마트폰의 애플리케이션 화면은 크게 표시영역(200), 제목영역(202), 메인 스크린영역(204), 그리고 명령영역(206)으로 구분된다.
상기 표시영역(200)은 신호 세기를 이미지 혹은 숫자로 표시하는 객체, 현재시간을 표시하는 객체, 배터리의 남은 용량을 이미지 혹은 숫자로 표시하는 객체, 알람 설정을 이미지로 표시하는 객체들을 포함한다. 추가로, 상기 표시영역(200)에 현재 스마트폰 사용중 문제점이 발생시 경고를 이미지로 표시하는 객체, 멀티 태스크 중 다른 실행중인 애플리케이션을 이미지로 표시하는 객체, 진동 설정인지 벨소리 설정인지를 이미지로 표시하는 객체 등이 포함될 수 있다. 그외에 해당 애플리케이션 실행 여부에 따라 상기 표시영역(200)에 해당 객체가 표시되거나 표시되지 않을 수 있다.
또한, 상기 표시영역(200)에 표시되는 객체들은 사용자에게 기본적인 정보를 표시해주기 위한 것으로, 링크된 동작을 가지고 있지 않다. 예를 들어, 상기 표시영역(200)의 현재시간을 표시하는 객체를 사용자가 선택하더라도 현재시간을 변경하거나 수정할 수 없다.
상기 제목영역(202)은 다양한 정보를 표시한다. 예를 들어, 현재 화면에 표시되는 애플리케이션에 대한 제목을 표시하는 객체, 그리고 다수의 화면 페이지 중에 현재 페이지 정보를 표시하는 객체, 혹은 해당 애플리케이션의 입력을 위한 보조하는 다수의 객체가 존재할 수 있다.
상기 메인 스크린영역(204)은 전화번호 리스트, 문자메시지 리스트 같은 각종 정보들을 출력하거나, 다수의 애플리케이션을 실행시키기 위한 아이콘들이 출력한다. 상기 메인 스크린영역(204)은 애플리케이션에 따라서 다양하게 구현될 수 있다.
상기 명령영역(206)은 재생(play), 삭제(delete), 다음(next) 페이지 이동, 이전(back) 페이지 이동 같은 제어/네비게이션 같은 객체들을 포함한다. 구현에 따라서, 상기 명령영역(206)에는 자주사용하는 애플리케이션 아이콘 객체를 포함한다.
구현에 따라서, 제목영역(202) 혹은 명령영역(206)은 해당 애플리케이션에 따라서, 생략될 수 있으며 또한 제목영역(202)과 명령영역(206)의 위치가 변경될 수 있다.
이하, 도 3 내지 도 6은 애플리케이션 따라 표시되는 스마트폰 화면 예를 도시하고 있다.
도 3은 본 발명의 실시 예에 따른 스마트폰 화면 예를 도시하고 있다.
상기 도 3을 참조하면, 스마트폰의 메인 화면은 표시영역(300), 제목영역(302), 메인 스크린영역(304), 그리고 명령영역(306)으로 구분되며, 각 영역에는 다수의 객체를 포함한다.
예를 들어, 상기 표시영역(300)에 좌측으로부터 배터리 부족을 경고하는 객체, 보조메모리가 스마트폰에 장착되어 있음을 지시하는 객체, 3G망이 연결된 상태임을 표시하는 객체, 신호 세기를 표시하는 객체, 배터리 남은 용량을 표시하는 객체, 현재시각을 표시하는 객체가 존재한다.
상기 제목영역(302)에는 다수의 메인 화면 페이지 중 현재 메인 화면 페이지 정보를 표시하는 객체가 존재한다. 예를 들어, 상기 도 3의 스마트폰의 메인 화면은 총 5개의 메인 화면 페이지 중 첫 번째 메인 화면을 도시하고 있다.
상기 메인 스크린영역(304)은 다수의 애플리케이션을 실행하기 위한 아이콘 객체가 존재한다.
그리고, 상기 명령영역(306)에는 좌측으로부터 전화하기 애플리케이션, 전화번호부 검색 애플리케이션, 메시지 검색/전송 애플리케이션, 메인 화면으로 전화하는 홈 객체가 존재한다.
시각장애인이 시각을 통해 스마트폰 화면을 확인하는 것이 불가능하거나 어렵기 때문에, 본 발명에서는 상기 도 1의 상하 제어 버튼(101)과 선택 버튼(103) 그리고 TTS 기능(즉, 텍스트를 음성으로 변환해주는 기능)를 이용하여, 시각장애인에게 청각적인 인터페이스를 제공한다.
먼저, 시각장애인은 스마트폰 화면을 확인할 수 없더라도, 상기 상하 제어 버튼(101)을 이용하여, 해당 영역에 존재하는 다수의 객체들간 이동이 가능하다. 예를 들어, 초기 상하 제어 버튼(101)을 사용자 누르면, 상기 표시영역(300)의 첫 번째 객체(경고 객체)에 초점이 맞추어지면서 해당 경고 객체에 대한 텍스트 혹은 내용(예를 들어, "배터리가 부족합니다")이 음성으로 변환되어 스피커(102)를 통해 출력된다. 이후, 상 제어버튼(101)을 한번 누르면 우측으로 초점이 이동하면서 즉, 보조메모리가 스마트폰에 장착되어 있음을 지시하는 객체에 대한 텍스트 혹은 내용(예를 들어, "보조메모리가 스마트폰에 장착되어 있습니다")이 음성으로 변환되어 스피커(102)를 통해 출력된다. 마찬가지로 한번 더 상 제어버튼(101)을 한번 누르면 우측으로 초점이 이동하여 즉 3G망이 연결된 상태임을 표시하는 객체에 대한 텍스트 혹은 내용(예를 들어, "3G망이 연결되어 있습니다")이 음성으로 변환되어 스피커(102)를 통해 출력되고, 신호 세기를 표시하는 객체에 대한 텍스트 혹은 내용(예를 들어, "현재 전파 세기는 4단계입니다")이 음성으로 변환되어 스피커(102)를 통해 출력되고, 배터리 남은 용량을 표시하는 객체에 대한 텍스트 혹은 내용(예를 들어, "현재 배터리 남은 용량은 70%입니다")이 음성으로 변환되어 스피커(102)를 통해 출력되고, 마지막으로 현재시각을 표시하는 객체에 대한 텍스트 혹은 내용(예를 들어, "현재 시각은 오후 10시 44분입니다")이 음성으로 변환된다. 한편, 하 제어버튼(103)을 누르면, 우측에서 좌측으로 초점이 이동한다. 예를 들어, 현재 초점이 신호 세기를 표시하는 객체에 있을 때, 하 제어버튼(103)을 누르면, 3G망이 연결된 상태임을 표시하는 객체로 초점이 이동한다.
또한, 구현에 따라서, 초기 상하 제어 버튼(101)을 사용자 누르면, 상단의 상기 표시영역(300) 대신 설정 값에 혹은 랜덤 값에 따라 다수의 영역 중 임의의 영역부터 초점이 맞추어 질 수 있다. 예를 들어, 초기 상하 제어 버튼(101)을 사용자 누르면, 제목영역(302), 메인 스크린영역(304), 혹은 명령영역(306)부터 시작할 수 있다.
한편, 초기 상하 제어 버튼(101)에 의해 상기 표시영역(300)의 객체들에 대한 음성 출력이 완료되면, 상기 표시영역(300)의 객체들에 대한 음성 출력이 끝났음을 음성으로 출력한다. 이때, 사용자는 상기 표시영역(300)의 객체들에 대한 음성 출력이 끝났음을 인지하고, 상기 상하 제어 버튼(101)을 연속적으로 두 번 눌러, 혹은 더블클릭하여, 상기 제목영역(302)으로 초점을 이동한다.
구현에 따라서, 상기 표시영역(300)의 객체들에 대한 음성 출력이 완료되기 전에, 사용자가 상기 상하 제어 버튼(101)을 연속적으로 두 번 눌러(더블클릭), 상기 제목영역(302)으로 초점을 이동할 수 있다.
마찬가지로, 상기 표시영역(300)에 있는 객체에 대한 음성 출력이 종료되면, 상기 상하 제어 버튼(101)을 연속적으로 두 번 눌러(더블클릭), 상기 제목영역(302)으로 초점을 이동할 수 있다. 이때, 상기 제목영역(302)의 객체에 초점이 있을 때, 사용자가 선택 버튼(103)을 눌러도 아무런 변화도 일어나지 않는다. 상기 제목영역(302)의 객체는 사용자에게 현재 스마트폰의 화면 페이지 정보를 표시해주는 기능이므로, 사용자가 선택 버튼(103)을 눌러도 별다른 동작은 일어나지 않는다.
마찬가지로, 상기 제목영역(302)에 있는 객체에 대한 음성 출력이 종료되면, 사용자는 상기 상하 제어 버튼(101)을 연속적으로 두 번 눌러(더블클릭), 상기 메인 스크린영역(304)의 좌측 첫 번째 객체(예: T 서비스 애플리케이션 아이콘)로 초점을 이동할 수 있다.
이후, 사용자는 상기 상하 제어 버튼(101)을 이용하여, 좌측 애플리케이션 객체에서 우측 애플리케이션 객체로 하나씩 이동하여, "T store" 애플리케이션 아이콘 객체에 대한 텍스트가 음성으로 출력될 때(즉, 초점이 T store 애플리케이션 아이콘 객체에 있을 때), 선택 버튼(103)을 이용하여 자신이 원하는 T store 애플리케이션을 실행시킬 수 있다.
마찬가지로, 상기 메인 스크린영역(304)에 있는 객체에 대한 음성 출력이 종료되면, 사용자는 상기 상하 제어 버튼(101)을 연속적으로 두 번 눌러(더블클릭), 상기 명령영역(306)의 좌측 첫 번째 객체(예: 전화하기와 관련된 객체)로 초점을 이동할 수 있다.
도 4는 본 발명의 다른 실시 예에 따른 스마트폰 화면 예를 도시하고 있다.
상기 도 4를 참조하면, 상기 도 3과 같이 스마트폰의 메인 화면은 표시영역(400), 제목영역(402), 메인 스크린영역(404), 그리고 명령영역(406)으로 구분되며, 각 영역에는 다수의 객체를 포함한다.
상기 표시영역(400), 상기 제목영역(402), 상기 메인 스크린영역(404), 그리고 상기 명령영역(406)에 있는 객체에 대한 음성 출력은 도 3과 같이 사용자가 상하 제어버튼(101)을 이용하여 제어한다.
상기 도 4를 보면, 상기 제목영역(402)의 "모든 연락처"을 음성으로 출력하여 상기 메인 스크린영역(404)에 연락처 데이터베이스의 내용들이 리스트될 것임을 알려주면, 상기 메인 스크린영역(404)으로 이동하여, 리스트된 연락처에서 각각의 해당 사용자의 이름을 음성으로 출력한다.
도 5는 본 발명의 또 다른 실 예에 따른 스마트폰 화면 예를 도시하고 있다.
상기 도 5를 참조하면, 스마트폰 화면은 표시영역(500), 제목영역(502), 메인 스크린영역(504)으로 구분되며, 각 영역에는 다수의 객체를 포함한다. 하지만, 상기 도 3 및 상기 도 4에서처럼, 명령영역은 포함되지 않는다.
도 6은 본 발명의 또 다른 실시 예에 따른 스마트폰 화면 예를 도시하고 있다.
상기 도 6을 참조하면, 스마트폰 화면은 표시영역(600), 제목영역(602), 메인 스크린영역(608) 그리고 명령영역(610) 이외에도 추가 영역들(604, 606)로 더 구분될 수 있으며, 각 영역에는 다수의 객체를 포함한다.
도 7은 본 발명의 실시 예에 따른 시스템 이동통신 단말기의 인터페이스 장치 구성도를 도시하고 있다.
상기 도 7을 참조하면, 상기 이동통신 단말기는 로직 소프트웨어, 구동 소프트웨어, 그리고 하드웨어를 포함하여 구성된다. 상기 로직 소프트웨어와 상기 구동 소프트웨어는 하나의 제어부(700)로 구성될 수 있다. 상기 하드웨어는 LCD(710), 진동센서(712), 키패드(714), 스피커(716), 마이크(718)를 포함한다. 상기 구동 소프트웨어는 LCD 드라이버(720), 진동기 드라이버(722), 키패드드라이버(724), 스피커 드라이버(726), 마이크 드라이버(728)를 포함하여 구성된다. 상기 로직 소프트웨어는 UI(740), 내비게이션 블록(742), 텍스트변환 블록(744), TTS(746) 및 STT(748)를 포함하여 구성된다.
상기 로직 소프트웨어, 상기 구동 소프트웨어, 그리고 상기 하드웨어를 구성하는 기능 블록은 본 발명에서 제한되지 않으며, 추가적인 기능블록(예: 송·수신블록)이 더 포함될 수 있음은 자명하다.
상기 로직 소프트웨어는 전반적인 이동통신 단말을 제어하며, 특히 본 발명에 더하여, 사용자에게 청각적인 인터페이스를 제공하도록 제어한다.
상기 UI(740)는 사용자와 이동통신 단말기 사이 인터페이스를 제공하여, 사용자가 터치스크린을 통해 입력할 시 입력에 대응하는 동작을 LCD(710)를 통해 표시한다.
상기 내비게이션 블록(742)은 상기 키패드(714)(예: 상하 제어 버튼 혹은 선택 버튼)의 입력 혹은 상기 UI(740)로부터의 입력을 기반으로, 해당 화면 영역 내의 객체들을 탐색하여 해당 객체에 해당하는 텍스트는 상기 TTS(746)로 제공하고, 해당 객체에 해당하는 이미지는 텍스트 변환블록(744)으로 제공한다. 상기 텍스트 변환 블록(744)은 해당 객체가 이미지 내에 텍스트를 포함할 시, 상기 이미지로부터 텍스트를 분석하여 상기 TTS(746)로 제공한다. 상기 TTS(746)는 텍스트를 음성으로 변환하여 오디오출력부(730)로 제공하고, 상기 STT(Speach to Text)(748)는 상기 오디오출력부(730)로부터의 음성을 텍스트로 변환하여 상기 UI(740)로 제공한다. 상기 오디오출력부(730)는 스피커 드라이버(726)를 통해 음성을 스피커로 출력하거나 상기 마이크(718)로부터의 음성을 상기 STT(748)로 제공한다.
상기 구동 소프트웨어는 운영체제와 응용프로그램 및 하드웨어 간의 인터페이스를 담당한다. 예를 들어, 상기 LCD 드라이버(720)는 운영체제와 응용프로그램 및 LCD(710) 간의 인터페이스를 담당하고, 상기 진동기 드라이버(722)는 운영체제와 응용프로그램 및 진동센서(712) 간의 인터페이스를 담당하고, 상기 키패드 드라이버(724)는 운영체제와 응용프로그램 및 키패드(714) 간의 인터페이스를 담당하고, 상기 스피커 드라이버(726)는 운영체제와 응용프로그램 및 스피커(718) 간의 인터페이스를 담당하고, 상기 마이크 드라이버(728)는 운영체제와 응용프로그램 및 마이크(718) 간의 인터페이스를 담당한다.
상기 LCD(710)는 상기 이동통신 단말기의 동작 중에 발생하는 상태 정보, 제한된 숫자의 문자들, 다량의 동영상 및 정지영상 등을 디스플레이하고, 진동센서(712)는 전기신호(예: 터치 신호 혹은 전화착신 신호 등등)를 진동으로 변환하다. 그리고 키패드(714)는 0 ~ 9의 숫자키들과, 메뉴키(menu), 취소키(지움), 확인키, 통화키(TALK), 종료키(END), 인터넷접속키 등 다수의 기능키들을 구비하며, 사용자가 누르는 키에 대응하는 키입력 데이터를 상기 제어부(700)로 제공한다. 상기 스피커(716)는 제어부(700)로부터의 전기신호를 음성신호로 변환하여 출력하고, 상기 마이크(718)는 음성신호를 전기신호로 변환하여 제어부(700)로 제공한다.
도 8은 본 발명의 실시 예에 따른 시스템 이동통신 단말기의 인터페이스 방법을 위한 흐름도를 도시하고 있다.
상기 도 8을 참조하면, 제어부(700)는 800단계에서 내비게이션 이벤트가 발생하는지를 판단하여, 내비게이션 이벤트가 발생할 시, 802단계로 진행한다. 다시 말해, 사용자가 도 1의 상하 제어 버튼(101)을 누르면, 802단계로 진행한다.
상기 제어부(700)는 802단계에서 내비게이션 키(즉, 상하 제어 버튼) 입력에 따라 화면의 해당 영역을 선택하고, 804단계에서 내비게이션 키(즉, 상하 제어 버튼) 입력에 따라 상기 해당 영역의 해당 객체를 선택한다.
예를 들어, 상기 도 3에서 상하 제어 버튼이 사용자에 의해 차례로 한번씩 눌리면, 초점이 해당 영역의 좌측의 객체부터 우측의 객체로 이동되며, 다음 영역의 객체로 이동할 때는 상하 제어 버튼을 더블클릭하여 이동시킬 수 있다.
이후, 상기 제어부(700)는 808단계에서 TTS 기능을 이용하여 선택된 해당 객체에 대응하는 텍스트 혹은 내용을 음성으로 변환한다. 예를 들어, 도 3에서 초점이 표시영역(300)의 신호 세기를 표시하는 객체에 있을 때, 신호 세기를 표시하는 객체에 해당하는 텍스트 혹은 내용이 음성으로 변환된다. 구현에 따라서, 해당 객체에 대응되는 음성이 미리 메모리에 저장되어 보관될 수 있다. 따라서, 이런경우 808단계에서 TTS 기능 대신 해당 객체에 대응하는 음성파일을 메모리로부터 독출하는 과정이 필요하다.
이후, 상기 제어부(700)는 810단계에서 변환된 음성 혹은 메모리부터 독출된 객체에 대응하는 음성을 스피커를 통해 출력한다.
이후, 상기 제어부(700)는 812단계에서 선택 버튼(103)을 이용하여 해당 영역 내 객체를 실행할 시 814단계로 진행하여 상기 해당 객체를 실행한다.
반면 해당 영역 내 객체를 실행하지 않을 시, 802단계로 진행하여, 상기 해당 영역 내의 다음 객체 혹은 다음 해당 영역 내의 임의 객체에 해당하는 텍스트 혹은 내용을 음성으로 변환하여 스피커를 통해 출력한다.
이후, 본 발명의 절차를 종료한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
101:상하 제어 버튼, 103: 선택 버튼, 102: 스피커

Claims (12)

  1. 이동통신 단말기의 인터페이스 장치에 있어서,
    해당 영역 내의 객체를 탐색하기 위한 방향키와,
    상기 해당 영역 내의 객체에 대응하는 텍스트 혹은 내용을 결정하는 제어부와,
    상기 해당 영역 내의 객체에 대응하는 텍스트 혹은 내용을 음성으로 변환하는 변환부와,
    상기 해당 영역 내의 객체에 대응하는 변환된 음성을 출력하는 스피커를 포함하는 것을 특징으로 하는 장치.
  2. 제1항 있어서,
    상기 객체는 데이터와 그 데이터에 관련된 동작을 포함하는 것을 특징으로 하는 장치.
  3. 제1항 있어서,
    상기 해당 객체를 실행하는 선택 키를 더 포함하는 것을 특징으로 하는 장치.
  4. 제1항 있어서,
    상기 해당 영역 내의 객체에 대응하는 변환된 음성을 저장하는 메모리를 더 포함하는 것을 특징으로 하는 장치.
  5. 제1항 있어서,
    상기 방향키를 연속적으로 소정 횟수를 누르면, 상기 해당 영역에서 다음 영역으로 이동하는 것을 특징으로 하는 장치.
  6. 제1항 있어서,
    상기 이동통신 단말기의 화면은 다수의 영역으로 구분되며,
    각각의 영역은 다수의 객체로 포함하는 것을 특징으로 하는 장치.
  7. 이동통신 단말기의 인터페이스 방법에 있어서,
    방향키를 이용하여 해당 영역 내의 객체를 탐색하는 과정과,
    상기 해당 영역 내의 객체에 대응하는 텍스트 혹은 내용을 결정하는 과정과,
    상기 해당 영역 내의 객체에 대응하는 텍스트 혹은 내용을 음성으로 변환하는 과정과,
    상기 해당 영역 내의 객체에 대응하는 변환된 음성을 출력하는 과정을 포함하는 것을 특징으로 하는 방법.
  8. 제6항 있어서,
    상기 객체는 데이터와 그 데이터에 관련된 동작을 포함하는 것을 특징으로 하는 방법.
  9. 제6항 있어서,
    선택 키를 이용하여 상기 해당 객체를 실행하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  10. 제1항 있어서,
    상기 해당 영역 내의 객체에 대응하는 변환된 음성을 저장하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  11. 제6항 있어서,
    상기 방향키를 연속적으로 소정 횟수를 누르면, 상기 해당 영역에서 다음 영역으로 이동하는 것을 특징으로 하는 방법.
  12. 제6항 있어서,
    상기 이동통신 단말기의 화면은 다수의 영역으로 구분되며,
    각각의 영역은 다수의 객체로 포함하는 것을 특징으로 하는 방법.
KR1020110065935A 2011-07-04 2011-07-04 이동통신 단말기의 인터페이스 장치 및 방법 KR20130004713A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110065935A KR20130004713A (ko) 2011-07-04 2011-07-04 이동통신 단말기의 인터페이스 장치 및 방법
EP12174980A EP2544436A1 (en) 2011-07-04 2012-07-04 Interface device for mobile communication terminal and method thereof
US13/542,296 US20130012268A1 (en) 2011-07-04 2012-07-05 Interface device for mobile communication terminal and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110065935A KR20130004713A (ko) 2011-07-04 2011-07-04 이동통신 단말기의 인터페이스 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130004713A true KR20130004713A (ko) 2013-01-14

Family

ID=46758606

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110065935A KR20130004713A (ko) 2011-07-04 2011-07-04 이동통신 단말기의 인터페이스 장치 및 방법

Country Status (3)

Country Link
US (1) US20130012268A1 (ko)
EP (1) EP2544436A1 (ko)
KR (1) KR20130004713A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170104463A (ko) * 2014-12-22 2017-09-15 노바사이트 리미티드 개선된 디스플레이를 위한 시스템 및 방법
US9965246B2 (en) 2014-09-16 2018-05-08 Samsung Electronics Co., Ltd. Method for outputting screen information through sound and electronic device for supporting the same

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5880256B2 (ja) * 2012-04-26 2016-03-08 ソニー株式会社 情報処理装置及び方法、プログラム、並びに情報処理システム
KR102158209B1 (ko) * 2013-07-26 2020-09-22 엘지전자 주식회사 전자기기
FR3011101B1 (fr) * 2013-09-20 2017-02-17 Kapsys Terminal mobile utilisateur et procede de commande d'un tel terminal
CN103634640A (zh) * 2013-11-29 2014-03-12 乐视致新电子科技（天津）有限公司 移动终端设备控制智能电视端语音输入的方法及系统
KR102410937B1 (ko) * 2017-04-18 2022-06-20 현대자동차주식회사 카드형 스마트키 및 그 제어방법
CN108777808B (zh) * 2018-06-04 2021-01-12 深圳Tcl数字技术有限公司 基于显示终端的文本转语音方法、显示终端及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5801692A (en) * 1995-11-30 1998-09-01 Microsoft Corporation Audio-visual user interface controls
US6154214A (en) * 1998-03-20 2000-11-28 Nuvomedia, Inc. Display orientation features for hand-held content display device
US6331867B1 (en) * 1998-03-20 2001-12-18 Nuvomedia, Inc. Electronic book with automated look-up of terms of within reference titles
US7016704B2 (en) * 2001-04-02 2006-03-21 Move Mobile Systems, Inc. Coordinating images displayed on devices with two or more displays
US7127679B2 (en) * 2001-06-29 2006-10-24 Softrek, Inc. Method for generating and navigating a plurality of menus using a database and a menu template
EP1308831A1 (en) * 2001-10-30 2003-05-07 TELEFONAKTIEBOLAGET L M ERICSSON (publ) Display system
CA2727763C (en) * 2003-12-01 2013-09-10 Research In Motion Limited Previewing a new event on a small screen device
US7509151B1 (en) * 2004-11-03 2009-03-24 Sprint Spectrum L.P. Phone for the visually impaired with dual battery arrangement
US8209063B2 (en) * 2006-02-13 2012-06-26 Research In Motion Limited Navigation tool with audible feedback on a handheld communication device
US8456420B2 (en) * 2008-12-31 2013-06-04 Intel Corporation Audible list traversal
US9280971B2 (en) * 2009-02-27 2016-03-08 Blackberry Limited Mobile wireless communications device with speech to text conversion and related methods

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965246B2 (en) 2014-09-16 2018-05-08 Samsung Electronics Co., Ltd. Method for outputting screen information through sound and electronic device for supporting the same
KR20170104463A (ko) * 2014-12-22 2017-09-15 노바사이트 리미티드 개선된 디스플레이를 위한 시스템 및 방법

Also Published As

Publication number Publication date
US20130012268A1 (en) 2013-01-10
EP2544436A1 (en) 2013-01-09

Similar Documents

Publication Publication Date Title
KR20130004713A (ko) 이동통신 단말기의 인터페이스 장치 및 방법
US9613623B2 (en) User interface method and device comprising repeated output of an audible signal and a visual display and vibration for user notification
TWI597663B (zh) 用於直覺多重作業之方法及裝置
KR101188857B1 (ko) 투명 층 애플리케이션
KR101954774B1 (ko) 문자 데이터를 이용한 음성 통화를 제공하기 위한 전자 장치 및 방법
JP6020864B2 (ja) 車載情報システム
JP2002207561A (ja) 情報処理装置および方法、並びに記録媒体
KR100365860B1 (ko) 이동 단말에서의 메시지 전송방법
KR20070097889A (ko) 이동 단말기에서 사용자 데이터 크기 조절 장치 및 방법
JP2008523667A (ja) 増大した検索特性のあるユーザインターフェィス
KR101771013B1 (ko) 정보 제공 방법 및 이를 구현하는 이동통신단말기
TWI566568B (zh) 手持式電子裝置及其來電通話處理方法
JP2018508086A (ja) 入力処理方法、装置及び機器
EP4099690A1 (en) Enhanced video call method and system, and electronic device
EP2747392A1 (en) Handheld electronic apparatus and incoming call processing method thereof
KR20150088532A (ko) 통화 중 서비스 제공 장치 및 이를 이용하는 방법
KR20150042454A (ko) 이동통신단말기의 통화발신장치 및 그 통화발신방법
CN108605074B (zh) 一种触发语音功能的方法和设备
CN105376513A (zh) 信息传输的方法及装置
KR101192988B1 (ko) 이동 단말기에서 사용자 인터페이스 제공 장치 및 방법
KR20090012950A (ko) 어플리케이션 공유 방법 및 장치
KR101072217B1 (ko) 이동 통신 단말기 및 그의 음성 도움말 출력 방법
US20060262493A1 (en) Method of inputting data in wireless terminal using jog key and a wireless terminal implementing the same
KR101493085B1 (ko) 인터랙티브 컨텐츠 재사용 방법 및 인터랙티브 컨텐츠재사용 기능을 구비한 휴대용 단말기
KR20190026704A (ko) 문자 데이터를 이용한 음성 통화를 제공하기 위한 전자 장치 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid