KR20160032602A - 화면 정보를 소리로 출력하는 방법 및 이를 지원하는 전자 장치 - Google Patents

화면 정보를 소리로 출력하는 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
KR20160032602A
KR20160032602A KR1020140122950A KR20140122950A KR20160032602A KR 20160032602 A KR20160032602 A KR 20160032602A KR 1020140122950 A KR1020140122950 A KR 1020140122950A KR 20140122950 A KR20140122950 A KR 20140122950A KR 20160032602 A KR20160032602 A KR 20160032602A
Authority
KR
South Korea
Prior art keywords
sound
module
information
coordinates
electronic device
Prior art date
Application number
KR1020140122950A
Other languages
English (en)
Other versions
KR102329193B1 (ko
Inventor
조성재
강동헌
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140122950A priority Critical patent/KR102329193B1/ko
Priority to US14/851,603 priority patent/US9965246B2/en
Publication of KR20160032602A publication Critical patent/KR20160032602A/ko
Application granted granted Critical
Publication of KR102329193B1 publication Critical patent/KR102329193B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)

Abstract

본 발명은 전자 장치에서 수행되는 화면 정보를 소리로 출력하는 방법에 관한 것으로, 상기 전자 장치의 화면에 대응하는 둘 이상의 다차원 공간을 생성하는 동작, 상기 다차원 공간의 좌표 각각에 대한 소리 정보를 설정하는 동작, 상기 전자 장치의 화면 상에 포커스된 지점의 위치 정보를 추출하는 동작, 상기 위치 정보를 기반으로 상기 다차원 공간 상의 대응하는 좌표를 확인하는 동작 및 상기 확인된 좌표에 설정된 상기 소리 정보에 따른 소리를 출력하는 동작을 포함할 수 있고, 다른 실시 예로 적용이 가능하다.

Description

화면 정보를 소리로 출력하는 방법 및 이를 지원하는 전자 장치{Method for Outputting the Screen Information to Sound And Electronic Device for Supporting the Same}
본 발명의 다양한 실시 예는 전자 장치의 화면 정보를 소리로 출력하는 기술에 관한 것이다.
일반적으로 전자 장치는 시각장애인과 같이 화면의 표시 내용을 확인할 수 없는 사람들을 위해 화면의 표시 내용을 순차적으로 음성으로 출력하는 서비스를 제공할 수 있다.
상기와 같이 종래의 기술은 전자 장치의 화면 표시 내용을 순차적으로 음성 출력하여 사용자에게 제공할 뿐이어서, 사용자는 실제 화면 표시 내용과 다르게 1차원적 배열로 해당 표시 내용을 인식하는 문제가 있다. 이러한 종래의 문제점을 해결하기 위한 본 발명의 다양한 실시 예들은 전자 장치의 화면을 다차원의 소리 공간으로 대응시켜 공간감 있는 소리로 출력할 수 있는 화면 정보를 소리로 출력하는 방법 및 이를 지원하는 전자 장치를 제공하고자 한다.
또한, 본 발명의 다양한 실시 예들은 포커스된 대상에 따라 서로 다른 세기 또는 주파수의 소리를 사용자에게 전달할 수 있는 화면 정보를 소리로 출력하는 방법 및 이를 지원하는 전자 장치를 제공하고자 한다.
또한, 본 발명의 다양한 실시 예들은 포커스된 대상의 속성에 따라 구분된 소리를 출력할 수 있는 화면 정보를 소리로 출력하는 방법 및 이를 지원하는 전자 장치를 제공하고자 한다.
다양한 실시 예에 따른 화면 정보를 소리로 출력하는 방법은 전자 장치에서 수행되며, 상기 전자 장치의 화면에 대응하는 둘 이상의 다차원 공간을 생성하는 동작, 상기 다차원 공간의 좌표 각각에 대한 소리 정보를 설정하는 동작, 상기 전자 장치의 화면 상에 포커스된 지점의 위치 정보를 추출하는 동작, 상기 위치 정보를 기반으로 상기 다차원 공간 상의 대응하는 좌표를 확인하는 동작 및 상기 확인된 좌표에 설정된 상기 소리 정보에 따른 소리를 출력하는 동작을 포함할 수 있다.
상술한 바와 같이 본 발명에 의한 다양한 실시 예들은 전자 장치의 화면 표시 내용을 공간감 있는 소리를 통해 출력하여 시각 장애인과 같은 사용자가 화면 표시 내용을 입체적으로 빠르게 이해할 수 있다.
본 발명의 다양한 실시 예들은 포커스된 지점의 위치에 따라 서로 다른 세기 또는 주파수의 소리를 사용자에게 전달하여 사용자가 해당 전자 장치의 활용 방식을 쉽게 학습하도록 할 수 있다.
또한, 본 발명의 다양한 실시 예들은 전자 장치의 실제 화면 표시 내용을 시각 장애인이 이해하기 쉬운 공간감을 인식할 수 있는 가상 공간에 배치하여 사용자가 소리 만으로도 해당 표시 내용을 빠르게 파악할 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치의 블록도이다.
도 2는 본 발명의 실시 예에 따른 소리 출력 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시 예에 따른 위치 정보 추출 과정을 설명하기 위한 화면 예시도 이다.
도 4는 본 발명의 실시 예에 따른 소리 설정 과정을 설명하기 위한 화면 예시도 이다.
도 5는 본 발명의 실시 예에 따른 소리의 세기 또는 주파수를 통한 소리 설정을 설명하기 위한 화면 예시도 이다.
도 6은 다양한 실시 예들에 따른 전자 장치를 도시한 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명(present disclosure)을 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 본 명세서에 기재되어 있다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 명세서에 개시된 내용(disclosure) 중에서 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 명세서에서 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 본 발명의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에 따른 전자 장치는, 소리 출력 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크톱 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(accessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 소리 출력 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 소리 출력 기능을 갖춘 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 소리 출력 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시 예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 실시 예에 따른 전자 장치의 블록도이다.
도 1을 참조하면, 전자 장치 100은 입력 모듈 110, 표시 모듈 120, 소리 설정 모듈 130, 위치 정보 추출 모듈 140, 좌표 확인 모듈 150, 소리 출력 모듈 160, 저장 모듈 170 및 제어 모듈 180을 포함할 수 있다. 상기 모듈들은 기능에 따라 분리된 것으로 이에 한정되는 것을 아니다. 상기 모듈들은 하나의 칩(Chip)에서 소프트웨어 또는 하드웨어에 의해 분리된 형태로 구현될 수 있다. 예를 들어, 상기 소리 설정 모듈 130, 위치 정보 추출 모듈 140 및 좌표 확인 모듈 150은 통합된 기능을 수행하는 하나의 모듈 형태로 구현될 수 있다.
입력 모듈 110은 외부로부터의 입력에 따라 전자 장치 100을 동작시키기 위한 동작신호를 생성하여 제어 모듈 180으로 제공할 수 있다. 입력 모듈 110은 키버튼, 키보드, 키패드, 터치패드, 터치스크린 등의 입력장치로 형성될 수 있다. 입력 모듈 110은 터치스크린으로 구현된 경우 사용자의 좌/우 쓸기(예: drag, flick 또는 swipe), 상/하 쓸기 또는 탭 등의 동작에 대응하는 동작신호를 생성할 수 있다.
표시 모듈 120은 제어 모듈 180의 제어에 따라 동작되는 실행화면을 표시할 수 있다. 이를 위해, 표시 모듈 120은 LCD(Liquid Crystal Display), 터치 스크린 등으로 형성될 수 있다. 표시 모듈 120이 터치 스크린으로 형성된 경우, 표시 모듈 120은 입력 모듈 110의 역할을 동시에 실행할 수 있으며, 사용자의 터치 이벤트에 따른 터치 신호를 생성하여 제어 모듈 180으로 제공할 수 있다. 표시 모듈 120은 화면 상의 포커스된 지점(예: 커서에 의해 지시되는 지점, 주변 아이콘들과 다른 색 또는 모양으로 구별되는 지점)을 표시할 수 있다. 해당 지점에 의해 지시되는 대상은 아이콘, 텍스트 또는 이미지에 해당할 수 있다. 해당 지점에 의해 지시되는 대상과 관련된 정보는 소리를 통해 출력될 수 있다.
소리 설정 모듈 130은 전자 장치 100의 화면에 대응하는 가상의 다차원 공간을 생성하고, 해당 공간의 좌표 각각에 대한 소리 정보를 설정할 수 있다. 여기에서, 다차원 공간은 각각의 좌표 마다 연관된 소리 정보가 설정된 가상의 공간에 해당할 수 있다. 소리 설정 모듈 130은 시각 장애인과 같은 사용자가 해당 다차원 공간을 통해 전자 장치 100의 화면 구성 또는 내용을 인식하도록 할 수 있다. 사용자는 설정된 소리 정보에 의한 소리가 출력되면 해당 소리를 통해 전자 장치 100의 화면을 다차원 공간상의 아이콘이나 텍스트 배치 형태로 이해할 수 있다.
위치 정보 추출 모듈 140은 전자 장치 100의 화면 상에 표시되는 포커스된 지점의 위치 정보를 추출하여 제어 모듈 180에 제공할 수 있다. 다양한 실시 예에서, 상기 위치 정보는 표시 모듈 120의 전체 크기를 기준으로 하는 표시 모듈 120의 특점 지점에 대한 좌표 정보에 해당할 수 있다. 예를 들어, 표시 모듈 120의 전체 크기가 가로 9cm 및 세로 16cm인 경우, 현재 포커스된 지점은 (6.3cm, 8.5cm)에 해당할 수 있다.
다양한 실시 예에 따르면, 상기 위치 정보는 표시 모듈 120에 배치된 아이콘들의 상대적인 위치 관계 정보일 수 있다. 예를 들어, 상기 위치 정보는 표시 모듈 120에 4x4의 아이콘이 배치된 경우 특정한 아이콘이 4번째 행, 1번째 열에 위치하고 있음을 의미하는 (4, 1)과 같은 배치 정보일 수 있다. 또한, 상기 위치 정보는 표시 모듈 120에서의 절대적인 아이콘 배치 정보에 해당할 수 있다. 예를 들어, 상기 위치 정보는 특정한 아이콘이 배치된 위치인 (6.5cm, 8.5cm)와 같은 배치 정보에 해당할 수 있다. 상기 위치 정보는 시각 장애인과 같은 사용자를 위한 소리 출력에 활용될 수 있다.
좌표 확인 모듈 150은 위치 정보 추출 모듈 140에 의해 추출된 위치 정보를 소리 출력을 위한 다차원 공간 상의 좌표로 확인할 수 있다. 좌표 확인 모듈 150은 포커스된 지점이 특정한 범위 안에 포함되거나 특정한 대상(예: 아이콘 또는 텍스트)을 지시하는 경우 해당 범위 또는 해당 대상에 대응하는 다차원 공간 상의 좌표 값을 결정할 수 있다.
소리 출력 모듈 160은 소리 설정 모듈 130에 의해 설정된 소리 정보에 의한 소리를 출력할 수 있다. 소리 출력 모듈 160은 전자 장치 100의 내장 스피커 또는 이어폰에 연결될 수 있다. 또한, 소리 출력 모듈 160은 스피커 장치를 포함하는 플립 커버와 같은 액세서리에 연결될 수 있다. 다양한 실시예에 따르면, 소리 출력 모듈 160은 복수의 스피커들에 연결될 수 있다. 각각의 스피커는 서로 다른 소리를 출력하도록 설정되어 사용자가 각각의 스피커를 통해 출력되는 소리에 의해 전자 장치 100의 화면에 표시된 내용을 입체적으로 이해하도록 할 수 있다. 예를 들어, 소리 출력 모듈 160은 좌우 스피커 또는 좌우 이어폰에 서로 다른 세기의 소리를 출력할 수 있다. 소리 출력 모듈 160은 화면을 중심으로 좌측에 있는 키패드 1, 4 및 7에 대해서는 좌측 스피커의 출력 세기를 우측 스피커보다 높일 수 있고, 화면을 중심으로 우측에 있는 키패드 3, 6 및 9에 대해서는 우측 스피커의 출력 세기를 좌측 스피커보다 높일 수 있다.
저장 모듈 170은 소리 설정 모듈 130에 의해 생성된 다차원 공간 정보를 저장할 수 있다. 예를 들어, 저장 모듈 170은 해당 다차원 공간의 전체 크기, 구성 방식 및 전자 장치 100의 화면에 대응하는 좌표 정보를 저장할 수 있다. 또한, 저장 모듈 170은 해당 다차원 공간의 좌표 각각에 설정된 소리 정보를 저장할 수 있다. 예를 들어, 저장 모듈 170은 다차원 공간의 좌표 (1, 1)에 대해 10dB 및 20Hz의 소리가 설정된 경우 해당 좌표 및 소리 정보를 저장할 수 있다.
제어 모듈 180은 입력 모듈 110, 표시 모듈 120, 위치 정보 추출 모듈 140, 소리 설정 모듈 130, 좌표 확인 모듈 150, 소리 출력 모듈 160 및 저장 모듈 170의 동작 및 데이터 흐름을 제어할 수 있다. 제어 모듈 180은 소리 설정 모듈 130에 의해 생성된 다차원 공간의 정보를 저장 모듈 170에 제공할 수 있다. 제어 모듈 180은 좌표 확인 모듈 150에 의해 결정된 다차원 공간 상의 좌표를 수신하여, 수신한 다차원 공간 상의 좌표에 대응하는 소리 정보를 소리 출력 모듈 160에 제공할 수 있다.
다양한 실시 예에 따르면, 전자 장치는 화면에 대응하는 둘 이상의 다차원 공간을 생성하고, 해당 공간의 좌표 각각에 대한 소리 정보를 설정하는 소리 설정 모듈, 상기 화면 상에 포커스 된 지점의 위치 정보를 추출하는 위치 정보 추출 모듈, 상기 위치 정보를 기반으로 상기 다차원 공간 상의 대응하는 좌표를 확인하는 좌표 확인 모듈 및 상기 확인된 좌표에 설정된 상기 소리 정보에 따른 소리를 출력하는 소리 출력 모듈을 포함할 수 있다. 다양한 실시 예에서, 상기 소리 정보는 상기 다차원 공간 상의 특정 지점과 상기 좌표 사이의 상대적 거리에 따라 지정된 다양한 상황 중 어느 하나의 상황으로 인식되는 정보를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 소리 설정 모듈은 사용자의 두 귀에서 발생하는 주파수 변화의 패턴을 이용하여 상기 다차원 공간 상의 특정한 지점과 상기 좌표 사이의 상대적 거리에 따라 지정된 서로 다른 소리 정보를 각각의 좌표에 설정할 수 있다.
다양한 실시 예에 따르면, 상기 소리 설정 모듈은 소리의 세기 또는 주파수를 바탕으로 상기 다차원 공간을 생성하고, 상기 좌표 각각에 세기 또는 주파수 중 적어도 하나가 다른 소리를 지정할 수 있다. 상기 소리 설정 모듈은 상기 소리가 출력되는 동안 변경되는 소리의 세기 또는 주파수를 상기 좌표에 따라 서로 다르게 지정할 수 있다.
다양한 실시 예에 따르면, 상기 소리 설정 모듈은 상기 전자 장치의 화면을 사용자에 의해 지정된 가상 공간 범위로 확대할 수 있다. 상기 소리 설정 모듈은 상기 다차원 공간에서 각 행 또는 열 중 적어도 하나에 동일한 특성의 소리 시작 정보를 지정할 수 있다. 상기 소리 설정 모듈은 상기 소리 정보에 상기 좌표의 숫자 정보를 포함하도록 지정할 수 있다. 상기 소리 설정 모듈은 상기 각 좌표에 상기 소리의 음색을 변경하여 지정할 수 있다.
도 2는 본 발명의 실시 예에 따른 소리 출력 방법을 설명하기 위한 순서도이다.
도 2를 참조하면, 과정 210에서, 소리 설정 모듈 130은 전자 장치 100의 화면에 대응하는 별도의 다차원 공간을 생성하고, 해당 공간의 좌표 각각에 대한 소리 정보를 설정할 수 있다. 소리 설정 모듈 130은 시각 장애인과 같은 사용자가 해당 다차원 공간을 통해 전자 장치 100의 화면 구성 또는 내용을 인식할 수 있도록 할 수 있다.
한 실시예에 따르면, 소리 설정 모듈 130은 표시 모듈 120이 2차원의 평면 형태로 구현된 경우, 해당 2차원 평면을 일정한 가상 범위로 확장한 형태로 가상의 다차원 공간을 구현할 수 있다. 화면 확장 범위는 미리 설정된 값 또는 사용자에 의해 설정된 값에 의해 결정될 수 있다. 다른 한 실시예에 따르면, 소리 설정 모듈 130은 표시 모듈 120의 2차원의 아이콘 배열 방식을 2차원 이상의 다차원 공간에 구현하여 시각 장애인과 같은 사용자가 표시 모듈 120에 표시된 UI(User Interface)를 소리를 통해 보다 입체적으로 이해하도록 할 수 있다.
과정 220에서, 위치 정보 추출 모듈 140은 전자 장치 100의 화면 상에 표시되는 포커스된 지점의 위치 정보를 추출하여 제어 모듈 180에 제공할 수 있다. 상기 위치 정보는 표시 모듈 120의 전체 크기를 기준으로 하는 좌표 정보에 해당할 수 있다. 상기 위치 정보는 시각 장애인과 같은 사용자를 위한 소리 출력에 활용될 수 있다.
과정 230에서, 좌표 확인 모듈 150은 위치 정보 추출 모듈 140에 의해 추출된 위치 정보를 기반으로 소리 출력을 위한 다차원 공간 상의 대응하는 좌표를 확인할 수 있다. 좌표 확인 모듈 150은 포커스된 지점이 특정한 범위 안에 포함되거나 특정한 대상(예: 아이콘 또는 텍스트)을 지시하는 경우 해당 범위 또는 해당 지시 대상에 대응하는 다차원 공간 상의 좌표 값을 결정할 수 있다.
과정 240에서, 소리 출력 모듈 160은 좌표 확인 모듈 150에 확인된 다차원 공간 상의 좌표를 기초로 해당 좌표에 설정된 소리 정보에 의한 소리를 출력할 수 있다. 예를 들어, 소리 출력 모듈 160은 좌표 확인 모듈 150에 의해 전체 4x4의 2차원 좌표 공간에서 (1, 1)의 좌표가 결정된 경우 해당 좌표에 설정되어 있는 특정 세기와 주파수에 의한 소리를 출력할 수 있다.
도 3은 본 발명의 실시 예에 따른 위치 정보 추출 과정을 설명하기 위한 화면 예시도 이다.
도 3의 (a)는 아이콘 화면 예시도이다. 도 3의 (a)에서, 소리 설정 모듈 130은 포커스된 지점 301이 위치할 수 있는 아이콘 각각을 별도의 2차원 공간에 대응시키고, 해당 2차원 공간의 좌표 각각에 대해 소리 정보를 설정할 수 있다. 소리 설정 모듈 130은 시각 장애인과 같은 사용자가 소리가 설정된 별도의 2차원 공간을 통해 화면 구성 또는 내용을 입체적으로 인식할 수 있도록 할 수 있다.
위치 정보 추출 모듈 140은 포커스된 지점 301에 의해 지시되는 아이콘의 위치 정보를 추출하여 제어 모듈 180에 제공할 수 있다. 예를 들어, 위치 정보 추출 모듈 140은 현재 포커스된 지점 301가 위치하고 있는 설정 아이콘 310이 3번째 행, 5번째 열에 위치하고 있다는 정보를 (3, 5)로 검출하여 제어 모듈 180에 제공할 수 있다.
소리 출력 모듈 160은 소리 정보에 따른 소리에 의해 해당 아이콘과 관련된 정보를 시각 장애인과 같은 사용자에게 제공할 수 있다. 사용자는 해당 소리를 통해 포커스된 지점 301에 의해 지시되는 대상의 위치와 속성을 확인할 수 있다. 도 3의 (a)의 경우, 소리 출력 모듈 160은 설정 아이콘 310과 관련된 정보인 'Settings'를 음성으로 출력할 수 있다.
도 3의 (b)는 텍스트 화면의 예시도이다. 도 3의 (b)에서, 소리 설정 모듈 130은 커서에 의해 지시되거나 화면상 포커스 될 수 있는 지점에 포함된 텍스트의 속성에 따라 각각 다른 소리 정보를 설정할 수 있다. 상기 텍스트는 단순 정보 텍스트 320 또는 사용자의 터치에 의해 특정한 동작을 실행시키는 동작 텍스트 330를 포함할 수 있다. 예를 들어, 소리 설정 모듈 130은 사용자의 터치에 의해 추가 동작을 실시하지 않는 정보 텍스트 320의 경우 미리 설정된 제1 주파수에 의한 소리 정보를 설정할 수 있다. 또한, 소리 설정 모듈 130은 사용자의 터치에 의해 추가 동작을 실시하는 동작 텍스트 330의 경우 제1 주파수와 다른 제2 주파수에 의한 소리 정보를 설정할 수 있다. 다른 예를 들어, 소리 설정 모듈 130은 정보 텍스트 320의 경우 제1 세기에 의한 소리 정보를 설정하고, 동작 텍스트 330의 경우 제2 세기에 의한 소리 정보를 설정할 수 있다.
도 4는 본 발명의 실시 예에 따른 소리 설정 과정을 설명하기 위한 화면 예시도 이다. 도 4에서는 다차원 공간으로 2차원 공간을 생성하는 경우를 예시적으로 도시하였으나, 이에 한정되는 것은 아니다.
도 4의 (a)는 전자 장치 100의 키패드 화면 예시도이다. 도 4의 (a)를 참조하면, 표시 모듈 120은 2차원의 키패드를 표시할 수 있다. 포커스된 지점 401은 화면의 특정 키패드(예: 키패드 5)에 위치할 수 있다. 전자 장치 100는 사용자의 좌/우 이동 명령(예: 좌로 쓸기 또는 우로 쓸기)을 입력하면 해당 입력에 따라 키패드의 내용을 순차적으로 읽어 내려가는 방식의 서비스를 사용자에게 제공할 수 있다. 예를 들어, 전자 장치 100는 현재 포커스된 지점 401의 위치가 키패드 5에 위치하는 경우 사용자의 우로 쓸기 동작이 입력되면 '6'을 리딩하여 출력하고, 반대로 사용자의 좌로 쓸기 동작이 입력되면 '4'를 리딩하여 출력할 수 있다.
도 4의 (b)는 본 발명의 한 실시 예에 따른 사용자 인식 화면 예시도이다. 도 4의 (b)를 참조하면, 소리 설정 모듈 130은 도 4의 (a)의 키패드 화면에 대응하는 별도의 2차원 공간을 생성하고, 해당 공간의 좌표 각각에 대한 소리 정보를 설정할 수 있다. 소리 설정 모듈 130은 시각 장애인과 같은 사용자가 해당 2차원 공간을 통해 전자 장치 100의 화면 구성 또는 화면 내용을 인식하도록 할 수 있다.
다양한 실시 예에 따르면, 소리 설정 모듈 130은 다차원 공간 상의 특정 지점(예: 키패드 0이 위치하는 지점)과 각각의 좌표 사이의 상대적 거리에 따라 다른 소리 정보를 설정할 수 있다. 소리 설정 모듈 130은 상기 거리에 따라 지정된 다양한 상황 중 어느 하나의 상황으로 인식되는 정보를 소리 정보로 설정할 수 있다. 예를 들어, 소리 설정 모듈 130은 바이노럴 기술(binaural technology)을 이용하여 해당 2차원 공간의 좌표 각각의 소리 정보를 설정할 수 있다. 바이노럴 기술은 청취자가 실제로는 특정 상황에 있지 않더라도 해당 소리를 청취하는 것만으로 해당 상황에 있는 것과 같은 인식을 발생시키는 기술에 해당할 수 있다.
바이노럴 기술은 특정 상황에서 발생하는 소리를 녹음 또는 합성을 통해 정밀하게 기록하고, 이를 재생하여 구현될 수 있다.
바이노럴 기술은 특정한 상황에서 신호를 녹음하는 과정(Binaural Recording), 특정한 상황에 대한 인공적인 신호를 합성하는 과정(Binaural Synthesis) 및 녹음되거나 합성된 신호를 양쪽 귀에 재생하는 과정(Binaural Reproduction)을 포함할 수 있다.
녹음 과정은 '인공 헤드'를 사용하여 수행될 수 있다. 인공 헤드는 일반인의 청감을 평균화한 값으로 제작된 모형 헤드에 해당할 수 있다.
합성 과정은 한 지점에서 두 귀로 전달되는 소리를 합성하여 수행될 수 있다. 소리 합성은 HRTF(Head-Related Transfer Function)를 기초로 수행될 수 있다. HRTF는 머리를 사이에 두고 떨어져 있는 두 귀에서 발생하는 주파수의 변화를 정리한 함수에 해당할 수 있다. HRTF는 사람의 머리를 중심으로 구면 좌표계를 설정하고, 각각의 좌표에서 같은 음을 발생시키는 경우 사람이 인식하는 주파수 반응을 측정하여 3차원적인 함수로 정리한 내용에 해당할 수 있다. 소리 합성은 복수의 사람들의 HRTF를 측정하여 해당 데이터들의 평균값을 낸 표준적인 HRTF를 기초로 수행될 수 있다.
재생 과정은 녹음되거나 합성된 신호를 헤드폰이나 스피커를 사용하여 재생하여 수행될 수 있다. 해당 과정은 청취자의 위치와 방향에 따라 음원의 위치를 인터랙티브하게 업데이트할 수 있는 '헤드 트래커'를 사용하여 위치 추정 능력을 향상시킬 수 있다.
소리 설정 모듈 130은 바이노럴 기술에 의해 미리 녹음 또는 합성된 소리 정보를 2차원 공간의 좌표 각각에 설정할 수 있다. 예를 들어, 소리 설정 모듈 130은 사용자의 위치에 대응하는 가상 공간 상의 지점으로부터 원거리에 있는 키패드 1 내지 3에 대해서는 미리 녹음 또는 합성된 원거리의 소리 정보를 설정하고, 사용자의 위치에 대응하는 가상 공간 상의 지점으로부터 근거리에 있는 키패드 7 내지 9에 대해서는 미리 녹음 또는 합성된 근거리의 소리 정보를 설정하여 사용자에게 해당 키패드의 위치를 인식시킬 수 있다.
또한, 소리 설정 모듈 130은 좌우 스피커 또는 좌우 이어폰에서 출력되는 소리의 세기를 조절하여 사용자의 좌측에 있는 키패드 1, 4 및 7에 대해서는 좌측에서 들려오는 공간감을 주는 소리 정보를 설정하고, 사용자의 우측에 있는 키패드 3, 6 및 9에 대해서는 좌측에서 들려오는 공간감을 주는 소리 정보를 설정할 수 있다. 소리 설정 모듈 130은 키패드 2에 대해서는 키패드 1과 3 사이의 소리 정보를 설정할 수 있고, 키패드 5 및 8에 대해서도 키패드 2와 유사한 방식으로 소리 정보를 설정할 수 있다.
사용자는 소리 설정 모듈 130에 의해 설정된 소리 정보에 의해 전자 장치 100의 화면 구조를 입체적으로 이해할 수 있다. 사용자는 단순히 좌/우 이동 명령뿐 아니라, 상/하 이동 명령을 통해 포커스된 지점 401을 이동할 수 있다. 예를 들어, 사용자는 현재 포커스된 지점 401의 위치가 키패드 5에 위치하는 경우 위로 쓸기를 통해 키패드 2로 포커스된 지점 401을 이동할 수 있고, 아래로 쓸기를 통해 키패드 8로 이동할 수 있다.
기존 기술은 사용자가 키패드 5에서 키패드 8로 포커스된 지점 401을 이동하는 경우 좌로 쓸기 동작을 3번 반복적으로 수행하여야 했다. 반면, 본 실시예에 의하는 경우 사용자는 아래로 쓸기 동작 1번을 통해 키패드 5에서 키패드 8로 직접 포커스된 지점 401을 이동할 수 있다.
한 실시예에 따르면, 소리 설정 모듈 130은 사용자에 의해 선택된 HRTF를 기초로 다차원 공간의 좌표와 사용자의 위치에 대응하는 가상 공간 상의 특정한 지점 사이의 상대적 거리에 따라 지정된 소리 정보를 설정할 수 있다. 사람마다 공간감을 느끼는 정도가 서로 상이할 수 있으므로, 소리 설정 모듈 130은 사용자가 직접 자신에게 맞는 HRTF를 선택한 경우 선택된 HRTF에 의해 소리 정보를 설정할 수 있다.
도 5는 본 발명의 실시 예에 따른 소리의 세기 또는 주파수를 통한 소리 설정을 설명하기 위한 화면 예시도 이다. 도 5에서는 다차원 공간으로 2차원 공간을 생성하는 경우를 예시적으로 도시하였으나, 이에 한정되는 것은 아니다.
도 5의 (a)는 전자 장치 100의 아이콘 화면 예시도이다. 도 5의 (a)를 참조하면, 표시 모듈 120은 2차원의 아이콘 화면을 표시할 수 있다. 포커스된 지점 501은 화면의 특정 아이콘(예: 설정 아이콘)에 위치할 수 있다. 소리 설정 모듈 130은 해당 아이콘 화면에 대응하는 별도의 2차원 공간을 생성하고, 해당 공간의 좌표 각각에 대한 소리 정보를 설정할 수 있다. 소리 설정 모듈 130은 시각 장애인과 같은 사용자가 해당 공간을 통해 전자 장치 100의 화면 구성 또는 화면 내용을 입체적으로 인식하도록 할 수 있다.
도 5의 (b)는 본 발명의 한 실시 예에 따른 사용자 인식 화면 예시도이다. 도 5의 (b)를 참조하면, 소리 설정 모듈 130은 생성된 2차원 공간의 좌표 각각에 대해 소리의 세기(dB) 또는 주파수(Hz)를 기준으로 소리 정보를 설정할 수 있다.
소리 설정 모듈 130은 사용자로부터 상대적으로 원거리에 있는 아이콘에 대해서는 약한 세기의 소리 정보를 설정하고, 사용자로부터 상대적으로 근거리에 있는 아이콘에 대해서는 강한 세기의 소리 정보를 설정할 수 있다. 또한, 소리 설정 모듈 130은 사용자의 왼쪽에 위치하는 아이콘에 대해서는 낮은 주파수의 소리 정보를 설정하고, 사용자의 오른쪽에 위치하는 아이콘에 대해서는 높은 주파수의 소리 정보를 설정할 수 있다.
예를 들어, 소리 설정 모듈 130은 전자 장치 100의 화면에서 상단 좌측에 배치된 통화 아이콘 510에 대해 설정 범위 중에서 세기가 가장 약하고 주파수가 가장 낮은 소리 신호(예: 2dB, 100Hz)를 설정할 수 있다. 소리 설정 모듈 130은 전자 장치 100의 화면에서 상단 우측에 배치된 카메라 아이콘 520에 대해 설정 범위 중에서 세기가 가장 약하고 주파수가 가장 높은 소리 신호(예: 2dB, 200Hz)를 설정할 수 있다.
또한, 소리 설정 모듈 130은 전자 장치 100의 화면에서 하단 좌측에 배치된 시계 아이콘 530에 대해 설정 범위 중에서 세기가 가장 강하고 주파수가 가장 낮은 소리 신호(예: 10dB, 100Hz)를 설정할 수 있다. 소리 설정 모듈 130은 전자 장치 100의 화면에서 상단 좌측에 배치된 설정 아이콘 540에 대해 설정 범위 중에서 세기가 가장 강하고 주파수가 가장 높은 소리 신호(예: 10dB, 200Hz)를 설정할 수 있다.
한 실시예에 따르면, 소리 설정 모듈 130은 소리의 세기, 주파수 또는 시간 요소를 반영하여 소리 정보를 설정할 수 있다. 예를 들어, 소리 설정 모듈 130은 사용자로부터 상대적으로 원거리에 위치하는 통화 아이콘 510의 경우 소리의 시작 시점에서는 소리의 세기를 낮게 설정하고 소리의 종료 시점에서는 보다 높은 세기의 소리를 설정할 수 있다. 사용자는 해당 소리가 점차 자신에게 다가오는 것과 같은 공간감을 인식할 수 있다. 또한, 소리 설정 모듈 130은 사용자로부터 상대적으로 근거리에 위치하는 시계 아이콘 530의 경우 소리의 세기를 통화 아이콘 510의 경우보다 높게 설정하고 해당 소리의 지속 시간도 상대적으로 짧게 설정할 수 있다. 사용자는 해당 소리가 자신으로부터 근접한 거리에서 발생하는 것으로 인식할 수 있다.
다른 한 실시예에 따르면, 소리 설정 모듈 130은 세기, 주파수 또는 재생 시간을 반영한 소리 공간을 생성할 수 있다. 예를 들어, 소리 설정 모듈 130은 통화 아이콘 510의 경우 재생 시간을 2초로 설정하고, 시계 아이콘 530의 경우 재생 시간을 1초로 설정할 수 있다.
다른 한 실시예에 따르면, 소리 설정 모듈 130은 음색을 반영하여 소리 정보를 설정할 수 있다. 예를 들어, 소리 설정 모듈 130은 사용자로부터 좌측에 위치하는 통화 아이콘 510 및 시계 아이콘 530에 대해서는 남성의 음성을 설정하고, 사용자로부터 우측에 위치하는 카메라 아이콘 520 및 설정 아이콘 540에 대해서는 여성의 음성을 설정할 수 있다.
다른 한 실시예에 따르면, 소리 설정 모듈 130은 소리 정보에 아이콘이 배치되는 가상 공간 상의 좌표의 숫자 정보를 포함시킬 수 있다. 예를 들어, 소리 설정 모듈 130은 통화 아이콘 510의 좌표가 (1, 1)인 경우 해당 아이콘이 선택된 경우 '1.1 통화'를 출력하도록 설정할 수 있다.
다른 한 실시예에 따르면, 소리 설정 모듈 130은 아이콘이 배치되는 가상 공간 상의 각각의 행 및 열 중 적어도 하나마다 동일한 특성의 소리 시작 정보(Preamble)을 지정할 수 있다. 예를 들어, 소리 설정 모듈 130은 가상 공간 상에 동일한 행에 위치하는 통화 아이콘 510 및 카메라 아이콘 520에 제1 시작음(예: 1열, 1행, 통화)을 설정하고, 다른 행에 위치하는 시계 아이콘 530 및 설정 아이콘 540에 제2 시작음(예: 3열, 1행, 시계)을 설정할 수 있다. 사용자는 해당 시작음을 통해 가상 공간 상의 아이콘 배치를 인식할 수 있다.
다양한 실시 예에 따르면, 전자 장치에서 수행되는 화면 정보를 소리로 출력하는 방법은 상기 전자 장치의 화면에 대응하는 둘 이상의 다차원 공간을 생성하는 동작, 상기 다차원 공간의 좌표 각각에 대한 소리(sound) 정보를 설정하는 동작, 상기 전자 장치의 화면 상에 포커스 된 지점의 위치정보를 추출하는 동작, 상기 위치 정보를 기반으로 상기 다차원 공간 상의 대응하는 좌표를 확인하는 동작 및 상기 확인된 좌표에 설정된 상기 소리 정보에 따른 소리를 출력하는 동작을 포함할 수 있다. 상기 소리 정보는 상기 다차원 공간 상의 특정 지점과 상기 좌표 사이의 상대적 거리에 따라 지정된 다양한 상황 중 어느 하나의 상황으로 인식되는 정보를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 소리 정보를 설정하는 동작은 사용자의 두 귀에서 발생하는 주파수 변화의 패턴을 이용하여 상기 다차원 공간 상의 특정한 지점과 상기 좌표 사이의 상대적 거리에 따라 지정된 서로 다른 소리 정보를 각각의 좌표에 설정하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 소리 정보를 설정하는 동작은 소리의 세기 또는 주파수를 바탕으로 상기 다차원 공간을 생성하는 동작 및 상기 좌표 각각에 세기 또는 주파수 중 적어도 하나가 다른 소리를 지정하는 동작을 더 포함할 수 있다. 상기 소리를 지정하는 동작은 상기 소리가 출력되는 동안 변경되는 소리의 세기 또는 주파수를 상기 좌표에 따라 서로 다르게 지정하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 화면 정보를 소리로 출력하는 방법은 상기 화면 상에 포커스 된 대상의 속성을 추출하는 동작을 더 포함할 수 있다. 상기 소리 정보를 설정하는 동작은 상기 추출된 대상의 속성에 따라 지정된 소리 정보를 설정하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 다차원 공간을 생성하는 동작은 상기 전자 장치의 화면을 사용자에 의해 지정된 가상 공간 범위로 확대하는 동작을 더 포함할 수 있다. 상기 소리 정보를 설정하는 동작은 상기 다차원 공간에서 각 행 또는 열 중 적어도 하나에 동일한 특성의 소리 시작 정보를 지정하는 동작을 더 포함할 수 있다. 상기 소리 정보를 설정하는 동작은 상기 소리 정보에 상기 좌표의 숫자 정보를 포함하도록 지정하는 동작을 더 포함할 수 있다. 상기 소리 정보를 설정하는 동작은 상기 각 좌표에 상기 소리의 음색을 변경하여 지정하는 동작을 더 포함할 수 있다.
도 6은 다양한 실시 예들에 따른 전자 장치 600를 도시한 블록도이다. 상기 전자 장치 600은, 예를 들면, 도 1에 도시된 전자 장치 100의 전체 또는 일부를 구성할 수 있다.
도 6을 참조하면, 상기 전자 장치 600은 하나 이상의 어플리케이션 프로세서(AP: application processor) 610, 통신 모듈 620, SIM(subscriber identification module) 카드 624, 메모리 630, 센서 모듈 640, 입력 장치 650, 디스플레이 660, 인터페이스 670, 오디오 모듈 680, 카메라 모듈 691, 전력 관리 모듈 695, 배터리 696, 인디케이터 697 및 모터 698을 포함할 수 있다.
상기 AP 610(예: 상기 제어 모듈 180)은 운영체제 또는 응용 프로그램을 구동하여 상기 AP 610에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP 610은, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시 예에 따르면, 상기 AP 610은 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
다양한 한 실시예에 따르면, 상기 AP 610은 도 1에 도시된 소리 설정 모듈 130, 위치 정보 추출 모듈 140 또는 좌표 확인 모듈 150 중 적어도 하나를 포함할 수 있다. 상기 AP 610은 전자 장치 600의 화면에 대응하는 별도의 다차원 공간을 생성하고, 해당 공간의 좌표 각각에 대한 소리 정보를 설정할 수 있다. 상기 AP 610은 화면 상에 표시되는 포커스된 지점의 위치 정보를 추출할 수 있다. 상기 AP 610은 포커스된 지점의 위치 정보를 소리 출력을 위한 다차원 공간 상의 좌표로 확인할 수 있다.
상기 통신 모듈 620은 상기 전자 장치 600와 네트워크를 통해 연결된 다른 전자 장치들 간의 통신에서 데이터 송수신을 수행할 수 있다. 한 실시 예에 따르면, 상기 통신 모듈 620은 셀룰러 모듈 621, Wifi 모듈 623, BT 모듈 625, GPS 모듈 627, NFC 모듈 628 및 RF(radio frequency) 모듈 629를 포함할 수 있다.
상기 셀룰러 모듈 621은 통신망(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등)을 통해서 음성 통화, 영상 통화, 문자 서비스 또는 인터넷 서비스 등을 제공할 수 있다. 또한, 상기 셀룰러 모듈 621은, 예를 들면, 가입자 식별 모듈(예: SIM 카드 624)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 상기 셀룰러 모듈 621은 상기 AP 610이 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 예를 들면, 상기 셀룰러 모듈 621은 멀티 미디어 제어 기능의 적어도 일부를 수행할 수 있다.
한 실시 예에 따르면, 상기 셀룰러 모듈 621은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다. 또한, 상기 셀룰러 모듈 621은, 예를 들면, SoC로 구현될 수 있다. 도 6에서는 상기 셀룰러 모듈 621(예: 커뮤니케이션 프로세서), 상기 메모리 630, 또는 상기 전력관리 모듈 695 등의 구성요소들이 상기 AP 610와 별개의 구성요소로 도시되어 있으나, 한 실시 예에 따르면, 상기 AP 610이 전술한 구성요소들의 적어도 일부(예: 셀룰러 모듈 621)를 포함하도록 구현될 수 있다.
한 실시 예에 따르면, 상기 AP 610 또는 상기 셀룰러 모듈 621(예: 커뮤니케이션 프로세서)은 각각에 연결된 비 휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP 610 또는 상기 셀룰러 모듈 621은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비 휘발성 메모리에 저장(store)할 수 있다.
상기 Wifi 모듈 623, 상기 BT 모듈 625, 상기 GPS 모듈 627 또는 상기 NFC 모듈 628 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 도 6에서는 셀룰러 모듈 621, Wifi 모듈 623, BT 모듈 625, GPS 모듈 627 또는 NFC 모듈 628이 각각 별개의 블록으로 도시되었으나, 한 실시 예에 따르면, 셀룰러 모듈 621, Wifi 모듈 623, BT 모듈 625, GPS 모듈 627 또는 NFC 모듈 628 중 적어도 일부(예: 두 개 이상)는 하나의 통합칩(integrated chip, IC) 또는 IC 패키지 내에 포함될 수 있다. 예를 들면, 셀룰러 모듈 621, Wifi 모듈 623, BT 모듈 625, GPS 모듈 627 또는 NFC 모듈 628 각각에 대응하는 프로세서들 중 적어도 일부(예: 셀룰러 모듈 621에 대응하는 커뮤니케이션 프로세서 및 Wifi 모듈 623에 대응하는 Wifi 프로세서)는 하나의 SoC로 구현될 수 있다.
상기 RF 모듈 629는 데이터의 송수신, 예를 들면, RF 신호의 송수신을 할 수 있다. 상기 RF 모듈 629는, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈 629는 무선 통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다. 도 6에서는 셀룰러 모듈 621, Wifi 모듈 623, BT 모듈 625, GPS 모듈 627 및 NFC 모듈 628이 하나의 RF 모듈 629을 서로 공유하는 것으로 도시되어 있으나, 한 실시 예에 따르면, 셀룰러 모듈 621, Wifi 모듈 623, BT 모듈 625, GPS 모듈 627 또는 NFC 모듈 628 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호의 송수신을 수행할 수 있다.
상기 SIM 카드 624는 가입자 식별 모듈을 포함하는 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드 624는 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리 630(예: 상기 저장 모듈 170)은 내장 메모리 632 또는 외장 메모리 634를 포함할 수 있다. 상기 내장 메모리 632는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비 휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
한 실시 예에 따르면, 상기 내장 메모리 632는 Solid State Drive(SSD)일 수 있다. 상기 외장 메모리 234는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 메모리 스틱(Memory Stick) 등을 더 포함할 수 있다. 상기 외장 메모리 634는 다양한 인터페이스를 통하여 상기 전자 장치 600와 기능적으로 연결될 수 있다. 한 실시 예에 따르면, 상기 전자 장치 600는 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
상기 센서 모듈 640은 물리 량을 계측하거나 전자 장치 600의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 상기 센서 모듈 640은, 예를 들면, 제스처 센서 640A, 자이로 센서 640B, 기압 센서 640C, 마그네틱 센서 640D, 가속도 센서 640E, 그립 센서 640F, 근접 센서 640G, color 센서 640H(예: RGB(red, green, blue) 센서), 생체 센서 640I, 온/습도 센서 640J, 조도 센서 640K 또는 UV(ultra violet) 센서 640M 중의 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 상기 센서 모듈 640은 사용자의 좌/우 또는 상/하 이동 제스처를 감지할 수 있다. 감지된 정보는 전기 신호로 변환되어 화면 상에 표시된 커서를 이동시키는데 활용될 수 있다.
추가적으로 또는 대체적으로, 상기 센서 모듈 640은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시), IR(infra red) 센서(미도시), 홍채 센서(미도시) 또는 지문 센서(미도시) 등을 포함할 수 있다. 상기 센서 모듈 640은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 입력 장치 650(예: 상기 입력 모듈 110)은 터치 패널(touch panel) 652, (디지털) 펜 센서(pen sensor) 654, 키(key) 656 또는 초음파(ultrasonic) 입력 장치 658를 포함할 수 있다. 상기 터치 패널 652는, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널 652는 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 상기 터치 패널 652는 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널 652는 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서 654는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 시트(sheet)를 이용하여 구현될 수 있다. 상기 키 656는, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 상기 초음파(ultrasonic) 입력 장치 658는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치 600에서 마이크(예: 마이크 688)를 통해 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시 예에 따르면, 상기 전자 장치 600는 상기 통신 모듈 620을 이용하여 이와 연결된 외부 장치(예: 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이 660(예: 상기 표시 모듈 120)은 패널 662, 홀로그램 장치 664 또는 프로젝터 666을 포함할 수 있다. 상기 패널 662는, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널 662는, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널 662는 상기 터치 패널 652과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램 장치 664는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터 666는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 상기 스크린은, 예를 들면, 상기 전자 장치 600의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 상기 디스플레이 660은 상기 패널 662, 상기 홀로그램 장치 664, 또는 프로젝터 666를 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 인터페이스 670은, 예를 들면, HDMI(high-definition multimedia interface) 672, USB(universal serial bus) 674, 광 인터페이스(optical interface) 676 또는 D-sub(D-subminiature) 678를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스 670은, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure Digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
상기 오디오 모듈 680(예: 소리 출력 모듈 160)은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈 680은, 예를 들면, 스피커 682, 리시버 684, 이어폰 686 또는 마이크 688 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈 691은 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈(미도시), ISP(image signal processor, 미도시) 또는 플래시 (flash, 미도시)(예: LED 또는 xenon lamp)를 포함할 수 있다.
상기 전력 관리 모듈 695은 상기 전자 장치 600의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력 관리 모듈 695은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시 예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리 696의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리 696는 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 상기 전자 장치 100에 전원을 공급할 수 있다. 상기 배터리 696는, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
상기 인디케이터 697는 상기 전자 장치 600 혹은 그 일부(예: 상기 AP 610)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터 698는 전기적 신호를 기계적 진동으로 변환할 수 있다. 도시되지는 않았으나, 상기 전자 장치 600은 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어 플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명의 다양한 실시 예에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명의 다양한 실시 예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 발명의 다양한 실시 예에 사용된 용어 "모듈"은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시 예에 따른 "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 본 발명에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서 610)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 630가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서 610에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈 의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 저장매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 전자 장치 110: 입력 모듈
120: 표시 모듈 130: 위치 정보 추출 모듈
140: 소리 설정 모듈 150: 좌표 확인 모듈
160: 소리 출력 모듈 170: 저장 모듈
180: 제어 모듈
301: 포커스된 지점
310: 설정 아이콘 320: 정보 텍스트
330: 동작 텍스트 401 및 501: 포커스된 지점
510: 통화 아이콘 520: 카메라 아이콘
530: 시계 아이콘 540: 설정 아이콘
600: 전자 장치 610: 어플리케이션 프로세서(AP)
620: 통신모듈 621: 셀룰러 모듈
623: wifi 모듈 624: SIM 카드
625: BT 모듈 627: GPS 모듈
628: NFC 모듈 629: RF 모듈
630: 메모리 632: 내장메모리
634: 외장메모리 640: 센서 모듈
640A: 제스처 센서 640B: 자이로 센서
640C: 기압 센서 640D: 마그네틱 센서
640E: 가속도 센서 640F: 그립 센서
640G: 근접 센서 640H: RGB 센서
640I: 생체 센서 640J: 온/습도 센서
640K: 조도 센서 640M: UV 센서
650: 입력 장치 652: 터치 패널
654: 펜 센서 656: 키
658: 초음파 입력 장치 660: 디스플레이 모듈
662: 패널 664: 홀로그램
666: 프로젝터 670: 인터페이스
672: HDMI 674: USB
676: 광 인터페이스 678: D-SUB
680: 오디오 모듈 682: 스피커
684: 리시버 686: 이어폰
688: 마이크 691: 카메라 모듈
695: 전력 관리 모듈 696: 배터리
697: 인디케이터 698: 모터

Claims (20)

  1. 전자 장치에서 수행되는 화면 정보를 소리로 출력하는 방법에 있어서,
    상기 전자 장치의 화면에 대응하는 둘 이상의 다차원 공간을 생성하는 동작;
    상기 다차원 공간의 좌표 각각에 대한 소리(sound) 정보를 설정하는 동작;
    상기 전자 장치의 화면 상에 포커스 된 지점의 위치정보를 추출하는 동작;
    상기 위치 정보를 기반으로 상기 다차원 공간 상의 대응하는 좌표를 확인하는 동작; 및
    상기 확인된 좌표에 설정된 상기 소리 정보에 따른 소리를 출력하는 동작;을 포함하는 방법.
  2. 제1항에 있어서, 상기 소리 정보는
    상기 다차원 공간 상의 특정 지점과 상기 좌표 사이의 상대적 거리에 따라 지정된 다양한 상황 중 어느 하나의 상황으로 인식되는 정보를 포함하는 방법.
  3. 제1항에 있어서, 상기 소리 정보를 설정하는 동작은
    사용자의 두 귀에서 발생하는 주파수 변화의 패턴을 이용하여 상기 다차원 공간 상의 특정한 지점과 상기 좌표 사이의 상대적 거리에 따라 지정된 서로 다른 소리 정보를 각각의 좌표에 설정하는 동작;을 더 포함하는 방법.
  4. 제1항에 있어서, 상기 소리 정보를 설정하는 동작은
    소리의 세기 또는 주파수를 바탕으로 상기 다차원 공간을 생성하는 동작; 및
    상기 좌표 각각에 세기 또는 주파수 중 적어도 하나가 다른 소리를 지정하는 동작;을 더 포함하는 방법.
  5. 제4항에 있어서, 상기 소리를 지정하는 동작은
    상기 소리가 출력되는 동안 변경되는 소리의 세기 또는 주파수를 상기 좌표에 따라 서로 다르게 지정하는 동작;을 더 포함하는 방법.
  6. 제1항에 있어서,
    상기 화면 상에 포커스 된 대상의 속성을 추출하는 동작;을 더 포함하는 방법.
  7. 제6항에 있어서,
    상기 추출된 대상의 속성에 따라 지정된 소리 정보를 설정하는 동작;을 더 포함하는 방법.
  8. 제1항에 있어서, 상기 다차원 공간을 생성하는 동작은
    상기 전자 장치의 화면을 사용자에 의해 지정된 가상 공간 범위로 확대하는 동작;을 더 포함하는 방법.
  9. 제1항에 있어서, 상기 소리 정보를 설정하는 동작은
    상기 다차원 공간에서 각 행 또는 열 중 적어도 하나에 동일한 특성의 소리 시작 정보를 지정하는 동작;을 더 포함하는 방법.
  10. 제1항에 있어서, 상기 소리 정보를 설정하는 동작은
    상기 소리 정보에 상기 좌표의 숫자 정보를 포함하도록 지정하는 동작;을 더 포함하는 방법.
  11. 제1항에 있어서, 상기 소리 정보를 설정하는 동작은
    상기 각 좌표에 상기 소리의 음색을 변경하여 지정하는 동작;을 더 포함하는 방법.
  12. 전자 장치의 화면에 대응하는 둘 이상의 다차원 공간을 생성하고, 해당 공간의 좌표 각각에 대한 소리 정보를 설정하는 소리 설정 모듈;
    상기 화면 상에 포커스 된 지점의 위치 정보를 추출하는 위치 정보 추출 모듈;
    상기 위치 정보를 기반으로 상기 다차원 공간 상의 대응하는 좌표를 확인하는 좌표 확인 모듈; 및
    상기 확인된 좌표에 설정된 상기 소리 정보에 따른 소리를 출력하는 소리 출력 모듈;을 포함하는 전자 장치.
  13. 제12항에 있어서, 상기 소리 정보는
    상기 다차원 공간 상의 특정 지점과 상기 좌표 사이의 상대적 거리에 따라 지정된 다양한 상황 중 어느 하나의 상황으로 인식되는 정보를 포함하는 전자 장치.
  14. 제12항에 있어서, 상기 소리 설정 모듈은
    사용자의 두 귀에서 발생하는 주파수 변화의 패턴을 이용하여 상기 다차원 공간 상의 특정한 지점과 상기 좌표 사이의 상대적 거리에 따라 지정된 서로 다른 소리 정보를 각각의 좌표에 설정하는 전자 장치.
  15. 제12항에 있어서, 상기 소리 설정 모듈은
    소리의 세기 또는 주파수를 바탕으로 상기 다차원 공간을 생성하고, 상기 좌표 각각에 세기 또는 주파수 중 적어도 하나가 다른 소리를 지정하는 전자 장치.
  16. 제15항에 있어서, 상기 소리 설정 모듈은
    상기 소리가 출력되는 동안 변경되는 소리의 세기 또는 주파수를 상기 좌표에 따라 서로 다르게 지정하는 전자 장치.
  17. 제12항에 있어서, 상기 소리 설정 모듈은
    상기 전자 장치의 화면을 사용자에 의해 지정된 가상 공간 범위로 확대하는 전자 장치.
  18. 제12항에 있어서, 상기 소리 설정 모듈은
    상기 다차원 공간에서 각 행 또는 열 중 적어도 하나에 동일한 특성의 소리 시작 정보를 지정하는 전자 장치.
  19. 제12항에 있어서, 상기 소리 설정 모듈은
    상기 소리 정보에 상기 좌표의 숫자 정보를 포함하도록 지정하는 전자 장치.
  20. 제12항에 있어서, 상기 소리 설정 모듈은
    상기 각 좌표에 상기 소리의 음색을 변경하여 지정하는 전자 장치.
KR1020140122950A 2014-09-16 2014-09-16 화면 정보를 소리로 출력하는 방법 및 이를 지원하는 전자 장치 KR102329193B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140122950A KR102329193B1 (ko) 2014-09-16 2014-09-16 화면 정보를 소리로 출력하는 방법 및 이를 지원하는 전자 장치
US14/851,603 US9965246B2 (en) 2014-09-16 2015-09-11 Method for outputting screen information through sound and electronic device for supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140122950A KR102329193B1 (ko) 2014-09-16 2014-09-16 화면 정보를 소리로 출력하는 방법 및 이를 지원하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20160032602A true KR20160032602A (ko) 2016-03-24
KR102329193B1 KR102329193B1 (ko) 2021-11-22

Family

ID=55454813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140122950A KR102329193B1 (ko) 2014-09-16 2014-09-16 화면 정보를 소리로 출력하는 방법 및 이를 지원하는 전자 장치

Country Status (2)

Country Link
US (1) US9965246B2 (ko)
KR (1) KR102329193B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306445B (zh) * 2020-10-29 2022-12-20 维沃移动通信有限公司 控制方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060007395A (ko) * 2003-05-02 2006-01-24 노키아 코포레이션 모바일 전화기 사용자 인터페이스
KR20060013236A (ko) * 2004-08-06 2006-02-09 엘지전자 주식회사 휴대단말기의 키패드 음성할당 장치 및 방법
JP2008021186A (ja) * 2006-07-13 2008-01-31 Tamao Nagumo 音響による位置通知方法、および同方法を用いた情報処理システム
JP2008203818A (ja) * 2007-01-23 2008-09-04 National Institute Of Advanced Industrial & Technology 音データ生成装置およびプログラム
KR20140106801A (ko) * 2013-02-27 2014-09-04 삼성전자주식회사 시각 장애인들을 위한 휴대 단말기의 음성 서비스 지원 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052385A (ja) 2005-08-15 2007-03-01 Kohei Katagiri オーディオ・ユーザー・インターフェース
US8824709B2 (en) 2010-10-14 2014-09-02 National Semiconductor Corporation Generation of 3D sound with adjustable source positioning
KR20130004713A (ko) 2011-07-04 2013-01-14 삼성전자주식회사 이동통신 단말기의 인터페이스 장치 및 방법
US9563278B2 (en) * 2011-12-19 2017-02-07 Qualcomm Incorporated Gesture controlled audio user interface
TW201414274A (zh) * 2012-09-21 2014-04-01 Hon Hai Prec Ind Co Ltd 音效處理系統及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060007395A (ko) * 2003-05-02 2006-01-24 노키아 코포레이션 모바일 전화기 사용자 인터페이스
KR20060013236A (ko) * 2004-08-06 2006-02-09 엘지전자 주식회사 휴대단말기의 키패드 음성할당 장치 및 방법
JP2008021186A (ja) * 2006-07-13 2008-01-31 Tamao Nagumo 音響による位置通知方法、および同方法を用いた情報処理システム
JP2008203818A (ja) * 2007-01-23 2008-09-04 National Institute Of Advanced Industrial & Technology 音データ生成装置およびプログラム
KR20140106801A (ko) * 2013-02-27 2014-09-04 삼성전자주식회사 시각 장애인들을 위한 휴대 단말기의 음성 서비스 지원 방법 및 장치

Also Published As

Publication number Publication date
US9965246B2 (en) 2018-05-08
US20160077796A1 (en) 2016-03-17
KR102329193B1 (ko) 2021-11-22

Similar Documents

Publication Publication Date Title
US9955248B2 (en) Wearable electronic device
KR102180528B1 (ko) 색맹 교정을 위한 전자 장치 및 운영 방법
KR102414356B1 (ko) 전자 장치 및 그의 햅틱 피드백 제공 방법
KR102294945B1 (ko) 기능 제어 방법 및 그 전자 장치
EP3096210A1 (en) Method and apparatus for processing input using touch screen
KR20160087611A (ko) 안테나 장치 및 그 제어 방법
EP2955907A1 (en) Wearable electronic device, system and control method thereof
KR20150127989A (ko) 사용자 인터페이스 제공 방법 및 장치
KR20160034037A (ko) 화면 캡쳐를 위한 방법 및 그 전자 장치
KR20150081125A (ko) 전자 장치 스크린에서의 입자 효과 디스플레이
KR20150135905A (ko) 폴더형 표시부를 가지는 전자 장치 및 이의 운영 방법
KR20160020166A (ko) 전자 장치 및 이의 화면 표시 방법
KR102206877B1 (ko) 생체 정보디스플레이 방법 및 장치
KR20150129423A (ko) 전자 장치 및 전자 장치의 제스처 인식 방법 및 전자 장치
KR20150141019A (ko) 깊이 정보를 활용하는 전자 장치 및 방법
KR20150135893A (ko) 홈스크린 구성 방법 및 이를 이용한 전자 장치
KR20150106719A (ko) 전자 장치의 촬영 위치 안내 방법 및 이를 이용한 전자 장치
KR20150121949A (ko) 제스처를 인식하는 방법 및 장치
KR20160027778A (ko) 전자 장치 및 전자 장치의 디스플레이 방법
KR20160055337A (ko) 텍스트 표시 방법 및 그 전자 장치
KR20160017904A (ko) 전자장치의 화면 표시 방법
KR20150064354A (ko) 입력 처리 방법 및 그 전자 장치
KR20150132963A (ko) 디스플레이를 이용한 입력 처리 방법 및 장치
KR20160001438A (ko) 이어 잭 오작동을 방지하는 전자 장치 및 방법
KR20160001076A (ko) 데이터 관리 방법 및 그 방법을 처리하는 전자 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant