KR20160059407A - 양방향 무선통신을 이용한 영상표시장치의 음성제어 방법 - Google Patents
양방향 무선통신을 이용한 영상표시장치의 음성제어 방법 Download PDFInfo
- Publication number
- KR20160059407A KR20160059407A KR1020150102103A KR20150102103A KR20160059407A KR 20160059407 A KR20160059407 A KR 20160059407A KR 1020150102103 A KR1020150102103 A KR 1020150102103A KR 20150102103 A KR20150102103 A KR 20150102103A KR 20160059407 A KR20160059407 A KR 20160059407A
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- control
- identification
- voice data
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000006854 communication Effects 0.000 title claims abstract description 27
- 238000004891 communication Methods 0.000 title claims abstract description 27
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 9
- 230000010365 information processing Effects 0.000 claims description 31
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은, 본 발명은 양방향 무선통신을 이용한 영상표시장치의 음성제어 방법에 관한 것으로서 더욱 상세하게는, 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 할당된 식별음성데이터와 입력되는 사용자의 음성을 비교하여 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키도록 구성된 음성제어 영상표시 장치인 제 1기기를 이용하여 음성제어가 불가능하거나 불편한 다른 영상표시 장치인 제 2기기를 음성제어하는 방법을 제시한다.
Description
본 발명은 양방향 무선통신을 이용한 영상표시장치의 음성제어 방법에 관한 것으로서 더욱 상세하게는, 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 할당된 식별음성데이터와 입력되는 사용자의 음성을 비교하여 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키도록 구성된 음성제어 영상표시 장치인 제 1기기를 이용하여 음성제어가 불가능하거나 불편한 다른 영상표시 장치인 제 2기기를 음성제어하는 방법에 관한 것이다.
최근 다양한 스마트 기기가 출시됨에 따라 영상표시 장치도 다기능화, 고도화되고 영상표시 장치를 제어하기 위한 다양한 입력 방법도 개발되고 있는데, 마우스, 키보드, 터치패드, 버튼식 리모콘 등과 같은 기존의 방법 외에 모션 센싱 리모콘, 터치스크린 등의 입력 방식이 개발되어 선보이고 있다. 이렇게 다양한 입력 방법 중에서도 사용자가 더욱 손쉽게 영상표시 장치를 제어하기 위하여 사용자의 음성을 인식하여 영상표시 장치를 제어하는 음성제어 방식이 근래에 각광을 받고 있다. 그러나 사용자가 발화한 음성을 인식하여 영상표시 장치를 제어하는 음성제어 방식은 사용자 개개인의 구강구조 및 발음의 차이로 인하여 인식률이 떨어진다는 점과 사용자가 데이터 베이스에 저장된 음성명령어를 학습해야 하는 불편함 등이 문제점으로 지적되어 왔다. 즉, 사용자의 편의성 측면에서 만족할 만한 수준의 음성제어 방식은 아직까지 선보이지 못하고 있는 실정이다. 이러한 문제를 해결하기 위해 안출된 출원번호 10-2014-0056992(2014.05.13)의 특징을 이용하여, 최근 발전하는 양방향 무선통신(ex. 미러링;Mirroring)의 활용방안을 제공한다.
본 발명은 상술한 바와 같이 사용자가 데이터베이스에 저장된 음성명령어의 학습필요성에 의한 불편을 해소하고, 기존 터치스크린 제어방식의 사용자 경험(UX)의 편의성 및 직관성을 그대로 음성제어에 적용하기 위해 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 할당된 식별음성데이터와 입력되는 사용자의 음성을 비교하여 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키도록 구성된 음성제어 영상표시 장치인 제 1기기를 이용하여 음성제어가 불가능하거나 불편한 다른 영상표시 장치인 제 2기기를 음성제어하는 방법을 제공함에 그 목적이 있다.
전술한 과제의 해결은 양방향 무선통신을 이용한 영상표시 장치의 음성제어 방법으로 이루어진다.
본 발명에 의하면 다음과 같은 효과가 있다.
우선, 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 할당된 음성데이터와 입력된 사용자의 음성을 비교하는 방식으로 입력 제어가 수행되도록 해주어 기존 터치스크린 방식의 입력제어 방식을 그대로 음성제어 방식에 적용시켜 줌으로써 간편하고 정확한 음성제어를 구현할 수 있게 해주는 제 1기기의 음성제어를 통해 제 2기기를 음성제어할 수 있게 해준다.
또한, 수십 내지 수백가지의 음성명령어를 사용하는 기존 음성제어 방식과 달리 한정된 음성데이터를 가지고 제 2기기를 다양한 입력제어가 수행될 수 있게 해준다.
또한, 사용자로 하여금 음성명령어를 많이 학습하지 않고도 제 2기기를 편리하게 음성제어를 수행할 수 있게 해준다.
[도 1]은 본 발명 제 1기기에 따른 음성제어 영상표시 장치의 디스플레이부를 통해 표시되는 안드로이드 스마트폰의 일반적인 홈 화면이다.
[도 2]는 [도 1]의 홈 화면에서 '앱스'(②)가 터치되었을 때 나타나는 애플리케이션 화면이다.
[도 3]은 본 발명 제 1기기에 따른 음성제어 영상표시 장치의 디스플레이부를 통해 표시되는 화면상의 실행단위영역 구성예이다.
[도 4]는 본 발명 제 1기기에 따른 음성제어 영상표시 장치의 메모리부에 저장된 데이터 베이스의 실시예이다.
[도 5]는 본 발명 제 1기기에 따른 음성제어 영상표시 장치의 디스플레이부를 통해 표시되는 화면이 6×4의 행렬로 이루어진 실행단위영역을 가지는 경우에 화면 상단 우측에 존재하는 실행단위영역부터 알파벳순으로 알파벳 문자가 각 실행단위영역의 고유한 식별음성데이터로 할당된 실시예이다.
[도 6]은 본 발명 제 1기기에 따른 음성제어 영상표시 장치에서 식별음성데이터와 제어음성데이터가 결합되어 사용되는 실시예이다.
[도 7]은 본 발명 제 1기기에 따른 실행과정의 순서도이다.
[도 8]은 터치스크린의 구성 레이어(Layer)의 분해 사시 개념도
[도 9]는 본 발명에 따른 양방향 무선 통신을 이용한 영상표시 장치의 음성제어 방법에 따른 개략도
[도 2]는 [도 1]의 홈 화면에서 '앱스'(②)가 터치되었을 때 나타나는 애플리케이션 화면이다.
[도 3]은 본 발명 제 1기기에 따른 음성제어 영상표시 장치의 디스플레이부를 통해 표시되는 화면상의 실행단위영역 구성예이다.
[도 4]는 본 발명 제 1기기에 따른 음성제어 영상표시 장치의 메모리부에 저장된 데이터 베이스의 실시예이다.
[도 5]는 본 발명 제 1기기에 따른 음성제어 영상표시 장치의 디스플레이부를 통해 표시되는 화면이 6×4의 행렬로 이루어진 실행단위영역을 가지는 경우에 화면 상단 우측에 존재하는 실행단위영역부터 알파벳순으로 알파벳 문자가 각 실행단위영역의 고유한 식별음성데이터로 할당된 실시예이다.
[도 6]은 본 발명 제 1기기에 따른 음성제어 영상표시 장치에서 식별음성데이터와 제어음성데이터가 결합되어 사용되는 실시예이다.
[도 7]은 본 발명 제 1기기에 따른 실행과정의 순서도이다.
[도 8]은 터치스크린의 구성 레이어(Layer)의 분해 사시 개념도
[도 9]는 본 발명에 따른 양방향 무선 통신을 이용한 영상표시 장치의 음성제어 방법에 따른 개략도
이하에서는 본 발명의 기본이 되는 제 1기기인 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법에 관하여 구체적인 실시예와 함께 상세하게 설명하도록 한다.
<디스플레이부를 구비하고 음성제어가 가능한 영상표시 장치 ; 제 1기기>
상기 제 1기기는 디스플레이부, 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스가 저장된 메모리부, 사용자의 음성을 입력받는 음성인식부, 상기 음성인식부가 사용자의 음성을 수신한 경우 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 정보처리부, 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 제어부 및 무선통신부를 포함하여 구성된다. 이와 같은 구성을 가지는 본 발명 제 1기기에 따른 음성제어 영상표시 장치는 종래 널리 사용되고 있는 스마트폰, 태블릿 PC, 스마트 TV, 네비게이션 장치와 스마트 글래스, 스마트 워치 및 가상현실 헤드셋(VR기기)등 웨어러블 기기 등을 포함하여 음성제어가 가능한 모든 영상표시 장치에 구현될 수 있다.
근래 스마트폰, 태블릿PC 등에 적용되어 널리 사용되는 터치스크린 방식은 감압식과 정전식이 있는데, 갑압식은 터치스크린의 압력이 가해진 부분의 좌표값을 측정하여 해당 부분에 입력신호를 발생시키는 방식이고, 정전식은 터치스크린의 네 모서리에 부착된 센서가 터치가 이루어진 부분의 전자변화를 감지하여 좌표값을 측정하고 해당 부분에 입력신호를 발생시키는 방식이다. 터치스크린 방식은 GUI(Graphic User Interface) 환경에서 직관적인 입력방식으로서 사용자 편의성이 매우 높다. 본 발명 제 1기기는 음성명령어와 특정 실행내용을 1:1로 대응시키는 방식으로 수행되는 기존의 음성제어 방식과 전혀 다른 접근을 통해 터치스크린 방식의 장점을 음성제어에 적용할 수 있도록 해준다는 것에 특징이 있다.
본 발명에서 상기 실행단위영역이란 터치스크린 입력 방식에 있어서 터치스크린과 터치수단(예를 들면, 손가락, 정전펜 등)이 접촉하는 접촉면에 해당하는 개념으로서 상기 디스플레이부를 통해 표시되는 화면상에 입력신호와 실행신호가 발생되는 범위를 의미하며 수많은 픽셀(Pixel)로 구성된 일정 영역이다. 또한 추가적으로 해당 영역상의 어떤 픽셀에 입력신호 또는 실행신호가 발생하더라도 동일한 결과를 가져오는 영역으로 구획하는 것을 포함할 수 있다. 후술될 실시 예와 도면에서 스마트폰의 디스플레이부에 표시되는 화면상에 각종 어플리케이션의 단축 아이콘들이 배열되는 각각의 행렬형 격자영역을 그 예로 들 수 있으며, 상술한 바와 같이 터치스크린 입력방식에 있어서 터치스크린과 터치수단이 접촉하는 접촉면에 해당되는 개념이므로 화면마다 그 크기와 수, 모양 및 배열이 달라질 수 있는 가변적인 개념이다. 즉, 도시된 실시예는 설명의 단순화를 위한 것일 뿐 기술적 사상을 대변하는 것은 아니다.
도 8의 (101)은 터치스크린 구성 레이어(Layer)로서, 감압식 터치스크린의 경우 투명 전도막 혹은 저항막에 해당되는 것이고, 정전식 터치스크린의 경우 유전체가 코팅된 액정과 네 모서리에 구비된 센서에 해당될 것이고, 본 원에 대비하여 설명하면, 실행단위 영역별로 식별음성데이터와 매핑(Mapping)되어 할당되고 저장된 데이터베이스에 해당되는 것이다. 또한, (102)는 터치스크린 입력수단으로서, 감압식 및 정전식 터치스크린의 경우, 사용자의 손가락, 혹은 스타일러스 펜, 정전식 펜 등에 해당되는 것이고, 본 원에 대비하여 설명하면, 사용자의 음성에 해당된다.
상기 메모리부는 스마트폰, 태블릿PC 등의 음성제어 영상표시 장치에 내장되는 메모리칩으로 구현된다. 상기 데이터 베이스는 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 것인데, 구체적으로 화면상에서 동일한 실행단위영역으로 인정되는 영역별로 부여되는 고유의 좌표정보를 포함하게 된다. 또한 상기 식별음성데이터는 사용자의 구강구조 및 발성 특성을 고려하여 음성인식률 제고를 위하여 사용자가 직접 녹음한 데이터를 활용할 수도 있다. 또한 상기 메모리부는 상기 디스플레이부를 통해 표시되는 기본적인 화면의 실행단위영역의 분포 패턴별 포맷을 미리 저장하고 있어 사용자에 의해 특정 포맷이 선택되도록 할 수도 있다.
상기 음성인식부는 사용자의 음성을 입력받는 부분으로서 각종 음성제어 영상표시 장치에 내장되는 마이크장치 및 음성인식회로로 구현된다.
상기 정보처리부 및 상기 제어부는 각종 음성제어 영상표시 장치에 내장되는 CPU 및 RAM을 비롯한 제어회로부로 구현된다. 상기 정보처리부는 상기 음성인식부가 사용자의 음성을 수신한 경우 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 역할을 수행하는데, 구체적으로 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역의 고유 좌표정보를 검출하게 된다. 또한 상기 제어부는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 역할을 수행하는데, 상기 정보처리부에 의해 검출된 좌표정보를 가지는 화면상의 영역에 입력신호를 발생시킨다. 입력신호의 발생 결과는 해당 실행단위영역에 존재하는 내용에 따라 달라진다. 해당 실행단위영역에 특정 애플리케이션의 단축 아이콘이 존재할 경우 그 애플리케이션이 실행될 것이고, 해당 실행단위영역에 가상 키보드 자판의 특정 글자가 존재할 경우 해당 특정 글자가 입력될 것이고, 해당 실행단위영역에 화면전환과 같은 명령이 지정되어 있는 경우 해당 명령이 수행될 것이며, 경우에 따라서는 아무런 수행도 없을 수도 있다. 즉, 터치스크린의 경우와 같은 결과이다.
[도 1]은 안드로이드 스마트폰의 일반적인 홈 화면이다. [도 2]는 상기 홈 화면에서 '앱스'(②)가 터치되었을 때 나타나는 애플리케이션 화면이다. 터치스크린 조작을 통해 'abc'(①) 애플리케이션을 홈 화면이 아닌 애플리케이션 화면에서 실행하고자 할 경우 홈 화면의 우측 하단 '앱스'(②)를 터치하고, 그 결과 애플리케이션 화면이 나타나면 애플리케이션 화면 상의 'abc'(③)를 터치하면 된다.
본 발명 제 1기기에서는 이와 같은 과정이 음성제어 방식으로 구현될 수 있게 해준다. 구체적으로 [도 3]에 나타난 바와 같이 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역이 나누어져 있고, 상기 데이터 베이스는 [도 4]에서와 같이 홈 화면과 애플리케이션 화면을 비롯한 여러 화면마다 각각 실행단위영역별로 식별음성데이터가 할당되어 매핑되어 생성되되 라이브러리①로 표시된 홈 화면상의 실행단위영역 'F4'에는 '앱스'라는 식별음성데이터가 매핑되고, 라이브러리②로 표시된 애플리케이션 화면상의 실행단위영역 'C1'에는 'abc'라는 식별음성데이터가 매핑되어 있다고 가정할 때, 상기 디스플레이부에 홈 화면이 표시되고 상기 음성인식부를 통해 '앱스'라는 사용자의 음성이 입력된 경우 상기 정보처리부는 홈 화면에 대한 데이터 베이스를 검색하여 '앱스'라는 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단한다. 상기 정보처리부가 '앱스'라는 사용자의 음성과 대응되는 식별음성데이터인 '앱스'를 검색한 경우 상기 제어부는 해당 식별음성데이터가 할당된 실행단위 영역인 'F4'에 입력신호를 발생시킨다. 그 결과 애플리케이션 화면이 실행되게 된다. 또한 상기 디스플레이부에 애플리케이션 화면이 실행되고 있는 상태에서 상기 음성인식부를 통해 'abc'라는 사용자의 음성이 입력된 경우 상기 정보처리부는 애플리케이션 화면에 대한 데이터 베이스를 검색하여 'abc'라는 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단한다. 상기 정보처리부가 'abc'라는 사용자의 음성과 대응되는 식별음성데이터인 'abc'를 검색한 경우 상기 제어부는 해당 식별음성데이터가 할당된 실행단위 영역인 'C1'에 입력신호를 발생시킨다. 그 결과 abc라는 애플리케이션이 실행되게 된다.
위의 실시예를 통해 확인할 수 있는 바와 같이 상기 데이터 베이스는 상기 디스플레이부를 통해 표시되는 서로 다른 2이상의 화면에 대해 각 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑된 것을 특징으로 할 수 있다. 이러한 방식으로 데이터 베이스를 구성하는 것은 각 화면상의 실행단위영역에 표시되는 아이콘의 명칭이 명확하여 그 아이콘의 명칭을 식별음성데이터로 활용하고자 할 때 바람직한 방식이다. 한편, 실행단위영역의 분포가 동일한 화면의 경우 동일한 데이터 베이스를 가질 수도 있다. 예를 들면 [도 1] 내지 [도 4]의 실시예에서와 같이 상기 디스플레이부를 통해 표시되는 각 화면이 6×4의 행렬로 이루어진 실행단위영역을 가질 경우 [도 5]에서와 같이 화면 상단 우측에 존재하는 실행단위영역부터 알파벳순으로 알파벳 문자를 각 실행단위영역의 고유한 식별음성데이터로 할당하는 것을 생각할 수 있다. 이러한 방식의 데이터 베이스 구성은 각 화면상의 실행단위영역에 표시되는 아이콘의 명칭이 명확하지 않은 등의 이유로 화면의 변화에 관계 없이 일관된 식별음성데이터를 가지도록 하는 것이 효율적일 때 바람직하다. 특히 이러한 방식으로 데이터 베이스가 구성될 경우 상기 디스플레이부는 화면을 표시할 때 화면상의 실행단위영역별로 할당된 식별음성데이터도 함께 현시하여 주도록 구성되는 것이 바람직하다. 구체적으로 각 실행단위영역의 고유 식별음성데이터를 화면상에 배경으로 흐릿하게 표시해주는 방법 등이 고려될 수 있다.
또한, 상기 식별음성데이터는 알파벳, 한글 및 기타 언어의 문자, 숫자 중 어느 하나 혹은 문자, 숫자의 조합으로 구성될 수 있음은 물론이다.
상기 데이터 베이스에는 식별음성데이터와 결합되어 사용될 경우 식별음성데이터가 할당된 실행단위영역을 기준으로 특정의 화면제어를 수행하도록 해주는 제어명령에 대응되는 제어음성데이터가 추가적으로 저장되어 있고, 상기 정보처리부는 상기 음성인식부가 사용자의 음성을 수신한 경우 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터 및 제어음성데이터가 존재하는지 판단하고, 상기 제어부는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터 및 제어음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역 입력신호를 발생시키되 입력신호를 발생시킨 실행단위영역을 기준으로 해당 제어음성데이터에 대응되는 제어명령을 실행하도록 구성된 것을 특징으로 할 수 있다.
[도 6]에 식별음성데이터와 제어음성데이터가 결합되어 사용되는 구체적인 실시예가 도시되어 있다. [도 6]의 실시예는 상기 디스플레이부를 통해 표시되는 화면이 6×4의 행렬로 이루어진 실행단위영역으로 나누어지고, 각 실행단위영역에는 화면 우측 상단의 실행단위영역부터 알파벳 순서의 식별음성데이터가 할당되어 있으며, 상기 데이터 베이스가 화면 확대를 위한 제어명령으로 'Zoom-In'이라는 제어음성데이터가 추가적으로 저장되어 있는 것을 가정한 것이다. 이와 같은 상황에서 사용자가 'F'와 'Zoom-In'을 사용자의 음성으로 연달아 입력할 경우 상기 제어부는 화면상의 사진 중 실행단위영역 'F' (2행 2열에 해당) 부분을 기준으로 확대하여 표시하여 주게 된다. 또한 'Zoom-In'과 'F'를 사용자의 음성으로 연달아 입력하도록 구성할 수 있다. 즉, 제어음성데이터와 식별음성데이터의 결합시 순서는 무관하게 설정가능하고, 상기 제어음성데이터와 식별음성데이터의 결합시 식별음성데이터의 사용 갯수는 하나 이상으로 구성가능하다.(ex. 'Zoom-In'과 'A to B'를 동시에 사용시;'A를 기준으로 B까지 Zoom-In 실행')
한편 본 발명에 따른 음성제어 영상표시 장치가 제1기기가 되고 음성제어가 불가능하거나 불편한 다른 장치가 제2기기가 되어 미러링(mirroring)이 수행될 수도 있다. 이러한 미러링을 통하여 상기 음성제어 영상표시 장치인 제 1기기에서 구현되는 음성제어 방식을 다른 기기의 제어를 위해 사용할 수 있게 된다. 제2기기로는 자동차에 설치되는 커넥티드카 인포테인먼트 시스템, 스마트 TV 등을 가정할 수 있다.
이때, 제2기기의 제어 인터페이스가 제1기기인 상기 음성제어 영상표시 장치를 통해 표시되는 데 있어서 제2기기의 정보를 식별하기 어려운 경우 제2기기의 영상신호와 제어정보 중 제어정보의 텍스트만을 제1기기에 실행단위 영역별로 표시하고, 상기 정보처리부는 텍스트 기반 음성합성을 통해 식별음성데이터를 생성하고, 상기 실행단위 영역별로 상기 식별음성데이터를 매핑하여 상기 디스플레이부를 통해 표시되는 화면에 상기 제어정보의 텍스트만을 현시하고, 사용자는 현시되는 텍스트를 음성명령어로 이용하도록 할 수 있다.
또한 무선 미러링 시 사용되는 무선통신 방식의 대역폭이 충분히 넓지 않거나 제2기기에서 전송되는 정보가 과다하게 많은 경우 제2기기의 정보를 제1기기인 상기 음성제어 영상표시 장치에 보낼 때 스케일링 되도록 하여 적정한 수준의 정보만이 전송되도록 할 수 있다.
이러한 디스플레이부를 구비하고 음성제어가 가능한 영상표시 장치인 제 1기기에서 수행되는 영상표시 장치의 음성제어 방법의 특징을 살펴보면,
<제 1기기의 영상표시 장치의 음성제어 방법>
상기 음성제어 영상표시 장치에서 수행되는 영상표시 장치의 음성제어 방법으로서, (1) 상기 메모리부가 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스를 저장하는 단계; (2) 상기 음성인식부가 사용자의 음성을 입력받는 단계; (3) 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 단계; 및 (4) 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 단계;를 포함하여 구성된 것을 특징으로 하는 영상표시 장치의 음성제어 방법을 함께 제공한다. 상기 영상표시 장치의 음성제어 방법은 위에서 설명한 본 발명에 따른 음성제어 영상표시 장치에서 수행되는 것을 전제로 하고 있다.
상기 (1)단계는 상기 메모리부가 데이터 베이스를 구축하는 단계인데, 상기 데이터 베이스는 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)되게 된다. 구체적으로 화면상에서 동일한 실행단위영역으로 인정되는 영역별로 부여되는 고유의 좌표정보를 포함하게 되며, 상기 식별음성데이터는 사용자의 구강구조 및 발성 특성을 고려하여 음성인식률 제고를 위하여 사용자가 직접 녹음한 데이터를 활용할 수도 있다. 또한 상기 메모리부는 상기 디스플레이부를 통해 표시되는 기본적인 화면의 실행단위영역의 분포 패턴별 포맷을 미리 저장하고 있어 사용자에 의해 특정 포맷이 선택될 수 있도록 할 수도 있다.
상기 (2)단계는 상기 음성인식부가 사용자의 음성을 입력받는 단계이다. 본 단계는 상기 음성제어 영상표시 장치가 음성인식 모드로 전환된 상태에서 이루어지게 된다. 본 단계는 사용자가 식별음성데이터를 효율적으로 인지하도록 하기 위하여 상기 디스플레이부에 표시되는 화면상의 실행단위영역별로 할당된 식별음성데이터가 현시되는 상태에서 수행되는 것이 바람직하다.
상기 (3)단계는 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 단계이다. 구체적으로 상기 정보처리부는 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역의 고유 좌표정보를 검출하게 된다.
상기 (4)단계는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 단계이다. 본 단계에서 상기 제어부는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 역할을 수행하는데, 상기 정보처리부에 의해 검출된 좌표정보를 가지는 화면상의 영역에 입력신호를 발생시킨다. 입력신호의 발생 결과는 해당 실행단위영역에 존재하는 내용에 따라 달라진다. 해당 실행단위영역에 특정 애플리케이션의 단축 아이콘이 존재할 경우 그 애플리케이션이 실행될 것이고, 해당 실행단위영역에 가상 키보드 자판의 특정 글자가 존재할 경우 해당 특정 글자가 입력될 것이고, 해당 실행단위영역에 화면전환과 같은 명령이 지정되어 있는 경우 해당 명령이 수행될 것이며, 경우에 따라서는 아무런 수행도 없을 수도 있다.
한편, 본 발명 제 1기기에 따른 영상표시 장치의 음성제어 방법에서, 상기 (1)단계는 상기 메모리가 식별음성데이터와 결합되어 사용될 경우 식별음성데이터가 할당된 실행단위영역을 기준으로 특정의 화면제어를 수행하도록 해주는 제어명령에 대응되는 제어음성데이터를 추가적으로 포함하는 데이터 베이스를 저장하는 방식으로 수행되고, 상기 (3)단계는 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터 및 제어음성데이터가 존재하는지 판단하는 방식으로 수행되며, 상기 (4)단계는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터 및 제어음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역 입력신호를 발생시키되 입력신호를 발생시킨 실행단위영역을 기준으로 상기 제어음성데이터에 대응되는 제어명령을 실행하는 방식으로 수행되도록 구성된 것을 특징으로 할 수 있다. 이와 관련한 구체적인 실시예는 [도 6]과 관련하여 살펴본 바와 같다.
음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법은, 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 할당된 음성데이터와 입력된 사용자의 음성을 비교하는 방식으로 입력 제어가 수행되도록 해주어 기존 터치스크린 방식의 입력제어 방식을 그대로 음성제어 방식에 적용시켜 줌으로써 간편하고 정확한 음성제어를 구현할 수 있게 해주는 기술이라는 점을 특징으로 한다.
상술한 바를 기본으로 하여 음성제어가 불가능하거나 불편한 다른 영상표시 장치인 제 2기기를 음성제어하는 본 발명은 다음의 특징을 갖는다.
디스플레이부를 구비하고 음성제어가 가능한 영상표시 장치인 제 1기기와 음성제어가 불가능하거나 불편한 다른 영상표시 장치인 제 2기기간의 양방향 무선통신이 개시되면,
(a)상기 제 2기기의 제어 인터페이스 정보 및 영상정보가 제 1기기 무선통신부로 전송되어, 제 1기기의 디스플레이부를 통해 표시되는 단계;
(b)상기 제어 인터페이스 정보를 제 1기기의 메모리부가 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스를 저장하는 단계;
(c)상기 제 1기기의 음성인식부를 통해 사용자의 음성을 입력받는 단계;
(d)상기 제 1기기의 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 단계; 및
(e)상기 제 1기기의 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 단계;
(f)상기 제 1기기에서 발생된 입력신호에 대응되는 상기 제 2기기의 제어신호를 제 2기기로 전송하는 단계; 및
(g)상기 전송된 제 1기기에서 발생된 입력신호에 대응되는 상기 제 2기기의 제어신호를 제 2기기의 정보처리부가 수신하여 해당 제어인터페이스 정보를 실행하는 단계;를 포함하여 구성된 것을 특징으로 한다.
또한, 상기 (b)단계의 식별음성데이터는, 제 1기기의 정보처리부에서 텍스트 기반 음성합성을 통해 식별음성데이터를 생성하는 단계를 포함하는 것을 특징으로 할 수 있다. (b)단계는 사용자가 식별음성데이터를 효율적으로 인지하도록 하기 위하여 상기 디스플레이부에 표시되는 화면상의 실행단위영역별로 할당된 식별음성데이터가 현시되는 상태에서 수행되는 것이 바람직하다.
또한, 상기 (b)단계는 상기 메모리가 식별음성데이터와 결합되어 사용될 경우 식별음성데이터가 할당된 실행단위영역을 기준으로 특정의 화면제어를 수행하도록 해주는 제어명령에 대응되는 제어음성데이터를 추가적으로 포함하는 데이터 베이스를 저장하는 방식으로 수행되고, 상기 (d)단계는 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터 및 제어음성데이터가 존재하는지 판단하는 방식으로 수행되며, 상기 (e)단계는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터 및 제어음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역 입력신호를 발생시키되 입력신호를 발생시킨 실행단위영역을 기준으로 상기 제어음성데이터에 대응되는 제어명령 신호를 발생시키는 방식으로 수행되도록 구성된 것을 특징으로 할 수 있다.
상기 (a)단계는 제 1기기와 제 2기기간의 미러링(Mirroring)개시 단계에 해당된다.
상술한 '제 1기기'는 디스플레이부를 구비하고 음성제어가 가능한 영상표시 장치를 의미하며, 무선 통신부를 추가적으로 더 포함하여 구비한다.
상술한 '제 2기기'는 무선통신부, 정보처리부, 메모리부, 디스플레이부를 구비하는 음성제어가 불가능한 기기를 기본적으로 의미하며, 추가적으로 음성인식부를 더 포함하여 구비하는 음성제어가 불편한 기기를 포함하는 용어로서 본원에서는 정의하고, 스마트TV, 자동차 인포테인먼트 시스템, 빔프로젝터등이 해당될 수 있다.
상술된 '제어 인터페이스 정보'는 제 2기기의 영상정보와 함께 전송되는 GUI 메뉴정보 및 메뉴정보의 텍스트 정보 등을 의미한다.
상술된 '제어신호'는 제 1기기에서 상기 (e), (f)단계를 거쳐 생성된 제 2기기로 전송될 변조된 입력신호이다. 즉, 제 2기기의 제어인터페이스 정보에 대응하는 실행신호를 포함하는 개념이다.
상술된 '영상정보'는 제 2기기의 디스플레이부를 통해 표시되는 화면의 영상 스트리밍 신호를 의미한다.
도 9는 본 발명에 따른 양방향 무선 통신을 이용한 영상표시장치의 음성제어 방법에 따른 개략도이다. 본 발명이 적용된 제 2기기는 도 9에 도시된 바를 구현하기 위해 운영체제(OS)와 중앙처리장치(CPU)를 탑재한 통상의 제 2기기에 본 발명에 따른 미러링 영상표시장치의 음성제어를 구현하기 위하여 프레임 버퍼의 영상정보와 제어 인터페이스 정보를 스케일링 변환하여 제 1기기로 전송하고, 제 1기기에서 도7의 과정을 거쳐 생성된 입력신호 / 제어신호를 제 2기기로 송신하고, 제 2기기는 상기 제 1기기로부터 제어신호를 수신하여 제 2기기의 정보처리부로 전송하는 무선통신부가 구비되어 있다. 제 1기기 및 제 2기기간의 내부적 신호처리는 양방향 무선 미러링 등 공지된 기술인바 자세한 설명은 생략하도록 한다.
이러한 제 2기기는 LCD TV 화면에 TV 영상이나 응용 영상을 표시하며, LCD와 시스템이 하나로 된 일체형이나 통상의 LCD TV에 연결되는 셋톱박스(STB)형으로 구현될 수 있으며, 최근 출시되는 모바일 운영체제를 탑재한 빔프로젝터 등으로 구현되는 것도 가능하다.
본 발명에 따른 무선통신부는 제 2기기에 하드웨어 칩 및 소프트웨어로 구현될 수 있으며, 제 2기기의 화면을 제 1기기의 화면에 맞게 스케일링 변환하여 미러링(Mirroring) 영상정보와 제어인터페이스 정보를 제 1기기로 송신하고, 제 1기기로부터 제 2기기를 원격 음성 제어하기 위한 입력신호 / 제어신호를 제 2기기로 송신하여 제 2기기의 해당 정보처리부로 전달한다. 구체적으로는 본 발명에 따른 제 1기기 무선통신부는 무선방식으로(WiFi나 블루투스 등 기타 공지기술의 무선통신) 양방향 통신하여 제 2기기가 송신한 영상정보 및 제어인터페이스 정보를 수신하여, 제 1기기 디스플레이부를 통해 표시하고, 사용자의 음성을 수신하여 도 7의 과정을 거쳐 발생된 제어신호를 제 1기기 무선통신부를 통해 제 2기기 무선통신부로 송신하고, 제 2기기 무선통신부는 상기 제어신호를 수신하여 제 2기기의 정보처리부 및 제어부를 통해 제 2기기를 제어하게 된다. 즉, 제 1기기는 제 2기기로부터 수신된 미러링 영상정보를 압축해제하여 제 1기기의 LCD에 미러링 영상을 디스플레이하고, 이에 따라 사용자는 미러링 영상을 보면서 음성인식 방식을 이용하여 기존 터치 스크린을 조작하는 사용자경험(UX)을 통해 제 2기기를 제어하게 된다. 그리고 제 1기기는 사용자의 음성에 대응하는 제어신호를 생성하여 무선신호로 변조한 후 제 2기기 무선통신부로 전송하고, 제 2기기 무선통신부는 이를 수신하여 파싱(parsing) 후 제 2기기로 제어신호를 전달한다. 이에 따라 제 2기기는 사용자의 조작에 반응하는 동작을 수행하고, 다시 미러 화면은 미러링 송수신부를 통해 제 1기기로 전달되며 이러한 동작이 반복된다.
한편, 제 2기기가 모바일 운영체제(이를테면, 안드로이드)를 탑재하는 빔프로젝터가 될 수 있는데, 빔프로젝터를 통해 표시되는 화면을 보면서 기존 모바일 운영체제를 조작하듯 도와주는 리모콘 패드가 있으나 화면에 물리적으로 직접 터치하는 방식이 아니기 때문에 기존 사용자 경험(UX)를 그대로 적용하여 사용함에는 불편이 있다. 이러한 모바일 운영체제를 탑재하는 빔프로젝터의 경우 앞서 설명한 도 1내지 도 5와 관련된 실시예는 물론이고, 도 6과 관련된 실시 예를 적용하여 조작할 수 있음을 알 수 있다. 즉, 일정조건이 갖춰지면 제 1기기에서 이뤄지는 식별음성데이터와 결합되어 사용될 경우 식별음성데이터가 할당된 실행단위영역을 기준으로 특정의 화면제어를 수행하도록 해주는 제어를 제 1기기에 미러링되는 제 2기기의 영상정보 및 제어인터페이스 정보를 통해 음성으로 조작하도록 확장할 수 있는 것이다.
이상에서 본 발명에 따른 구체적인 실시예와 함께 상세하게 설명하였다. 그러나 위의 구체적인 실시예에 의하여 본 발명에 한정되는 것은 아니며, 본 발명의 요지를 벗어남이 없는 범위에서 다소간의 수정 및 변형이 가능하다. 따라서 본 발명의 청구범위는 본 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.
도면(1)의 ① 은 스마트폰 애플리케이션 'abc'
도면(1)의 ② 는 스마트폰 애플리케이션 모음 화면으로 진입하는 아이콘
도면(2)의 ③ 은 스마트폰 애플리케이션 모음 화면에 위치한 'abc'라는 애플리케이션 아이콘
도면(4)의 "앱스"는 라이브러리①에 매핑(mapping)되는 식별음성데이터가 대응됨
도면(4)의 "abc" 는 라이브러리②에 매핑(mapping)되는 식별음성데이터가 대응됨
도면(8)의 "101"은 터치스크린 구성 레이어(Layer)
도면(8)의 "102"는 터치스크린 입력 수단
도면(1)의 ② 는 스마트폰 애플리케이션 모음 화면으로 진입하는 아이콘
도면(2)의 ③ 은 스마트폰 애플리케이션 모음 화면에 위치한 'abc'라는 애플리케이션 아이콘
도면(4)의 "앱스"는 라이브러리①에 매핑(mapping)되는 식별음성데이터가 대응됨
도면(4)의 "abc" 는 라이브러리②에 매핑(mapping)되는 식별음성데이터가 대응됨
도면(8)의 "101"은 터치스크린 구성 레이어(Layer)
도면(8)의 "102"는 터치스크린 입력 수단
Claims (4)
- 디스플레이부를 구비하고 음성제어가 가능한 영상표시 장치인 제 1기기와 음성제어가 불가능하거나 불편한 다른 영상표시 장치인 제 2기기간의 양방향 무선통신이 개시되면,
(a) 상기 제 2기기의 제어 인터페이스 정보 및 영상정보가 제 1기기 무선통신부로 전송되어, 제 1기기의 디스플레이부를 통해 표시되는 단계;
(b) 상기 제어 인터페이스 정보를 제 1기기의 메모리부가 상기 디스플레이부를 통해 표시되는 화면상의 실행단위영역별로 식별음성데이터가 할당되어 매핑(mapping)된 데이터 베이스를 저장하는 단계;
(c) 상기 제 1기기의 음성인식부를 통해 사용자의 음성을 입력받는 단계;
(d) 상기 제 1기기의 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는지 판단하는 단계; 및
(e) 상기 제 1기기의 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터가 존재하는 경우 제어부가 해당 식별음성데이터가 할당된 실행단위영역에 입력신호를 발생시키는 단계;
(f) 상기 제 1기기에서 발생된 입력신호에 대응되는 상기 제 2기기의 제어신호를 제 2기기로 전송하는 단계; 및
(g) 상기 전송된 제 1기기에서 발생된 입력신호에 대응되는 상기 제 2기기의 제어신호를 제 2기기의 정보처리부가 수신하여 해당 제어인터페이스 정보를 실행하는 단계;를 포함하여 구성된 것을 특징으로 하는 양방향 무선통신을 이용한 영상표시장치의 음성제어 방법. - 제 1항에 있어서,
상기 (b) 단계의 식별음성데이터는, 제 1기기의 정보처리부에서 텍스트 기반 음성합성을 통해 식별음성데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 양방향 무선통신을 이용한 영상표시장치의 음성제어 방법. - 제 1항에 있어서,
상기 (b)단계는 사용자가 식별음성데이터를 효율적으로 인지하도록 하기 위하여 상기 디스플레이부에 표시되는 화면상의 실행단위영역별로 할당된 식별음성데이터가 현시되는 상태에서 수행되는 것을 특징으로 하는 양방향 무선통신을 이용한 영상표시장치의 음성제어 방법. - 제 1항에 있어서,
상기 (b) 단계는 상기 메모리가 식별음성데이터와 결합되어 사용될 경우 식별음성데이터가 할당된 실행단위영역을 기준으로 특정의 화면제어를 수행하도록 해주는 제어명령에 대응되는 제어음성데이터를 추가적으로 포함하는 데이터 베이스를 저장하는 방식으로 수행되고,
상기 (d) 단계는 상기 정보처리부가 상기 데이터 베이스를 검색하여 상기 사용자의 음성과 대응되는 식별음성데이터 및 제어음성데이터가 존재하는지 판단하는 방식으로 수행되며,
상기 (e) 단계는 상기 정보처리부의 판단 결과 상기 사용자의 음성과 대응되는 식별음성데이터 및 제어음성데이터가 존재하는 경우 상기 제어부가 해당 식별음성데이터가 할당된 실행단위영역 입력신호를 발생시키되 입력신호를 발생시킨 실행단위영역을 기준으로 상기 제어음성데이터에 대응되는 제어명령 신호를 발생시키는방식으로 수행되도록 구성된 것을 특징으로 하는 양방향 무선통신을 이용한 영상표시장치의 음성제어 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20140160657 | 2014-11-18 | ||
| KR1020140160657 | 2014-11-18 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160059407A true KR20160059407A (ko) | 2016-05-26 |
Family
ID=56104774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150102103A KR20160059407A (ko) | 2014-11-18 | 2015-07-19 | 양방향 무선통신을 이용한 영상표시장치의 음성제어 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20160059407A (ko) |
-
2015
- 2015-07-19 KR KR1020150102103A patent/KR20160059407A/ko unknown
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210126913A1 (en) | Foldable device and method of controlling the same | |
| KR102293094B1 (ko) | 폴더블 디바이스 및 그 제어 방법 | |
| KR102269481B1 (ko) | 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스 | |
| KR101587625B1 (ko) | 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법 | |
| US20170322713A1 (en) | Display apparatus and method for controlling the same and computer-readable recording medium | |
| US20170047065A1 (en) | Voice-controllable image display device and voice control method for image display device | |
| US20140285453A1 (en) | Portable terminal and method for providing haptic effect | |
| US10216409B2 (en) | Display apparatus and user interface providing method thereof | |
| EP4095651A1 (en) | Foldable device and method of controlling the same | |
| US20140176600A1 (en) | Text-enlargement display method | |
| KR20160139481A (ko) | 사용자 단말 장치 및 그 제어 방법 | |
| CN109830248B (zh) | 一种音频录制方法及终端设备 | |
| KR102308879B1 (ko) | 디스플레이 장치 및 디스플레이 장치의 화면 표시방법 | |
| CN105227985B (zh) | 显示设备及其控制方法 | |
| KR20140111790A (ko) | 가상 키보드에서 난수를 이용한 키 입력 방법 및 장치 | |
| CN114237419B (zh) | 显示设备、触控事件的识别方法 | |
| US10386932B2 (en) | Display apparatus and control method thereof | |
| KR20140036532A (ko) | 어플리케이션 실행 방법 및 시스템, 단말과 그 기록 매체 | |
| KR20150043272A (ko) | 영상표시 장치의 음성제어 방법 | |
| US10620819B2 (en) | Display apparatus and controlling method thereof | |
| KR101517738B1 (ko) | 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법 | |
| KR20140127146A (ko) | 디스플레이 장치 및 그의 제어 방법 | |
| US10719147B2 (en) | Display apparatus and control method thereof | |
| CN107967915A (zh) | 显示装置及其控制方法 | |
| KR20160059407A (ko) | 양방향 무선통신을 이용한 영상표시장치의 음성제어 방법 |