KR102339553B1 - 화면을 확대하여 표시하며 실시간으로 중계하는 장치 및 이의 동작 방법 - Google Patents

Abstract

본 발명은 휴대용 전자 장치를 이용하여 화면을 확대하여 표시하고, 확대된 화면을 실시간으로 사용자에게 중계하는 장치 및 방법에 관한 것이다. 본 발명에 따른 화면을 확대하여 표시하며 실시간으로 중계하는 장치 및 이의 동작 방법은 중계서버로부터 제공자의 전체화면을 수신하는 수신부; 상기 수신한 전체화면을 디스플레이하는 디스플레이부; 상기 디스플레이한 전체화면상의 사용자 입력을 감지하는 인식부; 및 상기 사용자 입력의 입력상태 변화를 감지하고, 상기 입력상태 변화에 기초하여 상기 전체화면에서, 상기 사용자 입력에 상응하는 영역을 확대하는 제어부를 포함한다. 본 발명의 일 실시 예에 따르면, 본 발명은 휴대용 전자 장치를 이용하여 간단한 조작만으로 화면 확대 및 실시간 중계 서비스를 동시에 제공받을 수 있는 효과가 있다. 또한, 본 발명은 저시력 시각장애인에 대한 화면확대 실시간 중계 서비스를 간편하게 제공할 수 있는 효과가 있다.

Description

화면을 확대하여 표시하며 실시간으로 중계하는 장치 및 이의 동작 방법{APPARATUS FOR ENLARGING SCREEN AND RELAYING SCREEN IN REAL TIME AND OPERATING METHOD THEROF}

본 발명은 휴대용 전자 장치를 이용하여 화면을 확대하여 표시하고, 확대된 화면을 실시간으로 사용자에게 중계하는 방법에 관한 것이다.

본 발명은 휴대용 이동단말기 및 웨어러블 디바이스(글라스 등)에서 화면의 부분적 확대 방법에 관한 것으로써, 특히 휴대용 이동단말기로 실시간 중계 서비스를 받을 경우 작은 화면의 일부분을 자세히 볼 수 있도록 화면의 일부분을 확대하는 기능에 관한 것이다.

휴대용 이동단말기의 화면에서 단순 문자정보가 아닌 그래픽 정보를 포함하는 중계 서비스를 제공하게 되면 액정 크기의 제한으로 인해 사용자가 그래픽을 정확하게 인식하는 데 한계가 있다.

또한, 사용자가 휴대용 이동단말기의 줌 기능을 사용하여 화면을 직접 확대하는 경우, 사용자가 휴대용 이동단말기 자체를 움직여야 하는 불편함이 있다.

본 발명에서는 대학교, 학원, 행사장, 회의장 등의 큰 스크린 화면을 실시간으로 사용자에게 제공하는 환경에서, 사용자 스마트 폰, 태블릿 PC, 웨어러블 디바이스(글라스 등) 등을 통해 스크린 화면을 확대하여 표시하고, 확대된 화면을 실시간으로 사용자에게 중계하는 방법 및 장치를 제안한다.

본 발명에 따른 화면을 확대하여 표시하며 실시간으로 중계하는 장치 및 이의 동작 방법은, 중계서버로부터 제공자의 전체화면을 수신하는 수신부; 상기 수신한 전체화면을 디스플레이하는 디스플레이부; 상기 디스플레이한 전체화면상의 사용자 입력을 감지하는 인식부; 및 상기 사용자 입력의 입력상태 변화를 감지하고, 상기 입력상태 변화에 기초하여 상기 전체화면에서, 상기 사용자 입력에 상응하는 영역을 확대하는 제어부를 포함하고, 상기 제어부는, 상기 인식부가 상기 사용자 입력을 제1 시간동안 감지하면, 상기 제1 시간에 상응하는 제1 배율로 상기 사용자 입력에 상응하는 영역을 확대하고, 상기 인식부가 상기 사용자 입력을 제2 시간동안 감지하면, 상기 제2 시간에 상응하는 제2 배율로 상기 사용자 입력에 상응하는 영역을 확대하며, 상기 인식부가 상기 사용자 입력을 미리 설정된 시간 이하로 감지하면, 최초 화면으로 돌아간다.

일 실시 예에 있어서, 상기 제어부는, 상기 제공자의 전체화면에 입력된 제공자 입력에 기반하여, 상기 제공자 입력에 상응하는 인식 영역을 상기 사용자에게 미리 설정된 배율로 확대하여 제공한다.

일 실시 예에 있어서, 상기 제공자 입력은, 상기 제공자의 터치 입력, 마우스 입력 및 레이저 포인터 입력 중 적어도 하나의 입력이고, 상기 사용자 입력은, 상기 사용자의 터치 입력, 마우스 입력 중 적어도 하나를 포함하는 입력이다.

일 실시 예에 있어서, 상기 제어부는, 상기 사용자 입력의 입력시간에 상응하도록 화면 확대 배율이 순차적으로 변경되고, 상기 사용자가 상기 사용자 입력을 떼면 상기 화면 확대 배율이 변경된 배율로 표시되도록 설정되며, 상기 제2 시간은 제1 시간보다 길고, 상기 제2 배율은 상기 제1 배율보다 축소된 배율이다.

일 실시 예에 있어서, 상기 제어부는, 상기 사용자가 확대하고 탐색한 영역의 이미지 데이터를 저장하는 저장부; 및 상기 저장부에 저장된 사용자의 관심사를 학습하는 머신러닝부를 포함하고, 상기 머신러닝부는, 상기 사용자의 화면 확대 패턴을 학습하고, 상기 사용자의 터치 입력 또는 마우스 입력을 트래킹 하고, 상기 사용자의 전체화면 중 상기 사용자의 관심영역을 자동으로 확대하여 디스플레이한다.

일 실시 예에 있어서, 상기 전자 장치는, 스마트 폰, 태블릿 PC, 웨어러블 디바이스, 컴퓨터 중 어느 하나이다.

일 실시 예에 있어서, 상기 전자 장치 내에 구현되는 어플리케이션 프로그램에 접속하는 방법은, PIN(Personal Identification Number) Code, QR(Quick　Response) Code, URL(Uniform　Resource　Locator), 임의의 숫자코드 및 와이파이 비밀번호 공유 중 적어도 하나이다.

일 실시 예에 있어서, 중계서버 및 전자 장치를 포함하는 시스템에 있어서, 상기 중계서버는, STUN(Session Traversal Utilities for NAT) 서버와 TURN(Traversal Using Relays around NAT) 서버 중 적어도 하나를 포함하고, 상기 전자 장치는, 상기 중계서버로부터 제공자의 전체화면을 수신하는 수신부; 상기 수신한 전체화면을 디스플레이하는 디스플레이부; 상기 디스플레이한 전체화면상의 사용자 입력을 감지하는 인식부; 및 상기 사용자 입력의 입력상태 변화를 감지하고, 상기 입력상태 변화에 기초하여 상기 전체화면에서, 상기 사용자 입력에 상응하는 영역을 확대하는 제어부를 포함하고, 상기 제어부는, 상기 인식부가 상기 사용자 입력을 제1 시간동안 감지하면, 상기 제1 시간에 상응하는 제1 배율로 상기 사용자 입력에 상응하는 영역을 확대하고, 상기 인식부가 상기 사용자 입력을 제2 시간동안 감지하면, 상기 제2 시간에 상응하는 제2 배율로 상기 사용자 입력에 상응하는 영역을 확대하며, 상기 인식부가 상기 사용자 입력을 미리 설정된 시간 이하로 감지하면, 최초 화면으로 돌아간다.

일 실시 예에 있어서, 화면을 확대하여 표시하며 실시간으로 중계하는 장치의 동작 방법에 있어서, 중계서버로부터 제공자의 전체화면을 수신하는 단계; 상기 수신한 전체화면을 디스플레이 하는 단계; 상기 디스플레이한 전체화면상의 사용자 입력을 감지하는 단계; 상기 사용자 입력을 기초로 입력 상태 변화를 감지하는 단계; 상기 입력 상태 변화에 기초하여 상기 전체화면에서, 상기 사용자 입력에 상응하는 영역의 확대를 제어하는 단계; 상기 확대를 제어하는 단계는, 상기 사용자 입력을 감지하는 단계에서, 상기 사용자 입력을 제1 시간동안 감지하면, 상기 사용자 입력에 상응하는 영역을 제1 시간에 상응하는 제1 배율로 확대하고, 상기 사용자 입력을 감지하는 단계에서, 상기 사용자 입력을 제2 시간동안 감지하면, 상기 사용자 입력에 상응하는 영역을 제2 시간에 상응하는 제2 배율로 확대하며, 상기 사용자 입력을 감지하는 단계에서, 상기 사용자 입력을 미리 설정된 시간 이하로 감지하면, 최초화면으로 돌아간다.

일 실시 예에 있어서, 상기 디스플레이 하는 단계는, 상기 제공자의 화면에 대한 제공자 입력을 추적하는 단계; 상기 제공자의 화면에 인식된 영역을 사용자에게 특정 배율로 확대하여 디스플레이하는 단계를 포함한다.

일 실시 예에 있어서, 상기 확대를 제어하는 단계는, 상기 사용자 입력의 입력시간에 상응하도록 화면 확대 배율이 순차적으로 변경되고, 상기 사용자가 상기 사용자 입력을 떼면 상기 화면 확대 배율이 변경된 배율로 표시되도록 설정되며, 상기 제2 시간은 제1 시간보다 길고, 상기 제2 배율은 상기 제1 배율보다 축소된 배율이다.

일 실시 예에 있어서, 상기 확대를 제어하는 단계는, 사용자의 터치 입력 또는 마우스 입력을 트래킹 하는 단계; 상기 사용자가 확대하고 탐색한 영역의 이미지 데이터를 저장하는 단계; 상기 저장된 이미지 데이터를 기초로 상기 사용자의 확대 패턴 및 관심사를 학습하는 단계; 상기 사용자의 전체화면 중 상기 사용자의 관심영역을 자동으로 확대하여 디스플레이 하는 단계를 포함한다.

본 발명은 휴대용 전자 장치를 이용하여 간단한 조작만으로 화면 확대 및 실시간 중계 서비스를 동시에 제공받을 수 있는 효과가 있다.

또한, 본 발명은 저시력 시각장애인에 대한 화면확대 실시간 중계 서비스를 간편하게 제공할 수 있는 효과가 있다.

도 1a 및 도 1b는 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법을 설명하기 위한 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 화면확대 실시간 중계 시스템을 구동하는 사용자의 전자 장치의 구성을 나타낸 도면이다.
도 3a 및 도 3b는 본 발명의 실시 예에 따른 화면확대 실시간 중계 시스템의 작동 방법을 나타낸 순서도이다.
도 4는 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 실시 예에 따른 화면 공유자의 포인터를 추적하는 방법을 설명하기 위한 순서도이다. .
도 6은 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법을 설명하기 위한 도면의 일 예이다.
도 7은 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법을 설명하기 위한 도면의 다른 예이다.
도 8은 본 발명의 실시 예에 따른 화면확대 실시간 중계 서비스에 접속하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 실시 예에 따른 화면확대 실시간 중계 서비스에 접속하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법을 설명하기 위한 도면의 또 다른 예이다.
도 11a 및 도 11b는 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법을 설명하기 위한 도면의 또 다른 예이다.

이하, 첨부된 도면을 참조하여 본 개시(present disclosure)를 설명한다. 본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.

본 개시 가운데 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 개시에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 개시에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.

본 개시 가운데 "제 1," "제2," "첫째," 또는 "둘째," 등의 표현들이 본 개시의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1은 본 발명의 일 실시 예에 따른 화면확대 실시간 중계 시스템을 나타내는 도면이다.

도 1a와 도1b에 따르면, 본 발명의 일 실시 예에 따른 화면확대 실시간 중계 시스템은 사용자의 전자 장치(10), 사용자(20), 제공자 화면(30), 제공자(40) 그리고 중계서버(50)로 구성된다.

사용자의 전자 장치(10)는 스마트 폰, 태블릿 PC, 웨어러블 디바이스(글라스 등), 컴퓨터 등으로 중계서버(50)로부터 제공자 화면(30)을 제공받는다.

사용자의 전자 장치(10)는 사용자(20)에게 제공자(40)가 제공하는 제공자 화면(30)을 제공하는 동시에, 제공된 화면에 대한 사용자(20)의 관심사를 기반하여 확대기능을 제공한다.

화면확대 실시간 중계 시스템은 사용자의 전자 장치(10)에 설치 및 실행되는 어플리케이션(application)을 통해 실시간 화면 공유 서비스를 제공할 수 있다.

예를 들어, 대학교 강의 화면, 컨퍼런스 화면 등의 제공자 PC에서 디스플레이되는 화면이 실시간 화면 공유 서비스 이용자의 사용자 스마트폰, 태블릿 PC, 웨어러블 디바이스(글라스 등), 컴퓨터 상에서 실시간으로 공유될 수 있다.

사용자(20)는 화면확대 실시간 중계 시스템을 이용하는 사람으로, 중계서버(50)로부터 제공자 화면(30)을 제공받는 컨텐츠 소비자이다. 사용자(20)의 나이, 성별에는 제한이 없다.

도 1a를 참조하면, 본 발명의 일 실시 예에 따른 화면확대 실시간 중계 시스템은 STUN(session traversal utilities for NAT) 서버, TURN(traversal using relays around NAT) 서버를 포함하는 중계 시스템, 및 NAT/Router를 이용하여 제공자의 제공 시스템과 이용자의 이용 시스템을 중계할 수 있다.

본 발명의 실시 예에 따른 제공자 서비스 공유 방법은 다음과 같다.

- PIN(Personal Identification Number) Code를 QR(Quick　Response) Code로 변환하여 이용자가 스캔

- PIN(Personal Identification Number) Code를 URL(Uniform　Resource　Locator)로 변환하여 이용자가 접속

- 서버가 겹치지 않는 임의의 4자리 숫자코드를 5분 이내의 소유권으로 제공자에게 발행하여 제공자가 이용자에게 이를 통지

- 서버가 겹치지 않는 임의의 4자리 숫자코드를 5분 이내의 소유권으로 제공자에게 발행하여 제공자가 이용자에게 이를 통지. 이에 더해 4자리 발행 코드를 그림 문자로 치환하여 함께 제공.

본 발명의 실시 예에 따른 제공자 서비스 인지 방법은 다음과 같다.

- 제공자는 서비스의 이름을 재정의하여 제공.

ex) xxx의 PC -> 제1공학관 101호

- 이용자는 제공자의 서비스를 '즐겨찾기'에 추가하며 이름을 재정의.

ex) 제1공학관 101호 -> 선형대수학

도 1b를 참조하면, 본 발명의 다른 실시 예에 따른 화면확대 실시간 중계 시스템은 STUN(session traversal utilities for NAT) 서버를 포함하는 중계 시스템, 및 NAT/Router를 이용하여 제공자의 제공 시스템과 이용자의 이용 시스템을 중계할 수 있다.

이상에서 본 발명의 일 실시 예에 따른 화면확대 실시간 중계 시스템에서 사용자의 전자 장치(10), 사용자(20), 제공자 화면(30), 제공자(40) 그리고 중계서버(50)의 관계에 대하여 간략하게 살펴보았다. 이하에서는 화면확대 실시간 중계 시스템을 이용할 수 있는 사용자의 전자 장치(10)에서의 동작 방법에 대하여 더 자세히 살펴보고자 한다.

도 2는 본 발명의 일 실시 예에 따른 화면확대 실시간 중계 시스템을 구동하는 사용자의 전자 장치(10)의 구성을 나타낸 도면이다.

도 2에 나타낸 것과 같이, 본 발명의 실시 예에 따른 사용자의 전자 장치(10)는 수신부(110), 디스플레이부(120), 인식부(130), 제어부(140)를 포함한다.

수신부(110)는 중계서버(50)로부터 제공자(40)가 제공하는 제공자 화면(30)의 전체화면을 사용자의 전자 장치(10)로 수신한다.

디스플레이부(120)는 수신부(110)에서 수신된 제공자 화면(30)의 전체화면을 사용자의 전자 장치(10)를 통해 디스플레이하여 사용자(20)에게 제공한다.

디스플레이부(120)에서 사용자의 전자 장치(10)에 제공자 화면(30)을 디스플레이할 때, 제어부(140)는 제공자 화면(30)에 대한 제공자(40)의 입력을 추적하고, 제공자 화면(30)에 인식된 영역을 사용자(20)에게 특정 배율로 확대하여 디스플레이 한다.

예를 들어, 제공자(40)(예를 들어, 강사)가 제공자 화면(30)에 제공자의 입력(터치 입력, 마우스 입력, 레이저포인터 입력 등)을 통해 포인터 입력을 하면, 포인터 입력에 인접하는 화면을 사용자(20)에게 흔들림 없이 특정 배율로 확대하여 제공한다. 제어부(140)에 관한 자세한 설명은 이하에서 설명할 것이다.

인식부(130)는 디스플레이부(120)에서 사용자의 전자 장치(10)에 디스플레이 한 화면상에서 사용자(20)의 사용자 입력(터치 입력, 마우스 입력 등)을 감지한다. 예를 들면, 터치 입력에서의 접촉 및 비접촉 여부 및 접촉된 상태에서의 동작을 인식한다. 또한 마우스의 클릭 입력 여부, 클릭 상태에서의 드래그 동작을 인식한다.

제어부(140)는 중계서버(50)로부터 제공자 화면(30)을 수신받고 디스플레이부(120)가 사용자의 전자 장치(10)에 디스플레이 할 때, 제공자의 화면(30)에 대한 제공자(40)의 제공자 입력을 추적하고, 제공자 화면(30)에 인식된 영역을 사용자(20)에게 특정 배율로 확대하도록 제어한다. 또한, 인식부(130)가 감지한 사용자 입력(터치 입력, 마우스 입력 등)을 트래킹 한다.

예를 들어, 인식부(130)가 사용자 입력을 제1 시간동안 감지하면, 제1 시간에 상응하는 제1 배율로 사용자 입력에 상응하는 영역을 확대하고, 인식부(130)가 사용자 입력을 제2 시간동안 감지하면, 제2 시간에 상응하는 제2 배율로 사용자입력에 상응하는 영역을 확대하며, 인식부(130)가 사용자 입력을 미리 설정된 시간 이하로 감지하면, 최초 화면으로 돌아간다.

보다 상세하게, 인식부(130)가 사용자 입력을 6초간 감지하면, 6초에 상응하는 2배의 배율로 사용자 입력에 상응하는 영역을 확대하고, 인식부(130)가 사용자 입력을 2초간 감지하면, 2초에 상응하는 10배의 배율로 사용자 입력에 상응하는 영역을 확대한다. 또한, 인식부(130)가 사용자 입력을 미리 설정된 시간인 1초 이하로 감지하면, 최초 화면으로 돌아간다. 다만, 이는 예시적인 것이며, 본 발명의 기술적 사상은 이에 한정되지 않음이 이해될 것이다.

제어부(140)는 저장부(141)와 머신러닝부(142)를 포함한다.

저장부(141)는 사용자(20)가 확대하고 탐색한 영역의 이미지 데이터를 저장한다.

머신러닝부(142)는 저장된 이미지 데이터를 기초로 사용자(20)의 확대 패턴 및 관심사를 학습하여, 사용자의 전자 장치(10)의 전체화면 또는 제공자(40)로부터 수신받은 제공자 화면(30)의 전체화면에서 사용자(20)의 관심영역을 자동으로 확대하여 디스플레이 하도록 제어한다.

예를 들어, 사용자(20)가 사용자의 전자 장치(10)를 통해 화면확대 실시간 중계 시스템이 설치 및 실행되는 어플리케이션(application)을 실행하면, 제어부(140)는 사용자(20)의 사용자 입력(터치 입력, 마우스 입력 등)을 트래킹하여 사용자(20)가 확대하고 탐색한 영역을 이미지 데이터로 저장한다. 그리고, 저장된 이미지 데이터를 기초로 사용자의 확대 패턴 및 관심사를 학습하고, 사용자의 전자 장치(10)의 전체화면에서 사용자(20)의 관심영역을 자동으로 확대하여 디스플레이한다.

도 3은 본 발명의 실시 예에 따른 화면확대 실시간 중계 시스템의 작동 방법을 나타낸 순서도이다.

도 3a에 따르면, 본 발명의 일 실시 예에 따른 화면확대 실시간 중계 시스템은 먼저 중계서버로(50)부터 제공자 화면(30)을 수신한다.(S100)

제공자 화면(30)은 제공자(40)가 제공하는 제공자 화면(30)(PC, 빔프로젝트, 스마트 폰, 태블릿pc 등)의 전체 화면이다.

화면확대 실시간 중계 시스템은 제공자 화면(30)을 수신 한 후, 수신받은 화면을 사용자의 전자 장치(10)에 디스플레이한다.(S200)

화면확대 실시간 중계 시스템은 디스플레이 화면 상의 사용자(20)의 사용자 입력을 감지한다.(S300)

화면확대 실시간 중계 시스템은 디스플레이된 전체화면에서 사용자 입력에 상응하는 영역의 확대를 제어한다.(S400)

도 2 및 3b에 따르면, 제어부(140)는 디스플레이 단계(S200)의 제공자의 화면(30)에 대한 제공자 입력을 추적하는 단계(S200), 제공자 화면(30)에 인식된 영역을 사용자(20)에게 특정 배율로 확대하여 디스플레이하는 단계(S220)을 포함한다.

또한, 제어부(140)는 확대 제어 단계(S400)의 사용자(20)의 터치 입력 또는 마우스 입력을 트래킹(S410)한다.

제어부(140)의 저장부(141)는 사용자(20)가 확대하고 탐색한 영역의 이미지 데이터를 저장(S420)한다.

제어부(140)의 머신러닝부(142)는 저장된 이미지 데이터를 기초로 사용자(20)의 확대 패턴 및 관심사를 학습(S430)하고, 전체화면에서 사용자(20)의 관심영역을 자동으로 확대하여 디스플레이(S440)한다.

도 4는 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법을 설명하기 위한 순서도이다.

사물을 또렷이 볼 수 없는 저시력인은 고해상도의 화면을 보는 것만으로도 시력 보조에 큰 효과가 있다. 이는 저시력인이 사물을 늘 확대하여 보지 않는다는 것을 의미한다.

이 발명은 크게 두 가지의 아이디어에서 시작한다. 첫째는 확대와 축소의 전환이 간편한 확대 방법, 둘째는 관심사를 빠르게 추적하여 보는 방법이다.

카메라나 Flowy Cast의 실시간 화면, 캡처한 이미지의 정적인 화면 등을 볼 때, 화면 전체를 보다가 필요할 경우 특정 부분을 터치하는 것으로 자신의 관심사를 빠르게 확대하여 보고, 터치를 푸는 것으로 다시 화면의 전체를 볼 수 있어 간편하다.

터치를 유지하여 포인터를 이동하면 확대 배율이 유지된 채 확대 위치를 이동할 수 있기 때문에 이동하는 관심사를 추적하며 보는 것이 훨씬 편리하다. 이는 기존의 확대 방법과 두 가지의 차이점을 가진다. 첫째는 확대와 탐색을 동시에 할 수 있다는 것이고, 둘째는 탐색을 위해 기기를 움직이는 대신 포인터를 이동하는 것으로 관심사의 추적이 용이하다는 것이다.

위의 발명대로 사용자(20)가 직접 확대하고 탐색한 (관심사가 되는) 영역의 이미지 데이터를 저장하여 사용자의 관심사를 학습하고, 사용자(20)가 직접 포인터 입력을 하지 않더라도 관심사를 제안하고 자동으로 확대하여 주는 이미지 학습 기반 확대 기능을 구현할 수 있다.

도 5는 본 발명의 실시 예에 따른 제공자 화면(30)의 포인터를 추적하는 방법을 설명하기 위한 순서도이다.

Flowy Cast로 상대방의 화면을 공유 받아 보더라도 제공자의 관심사를 사용자(20)가 인지하고 쫓아가는 것은 쉽지 않다. 특히 사용자(20)가 확대를 하여 자신의 관심사에 머물러 있다면 제공자의 관심사로 이동하는 것은 더욱 어려울 것이다.

이 발명은, 제공자의 마우스 포인터나 터치 입력 이벤트를 사용자(20)에게 전송하고 사용자의 화면이 이미 확대되어 있는 경우 확대 영역을 전송 받은 포인터 위치로 이동하여 주는 포인터 추적 방법을 제공한다.

포인터 추적 기능을 사용자(20)가 원하지 않으면 실행하지 않으며, 추적 방법에 있어 '가운데' 또는 '가장자리' 옵션에 따라 확대 영역의 이동 방법이 달라질 수 있다.

실시 예에 따라, Flowy의 발명 포인트를 초점을 잃지 않도록 확대 점프하는 기능외에 마우스 커서를 움직일 때 저시력자분이 사용하는 화면 안에서는 흔들리지 않는 기능이 제공될 수 있다.

Flowy의 경우 사용 예시 중 하나인 강의장에서 강사의 화면과 사용자의 화면을 syncronize 해야 하는데 현재 Flowy에서는 QR(Quick　Response)코드나 12자리의 긴 숫자코드를 사용할 수 있다.

매우 큰 강당 교실이나 컨벤션 같은 행사장에서는 사용 가능하도록 하려고 해도 syncronize하는데 불편함이 있다. (원거리에서 QR(Quick　Response)코드를 찍을 수 없거나 긴 숫자코드를 전달하기 어려움)

예를들면, 청각 범위를 넘어서는 주파수를 디바이스가 듣고 싱크를 하거나, 특정 음성이나 목소리를 듣고서는 싱크를 수행할 수 있다.

본 발명은 저시력 시각장애인을 위한 화면확대 실시간 중계 서비스에 관한 것임. 구체적으로, 본 발명은 대학교 및 학원 강의, 행사장, 회의장 프로젝션 또는 큰 스크린 화면을 실시간으로 사용자 전자 장치(10)(예를 들어, 스마트 폰, 태블릿 PC)로 실시간 중계하는 서비스를 제공함. 종래 일반 줌 기능을 사용하면 화면 확대 후 스마트폰 자체를 움직여야 하는 불편함이 있는 반면, 본 발명에서 제안하는 Flowy 줌은 스마트폰을 움직이지 않고 사용자의 터치 입력, 스크롤 입력만으로 화면확대 실시간 중계 서비스를 이용할 수 있는 장점이 있다.

본 발명의 제1 특징은, “전자 기기 내 터치 스크린 상에서 특정 시간 이상의 터치 입력이 감지되면 해당 터치 입력에 인접하는 화면을 특정 배율로 확대하여 표시하는 점 (Flowy 줌 기본 기능)”이고,

본 발명의 제2 특징은, “화면 제공자(예를 들어, 강사)에 대한 포인터 추적 기능을 이용하여 화면 제공자의 포인터 입력에 인접하는 화면을 사용자(20)에게 흔들림 없이 특정 배율로 확대하여 제공하는 점 (포인터 추적 기능)”이고,

본 발명의 제3 특징은, “사용자의 터치 입력 시간에 상응하도록 화면 확대 배율(예를 들어, 화면 확대 배율이 10배에서 2배까지 순차적으로 변경되고 사용자(20)가 터치 입력을 떼면 해당 화면 확대 배율로 화면이 표시되는 경우)이 설정되는 점 (화면 확대 배율 조정 기능)”이고,

본 발명의 제4 특징은, “사용자(20)가 직접 확대하고 탐색한 (관심사가 되는) 영역의 이미지 데이터를 저장하여 사용자의 관심사를 학습하고, 사용자(20)가 직접 포인터 입력을 하지 않더라도 관심사를 제안하고 자동으로 확대 (사용자 관심 데이터 학습기능)”임.

본 발명의 제5 특징은, “매우 큰 강당 교실이나 컨벤션 같은 행사장에서 도용 가능한 사용자 식별 방법(WIFI 비밀번호 연동으로 사용자 식별)임.

도 6은 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법을 설명하기 위한 도면의 일 예이다.

도 6을 참조하면, 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법은 사용자 스마트 폰, 태블릿 PC, 웨어러블 디바이스(글라스 등) 등에서 실행되는 어플리케이션(application)을 통해 실시간 화면 공유 서비스를 제공할 수 있다.

예를 들어, 대학교 강의 화면, 컨퍼런스 화면 등의 제공자 PC에서 디스플레이되는 화면이 실시간 화면 공유 서비스 이용자의 사용자 스마트 폰, 태블릿 PC, 웨어러블 디바이스(글라스 등) 상에서 실시간으로 공유될 수 있다.

도 7은 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법을 설명하기 위한 도면의 다른 예이다.

도 7을 참조하면, 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법은 사용자 스마트 폰, 태블릿 PC, 웨어러블 디바이스(글라스 등) 등에서 실행되는 어플리케이션(application)을 통해 실시간 화면 공유 서비스를 제공할 수 있다.

예를 들어, 이용자는 사용자 스마트 폰, 태블릿 PC, 웨어러블 디바이스(글라스 등) 등에서 제공되는 화면을 PC로 포워딩하여 독서확대기와 같은 기능을 제공 받을 수 있다.

도 8은 본 발명의 실시 예에 따른 화면확대 실시간 중계 서비스에 접속하는 과정을 설명하기 위한 도면이다.

도 8을 참조하면, 이용자는 사용자 스마트 폰, 태블릿 PC, 웨어러블 디바이스(글라스 등) 등으로 제공되는 QR(Quick　Response) 코드 또는 패스워드(예를 들어, 361353414897)를 이용하여 화면확대 실시간 중계 서비스에 접속할 수 있다.

도 9는 본 발명의 실시 예에 따른 화면확대 실시간 중계 서비스에 접속하는 과정을 설명하기 위한 도면이다.

도 9를 참조하면, 이용자는 화면확대 배율을 조정하여 화면확대 실시간 중계 서비스를 확인할 수 있다.

도 10은 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법을 설명하기 위한 도면의 또 다른 예이다.

도 10을 참조하면, 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법은 사용자 스마트 폰, 태블릿 PC, 웨어러블 디바이스(글라스 등) 등에서 실행되는 어플리케이션(application)을 통해 전체 이미지를 폰 화면에 담고 손가락 터치 입력으로 간편하게 스크롤해서 화면을 확대 및 탐색할 수 있다.

예를 들어, 사용자(20)가 횡단보도를 건널 때 스마트 폰, 태블릿 PC, 웨어러블 디바이스(글라스 등) 등의 화면에 대한 터치 입력으로 멀리 떨어진 신호등 부분을 화면 상에 확대하여 표시할 수 있다.

보다 상세하게, 시력이 좋지 못한 사용자(20)가 횡단보도를 건널 때, 화면확대 실시간 중계 시스템 어플리케이션(application)이 실행된 사용자의 전자 장치(10)는 머신러닝부(142)를 통해 학습된 데이터를 기반으로 신호등의 위치를 자동으로 확대하여 사용자(20)에게 제공한다. 다만, 이는 예시적인 것이며, 본 발명의 기술적 사상은 이에 한정되지 않음이 이해될 것이다.

도 11은 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법을 설명하기 위한 도면의 또 다른 예이다.

도 11a 및 도 11b를 참조하면, 본 발명의 실시 예에 따른 화면 확대 및 탐색 방법은 머신 러닝을 이용하여 사용자(20)의 화면 확대 패턴을 학습하고, 이용자의 손가락 터치를 트래킹하여 화면을 확대 디스플레이할 수 있다.

도 11a는 화면이 확대되기 전 디폴트(default) 상태의 전체화면이다

도 11b는 사용자(20)가 화면을 터치 후 확대된 화면을 나타낸 도면이다.

본 명세서와 도면에 개시된 실시 예들은 본 개시의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시 예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

110 : 수신부
120 : 디스플레이부
130 : 인식부
140 : 제어부
141 : 저장부
142 : 머신러닝부

Claims (12)

1. 중계서버로부터 제공자의 전체화면을 수신하는 수신부;
   상기 수신한 전체화면을 디스플레이하는 디스플레이부;
   상기 디스플레이한 전체화면상의 사용자 입력을 감지하는 인식부; 및
   상기 사용자 입력의 입력상태 변화를 감지하고,
   상기 입력상태 변화에 기초하여 상기 전체화면에서, 상기 사용자 입력에 상응하는 영역을 확대하는 제어부를 포함하고,
   상기 제어부는,
   상기 인식부가 상기 사용자 입력을 제1 시간동안 감지하면, 상기 제1 시간에 상응하는 제1 배율로 상기 사용자 입력에 상응하는 영역을 확대하고,
   상기 인식부가 상기 사용자 입력을 제2 시간동안 감지하면, 상기 제2 시간에 상응하는 제2 배율로 상기 사용자 입력에 상응하는 영역을 확대하며,
   상기 인식부가 상기 사용자 입력을 미리 설정된 시간 이하로 감지하면, 최초 화면으로 돌아가고,
   상기 제공자의 전체화면에 입력된 제공자 입력에 기반하여, 상기 제공자 입력에 상응하는 인식 영역을 상기 사용자에게 미리 설정된 배율로 확대하여 제공하고,
   상기 사용자의 화면이 이미 확대되어 있는 경우 확대 영역을 상기 제공자 입력의 위치로 이동하여 주는 추적 방법을 포함하고,
   상기 추적 방법은,
   상기 제공자 입력의 위치가 상기 확대 영역과 접점이 있으면, 상기 제공자 입력의 위치가 상기 사용자의 화면의 가운데에 위치하도록 상기 확대 영역을 이동하고,
   상기 제공자 입력의 위치가 상기 확대 영역과 접점이 없으면, 상기 확대 영역 가장자리와의 거리만큼 상기 확대 영역을 이동하는, 전자 장치.
2. 삭제
3. 삭제
4. 삭제
5. 제1 항에 있어서,
   상기 제어부는,
   상기 사용자가 확대하고 탐색한 영역의 이미지 데이터를 저장하는 저장부; 및
   상기 저장부에 저장된 사용자의 관심사를 학습하는 머신러닝부를 포함하고,
   상기 머신러닝부는,
   상기 사용자의 화면 확대 패턴을 학습하고,
   상기 사용자의 터치 입력 또는 마우스 입력을 트래킹 하고,
   상기 사용자의 전체화면 중 상기 사용자의 관심영역을 자동으로 확대하여 디스플레이하는, 전자 장치.
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제

Images