KR20150014139A - 화면 정보 제공 방법 및 장치 - Google Patents

Abstract

화면 정보 제공 방법에 있어서, 미리 설정된 제스처 입력 시, 디스플레이된 화면상에 상기 입력된 제스처와 관련된 적어도 하나의 객체에 메타데이터(meta data)가 포함되어 있는지 판단하는 과정과; 상기 적어도 하나의 객체에 메타데이터가 포함되지 않은 것으로 판단되면 상기 객체의 이미지를 분석하여 메타데이터를 생성하는 과정과; 상기 적어도 하나의 객체에 포함된 상기 메타데이터 및 상기 생성된 메타데이터 중 적어도 하나의 메타데이터를 음성으로 출력하는 과정을 포함함을 특징으로 한다.

Description

화면 정보 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING DISPLAY INFORMATION}

본 발명은 스마트 기기에 표시되는 화면 정보를 제공하는 기술에 관한 것이다.

최근에는 스마트폰, 태블릿 PC 등과 같은 스마트 기기의 보급 확대와, 동시에 디스플레이 장치에 터치 패널이 장착되어 화면 표시 기능과 함께 사용자가 직접 화면을 터치하여 입력하는 터치스크린의 사용이 일반화되고 있다. 이에 따라, 스마트 기기는 사용자들에게 직관적이고 편리한 사용자 인터페이스를 제공할 수 있게 되었다. 예를 들어, 과거의 휴대폰의 경우에는 기능이 많지 않았으며 사용자는 전화 통화의 기본 기능 위주로만 휴대폰을 실행하였지만, 스마트폰의 출현으로 사용자는 다양한 기능들을 스마트폰 상에서 실행할 수 있게 되었고, 스마트폰의 기능들은 헤아릴 수 없을 정보로 증가하였다.

한편, 스마트 기기 및 터치스크린을 사용함으로써, 전맹, 저시력, 색각이상(색맹, 색약)의 장애를 가진 시각 장애인들은 기존의 물리적 키보드와 정보 누락 없이 알 수 있었던 문자음성 자동 변환(TTS; Text To Speech)된 정보 제공의 두 가지를 모두 제공받을 수 없게 되었다. 보다 상세하게는 기존의 전자기기에서 그나마 사용이 가능했던 기능들이 스마트 기기의 터치스크린에서는 시각 장애인들이 사용하기에는 용이하지 않게 되었으며, 터치스크린상에서 일어나는 모든 이벤트들을 시각 장애인들은 자신의 시각 장애 종류에 맞게, 즉, 전맹, 저시력, 색각이상(색맹, 색약)의 경우 각각 자신의 감각에 맞게, 적절한 피드백을 받지 못하는 문제가 발생하게 되었다.

따라서, 본 발명의 일 목적은, 스마트 기기를 사용하는 시각 장애인에게 화면에 있는 아이콘들과 정보들을 분석하여 전달하기 위한 화면 정보 제공 방법 및 장치를 제공함에 있다.

또한 본 발명의 다른 목적은 시각 장애인이 스마트 기기를 동작시킬 때, 시각 장애인임을 스마트 기기가 알고 사용자의 입력 양상에 맞는 화면 분석 내용을 시각 장애인이 전달받아 시각 장애인이 편하게 스마트 기기를 쓸 수 있도록 화면을 분석하여 재구성하고 정보 전달을 명확하게 하기 위한 화면 정보 제공 방법 및 장치를 제공함에 있다.

상기한 목적을 달성하기 위하여 본 발명의 일 견지에 따르면, 화면 정보 제공 방법에 있어서, 미리 설정된 제스처 입력 시, 디스플레이된 화면상에 상기 입력된 제스처와 관련된 적어도 하나의 객체에 메타데이터(meta data)가 포함되어 있는지 판단하는 과정과; 상기 적어도 하나의 객체에 메타데이터가 포함되지 않은 것으로 판단되면 상기 객체의 이미지를 분석하여 메타데이터를 생성하는 과정과; 상기 적어도 하나의 객체에 포함된 상기 메타데이터 및 상기 생성된 메타데이터 중 적어도 하나의 메타데이터를 음성으로 출력하는 과정을 포함함을 특징으로 한다.

상기한 목적을 달성하기 위하여 본 발명의 다른 견지에 따르면, 상기 화면 정보 제공 장치에 있어서, 표시부와; 스피커와; 미리 설정된 제스처 입력 시, 상기 표시부의 화면에 디스플레이된 상기 입력된 제스처와 관련된 적어도 하나의 객체에 메타데이터(meta data)가 포함되어 있는지 판단하며, 상기 적어도 하나의 객체에 메타데이터가 포함되지 않은 것으로 판단되면 상기 객체의 이미지를 분석하여 메타데이터를 생성하며, 상기 적어도 하나의 객체에 포함된 상기 메타데이터 및 상기 생성된 메타데이터 중 적어도 하나의 메타데이터를 상기 스피커를 통해 음성으로 출력하도록 제어하는 CPU를 포함함을 특징으로 한다.

상기한 바와 같이, 본 발명에 따른 화면 정보 제공 방법 및 장치를 사용함으로서, 스마트 기기를 사용하는 시각 장애인에게 화면에 있는 아이콘들과 정보들을 분석하여 전달할 수 있는 효과가 있다.

또한, 본 발명에 따른 화면 정보 제공 방법 및 장치를 사용함으로서, 시각 장애인임을 스마트 기기가 알고 사용자의 입력 양상에 맞는 화면 분석 내용을 시각 장애인이 전달받아 시각 장애인이 편하게 스마트 기기를 쓸 수 있도록 화면을 분석하여 재구성하고 정보 전달을 명확하게 할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 화면 정보 제공 동작을 수행하는 휴대 단말 장치의 구성도
도 2는 도 1의 일 실시예에 따른 화면 정보 제공 동작을 수행하는 휴대 단말 장치의 전면 사시도
도 3은 본 발명의 일 실시예에 따른 시각 장애 메뉴 선택에 따른 화면 정보 제공 동작의 흐름도
도 4는 도 3의 일 실시예에 따른 시각 장애 메뉴 선택에 따른 화면 정보 제공 동작 중 컨텐츠 인식 기능 실행 동작의 세부 흐름도
도 5는 도 4의 일 실시예에 따른 시각 장애 메뉴 선택에 따른 화면 정보 제공 동작 중 컨텐츠 인식 기능 실행 동작을 설명하기 위한 제1 예시도
도 6은 도 4의 일 실시예에 따른 시각 장애 메뉴 선택에 따른 화면 정보 제공 동작 중 컨텐츠 인식 기능 실행 동작을 설명하기 위한 제2 예시도
도 7은 도 3의 일 실시예에 따른 시각 장애 메뉴 선택에 따른 화면 정보 제공 동작 중 맞춤형 색상 선택 기능 실행 동작의 세부 흐름도
도 8은 도 3의 일 실시예에 따른 시각 장애 메뉴 선택에 따른 화면 정보 제공 동작 중 텍스트 크기 선택 기능 실행 동작의 세부 흐름도

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 사용자 모델 작성기, 사용자 프로파일 맥락 분석 엔진 등과 같은 명칭, 구성 소자 등의 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

도 1은 본 발명의 일 실시예에 따른 화면 정보 제공 동작을 수행하는 휴대 단말 장치의 구성도이다. 도 1을 참조하면, 휴대 단말 장치(100)는 CPU(110), DSP(Digital Signal Processor; 120), 사용자 행동 기억 및 분석기(130), 입력부(140), 출력부(150), 사용자 프로파일 맥락 분석 엔진(User profile based context aware engine; 160), 메모리(170), RAM(180), 버스(190), 사용자 질문 DB(195)를 포함할 수 있다.

입력부(140)는 사용자 조작 신호(터치, 음성, 시각 등의 신호)를 입력받아 CPU(110)로 전달하며, 복수의 버튼(도시되지 아니함), 마이크(도시되지 아니함), 및 키패드(도시되지 아니함) 중 적어도 하나를 포함할 수 있다.

버튼은 상기 휴대 단말 장치(100)의 하우징의 전면, 측면 또는 후면에 형성될 수 있으며, 도 2를 참조하면, 전원 온(ON)/오프(OFF) 버튼(101), 실행 취소 버튼(103), 메뉴 버튼(105), 볼륨 업(UP)/다운(DOWN) 버튼(107) 중 적어도 하나를 포함할 수 있다.

마이크는 CPU(110)의 제어에 따라 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다.

키패드는 휴대 단말 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드는 휴대 단말 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 후술하는 터치스크린(도시되지 아니함)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 휴대 단말 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함)는 휴대 단말 장치(100)의 성능 또는 구조에 따라 제외될 수 있다.

출력부(150)는 스피커(도시되지 아니함), 진동모터(도시되지 아니함), 및 표시부(도시되지 아니함) 중 적어도 하나를 포함할 수 있다. 이때의 표시부는 터치스크린일 수 있다.

스피커는 휴대 단말 장치(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다. 스피커는 CPU(110)의 제어에 따라 다양한 신호(예, 무선신호, 방송신호, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 휴대 단말 장치(100) 외부로 출력할 수 있다. 또한 스피커는 휴대 단말 장치(100)가 수행하는 기능에 대응되는 사운드를 출력할 수 있으며, 본 발명의 특징에 따라 후술하는 메타데이터를 음성으로 출력할 수 있다.

진동모터는 CPU(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 휴대 단말 장치(100)는 다른 장치(도시되지 아니함)로부터 음성통화가 수신되는 경우, 진동모터가 동작한다. 또한 진동모터는 휴대 단말 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 또한 진동모터는 후술하는 터치스크린을 터치하는 사용자의 터치 동작 및 터치스크린 상에서의 터치의 연속적인 움직임에 응답하여 동작할 수 있다.

또한 입력부(140) 및 출력부(150)로서 터치스크린(도시되지 아니함)을 포함할 수 있다.

터치스크린은 사용자의 조작을 입력받으며, 응용 프로그램의 실행 영상과 동작 상태 및 메뉴 상태를 디스플레이할 수 있다. 즉, 터치스크린은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 유저 인터페이스를 제공할 수 있다. 터치스크린은 유저 인터페이스에 입력되는 적어도 하나의 터치에 대응되는 아날로그 신호를 터치스크린 컨트롤러(도시되지 아니함)로 전송할 수 있다. 터치스크린은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 수단(예, 스타일러스 펜)을 통해 적어도 하나의 터치를 입력받을 수 있다. 또한, 터치스크린은 적어도 하나의 터치 중에서, 하나의 터치의 연속적인 움직임을 입력받을 수 있다. 터치스크린은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치스크린 컨트롤러로 전송할 수 있다.

또한, 본 발명에서 터치는 터치스크린과 사용자의 신체 또는 터치 가능한 입력 수단과의 직접적인 접촉에 한정되지 않고, 비접촉을 포함할 수 있다. 터치스크린에서 검출 가능한 간격은 휴대 단말 장치(100)의 성능 또는 구조에 따라 변경될 수 있으며, 특히 터치스크린은 사용자의 신체 또는 터치 가능한 입력 수단과의 접촉에 의한 터치 이벤트와, 비접촉 상태로의 입력(예컨대, 호버링(Hovering)) 이벤트를 구분하여 검출 가능하도록, 상기 터치 이벤트와 호버링 이벤트에 의해 검출되는 값(예컨대, 전류값 등)이 다르게 출력될 수 있도록 구성될 수 있다. 이때의 터치스크린은 호버링 이벤트가 발생되는 공간과 터치스크린 사이의 거리에 따라, 검출되는 값(예컨대, 전류값 등)을 다르게 출력하는 것이 바람직하다.

터치스크린은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 전자기 유도(EMR; Electro Magnetic Resonance) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.

한편, 터치스크린 컨트롤러는 터치스크린에서부터 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 CPU(110)로 전송한다. CPU(110)는 터치스크린 컨트롤러로부터 수신된 디지털 신호를 이용하여 터치스크린을 제어할 수 있다. 예를 들어, CPU(110)는 터치 이벤트 또는 호버링 이벤트에 응답하여 터치스크린에 표시된 단축 아이콘(도시되지 아니함)이 선택되게 하거나 또는 단축 아이콘(도시되지 아니함)을 실행할 수 있다. 또한, 터치스크린 컨트롤러는 CPU(110)에 포함될 수도 있다.

또한, 터치스크린 컨트롤러는 터치스크린을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 호버링 이벤트가 발생되는 공간과 터치스크린 사이의 거리를 확인할 수 있고, 확인된 거리 값을 디지털 신호(예컨대, Z좌표)로 변환하여 CPU(110)로 제공할 수 있다.

또한, 터치스크린은 사용자의 신체 및 터치 가능한 입력 수단에 의한 입력을 동시에 입력받을 수 있도록, 사용자의 신체 및 터치 가능한 입력 수단의 터치나 근접을 각각 감지할 수 있는 적어도 두 개의 터치스크린 패널을 포함할 수 있다. 상기 적어도 두 개의 터치스크린 패널은 서로 다른 출력 값을 터치스크린 컨트롤러에 제공하고, 터치스크린 컨트롤러는 상기 적어도 두 개의 터치스크린 패널에서 입력되는 값을 서로 다르게 인식하여, 터치스크린으로부터의 입력이 사용자의 신체에 의한 입력인지, 터치 가능한 입력 수단에 의한 입력인지를 구분할 수 있다.

메모리(170)는 CPU(110), DSP(Digital Signal Processor; 120), 사용자 행동 기억 및 분석기(130), 입력부(140), 출력부(150), 사용자 프로파일 맥락 분석 엔진(User profile based context aware engine; 160)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 또한 메모리(170)는 휴대 단말 장치(100) 또는 CPU의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.

또한 메모리(170)는 사용자 설정 정보와 입력 동작 데이터의 히스토리를 저장하여 패턴 분석의 기본 데이터를 보관하며, 필요 시 클라우드 시스템과 통신하여 사용자 설정을 백업 받을 수 있어서 해당 사용자의 설정 값을 다른 기기에서도 사용 가능하도록 할 수 있다. 또한 메모리(170)에 저장되어 있는 사용자 설정 정보와 입력 동작 데이터 히스토리를 CPU(110)에서 필요로 하면 버스(190)를 통하여 CPU(110)로 전달될 수 있다.

RAM(180)은 휴대 단말 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 휴대 단말 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용될 수 있다.

사용자 질문 DB(195)는 사용자의 상태를 반영하기 위한 질문 정보가 포함되어 있으며, 본 발명의 실시예에 따라 전맹, 색각이상(색약, 색맹), 저시력과 같은 시각 장애 중 사용자의 해당 시각 장애를 묻는 정보를 포함할 수 있다. 또한 색각이상의 상세한 시각 장애 항목에서 예를 들어, 청록색맹, 적록 색맹 등의 사용자의 해당 시각 장애를 묻는 정보를 포함할 수 있다. 또한 사용자의 입력(또는 선택)에 따라 상기 해당 시각 장애에 대한 대답의 결과값 정보를 포함할 수도 있다. 이때의 상기 해당 시각 장애에 대한 대답의 결과값 정보는 사용자 프로파일 맥락 분석 엔진(160)에 입력되어 사용자 프로파일 맥락 분석 엔진(160)에서 휴대 단말 장치(100)의 사용자의 해당 시각 장애 종류를 확인하도록 할 수 있다. 추가로, 상기 해당 시각 장애에 대한 대답의 결과값 정보는 RAM(180)에 저장되었다가, 최종적으로 메모리(170)에 저장될 수 있으며, CPU(110)의 요청 시 사용자가 대상화하는 기기에 전달할 수도 있다.

사용자 행동 기억 및 분석기 (130)는 자주 사용하는 아이콘, 위젯 등의 기능의 모션 트래커(motion tracker)의 역할을 할 수 있다. 화면에서 일어나는 사용자의 행동을 기억 및 분석하여 사용자 프로파일 맥락 분석엔진(160)으로 보내어 사용자가 기기를 사용함에 있어, 의도에 맞게 잘 사용하는지, 어떤 부분에서 애로점을 겪는지 등을 예측할 수 있도록 한다.

CPU(110)는 DSP(Digital Signal Processor; 120), 사용자 행동 기억 및 분석기(130), 입력부(140), 출력부(150), 사용자 프로파일 맥락 분석 엔진(User profile based context aware engine; 160), 메모리(170), RAM(180), 버스(190), 사용자 질문 DB(195)를 제어할 수 있다.

또한 CPU(110)는 입력부(140)에서 입력받은 사용자 조작 신호에 따라 입력 신호 분석 및 설문에 의한 사용자 분석을 수행할 수 있으며, DSP(120)는 입력 신호 분석 부분 중 신호 인식부 매칭 처리 과정을 수행할 수 있다.

또한 휴대 단말 장치(100)의 성능에 따라 CPU(110)는 DSP(120), 사용자 행동 기억 및 분석기(130), 및 사용자 프로파일 맥락 분석 엔진(160)의 조합에 따른 동작을 제어할 수 있다. 이에 따라, CPU(110)는 입력부(140)를 통해 미리 설정된 제스처 입력 시, 디스플레이된 화면상에 상기 입력된 제스처와 관련된 적어도 하나의 객체에 메타데이터(meta data)가 포함되어 있는지 판단하며, 상기 적어도 하나의 객체에 메타데이터가 포함되지 않은 것으로 판단되면 상기 객체의 이미지를 분석하여 메타데이터를 생성하며, 상기 적어도 하나의 객체에 포함된 상기 메타데이터 및 상기 생성된 메타데이터 중 적어도 하나의 메타데이터를 음성으로 출력하도록 제어할 수 있다.

또한 CPU(110)는 사용자의 조작에 따라 상기 표시부의 화면의 색상을 조정하여, 상기 조정된 색상의 파라미터 값을 저장하며, 상기 저장된 색상의 파라미터 값에 따라 상기 표시부의 화면의 색상을 변경하도록 제어할 수 있다. 또한 CPU(110)는 상기 표시부의 화면에 텍스트가 디스플레이 되어 있는 경우, 사용자의 조작에 따라 상기 텍스트의 크기를 조정하여, 상기 조정된 텍스트의 크기의 파라미터 값을 저장하며, 상기 저장된 텍스트의 크기의 파라미터 값에 따라 상기 화면상의 텍스트 크기를 변경하도록 제어할 수 있다.

본 발명은 시각 장애를 가진 사용자가 휴대 단말 장치(100)를 사용할 때, 자신의 시각 장애를 직접 입력하여, 시각 장애에 따른 기본형 화면을 제공하여 사용자가 편안하게 느끼는 시각 장애 맞춤형 유저 인터페이스(UI; User Interface; 이하에서는 UI라 함)를 제공할 수 있도록 하며, 화면 전체 UI를 사용자가 편하게 느끼는 UI로 조절, 변형해 갈 수 있도록 한다. 예를 들어, 사용자가 사용자 설정 메뉴에서 청록 색맹의 시각 장애를 가진 것으로 선택한 경우, 휴대 단말 장치(100)의 조절형태는 원래 이미지 영상에서 청록 색맹이 놓칠 수 있는 색깔을 기본적으로 배제하고, 화면에 제시 제어 컨트롤을 사용하여 사용자로 하여금 편한 색상을 선택, 사용자의 확장 의도 여부에 따라 전체 UI로 확장 할 수 있게 한다. 또한 휴대 단말 장치(100)의 상황을 모니터링 할 수 있도록 사용자의 필요 요구 시 상황을 알려주어 휴대 단말 장치(100) 상에서 사용자의 상황에 맞는 속도 조절 가능 TTS(Touch to Speech), 터치에 대한 피드백을 제공할 수 있도록 한다. 예를 들어, 사용자의 터치에 대한 상황과 화면에 대한 상황을 읽어 주고 입력 전 사용자와 준비된 제스처(예를 들어 휴대 단말 장치 상단 두 번 두드림, 혹은 전원버튼 클릭 등)를 취하면 화면에서 일어나는 모든 상황에 대해 전체적으로 읽어 주도록 할 수도 있다.

도 3은 본 발명의 일 실시예에 따른 시각 장애 메뉴 선택에 따른 화면 정보 제공 동작의 흐름도이다. 도 3을 참조하면, 본 발명의 실시예에서는 사용자 설정의 시각 장애 메뉴를 전맹, 색각이상(색약, 색맹), 및 저시력으로 분류하였다. 전맹이 선택된 경우 컨텐츠 인식 기능을 실행하여 TTS(Text to Speech) 및 포커스가 가는 곳의 음성 지원 기능을 실행하도록 한다. 또한 색각 이상으로 선택된 경우 맞춤형 색상 선택 기능을 실행하여 적록 색맹, 황록 색맹 등의 해당 색각 이상 종류에 따라 사용자에게 맞는 편안한 색상을 적용할 수 있도록 하며, 저시력으로 선택된 경우 텍스트 크기 선택 기능을 실행하도록 한다.

먼저 200 단계에서는 사용자 설정 메뉴에서 사용자의 선택에 따라 시각 장애를 선택한다. 이때의 사용자 설정 메뉴는 화면 정보 제공을 위해 설정하는 메뉴로, 시각 장애를 가진 휴대 단말 장치의 사용자가 자신에게 해당하는 시각 장애를 선택하여, 화면의 컨텐츠를 음성으로 출력하는 것, 화면의 색상을 변경하는 것, 화면상의 텍스트 크기를 조정하는 것 중 적어도 하나를 설정할 수 있도록 하는 것을 포함하는 것을 의미한다. 이때의 시각 장애는 전맹(300), 색각이상(색약, 색맹; 400), 저시력(500) 중 적어도 하나일 수 있다.

200 단계 이후 320 단계에서는 전맹(300)의 선택 유무를 판단한다. 320 단계에서 전맹(300)을 선택한 것으로 판단되면 340 단계로 진행하고, 전맹(300)을 선택하지 않은 것으로 판단되면 본 발명의 동작을 종료한다.

320 단계 이후 340 단계에서는 컨텐츠 인식 기능을 실행한다. 이때의 컨텐츠 인식 기능은 미리 설정된 사용자의 제스처에 따라, 화면상에서 포커스가 이동하는 부분의 객체를 사용자에게 읽어주도록 하는 것이다. 보다 상세하게는 미리 설정된 제스처 입력 시, 디스플레이된 화면상에 상기 입력된 제스처와 관련된 적어도 하나의 객체, 예를 들어 터치 입력 시 터치된 지점의 객체에, 메타데이터(meta data)가 포함되어 있는지 판단하여, 객체에 메타데이터가 포함되어 있는 것으로 판단되면 메타데이터를 음성으로 출력하도록 하고, 객체에 메타데이터가 포함되지 않은 것으로 판단되면 객체의 이미지를 분석하여 메타데이터를 생성하여 생성된 메타데이터를 음성으로 출력하도록 하는 것이다. 이때, 객체의 이미지를 분석하여 메타데이터를 생성하는 것은 객체의 색상 및 형태를 분석하여, 분석된 객체의 색상 및 형태의 정보를 태깅(tagging)하며, 태깅된 색상 및 형태 정보를 메타데이터로 생성하는 것이다.

도 4를 참조하여 컨텐츠 인식 기능의 동작을 설명하면 다음과 같다. 341 단계에서는 화면의 터치 유무를 판단한다. 341 단계에서 화면이 터치된 것으로 판단되면 343 단계로 진행하고, 화면이 터치되지 않은 것으로 판단되면 본 발명의 동작을 종료한다.

341 단계 이후 343 단계에서는 화면상의 터치된 지점의 객체를 확인한다. 이때의 객체는 텍스트, 아이콘, 위젯, 메뉴, 사진, 배경 화면 중 적어도 하나로 화면상에 표시되는 것을 의미한다. 또한 객체는 화면을 미리 일정 구역으로 나누었을 경우, 터치된 지점이 포함된 구역에 표시되는 텍스트, 아이콘, 위젯, 메뉴, 사진, 배경 화면 중 적어도 하나 일 수 있다.

343 단계 이후 345 단계에서는 확인된 객체에 해당 정보를 나타내는 메타데이터(meta data)가 포함되어 있는지를 판단한다. 345 단계에서 확인된 객체에 메타데이터가 포함되어 있는 것으로 판단되면 347 단계로 진행하고, 확인된 객체에 메타데이터가 포함되어 있지 않은 것으로 판단되면 349 단계로 진행한다.

345 단계 이후 347 단계에서는 메타데이터를 음성으로 출력한다.

도 5를 참조하면, 12:03 부분을 터치한 경우, 12시 3분으로 저장되어 있는 메타데이터를 확인하여 음성으로 출력할 수 있다. 또한 예를 들어, 객체가 텍스트일 경우 메타데이터는 텍스트 내용일 수 있으며, 객체가 아이콘일 경우 메타데이터는 아이콘의 이름 즉, 아이콘의 실행에 따른 동작 기능을 설정하는 것일 수 있으며, 해당 메타데이터를 음성으로 출력할 수 있다.

345 단계 이후 349 단계에서는 객체의 색상 분석에 따라 색상의 그래디언트(gradient)를 확인한다. 349 단계 이후 351 단계에서는 색상의 그래디언트를 기준으로 블랍(blob; binary large object) 형태로 객체를 분할한다. 351 단계 이후 353 단계에서는 분할된 블랍의 외곽선 스켈레톤 정보를 선분과 각도로 나눈다. 353 단계 이후 355 단계에서는 분석된 색상 정보 및 선분과 각도로 나눠진 외곽선 스켈레톤 정보를 태깅한다. 355 단계 이후 357 단계에서는 태깅된 정보를 메타데이터로 생성한다. 357 단계 이후 347 단계로 진행하여 메타데이터를 음성으로 출력한다.

도 6을 참조하면, 도 6의 (a)와 같은 화면에서 a1 부분을 터치한 경우, 도 6의 (b)와 같이 터치된 부분의 객체를 확인하여, 백그라운드는 하늘색이고, 포그라운드는 흰색으로 3 갈래의 블랍이 있음을 확인한다. 이후 도 6의 (c)와 같이 1번 블랍의 경우 L1은 30도, L2는 -90도, L3는 +90도임을 확인하여 확인된 정보인 색상 및 형태를 메타데이터로 저장 후, 저장된 메타데이터를 음성으로 출력할 수 있다.

추가로, 메타데이터를 음성으로 출력할 때, 보다 지능적으로 음성 데이터를 출력할 수 있도록 하기 위해, 상기 357 단계에서 태깅된 정보를 메타데이터로 생성한 이후, 생성된 메타데이터를 문자음성자동변환을 위한 분석 기능을 갖는 서버에 전송하고, 서버로부터 검출된 상기 전송된 메타데이터와 대응되는 음성 정보를 수신하여 수신된 음성 정보를 스피커로 출력할 수도 있다. 이때, 문자음성자동변환을 위한 분석 기능을 갖는 서버는 예를 들어, 최근 일년 동안의 뉴스, 신문, 잡지, 인터넷 등의 다양한 기록들을 분석하여 표준어와 연음을 읽는 방법에 대한 엔진이 구축되어 있을 수 있다. 상기 엔진이 구축되어 있는 서버가 휴대 단말 장치와 같은 클라이언트단으로부터 데이터들, 즉 상기 생성된 메타데이터를 수신하면, 상기 엔진의 상기 다양한 기록들을 분석하여 상기 메타데이터와 대응되는 상기 수신된 메타데이터를 표준어와 연음으로 읽을 수 있도록 하는 음성 정보를 검출할 수 있다. 상기 서버는 예를 들어, 메타데이터가 "3:10 PM"인 경우 "3시 10분 PM" 또는 오후 3시 10분"의 음성 정보 결과를 검출할 수 있다.

즉, 상기 340 단계의 컨텐츠 인식 기능의 동작에 따라, 휴대 단말 장치가 객체의 메타데이터를 음성으로 자동 변환하여 메타데이터를 음성으로 출력할 수 있으며, 또한 휴대 단말 장치가 무선 신호를 송수신하는 이동 통신 모듈을 구비하여 상기 이동 통신 모듈을 통해 서버와 데이터를 송수신하여 서버로부터 객체의 메타데이터와 대응되는 음성 정보를 수신하여 수신된 음성 정보를 음성으로 출력할 수도 있다. 추가로, 상기 휴대 단말 장치가 객체의 메타데이터를 음성으로 자동 변환 시 실패한 경우, 즉, 휴대 단말 장치가 음성 변환을 할 수 없는 객체는, 상기 서버로 메타데이터를 전송하여 상기 서버에서 음성 정보를 검출하도록 하여, 휴대 단말 장치가 검출된 음성 정보를 수신하여 음성으로 출력하도록 할 수도 있다.

200 단계 이후 420 단계에서는 색각이상(색약, 색맹; 400)의 선택 유무를 판단한다. 420 단계에서 색각이상(400)을 선택한 것으로 판단되면 440 단계로 진행하고, 색각이상(400)을 선택하지 않은 것으로 판단되면 본 발명의 동작을 종료한다.

420 단계 이후 440 단계에서는 맞춤형 색상 선택 기능을 실행한다. 이때의 맞춤형 색상 선택 기능은 색맹/색약의 여러 종류(적록색맹, 황록색약 등)를 분류하여 해당 종류의 색각 이상자가 볼 수 없는 색상을 배제한 화면(또는 팝업 창)을 표시 하여 사용자가 색상의 조정 시, 조정된 색상을 화면에 적용함으로서 색각 이상자가 정상인과 같이 화면을 볼 수 있도록 하는 것이다.

도 7을 참조하여 맞춤형 색상 선택 기능의 동작을 설명하면 다음과 같다. 먼저 441 단계에서는 색약(또는 색맹) 종류를 선택(또는 입력)한다. 이후 443 단계에서는 해당 색약(또는 색맹) 종류 별 사용자 맞춤 색상 선택을 위한 색상 조절바를 포함하는 색상 선택 창을 표시한다. 즉, 예를 들어 적록색맹이 선택된 경우 적록 색맹자가 볼 수 없는 색상을 배제한 화면(또는 팝업 창)을 표시하며, 이와 동시에 색상 조절바를 두어 사용자가 편하게 볼 수 있는 색상을 선택할 수 있도록 할 수 있다.

이후 445 단계에서는 색상 조정 유무를 판단한다. 445 단계에서 색상을 조정한 것으로 판단되면 447 단계로 진행하고, 색상을 조정하지 않은 것으로 판단되면 본 발명의 동작을 종료한다.

445 단계 이후 447 단계에서는 사용자의 조작에 따른 색상의 조정이 완료되면 조정된 색상의 파라미터 값을 저장한다.

447 단계 이후 449 단계에서는 파라미터 값에 따라 화면상의 색상을 변경한다. 이때, 사용자의 설정에 따라, 화면이 표시될 때마다 파라미터 값에 따른 화면상의 색상을 변경하도록 할 수 있으며, 또한 사용자의 제스처 입력 시에만 파라미터 값에 따른 화면상의 색상을 변경하도록 할 수도 있다.

200 단계 이후 520 단계에서는 저시력의 선택 유무를 판단한다. 520 단계에서 저시력(500)을 선택한 것으로 판단되면 540 단계로 진행하고, 저시력(500)을 선택하지 않은 것으로 판단되면 본 발명의 동작을 종료한다.

520 단계 이후 540 단계에서는 텍스트 크기 선택 기능을 실행한다. 이때의 텍스트 크기 선택 기능은 사용자 조작에 따라 텍스트 크기를 조정하여 화면에 적용할 수 있도록 하기 위한 것이다.

도 8을 참조하여 텍스트 크기 선택 기능의 동작을 설명하면 다음과 같다. 먼저 541 단계에서는 텍스트 크기 선택 창을 표시한다. 이때의 텍스트 크기 선택 창은 스크롤 바를 포함하여, 스크롤 바의 이동에 따라 텍스트 크기를 변경하도록 할 수 있다. 또한 텍스트 크기를 숫자로 선택하여 숫자로 대응하는 해당 텍스트 크기로 변경하도록 할 수 있다. 이때의 스크롤 바의 이동 또는 숫자의 선택 시 화면상에서 텍스트 크기를 바로 확인하도록 할 수도 있다.

541 단계 이후 543 단계에서는 텍스트 크기의 조정 유무를 판단한다. 543 단계에서 텍스트 크기를 조정한 것으로 판단되면 보다 상세하게는, 사용자의 조작에 따른 텍스트 크기의 조정이 완료된 것으로 판단되면 545 단계로 진행하고, 텍스트 크기를 조정하지 않은 것으로 판단되면 본 발명의 동작을 종료한다.

543 단계 이후 545 단계에서는 조정된 텍스트 크기의 파라미터 값을 저장한다. 545 단계 이후 547 단계에서는 텍스트 크기의 파라미터 값에 따라 화면상의 텍스트 크기를 변경한다. 이때, 사용자의 설정에 따라, 화면에 텍스트가 표시될 때마다 파라미터 값에 따른 화면상의 텍스트 크기를 자동으로 변경하여 표시되도록 할 수 있으며, 또한 사용자의 제스처 입력 시에만 파라미터 값에 따른 화면상의 텍스트 크기를 변경하여 표시되도록 할 수도 있다

상기와 같이 일 실시예에 따른 본 발명의 화면 정보 제공 방법 및 장치의 구성 및 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 이외에도 본 발명의 다양한 실시예들이나, 여러 가지 변형 및 변경이 있을 수 있다. 예컨대, 본 명세서에서 기재된 각각의 동작들은 그 전체 또는 일부가 병력적으로 동시에 수행되거나, 일부가 생략되거나, 다른 추가적인 동작들을 포함할 수 있다.

예를 들어, 상기 실시예에서는 휴대폰, 스마트폰, 태블릿 PC 등의 휴대 단말 장치를 예로 들어 설명했지만, 컴퓨터, TV 등의 다양한 전자기기에 본 발명을 적용할 수 있다.

또한, 상기 실시예의 컨텐츠 인식 기능 실행 동작에서 화면의 터치를 통해 터치된 지점의 객체 확인을 통한 동작을 설명했지만, 터치 이외의 음성 입력, 버튼 누름 등을 통해 미리 설정된 지점 또는 전체 화면의 객체를 확인하여 본 발명의 동작을 수행할 수도 있다.

또한 상기 실시예에서는 시각 장애 메뉴 선택에 따라 즉, 전맹, 색각 이상, 저시력의 선택에 따라 각각 컨텐츠 인식 기능, 맞춤형 색상 선택 기능, 텍스트 선택 기능이 동작되도록 설명하였지만, 시각 장애 메뉴 선택 없이 사용자 설정에 따라 상기 기능들이 각각 또는 동시에 동작하도록 할 수도 있다.

또한 상기 이미지 분석 시, 광학식 문자 판독(OCR; Optical Character Recognition)을 이용하여 이미지를 분석할 수도 있다.

또한 상기 터치 입력, 즉 미리 설정된 제스처 입력 시, 입력된 제스처에 따라 해당 장치가 수행할 동작을 확인하여 확인된 동작을 음성으로 출력하도록 할 수도 있다.

또한 상기 실시예에서는 객체의 확인된 정보인 색상 및 형태를 메타데이터로 저장 후, 저장된 메타데이터를 음성으로 출력하는 것으로만 설명하였지만, 추가로 확인된 정보인 색상 및 형태를 분석하여 객체의 형태를 추정하는 동작을 수행하여, 추정된 객체의 형태를 메타데이터로 저장 후 저장된 메타데이터를 음성으로 출력할 수도 있다.

또한 텍스트 크기의 변경에 따라, 화면에 배치될 아이콘의 개수를 설정하여, 설정된 아이콘의 개수에 따라 화면에 표시되는 하나 이상의 아이콘을 재배치하도록 할 수도 있다.

또한 본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 휴대 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

Claims (20)

1. 화면 정보 제공 방법에 있어서,
   미리 설정된 제스처 입력 시, 디스플레이된 화면상에 상기 입력된 제스처와 관련된 적어도 하나의 객체에 메타데이터(meta data)가 포함되어 있는지 판단하는 과정과;
   상기 적어도 하나의 객체에 메타데이터가 포함되지 않은 것으로 판단되면 상기 객체의 이미지를 분석하여 메타데이터를 생성하는 과정과;
   상기 적어도 하나의 객체에 포함된 상기 메타데이터 및 상기 생성된 메타데이터 중 적어도 하나의 메타데이터를 음성으로 출력하는 과정을 포함함을 특징으로 하는 화면 정보 제공 방법.
2. 제 1항에 있어서, 상기 객체의 이미지를 분석하여 메타데이터를 생성하는 과정은,
   상기 메타데이터가 포함되지 않은 객체의 색상 및 형태를 분석하는 단계와,
   상기 분석된 객체의 색상 및 형태의 정보를 태깅(tagging)하는 단계와,
   상기 태깅된 색상 및 형태 정보를 메타데이터로 생성하는 단계를 포함함을 특징으로 하는 화면 정보 제공 방법.
3. 제 2항에 있어서, 상기 메타데이터가 포함되지 않은 객체의 색상 및 형태를 분석하는 단계는,
   상기 메타데이터가 포함되지 않은 객체의 색상을 분석하여 그래디언트(gradient)를 확인하며, 상기 색상의 상기 확인된 그래디언트를 기준으로 상기 메타데이터가 포함되지 않은 객체를 블랍(blob; binary large object) 형태로 분할하며, 상기 블랍 형태로 분할된 객체의 외곽선 스켈레톤(skeleton) 정보를 선분과 각도로 나누는 것을 포함하며,
   상기 분석된 객체의 색상 및 형태의 정보를 태깅(tagging)하는 단계는,
   상기 분석된 색상의 정보 및 상기 선분과 각도로 나눠진 외곽선 스켈레톤 정보를 태깅하는 것을 포함함을 특징으로 하는 화면 정보 제공 방법.
4. 제 2항에 있어서,
   서버로부터 상기 생성된 메타데이터와 대응되는 음성 정보를 수신하는 과정과,
   상기 수신된 음성 정보를 음성으로 출력하는 과정을 포함함을 특징으로 하는 화면 정보 제공 방법.
5. 제 1항에 있어서, 상기 객체의 이미지를 분석하여 메타데이터를 생성하는 과정은,
   광학식 문자 판독(OCR; Optical Character Recognition)을 이용하여 상기 객체의 이미지를 분석하는 단계와,
   상기 분석된 객체의 이미지의 내용을 태깅하여 상기 메타데이터를 생성하는 단계를 포함함을 특징으로 하는 화면 정보 제공 방법.
6. 제 1항에 있어서,
   상기 미리 설정된 제스처 입력 시, 상기 입력된 제스처에 따라 해당 장치가 수행할 동작을 확인하여 음성으로 출력하는 과정을 더 포함함을 특징으로 하는 화면 정보 제공 방법.
7. 제 1항에 있어서,
   사용자의 조작에 따라 상기 디스플레이된 화면의 색상을 조정하면, 상기 조정된 색상의 파라미터 값을 저장하는 과정과,
   상기 저장된 색상의 파라미터 값에 따라 상기 화면상의 색상을 변경하는 과정을 더 포함함을 특징으로 하는 화면 정보 제공 방법.
8. 제 1항에 있어서,
   상기 디스플레이된 화면에 텍스트가 있는 경우, 사용자의 조작에 따라 상기 텍스트의 크기를 조정하면, 상기 조정된 텍스트 크기의 파라미터 값을 저장하는 과정과,
   상기 저장된 텍스트 크기의 파라미터 값에 따라 상기 화면상의 텍스트 크기를 변경하는 과정을 더 포함함을 특징으로 하는 화면 정보 제공 방법.
9. 제 8항에 있어서,
   상기 변경된 텍스트 크기에 따라, 상기 화면에 배치될 아이콘 개수를 설정하여, 상기 설정된 아이콘의 개수에 따라 상기 화면에 적어도 하나의 아이콘을 재배치하는 과정을 더 포함함을 특징으로 하는 화면 정보 제공 방법.
10. 제 1항에 있어서, 상기 제스처가 터치일 경우, 상기 객체는,
    상기 화면상의 미리 나눠진 적어도 하나의 구역 중 상기 터치된 지점이 포함된 구역에 표시된 것을 포함함을 특징으로 하는 화면 정보 제공 방법.
11. 상기 화면 정보 제공 장치에 있어서,
    표시부와;
    스피커와;
    미리 설정된 제스처 입력 시, 상기 표시부의 화면에 디스플레이된 상기 입력된 제스처와 관련된 적어도 하나의 객체에 메타데이터(meta data)가 포함되어 있는지 판단하며, 상기 적어도 하나의 객체에 메타데이터가 포함되지 않은 것으로 판단되면 상기 객체의 이미지를 분석하여 메타데이터를 생성하며, 상기 적어도 하나의 객체에 포함된 상기 메타데이터 및 상기 생성된 메타데이터 중 적어도 하나의 메타데이터를 상기 스피커를 통해 음성으로 출력하도록 제어하는 CPU를 포함함을 특징으로 하는 화면 정보 제공 장치.
12. 제 11항에 있어서, 상기 CPU는,
    상기 적어도 하나의 객체에 메타데이터가 포함되지 않은 것으로 판단되면, 상기 메타데이터가 포함되지 않은 객체의 색상 및 형태를 분석하며, 상기 분석된 객체의 색상 및 형태의 정보를 태깅(tagging)하며, 상기 태깅된 색상 및 형태 정보를 메타데이터로 생성하도록 제어하는 것을 포함함을 특징으로 하는 화면 정보 제공 장치.
13. 제 12항에 있어서, 상기 CPU는,
    상기 메타데이터가 포함되지 않은 객체의 색상을 분석하여 그래디언트(gradient)를 확인하며, 상기 색상의 상기 확인된 그래디언트를 기준으로 상기 메타데이터가 포함되지 않은 객체를 블랍(blob; binary large object) 형태로 분할하며, 상기 블랍 형태로 분할된 객체의 외곽선 스켈레톤(skeleton) 정보를 선분과 각도로 나누며, 상기 분석된 색상의 정보 및 상기 선분과 각도로 나눠진 외곽선 스켈레톤 정보를 태깅하도록 제어하는 것을 포함함을 특징으로 하는 화면 정보 제공 장치.
14. 제 12항에 있어서,
    무선 신호를 송수신하는 이동 통신 모듈을 포함하며,
    상기 CPU는,
    서버로부터 상기 이동 통신 모듈을 통해 상기 생성된 메타데이터와 대응되는 음성 정보를 수신하면, 상기 수신된 음성 정보를 상기 스피커를 통해 음성으로 출력하도록 제어하는 것을 포함함을 특징으로 하는 화면 정보 제공 장치.
15. 제 11항에 있어서, 상기 CPU는,
    상기 적어도 하나의 객체에 메타데이터가 포함되지 않은 것으로 판단되면, 광학식 문자 판독(OCR; Optical Character Recognition)을 이용하여 상기 객체의 이미지를 분석하며, 상기 분석된 객체의 이미지의 내용을 태깅하여 상기 메타데이터를 생성하도록 제어하는 것을 포함함을 특징으로 하는 화면 정보 제공 장치.
16. 제 11항에 있어서, 상기 CPU는,
    상기 미리 설정된 제스처 입력 시, 상기 입력된 제스처에 따라 해당 장치가 수행할 동작을 확인하여 상기 스피커를 통해 상기 확인된 동작을 음성으로 출력하도록 제어하는 것을 포함함을 특징으로 하는 화면 정보 제공 장치.
17. 제 11항에 있어서, 상기 CPU는,
    사용자의 조작에 따라 상기 표시부의 화면의 색상을 조정하여, 상기 조정된 색상의 파라미터 값을 저장하며, 상기 저장된 색상의 파라미터 값에 따라 상기 표시부의 화면의 색상을 변경하도록 제어하는 것을 포함함을 특징으로 하는 화면 정보 제공 장치.
18. 제 11항에 있어서, 상기 CPU는,
    상기 표시부의 화면에 텍스트가 디스플레이 되어 있는 경우, 사용자의 조작에 따라 상기 텍스트의 크기를 조정하여, 상기 조정된 텍스트의 크기의 파라미터 값을 저장하며, 상기 저장된 텍스트의 크기의 파라미터 값에 따라 상기 화면상의 텍스트 크기를 변경하도록 제어하는 것을 포함함을 특징으로 하는 화면 정보 제공 장치.
19. 제 18항에 있어서, 상기 CPU는,
    상기 변경된 텍스트 크기에 따라, 상기 표시부의 화면에 배치될 아이콘 개수를 설정하여, 상기 설정된 아이콘의 개수에 따라 상기 표시부의 화면에 적어도 하나의 아이콘을 재배치하도록 제어하는 것을 포함함을 특징으로 하는 화면 정보 제공 장치.
20. 제 11항에 있어서, 상기 제스처가 터치일 경우, 상기 객체는,
    상기 화면상의 미리 나눠진 적어도 하나의 구역 중 상기 터치된 지점이 포함된 구역에 표시된 것을 포함함을 특징으로 하는 화면 정보 제공 장치.

Images