KR102448565B1 - 사용자 단말 장치 및 이의 제어 방법 - Google Patents

사용자 단말 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR102448565B1
KR102448565B1 KR1020140178684A KR20140178684A KR102448565B1 KR 102448565 B1 KR102448565 B1 KR 102448565B1 KR 1020140178684 A KR1020140178684 A KR 1020140178684A KR 20140178684 A KR20140178684 A KR 20140178684A KR 102448565 B1 KR102448565 B1 KR 102448565B1
Authority
KR
South Korea
Prior art keywords
text
image
area
user
text image
Prior art date
Application number
KR1020140178684A
Other languages
English (en)
Other versions
KR20160071218A (ko
Inventor
콩 뉴엔뷰이
손병준
유현국
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140178684A priority Critical patent/KR102448565B1/ko
Priority to US14/958,166 priority patent/US10242279B2/en
Priority to PCT/KR2015/013558 priority patent/WO2016093653A1/en
Publication of KR20160071218A publication Critical patent/KR20160071218A/ko
Application granted granted Critical
Publication of KR102448565B1 publication Critical patent/KR102448565B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1456—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/162—Quantising the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18086—Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Telephone Function (AREA)
  • Percussion Or Vibration Massage (AREA)
  • Image Analysis (AREA)

Abstract

사용자 단말 장치 및 이의 제어 방법이 제공된다. 본 사용자 단말 장치는 이진화된 텍스트 영상에 대한 사용자의 터치 동작을 감지하는 감지부, 감지부를 통해 사용자의 터치 동작이 감지된 경우, 사용자 터치 동작이 감지된 지점을 가리키기 위한 지시자를 생성하는 제어부; 및 이진화된 텍스트 영상 및 생성된 지시자를 디스플레이하는 디스플레이부를 포함한다.

Description

사용자 단말 장치 및 이의 제어 방법{User terminal device and Method for controlling the user terminal device thereof}
본 발명은 사용자 단말 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 텍스트를 이진화하여 텍스트를 더욱 정확하고 선명하게 보여줄 수 있는 사용자 단말 장치 및 이의 제어 방법에 관한 것이다.
근래에는 다양한 사용자 단말 장치(예를 들어, 스마트 폰, 태블릿 PC 등)로 텍스트 영상을 제공하고 있다. 특히, 스마트 폰과 같이, 디스플레이 화면이 작은 사용자 단말 장치의 경우, 작은 디스플레이 화면으로 인해 텍스트 역시 작게 디스플레이된다.
따라서, 저시력자 또는 노인들이 작은 디스플레이 화면을 가지는 사용자 단말 장치를 이용하여 텍스트를 읽을 때, 텍스트가 잘 보이지 않는 문제점이 발생하게 된다. 또한, 단순히 텍스트를 확대하더라도 텍스트가 깨지거나 흐려지는 문제점이 발생하게 된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자가 더욱 정확하고 선명하게 텍스트 영상을 읽을 수 있는 사용자 단말 장치 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사용자 단말 장치는, 사용자 단말 장치는, 이진화된 텍스트 영상에 대한 사용자의 터치 동작을 감지하는 감지부; 상기 감지부를 통해 사용자의 터치 동작이 감지된 경우, 상기 사용자 터치 동작이 감지된 지점을 가리키기 위한 지시자를 생성하는 제어부; 및 상기 이진화된 텍스트 영상 및 상기 생성된 지시자를 디스플레이하는 디스플레이부;를 포함한다.
그리고, 상기 제어부는, 이진화된 텍스트 영상에 포함된 텍스트의 크기를 기설정된 크기로 조절하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 텍스트를 포함하는 텍스트 영상을 획득하는 영상 획득부;를 더 포함하고, 상기 제어부는, 영상 획득부를 통해 획득된 텍스트 영상을 이진화하여 이진화된 텍스트 영상을 생성할 수 있다.
그리고, 상기 제어부는, 상기 텍스트 영상을 샘플링하여 샘플링 영상을 생성하고, 상기 샘플링 영상의 픽셀값의 평균값을 산출하고, 상기 샘플링 영상의 각 픽셀값에 상기 평균값을 뺀 차 영상을 생성하며, 상기 샘플링 영상을 복수의 블록으로 나누고, 상기 차 영상을 이용하여 상기 복수의 블록의 평균과 표준편차를 계산하고, 상기 복수의 블록의 평균과 표준편차를 이용하여 상기 복수의 블록의 임계값을 산출하며, 상기 임계값을 이용하여 상기 샘플링 영상을 이진화할 수 있다.
또한, 상기 영상 획득부는, 카메라를 이용하여 텍스트가 포함된 문서를 촬영하여 텍스트 영상을 획득할 수 있다.
그리고, 저장부;를 더 포함하며, 상기 제어부는, 복수의 이진화된 텍스트 영상 프레임을 상기 저장부에 저장하고, 기설정된 명령이 입력된 경우, 복수의 이진화된 텍스트 영상 프레임 중 블러링이 가장 작은 텍스트 영상 프레임을 판단하며, 상기 판단된 텍스트 영상 프레임을 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 상기 촬영된 텍스트 영상 중 텍스트를 가리키는 사용자의 손 영역을 검출하고, 상기 사용자의 손 영역을 제외한 나머지 영역에 대해 이진화를 수행하며, 상기 이진화된 나머지 영역과 상기 사용자의 손 영역을 합성하여 부분적으로 이진화된 텍스트 영상을 생성할 수 있다.
그리고, 상기 제어부는, 상기 사용자 터치 동작이 감지된 지점에 사용자 손가락 형상 또는 막대기 형상의 지시자를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 상기 텍스트 영상에서 텍스트가 존재하는 텍스트 영역을 검출하고, 상기 텍스트 영역에 대해 이진화를 수행할 수 있다.
그리고, 상기 제어부는, 상기 텍스트 영역 이외의 그림 영역, 그래프 영역 및 도형 영역을 검출하고, 상기 텍스트 영역을 이진화하는 동안 상기 그림 영역, 그래프 영역 및 도형 영역에 대해 이진화를 수행하지 않고, 상기 텍스트 영역만 이진화된 텍스트 영상을 생성하며, 상기 그림 영역, 그래프 영역 및 도형 영역 중 하나에 사용자 터치 동작이 감지된 경우, 상기 사용자 터치 동작이 감지된 영역의 크기를 조절하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 사용자 단말 장치의 제어 방법은, 텍스트를 포함하는 텍스트 영상을 획득하는 단계; 상기 텍스트 영상을 이진화하는 단계; 상기 이진화된 텍스트 영상에 대한 사용자의 터치 동작을 감지하는 단계; 및 상기 사용자 터치 동작이 감지된 지점을 가리키기 위한 지시자를 생성하여 상기 이진화된 텍스트 영상에 상기 지시자를 디스플레이하는 단계;를 포함한다.
그리고, 상기 디스플레이하는 단계는, 이진화된 텍스트 영상에 포함된 텍스트의 크기를 텍스트의 크기를 기설정된 크기로 조절하여 디스플레이할 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 이진화된 텍스트 영상에 포함된 텍스트의 크기를 판단하고, 상기 판단된 텍스트의 크기가 상기 기설정된 크기보다 작은 경우, 상기 이진화된 텍스트 영상에 포함된 텍스트를 기설정된 크기로 확대하여 디스플레이하며, 상기 판단된 텍스트의 크기가 상기 기설정된 크기보다 큰 경우, 상기 이진화된 텍스트 영상에 포함된 텍스트를 기설정된 크기로 축소하여 디스플레이할 수 있다.
그리고, 상기 이진화하는 단계는, 상기 텍스트 영상을 샘플링하여 샘플링 영상을 생성하는 단계; 상기 샘플링 영상의 픽셀값의 평균값을 산출하고, 상기 샘플링 영상의 각 픽셀값에 상기 평균값을 뺀 차 영상을 생성하는 단계; 상기 샘플링 영상을 복수의 블록으로 나누고, 상기 차 영상을 이용하여 상기 복수의 블록의 평균과 표준편차를 계산하는 단계; 상기 복수의 블록의 평균과 표준편차를 이용하여 상기 복수의 블록의 임계값을 산출하는 단계; 및 상기 임계값을 이용하여 상기 샘플링 영상을 이진화하는 하는 단계;를 포함할 수 있다.
또한, 상기 획득하는 단계는, 카메라를 이용하여 텍스트가 포함된 문서를 촬영하여 텍스트 영상을 획득할 수 있다.
그리고, 상기 디스플레이하는 단계는, 기설정된 명령이 입력된 경우, 기설정된 기간 동안 저장된 복수의 이진화된 텍스트 영상 프레임 중 블러링이 가장 작은 텍스트 영상 프레임을 판단하는 단계; 상기판단된 텍스트 영상 프레임을 디스플레이하는 단계;를 포함할 수 있다.
또한, 상기 이진화하는 단계는, 상기 촬영된 텍스트 영상 중 텍스트를 가리키는 사용자의 손 영역을 검출하는 단계; 상기 사용자의 손 영역을 제외한 나머지 영역에 대해 이진화를 수행하는 단계; 상기 이진화된 나머지 영역과 상기 사용자의 손 영역을 합성하여 부분적으로 이진화된 텍스트 영상을 생성하는 단계;를 포함할 수 있다.
그리고, 상기 디스플레이하는 단계는, 상기 사용자 터치 동작이 감지된 지점에 사용자 손가락 형상 또는 막대기 형상의 지시자를 디스플레이할 수 있다.
또한, 상기 이진화하는 단계는, 상기 텍스트 영상에서 텍스트가 존재하는 텍스트 영역을 검출하고, 상기 텍스트 영역에 대해 이진화를 수행할 수 있다.
그리고, 상기 텍스트 영역 이외의 그림 영역, 그래프 영역 및 도형 영역을 검출하는 단계; 상기 텍스트 영역을 이진화하는 동안 상기 그림 영역, 그래프 영역 및 도형 영역에 대해 이진화를 수행하지 않고, 상기 텍스트 영역만 이진화된 텍스트 영상을 생성하는 단계; 및 상기 그림 영역, 그래프 영역 및 도형 영역 중 하나에 사용자 터치 동작이 감지된 경우, 상기 사용자 터치 동작이 감지된 영역의 크기를 조절하여 디스플레이하는 단계;를 포함할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예와 같이, 사용자가 가르키는 지점에 지시자와 함께 더욱 선명하고 큰 텍스트를 사용자에게 제공함으로써, 시력이 약한 사용자라도 텍스트 영상에 포함된 텍스트를 원활하게 읽을 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 사용자 단말 장치의 구성을 간략히 도시한 블럭도,
도 2는 본 발명의 일 실시예에 따른, 사용자 단말 장치의 구성을 상세히 도시한 블럭도,
도 3 내지 도 4b는 본 발명의 일 실시예에 따른, 텍스트 영상을 이진화하는 방법을 설명하기 위한 도면,
도 5a 내지 도 11b는 본 발명의 다양한 실시예에 따른, 선명한 텍스트 영상을 제공하기 위한 실시예를 도시한 도면들,
도 12 내지 도 17은 본 발명의 다양한 실시예들에 따른, 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도들이다.
본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
실시예에 있어서 사용자 단말 장치는 UE(User Equipment), MS(Mobile Station), AMS(Advanced Mobile Station), 디바이스 등 이동 혹은 고정형의 사용자단 기기를 통칭하는 것으로 가정한다.
이하, 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른, 사용자 단말 장치(100)의 구성을 간략히 도시한 블럭도이다. 도 1에 도시된 바와 같이, 사용자 단말 장치(100)는 감지부(110), 디스플레이부(120) 및 제어부(130)를 포함한다. 이때, 사용자 단말 장치(100)는 스마트 폰일 수 있으나, 이는 일 실시예에 불과할 뿐, 태블릿 PC, 노트북 PC, 데스크탑 PC, 스마트 TV, 키오스크 등과 같은 다양한 사용자 단말 장치로 구현될 수 있다.
감지부(110)는 사용자 단말 장치(100)를 제어하기 위한 사용자 터치 동작을 감지한다. 특히, 사용자가 보고자 하는 영역에 대해 지시자를 생성하기 위하여, 감지부(110)는 이진화된 텍스트 영상에 대한 사용자 터치 동작을 감지할 수 있다.
디스플레이부(120)는 제어부(130)의 제어에 따라 영상 데이터를 디스플레이한다. 특히, 디스플레이부(120)는 이진화된 텍스트 영상을 디스플레이할 수 있다. 이진화된 텍스트 영상에 대해 사용자 터치 동작이 감지된 경우, 디스플레이부(120)는 제어부(130)의 제어에 따라 사용자 터치 동작이 감지된 지점에 지시자를 디스플레이할 수 있다.
제어부(130)는 사용자 단말 장치(100)의 전반적인 동작을 제어한다. 특히, 이진화된 텍스트 영상에 사용자 터치 동작이 감지된 경우, 제어부(130)는 사용자 터치 동작이 감지된 지점에 지시자를 생성하고, 이진화된 텍스트 영상과 함께 지시자를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다.
구체적으로, 제어부(130)는 텍스트를 포함하는 텍스트 영상을 획득할 수 있다. 이때, 제어부(130)는 외부로부터 텍스트 영상을 수신할 수 있으며, 카메라를 이용하여 텍스트 영상을 촬영할 수 있다.
그리고, 제어부(130)는 획득된 텍스트 영상을 이진화할 수 있다. 특히, 제어부(130)는 텍스트 영상의 차영상을 이용하여 텍스트 영상을 이진화여 이진화된 텍스트 영상을 생성할 수 있다. 구체적으로, 제어부(130)는 텍스트 영상을 샘플링하여 샘플링 영상을 생성할 수 있다. 그리고, 제어부(130)는 샘플링 영상의 픽셀값의 평균값을 산출하고, 샘플링 영상의 각 픽셀값에 평균값을 뺀 차 영상을 생성할 수 있다. 그리고, 제어부(130)는 샘플링 영상을 복수의 블록으로 나누고, 차 영상을 이용하여 복수의 블록의 평균과 표준편차를 계산할 수 있다. 이때, 제어부(130)는 차 영상의 각 픽셀값을 적분하여 적분 영상을 생성하고, 적분 영상의 각 픽셀을 제곱한 제곱 적분 영상을 생성하며, 적분 영상 및 제곱 적분 영상을 이용하여 상기 복수의 블록의 평균과 표준편차를 계산할 수 있다. 그리고, 제어부(130)는 복수의 블록의 평균과 표준편차를 이용하여 상기 복수의 블록의 임계값을 산출하며, 임계값을 이용하여 샘플링 영상을 이진화할 수 있다.
상술한 바와 같이, 텍스트 영상의 차 영상을 이용하여 텍스트 영상을 이진화함으로써, 더욱 빠르고 효율적인 이진화가 가능해 질 수 있다. 이진화 방법에 대해서는 추후에 도 3 내지 도 4b를 참조하여 본 발명에 대해 더욱 상세히 설명하도록 한다.
그리고, 감지부(110)를 통해 이진화된 텍스트 영상에 대한 사용자 터치 동작이 감지된 경우, 제어부(130)는 사용자 터치 동작이 감지된 지점에 지시자를 생성하여 이진화된 텍스트 영상에 지시자를 함께 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 이때, 제어부(130)는 사람 손 모양의 지시자를 디스플레이하도록 디스플레이부(120)를 제어할 수 있다.
또한, 제어부(130)는 이진화된 텍스트 영상에 포함된 텍스트의 크기를 기설정된 크기로 조절하여 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 구체적으로, 제어부(130)는 이진화된 텍스트 영상에 포함된 텍스트의 크기를 판단할 수 있다. 그리고, 판단된 텍스트의 크기가 기설정된 크기보다 작은 경우, 제어부(130)는 이진화된 텍스트 영상에 포함된 텍스트를 기설정된 크기로 확대하여 디스플레이하도록 디스플레이부(120)를 제어할 수 있다. 그러나, 판단된 텍스트의 크기가 기설정된 크기보다 큰 경우, 제어부(130)는 이진화된 텍스트 영상에 포함된 텍스트를 기설정된 크기로 축소하여 디스플레이하도록 디스플레이부(120)를 제어할 수 있다.
즉, 사용자는 이진화된 텍스트 영상에 포함된 텍스트 크기를 기설정된 크기로 시청함으로써, 일정한 크기의 텍스트를 볼 수 있게 된다. 특히, 기설정된 크기의 텍스트가 저시력자가 확인하기에 가장 적절한 크기일 경우, 저시력자는 어떤 크기의 텍스트를 획득하더라도 가장 선명하고 보기좋은 텍스트를 제공받을 수 있게 된다.
한편, 본 발명의 일 실시예에 따른, 영상 획득부(110)는 카메라를 이용하여 텍스트가 포함된 문서를 촬영하여 텍스트 영상을 획득할 수 있다. 카메라를 이용하여 텍스트 영상을 촬영하는 경우, 제어부(130)는 촬영된 복수의 텍스트 영상 프레임을 이진화하고, 복수의 이진화된 텍스트 영상 프레임을 저장할 수 있다.
그리고, 기설정된 명령(예를 들어, 특정 버튼을 선택하는 명령)이 입력된 경우, 제어부(130)는 복수의 이진화된 텍스트 영상 프레임 중 블러링이 가장 작은 텍스트 영상 프레임을 판단하며, 판단된 텍스트 영상 프레임을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
상술한 바와 같이, 블러링 정도를 판단하여 블러링이 가장 작은 텍스트 영상 프레임을 사용자에게 제공함으로써, 사용자는 더욱 선명한 텍스트 영상을 제공받을 수 있게 된다.
또한, 제어부(130)는 촬영된 텍스트 영상 중 텍스트를 가리키는 사용자의 손가락이 디스플레이된 영역을 검출하고, 손가락이 디스플레이된 영역을 제외한 나머지 영역에 대해 이진화를 수행하며, 이진화된 나머지 영역과 손가락이 디스플레이된 영역을 합성하여 부분적으로 이진화된 텍스트 영상을 생성할 수 있다. 이때, 제어부(130)는 손가락이 디스플레이된 영역을 다른 색상으로 변경하거나 손가락을 다른 오브젝트로 변경할 수 있다.
상술한 바와 같이, 손가락이 디스플레이되 영역이 아닌 텍스트 영역에 대해서만 이진화를 수행함으로써, 더욱 빠른 이진화가 가능해 진다. 또한, 손가락이 디스플레이된 영역을 영상 처리를 통해 다른 영역과 구분되도록 표시하여 사용자가 손가락이 가리키는 영역을 더욱 정확히 확인할 수 있게 된다.
또한, 제어부(130)는 텍스트 영상에서 텍스트가 존재하는 텍스트 영역을 검출하고, 텍스트 영역에 대해서만 이진화를 수행할 수 있다. 그리고, 제어부(130)는 텍스트 영역 이외의 그림 영역, 그래프 영역 및 도형 영역을 검출하고, 텍스트 영역을 이진화하는 동안 그림 영역, 그래프 영역 및 도형 영역에 대해 이진화를 수행하지 않고, 텍스트 영역만 이진화된 텍스트 영상을 생성할 수 있다. 그리고, 그림 영역, 그래프 영역 및 도형 영역 중 하나가 터치된 경우, 제어부(130)는 터치된 영역의 크기를 조절하여 디스플레이하도록 디스플레이부(120)를 제어할 수 있다.
상술한 바와 같이, 텍스트 영상에 대해서만 이진화를 수행하여 더욱 빠른 이진화 처리가 가능해 지며, 사용자가 터치한 영역을 확대 또는 축소하여 표시해 줌으로써, 사용자가 터치된 영역을 더욱 빠르게 인지할 수 있게 된다.
이하에서는 도 2 내지 도 11b를 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다. 도 2는 본 발명의 일 실시예에 따른, 사용자 단말 장치(200)의 구성을 상세히 도시한 블럭도이다. 도 2에 도시된 바와 같이, 사용자 단말 장치(200)는 영상 획득부(210), 영상 처리부(220), 디스플레이부(230), 오디오 출력부(240), 저장부(250), 통신부(260), 감지부(270) 및 제어부(270)를 포함한다.
영상 획득부(210)는 다양한 방법으로 텍스트를 포함하는 텍스트 영상을 획득한다. 구체적으로, 영상 획득부(210)는 카메라를 구비하며, 카메라를 이용하여 텍스트를 촬영함으로써 텍스트 영상을 획득할 수 있다. 또한, 영상 획득부(210)는 외부(예를 들어, 서버 등)로부터 텍스트 영상을 수신하여 텍스트 영상을 획득할 수 있다.
영상 처리부(220)는 외부로부터 수신된 영상 데이터에 대한 영상 처리 작업을 수행한다. 구체적으로, 영상 처리부(220)는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
디스플레이부(230)는 다양한 소스로부터 입력된 영상 및 UI를 디스플레이한다. 한편, 디스플레이부(240)는 영상 획득부(210)에 획득된 텍스트 영상을 디스플레이할 수 있다. 이때, 디스플레이부(240)는 제어부(280)의 제어에 의해, 이진화된 텍스트 영상에 포함된 텍스트를 확대하여 디스플레이할 수 있다. 또한, 디스플레이부(240)는 사용자 터치 동작이 감지된 지점에 지시자를 디스플레이할 수 있다.
오디오 출력부(240)는 오디오 처리부(미도시)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다.
저장부(250)는 사용자 단말 장치(200)를 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(250)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 사용자 단말 장치(200)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다. 특히, 저장부(250)는 텍스트 영상을 이진화하기 위한 이진화 프로그램을 저장할 수 있다.
상술한 바와 같이, 저장부(250)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 사용자 단말 장치(200)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 사용자 단말 장치(200)가 태블릿 PC로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
통신부(260)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(260)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 특히, 통신부(260)는 외부로부터 텍스트 영상 데이터를 수신할 수 있다.
감지부(270)는 사용자 단말 장치(200)를 제어하기 위한 사용자 터치 동작을 감지한다. 특히, 감지부(270)는 터치 패널로 구현되어 디스플레이부(230) 상에 입력되는 사용자의 터치 동작을 감지할 수 있다.
제어부(280)는 저장부(250)에 저장된 각종 프로그램을 이용하여 사용자 단말 장치(200)의 전반적인 동작을 제어한다.
제어부(280)는 도 2에 도시된 바와 같이, RAM(281), ROM(282), 그래픽 처리부(283), 메인 CPU(284), 제1 내지 n 인터페이스(285-1 ~ 285-n), 버스(286)를 포함한다. 이때, RAM(281), ROM(282), 그래픽 처리부(283), 메인 CPU(284), 제1 내지 n 인터페이스(285-1 ~ 285-n) 등은 버스(286)를 통해 서로 연결될 수 있다.
ROM(282)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(284)는 ROM(282)에 저장된 명령어에 따라 저장부(250)에 저장된 O/S를 RAM(281)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(284)는 저장부(250)에 저장된 각종 어플리케이션 프로그램을 RAM(281)에 복사하고, RAM(281)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(283)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 포인터, 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(230)의 디스플레이 영역 내에 표시된다.
메인 CPU(284)는 저장부(250)에 액세스하여, 저장부(250)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(284)는 저장부(250)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(285-1 내지 285-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 제어부(280)는 영상 획득부(210)를 통해 텍스트를 포함하는 텍스트 영상을 획득한다. 이때, 제어부(280)는 영상 획득부(210)의 카메라를 통해 텍스트 문서를 촬영하여 텍스트 영상을 획득할 수 있다. 또한, 제어부(280)는 영상 획득(210)를 통해 외부로부터 텍스트 문서를 수신할 수 있다.
그리고, 제어부(280)는 수신된 텍스트 문서에 대한 이진화(Binarization)를 수행한다. 특히, 제어부(280)는 이진화 작업의 작업 속도를 높이고, 계산량을 줄이기 위하여 차영상을 이용하여 이진화를 수행할 수 있다. 텍스트 문서에 대한 이진화 작업에 대해서는 도 3 내지 도 4b를 참조하여 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른, 텍스트 문서에 대한 이진화 작업을 설명하기 위한 흐름도이다. 우선, 제어부(280)는 텍스트를 포함하는 텍스트 영상을 획득한다(S310). 이때, 제어부(280)는 텍스트 영상이 기설정된 크기(예를 들어, 4MB) 이상인 경우, 복수의 구역으로 나눌 수 있다.
그리고, 제어부(280)는 텍스트 영상을 샘플링하여 샘플링 영상을 생성한다(S320). 예를 들어, 제어부(280)는 계산 속도를 더욱 빠르게 하기 위하여 텍스트 영상을 1/2^n(예를 들어, 1/4 또는 1/16 또는 1/64 등)의 비율로 샘플링할 수 있다.
그리고, 제어부(280)는 샘플링 영상의 각 픽셀값의 평균값(pAverage)을 산출한다(S330).
그리고, 제어부(280)는 샘플링 영상의 각 픽셀값에서 산출된 평균값(pAverage)을 뺀 차영상을 생성한다(S340). 이때, 차영상의 픽셀값들은 0 또는 0과 가까운 값을 가지거나, 샘플링 영상의 픽셀값보다 현저히 작은 값을 가질 수 있다. 예를 들어, 도 4a의 좌측에 도시된 바와 같이, 샘플링 영상(410)의 픽셀값이 주어졌을 때, 제어부(280)는 도 4b의 좌측에 도시된 샘플링 영상의 픽셀값 각각에 대해 샘플링 영상의 픽셀값들의 평균값을 뺀 차영상(430)을 생성할 수 있다.
그리고, 제어부(280)는 차영상을 이용하여 적분 영상을 생성하고(S350), 적분 영상의 각 픽셀을 제곱한 제곱 적분 영상을 생성한다(S360).
그리고, 제어부(280)는 샘플링 영상을 복수의 블록으로 나누고, 적분 영상 및 제곱 적분 영상을 이용하여 각 블록에 해당하는 평균과 표준편차를 계산한다(S370). 이때, 평균 및 표준편차는 다음 프레임에 대한 샘플링 방법을 경정하는데 이용된다. 예를 들어, 샘플링된 영상의 표준 편차가 기설정된 값보다 높은 경우, 제어부(280)는 샘플링 비율을 낮추고, 샘플링된 영상의 표준 편차가 기설정된 값보다 작은 경우, 제어부(280)는 샘플링 비율을 높일 수 있다.
그리고, 제어부(280)는 각 블록의 평균과 표준 편차를 이용하여 이진화를 위한 블록 단위의 임계값을 산출한다(S380). 이때, 제어부(280)는 Sauvola 공식을 이용하여 블록 단위의 임계값을 산출할 수 있다. 또한, 제어부(280)는 샘플링 이외의 나머지 픽셀에 대해서는 선형적인 보간(linear interpolation)을 통해 임계값을 산출할 수 있다.
그리고, 제어부(280)는 임계값을 이용하여 텍스트 영상을 이진화한다(S390). 구체적으로, 제어부(280)는 해당 픽셀의 픽셀값이 임계값보다 큰 경우, 제1 색(예를 들어, 검은색)으로 표현하고, 해당 픽셀의 픽셀값이 임계값보다 작은 경우, 제2 색(예를 들어, 흰색)으로 표현할 수 있다.
상술한 바와 같이, 샘플링 영상의 차 영상을 이용하여 이진화 작업을 수행함으로써, 계산량이 감소되고, 계산속도가 현저히 증가할 수 있다. 구체적으로, 샘플링 영상을 이용하여 적분 영상을 생성하는 경우, 도 4a의 좌측에 도시된 바와 같이, 샘플링 영상(410)이 주어졌을 때, 도 4a의 우측에 도시된 바와 같은 적분 영상(420)이 계산된다. 즉, 적분 영상(420)의 픽셀값이 매우 크게 증가하게 된다. 그러나, 도 4b의 좌측에 도시된 바와 같이, 샘플링 영상(410)의 차영상(430)을 이용하는 경우, 도 4b의 우측에 도시된 바와 같은 적분 영상(440)이 산출될 수 있다. 이때, 차영상(430)을 이용하여 산출된 적분 영상(440)은 샘플링 영상(410)을 이용하여 산출된 적분 영상(420)에 비해 픽셀값이 현저히 작게 되므로, 계산량이 줄어들어 계산 속도가 빨리지게 된다.
텍스트 영상에 대한 이진화가 수행된 후, 감지부(270)를 통해 사용자의 터치 동작이 감지된 경우, 제어부(280)는 사용자 터치 동작이 감지된 지점을 가리키기 위한 지시자를 생성할 수 있다.
예를 들어, 도 5a에 도시된 바와 같이, 텍스트 영상의 제1 지점(510)에 대한 사용자 터치 동작이 감지된 경우, 제어부(280)는 사용자 터치 동작이 감지된 지점에 대한 좌표값을 산출하고, 산출된 좌표값에 사람 손 모양의 지시자(520)를 생성하며, 생성된 지시자(520)를 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
한편, 사용자가 특정 텍스트를 가리키는 사용자 터치 동작에 의해 생성되는 지시자는 사람 손 모양일 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 색 또는 사람 형태의 오브젝트로 구현될 수 있다. 구체적으로, 지시자는 도 6a에 도시된 바와 같이, 특정 색(예를 들어, 노란색 등)의 사람 손 모양(610)으로 구현될 수 있으며, 도 6b에 도시된 바와 같이, 펜 행태(620)로 구현될 수 있으며, 도 6c에 도시된 바와 같이, 밑줄 형태(630)로 구현될 수 있다.
또한, 제어부(280)는 이진화된 텍스트 영상에 포함된 텍스트의 크기를 기설정된 크기로 조절하고, 조절된 크기의 텍스트를 포함하는 텍스트 영상을 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
구체적으로, 제어부(280)는 이진화된 텍스트 영상에 포함된 텍스트의 크기를 판단할 수 있다. 그리고,판단된 텍스트의 크기가 상기 기설정된 크기보다 작은 경우, 제어부(280)는 이진화된 텍스트 영상에 포함된 텍스트를 기설정된 크기로 확대하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다. 구체적으로, 도 7a에 도시된 바와 같이, 제1 크기(예를 들어, 7)의 텍스트를 획득한 경우, 제어부(280)는 텍스트의 크기를 판단하고, 판단된 텍스트의 크기가 기설정된 크기(예를 들어, 10)보다 큰지 여부를 판단할 수 있다. 획득된 텍스트 영상에 포함된 텍스트의 크기가 기설정된 크기보다 작으므로, 제어부(280)는 도 7b에 도시된 바와 같이, 획득된 텍스트 영상에 포함된 텍스트의 크기를 기설정된 크기로 확대하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
그러나, 판단된 텍스트의 크기가 상기 기설정된 크기보다 큰 경우, 제어부(280)는 이진화된 텍스트 영상에 포함된 텍스트를 기설정된 크기로 축소하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다. 구체적으로, 도 8a에 도시된 바와 같이, 제2 크기(예를 들어, 13)의 텍스트를 획득한 경우, 제어부(280)는 텍스트의 크기를 판단하고, 판단된 텍스트의 크기가 기설정된 크기(예를 들어, 10)보다 큰지 여부를 판단할 수 있다. 획득된 텍스트 영상에 포함된 텍스트의 크기가 기설정된 크기보다 크므로, 제어부(280)는 도 8b에 도시된 바와 같이, 획득된 텍스트 영상에 포함된 텍스트의 크기를 기설정된 크기로 확대하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
또한, 제어부(280)는 사용자 터치 동작이 감지된 지점에 위치하는 텍스트의 크기만을 기설정된 크기로 조절하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
구체적으로, 도 9a에 도시된 바와 같이, 이진화된 텍스트 영상이 디스플레이되는 동안 사용자가 제1 지점을 터치하는 사용자 터치 동작이 감지된 경우, 제어부(280)는 도 9b에 도시된 바와 같이, 사용자 터치 동작이 감지된 지점에 위치하는 텍스트와 같은 열에 위치하는 텍스트들을 확대하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
또한, 카메라를 이용하여 텍스트 영상을 촬영함으로써, 텍스트 영상을 획득하는 경우, 제어부(280)는 복수의 이진화된 텍스트 영상 프레임을 저장부(250)에 저장할 수 있다. 이때, 저장부(250)는 기설정된 구간의 영상 프레임을 저장하는 버퍼로 구현될 수 있다.
그리고, 기설정된 명령이 입력된 경우, 제어부(280)는 복수의 이진화된 텍스트 영상 프레임 중 블러링이 가장 작은 텍스트 영상 프레임을 판단하며, 판단된 텍스트 영상 프레임을 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
구체적으로, 사용자가 카메라를 이용하여 텍스트 영상을 촬영하는 동안 블러링이 가작 작은 텍스트 영상을 획득하기 위하여, 도 10a에 도시된 바와 같이, 정지 버튼(1010)을 선택하는 경우, 제어부(280)는 기설정된 구간 동안 저장된 복수의 텍스트 영상 프레임을 이용하여 블러링이 가장 작은 텍스트 영상 프레임을 판단할 수 있다.
본 발명의 일 실시예로, 제어부(280)는 복수의 텍스트 영상 프레임에서 텍스트 영역을 검출하고, 검출된 텍스트 영역의 픽셀 개수를 판단할 수 있다. 그리고, 제어부(280)는 복수의 텍스트 영상 프레임 중 특정 색(예를 들어, 검정색)의 픽셀 개수가 가장 작은 텍스트 영상 프레임을 블러링이 가장 작은 텍스트 영상 프레임을 판단할 수 있다. 또 다른 실시예로, 제어부(280)는 텍스트 영역의 특정 글자에 대한 검정색 픽셀의 개수를 계산하고, 특정 글자가 가지는 픽셀 개수가 가장 작은 수를 가지는 텍스트 영상 프레임을 블러링이 가장 작은 텍스트 영상 프레임을 판단할 수 있다. 또 다른 실시예로, 제어부(280)는 특정 영역 또는 전체 영역에 대해 광학 문자 인식(optical character recognition, OCR)을 수행하고, 광학 문자 인식을 수행한 경우, 인식된 문자 수가 가장 많은 텍스트 영상 프레임을 블러링이 가장 작은 텍스트 영상 프레임을 판단할 수 있다. 또한, 제어부(280) 상술한 세 가지 방법 중 적어도 두 개 이상을 이용하여 블러링이 가장 작은 텍스트 영상 프레임을 판단할 수 있다.
그리고, 제어부(280)는 블러링이 가장 작은 텍스트 영상 프레임을 디스플레이하도록 디스플레이부(230)를 제어할 수 있다. 구체적으로, 제어부(280)는 도 10b 및 도 10c 중 블러링이 작은 도 10c의 텍스트 영상 프레임을 선택하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
또한, 제어부(280)는 촬영된 텍스트 영상 중 텍스트를 가리키는 사용자 손 영역을 검출하고, 사용자의 손 영역을 제외한 나머지 영역에 대해 이진화를 수행할 수 있다. 그리고, 제어부(280)는 이진화된 나머지 영역과 사용자 손 영역을 합성하여 부분적으로 이진화된 텍스트 영상을 생성할 수 있다.
구체적으로, 텍스트 문서를 촬영하여 텍스트 영상을 읽을 때, 어느 부분을 읽고 있는지 파악하기 힘든 경우가 많다. 따라서, 이러한 문제를 방지하고자 카메라를 이용하여 텍스트 문서를 촬영하는 경우, 사용자의 손가락이 가리키는 사람의 손 영역을 검출하고, 사람의 손 영역에 대해서는 이진화를 하지 않고, 사람 손의 원래 색을 그래도 표현함으로써, 사용자가 어느 부분을 읽고 있는지 쉽게 확인할 수 있게 된다. 본 발명의 일 실시예에서는 사람 손을 원래 색으로 표현할 수 있으나, 이는 일 실시예에 불과할 뿐, 제어부(280)는 사람 손을 다른 색으로 표현하거나 다른 오브젝트로 변경하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
또한, 제어부(280)는 텍스트 영상에서 텍스트가 존재하는 텍스트 영역을 검출하고, 텍스트 영역에 대해 이진화를 수행할 수 있다. 그리고, 제어부(280)는 텍스트 영역 이외의 그림 영역, 그래프 영역 및 도형 영역을 검출하고, 텍스트 영역을 이진화하는 이진화하는 동안 그림 영역, 그래프 영역 및 도형 영역에 대해 이진화를 수행하지 않고 텍스트 영역만 이진화된 텍스트 영상을 생성할 수 있다. 이때, 제어부(280)는 텍스트 영역 이외의 그림 영역, 그래프 영역 및 도형 영역을 원래 색 그래도 표현하거나 기설정된 색으로 표현할 수 있다.
그리고, 그림 영역, 그래프 영역 및 도형 영역 중 하나에 사용자 터치 동작이 감지된 경우, 제어부(280)는 사용자 터치 동작이 감지된 영역의 크기를 조절하여 디스플레이하도록 디스플레이부(230)를 제어할 수 있다. 구체적으로, 도 11a에 도시된 바와 같이, 제1 그래프(1110)를 포함하는 텍스트 영상에서 제1 지점(1120)을 터치하는 사용자 터치 동작이 감지된 경우, 제어부(280)는 도 11b에 도시된 바와 같이, 제1 그래프(1110)를 확대하여 확대된 크기의 제1 그래프(1130)를 디스플레이하도록 디스플레이부(230)를 제어할 수 있다.
상술한 바와 같이, 본 발명의 다양한 실시예에 의해, 사용자는 더욱 선명하고 정확하게 텍스트 영상을 시청할 수 있게 된다.
이하에서는 도 12 내지 도 17을 참조하여 본 발명의 다양한 실시예에 따른, 사용자 단말 장치(100)의 제어 방법을 설명하기 위한 흐름도들이다. 도 12는 본 발명의 일 실시예에 따른, 사용자 단말 장치(100)가 지시자를 생성하는 방법을 설명하기 위한 흐름도이다.
우선, 사용자 단말 장치(200)는 텍스트를 포함하는 텍스트 영상을 획득한다(S1210). 이때, 사용자 단말 장치(200)는 카메라를 이용하여 텍스트 문서를 촬영함으로써 텍스트 영상을 획득할 수 있고, 외부(예를 들어, 서버)로부터 텍스트 영상을 획득할 수 있다.
그리고, 사용자 단말 장치(200)는 텍스트 영상을 이진화한다(S1220). 이때, 사용자 단말 장치(200)는 도 3에서 설명한 바와 같이, 차영상을 이용하여 텍스트 영상에 대한 이진화를 수행할 수 있다.
사용자 단말 장치(200)는 이진화된 텍스트 영상에 대한 사용자의 터치 동작을 감지한다(S1230).
사용자 단말 장치(200)는 사용자 터치 동작이 감지된 지점을 가리키기 위한 지시자를 생성하여 이진화된 텍스트 영상에 지시자를 함께 디스플레이한다(S1240). 이때, 사용자 단말 장치(200)는 사용자 터치 동작이 감지된 지점에 사람 손 모양, 막대기 모양 등과 같은 지시지를 디스플레이할 수 있다.
상술한 바와 같이, 사용자가 가리키는 지점에 지시자를 함께 디스플레이함으로써, 사용자는 현재 읽고 있는 부분을 더욱 쉽게 확인할 수 있게 된다.
도 13은 본 발명의 일 실시예에 따른, 사용자 단말 장치(200)가 획득된 텍스트 영상을 이진화하여 기설정된 크기로 조절하는 실시예를 설명하기 위한 흐름도이다.
우선, 사용자 단말 장치(200)는 텍스트를 포함하는 텍스트 영상을 촬영한다(S1310).
그리고, 사용자 단말 장치(200)는 텍스트 영상을 이진화한다(S1320).
그리고, 사용자 단말 장치(200)는 텍스트 영상에 포함된 텍스트의 방향 및 크기를 추정한다(S1330). 구체적으로, 사용자 단말 장치(200)는 기준 각도를 회전하며 기준 각도와 수직인 방향의 텍스트에 해당하는 픽셀들의 히스토그램을 계산할 수 있다. 그리고, 사용자 단말 장치(200)는 히스토그램의 형태가 텍스트 영역과 배경 영역을 번갈아 가며 나타나는 기준각을 선택한다. 그리고, 사용자 단말 장치(200)는 선택된 기준각을 이용하여 텍스트 문장의 방향을 결정한다. 그리고, 사용자 단말 장치(200)는 히스토그램에서 문자에 해당하는 부분에 대한 크기를 측정하고, 측정된 사이즈를 텍스트 사이즈로 결정할 수 있다.
그리고, 사용자 단말 장치(200)는 텍스트를 기설정된 크기로 저절한다(S1340). 구체적으로, 사용자 단말 장치(200)는 S1330에서 설명한 바와 같이, 텍스트의 크기를 판단하고, 판단된 텍스트의 크기가 기설정된 크기보다 작은지 여부를 판단한다. 그리고, 판단된 텍스트의 크기가 기설정된 크기보다 작은 경우, 사용자 단말 장치(200)는 이진화된 텍스트 영상에 포함된 텍스트를 기설정된 크기로 확대하며, 판단된 텍스트의 크기가 상기 기설정된 크기보다 큰 경우, 사용자 단말 장치(200)는 이진화된 텍스트 영상에 포함된 텍스트를 기설정된 크기로 축소할 수 있다. 이때, 기설정된 크기는 제조시 정해질 수 있으나, 이는 일 실시예에 불과할 뿐, 사용자에 의해 설정될 수 있다.
그리고, 사용자 단말 장치(200)는 크기가 조절된 텍스트를 포함하는 텍스트 영상을 디스플레이한다(S1350)
상술한 바와 같이, 촬영된 텍스트 영상의 크기를 기설정된 크기로 조절하여 디스플레이함으로써, 사용자 단말 장치(200)는 사용자가 시청하기 편한 크기의 텍스트를 사용자에게 제공할 수 있게 된다.
도 14는 본 발명의 일 실시예에 따른, 사용자 단말 장치(200)가 블러링 정도를 판단하여 텍스트 영상을 제공하는 실시예를 설명하기 위한 흐름도이다.
우선, 사용자 단말 장치(200)는 최근 촬영된 복수의 텍스트 영상 프레임을 이진화한다(S1410).
그리고, 사용자 단말 장치(200)는 이진화된 복수의 텍스트 영상 프레임을 저장한다(S1420).
그리고, 사용자 단말 장치(200)는 기설정된 사용자 명령이 입력되었는지 여부를 판단한다(S1430). 이때, 기설정된 사용자 명령은 디스플레이 화면에 디스플레이된 정지 버튼을 선택하는 사용자 명령일 수 있다.
기설정된 사용자 명령이 입력된 경우(S1430-Y), 사용자 단말 장치(200)는 이진화된 복수의 텍스트 영상 프레임으 중 블러링 정도가 가장 작은 텍스트 영상 프레임을 선택한다(S1440). 이때, 사용자 단말 장치(200)는 복수의 텍스트 영상 프레임 중 특정 색(예를 들어, 검정색)의 픽셀 개수가 가장 작은 텍스트 영상 프레임을 블러링이 가장 작은 텍스트 영상 프레임을 판단할 수 있다. 또한, 사용자 단말 장치(200)는 텍스트 영역의 특정 글자에 대한 검정색 픽셀의 개수를 계산하고, 특정 글자가 가지는 픽셀 개수가 가장 작은 수를 가지는 텍스트 영상 프레임을 블러링이 가장 작은 텍스트 영상 프레임을 판단할 수 있다. 또한, 사용자 단말 장치(200)는 특정 영역 또는 전체 영역에 대해 광학 문자 인식(optical character recognition, OCR)을 수행하고, 인식된 문자 수가 가장 많은 텍스트 영상 프레임을 블러링이 가장 작은 텍스트 영상 프레임을 판단할 수 있다
그리고, 사용자 단말 장치(200)는 선택된 텍스트 영상 프레임을 디스플레이한다(S1450).
상술한 바와 같이, 블러링이 가장 작은 텍스트 영상 프레임을 디스플레이함으로써, 사용자는 선명한 텍스트 영상을 제공받을 수 있게 된다.
도 15는 본 발명의 일 실시예에 따른, 사용자 단말 장치(200)가 부분적으로 이진화를 수행하는 실시예를 설명하기 위한 흐름도이다.
우선, 사용자 단말 장치(200)는 텍스트를 포함하는 텍스트 영상을 촬영한다(S1510).
그리고, 사용자 단말 장치(200)는 텍스트 영상 중 텍스트를 가리키는 손 영역을 검출한다(S1520).
그리고, 사용자 단말 장치(200)는 사용자의 손 영역을 제외한 나머지 영역에 대해 이진화를 수행한다(S1530). 즉, 사용자 단말 장치(200)는 촬영된 텍스트 영상 중 특정 텍스트를 가리키는 사용자의 손 영역을 제외한 텍스트 영역에 대해 이진화를 수행할 수 있다.
그리고, 사용자 단말 장치(200)는 이진화된 영역과 사용자의 손 영역을 합성한다(S1540). 이때, 사용자 단말 장치(200)는 사용자의 손 영역을 촬영된 영상 그래도 표현할 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 색으로 표현하거나 다른 오브젝트로 대체하여 디스플레이할 수 있다.
그리고, 사용자 단말 장치(200)는 합성된 텍스트 영상을 화면에 디스플레이한다(S1550).
상술한 바와 같이, 사용자가 가리키는 부분을 이진화하지 않고 디스플레이함으로써, 불필요한 이진화 작업을 방지할 수 있으며, 사용자가 가리키는 부분을 더욱 용이하게 확인할 수 있게 된다.
도 16은 본 발명의 일 실시예에 따른, 사용자 단말 장치(200)가 텍스트 영역에 대해서만 이진화를 수행하는 실시예를 설명하기 위한 흐름도이다.
우선, 사용자 단말 장치(200)는 텍스트를 포함하는 텍스트 영상을 획득한다(S1610).
그리고, 사용자 단말 장치(200)는 텍스트가 디스플레이된 텍스트 영역을 검출한다(S1620).
그리고, 사용자 단말 장치(200)는 텍스트 영역에 대해서만 이진화를 수행한다(S1630). 즉, 사용자 단말 장치(200)는 텍스트 영역을 제외한, 그림 영역, 그래프 영역, 표 영역 등과 같은 다른 영역에 대해서는 이진화를 수행하지 않는다.
그리고, 사용자 단말 장치(20)는 이진화된 텍스트 영상을 디스플레이한다(S1640).
상술한 바와 같이, 텍스트 영역에 대해서만 이진화를 수행함으로써, 사용자 단말 장치(200)는 불필요한 이진화 작업을 방지하여 계산량을 줄일 수 있게 된다.
도 17은 본 발명의 일 실시예에 따른, 사용자 단말 장치(200)가 사용자 터치 동작이 감지된 지점을 확대하여 제공하는 실시예를 설명하기 위한 흐름도이다.
우선, 사용자 단말 장치(200)는 텍스트를 포함하는 텍스트 영상을 획득한다(S1710).
그리고, 사용자 단말 장치(200)는 그림 영역, 그래프 영역 및 도형 영역을 검출한다(S1720).
그리고, 사용자 단말 장치(200)는 그림 영역, 그래프 영역 및 도형 영역을 제외한 나머지 영역에 대해서만 이진화를 수행하낟(S1730). 즉, 사용자 단말 장치(200)는 그림 영역, 그래프 영역 및 도형 영역에 대해서는 이진화를 수행하지 않는다.
그리고, 사용자 단말 장치(200)는 그림 영역, 그래프 영역 및 도형 영역의 외각 경계 영역을 추출하여 영역의 범위를 판단한다(S1740).
그리고, 사용자 단말 장치(200)는 그림 영역, 그래프 영역 및 도형 영역 중 하나를 터치하는 사용자 터치 동작을 감지한다(S1750). 즉, 사용자 단말 장치(200)는 추출된 영역 내에 사용자 터치된 동작이 이루어졌는지 여부를 판단할 수 있다.
사용자 터치 동작이 감지된 경우(S1750-Y), 사용자 단말 장치(200)는 터치된 영역을 확대하여 디스플레이한다(S1760).
상술한 바와 같이, 텍스트 영역 이외에 사용자가 터치한 지점에 대해 확대하여 제공함으로써, 사용자는 텍스트 영역 이외에 자신이 보고자 하는 영역을 더욱 자세히 확인할 수 있게 된다.
본 실시예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다.　 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다.　 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다.　 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다.　 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다.　 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다.　 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.　 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.　 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.　 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다.　 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.　 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.　
본 명세서(특히 특허청구범위)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다.　 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.　 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다.　 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다.　 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다.　 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
110, 210: 영상 획득부　　　　　　　　　　　　　　　120, 230: 디스플레이부
130, 280: 제어부　　　　　　　　　　　　　　　　　　　　220: 영상 처리부
240: 오디오 출력부　 　　　　　　　　　　　　　　　　250: 저장부
260: 통신부 270: 통신부

Claims (20)

  1. 사용자 단말 장치에 있어서,
    디스플레이;
    사용자의 터치 동작을 감지하는 감지부; 및
    텍스트가 포함된 텍스트 영상을 획득하고,
    상기 텍스트 영상에 대한 이진화를 수행하여 이진화된 텍스트 영상을 획득하며,
    상기 감지부를 통해 상기 이진화된 텍스트 영상에 대한 사용자의 터치 동작이 감지된 경우, 상기 사용자의 터치 동작이 감지된 지점을 가리키기 위한 지시자를 생성하고,
    상기 이진화된 텍스트 영상 및 상기 생성된 지시자를 표시하도록 상기 디스플레이를 제어하는 프로세서; 를 포함하고,
    상기 프로세서는,
    상기 텍스트 영상 중 상기 텍스트를 가리키는 사용자의 손에 대응되는 영역을 검출하고,
    상기 사용자의 손에 대응되는 영역을 제외한 나머지 영역에 대해 이진화를 수행하며,
    상기 이진화된 나머지 영역과 상기 사용자의 손 영역을 합성하여 상기 이진화된 텍스트 영상을 생성하는 사용자 단말 장치.
  2. 삭제
  3. 제1항에 있어서,
    텍스트를 포함하는 텍스트 영상을 획득하는 영상 획득부;를 더 포함하고,
    상기 프로세서는,
    영상 획득부를 통해 획득된 텍스트 영상을 이진화하여 이진화된 텍스트 영상을 생성하는 것을 특징으로 하는 사용자 단말 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 텍스트 영상을 샘플링하여 샘플링 영상을 생성하고,
    상기 샘플링 영상의 픽셀값의 평균값을 산출하고, 상기 샘플링 영상의 각 픽셀값에 상기 평균값을 뺀 차 영상을 생성하며,
    상기 샘플링 영상을 복수의 블록으로 나누고, 상기 차 영상을 이용하여 상기 복수의 블록의 평균과 표준편차를 계산하고,
    상기 복수의 블록의 평균과 표준편차를 이용하여 상기 복수의 블록의 임계값을 산출하며,
    상기 임계값을 이용하여 상기 샘플링 영상을 이진화하는 것을 특징으로 하는 사용자 단말 장치.
  5. 제3항에 있어서,
    상기 영상 획득부는,
    카메라를 이용하여 텍스트가 포함된 문서를 촬영하여 텍스트 영상을 획득하는 것을 특징으로 하는 사용자 단말 장치.
  6. 제5항에 있어서,
    저장부;를 더 포함하며,
    상기 프로세서는,
    복수의 이진화된 텍스트 영상 프레임을 상기 저장부에 저장하고, 기설정된 명령이 입력된 경우, 복수의 이진화된 텍스트 영상 프레임 중 블러링이 가장 작은 텍스트 영상 프레임을 판단하며, 상기 판단된 텍스트 영상 프레임을 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 사용자 단말 장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 터치 동작이 감지된 지점에 사용자 손가락 형상 또는 막대기 형상의 지시자를 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 사용자 단말 장치.
  9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈
    제3항에 있어서,
    상기 프로세서는,
    상기 텍스트 영상에서 텍스트가 존재하는 텍스트 영역을 검출하고, 상기 텍스트 영역에 대해 이진화를 수행하는 것을 특징으로 하는 사용자 단말 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 텍스트 영역 이외의 그림 영역, 그래프 영역 및 도형 영역을 검출하고, 상기 텍스트 영역을 이진화하는 동안 상기 그림 영역, 그래프 영역 및 도형 영역에 대해 이진화를 수행하지 않고, 상기 텍스트 영역만 이진화된 텍스트 영상을 생성하며, 상기 그림 영역, 그래프 영역 및 도형 영역 중 하나에 상기 사용자의 터치 동작이 감지된 경우, 상기 사용자의 터치 동작이 감지된 영역의 크기를 조절하여 디스플레이하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 사용자 단말 장치.
  11. 사용자 단말 장치의 제어 방법에 있어서,
    텍스트를 포함하는 텍스트 영상을 획득하는 단계;
    상기 텍스트 영상에 대한 이진화를 수행하여 이진화된 텍스트 영상을 획득하는 단계;
    상기 이진화된 텍스트 영상에 대한 사용자의 터치 동작을 감지하는 단계;
    상기 사용자의 터치 동작이 감지된 지점을 가리키기 위한 지시자를 생성하여 상기 이진화된 텍스트 영상에 상기 지시자를 디스플레이하는 단계;를 포함하고,
    상기 이진화된 텍스트 영상을 획득하는 단계는,
    상기 텍스트 영상 중 상기 텍스트를 가리키는 사용자의 손에 대응되는 영역을 검출하는 단계;
    상기 사용자의 손에 대응되는 영역을 제외한 나머지 영역에 대해 이진화를 수행하는 단계; 및
    상기 이진화된 나머지 영역과 상기 사용자의 손 영역을 합성하여 상기 이진화된 텍스트 영상을 생성하는 단계; 를 포함하는 제어 방법.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서,
    상기 이진화하는 단계는,
    상기 텍스트 영상을 샘플링하여 샘플링 영상을 생성하는 단계;
    상기 샘플링 영상의 픽셀값의 평균값을 산출하고, 상기 샘플링 영상의 각 픽셀값에 상기 평균값을 뺀 차 영상을 생성하는 단계;
    상기 샘플링 영상을 복수의 블록으로 나누고, 상기 차 영상을 이용하여 상기 복수의 블록의 평균과 표준편차를 계산하는 단계;
    상기 복수의 블록의 평균과 표준편차를 이용하여 상기 복수의 블록의 임계값을 산출하는 단계;
    상기 임계값을 이용하여 상기 샘플링 영상을 이진화하는 하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 획득하는 단계는,
    카메라를 이용하여 텍스트가 포함된 문서를 촬영하여 텍스트 영상을 획득하는 것을 특징으로 하는 제어 방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제15항에 있어서,
    기설정된 명령이 입력된 경우, 기설정된 기간동안 저장된 복수의 이진화된 텍스트 영상 프레임 중 블러링이 가장 작은 텍스트 영상 프레임을 판단하는 단계; 및
    상기 판단된 텍스트 영상 프레임을 표시하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  17. 삭제
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항에 있어서,
    상기 사용자의 터치 동작이 감지된 지점에 사용자 손가락 형상 또는 막대기 형상의 지시자를 표시하는 단계; 를 더 포함하는 것을 특징으로 하는 제어 방법.
  19. 제11항에 있어서,
    상기 이진화하는 단계는,
    상기 텍스트 영상에서 텍스트가 존재하는 텍스트 영역을 검출하고, 상기 텍스트 영역에 대해 이진화를 수행하는 것을 특징으로 하는 제어 방법.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제19항에 있어서,
    상기 텍스트 영역 이외의 그림 영역, 그래프 영역 및 도형 영역을 검출하는 단계;
    상기 텍스트 영역을 이진화하는 동안 상기 그림 영역, 그래프 영역 및 도형 영역에 대해 이진화를 수행하지 않고, 상기 텍스트 영역만 이진화된 텍스트 영상을 생성하는 단계; 및
    상기 그림 영역, 그래프 영역 및 도형 영역 중 하나에 상기 사용자의 터치 동작이 감지된 경우, 상기 사용자의 터치 동작이 감지된 영역의 크기를 조절하여 디스플레이하는 단계;를 포함하는 것을 특징으로 하는 제어 방법.
KR1020140178684A 2014-12-11 2014-12-11 사용자 단말 장치 및 이의 제어 방법 KR102448565B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140178684A KR102448565B1 (ko) 2014-12-11 2014-12-11 사용자 단말 장치 및 이의 제어 방법
US14/958,166 US10242279B2 (en) 2014-12-11 2015-12-03 User terminal device and method for controlling the same
PCT/KR2015/013558 WO2016093653A1 (en) 2014-12-11 2015-12-11 User terminal device and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140178684A KR102448565B1 (ko) 2014-12-11 2014-12-11 사용자 단말 장치 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20160071218A KR20160071218A (ko) 2016-06-21
KR102448565B1 true KR102448565B1 (ko) 2022-09-29

Family

ID=56107753

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140178684A KR102448565B1 (ko) 2014-12-11 2014-12-11 사용자 단말 장치 및 이의 제어 방법

Country Status (3)

Country Link
US (1) US10242279B2 (ko)
KR (1) KR102448565B1 (ko)
WO (1) WO2016093653A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5875551B2 (ja) * 2013-05-24 2016-03-02 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN112929778B (zh) * 2021-02-10 2022-11-22 歌尔科技有限公司 一种无线耳机控制方法、装置、电子设备及无线耳机

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738496B1 (en) 1999-11-01 2004-05-18 Lockheed Martin Corporation Real time binarization of gray images
JP4118749B2 (ja) * 2002-09-05 2008-07-16 株式会社リコー 画像処理装置、画像処理プログラムおよび記憶媒体
KR100947954B1 (ko) * 2003-02-25 2010-03-15 오리온피디피주식회사 플라즈마 디스플레이 패널
JP3906221B2 (ja) 2003-11-26 2007-04-18 松下電器産業株式会社 画像処理方法及び画像処理装置
KR100633443B1 (ko) 2005-02-23 2006-10-13 인천대학교 산학협력단 적응적 지역 이진화를 이용한 자동차 번호판 인식 시스템및 그 방법
KR20080070244A (ko) 2007-01-25 2008-07-30 (주)마무리안디자인 움직임 추정방법
KR100908326B1 (ko) 2007-10-15 2009-07-17 주식회사 티에스지엠 영상 이진화 장치 및 방법
US8787690B2 (en) * 2008-11-12 2014-07-22 Abbyy Development Llc Binarizing an image
US20120131520A1 (en) * 2009-05-14 2012-05-24 Tang ding-yuan Gesture-based Text Identification and Selection in Images
US8520983B2 (en) 2009-10-07 2013-08-27 Google Inc. Gesture-based selective text recognition
US20110231796A1 (en) 2010-02-16 2011-09-22 Jose Manuel Vigil Methods for navigating a touch screen device in conjunction with gestures
KR101219544B1 (ko) * 2011-05-25 2013-01-09 주식회사 파워이십일 배전선로의 최적 연계 해석 방법
ES1077746Y (es) * 2012-08-17 2012-12-26 Bonet Hernan Ruiz Lampara decorativa de accion relajante
US9317764B2 (en) 2012-12-13 2016-04-19 Qualcomm Incorporated Text image quality based feedback for improving OCR
US8965129B2 (en) 2013-03-15 2015-02-24 Translate Abroad, Inc. Systems and methods for determining and displaying multi-line foreign language translations in real time on mobile devices
US9087272B2 (en) * 2013-07-17 2015-07-21 International Business Machines Corporation Optical match character classification

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
미국공개특허 제2004-0076337호(2004.04.22.) 1부.*
미국공개특허 제2012-0131520호(2012.05.24.) 1부.*
미국공개특허 제2014-0297256호(2014.10.02.) 1부.*

Also Published As

Publication number Publication date
WO2016093653A1 (en) 2016-06-16
KR20160071218A (ko) 2016-06-21
US10242279B2 (en) 2019-03-26
US20160171333A1 (en) 2016-06-16

Similar Documents

Publication Publication Date Title
US11501499B2 (en) Virtual surface modification
CN105874776B (zh) 图像处理设备和方法
US10171731B2 (en) Method and apparatus for image processing
KR102328098B1 (ko) 전자장치의 초점 검출 장치 및 방법
EP3110131B1 (en) Method for processing image and electronic apparatus therefor
US11775165B2 (en) 3D cutout image modification
US9251404B2 (en) Name bubble handling
JP2018509644A (ja) テキストベースの画像サイズ変更
KR20160103398A (ko) 이미지의 품질 측정 방법 및 장치
US10628034B2 (en) User terminal device and method for controlling user terminal device thereof
US20180213147A1 (en) Information processing apparatus having camera function and producing guide display to capture character recognizable image, control method thereof, and storage medium
CN106254807B (zh) 提取静止图像的电子设备和方法
US20150262330A1 (en) Image display apparatus and image display method
KR20160064040A (ko) 정보를 선택하는 방법 및 디바이스
JP6170241B2 (ja) 文字特定装置、および制御プログラム
KR102448565B1 (ko) 사용자 단말 장치 및 이의 제어 방법
EP3186953B1 (en) Method and apparatus for determining the capture mode following capture of the content
US20160307349A1 (en) Communication support system, information processing apparatus, control method, and storage medium
KR102372711B1 (ko) 영상 촬영 장치 및 이의 제어 방법
JP2015032261A (ja) 表示装置および制御方法
CN113056905B (zh) 用于拍摄类长焦图像的系统和方法
JP2014222817A (ja) 画像表示装置、画像拡大表示方法およびプログラム
KR102124601B1 (ko) 피사체의 거리를 추출하여 정보를 표시하는 전자 장치 및 방법
KR20190063803A (ko) 오브젝트 이미지 합성 방법 및 장치
WO2020107187A1 (en) Systems and methods for taking telephoto-like images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right