KR20150026050A - 이미지 처리 방법 및 그 전자 장치 - Google Patents

이미지 처리 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20150026050A
KR20150026050A KR20130104367A KR20130104367A KR20150026050A KR 20150026050 A KR20150026050 A KR 20150026050A KR 20130104367 A KR20130104367 A KR 20130104367A KR 20130104367 A KR20130104367 A KR 20130104367A KR 20150026050 A KR20150026050 A KR 20150026050A
Authority
KR
South Korea
Prior art keywords
image
electronic device
read
information
cradle
Prior art date
Application number
KR20130104367A
Other languages
English (en)
Other versions
KR102072542B1 (ko
Inventor
백인호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130104367A priority Critical patent/KR102072542B1/ko
Priority to US14/282,335 priority patent/US9413969B2/en
Publication of KR20150026050A publication Critical patent/KR20150026050A/ko
Application granted granted Critical
Publication of KR102072542B1 publication Critical patent/KR102072542B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/04—Supports for telephone transmitters or receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1456—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

본 발명의 다양한 실시예에 따르면, 상기 전자 장치가 적어도 하나의 가이드 영역을 포함하는 거치대에 장착되었는지 확인하는 동작과, 상기 가이드 영역에 포함된 이미지를 카메라 장치에 의해 독취하는 동작 및 상기 독취된 이미지 또는 이미지와 관련된 정보를 출력하는 동작을 포함하는 전자 장치의 이미지 처리 방법 및 그 전자 장치를 제공함으로써, 간단한 조작 방식으로 손쉽게 이미지를 처리하여 출력 정보를 사용자에게 제공할 수 있기 때문에 특히, 시각장애인과 문맹인에게 유리하며, 전자 장치의 사용 편의성이 증대되고 장치 신뢰성이 향상될 수 있다.

Description

이미지 처리 방법 및 그 전자 장치{IMAGE PROCESSING METHOD AND ELECTRONIC DEVICE THEREOF}
본 발명은 전자 장치에 관한 것이고, 예를 들어, 카메라 장치에 의해 촬영된 영상을 처리하기 위한 방법 및 그 전자 장치에 관한 것이다.
전자 산업이 발전함에 따라, 휴대폰, 태블릿 PC, 멀티미디어 재생기, 팜 콘솔(palm console), 개인정보단말기(PDA), GPS 항법장치 또는 원격 제어 장치 등과 같은 다양한 전자 장치가 이미 사람들의 일상 생활의 필수품이 되었고, 사람들은 자주 이 전자 장치들을 사용해 웹 서핑, 정보 출력, 이미지 촬영 및 처리 등과 같은 다양한 기능을 수행한다.
전자 장치는 대응 촬상 소자를 포함하는 적어도 하나의 카메라 장치를 구비할 수 있으며, 이러한 카메라 장치에 의해 정지 영상 및 동영상을 촬영하기도 하며, 촬영된 이미지를 다양한 방식으로 편집하기에 이르렀다.
한편, 전자 장치는 다양한 방식으로 이미지 처리를 위한 방법이 개선되고 있으나, 시각 장애인들을 위한 이미지 처리 방안은 전혀 고려되지 않고 있다.
본 발명의 다양한 실시예들은 간단한 조작 방식에 의해 이미지를 처리할 수 있는 이미지 처리 방법 및 그 전자 장치를 제공할 수 있다.
본 발명의 다양한 실시예들은 대상물의 이미지를 개선하여 시각 장애인에게 제공할 수 있는 이미지 처리 방법 및 그 전자 장치를 제공할 수 있다.
본 발명의 다양한 실시예들은 입력된 이미지를 시각 장애인에게 다양한 출력 방식으로 제공할 수 있는 이미지 처리 방법 및 그 전자 장치를 제공할 수 있다.
본 발명의 다양한 실시예들은 OCR(Optical Character Reader) 기능을 손쉽게 사용할 수 있도록 구성되는 이미지 처리 방법 및 그 전자 장치를 제공할 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치의 이미지 처리 방법에 있어서, 상기 전자 장치가 적어도 하나의 가이드 영역을 포함하는 거치대에 장착되었는지 확인하는 동작과, 상기 가이드 영역에 포함된 이미지를 카메라 장치에 의해 독취하는 동작 및 상기 독취된 이미지 또는 이미지와 관련된 정보를 출력하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 거치대에 장착되었는지 확인하는 동작은 상기 전자 장치에 포함된 센서 장치에 의해 거치대에 구비된 피 감지 수단을 감지하는 동작일 수 있다. 한 실시예에 따르면, 상기 피 감지 수단은 마그네트이며, 상기 센서 장치는 상기 마그네트의 자력을 감지하기 위한 홀 센서 또는 리드 스위치일 수 있다.
다양한 실시예에 따르면, 상기 가이드 영역에 포함된 이미지를 독취하는 동작 후에 상기 독취된 이미지에 포함된 텍스트를 OCR(Optical Character Reader) 기능을 이용하여 텍스트 데이터로 변환하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 이미지를 텍스트 데이터로 변환하는 동작 후에 상기 변환된 텍스트 데이터를 TTS(Text to Speech) 기능을 이용하여 음성 데이터로 변환하는 동작을 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 독취된 이미지 또는 이미지와 관련된 정보를 출력하는 동작은 상기 전자 장치의 디스플레이에 대응 이미지 또는 이미지와 관련된 정보를 표시할 수 있다.
다양한 실시예에 따르면, 상기 표시된 이미지 또는 이미지와 관련된 정보는 기 설정된 크기로 변경하여 출력할 수 있다.
다양한 실시예에 따르면, 상기 독취된 이미지 또는 이미지와 관련된 정보를 출력하는 동작은 상기 전자 장치의 디스플레이에 대응 이미지 또는 이미지와 관련된 정보에 대응하는 대응 데이터를 청각적 또는 촉각적으로 출력할 수 있다.
다양한 실시예에 따르면, 상기 대응 데이터는 음성 또는 음향으로 스피커 장치를 통해서 출력될 수 있다.
다양한 실시예에 따르면, 상기 대응 데이터는 바이브레이터를 통해 진동으로 출력될 수도 있다.
다양한 실시예에 따르면, 상기 전자 장치가 상기 거치대에 장착되었는지 확인하는 동작후에, 기 설정된 상기 카메라 장치와 가이드 영역간의 거리, 각도, 조명 장치의 광량, 인식 범위 세팅 값 또는 상기 카메라 장치의 해상도 세팅값 중 적어도 하나의 정보를 확인하는 동작 및 상기 확인된 정보에 기반하여 상기 가이드 영역에 포함된 이미지를 상기 카메라 장치에 의해 독취하는 동작을 더 포함할 수도 있다.
다양한 실시예에 따르면, 상기 독취된 이미지가 컬러 데이터일 경우 상기 가이드 영역을 이루는 거치대의 가이드 프레임의 컬러를 이용하여 상기 독취된 컬러 데이터와 비교하는 동작과, 상기 비교값에 근거하여 상기 독취된 컬러 데이터를 보정하는 동작 및 상기 보정된 결과에 근거한 컬러 데이터를 상기 전자 장치의 디스플레이에 표시하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치에 있어서 적어도 하나의 카메라 장치와, 상기 전자 장치가 장착되었을 때, 상기 카메라 장치에 의해 촬영 가능한 위치에 배치되는 적어도 하나의 가이드 영역을 포함하는 거치대 및 상기 가이드 영역에 포함된 이미지를 상기 카메라 장치에 의해 독취하며, 상기 독취된 이미지 또는 이미지와 관련된 정보를 출력하는 적어도 하나의 프로세서를 포함하는 전자 장치를 제공할 수 있다.
다양한 실시예에 따르면, 상기 이미지 또는 이미지와 관련된 정보를 표시하기 위한 디스플레이를 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 이미지 또는 이미지와 관련된 정보에 대응하는 대응 정보를 음성으로 출력하기 위한 스피커 장치를 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 이미지 또는 이미지와 관련된 정보에 대응하는 대응 정보를 촉각으로 출력하기 위한 바이브레이터를 더 포함할 수도 있다.
다양한 실시예에 따르면, 상기 거치대에 구비된 마그네트의 자력을 감지하여, 자동으로 독취 기능을 수행하기 위한 센서 장치를 더 포함할 수도 있다.
다양한 실시예에 따르면, 상기 프로세서는 상기 독취된 이미지에 포함된 텍스트를 OCR(Optical Character Reader) 기능을 이용하여 텍스트 데이터로 변환할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는 상기 변환된 텍스트 데이터를 TTS(Text to Speech) 기능을 이용하여 음성 데이터로 변환할 수 있다.
다양한 실시예에 따르면, 상기 거치대는 하부 지지대와, 상기 하부 지지대에 설치되는 적어도 하나의 중공형 가이드 영역을 갖는 가이드 프레임과, 상기 하부 지지대에서 일정 높이로 설치되며, 전자 장치를 수용하기 위한 장착부를 갖는 상부 지지대 및 상기 상부 지지대 및 하부 지지대를 연결시켜주는 적어도 하나의 레그(leg)를 포함할 수 있다.
다양한 실시예에 따르면, 상기 가이드 프레임은 다양한 형상 및 갯 수의 가이드 영역을 갖는 다른 가이드 프레임으로 대체될 수도 있다.
본 발명의 다양한 실시예에 따르면, 간단한 조작 방식으로 손쉽게 이미지를 처리하여 출력 정보를 사용자에게 제공할 수 있기 때문에 특히, 시각장애인 또는 문맹인에게 유리하며, 전자 장치의 사용 편의성이 증대되고 장치 신뢰성이 향상될 수 있다.
도 1은 본 발명의 한 실시예에 따른 거치대를 포함하는 전자 장치의 사시도이다.
도 2는 본 발명의 한 실시예에 따른 전자 장치의 후면 사시도이다.
도 3은 본 발명의 한 실시예에 따른 거치대에 전자 장치가 장착된 상태를 도시한 요부 단면도이다.
도 4는 본 발명의 한 실시예에 따른 전자 장치의 카메라 장치의 촬상 영역내에 거치대의 가이드 프레임이 배치되는 상태를 도시한 구성도이다.
도 5는 본 발명의 한 실시예에 따른 전자 장치의 블록 구성도이다.
도 6은 본 발명의 다양한 실시예에 따른 전자 장치에 의해 독취된 이미지를 처리하기 위한 흐름도이다.
도 7은 본 발명의 다양한 실시예에 따른 전자 장치에 의해 독취된 이미지를 처리하기 위한 흐름도이다.
도 8a 및 도 8b는 본 발명의 한 실시예에 따른 이미지 처리를 위한 실물 화상 기능을 선택하기 위한 전자 장치의 예시도이다.
도 9a 내지 도 9c는 본 발명의 다양한 실시예에 따른 전자 장치에 의해 이미지를 독취하고, 독취된 이미지를 표시하기 위한 전자 장치의 예시도이다.
도 7은 본 발명의 한 실시예에 따른 전자 장치에 의해 독취된 이미지를 처리하기 위한 흐름도이다.
도 10 및 도 11은 본 발명의 다양한 실시예에 따른 전자 장치에 의해 독취된 이미지를 처리하기 위한 흐름도이다.
도 12는 본 발명의 한 실시예에 따라 독취된 이미지를 확대한 상태를 도시한 전자 장치의 예시도이다.
도 13a 및 도 13b는 본 발명의 다양한 실시예에 따른 전자 장치가 적용되는 가이드 프레임의 다양한 형태를 도시한 구성도이다.
도 14는 본 발명의 한 실시예에 따라 독취된 이미지의 컬러를 보정하기 위한 방법을 도시한 전자 장치의 흐름도이다.
이하 본 발명의 다양한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 다양한 실시예들을 설명함에 있어서 전자 장치는 입력 장치를 통한 입력 과정과, 표시부를 통한 표시 과정을 물리적인 한 화면에서 수행할 수 있는 터치 스크린(touch screen)을 기준으로 설명할 것이다. 본 문서에서 '표시부'라는 용어는 '디스플레이'라는 용어도 대체되어 사용될 수도 있다. 따라서 본 발명의 다양한 실시예들의 장치 구성에서 표시부와 입력 장치는 따로 도시되어 있을지라도, 표시부를 표현하는 경우 입력 장치를 포함하고 있거나, 입력 장치를 표시부로 나타낼 수도 있다. 더욱이, 본 발명의 다양한 실시예들에서 표시부는 터치 스크린(장치)으로 기술될 수 있음을 알아야 한다.
더하여, 본 발명의 다양한 실시예들은 터치 스크린을 포함하는 전자 장치에만 국한되지 않고 다양한 전자 장치에 적용될 수 있으며, 그 중 한 예로 표시부와 입력 장치가 물리적으로 분리, 구분되어 있는 전자 장치에도 적용될 수 있을 것이다.
본 개시의 다양한 실시예들을 설명함에 있어, 표시부로써 터치 스크린을 포함하고 피사체 촬영을 위한 적어도 하나의 카메라 장치가 적용될 수 있는 전자 장치를 도시하고 이에 대하여 설명하였으나 이에 국한되지는 않는다. 예컨대, 전자 장치로는 터치 스크린을 포함하는 다양한 기기, 즉, PDA(Personal Digital Assistant), 랩탑 컴퓨터(Laptop Computer), 모바일 폰(Mobile Phone), 스마트폰(Smart Phone), 넷북(Netbook), 휴대 인터넷 장치(MID: Mobile Internet Device), 울트라 모바일 PC(UMPC: Ultra Mobile PC), 태블릿 PC(Tablet Personal Computer), 네비게이션, MP3등 다양한 장치에 적용 가능하다.
도 1은 본 발명의 한 실시예에 따른 거치대를 포함하는 전자 장치의 사시도이다. 도 2는 본 발명의 한 실시예에 따른 전자 장치의 후면 사시도이다.
도 1 및 도 2를 참고하면, 전자 장치(100)의 전면(101)에는 디스플레이(1011)가 설치되어 있으며, 디스플레이(1011)의 상측으로는 상대방의 음성을 수신하기 위한 스피커 장치(1012)가 설치되고, 디스플레이(1011)의 하측으로는 상대방에게 전자 장치 사용자의 음성을 송신하기 위한 마이크로폰 장치(1015)가 설치됨으로써 기본적인 통신 기능을 수행할 수 있다.
다양한 실시예에 따르면, 전자 장치의 스피커 장치(1012)가 설치되는 주변에는 전자 장치(100)의 다양한 기능을 수행하기 위한 부품(component)들이 배치될 수 있다. 이러한 부품들로는 상대방과의 화상 통화(VT; Video Telephony)를 위한 화상 통신용 카메라 장치(1014)가 설치될 수 있다. 또한, 주변 환경에 따라 전자 장치(100)를 가변적으로 작동시키기 위한 센서 모듈(1013)이 설치될 수 있다. 이러한 센서 모듈(1013)은 주변의 조도를 검출하고 검출된 조도값에 따라 디스플레이의 밝기를 자동으로 조절하기 위한 조도 센서 및/또는 통화 중 사용자의 두부(head portion)에 취부되었을 경우 이를 감지하여 디스플레이(1011)를 비활성화시키기 위한 근접 센서 등이 설치될 수 있다. 한 실시예에 따르면, 이러한 부품으로는 스피커 장치(1012)의 일측에 배치되어 전자 장치(100)의 다양한 상태 정보를 사용자에게 인지시키기 위한 서비스 엘이디(service LED)(1019)가 설치될 수도 있다. 한 실시예에 따르면, 전자 장치(100)의 전면(101)에는 물리적 키버튼(1016)이 설치될 수도 있다. 미도시되었으나, 그밖에 다양한 기구적 구조물(mechanical structure)들이 실장될 수 있다.
다양한 실시예에 따르면, 전자 장치(100)의 후면(102)에는 배터리 커버(1022)가 설치될 수 있다. 한 실시예에 따르면, 전자 장치(100)의 후면(102)에는 전자 장치를 통해 음성 또는 음향을 출력하기 위한 외장형 스피커 장치(1022)가 설치될 수 있다. 한 실시예에 따르면, 전자 장치(100)의 후면(102)에는 외부의 피사체를 촬영하기 위한 적어도 하나의 카메라 장치(1023)가 설치될 수 있다. 한 실시예에 따르면, 카메라 장치(1023)의 주변에는 피사체 촬영시 조명으로 활용되기 위한 조명 장치로써 LED 모듈(1024)이 설치될 수도 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치(100)는 거치대(200)를 포함할 수 있다. 거치대(200)는 그 상부에 전자 장치(100)를 수용하며, 카메라 장치(1023)의 구동에 따라, 하부의 피사체(예를 들어, 문서 등에 기재된 이미지, 문자, 숫자 등)를 촬영할 수 있다. 한 실시예에 따르면, 전자 장치(100)는 거치대(200)의 일정 높이에서 탈착 가능하도록 장착될 수 있으며, 장착된 후에 카메라 장치(1023) 및 카메라 장치와 관련된 보조 장치들이 자동으로 구동될 수도 있다. 한 실시예에 따르면, 전자 장치(100)가 거치대(200)에 장착된 후에 카메라 장치(1023)가 구동되며, 이와 관련된 프로그램들이 자동으로 동작할 수도 있다.
다양한 실시예에 따르면, 거치대(200)는 전자 장치(100)를 거치시키기 위한 상부 지지대(202)와, 상부 지지대(20)와 일정 간격으로 이격되는 하부 지지대(201) 및 하부 지지대(201)의 지지의 받아 상부 지지대(202)를 지지하는 적어도 하나의 레그(leg)(203)를 포함할 수 있다.
다양한 실시예에 따르면, 상부 지지대(202)는 상부 지지대(202)의 상면보다 낮도록 형성된 장착부(2021)를 포함할 수 있다. 한 실시예에 따르면, 장착부(2021)는 전자 장치(100)를 수용할 수 있는 폭 및 깊이로 형성될 수 있다. 한 실시예에 따르면, 장착부(2021)는 전자 장치(100)의 후면(102)에 배치되는 카메라 장치(1023) 및 카메라 장치(1023)와 관련된 주변 장치들을 제외한 전자 장치(100)의 해당 영역이 면접촉되는 방식으로 전자 장치(100)를 수용할 수 있다. 한 실시예에 따르면, 장착부(2021)는 전자 장치(100)가 장착된 후에, 전자 장치(100)의 유동을 단속할 수 있는 단속 수단을 더 포함할 수도 있다.
다양한 실시예에 따르면, 하부 지지대(201)는 단부에 중공형 가이드 프레임)(205)이 배치될 수 있다. 한 실시예에 따르면, 가이드 프레임(205)의 중공 부분인 가이드 영역(2051)이 상부에 배치되는 전자 장치(100)의 카메라 장치(1023)에 의해 촬영되는 촬영 영역에 포함될 수 있다. 한 실시예에 따르면, 가이드 영역(2051)을 포함하는 가이드 프레임(205)은 하부 지지대(201)와 일체로 형성되거나, 하부 지지대(201)에서 착탈이 가능하도록 구성될 수 있다. 한 실시예에 따르면, 가이드 프레임(205)이 하부 지지대(201)에서 착탈이 가능하도록 구성될 경우, 다양한 형상의 가이드 영역을 갖는 적어도 하나의 다른 가이드 프레임이 대체 설치될 수도 있다.
다양한 실시예에 따르면, 레그(203)는 서로 링크 결합되어 폴딩되는 방식으로 설치될 수도 있다. 한 실시예에 따르면, 레그(203)의 폴딩 동작에 의해 상부 지지대(202)와 하부 지지대(201)는 거치대(200)로 사용되지 않을 경우, 두 지지대(202, 201)는 서로 접하도록 그 부피가 줄어드는 방식으로 이동될 수도 있다. 한 실시예에 따르면, 레그(203)는 상부 지지대(202)가 하부 지지대(201)에서 가장 이격된 상태를 유지할 수 있는 유지 수단을 더 포함할 수도 있다.
다양한 실시예에 따르면, 전자 장치(100)는 거치대(200)에 장착되었을 때, 전자 장치(100)의 후면(102)에 배치된 카메라 장치(1023)에 의해 하부 지지대(201)의 가이드 프레임(205)에 형성된 가이드 영역(2051)에 포함된 피사체만을 촬영할 수 있다. 한 실시예에 따르면, 이러한 피사체는 문서에 기재된 문자, 숫자, 이미지 등일 수 있다. 한 실시예에 따르면, 이러한 피사체는 해당 가이드 영역에 위치한 적어도 하나의 컬러(color)일 수 있다. 한 실시예에 따르면, 전자 장치(100)는 카메라 장치(1023)에 의해 독취된 가이드 프레임(205)의 가이드 영역(2051)과 대응되는 이미지 정보를 디스플레이에 표시할 수 있다. 한 실시예에 따르면, 전자 장치(100)는 카메라 장치(1023)에 의해 독취된 가이드 프레임(205)의 가이드 영역(2051)과 대응되는 이미지 정보와 관련한 가공된 정보를 디스플레이에 표시할 수도 있다. 한 실시예에 따르면, 가공된 정보는 독취된 이미지에 기반하여 OCR(Optical Character Reader) 방식에 의해 변환된 텍스트 데이터일 수 있다. 한 실시예에 따르면, 가공된 정보는 독취된 이미지에 기반하여 특정 배율로 확대 또는 축소된 이미지 정보일 수 있다. 한 실시예에 따르면, 가공된 정보는 독취된 컬러에 기반하여 가이드 프레임의 기준 컬러와 비교된 결과값을 반영한 보정 컬러 정보일 수 있다.
이하, 이미지 획득 및 획득된 이미지 또는 획득된 이미지와 관련된 정보를 가공하는 다양한 실시예가 상세히 후술될 것이다.
도 3은 본 발명의 한 실시예에 따른 거치대에 전자 장치가 장착된 상태를 도시한 요부 단면도이다. 도 4는 본 발명의 한 실시예에 따른 전자 장치의 카메라 장치의 촬상 영역내에 거치대의 가이드 프레임이 배치되는 상태를 도시한 구성도이다.
도 3 및 도 4를 참고하면, 전자 장치(100)가 거치대(200)의 상부 지지대(202)에 형성된 장착부(2021)에 장착될 수 있다. 장착부(2021)에 장착된 전자 장치(100)는 거치대(200)에 장착되었음을 자동으로 확인할 수 있다. 한 실시예에 따르면, 전자 장치(100)에 감지 수단이 배치되고, 장착부(2021)의 감지 수단과 상응하는 위치에는 감지 수단을 감지하기 위한 피 감지 수단이 배치될 수 있다. 한 실시예에 따르면, 장착부(2021)에 배치되는 피 감지 수단은 자력을 갖는 마그네트(magnet)(2022)일 수 있다. 한 실시예에 따르면, 마그네트(2022)의 자력을 감지하기 위한 감지 수단은 홀 센서(hall sensor)(137) 또는 리드 스위치일 수 있다. 한 실시예에 따르면, 전자 장치(100)가 거치대(200)의 장착부(2021)에 장착될 경우, 전자 장치(100)는 마그네트(2022)의 자력을 감지하는 홀 센서(137)의 감지 정보에 따라 자동으로 카메라 장치(1023)를 구동시킬 수 있다. 한 실시예에 따르면, 전자 장치(100)는 감지 정보에 따라 카메라 장치(1023)와 함께 구동되는 LED 모듈과 같은 조명 장치를 점등시킬 수 있다. 한 실시예에 따르면, 전자 장치(100)는 감지 정보에 따라, 카메라 장치(1023)를 구동시킴과 동시에 OCR 기능을 구동시킬 수도 있다. 한 실시예에 따르면, 전자 장치(100)는 감지 정보에 따라, OCR모드에서 변환된 텍스트 데이터를 음성으로 변환시키기 위한 TTS(Text to Speech) 기능을 구동시킬 수도 있다. 한 실시예에 따르면, 전자 장치(100)는 감지 정보에 따라, TTS 기능에 의해 변환된 음성 데이터를 스피커 장치를 통해 자동으로 출력할 수도 있다. 한 실시예에 따르면, 전자 장치(100)는 상술한 다양한 기능을 구동함과 동시에 대응 이미지 또는 이미지 관련 정보를 디스플레이에 표시할 수도 있다.
다양한 실시예에 따르면, 카메라 장치(1023)는 일정 화각 θ를 가질 수 있다. 한 실시예에 따르면, 하부 지지대(201)에 배치되는 가이드 프레임(205)의 가이드 영역(2051)은 카메라 장치(1023)가 가지는 화각 θ에 의한 촬영 영역 A에 포함될 수 있도록 배치될 수 있다.
도 5는 본 발명의 한 실시예에 따른 전자 장치의 블록 구성도이다.
도 5를 참고하면, 전자 장치(100)는 메모리(110), 프로세서 유닛(processor unit)(120), 입출력 제어부(130), 표시부(131), 입력 장치(132), 오디오 처리부(133), 통신 시스템(136) 및 서브 통신 시스템(140)을 포함할 수 있다. 각각의 구성 요소들은 하나 이상의 통신 버스 또는 신호선(108)을 통해 상호 통신할 수 있다.
각 구성 요소를 설명하면 다음과 같다.
메모리(110)는 전자 장치(100)의 동작을 제어하기 위한 프로그램을 저장하는 프로그램 저장부(111) 및 프로그램 수행 중에 발생 되는 데이터를 저장하는 데이터 저장부(112)를 포함하고, 프로세서(122)의 동작으로 프로그램에서 생성된 데이터 등을 저장할 수 있다.
예를 들어, 데이터 저장부(112)에는 프로세서(122)가 터치 인식 제어 프로그램(117)을 통해 실행되고 있는 관련 프로그램들을 결정하는 과정에서 이용할 수 있는 데이터베이스 정보를 저장하고, 관련 프로그램들을 표시부(131)에 표시하는 과정에서 그래픽 사용자 인터페이스(GUI: Graphic User Interface)의 동작을 구성하는데 필요한 설정 정보 등의 데이터가 저장될 수 있다. 한 실시예에 따르면, 데이터 저장부(112)는 카메라 장치에서 독취된 이미지 또는 이미지와 관련된 가공 정보를 저장할 수 있다. 한 실시예에 따르면, 가공 정보는 카메라 장치에 의해 독취된 이미지가 변환된 텍스트 정보일 수 있다. 한 실시예에 따르면, 가공 정보는 카메라 장치에 의해 독취된 컬러를 보정하기 위한 가이드 프레임의 기준 컬러 정보일 수 있다.
프로그램 저장부(111)는 응용 프로그램(113), 그래픽 사용자 인터페이스(GUI: Graphic User Interface) 프로그램(114), 통신 제어 프로그램(115), 입출력 제어 프로그램(116), 터치 인식 제어 프로그램(117), OCR 운용 프로드램(118) 및 TTS 변환 프로그램(119)을 포함할 수 있다. 여기서, 프로그램 저장부(111)에 포함되는 프로그램은 명령어들의 집합으로 구성되어 명령어 세트(Instruction Set)로 표현될 수도 있다.
응용프로그램(113)은 전자장치(100)에 설치된 적어도 하나의 응용 프로그램에 대한 소프트웨어 구성 요소를 포함할 수 있다.
GUI 프로그램(114)은 표시부(131)에 그래픽으로 사용자 인터페이스를 제공하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 예를 들어, GUI 프로그램(113)은 프로세서(122)에 의해 구동되는 응용프로그램 정보를 표시부(131)에 표시하도록 제어할 수도 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치(100)는 가이드 프레임(205)의 가이드 영역(2051)에 상응하는 독취된 이미지 또는 이미지와 관련된 정보를 표시하도록 제어할 수 있다.
통신 제어 프로그램(115)은 통신 시스템(136) 및/또는 서브 통신 시스템(140)을 이용한 하나 또는 그 이상의 다른 전자 장치와의 통신을 제어하기 위한 적어도 하나의 소프트웨어 구성요소를 포함할 수 있다. 예를 들어, 통신 제어 프로그램(115)은 통신을 연결하기 위한 다른 전자 장치를 검색할 수 있다. 만일, 통신 연결을 위한 다른 전자 장치가 검색된 경우, 통신 제어 프로그램(115)은 다른 전자 장치와 통신을 위한 연결을 설정한다(connection set up). 이후, 통신 제어 프로그램(115)은 연결된 다른 전자 장치와의 성능 검색(capability discovery) 및 세션 성립(Session Establishment) 절차를 수행하여 통신 시스템(136)을 통해 다른 전자 장치와 데이터를 송수신하도록 제어할 수도 있다.
입출력 제어 프로그램(116)은 전자 장치(100)의 동작을 표시부(131)에 표시하고, 입력 장치(132)를 통해 외부로부터 전자 장치(100)의 동작 명령을 입력받을 수 있다.
터치 인식 제어 프로그램(117)은 프로세서(122)의 제어를 받아 표시부에 표시된 이미지 정보를 터치 입력에 의해 이동하거나, 저장하거나, 확대 또는 축소하는 등의 기능을 수행할 수 있다.
전자 장치(100)에 포함되는 메모리(110)는 한 개 이상, 다수 개로 구성될 수 있다. 또한 용도에 따라서 프로그램 저장부(111)만의 기능을 할 수도, 데이터 저장부(112)만의 기능을 할 수도, 두 가지 모두의 기능을 할 수도 있으며, 장치 특성상 메모리(110) 내부의 물리적 영역 구분은 명확하지 않을 수도 있다.
프로세서 유닛(120)은 메모리 인터페이스(121), 적어도 하나의 프로세서(processor)(122) 및 주변 장치 인터페이스(123)를 포함할 수 있다. 여기서, 프로세서 유닛(120)에 포함되는 메모리 인터페이스(121), 적어도 하나의 프로세서(122) 및 주변 장치 인터페이스(123)는 적어도 하나의 회로로 집적화되거나 별개의 구성 요소로 구현될 수 있다.
메모리 인터페이스(121)는 프로세서(122) 또는 주변 장치 인터페이스(123)와 같은 구성요소의 메모리(110) 접근을 제어할 수 있다.
주변 장치 인터페이스(123)는 전자 장치(100)의 입출력 주변 장치와 프로세서(122) 및 메모리 인터페이스(121)의 연결을 제어할 수 있다.
프로세서(122)는 적어도 하나의 소프트웨어 프로그램을 사용하여 전자 장치(100)가 다양한 멀티미디어, 통신 등의 서비스를 제공하도록 제어하고, 입출력 처리부(130)을 통해 표시부(131)로 전자 장치의 GUI 동작을 확인할 수 있도록 표시하고, 입력 장치(132)로 전자 장치(100) 외부로부터의 입력받은 명령을 제공하도록 제어한다. 이때, 프로세서(122)는 메모리(110)에 저장되어 있는 적어도 하나의 프로그램을 실행하여 해당 프로그램에 대응하는 서비스를 제공하도록 제어할 수 있다.
다양한 실시예에 따르면, 프로세서(122)는 전자 장치에 구비된 다수의 센서들 중 예컨대, 홀 센서(hall sensor)(137)에 의해 전자 장치가 거치대에 장착된 감지 정보를 제공받고, 카메라 장치 및 LED 모듈과 같은 주변 장치를 구동시킴과 동시에 OCR 운용 프로그램을 구동시킬 수도 있다. 한 실시예에 따르면, 프로세서(122)는 홀 센서(137)의 감지 정보에 따라, OCR모드 운용 프로그램에 의해 변환된 텍스트 데이터를 음성으로 변환시키기 위한 TTS(Text to Speech) 변환 프로그램을 구동시킬 수 있다. 한 실시예에 따르면, 프로세서(122)는 홀 센서(137)의 감지 정보에 따라, TTS 변환 프로그램에 의해 변환된 음성 데이터를 오디오 처리부(133)에 제공하여 스피커 장치를 통해 출력할 수도 있다. 한 실시예에 따르면, 프로세서(122)는 홀 센서(137)의 감지에 따라, 가이드 프레임(205)의 가이드 영역(2051)에 상응하는 컬러를 획득하고, 획득된 컬러와 데이터 저장부에 저장된 가이드 프레임의 기준 컬러를 비교하여 색 보정을 수행하고, 보정된 색을 디스플레이에 표시할 수도 있다.
다양한 실시예에 따르면, 프로세서(122)는 홀 센서(137)의 감지 정보에 따라 상술한 다양한 기능들을 자동으로 실행시킬 수도 있다. 한 실시예에 따르면, 프로세서(122)는 데이터 저장부에 저장된 카메라 장치(1023)와 가이드 영역(2051)간의 거리, 각도, 조명 장치의 광량, 인식 범위 세팅 값 또는 카메라 해상도 세팅값 중 적어도 하나의 정보에 기반하여 상술한 다양한 기능들을 자동으로 실행시킬 수도 있다.
오디오 처리부(133)는 스피커(134) 및 마이크로폰(135)을 통해 사용자와 전자 장치(100) 사이의 오디오 인터페이스를 제공할 수 있다. 오디오 처리부(133)는 프로세서(122)의 제어에 의해 TTS 변환 프로그램에 의해 변환된 음성 데이터를 제공받아 스피커로 출력시킬 수 있다.
통신 시스템(136)은 프로세서(122)의 제어에 따라, 하나 또는 복수의 안테나 장치를 이용하여 전자 장치(100)가 외부 장치와 연결되도록 한다. 통신 시스템(136)은 전자 장치(100)에 입력되는 전화번호를 가지는 스마트 폰과 같은 단말기, 태블릿 PC 또는 다른 휴대 장치와 음성 통화, 화상 통화, 문자메시지(SMS), 멀티미디어 메시지(MMS) 및 데이터 통신을 위한 무선 신호를 송/수신한다.
서브 통신 시스템(140)은 무선랜 모듈(141)과 근거리 통신 모듈(142)을 포함할 수 있다. 한 실시예에 따르면, 무선랜 모듈(141)은 프로세서의 제어에 따라, AP(access point)가 설치된 장소에서 무선을 이용하여 인터넷에 연결될 수 있다. 무선랜 모듈(141)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 한 실시예에 따르면, 근거리 통신 모듈(142)은 프로세서의 제어에 따라, 무선으로 전자 장치(100)와 외부 장치 사이에 근거리 통신을 할 수 있다. 근거리 통신은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association) 및 NFC(Near Field Communication) 등을 포함할 수 있다.
입출력 제어부(130)는 표시부(131) 및 입력 장치(132) 등의 입출력 장치와 주변 장치 인터페이스(123) 사이에 인터페이스를 제공할 수 있다.
입력 장치(132)는 사용자의 선택에 의해 발생하는 입력 데이터를 입출력 처리부(130)를 통해 프로세서 유닛(120)으로 제공할 수 있다. 예를 들어, 입력 장치(132)는 전자 장치(100)의 제어를 위한 제어 버튼만을 포함하여 구성될 수 있다.다른 예를 들어, 입력 장치(132)는 사용자로부터 입력 데이터를 제공받기 위한 키패드로 구성될 수도 있다.
표시부(131)는 전자 장치(100)의 상태 정보, 사용자가 입력하는 문자, 동화상(moving picture) 및 정지 화상(still picture) 등을 프로세서 유닛(120)으로부터 제공받아 입출력 처리부(130)를 통해 표시할 수 있다. 예를 들어, 프로세서(122)는 전자 장치(100)에서 실행되고 있는 프로그램과 관련성을 가지고 있는 실물 화상 모드(전자 장치가 거치대에 장착된 상태에서 가이드 프레임의 가이드 영역에 배치된 피사체를 독취하여 디스플레이에 다양한 방식으로 표시하는 모드)에 대응하는 설정 정보를 표시하도록 제어할 수 있다.
입력 장치(132)와 마찬가지로 표시부(131)가 터치 스크린으로 구성되는 경우, 하나의 터치 스크린에서 표시부(131)의 기능과, 입력 장치(132)의 기능을 모두 수행할 수 있다.
홀 센서(137)는 전자 장치가 거치대(200)에 거치되었을 때, 장착부(2021)의 마그네트(2022)의 자력을 감지하고 감지 정보를 프로세서(122)로 제공할 수 있다.
근접 센서(138)는 물체가 전자 장치(100)로 일정 거리 이내로 근접하는 것을 감지하여 감지 정보를 프로세서(122)로 제공할 수 있다.
이미지 센서(139)는 카메라 장치(1023)의 구성 요소로써, 프로세서의 제어에 의해 가이드 영역내의 피사체를 촬영할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 전자 장치에 의해 독취된 이미지를 처리하기 위한 흐름도이다.
도 6을 참고하면, 전자 장치(100)는 거치대(200)에 장착되었는지 확인하는 601 동작을 수행한다. 한 실시예에 따르면, 전자 장치(100)는 홀 센서(137)에 의한 자력이 감지되었는지 검출할 수 있다. 한 실시예에 따르면, 전자 장치(100)는 거치대(200)의 장착부(2021)에 장착된 상태가 되면, 장착부(2021)에 배치된 마그네트의 자력을 감지할 수 있다. 한 실시예에 따르면, 전자 장치(100)는 603 동작에서 거치대(200)의 가이드 프레임(205)의 가이드 영역(2051)에 포함된 이미지를 독취할 수 있다. 한 실시예에 따르면, 전자 장치(100)는 605동작에서 독취된 이미지 또는 독취된 이미지와 관련된 정보를 전자 장치(100)를 통해 출력할 수 있다. 한 실시예에 따르면, 이미지와 관련된 정보는 독취된 이미지를 기반으로 가공된 정보일 수 있다. 한 실시예에 따르면, 가공된 정보는 독취된 이미지를 변환한 텍스트 정보, 텍스트 정보를 변환한 음성 데이터 정보 또는 독취된 이미지가 컬러일 경우 가이드 프레임의 기준 컬러와 비교하고, 비교 값에 근거한 보정된 컬러 정보 중 적어도 하나의 정보일 수 있다. 한 실시예에 따르면, 보정된 컬러 정보는 가이드 프레임을 그레이 카드로 활용하여 보정된 카메라 장치를 위한 화이트 밸런스 정보일 수 있다.
이하, 본 발명의 다양한 실시예에 따른 독취된 이미지 정보 또는 독취된 이미지 정보에 관련된 가공된 정보를 출력하는 방법을 상세히 기술하기로 한다.
도 7은 본 발명의 다양한 실시예에 따른 전자 장치에 의해 독취된 이미지를 처리하기 위한 흐름도이다.
도 7을 참고하면, 전자 장치(100)는 701 동작에서 거치대(200)에 장착되었는지 확인할 수 있다. 701 동작에서 전자 장치(100)는 홀 센서(137)에 의한 자력이 감지되었는지 검출할 수 있다. 한 실시예에 따르면, 전자 장치(100)는 거치대(200)의 장착부(2021)에 장착된 상태가 되면, 장착부(2021)에 배치된 마그네트의 자력을 감지할 수 있다.
한 실시예에 따르면, 701 동작에서 전자 장치(100)가 거치대(200)에 장착되었음이 확인되면, 703 동작으로 진입하여 카메라 장치(1023)와 이와 관련된 장치를 구동시킬 수 있다. 한 실시예에 따르면, 전자 장치(100)는 카메라 장치(1023)를 구동시킴과 동시에 LED 모듈(1024)과 같은 주변의 조명 장치를 구동시킬 수 있다. 한 실시예에 따르면, 전자 장치(100)는 카메라 장치(123)를 구동시킴과 동시에 디스플레이(1011)를 활성화시킬 수도 있다.
한 실시예에 따르면, 카메라 장치(1023)의 구동 후에, 705 동작에 진입하여 OCR 프로그램을 구동시킬 수 있다. 한 실시예에 따르면, OCR 프로그램은 카메라 장치(1023)로부터 독취된 이미지에 텍스트가 포함되어 있을 경우, 텍스트 데이터로 변환할 수 있다.
한 실시예에 따르면, 전자 장치(100)는 707 동작에서 가이드 프레임(205)의 가이드 영역(2051)내에 포함된 이미지를 독취할 수 있다.
도 9a 내지 도 9c는 본 발명의 다양한 실시예에 따른 전자 장치에 의해 이미지를 독취하고, 독취된 이미지를 표시하기 위한 전자 장치의 예시도이다.
도 9a는 가이드 프레임(205)의 가이드 영역(2051)내에 포함된 이미지를 도시하고 있다. 도 9a를 참고하여 707 동작을 설명하면, 거치대(200)의 하부 지지대(201)는 문서 D의 상부에 접하도록 배치되고, 사용자에 의해 상, 하, 좌, 우 또는 특정 방향으로 이동될 수 있다. 한 실시예에 따르면, 거치대(200)의 이동에 따라 가이드 영역(2051)에 포함되는 피사체의 이미지가 변경될 수 있다. 전자 장치(100)는 가이드 영역(2051)의 이동에 따라 변경된 이미지를 실시간으로 독취할 수 있다.
한 실시예에 따르면, 도 9b에 도시된 바와 같이, 전자 장치(100)는 카메라 장치(1023)에 의해 독취된 이미지를 디스플레이(1011)에 실시간으로 표시할 수도 있다. 한 실시예에 따르면, 표시된 이미지 데이터(1050)는 터치 입력에 의해 다양한 방식으로 변경될 수 있다. 한 실시예에 따르면, 표시된 이미지 데이터(1050)의 상, 하, 좌, 우 경계 영역에 크기 확대 또는 축소를 위한 아이콘(1051)이 표시될 수 있다. 한 실시예에 따르면, 표시된 이미지 데이터(1051)는 터치 입력에 의해 디스플레이(1011)의 제1영역에서 제2영역으로 이동될 수도 있다.
한편, 전자 장치(100)는 TTS 변환 프로그램에 의해 독취된 이미지를 텍스트 데이터로 변환하는 709 동작을 수행하고, 텍스트 데이터를 디스플레이에 표시하는 711 동작을 수행할 수 있다. 도 9c에는 이미지 데이터가 아닌 TTS 변환 프로그램에 의해 변환된 텍스트 데이터(1052)가 디스플레이(1011)에 표시된 상태를 도시하고 있다. 한 실시예에 따르면, 표시된 텍스트 데이터(1052)는 터치 입력에 따라 메모리의 데이터 저장 영역에 저장될 수 있다. 한 실시예에 따르면, 표시된 텍스트 데이터(1052)는 터치 입력에 따라 타 전자 장치로 전송될 수도 있다.
다양한 실시예에 따르면, 전자 장치(100)는 거치대(200)에 장착되면, 상술한 동작들이 자동으로 수행될 수 있다. 그러나, 사용자의 설정에 의해 수동으로 수행될 수도 있다.
이하, 도 8a 및 도 8b는 본 발명의 한 실시예에 따른 이미지 처리를 위한 실물 화상 기능을 선택하기 위한 전자 장치의 예시도이다. 본 실시예에서는 실물 화상 기능이 수동으로 설정될 수도 있음을 기술할 것이다.
도 8a 및 도 8b를 참고하면, 사용자는 전자 장치(100)의 전면에 배치된 설정 버튼(1017)을 선택함으로써 실물 화상 기능을 수행하거나 세부 항목들을 설정할 수 있다. 한 실시예에 따르면, 설정 버튼(1017), 취소 버튼(1018)은 소프트 터치 키 버튼이거나 물리적 키 버튼일 수 있다.
한 실시예에 따르면, 설정 버튼(1017)이 입력되면 전자 장치(100)는 디스플레이(1011)에 설정 목록(1031)을 표시할 수 있다. 설정 목록(1031)에는 다수의 설정 항목이 표시될 수 있다. 한 실시예에 따르면, 설정 목록에서 실물 화상 기능 항목(1031)이 선택되면, 도 8b에 도시된 바와 같이, 실물 화상 기능 항목(1031)에 따른 서브 목록(1040)이 표시될 수 있다. 한 실시예에 따르면, 서브 목록(1040)은 다수의 설정 항목들(1041, 1042, 1043, 1044)을 표시할 수 있다.
한 실시예에 따르면, OCR 변환 항목(1041)은 전자 장치(100)가 거치대(200)의 장착부(2021)에 장착되었을 때, 디폴트 기능으로써 OCR 변환 기능을 자동으로 수행할 수 있는 항목이다.
한 실시예에 따르면, 음성 출력 항목(1042)은 전자 장치(100)가 거치대(200)의 장착부(2021)에 장착되었을 때, 디폴트 기능으로써 OCR 변환 기능을 이용하여 이미지 데이터가 변환된 텍스트 데이터를 기반으로 TTS 변환된 음성 데이터를 자동으로 출력할 수 있는 항목이다.
한 실시예에 따르면, 확대/축소 항목(1043)은 전자 장치(100)가 거치대(200)에 장착되었을 때, 디스플레이(1011)에 표시된 이미지를 확대하거나 축소할 수 있는 항목이다. 미도시되었으나, 확대/축소 항목을 선택하면, 배율을 선택할 수 있는 선택 항목이 더 표시될 수 있다. 한 실시예에 따르면, 전자 장치(100)가 거치대(200)의 장착부에 장착되고, 가이드 프레임(205)의 가이드 영역(2051)에 포함된 피사체 이미지를 독취한 후, 디스플레이(1011)에 표시할 때, 확대/축소 항목(1043)에서 선택된 배율에 상응하는 크기의 이미지를 디폴트로 표시할 수도 있다.
한 실시예에 따르면, 자동 항목(1044)은 실물 화상 기능을 자동 또는 수동으로 수행할 것인지 선택받을 수 있다. 한 실시예에 따르면, 자동 항목(1044)이 선택될 경우, 거치대(200)의 장착부(2021)에 장착됨을 감지하는 동작만으로 이미지 독취 기능이 수행될 수 있다. 한 실시예에 따르면, 수동 항목이 선택될 경우, 거치대의 장착부에 장착됨을 감지하면, 사용자에게 이미지 독취 기능을 수행할 것인지 묻는 팝업창을 표시할 수 있다. 한 실시예에 따르면, 자동 항목(1044)는 교번하여 선택될 때마다 자동 및 수동으로 전환될 수 있다.
도 10은 본 발명의 다양한 실시예에 따른 전자 장치에 의해 독취된 이미지를 처리하기 위한 흐름도이다.
도 10을 참고하면, 전자 장치(100)는 1001 동작에서 거치대(200)에 장착되었는지 확인할 수 있다. 1001 동작에서 전자 장치(100)는 홀 센서(137)에 의한 자력이 감지되었는지 검출할 수 있다. 한 실시예에 따르면, 전자 장치(100)는 거치대(200)의 장착부에 장착된 상태가 되면, 장착부(2021)에 배치된 마그네트의 자력을 감지할 수 있다.
한 실시예에 따르면, 1001 동작에서 전자 장치(100)가 거치대(200)에 장착되었음이 확인되면, 1002 동작으로 진입하여 카메라 장치(1023)와 이와 관련된 장치를 구동시킬 수 있다. 한 실시예에 따르면, 전자 장치(100)는 카메라 장치(1023)를 구동시킴과 동시에 LED 모듈(1024)과 같은 주변의 조명 장치를 구동시킬 수 있다. 한 실시예에 따르면, 전자 장치(100)는 카메라 장치(1023)를 구동시킴과 동시에 디스플레이(1011)를 활성화시킬 수도 있다.
한 실시예에 따르면, 카메라 장치(1023)가 구동 후에, 1003 동작에 진입하여 OCR 프로그램을 구동시킬 수 있다. 한 실시예에 따르면, OCR 프로그램은 카메라 장치로부터 독취된 이미지에 텍스트 이미지가 포함되어 있을 경우, 텍스트 데이터로 변환할 수 있다.
한 실시예에 따르면, 전자 장치는 1004 동작에서 가이드 프레임(205)의 가이드 영역(2051)내에 포함된 이미지를 독취할 수 있다. 이는 도 9a 및 도 9b를 참고하여 이미 설명되었다.
그후, 전자 장치(100)는 TTS 변환 프로그램에 의해 독취된 이미지를 텍스트 데이터로 변환하는 1005 동작을 수행하고, 1006 동작에서 텍스트 데이터를 TTS 변환 프로그램을 이용하여 음성 데이터로 변환하여 출력할 수 있다. 한 실시예에 따르면, 전자 장치(100)는 음성 데이터를 출력하는 중에도 텍스트 데이터 또는 이미지 데이터를 디스플레이에 표시할 수 있다.
도 11은 본 발명의 다양한 실시예에 따른 전자 장치에 의해 독취된 이미지를 처리하기 위한 흐름도이다. 도 12는 본 발명의 한 실시예에 따라 독취된 이미지를 확대한 상태를 도시한 전자 장치의 예시도이다.
도 11을 참고하면, 전자 장치(100)는 1101 동작에서 거치대(200)에 장착되었는지 확인할 수 있다. 1101 동작에서 전자 장치(100)는 홀 센서(137)에 의한 자력이 감지되었는지 검출할 수 있다. 한 실시예에 따르면, 전자 장치(100)는 거치대(200)의 장착부(2021)에 장착된 상태가 되면, 장착부(2021)에 배치된 마그네트의 자력을 감지할 수 있다.
한 실시예에 따르면, 1103 동작에서 전자 장치(100)가 거치대(200)에 장착되었음이 확인되면, 1103 동작으로 진입하여 카메라 장치(1023)와 이와 관련된 장치를 구동시킬 수 있다. 한 실시예에 따르면, 전자 장치(100)는 카메라 장치(1023)를 구동시킴과 동시에 LED 모듈(1024)과 같은 주변의 조명 장치를 구동시킬 수 있다. 한 실시예에 따르면, 전자 장치(100)는 카메라 장치(1023)를 구동시킴과 동시에 디스플레이(1011)를 활성화시킬 수도 있다.
한 실시예에 따르면, 카메라 장치(1023)가 구동 후에, 1005 동작에 진입하여 가이드 프레임(205)의 가이드 영역(2051)내에 포함된 이미지를 독취할 수 있다. 한 실시예에 따르면, 1107 동작에서 독취된 이미지는 디스플레이(1011)에 기 설정된 배율의 크기로 변경되어 표시될 수 있다. 예를 들어, 도 9a에 도시된 바와 같이, 가이드 영역내에 포함된 이미지가 도 12에 도시된 바와 같이, 확대된 이미지(1053)로 표시될 수 있다.
도 13a 및 도 13b는 본 발명의 다양한 실시예에 따른 전자 장치가 적용되는 가이드 프레임의 다양한 형태를 도시한 구성도이다.
다양한 실시예에 따르면, 가이드 프레임에 형성된 가이드 영역은 다양한 형상으로 적용될 수 있다. 한 실시예에 따르면, 가이드 프레임은 하부 지지대에서 착탈 가능하도록 설치되고, 다른 형태의 가이드 영역을 포함하는 가이드 프레임이 대체 적용될 수 있다.
도 13a에 도시된 바와 같이, 가이드 프레임(206)의 가이드 영역(2061)은 상술한 실시예에 따른 장방형에서 원형으로 변경되었다. 그러나 이에 국한되지 않으며, 다양한 형상의 가이드 영역을 갖는 다수의 가이드 프레임이 대체될 수 있다.
도 13b에 도시된 바와 같이, 하부 지지대(201)에 적용된 가이드 프레임(207)의 가이드 영역이 두 개의 영역(2071, 2072)으로 구분될 수 있다. 그러나 이에 국한되지 않으며, 하나의 가이드 프레임에 다수개의 가이드 영역이 분할 배치될 수도 있다.
다양한 실시예에 따르면, 가이드 프레임은 가이드 영역이 중공형으로 형성되지 않을 수도 있다. 한 실시예에 따르면, 가이드 프레임내의 가이드 영역은 막힌단을 갖도록 형성하고, 그 상부에 촬영 가능한 대상물을 올려놓아 촬영할 수도 있다. 한 실시예에 따르면, 이러한 경우, 전자 장치는 가이드 프레임의 테두리를 검출할 필요 없이 기 설정된 가이드 프레임의 독취 영역만을 독취할 수 있다. 이러한 경우, 사용자는 가이드 프레임에 올려진 대상물의 기 설정된 독취 영역만을 독취하여 디스플레이에 표시할 수 있다.
도 14는 본 발명의 한 실시예에 따라 독취된 이미지의 컬러를 보정하기 위한 방법을 도시한 전자 장치의 흐름도이다.
도 14를 참고하면, 전자 장치(100)는 1401 동작에서 거치대에 장착되었는지 확인할 수 있다. 1401 동작에서 전자 장치(100)는 홀 센서(137)에 의한 자력이 감지되었는지 검출할 수 있다. 한 실시예에 따르면, 전자 장치(100)는 거치대(200)의 장착부(2021)에 장착된 상태가 되면, 장착부(2021)에 배치된 마그네트의 자력을 감지할 수 있다.
한 실시예에 따르면, 1403 동작에서 전자 장치(100)가 거치대(200)에 장착되었음이 확인되면, 1103 동작으로 진입하여 카메라 장치(1023)와 이와 관련된 장치들을 구동시킬 수 있다. 한 실시예에 따르면, 전자 장치(100)는 카메라 장치(1023)를 구동시킴과 동시에 LED 모듈(1024)과 같은 주변의 조명 장치를 구동시킬 수 있다. 한 실시예에 따르면, 전자 장치는 카메라 장치(1023)를 구동시킴과 동시에 디스플레이(1011)를 활성화시킬 수도 있다.
한 실시예에 따르면, 카메라 장치(1023)가 구동된 후에, 가이드 프레임(205)의 가이드 영역(2051)의 컬러를 인식하는 1405 동작을 수행할 수 있다. 전자 장치는 카메라 장치(1023)로부터 획득된 가이드 영역(2051)의 컬러와 가이드 프레임(205)의 기준 컬러를 비교하는 1407 동작을 수행할 수 있다. 그후, 전자 장치(100)는 비교 결과에 따라, 가이드 영역(2051)의 컬러를 보정하는 1411 동작을 수행하여 전자 장치(100)의 디스플레이(1011)에 보정된 컬러를 표시할 수 있다.
한 실시예에 따르면, 가이드 영역(2051)의 컬러를 가이드 프레임(205)의 컬러와 비교하고, 비교값에 근거하여 인식된 컬러를 보정하는 동작은 화이트 밸런스 값을 설정하는 동작일 수 있다. 이러한 경우, 가이드 프레임(205)은 회색 계열의 그레이 카드 기능을 수행할 수 있다.
분명히, 청구항들의 범위내에 있으면서 이러한 실시예들을 변형할 수 있는 많은 다양한 방식들이 있다. 다시 말하면, 이하 청구항들의 범위를 벗어남 없이 본 발명을 실시할 수 있는 다양한 방식들이 있을 수 있을 것이다.
100: 전자 장치 137: 홀 센서
200: 거치대 205: 가이드 프레임
2051: 가이드 영역

Claims (20)

  1. 전자 장치의 이미지 처리 방법에 있어서,
    상기 전자 장치가 적어도 하나의 가이드 영역을 포함하는 거치대에 장착되었는지 확인하는 동작;
    상기 가이드 영역에 포함된 이미지를 카메라 장치에 의해 독취하는 동작; 및
    상기 독취된 이미지 또는 이미지와 관련된 정보를 출력하는 동작을 포함하는 방법.
  2. 제1항에 있어서,
    상기 거치대에 장착되었는지 확인하는 동작은,
    상기 전자 장치에 포함된 센서 장치에 의해 거치대에 구비된 피 감지 수단을 감지하는 동작인 방법.
  3. 제2항에 있어서,
    상기 피 감지 수단은 마그네트이며, 상기 센서 장치는 상기 마그네트의 자력을 감지하기 위한 홀 센서 또는 리드 스위치인 방법.
  4. 제1항에 있어서,
    상기 가이드 영역에 포함된 이미지를 독취하는 동작 후에,
    상기 독취된 이미지에 포함된 텍스트를 OCR(Optical Character Reader) 기능을 이용하여 텍스트 데이터로 변환하는 동작을 더 포함하는 방법.
  5. 제4항에 있어서,
    상기 이미지를 텍스트 데이터로 변환하는 동작 후에,
    상기 변환된 텍스트 데이터를 TTS(Text to Speech) 기능을 이용하여 음성 데이터로 변환하는 동작을 더 포함하는 방법.
  6. 제1항에 있어서,
    상기 독취된 이미지 또는 이미지와 관련된 정보를 출력하는 동작은,
    상기 전자 장치의 디스플레이에 대응 이미지 또는 이미지와 관련된 정보를 표시하는 동작인 방법.
  7. 제6항에 있어서,
    상기 표시된 이미지 또는 이미지와 관련된 정보는 기 설정된 크기로 변경하여 출력하는 방법.
  8. 제1항에 있어서,
    상기 독취된 이미지 또는 이미지와 관련된 정보를 출력하는 동작은,
    상기 전자 장치의 디스플레이에 대응 이미지 또는 이미지와 관련된 정보에 대응하는 대응 데이터를 청각적 또는 촉각적으로 출력하는 방법.
  9. 제8항에 있어서,
    상기 대응 데이터는 음성 또는 음향으로 스피커 장치를 통해서 출력되거나, 바이브레이터를 통해 진동으로 출력되는 방법.
  10. 제1항에 있어서,
    상기 전자 장치가 상기 거치대에 장착되었는지 확인하는 동작 후에,
    기 설정된 상기 카메라 장치와 가이드 영역간의 거리, 각도, 조명 장치의 광량, 인식 범위 세팅 값 또는 상기 카메라 장치의 해상도 세팅값 중 적어도 하나의 정보를 확인하는 동작; 및
    상기 확인된 정보에 기반하여 상기 가이드 영역에 포함된 이미지를 상기 카메라 장치에 의해 독취하는 동작을 더 포함하는 방법.
  11. 제1항에 있어서,
    상기 독취된 이미지가 컬러 데이터일 경우,
    상기 가이드 영역을 이루는 거치대의 가이드 프레임의 컬러를 이용하여 상기 독취된 컬러 데이터와 비교하는 동작;
    상기 비교값에 근거하여 상기 독취된 컬러 데이터를 보정하는 동작; 및
    상기 보정된 결과에 근거한 컬러 데이터를 상기 전자 장치의 디스플레이에 표시하는 동작을 포함하는 방법.
  12. 전자 장치에 있어서,
    적어도 하나의 카메라 장치;
    상기 전자 장치가 장착되었을 때, 상기 카메라 장치에 의해 촬영 가능한 위치에 배치되는 적어도 하나의 가이드 영역을 포함하는 거치대; 및
    상기 가이드 영역에 포함된 이미지를 상기 카메라 장치에 의해 독취하며, 상기 독취된 이미지 또는 이미지와 관련된 정보를 출력하는 적어도 하나의 프로세서를 포함하는 전자 장치.
  13. 제12항에 있어서,
    상기 이미지 또는 이미지와 관련된 정보를 표시하기 위한 디스플레이를 더 포함하는 전자 장치.
  14. 제12항에 있어서,
    상기 이미지 또는 이미지와 관련된 정보에 대응하는 대응 정보를 음성으로 출력하기 위한 스피커 장치를 더 포함하는 전자 장치.
  15. 제12항에 있어서,
    상기 이미지 또는 이미지와 관련된 정보에 대응하는 대응 정보를 촉각으로 출력하기 위한 바이브레이터를 더 포함하는 전자 장치.
  16. 제12항에 있어서,
    상기 거치대에 구비된 마그네트의 자력을 감지하여, 자동으로 독취 기능을 수행하기 위한 센서 장치를 더 포함하는 전자 장치.
  17. 제12항에 있어서,
    상기 프로세서는 상기 독취된 이미지에 포함된 텍스트를 OCR(Optical Character Reader) 기능을 이용하여 텍스트 데이터로 변환하는 전자 장치.
  18. 제12항에 있어서,
    상기 프로세서는 상기 변환된 텍스트 데이터를 TTS(Text to Speech) 기능을 이용하여 음성 데이터로 변환하는 전자 장치.
  19. 제12항에 있어서,
    상기 거치대는,
    하부 지지대;
    상기 하부 지지대에 설치되는 적어도 하나의 중공형 가이드 영역을 갖는 가이드 프레임;
    상기 하부 지지대에서 일정 높이로 설치되며, 전자 장치를 수용하기 위한 장착부를 갖는 상부 지지대; 및
    상기 상부 지지대 및 하부 지지대를 연결시켜주는 적어도 하나의 레그(leg)를 포함하는 전자 장치.
  20. 제19항에 있어서,
    상기 가이드 프레임은 다양한 형상 및 갯 수의 가이드 영역을 갖는 다른 가이드 프레임으로 대체되는 전자 장치.
KR1020130104367A 2013-08-30 2013-08-30 이미지 처리 방법 및 그 전자 장치 KR102072542B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130104367A KR102072542B1 (ko) 2013-08-30 2013-08-30 이미지 처리 방법 및 그 전자 장치
US14/282,335 US9413969B2 (en) 2013-08-30 2014-05-20 Automatic image processing method and electronic device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130104367A KR102072542B1 (ko) 2013-08-30 2013-08-30 이미지 처리 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20150026050A true KR20150026050A (ko) 2015-03-11
KR102072542B1 KR102072542B1 (ko) 2020-02-03

Family

ID=52584445

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130104367A KR102072542B1 (ko) 2013-08-30 2013-08-30 이미지 처리 방법 및 그 전자 장치

Country Status (2)

Country Link
US (1) US9413969B2 (ko)
KR (1) KR102072542B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190098932A (ko) * 2019-08-05 2019-08-23 엘지전자 주식회사 지능적인 tts 제공 방법 및 tts를 제공하는 지능형 컴퓨팅 디바이스

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6007091B2 (ja) * 2012-12-07 2016-10-12 株式会社Pfu 撮像用載置台及び撮像システム
BR302013003938S1 (pt) * 2013-02-23 2014-07-15 Samsung Electronics Co Ltd Configuração aplicada em terminal móvel
BR302013003936S1 (pt) * 2013-02-23 2014-07-15 Samsung Electronics Co Ltd Configuração aplicada em terminal móvel
BR302013003942S1 (pt) * 2013-02-23 2014-07-15 Samsung Electronics Co Ltd Configuração aplicada em terminal móvel.
USD750586S1 (en) * 2013-09-25 2016-03-01 Chiun Mai Communication Systems, Inc. Mobile phone
US20150332129A1 (en) * 2014-05-14 2015-11-19 Richard B. Murphy Imaging Apparatus
WO2016028930A1 (en) 2014-08-19 2016-02-25 Freedom Scientific, Inc. Portable desktop video magnifier camera
CN104966084A (zh) * 2015-07-07 2015-10-07 北京奥美达科技有限公司 一种基于ocr和tts的低视力阅读助视系统
DE102015216424A1 (de) * 2015-08-27 2017-03-02 Faurecia Innenraum Systeme Gmbh Dockingstation für ein mobiles elektronisches Gerät zur Verwendung in einem Fahrzeuginnenraum
DE102016118624A1 (de) 2016-09-30 2018-04-05 André Eitz Vorrichtung zur Halterung einer Vergrößerungseinrichtung und System zur Vergrößerung eines zu vergrößernden Objektes
WO2018117565A1 (en) * 2016-12-19 2018-06-28 Samsung Electronics Co., Ltd. Methods and apparatus for managing control data
US11093691B1 (en) * 2020-02-14 2021-08-17 Capital One Services, Llc System and method for establishing an interactive communication session
CN214198015U (zh) * 2021-01-09 2021-09-14 潘世才 可调节高度及角度的电脑折叠支架

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050072850A (ko) * 2004-01-06 2005-07-12 주식회사 팬택앤큐리텔 이동통신단말기를 이용한 촬영시스템 및 그 제어방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11249232A (ja) * 1998-03-04 1999-09-17 Olympus Optical Co Ltd 撮影用アダプタ
US20040186357A1 (en) * 2002-08-20 2004-09-23 Welch Allyn, Inc. Diagnostic instrument workstation
WO2006063827A1 (en) * 2004-12-15 2006-06-22 Magna Donnelly Electronics Naas Limited An accessory module system for a vehicle window
US7652792B2 (en) * 2006-03-15 2010-01-26 Quad/Tech, Inc. Virtual ink desk and method of using same
KR101109048B1 (ko) 2009-08-14 2012-01-31 유니챌(주) Ｏｃｒ 기능을 갖는 모바일 단말기
KR101112425B1 (ko) 2009-12-21 2012-02-22 주식회사 디오텍 이동통신 단말기용 카메라 자동제어방법
KR101677619B1 (ko) 2009-12-30 2016-11-18 엘지전자 주식회사 이동 단말기의 충전구조 및 그의 충전방법
US9143359B2 (en) * 2010-12-17 2015-09-22 Verizon Patent And Licensing Inc. Mobile phone docking station for VoIP
KR101554599B1 (ko) 2011-06-30 2015-09-21 주식회사 케이티 외부 디바이스와 도킹 연결되는 휴대 단말 및 어플리케이션 실행 방법
EP2573666B1 (en) * 2011-09-21 2018-09-05 LG Electronics Inc. Mobile terminal and control method thereof
US20140176690A1 (en) * 2012-12-21 2014-06-26 Technologies Humanware Inc. Magnification system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050072850A (ko) * 2004-01-06 2005-07-12 주식회사 팬택앤큐리텔 이동통신단말기를 이용한 촬영시스템 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190098932A (ko) * 2019-08-05 2019-08-23 엘지전자 주식회사 지능적인 tts 제공 방법 및 tts를 제공하는 지능형 컴퓨팅 디바이스

Also Published As

Publication number Publication date
US9413969B2 (en) 2016-08-09
KR102072542B1 (ko) 2020-02-03
US20150066511A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
KR102072542B1 (ko) 이미지 처리 방법 및 그 전자 장치
KR101851239B1 (ko) 휴대단말기의 이미지 표현장치 및 방법
US8170478B2 (en) Cell phone terminal, method for starting data processing, method for transferring data
KR102053361B1 (ko) 화면 회전을 적응적으로 수행하기 위한 방법 및 그 전자 장치
KR20070044354A (ko) 휴대 단말기 장치, 마우스 애플리케이션 프로그램, 및 휴대단말기 장치를 무선 마우스 장치로서 사용하는 방법
WO2014065254A1 (ja) 携帯端末装置および入力操作受け付け方法
EP3246807A1 (en) Method and apparatus for triggering execution of operation instruction
WO2020221009A1 (zh) 扫码方法及移动终端
JP2005182367A (ja) 携帯端末装置
KR20100121550A (ko) 화상 표시장치
JP2009271689A (ja) 表示装置、および、表示装置における表示方法
JP6587918B2 (ja) 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラム及び電子機器システム
KR20070057351A (ko) 점자를 음성으로 변환하는 이동통신단말기
JP2013191103A (ja) 電子機器、およびプログラム
JP4449869B2 (ja) 携帯端末装置及びプログラム
JP5221404B2 (ja) 携帯電子機器及び音声調整方法
JP5783441B2 (ja) 入力装置、入力方法
JP2011205475A (ja) 携帯電子機器
KR20070072252A (ko) 안구 감지 기능이 구비된 이동 통신 단말기 및 그 화면처리 방법
KR20140082403A (ko) 전자 장치에서 모드 전환 장치 및 방법
JP2019139584A (ja) 文章入力装置、プログラム
KR20050089232A (ko) 시력 검사 기능을 가지는 무선통신단말기 및 그 방법
JP2010258753A (ja) 携帯端末および投影プログラム
KR20090074378A (ko) 휴대 단말기 및 그 네비게이션 기능 수행 방법
KR20170124220A (ko) 투명 lcd 스크린을 구비한 차량용 영상 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant