KR102567003B1 - 전자 장치 및 그 동작방법 - Google Patents

전자 장치 및 그 동작방법 Download PDF

Info

Publication number
KR102567003B1
KR102567003B1 KR1020180052787A KR20180052787A KR102567003B1 KR 102567003 B1 KR102567003 B1 KR 102567003B1 KR 1020180052787 A KR1020180052787 A KR 1020180052787A KR 20180052787 A KR20180052787 A KR 20180052787A KR 102567003 B1 KR102567003 B1 KR 102567003B1
Authority
KR
South Korea
Prior art keywords
text
electronic device
priority
image
recognized
Prior art date
Application number
KR1020180052787A
Other languages
English (en)
Other versions
KR20190128516A (ko
Inventor
프르제미슬라브 그레일위츠
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180052787A priority Critical patent/KR102567003B1/ko
Priority to EP18918261.1A priority patent/EP3739465A4/en
Priority to PCT/KR2018/007495 priority patent/WO2019216484A1/ko
Priority to CN201880093251.5A priority patent/CN112106037A/zh
Priority to US16/976,334 priority patent/US11163378B2/en
Publication of KR20190128516A publication Critical patent/KR20190128516A/ko
Application granted granted Critical
Publication of KR102567003B1 publication Critical patent/KR102567003B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

적어도 하나의 객체를 촬영하는 카메라, 디스플레이, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 메모리에 저장된 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 프로세서는 하나 이상의 인스트럭션들을 실행함으로써, 카메라로부터 수신한 이미지에 포함되는 적어도 하나의 텍스트를 인식하고, 인식된 텍스트와 컨텍스트 정보에 기초하여, 우선 순위를 가지는 하나 이상의 추천 단어들을 생성하고, 생성된 추천 단어들을 우선 순위에 따라, 디스플레이에 표시하도록 제어하는, 전자 장치가 개시된다.

Description

전자 장치 및 그 동작방법{Electronic device and operating method for the same}
다양한 실시예들은 전자 장치 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 이미지에서 인식된 적어도 하나의 텍스트를 기초로 하여, 적어도 하나의 추천 단어를 제공할 수 있는 전자 장치 및 그 동작방법에 관한 것이다.
정보통신 기술 및 반도체 기술의 발전으로 각종 전자 장치들이 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 전자 장치는 메신저 서비스, 방송 서비스, 무선 인터넷 서비스, 카메라 서비스 및 음악 재생 서비스와 같은 다양한 멀티미디어 서비스를 제공하고 있다.
특히, 전자 장치는 카메라를 이용하여, 주변 환경을 쉽게 이미지화할 수 있도록 한다. 또한, 전자 장치는 이미지에서 자동으로 문자를 인식하는 광학 문자 인식(Optical Character Recognition: OCR) 기술을 이용하여, 이미지에 포함된 문자를 인식한 결과를 출력할 수 있다.
그러나, 텍스트를 입력하는 도중, OCR 기능을 이용하여 이미지에 포함된 문자를 인식하여, 텍스트로 입력하고자 하는 경우, 번거롭고, OCR을 이용한 문자 인식 결과가 만족스럽지 못하다는 문제점이 있다.
다양한 실시예들은, 이미지에서 텍스트를 인식하여, 인식된 텍스트 및 컨텍스트 정보에 기초하여, 추천 단어들을 생성하고 표시할 수 있는 전자 장치 및 그 동작방법을 제공할 수 있다.
일 실시예에 따른 전자 장치는, 적어도 하나의 객체를 촬영하는 카메라, 디스플레이, 하나 이상의 인스트럭션들을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 카메라로부터 수신한 이미지에 포함되는 적어도 하나의 텍스트를 인식하고, 인식된 텍스트와 컨텍스트 정보에 기초하여, 우선 순위를 가지는 하나 이상의 추천 단어들을 생성하고, 생성된 추천 단어들을 상기 우선 순위에 따라, 상기 디스플레이에 표시하도록 제어할 수 있다.
일 실시예에 따른 전자 장치의 동작 방법은, 적어도 하나의 객체를 촬영하여, 이미지를 획득하는 단계, 상기 이미지에 포함되는 적어도 하나의 텍스트를 인식하는 단계, 인식된 텍스트와 컨텍스트 정보에 기초하여, 우선 순위를 가지는 하나 이상의 추천 단어들을 생성하는 단계, 및 생성된 추천 단어들을 상기 우선 순위에 따라, 표시하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치는, 텍스트 입력 모드에서 타이핑하는 대신 이미지 캡쳐만으로 단어를 입력할 수 있어, 사용자의 이용 편의성이 향상될 수 있다.
일 실시예에 따른 전자 장치는, 인식된 텍스트를 컨텍스트 정보에 매칭되는 단어로 변경함으로써, 사용자의 의도에 부합하는 단어를 추천할 수 있다.
도 1은 일 실시예에 따른, 전자 장치를 나타내는 도면이다.
도 2는 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 3은 도 2의 프로세서의 구성을 나타내는 블록도이다.
도 4는 일 실시예에 따른 전자 장치의 동작방법을 나타내는 흐름도이다.
도 5 내지 10은 일 실시예에 따른 전자 장치의 동작방법을 설명하기 위해 참조되는 도면들이다.
도 11은 다른 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른, 전자 장치를 나타내는 도면이다.
일 실시예에 따른 전자 장치(100)는, 다양한 형태로 구현될 수 있다. 예를 들어, 전자 장치는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 데스크 탑, 태블릿 PC, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 캠코더, IPTV(Internet Protocol Television), DTV(Digital Television), 착용형 기기(wearable device) 등과 같은 다양한 전자 장치로 구현될 수 있다. 다만, 이에 한정되는 것은 아니다.
본 명세서의 실시예에서 “사용자”라는 용어는 전자 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 관리자 또는 설치 기사를 포함할 수 있다.
일 실시예에 따른 전자 장치(100)는 카메라를 포함하여, 적어도 하나의 객체를 촬영할 수 있다. 일 실시예에 따른 전자 장치(100)는 도 1에 도시된 바와 같이, 텍스트 입력 모드에서 카메라 촬영을 수행할 수 있다. 예를 들어, 텍스트 입력 모드는, 외부 장치로 문자 메시지나 인스턴트 메시지를 전송하기 위해 텍스트를 입력하는 모드, 메모 어플리케이션과 같이 텍스트를 입력할 수 있는 어플리케이션을 실행시켜, 텍스트를 입력하는 모드, 이메일을 전송하기 위해 텍스트를 입력하는 모드 등을 포함할 수 있다. 다만, 이에 한정되지 않는다. 일 실시예에 따른 전자 장치(100)는 텍스트 입력 모드에서, 텍스트 입력 창 및 카메라 아이콘을 표시할 수 있다.
전자 장치(100)는 텍스트 입력 모드에서, 촬영을 요청하는 사용자 입력(예를 들어, 카메라 아이콘을 터치하는 입력)을 수신하면, 카메라를 구동시켜, 적어도 하나의 객체를 촬영할 수 있으며, 카메라에서 촬영되는 이미지를 프리뷰 이미지로 표시할 수 있다.
또한, 전자 장치(100)는 OCR(Optical Character Recognition) 모듈을 포함할 수 있으며, OCR 모듈을 이용하여, OCR 기능을 수행할 수 있다. OCR 기능은 빛을 이용해 문자를 판독하는 것으로, 이미지 내에 포함된 적어도 하나의 텍스트를 인식하는 기능이다. 일 실시예에 따른 전자 장치(100)는 OCR 기능을 이용하여, 카메라로부터 촬영된 이미지 내에 포함된 적어도 하나의 텍스트를 인식할 수 있다.
또한, 전자 장치(100)는 인식되기 전 텍스트의 형상이 텍스트와 유사한 정도, 인식된 텍스트의 이미지 내에서의 위치, 텍스트의 크기, 텍스트의 방향(orientation), 텍스트의 색상, 폰트, 인쇄된 텍스트인지, 수서된(handwritten) 텍스트인지 여부, 텍스트의 언어 종류, 텍스트의 카테고리, 등에 기초하여, 인식된 텍스트의 우선 순위를 결정할 수 있다. 다만, 이에 한정되지 않는다.
예를 들어, 전자 장치(100)는 인식된 텍스트들 중 이미지의 중심 지점과 가장 가까운 위치에서 인식된 텍스트의 우선 순위를 가장 높게 결정할 수 있다. 또는, 전자 장치(100)는 인식된 텍스트들 중 크기가 가장 큰 텍스트의 우선 순위를 가장 높게 결정할 수 있다. 또는, 전자 장치(100)는 인식된 텍스트들 중 텍스트의 방향이 수평 방향과 가장 가까운 텍스트의 우선 순위를 가장 높게 결정할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 전자 장치(100)는 언어모델을 이용하여, 인식된 텍스트를 컨텍스트 정보와 매칭되는 단어들로 변경하여, 하나 이상의 추천 단어들을 생성할 수 있다. 또한, 언어모델을 이용하여, 추천 단어들의 우선 순위를 결정할 수 있다.
언어모델은, 사람이 사용하는 언어를 모델링 하여, 특정 단어열이 실제 사용되는 언어와 일치하는 정도를 확률로 계산하는 모델일 수 있다. 언어모델은 사전, 사용 빈도, 사용 확률 등에 기초하여, 문법적으로 적합하거나 확률적으로 가능성이 높은 단어 또는 글자를 예측하는 모델일 수 있다. 예를 들어, 글자(character) 또는 단어(word) 단위의 언어모델인 경우, 지금까지 입력된 글자 또는 단어들을 기초로, 다음에 나올 글자 또는 단어를 예측할 수 있다. 또한, 문장(sentence) 단위의 언어모델의 경우, 어떤 문장이나 문단의 포괄적 뜻 또는 상황(context)를 고려하여, 문장에 포함되는 단어를 예측할 수 있다.
언어모델은 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예를 들어, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 언어 모델로 사용될 수 있으나, 이에 한정되지 않는다.
또한, 컨텍스트 정보는, 전자 장치의 시간 정보, 전자 장치의 위치 정보, 메시징의 상대방에 대한 정보, 상대방으로부터 수신한 메시지의 내용, 메시지 입력 영역에 입력된 메시지의 내용 등을 포함할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른, 전자 장치(100)는 이미지에서 인식된 적어도 하나의 텍스트를 언어 모델을 이용하여, 컨텍스트 정보에 매칭되는 하나 이상의 단어들로 변경할 수 있다. 또한, 전자 장치(100)는 언어모델을 이용하여, 변경된 단어들의 우선 순위를 재 결정할 수 있다.
일 실시예에 따른 전자 장치(100)는 우선 순위에 따라 디스플레이에 추천 단어들을 표시할 수 있으며, 우선 순위가 높은 순서로 추천 단어들을 표시할 수 있다.
도 2는 일 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 일 실시예에 따른 전자 장치(100)는 카메라(110), 프로세서(120), 메모리(130) 및 디스플레이(140)를 포함할 수 있다.
일 실시예에 따른 카메라(110)는 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(120) 또는 별도의 이미지 프로세서(미도시)를 통해 처리될 수 있다. 카메라(110)에서 처리된 화상 프레임은 메모리(130)에 저장되거나 외부 장치로 전송될 수 있다. 카메라(110)는 전자 장치(110)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
일 실시예에 따른 카메라(110)는 텍스트를 포함하는 적어도 하나의 객체를 캡쳐하고, 캡쳐된 이미지를 프로세서(120)를 통하여 처리할 수 있다.
일 실시예에 따른 프로세서(120)는 메모리(130)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(120)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(120)는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(120)는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
일 실시예에 따른 메모리(130)는 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
또한, 메모리(130)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(130)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(120)는 메모리(130)에 저장되는 하나 이상의 인스트럭션들을 실행함으로써, 카메라(110)로부터 수신한 이미지에서 적어도 하나의 텍스트를 인식할 수 있다.
예를 들어, 프로세서(120)는 OCR 기능을 이용하여, 이미지에 포함되는 텍스트를 인식할 수 있다. 또한, 프로세서(120)는 촬영된 이미지를 복수의 영역들로 분할할 수 있으며, 영역별로 텍스트를 인식할 수 있다. 이때, 복수의 영역들 각각에서 나타나는 형상이 텍스트와 유사한지 여부 및 영역들 각각의 위치에 따라, 복수의 영역들의 우선 순위가 결정될 수 있다. 또한, 우선 순위를 가지는 복수의 영역들 각각에서 인식된 텍스트는 해당 영역의 우선 순위와 동일한 우선 순위를 가질 수 있다. 또는, 프로세서(120)는 이미지에 나타나는 텍스트의 형상이 텍스트와 유사한지 여부, 텍스트의 이미지 내에서의 위치, 텍스트의 크기, 텍스트의 방향 텍스트의 색상, 폰트, 인쇄된 텍스트인지, 수서된(handwritten) 텍스트인지 여부, 텍스트의 언어 종류, 텍스트의 카테고리, 등에 기초하여, 인식된 텍스트의 우선 순위를 결정할 수 있다. 다만, 이에 한정되지 않는다.
프로세서(120)는 인식된 텍스트와 컨텍스트 정보에 기초하여, 우선 순위를 가지는 하나 이상의 추천 단어들을 생성할 수 있다. 예를 들어, 프로세서(120)는 언어 모델을 이용하여, 인식된 적어도 하나의 텍스트를 컨텍스트 정보에 매칭되는 하나 이상의 추천 단어들로 변경할 수 있다. 또한, 프로세서(120)는 변경된 단어들의 우선 순위를 재 결정할 수 있다.
일 실시예에 따른 디스플레이(140)는 프로세서(120)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이(140)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이(140)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 디스플레이(140)는 카메라(110)에서 촬영되는 이미지를 표시할 수 있다. 또한, 생성된 추천 단어들을 우선 순위에 따라 표시할 수 있다. 예를 들어, 디스플레이(140)는 우선 순위가 높은 순서로 추천 단어들을 표시할 수 있다.
도 3은 도 2의 프로세서의 구성을 나타내는 블록도이다.
도 2를 참조하면, 일부 실시예에 따른 프로세서(120)는 데이터 학습부(121) 및 데이터 인식부(122)를 포함할 수 있다.
데이터 학습부(121)는 이미지에서 인식된 텍스트를 컨텍스트에 매칭되는 단어들(예를 들어, 추천 단어들)로 변경하기 위한 기준을 학습할 수 있다. 데이터 학습부(121)는 추천 단어들을 생성하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 추천 단어들을 어떻게 생성할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(1310)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 언어 모델에 적용함으로써, 추천 단어들을 생성하기 위한 기준을 학습할 수 있다.
데이터 인식부(1320)는 데이터에 기초하여, 추천 단어들을 생성할 수 있다. 데이터 인식부(1320)는 학습된 언어 모델을 이용하여, 소정의 데이터로부터 추천 단어들을 생성할 수 있다. 데이터 인식부(1320)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터(예를 들어, 이미지에서 인식된 적어도 하나의 텍스트, 컨텍스트 정보 등)를 획득하고, 획득된 데이터를 입력 값으로 하여 언어 모델을 이용함으로써, 소정의 데이터에 기초한 추천 단어들을 생성할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 언어 모델에 의해 출력된 결과 값은, 언어 모델을 갱신하는데 이용될 수 있다.
데이터 학습부(121) 및 데이터 인식부(122) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(121) 및 데이터 인식부(122) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.
이 경우, 데이터 학습부(121) 및 데이터 인식부(122)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(121) 및 데이터 인식부(122) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(121) 및 데이터 인식부(122)는 유선 또는 무선으로 통하여, 데이터 학습부(121)가 구축한 모델 정보를 데이터 인식부(122)로 제공할 수도 있고, 데이터 인식부(122)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(121)로 제공될 수도 있다.
한편, 데이터 학습부(121) 및 데이터 인식부(122) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(121) 및 데이터 인식부(122) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
도 4는 일 실시예에 따른 전자 장치의 동작방법을 나타내는 흐름도이다.
도 4를 참조하면, 일 실시예에 따른 전자 장치(100)는 적어도 하나의 객체를 촬영할 수 있다(S210). 예를 들어, 전자 장치(100)는 촬영을 요청하는 사용자 입력을 수신하면, 카메라를 구동시켜 적어도 하나의 객체를 촬영할 수 있다. 이때, 카메라에 의해 촬영되는 객체는 적어도 하나의 텍스트를 포함할 수 있다. 또한, 전자 장치(100)는 카메라에 의해 촬영되는 이미지를 프리뷰 이미지로 표시할 수 있다.
일 실시예에 따른 전자 장치(100)는 촬영된 이미지에 포함되는 적어도 하나의 텍스트를 인식할 수 있다(S220). 예를 들어, 전자 장치(100)는 OCR 기능을 이용하여, 이미지에 포함되는 텍스트를 인식할 수 있다. 전자 장치(100)는 촬영된 이미지를 복수의 영역들로 분할할 수 있으며, 영역별로, 텍스트를 인식할 수 있다. 이때, 복수의 영역들 각각에서 나타나는 형상이 텍스트와 유사한지 여부나, 영역들 각각의 위치에 따라, 복수의 영역들의 우선 순위가 결정될 수 있다. 또한, 우선 순위를 가지는 복수의 영역들 각각에서 인식된 텍스트는 해당 영역의 우선 순위와 동일한 우선 순위를 가질 수 있다. 예를 들어, 촬영된 이미지를 제1 영역, 제2 영역 및 제3 영역으로 나누고, 제1 영역이 1순위, 제2 영역이 3순위, 제3 영역이 2순위의 우선 순위를 가지는 경우, 제1 영역에서 인식된 제1 텍스트는 1순위, 제2 영역에서 인식된 제2 텍스트는 3순위, 제3 영역에서 인식된 제3 텍스트는 2순위의 우선 순위를 가질 수 있다. 다만, 이에 한정되지 않는다.
또는, 전자 장치(100)는 이미지에 나타나는 텍스트의 형상이 텍스트와 유사한지 여부, 텍스트의 이미지 내에서의 위치, 텍스트의 크기, 텍스트의 방향 텍스트의 색상, 폰트, 인쇄된 텍스트인지, 수서된(handwritten) 텍스트인지 여부, 텍스트의 언어 종류, 텍스트의 카테고리, 등에 기초하여, 인식된 텍스트의 우선 순위를 결정할 수 있다. 다만, 이에 한정되지 않는다. 예를 들어, 전자 장치(100)는 인식된 텍스트들 중 이미지의 중심 지점과 가장 가까운 위치에서 인식된 텍스트의 우선 순위를 가장 높게 결정할 수 있다. 또는, 전자 장치(100)는 인식된 텍스트들 중 크기가 가장 큰 텍스트의 우선 순위를 가장 높게 결정할 수 있다. 또는, 전자 장치(100)는 인식된 텍스트들 중 텍스트의 방향이 수평 방향과 가장 가까운 텍스트의 우선 순위를 가장 높게 결정할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 전자 장치(100)는 컨텍스트 정보를 획득할 수 있다(S230).
예를 들어, 전자 장치(100)는 전자 장치의 시간 정보, 전자 장치의 위치 정보, 메시징의 상대방에 대한 정보, 상대방으로부터 수신한 메시지의 내용, 메시지 입력 영역에 입력된 메시지의 내용 등을 획득할 수 있다.
일 실시예에 따른 전자 장치(100)는 언어모델을 이용하여, 우선 순위를 가지는 적어도 하나의 추천 단어들을 생성할 수 있다(S240). 예를 들어, 전자 장치(100)는 인식된 텍스트를 언어 모델을 이용하여, 컨텍스트 정보에 매칭되는 하나 이상의 단어들로 변경할 수 있다. 또한, 전자 장치(100)는 언어모델을 이용하여, 변경된 단어들의 우선 순위를 재 결정할 수 있다.
일 실시예에 따른 전자 장치(100)는 적어도 하나의 추천 단어들을 우선 순위에 따라 디스플레이에 표시할 수 있다(S250). 예를 들어, 전자 장치(100)는 우선 순위가 높은 순서로 추천 단어들을 표시할 수 있다.
도 5 내지 10은, 일 실시예에 따른 전자 장치의 동작방법을 설명하기 위해 참조되는 도면들이다.
도 5를 참조하면, 전자 장치 사용자(제1 사용자)는, 외부 장치 사용자(제2 사용자)와 메시지를 송수신할 수 있으며, 전자 장치(100)는 메시지 창(410)을 표시할 수 있다. 일 실시예에 따른, 메시지 창(410)은, 문자 메시지 창, 인스턴트 메시지 창, 이메일 창, 및 채팅 창 중 적어도 하나를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 메시지 창(410)은 메시지 입력 영역(430)과 메시지 표시 영역(420)을 포함할 수 있다. 이때, ‘메시지 입력 영역(430)’은 전송하고자 하는 메시지를 입력하는 영역을 의미하고, ‘메시지 표시 영역(410)’은 전송이 완료되거나 수신이 완료된 메시지를 표시하는 영역을 의미할 수 있다.
예를 들어, 제2 사용자는 제1 사용자에게 어디에 있는지를 물어보는 메시지(예를 들어, Where are you?)를 전송할 수 있으며, 제2 사용자가 전송한 메시지는, 메시지 표시 영역(420)에 표시될 수 있다.
이때, 제1 사용자는, 자신이 위치한 장소를 메시지 입력 영역(430)에 타이핑하는 대신, 제1 사용자 주변에 있는 장소 표지판 등을 촬영하여, 자신이 위치한 장소를 입력할 수 있다.
도 5에 도시된 바와 같이, 메시지 창(410)은 메시지 표시 영역(420) 및 메시지 입력 영역(430) 이외에 카메라 아이콘(450)을 더 포함할 수 있다. 카메라 아이콘(450)은 메시지 입력 영역(430) 근처에 표시될 수 있다. 또는, 전자 장치(100)는 카메라 버튼(460)을 포함할 수 있으며, 카메라 버튼(460)은 하드웨어 버튼으로 구현될 수 있다.
전자 장치(100)는, 촬영 아이콘(450)을 터치하는 입력 또는 촬영 버튼(460)을 누르는 입력을 수신하면, 도 5에 도시된 바와 같이, 카메라를 구동하여, 적어도 하나의 객체를 촬영할 수 있다.
도 6을 참조하면, 전자 장치(100)는 이미지 센서를 통하여, 획득되는 이미지를 프리뷰 이미지로 디스플레이에 표시할 수 있다. 사용자는 촬영하고자 하는 객체를 포커싱 한 후, 디스플레이에 표시되는 촬영 버튼(510)을 터치하여, 촬영을 수행할 수 있다. 또는, 사용자는 촬영하고자 하는 객체를 포커싱하고, 기 설정된 시간 동안 포커싱 상태를 유지함으로써, 촬영을 수행할 수 있다. 또한, 전자 장치(100)는 촬영된 이미지(520)를 디스플레이부에 표시할 수 있다.
도 7을 참조하면, 전자 장치(100)는 촬영된 이미지(610)에 포함되는 적어도 하나의 텍스트를 인식할 수 있으며, 적어도 하나의 텍스트의 우선 순위를 결정할 수 있다.
예를 들어, 전자 장치(100)는 OCR 기능을 이용하여, 이미지에 포함되는 텍스트를 인식할 수 있다. 전자 장치(100)는 촬영된 이미지를 복수의 영역들로 분할할 수 있으며, 영역별로 텍스트를 인식할 수 있다. 이때, 복수의 영역들 각각에서 나타나는 형상이 텍스트와 유사한지 여부 및 영역들 각각의 위치에 따라, 복수의 영역들의 우선 순위가 결정될 수 있다. 또한, 우선 순위를 가지는 복수의 영역들 각각에서 인식된 텍스트는 해당 영역의 우선 순위와 동일한 우선 순위를 가질 수 있다. 예를 들어, 촬영된 이미지를 제1 영역(R1), 제2 영역(R2) 및 제3 영역(R3)으로 나누고, 제1 영역(R1)이 1순위, 제2 영역(R2)이 3순위, 제3 영역(R3)이 2순위의 우선 순위를 가지는 경우, 제1 영역(R1)에서 인식된 제1 텍스트는 1순위, 제2 영역(R2)에서 인식된 제2 텍스트는 3순위, 제3 영역(R3)에서 인식된 제3 텍스트는 2순위의 우선 순위를 가질 수 있다. 다만, 이에 한정되지 않는다.
또는, 전자 장치(100)는 이미지에 나타나는 텍스트의 형상이 텍스트와 유사한지 여부, 텍스트의 이미지 내에서의 위치, 텍스트의 크기, 텍스트의 방향 텍스트의 색상, 폰트, 인쇄된 텍스트인지, 수서된(handwritten) 텍스트인지 여부, 텍스트의 언어 종류, 텍스트의 카테고리, 등에 기초하여, 인식된 텍스트의 우선 순위를 결정할 수 있다. 다만, 이에 한정되지 않는다. 예를 들어, 전자 장치(100)는 인식된 텍스트들 중 이미지의 중심 지점과 가장 가까운 위치에서 인식된 텍스트의 우선 순위를 가장 높게 결정할 수 있다. 또는, 전자 장치(100)는 인식된 텍스트들 중 크기가 가장 큰 텍스트의 우선 순위를 가장 높게 결정할 수 있다. 또는, 전자 장치(100)는 인식된 텍스트들 중 텍스트의 방향이 수평 방향과 가장 가까운 텍스트의 우선 순위를 가장 높게 결정할 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 전자 장치(100)는 언어모델(620)을 포함할 수 있으며, 언어 모델은, 이미지에서 인식된 적어도 하나의 텍스트와 전자 장치에서 획득된 컨텍스트 정보에 기초하여, 적어도 하나의 추천 단어들을 생성할 수 있다.
예를 들어, 컨텍스트 정보는, 전자 장치의 시간 정보, 전자 장치의 위치 정보, 메시징의 상대방에 대한 정보(예를 들어, Robbin), 상대방으로부터 수신한 메시지의 내용(예를 들어, Where are you?), 메시지 입력 영역에 입력된 메시지의 내용(예를 들어, I’m on) 등을 포함할 수 있다.
언어모델(620)은, 사람이 사용하는 언어를 모델링 하여, 특정 단어열이 실제 사용되는 언어와 일치하는 정도를 확률로 계산하는 모델일 수 있다. 언어모델은 사전, 사용 빈도, 사용 확률 등에 기초하여, 문법적으로 적합하거나 확률적으로 가능성이 높은 단어 또는 글자를 예측하는 모델일 수 있다. 예를 들어, 글자(character) 또는 단어(word) 단위의 언어모델인 경우, 지금까지 입력된 글자 또는 단어들을 기초로, 다음에 나올 글자 또는 단어를 예측할 수 있다. 또한, 문장(sentence) 단위의 언어모델의 경우, 어떤 문장이나 문단의 포괄적 뜻 또는 상황(context)를 고려하여, 문장에 포함되는 단어를 예측할 수 있다.
언어모델(620)은 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예를 들어, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 언어 모델(620)로 사용될 수 있으나, 이에 한정되지 않는다.
일 실시예에 따른, 전자 장치(100)는 이미지에서 인식된 적어도 하나의 텍스트(Text 1, Text 2,…, Text N)를 언어 모델(620)을 이용하여, 컨텍스트 정보에 매칭되는 단어들로 변경할 수 있다. 또한, 전자 장치(100)는 언어모델(620)을 이용하여, 변경된 단어들의 우선 순위를 재 결정할 수 있다.
예를 들어, 전자 장치(100)는 상대방으로부터 수신한 메시지의 내용(예를 들어, where are you?)과 사용자가 전자 장치의 메시지 입력 영역에 입력한 메시지의 내용(예를 들어, I’m on)에 기초하여, 다음에 등장할 단어가 장소와 관련된 단어임을 예측할 수 있다. 이에 따라, 적어도 하나의 텍스트들 중 장소와 관련도가 높은 단어들을 추천 단어로 결정하고, 그에 대응하는 우선 순위를 부여할 수 있다. 또한, 전자 장치의 위치 정보에 기초하여, 인식된 적어도 하나의 텍스트(Text 1, Text 2,…, Text N) 중에 현재 위치 정보와 관련도가 높은 단어들을 추천 단어로 결정하고, 그에 대응하는 우선 순위를 부여할 수 있다. 다만, 이에 한정되지 않는다.
또한, 도시하지는 않았지만, 일 실시예에 따른 전자 장치(100)는 상대방으로부터 수신한 메시지에 포함된 언어 및 메시지 입력 영역에 입력된 메시지에 포함된 언어의 종류에 기초하여, 인식된 텍스트의 언어의 종류를 변경하여 추천 단어를 생성할 수 있다. 예를 들어, 인식된 텍스트가 영어로 쓰여진 ‘Garosu-gil’이고, 제1 사용자와 제2 사용자가 송수신하는 메시지는 한글로 작성된 경우(예를 들어, 어디야?), 전자 장치(100)는 ‘Garosu-gil’을 한글로 변환한 ‘가로수길’을 추천 단어로 생성할 수 있다. 다만, 이에 한정되지 않는다.
도 8 및 9를 참조하면, 전자 장치(100)는 언어모델을 이용하여 생성한 추천 단어들을 디스플레이부에 표시할 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 전자 장치(100)는 메시지 입력 영역의 하단 부분에 추천 단어들(예를 들어, ‘Garosu-gil’, ‘Garosu’, ‘Book Store’ 등)을 표시할 수 있다. 또한, 전자 장치(100)는 추천 단어들의 우선 순위에 따라, 우선 순위가 가장 높은 1 순위를 가지는 제1 추천 단어(예를 들어, ‘Garosu-gil’), 2 순위를 가지는 제2 추천 단어(예를 들어, ‘Garosu’), 3 순위를 가지는 제3 추천 단어(예를 들어, ‘Book Store’) 순서로 표시할 수 있다. 다만, 이에 한정되지 않는다.
또한, 도 9에 도시된 바와 같이, 전자 장치(100)는 팝업창(710)을 이용하여, 추천 단어들을 표시할 수 있다.
이때, 사용자는 추천 단어들 중 사용자가 입력하고자 하는 단어가 존재하는 경우, 해당 단어를 선택하고, ‘확인’ 버튼을 입력할 수 있다. 반면에, 추천 단어들 중 사용자가 입력하고자 하는 단어가 존재하지 않는 경우, ‘닫기’ 버튼을 입력하여, 팝업창(710)을 표시를 종료할 수 있다.
도 10을 참조하면, 일 실시예에 따른 전자 장치는 추천 단어들 중 선택된 단어를 메시지 입력 영역에 입력할 수 있다.
예를 들어, 도 8에서, 표시된 추천 단어들 중 어느 하나를 선택하는 사용자 입력을 수신하거나, 도 9에서, 표시된 추천 단어들 중 어느 하나를 선택하고, ‘확인’ 버튼을 선택하는 사용자 입력을 수신하는 경우, 전자 장치(100)는 선택된 단어(‘Garosu-gil’)를 메시지 입력 영역에 입력할 수 있다. 또한, 전자 장치는 언어모델을 이용하여, 선택된 단어를 다른 종류의 언어로 변환하여 입력할 수 있다. 예를 들어, 외부 장치와 송수신하는 메시지에 포함된 언어가 한글이고, 선택된 단어가 영어로 쓰여진 ‘Garosu-gil’인 경우, 한글로 변환하여, ‘가로수길’을 입력할 수 있다.
도 11은 다른 실시예에 따른 전자 장치의 구성을 나타내는 블록도이다. 도 11의 전자 장치(300)는 도 1의 전자 장치(100)의 일 실시예일 수 있다.
도 11을 참조하면, 일 실시예에 따른 전자 장치(300)는 제어부(330), 센서부(320), 통신부(340), 출력부(350), 사용자 입력부(360), A/V 입력부(370) 및 저장부(380)를 포함할 수도 있다.
도 11의 제어부(330)는 도 2의 프로세서(120)에, 도 11의 저장부(380)는 도 2의 메모리(130)에, 도 11의 디스플레이부(351)는 도 2의 디스플레이(140)에 각각 대응될 수 있다. 도 2에서 설명한 내용과 동일한 내용은 도 11에서 생략하기로 한다.
통신부(340)는, 전자 장치(300)와 외부 장치(예를 들어, 서버 등) 간의 통신을 수행하기 위한 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(340)는, 근거리 통신부(341), 이동 통신부(342), 방송 수신부(343)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(341)는, 블루투스 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(342)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(343)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(300)가 방송 수신부(343)를 포함하지 않을 수도 있다.
통신부(340)는, 외부 장치로부터 적어도 하나의 이미지를 수신할 수 있다. 또는, 통신부(340)는 외부 서버로 특징 추출 모델 및 분류 모델을 요청하여 수신할 수 있다. 통신부(340)는 복수의 이미지들의 분류 결과를 외부 서버로 전송할 수 있으며, 분류 결과에 기초하여 업데이트된 특징 추출 모델 및 분류 모델을 수신할 수 있다.
출력부(350)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(351)와 음향 출력부(352), 진동 모터(353) 등이 포함될 수 있다. 디스플레이부(351)에 대해서는 도 11에서 이미 설명한 바 있으므로, 디스플레이부(351)에 대한 설명은 생략하기로 한다.
음향 출력부(352)는 통신부(340)로부터 수신되거나 저장부(380)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(352)는 전자 장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(352)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(353)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(353)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(353)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
제어부(330)는, 전자 장치(300)의 전반적인 동작을 제어한다. 예를 들어, 제어부(330)는, 저장부(380)에 저장된 프로그램들을 실행함으로써, 통신부(340), 출력부(350), 사용자 입력부(360), 센싱부(320), A/V 입력부(370) 등을 제어할 수 있다.
사용자 입력부(360)는, 사용자가 전자 장치(300)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(360)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
센서부(320)는, 사용자의 생체 정보를 센싱하는 센서뿐만 아니라, 전자 장치(300)의 상태 또는 전자 장치(300) 주변의 상태를 감지하는 센서를 포함할 수 있다. 또한, 센서부(320)는 센서에서 감지된 정보를 제어부(320)로 전달할 수 있다.
센서부(320)는, 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS)), 기압 센서, 근접 센서, 및 RGB 센서(illuminance sensor) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
A/V(Audio/Video) 입력부(370)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(371)와 마이크로폰(372) 등이 포함될 수 있다. 카메라(371)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(330) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(371)에서 처리된 화상 프레임은 저장부(380)에 저장되거나 통신부(340)를 통하여 외부로 전송될 수 있다. 카메라(371)는 전자 장치(300)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(372)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(372)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(372)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
저장부(380)는, 제어부(330)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 애플리케이션, 콘텐트, 외부 디바이스의 시간대 정보, 주소록 등)을 저장할 수도 있다.
저장부(380)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 전자 장치(300)는 인터넷(internet)상에서 저장부(380)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
저장부(380)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(381), 터치 스크린 모듈(382), 알림 모듈(383) 등으로 분류될 수 있다.
UI 모듈(381)은, 어플리케이션 별로 전자 장치(300)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(382)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(130)로 전달할 수 있다.
터치 스크린 모듈(382)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(382)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
알림 모듈(383)은 전자 장치(300)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 전자 장치(300)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(383)은 디스플레이부(351)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(352)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(353)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
한편, 도 2 및 11에 도시된 전자 장치(100, 300)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 전자 장치(100, 300)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
일 실시예에 따른 전자 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (17)

  1. 전자 장치에 있어서,
    적어도 하나의 객체를 촬영하는 카메라;
    디스플레이;
    하나 이상의 인스트럭션들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
    상기 카메라로부터 수신한 이미지에 포함되는 적어도 하나의 텍스트를 인식하고, 인식된 텍스트와 컨텍스트 정보에 기초하여, 우선 순위를 가지는 하나 이상의 추천 단어들을 생성하고, 생성된 추천 단어들을 상기 우선 순위에 따라, 상기 디스플레이에 표시하도록 제어하고,
    상기 컨텍스트 정보는,
    상기 전자 장치의 시간 정보, 상기 전자 장치의 위치 정보, 상기 전자 장치와 메시지를 송수신하는 외부 장치에 대한 정보, 상기 외부 장치로부터 수신한 메시지의 내용 및 메시지 입력 영역에 입력된 메시지의 내용 중 적어도 하나를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 전자 장치가 텍스트 입력 모드로 동작하는 경우, 텍스트 입력 창 및 촬영 아이콘을 표시하도록 상기 디스플레이를 제어하고,
    상기 촬영 아이콘을 선택하는 사용자 입력을 수신하면, 상기 카메라를 구동시켜, 상기 적어도 하나의 객체를 촬영하도록 상기 카메라를 제어하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    언어 모델을 이용하여, 상기 인식된 텍스트를 상기 컨텍스트 정보에 매칭되는 단어로 변경하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지 내에서의 상기 텍스트의 위치, 상기 텍스트의 크기, 상기 텍스트의 색상 및 상기 텍스트의 종류 중 적어도 하나에 기초하여, 상기 인식된 적어도 하나의 텍스트의 우선 순위를 결정하는 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 인식된 텍스트의 카테고리와 상기 전자 장치에 입력된 텍스트의 컨텍스트 정보에 기초하여, 상기 추천 단어들의 우선 순위를 결정하는, 전자 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 추천 단어들을 우선 순위가 높은 순서로 상기 디스플레이에 표시하도록 제어하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 추천 단어들 중 어느 하나를 선택하는 사용자 입력을 수신하면, 선택된 추천 단어가 텍스트 입력 창에 입력되도록 제어하는, 전자 장치.
  9. 전자 장치의 동작방법에 있어서,
    적어도 하나의 객체를 촬영하여, 이미지를 획득하는 단계;
    상기 이미지에 포함되는 적어도 하나의 텍스트를 인식하는 단계;
    인식된 텍스트와 컨텍스트 정보에 기초하여, 우선 순위를 가지는 하나 이상의 추천 단어들을 생성하는 단계; 및
    생성된 추천 단어들을 상기 우선 순위에 따라, 표시하는 단계를 포함하고,
    상기 컨텍스트 정보는,
    상기 전자 장치의 시간 정보, 상기 전자 장치의 위치 정보, 상기 전자 장치와 메시지를 송수신하는 외부 장치에 대한 정보, 상기 외부 장치로부터 수신한 메시지의 내용 및 메시지 입력 영역에 입력된 메시지의 내용 중 적어도 하나를 포함하는, 동작방법.
  10. 제9항에 있어서,
    동작방법은,
    상기 전자 장치가 텍스트 입력 모드로 동작하는 경우, 텍스트 입력 창 및 촬영 아이콘을 표시하는 단계를 더 포함하고,
    상기 적어도 하나의 객체를 촬영하여, 이미지를 획득하는 단계는,
    상기 촬영 아이콘을 선택하는 사용자 입력이 수신되면, 카메라를 구동시켜, 상기 적어도 하나의 객체를 촬영하는 단계를 포함하는, 전자 장치의 동작방법.
  11. ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈
    제9항에 있어서,
    상기 우선 순위를 가지는 하나 이상의 추천 단어들을 생성하는 단계는,
    언어 모델을 이용하여, 상기 인식된 텍스트를 상기 컨텍스트 정보에 매칭되는 단어로 변경하는 단계를 포함하는, 전자 장치의 동작방법.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제9항에 있어서,
    상기 적어도 하나의 텍스트를 인식하는 단계는,
    상기 이미지 내에서의 상기 텍스트의 위치, 상기 텍스트의 크기, 상기 텍스트의 색상 및 상기 텍스트의 종류 중 적어도 하나에 기초하여, 상기 인식된 적어도 하나의 텍스트의 우선 순위를 결정하는 단계를 포함하는, 전자 장치의 동작방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제9항에 있어서,
    상기 우선 순위를 가지는 하나 이상의 추천 단어들을 생성하는 단계는,
    상기 인식된 텍스트의 카테고리와 상기 전자 장치에 입력된 텍스트의 컨텍스트 정보에 기초하여, 상기 추천 단어들의 우선 순위를 결정하는 단계를 포함하는, 전자 장치의 동작방법.
  14. 삭제
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제9항에 있어서,
    상기 생성된 추천 단어들을 상기 우선 순위에 따라, 표시하는 단계는,
    상기 추천 단어들을 우선 순위가 높은 순서로 표시하는 단계를 포함하는, 전자 장치의 동작방법.
  16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈
    제9항에 있어서,
    상기 동작방법은,
    상기 추천 단어들 중 어느 하나를 선택하는 사용자 입력을 수신하는 단계; 및
    상기 선택된 추천 단어를 텍스트 입력 창에 입력하는 단계를 더 포함하는, 전자 장치의 동작방법.
  17. 제9항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020180052787A 2018-05-08 2018-05-08 전자 장치 및 그 동작방법 KR102567003B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180052787A KR102567003B1 (ko) 2018-05-08 2018-05-08 전자 장치 및 그 동작방법
EP18918261.1A EP3739465A4 (en) 2018-05-08 2018-07-03 ELECTRONIC DEVICE AND ITS OPERATING PROCESS
PCT/KR2018/007495 WO2019216484A1 (ko) 2018-05-08 2018-07-03 전자 장치 및 그 동작방법
CN201880093251.5A CN112106037A (zh) 2018-05-08 2018-07-03 电子设备及其操作方法
US16/976,334 US11163378B2 (en) 2018-05-08 2018-07-03 Electronic device and operating method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180052787A KR102567003B1 (ko) 2018-05-08 2018-05-08 전자 장치 및 그 동작방법

Publications (2)

Publication Number Publication Date
KR20190128516A KR20190128516A (ko) 2019-11-18
KR102567003B1 true KR102567003B1 (ko) 2023-08-16

Family

ID=68467551

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180052787A KR102567003B1 (ko) 2018-05-08 2018-05-08 전자 장치 및 그 동작방법

Country Status (5)

Country Link
US (1) US11163378B2 (ko)
EP (1) EP3739465A4 (ko)
KR (1) KR102567003B1 (ko)
CN (1) CN112106037A (ko)
WO (1) WO2019216484A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102519637B1 (ko) * 2018-04-20 2023-04-10 삼성전자주식회사 문자를 입력하기 위한 전자 장치 및 그의 동작 방법
KR20200100918A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 카메라를 이용하는 어플리케이션을 통해 다양한 기능을 제공하는 전자 장치 및 그의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130234945A1 (en) 2012-03-06 2013-09-12 Nuance Communications, Inc. Multimodal Text Input by a Keyboard/Camera Text Input Module Replacing a Conventional Keyboard Text Input Module on a Mobile Device
US20160196055A1 (en) 2013-06-25 2016-07-07 Lg Electronics Inc. Mobile terminal and method for controlling mobile terminal

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090112572A1 (en) 2007-10-30 2009-04-30 Karl Ola Thorn System and method for input of text to an application operating on a device
KR101600085B1 (ko) 2009-06-16 2016-03-04 엘지전자 주식회사 이동 단말기 및 이미지 정보 인식 방법
US9251428B2 (en) 2009-07-18 2016-02-02 Abbyy Development Llc Entering information through an OCR-enabled viewfinder
US9053098B2 (en) * 2010-01-14 2015-06-09 Abbyy Development Llc Insertion of translation in displayed text consisting of grammatical variations pertaining to gender, number and tense
KR20140030361A (ko) * 2012-08-27 2014-03-12 삼성전자주식회사 휴대단말기의 문자 인식장치 및 방법
KR20150007800A (ko) * 2013-07-12 2015-01-21 엘지전자 주식회사 단말기 및 그 동작 방법
KR20150097962A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 텍스트 관련 기능 운용 방법 및 이를 지원하는 전자 장치
CA3035097C (en) * 2016-09-02 2024-05-21 FutureVault Inc. Automated document filing and processing methods and systems
US10015124B2 (en) 2016-09-20 2018-07-03 Google Llc Automatic response suggestions based on images received in messaging applications
US10540441B2 (en) 2016-10-21 2020-01-21 Samsung Electronics Co., Ltd. Device and method for providing recommended words for character input
KR102417046B1 (ko) * 2016-10-21 2022-07-06 삼성전자주식회사 사용자로부터 입력된 문자에 대한 추천 단어를 제공하는 디바이스 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130234945A1 (en) 2012-03-06 2013-09-12 Nuance Communications, Inc. Multimodal Text Input by a Keyboard/Camera Text Input Module Replacing a Conventional Keyboard Text Input Module on a Mobile Device
US20160196055A1 (en) 2013-06-25 2016-07-07 Lg Electronics Inc. Mobile terminal and method for controlling mobile terminal

Also Published As

Publication number Publication date
EP3739465A4 (en) 2020-11-25
US11163378B2 (en) 2021-11-02
KR20190128516A (ko) 2019-11-18
US20210048895A1 (en) 2021-02-18
EP3739465A1 (en) 2020-11-18
CN112106037A (zh) 2020-12-18
WO2019216484A1 (ko) 2019-11-14

Similar Documents

Publication Publication Date Title
KR102402511B1 (ko) 영상 검색 방법 및 이를 위한 장치
AU2013300316B2 (en) Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
CN112805743A (zh) 用于基于知识图谱来提供内容的系统和方法
US20210224592A1 (en) Method and device for training image recognition model, and storage medium
US11227594B2 (en) Method and device for providing response to voice input of user
US11749273B2 (en) Speech control method, terminal device, and storage medium
KR20190053675A (ko) 전자 장치 및 그 동작 방법
EP3296948A1 (en) Method and device for providing content
CN113065591B (zh) 目标检测方法及装置、电子设备和存储介质
CN110764627B (zh) 一种输入方法、装置和电子设备
KR20180132493A (ko) 스와이프 입력에 기초하여 입력 문자를 판단하는 시스템 및 방법
CN107515870B (zh) 一种搜索方法和装置、一种用于搜索的装置
KR102567003B1 (ko) 전자 장치 및 그 동작방법
KR20190122331A (ko) 문자를 입력하기 위한 전자 장치 및 그의 동작 방법
KR20180087608A (ko) 검색 서비스를 제공하는 시스템 및 방법
US10298873B2 (en) Image display apparatus and method of displaying image
US11341965B2 (en) System for processing user utterance and operating method thereof
US20230267282A1 (en) Poetry generation
CN109901726B (zh) 一种候选词生成方法、装置及用于候选词生成的装置
KR20200057426A (ko) 음성 인식 기반 이미지를 표시하는 전자 장치
KR20190031829A (ko) 전자 장치 및 그 제어 방법
US11715328B2 (en) Image processing apparatus for selecting images based on a standard
CN110929122B (zh) 一种数据处理方法、装置和用于数据处理的装置
CN113807540A (zh) 一种数据处理方法及装置
CN109388328B (zh) 一种输入方法、装置和介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant