WO2019164196A1 - 문자를 인식하기 위한 전자 장치 및 방법 - Google Patents

문자를 인식하기 위한 전자 장치 및 방법 Download PDF

Info

Publication number
WO2019164196A1
WO2019164196A1 PCT/KR2019/001903 KR2019001903W WO2019164196A1 WO 2019164196 A1 WO2019164196 A1 WO 2019164196A1 KR 2019001903 W KR2019001903 W KR 2019001903W WO 2019164196 A1 WO2019164196 A1 WO 2019164196A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
text
server
electronic device
data
Prior art date
Application number
PCT/KR2019/001903
Other languages
English (en)
French (fr)
Inventor
최주용
김진현
김미수
최정인
임연욱
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201980014395.1A priority Critical patent/CN111801690A/zh
Priority to EP19757504.6A priority patent/EP3731142A4/en
Priority to US16/963,628 priority patent/US11308317B2/en
Publication of WO2019164196A1 publication Critical patent/WO2019164196A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/123—Storage facilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • Embodiments disclosed in this document relate to a character recognition technique.
  • OCR optical character recognition
  • the OCR technology may be classified into an embedded OCR technology performed in an electronic device and a server OCR technology performed in a server.
  • Embedded OCR technology allows for faster processing, but may be less accurate due to the limitations of electronic device performance.
  • the Server OCR technology since the electronic device needs to transmit data to the server, the processing speed is slow, but it may have high accuracy.
  • Embodiments disclosed herein provide an electronic device for solving the above-described problem and the problems posed by the present document.
  • An electronic device may include at least an imaging device, a communication circuit, an imaging device, and at least one operatively connected to the imaging device to generate image data.
  • Receive first image data including the first image data and transmits the first image data to a first server through the communication circuit, and from the first server through the communication circuit
  • Receive second image data including a second image including a portion of a first image, and second text data including at least a portion of the first text data. data) and some but not all of the second image data may be transmitted to the first server through the communication circuit.
  • An electronic device may include a camera, a display for outputting an image recognized by the camera, and a communication circuit for transmitting the image to a first server.
  • a processor a processor electrically connected to the camera, the display, and the communication circuit, and a memory operatively connected to the processor and storing an application that captures instructions and the image.
  • the command causes the processor to capture a first image output through the display in response to a user input of executing the application, and transmit the first image to the first server, Receiving the first text extracted from the first image from the first server and outputting the same through the display;
  • the second text including at least a portion of the first text is located in an area overlapping with the first image of the second image.
  • the first type of data is transmitted to the first server, and the area of the second image that does not overlap the first image is transmitted to the first server as second type data, and the first type of data and the second are
  • the third text extracted from the type data may be received from the first server and output through the display.
  • a method may include capturing a first image output through a display in response to a user input, transmitting the first image to a first server, and extracting from the first image.
  • the second text located in an area overlapping with and including at least a portion of the first text is transmitted to the first server as first type data, and an area of the second image that does not overlap with the first image is second. Transmitting the first text as type data to the first server, and the third text extracted from the first type data and the second type data. It may include receiving from the output from the display.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • FIG. 2 is a block diagram of a program according to various embodiments.
  • FIG. 3 illustrates a text recognition system according to an embodiment of the present invention.
  • FIG. 4A is a flowchart illustrating an operation of a text recognition system according to an exemplary embodiment.
  • 4B is a flowchart illustrating an operation of an electronic device according to an embodiment of the present disclosure.
  • FIG. 5 illustrates a screen and a first image output through a display according to an exemplary embodiment.
  • FIG. 6A illustrates a first text according to an embodiment of the present invention.
  • FIG. 6B illustrates a first text according to another embodiment of the present invention.
  • FIG 7A illustrates an example of checking whether an image of an electronic device is changed according to an embodiment of the present disclosure.
  • 7B illustrates an example of checking whether an image of an electronic device is changed according to another embodiment of the present disclosure.
  • FIG. 8A illustrates a first image according to an embodiment of the present invention.
  • FIG. 8B illustrates a second image according to an embodiment of the present invention.
  • FIG 9 illustrates an operating environment of an electronic device according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or the second network 199.
  • the electronic device 104 may communicate with the server 108 through a long range wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 may include a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, and a sensor module ( 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197.
  • the components may be included.
  • at least one of the components may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components may be implemented in one integrated circuit.
  • the sensor module 176 eg, fingerprint sensor, iris sensor, or illuminance sensor
  • the display device 160 eg, display
  • the processor 120 executes software (eg, the program 140) to execute at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, processor 120 may send instructions or data received from another component (eg, sensor module 176 or communication module 190) to volatile memory 132. Can be loaded into, processed in a command or data stored in volatile memory 132, and stored in the non-volatile memory (134).
  • software eg, the program 140
  • processor 120 may send instructions or data received from another component (eg, sensor module 176 or communication module 190) to volatile memory 132. Can be loaded into, processed in a command or data stored in volatile memory 132, and stored in the non-volatile memory (134).
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor), and a coprocessor 123 (eg, a graphics processing unit, an image signal processor) that may operate independently or together. , Sensor hub processor, or communication processor). Additionally or alternatively, the coprocessor 123 may be set to use lower power than the main processor 121 or to be specialized for its designated function. The coprocessor 123 may be implemented separately from or as part of the main processor 121.
  • a main processor 121 eg, a central processing unit or an application processor
  • a coprocessor 123 eg, a graphics processing unit, an image signal processor
  • the coprocessor 123 may be set to use lower power than the main processor 121 or to be specialized for its designated function.
  • the coprocessor 123 may be implemented separately from or as part of the main processor 121.
  • the coprocessor 123 may, for example, replace the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 may be active (eg, execute an application). At least one of the components of the electronic device 101 (eg, the display device 160, the sensor module 176, or the communication module 190) together with the main processor 121 while in the) state. Control at least some of the functions or states associated with the. According to one embodiment, the coprocessor 123 (eg, an image signal processor or communication processor) may be implemented as part of other functionally related components (eg, camera module 180 or communication module 190). have.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101.
  • the data may include, for example, software (eg, the program 140) and input data or output data for a command related thereto.
  • the memory 130 may include a volatile memory 132 or a nonvolatile memory 134.
  • the program 140 may be stored as software in the memory 130, and may include, for example, an operating system 142, middleware 144, or an application 146.
  • the input device 150 may receive a command or data to be used for a component (for example, the processor 120) of the electronic device 101 from the outside (for example, a user) of the electronic device 101.
  • the input device 150 may include, for example, a microphone, a mouse, or a keyboard.
  • the sound output device 155 may output a sound signal to the outside of the electronic device 101.
  • the sound output device 155 may include, for example, a speaker or a receiver.
  • the speaker may be used for general purposes such as multimedia playback or recording playback, and the receiver may be used to receive an incoming call.
  • the receiver may be implemented separately from or as part of a speaker.
  • the display device 160 may visually provide information to the outside (eg, a user) of the electronic device 101.
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 160 may include a touch circuitry configured to sense a touch, or a sensor circuit (eg, a pressure sensor) configured to measure the strength of a force generated by the touch. have.
  • the audio module 170 may convert sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 may acquire sound through the input device 150, or may output an external electronic device (eg, a sound output device 155, or directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • an external electronic device eg, a sound output device 155, or directly or wirelessly connected to the electronic device 101. Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used for the electronic device 101 to be directly or wirelessly connected to an external electronic device (for example, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that can be perceived by the user through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and videos. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101.
  • the power management module 388 may be implemented, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell or a fuel cell.
  • the communication module 190 may establish a direct (eg wired) communication channel or wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establish and perform communication over established communication channels.
  • the communication module 190 may operate independently of the processor 120 (eg, an application processor) and include one or more communication processors supporting direct (eg, wired) or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a near field communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg It may include a local area network (LAN) communication module, or a power line communication module.
  • GNSS global navigation satellite system
  • the corresponding communication module of these communication modules may be a first network 198 (e.g. a short range communication network such as Bluetooth, WiFi direct or infrared data association (IrDA)) or a second network 199 (e.g. cellular network, the Internet, or Communicate with external electronic devices via a telecommunications network, such as a computer network (eg, LAN or WAN).
  • a first network 198 e.g. a short range communication network such as Bluetooth, WiFi direct or infrared data association (IrDA)
  • a second network 199 e.g. cellular network, the Internet, or Communicate with external electronic devices via a telecommunications network, such as a computer network (eg, LAN or WAN).
  • a telecommunications network such as a computer network (eg, LAN or WAN).
  • the wireless communication module 192 uses subscriber information (e.g., international mobile subscriber identifier (IMSI)) stored in the subscriber identification module 196 in a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., international mobile subscriber identifier (IMSI)
  • IMSI international mobile subscriber identifier
  • the antenna module 197 may transmit or receive a signal or power to an external (eg, an external electronic device) or from the outside.
  • antenna module 197 may include one or more antennas, from which at least one antenna suitable for a communication scheme used in a communication network, such as first network 198 or second network 199, For example, it may be selected by the communication module 190.
  • the signal or power may be transmitted or received between the communication module 190 and the external electronic device through the at least one selected antenna.
  • peripheral devices eg, a bus, a general purpose input and output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101.
  • all or part of operations executed in the electronic device 101 may be executed in one or more external devices among the external electronic devices 102, 104, or 108. For example, when the electronic device 101 needs to perform a function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • the one or more external electronic devices that receive the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as it is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, or client-server computing technology. This can be used.
  • FIG. 2 is a block diagram illustrating a program according to various embodiments.
  • the program 140 may include an operating system 142, middleware 144, or an application 146 executable by the operating system 142 for controlling one or more resources of the electronic device 101. It may include.
  • the operating system 142 may include, for example, Android TM , iOS TM , Windows TM , Symbian TM , Tizen TM , or Bada TM .
  • At least some of the programs 140 may be, for example, preloaded into the electronic device 101 at the time of manufacture, or external electronic devices (eg, the electronic device 102 or 104, or servers) when used by the user. 108) can be downloaded or updated.
  • the operating system 142 may control management (eg, allocation or retrieval) of one or more system resources (eg, a process, a memory, or a power source) of the electronic device 101.
  • the operating system 142 may additionally or alternatively include other hardware devices of the electronic device 101, such as the input device 150, the audio output device 155, the display device 160, and the audio module 170.
  • One or more driver programs for driving the antenna module 197 may be included.
  • the middleware 144 may provide various functions to the application 146 such that functions or information provided from one or more resources of the electronic device 101 may be used by the application 146.
  • the middleware 144 may be, for example, the application manager 201, the window manager 203, the multimedia manager 205, the resource manager 207, the power manager 209, the database manager 211, and the package manager 213. ), Connectivity manager 215, notification manager 217, location manager 219, graphics manager 221, security manager 223, call manager 225, or voice recognition manager 227. Can be.
  • the application manager 201 may manage, for example, the life cycle of the application 146.
  • the window manager 203 may manage one or more GUI resources used on the screen, for example.
  • the multimedia manager 205 may, for example, identify one or more formats required for the playback of the media files, and encode or decode the corresponding media file among the media files using a codec suitable for the selected corresponding format. Can be done.
  • the resource manager 207 may manage, for example, the source code of the application 146 or the space of the memory of the memory 130.
  • the power manager 209 may manage, for example, the capacity, temperature, or power of the battery 189, and may determine or provide related information necessary for the operation of the electronic device 101 using the corresponding information. . According to an embodiment of the present disclosure, the power manager 209 may interwork with a basic input / output system (BIOS) (not shown) of the electronic device 101.
  • BIOS basic input / output system
  • the database manager 211 may, for example, create, retrieve, or change a database to be used by the application 146.
  • the package manager 213 may manage installation or update of an application distributed in the form of a package file, for example.
  • the connectivity manager 215 may manage, for example, a wireless connection or a direct connection between the electronic device 101 and an external electronic device.
  • the notification manager 217 may provide, for example, a function for notifying a user of occurrence of a designated event (eg, an incoming call, a message, or an alarm).
  • the location manager 219 may manage location information of the electronic device 101, for example.
  • the graphic manager 221 may manage, for example, one or more graphic effects to be provided to the user or a user interface related thereto.
  • the security manager 223 may provide system security or user authentication, for example.
  • the telephone manager 225 may manage, for example, a voice call function or a video call function provided by the electronic device 101.
  • the voice recognition manager 227 may, for example, transmit a user's voice data to the server 108, and correspond to a command corresponding to a function to be performed in the electronic device 101 based at least in part on the voice data, Alternatively, the text data converted based at least in part on the voice data may be received from the server 108.
  • the middleware 244 may dynamically delete some of the existing components or add new components.
  • at least a portion of the middleware 144 may be included as part of the operating system 142, or may be implemented as software separate from the operating system 142.
  • the application 146 may be, for example, a home 251, a dialer 253, an SMS / MMS 255, an instant message (IM) 257, a browser 259, a camera 261, an alarm 263. , Contacts 265, voice recognition 267, email 269, calendar 271, media player 273, album 275, watch 277, health 279 (e.g., exercise or blood sugar) Biometric information), or environmental information 281 (eg, barometric pressure, humidity, or temperature information measurement) application. According to an embodiment of the present disclosure, the application 146 may further include an information exchange application (not shown) capable of supporting information exchange between the electronic device 101 and the external electronic device.
  • an information exchange application (not shown) capable of supporting information exchange between the electronic device 101 and the external electronic device.
  • the information exchange application may include, for example, a notification relay application configured to deliver specified information (eg, a call, a message, or an alarm) to an external electronic device, or a device management application configured to manage the external electronic device.
  • the notification relay application may transmit notification information corresponding to a specified event (eg, mail reception) generated by another application of the electronic device 101 (for example, the email application 269) to the external electronic device. Can be. Additionally or alternatively, the notification relay application may receive notification information from an external electronic device and provide the notification information to a user of the electronic device 101.
  • the device management application may be, for example, a power source (eg, turned on or turned on) of an external electronic device or some component thereof (eg, the display device 160 or the camera module 180) that communicates with the electronic device 101. -Off) or a function (eg, brightness, resolution, or focus of the display device 160 or the camera module 180) can be controlled.
  • the device management application may support installation, deletion, or update of an application running on an external electronic device.
  • Electronic devices may be various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smartphone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smartphone
  • a computer device e.g., a tablet, or a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch
  • first, second, or first or second may be used merely to distinguish a component from other corresponding components, and to separate the components from other aspects (e.g. Order).
  • Some (eg first) component may be referred to as “coupled” or “connected” to another (eg second) component, with or without the term “functionally” or “communically”.
  • any component can be connected directly to the other component (eg, by wire), wirelessly, or via a third component.
  • module may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • the module may be an integral part or a minimum unit or part of the component, which performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of this document may include one or more instructions stored on a storage medium (eg, internal memory 136 or external memory 138) that can be read by a machine (eg, electronic device 101). It may be implemented as software (eg, program 140) including the.
  • a processor eg, the processor 120 of the device (eg, the electronic device 101) may call and execute at least one command among one or more instructions stored from the storage medium. This enables the device to be operated to perform at least one function in accordance with the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means only that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic waves), which is the case when data is stored semi-permanently on the storage medium. It does not distinguish cases where it is temporarily stored.
  • a signal e.g., electromagnetic waves
  • a method may be provided included in a computer program product.
  • the computer program product may be traded between the seller and the buyer as a product.
  • the computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or two user devices ( Example: smartphones) can be distributed (eg downloaded or uploaded) directly or online.
  • a device-readable storage medium such as a server of a manufacturer, a server of an application store, or a relay server, or may be temporarily created.
  • each component eg, module or program of the above-described components may include a singular or plural entity.
  • one or more of the aforementioned components or operations may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of the component of each of the plurality of components the same as or similar to that performed by the corresponding component of the plurality of components before the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Or one or more other actions may be added.
  • FIG. 3 illustrates a text recognition system according to an embodiment of the present invention.
  • the text recognition system 300 may include an electronic device (eg, the electronic device 101 of FIG. 1), a first server 310, a second server 320, a third server 330, and a third device. It may include four servers (340).
  • the electronic device 101 may capture an image and transmit the image to the first server 310.
  • a camera eg, the camera module 180 of FIG. 1
  • the electronic device 101 may transmit the captured image to the first server 310.
  • the first server 310 may extract text from the photographed image and transmit the extracted text to the electronic device 101. For example, if the photographed image is a signboard, the first server 310 may extract a business name, a phone number, etc. described in the signboard. In another embodiment, if the photographed image is a blackboard, the first server 310 may extract the letters written on the blackboard. The extracted business name, telephone number, letters, etc. may be transmitted to the electronic device 101. In this document, the first server 310 may be referred to as an optical character recognition (OCR) server.
  • OCR optical character recognition
  • the electronic device 101 may transmit the text received from the first server 310 to at least one of the second server 320, the third server 330, and the fourth server 340. For example, when a letter is included in the text, the electronic device 101 may transmit the text to the second server 320. As another example, when the physical quantity unit is included in the text, the electronic device 101 may transmit the text to the third server 330. According to another embodiment, when a text unit is included in the text, the electronic device 101 may transmit the text to the fourth server 340.
  • the above-described embodiment is only an example, and the configuration included in the text, the server to which the electronic device 101 transmits the text, and the like are not limited to the above-described embodiment.
  • the second server 320 may translate a character included in the text.
  • the translated letters may be transmitted to the electronic device 101 again.
  • the second server 320 may translate the Chinese into Korean and transmit it to the electronic device 101.
  • the second server 320 may translate the English into Korean and transmit it to the electronic device 101.
  • the second server 320 may be referred to as a translation server.
  • the third server 330 may change the physical quantity unit.
  • the changed physical quantity unit may be transmitted to the electronic device 101 again.
  • the third server 330 may change the mile to a km and transmit it to the electronic device 101.
  • the third server 330 may change the gallon to a liter and transmit the gallon to the electronic device 101.
  • the third server 330 may be referred to as a unit conversion server.
  • the fourth server 340 may change the currency unit.
  • the changed monetary unit may be transmitted to the electronic device 101 again.
  • the fourth server 340 may change the dollar to won ( ⁇ ) and transmit it to the electronic device 101.
  • the fourth server 340 may change the yen into one ⁇ and transmit it to the electronic device 101.
  • the fourth server 340 may be referred to as a currency conversion server.
  • the electronic device 101 may output the received text when at least one of the translated characters, the converted physical quantity unit, and the converted currency unit is received from the second server 320 to the fourth server 340. have. For example, when “Hello” is included in the image photographed by the camera 180, the electronic device 100 may output “Hello” which is a translated letter instead of “Hello”.
  • an area in which the received text is output may be adjacent to an image captured by the camera 180.
  • the electronic device 101 may output “hello” to an area adjacent to the image photographed by the camera 180.
  • FIG. 4A is a flowchart illustrating an operation of a text recognition system according to an exemplary embodiment.
  • FIG. 4A is a diagram for describing an operation of components included in FIG. 3 in detail.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 may capture the first image.
  • the electronic device 101 may execute an application for recognizing text in response to a user input.
  • the electronic device 101 can photograph a user's surrounding environment through the camera 180.
  • the electronic device 101 may capture the surrounding environment.
  • the first image may refer to an image captured through a display (for example, the display device 160 of FIG. 1).
  • the electronic device 101 may transmit the captured first image to the first server 310.
  • the first server 310 may extract the first text from the first image. For example, if a signboard is included in the first image, the first server 310 may extract a business name, a phone number, etc. described in the signboard.
  • the first server 310 may transmit the extracted first text to the electronic device 101.
  • the first server 310 may transmit the extracted business name, telephone number, etc. to the electronic device 101.
  • the first server 310 may transmit the extracted first text to the electronic device 101 as data having a JSON object format.
  • the electronic device 101 may receive the first text from the first server 310 and transmit the received first text to the second server 320.
  • the electronic device 101 transmits the first text to the second server 320, but the electronic device 101 transmits the first text to the third server 330 and / or the fourth server 340. ) Can be sent.
  • the second server 320 may translate the first text received from the electronic device 101.
  • the second server 320 may translate the Chinese business name into the Korean business name.
  • the second server 320 may transmit the translated first text to the electronic device 101.
  • the second server 320 may transmit the Korean business name to the electronic device 101.
  • the electronic device 101 may output the translated first text.
  • the electronic device 101 may output the translated first text by substituting the first text.
  • the electronic device 101 may output a Korean business name by substituting a Chinese business name.
  • the electronic device 101 may determine whether the image output through the display (for example, the display device 160) is changed. For example, when the user moves the electronic device 101, the image output through the camera 180 may also change. Accordingly, the second image may be output instead of the first image.
  • the image output through the display for example, the display device 160
  • the second image may mean an image including at least a part of the first image.
  • a signboard is included in the first image
  • at least a part of the signboard may also be included in the second image.
  • the second image may be output including at least a part of the first image.
  • an environment opposite to the first image may be output through the display (for example, the display device 160), and thus the first image and the second image may be output.
  • the electronic device 101 may capture the second image.
  • the electronic device 101 may compare the first image and the second image.
  • the electronic device 101 may transmit a second text including a portion of the first text corresponding to an area overlapping the first image among the second images to the first server 310.
  • the electronic device 101 may transmit a part of the second image corresponding to an area of the second image that does not overlap the first image, to the first server 310.
  • the first image may include the A signage
  • the second image may include a portion of the A signage and the B signage.
  • the electronic device 101 may transmit a part of the A signboard, which is an area overlapping the first image, of the second image as first type data.
  • the electronic device 101 may transmit the B signboard, which is an area that does not overlap the first area of the second image, as the second type data.
  • the first type data and the second type data are data having different formats, and the first type data may include the second text.
  • the second type data may include an area of the second image that does not overlap the first image.
  • the size of the first type data may be smaller than the size of the second type data.
  • the first type data may be transmitted to the first server 310 as data having a JSON object format.
  • the second type data may be transmitted to the first server 310 as image data (eg, JPG data).
  • the embodiment shown in Figure 4a is only one embodiment, embodiments of the present invention is not limited to that shown in Figure 4a.
  • the electronic device 101 may not transmit a region overlapping the first image of the second image, but may transmit a region not overlapping the first image of the second image.
  • the first type of data may reduce the size of data transmitted from the electronic device 101 to the first server 310 in a small data format. Accordingly, the time required for the electronic device 101 to output the text can be shortened.
  • the first server 310 may extract the third text from the first type data and the second type data.
  • the first server 310 may correspond to a part name of the A signboard and the business name, telephone number, etc. described in the B signboard.
  • the third text may be extracted from the first type data and the second type data.
  • the first server 310 may transmit the extracted third text to the electronic device 101.
  • the first server 310 may transmit a part of the A signboard and a business name, a telephone number, etc. extracted from the B signboard to the electronic device 101.
  • the first server 310 may transmit the extracted third text to the second server 320.
  • the second server 320 may translate the third text and transmit the translated third text to the electronic device 101.
  • the electronic device 101 may transmit the translated third text to the third server 330 and / or the fourth server 340.
  • the third server 330 and / or the fourth server 340 may change a physical quantity unit and / or a monetary unit and transmit the changed physical quantity unit and / or monetary unit to the electronic device 101.
  • the electronic device 101 may transmit the third text to the second server 320, and the second server 320 may translate the third text.
  • the translated third text may be transmitted to the electronic device 101.
  • the description of operations 419 to 423 may also apply to operations 437 to 441.
  • the electronic device 101 may receive the translated third text from the second server 320.
  • the electronic device 101 may output the third text.
  • the electronic device 101 may output the business name described in a part of the A signboard and the business name described in the B signboard.
  • 4B is a flowchart illustrating an operation of an electronic device according to an embodiment of the present disclosure. 4B is a diagram for describing an operation of the electronic device 101 shown in FIG. 3 in detail.
  • the processor 120 may receive first image data from an imaging device.
  • the imaging apparatus may be referred to as the camera module 180 as an apparatus capable of generating first image data.
  • the first image data may refer to image data including the first image output through the display 160.
  • the processor 120 may transmit the first image data to the first server 310 through the communication circuit 190.
  • the first server 310 may extract the first text from the first image data and transmit the first text data including the extracted first text to the electronic device 101 again. For example, if a signboard is included in the first image, the first server 310 may extract a business name or the like described in the signboard.
  • the first server 310 may be referred to as an optical character recognition (OCR) server.
  • OCR optical character recognition
  • the processor 120 may receive the first text data through the communication circuit 190.
  • the processor 120 may output the first text through the display 160.
  • the processor 120 may output the business name described in the signboard through the display 160.
  • the processor 120 may receive second image data from the imaging device.
  • the second image data may refer to image data including a second image at least partially overlapping the first image.
  • the processor 120 may transmit a portion of the second text data and the second image data to the first server 310 through the communication circuit 190.
  • the second text data may refer to text data including at least a portion of the first text data among regions where the first image and the second image overlap. That is, in operation 459, the processor 120 may transmit an area of the second text data and the second image data that does not overlap the first image data to the first server 310.
  • FIG. 5 illustrates a screen and a first image output through a display according to an exemplary embodiment.
  • FIG. 5 is a diagram for describing operations 411 and 413 shown in FIG. 4 in detail.
  • an electronic device may execute an application for recognizing text in response to a user input.
  • the electronic device 101 may photograph a user's surrounding environment through a camera (for example, the camera module 180 of FIG. 1).
  • the user may photograph the signboards 510 of the travel destination through the electronic device 101.
  • the electronic device 101 can output the signboards 510 through a display screen.
  • the electronic device 101 may capture the first image 511.
  • the first image 511 may refer to an image output through the display screen.
  • the electronic device 101 may transmit the first image 511 to the first server 310.
  • 6A illustrates a first text according to an embodiment of the present invention.
  • 6B illustrates a first text according to another embodiment of the present invention.
  • 6A and 6B are diagrams for describing operation 415 shown in FIG. 4 in detail.
  • a first server may include first text having different formats in the first image (eg, the first image 511 of FIG. 5). 610 may be extracted. The extracted first text 610 may be transmitted to an electronic device (eg, the electronic device 101 of FIG. 1).
  • the first server 310 may include the first text 610, location information about the first text 610, and each word included in the first text 610 in the first image.
  • the location information of the device may be extracted and transmitted to the electronic device 101.
  • the first text 610, location information, and location information on each word may be transmitted to the electronic device in the form of a first type data (eg, a JavaScript object notation (JSON) format).
  • JSON JavaScript object notation
  • the first server 310 may extract the first text 610 from the first image, and display the first text 610 separately.
  • the first server 310 analyzes the first text 610 as a component of a sentence and displays the divided text in units of blocks 621, lines 622, words 623, and / or letters 624. can do.
  • the electronic device 101 may also transmit a command for determining the format of the first text 610 to the first server 310.
  • the first server 310 may extract the first text 610 based on the command.
  • the first server 310 may extract the first text 610, location information, and location information on each word based on the command and transmit the location information to the electronic device 101.
  • the first server 310 divides the first text 610 into blocks 621, lines 622, words 623, and / or letters 624 based on the command. Transmit to device 101.
  • 7A illustrates an example of checking whether an image of an electronic device is changed according to an embodiment of the present disclosure.
  • 7B illustrates an example of checking whether an image is changed according to another embodiment of the present invention.
  • 7A and 7B are diagrams for describing operation 427 illustrated in FIG. 4 in detail.
  • an electronic device may compare an image output through a display. If there is no significant change as a result of the comparison, the electronic device 101 may not transmit the changed image to the first server (eg, the first server 310 of FIG. 3). For example, when comparing the left image 710 and the right image 720, the text included in the left image 710 and the right image 720 may be substantially the same. Since the text included in the left image 710 and the right image 720 are substantially the same, the electronic device 101 may not transmit the right image 720 to the first server 310.
  • the first server eg, the first server 310 of FIG. 3
  • the electronic device 101 may transmit the changed image to the first server 310.
  • the user may move the electronic device 101 from the left direction 730 to the right direction 740.
  • the screen output through the display may also change.
  • the first image 731 may be output in the left direction 730, but as the electronic device 101 moves, the second image 741 may be output in the right direction 740.
  • the second image 741 may include both an area 741a that overlaps the first image and an area 741b that does not overlap.
  • 8A illustrates a first image according to an embodiment of the present invention.
  • 8B illustrates a second image according to an embodiment of the present invention.
  • 8A and 8B are diagrams for describing operation 431 illustrated in FIG. 4 in detail.
  • an electronic device may include a first image 810 (eg, the first image 731 of FIG. 7) and a second image 820 ( For example, an area 820a of comparing the second image 741 of FIG. 7 and overlapping with the first image 810 of the second image 820 is the first type of data 820-1.
  • the information may be transmitted to the first server 310 of FIG. 3.
  • the electronic device 101 may transmit a region 820b of the second image 820 that does not overlap the first image 810 to the first server 310 as the second type data 820-2.
  • the left area 820a of the second image 820 may overlap the first image 810, but the right area 820b of the second image 820 may not overlap the first image 810.
  • the electronic device 101 may transmit the left area 820a to the first server 310 as data 820-1 having a JavaScript object notation (JSON) format.
  • the electronic device 101 may transmit the right area 820b to the first server 310 as image data 820-2 (eg, JPG data).
  • the electronic device 101 may transmit the right area 820b of the second image 820 to the first server 310 without transmitting the left area 820a of the second image 820.
  • the image already transmitted to the first server 310 is transmitted to the server in a small data format, or the size of the data transmitted by the electronic device 101 is not transmitted to the server. Can be reduced. Accordingly, the time required for the electronic device 101 to output the text can be shortened.
  • the first server 310 after receiving the second image 820, extracts the third text from an area 820b of the second image 820 that does not overlap with the first image 810. can do. For example, since "Baby I am sorry" is extracted from the first image 810 in the second image 820, the first server 310 does not extract “Baby I am sorry” but searches for "but I love you”. Can be extracted. According to the text recognition system according to the comparative example, even if there is an area overlapping the image, all the text included in the image can be extracted. However, according to the text recognition system (eg, the text recognition system 300 of FIG. 3) according to an embodiment of the present invention, the text recognition time can be shortened by extracting only texts for the non-overlapping regions (eg, 820b). .
  • FIG. 9 illustrates an operating environment of an electronic device according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for describing operation 431 of FIG. 4 in detail.
  • a user may photograph an environment described by an instructor (hereinafter, the object 911) in front of a blackboard during a class time through an electronic device (for example, the electronic device 101 of FIG. 1). In this case, a part of the blackboard may be covered by the object 911.
  • the electronic device 101 may capture the photographed environment as a first image 910.
  • the captured first image 910 may be transmitted to a first server (eg, the first server 310 of FIG. 3), and the first server 310 is an area 910a that is not covered by the object 911. ), You can extract the text.
  • the electronic device 101 may capture a screen in which the object 911 is moved as the second image 920.
  • the electronic device 101 compares the first image 910 and the second image 920, and as a result of the comparison, the region 920a where the first image 910 and the second image 920 overlap is the first type data.
  • data having a JavaScript object notation (JSON) format may be transmitted to the first server 310.
  • the electronic device 101 may transmit the region 920b that does not overlap as a result of the comparison to the first server 310 as second type data (for example, JPG data).
  • the first server 310 may extract text from the area 920b that does not overlap.
  • the embodiment shown in FIG. 9 is only one embodiment, and embodiments of the present invention are not limited to those shown in FIG. 9.
  • the area where the first image 910 overlaps the second image is not transmitted to the first server 310, and the area 910a where the first image 910 does not overlap the second image is not transmitted to the first server. And transmit to 310.
  • an image already transmitted to the server may be transmitted to the server in a small data format, or the data transmitted by the electronic device 101 may be reduced by not transmitting to the server. Accordingly, the time required for the electronic device 101 to output the text can be shortened.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Input (AREA)

Abstract

본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 이미지 데이터를 생성하기 위한 이미징 장치(an imaging device), 통신 회로(a communication circuit), 상기 이미징 장치 및 상기 통신 회로와 작동적으로 연결되는 적어도 하나의 프로세서(at least one processor), 상기 프로세서와 작동적으로 연결되고 명령어를 저장하는 메모리(a memory)를 포함할 수 있다.

Description

문자를 인식하기 위한 전자 장치 및 방법
본 문서에서 개시되는 실시 예들은 위한 문자 인식 기술과 관련된다.
광학 문자 인식(Optical character recognition; OCR)은 사람이 수기로 작성하거나 기계에 의해 인쇄된 문자를 전자 장치(예: 스마트 폰)가 인식할 수 있는 데이터로 변환하는 기술을 의미한다. 예컨대, 전자 장치가 간판을 향할 경우, 전자 장치는 OCR 기술을 통해 상기 간판에 기재된 문자를 인식할 수 있다.
상기 OCR 기술은 전자 장치 내에서 수행되는 Embedded OCR 기술과 서버에서 수행되는 Server OCR 기술로 분류될 수 있다. Embedded OCR 기술의 경우 처리 속도는 빠르지만, 전자 장치 성능의 한계로 정확도가 떨어질 수 있다. 반면, Server OCR 기술의 경우 전자 장치가 서버로 데이터를 전송해야 하므로 처리 속도는 느리지만, 높은 정확도를 가질 수 있다.
최근에는 정교한 문자 인식을 요구하는 사용자들이 증가함에 따라 Server OCR 기술에 대한 관심과 요구 또한 증가하고 있다. 그러나, 앞서 언급한 바와 같이 상기 Server OCR 기술의 경우 전자 장치가 서버로 데이터를 전송해야 하므로 처리 속도가 느릴 수 있다. 특히 상기 데이터의 양이 많을 경우 문자를 인식하는데 걸리는 시간은 더욱 느릴 수 있다.
본 문서에서 개시되는 실시 예들은, 전술한 문제 및 본 문서에서 제기되는 과제들을 해결하기 위한 전자 장치를 제공하고자 한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 이미지 데이터를 생성하기 위한 이미징 장치(an imaging device), 통신 회로(a communication circuit), 상기 이미징 장치 및 상기 통신 회로와 작동적으로 연결되는 적어도 하나의 프로세서(at least one processor), 상기 프로세서와 작동적으로 연결되고 명령어를 저장하는 메모리(a memory)를 포함하고, 상기 명령어는 상기 프로세서로 하여금 상기 이미징 장치로부터 제1 이미지(a first image)를 포함하는 제1 이미지 데이터(first image data)를 수신하고, 상기 통신 회로를 통해 제1 서버(a first server)로 상기 제1 이미지 데이터를 전송하고, 상기 통신 회로를 통해 상기 제1 서버로부터 상기 제1 이미지 데이터로부터 인식된 제1 텍스트(a first text)를 포함하는 제1 텍스트 데이터(first text data)를 수신하고, 상기 이미징 장치로부터 상기 제1 이미지의 일부를 포함하는 제2 이미지(a second image)를 포함하는 제2 이미지 데이터(second image data)를 수신하고, 상기 제1 텍스트 데이터의 적어도 일부를 포함하는 제2 텍스트 데이터(second text data) 및 상기 제2 이미지 데이터의 전체가 아닌 일부를 상기 통신 회로를 통해 상기 제1 서버로 전송하도록 할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 방법은, 이미징 장치로부터 제1 이미지(a first image)를 포함하는 제1 이미지 데이터(first image data)를 수신하는 동작, 통신 회로를 통해 제1 서버(a first server)로 상기 제1 이미지 데이터를 전송하는 동작, 상기 통신 회로를 통해 상기 제1 서버로부터 상기 제1 이미지 데이터로부터 인식된 제1 텍스트(a first text)를 포함하는 제1 텍스트 데이터(first text data)를 수신하는 동작, 상기 이미징 장치로부터 상기 제1 이미지의 일부를 포함하는 제2 이미지(a second image)를 포함하는 제2 이미지 데이터(second image data)를 수신하는 동작, 및 상기 제1 텍스트 데이터의 적어도 일부를 포함하는 제2 텍스트 데이터(second text data) 및 상기 제2 이미지 데이터의 전체가 아닌 일부를 상기 통신 회로를 통해 상기 제1 서버로 전송하는 동작을 포함할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라(a camera), 상기 카메라를 통해 인식되는 이미지를 출력하는 디스플레이(a display), 상기 이미지를 제1 서버로 전송하는 통신 회로(a communication circuit), 상기 카메라, 상기 디스플레이, 및 상기 통신 회로와 전기적으로 연결되는 프로세서(a processor), 및 상기 프로세서와 작동적으로 연결되고, 명령어 및 상기 이미지를 캡쳐(capture)하는 어플리케이션을 저장하는 메모리(memory)를 포함하고, 상기 명령어는 상기 상기 프로세서로 하여금 상기 어플리케이션을 실행하는 사용자 입력에 응답하여 상기 디스플레이를 통해 출력되는 제1 이미지를 캡쳐하고, 상기 제1 이미지를 상기 제1 서버로 전송하고, 상기 제1 이미지에서 추출된 제1 텍스트를 상기 제1 서버로부터 수신하여 상기 디스플레이를 통해 출력하고, 상기 디스플레이를 통해 상기 제1 이미지의 적어도 일부를 포함하는 제2 이미지가 출력되면, 상기 제2 이미지 중 상기 제1 이미지와 중첩하는 영역에 위치하고 상기 제1 텍스트의 적어도 일부를 포함하는 제2 텍스트는 제1 타입 데이터로 상기 제1 서버에 전송하고, 상기 제2 이미지 중 상기 제1 이미지와 중첩하지 않는 영역은 제2 타입 데이터로 상기 제1 서버에 전송하고, 상기 제1 타입 데이터 및 상기 제2 타입 데이터에서 추출된 제3 텍스트를 상기 제1 서버로부터 수신하여 상기 디스플레이를 통해 출력하도록 할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 방법은, 사용자 입력에 응답하여 디스플레이를 통해 출력되는 제1 이미지를 캡쳐하는 동작, 상기 제1 이미지를 제1 서버로 전송하는 동작, 상기 제1 이미지에서 추출된 제1 텍스트를 상기 제1 서버로부터 수신하여 상기 디스플레이를 통해 출력하는 동작, 상기 디스플레이를 통해 상기 제1 이미지의 적어도 일부를 포함하는 제2 이미지가 출력되면, 상기 제2 이미지 중 상기 제1 이미지와 중첩하는 영역에 위치하고 상기 제1 텍스트의 적어도 일부를 포함하는 제2 텍스트는 제1 타입 데이터로 상기 제1 서버에 전송하고, 상기 제2 이미지 중 상기 제1 이미지와 중첩하지 않는 영역은 제2 타입 데이터로 상기 제1 서버에 전송하는 동작, 및 상기 제1 타입 데이터 및 상기 제2 타입 데이터에서 추출된 제3 텍스트를 상기 제1 서버로부터 수신하여 상기 디스플레이를 통해 출력하는 동작을 포함할 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 문자 인식 시간을 단축시킬 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 다양한 실시예에 따른 프로그램의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 텍스트 인식 시스템을 나타낸다.
도 4a는 본 발명의 일 실시 예에 따른 텍스트 인식 시스템의 동작 흐름도를 나타낸다.
도 4b는 본 발명의 일 실시 예에 따른 전자 장치의 동작 흐름도를 나타낸다.
도 5는 본 발명의 일 실시 예에 따른 디스플레이를 통해 출력되는 화면 및 제1 이미지를 나타낸다.
도 6a는 본 발명의 일 실시 예에 따른 제1 텍스트를 나타낸다.
도 6b는 본 발명의 다른 실시 예에 따른 제1 텍스트를 나타낸다.
도 7a는 본 발명의 일 실시 예에 따른 전자 장치의 이미지의 변경 여부를 확인하는 예시도이다.
도 7b는 본 발명의 다른 실시 예에 따른 전자 장치의 이미지의 변경 여부를 확인하는 예시도이다.
도 8a는 본 발명의 일 실시 예에 따른 제1 이미지를 나타낸다.
도 8b는 본 발명의 일 실시 예에 따른 제2 이미지를 나타낸다.
도 9는 본 발명의 일 예에 따른 전자 장치의 동작 환경을 나타낸다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블럭도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)이 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 하나 이상의 안테나들을 포함할 수 있고, 이로부터, 제 1 네트워크 198 또는 제 2 네트워크 199와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, or 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다.. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2은 다양한 실시예에 따른 프로그램을 예시하는 블록도이다.
일실시예에 따르면, 프로그램(140)은 전자 장치(101)의 하나 이상의 리소스들을 제어하기 위한 운영 체제(142), 미들웨어(144), 또는 상기 운영 체제(142)에서 실행 가능한 어플리케이션(146)을 포함할 수 있다. 운영 체제(142)는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 프로그램(140) 중 적어도 일부 프로그램은, 예를 들면, 제조 시에 전자 장치(101)에 프리로드되거나, 또는 사용자에 의해 사용 시 외부 전자 장치(예: 전자 장치(102 또는 104), 또는 서버(108))로부터 다운로드되거나 갱신 될 수 있다.
운영 체제(142)는 전자 장치(101)의 하나 이상의 시스템 리소스들(예: 프로세스, 메모리, 또는 전원)의 관리(예: 할당 또는 회수)를 제어할 수 있다. 운영 체제(142)는, 추가적으로 또는 대체적으로, 전자 장치(101)의 다른 하드웨어 디바이스, 예를 들면, 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 구동하기 위한 하나 이상의 드라이버 프로그램들을 포함할 수 있다.
미들웨어(144)는 전자 장치(101)의 하나 이상의 리소스들로부터 제공되는 기능 또는 정보가 어플리케이션(146)에 의해 사용될 수 있도록 다양한 기능들을 어플리케이션(146)으로 제공할 수 있다. 미들웨어(144)는, 예를 들면, 어플리케이션 매니저(201), 윈도우 매니저(203), 멀티미디어 매니저(205), 리소스 매니저(207), 파워 매니저(209), 데이터베이스 매니저(211), 패키지 매니저(213), 커넥티비티 매니저(215), 노티피케이션 매니저(217), 로케이션 매니저(219), 그래픽 매니저(221), 시큐리티 매니저(223), 통화 매니저(225), 또는 음성 인식 매니저(227)를 포함할 수 있다.
어플리케이션 매니저(201)는, 예를 들면, 어플리케이션(146)의 생명 주기를 관리할 수 있다. 윈도우 매니저(203)는, 예를 들면, 화면에서 사용되는 하나 이상의 GUI 자원들을 관리할 수 있다. 멀티미디어 매니저(205)는, 예를 들면, 미디어 파일들의 재생에 필요한 하나 이상의 포맷들을 파악하고, 그 중 선택된 해당하는 포맷에 맞는 코덱을 이용하여 상기 미디어 파일들 중 해당하는 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(207)는, 예를 들면, 어플리케이션(146)의 소스 코드 또는 메모리(130)의 메모리의 공간을 관리할 수 있다. 파워 매니저(209)는, 예를 들면, 배터리(189)의 용량, 온도 또는 전원을 관리하고, 이 중 해당 정보를 이용하여 전자 장치(101)의 동작에 필요한 관련 정보를 결정 또는 제공할 수 있다. 일실시예에 따르면, 파워 매니저(209)는 전자 장치(101)의 바이오스(BIOS: basic input/output system)(미도시)와 연동할 수 있다.
데이터베이스 매니저(211)는, 예를 들면, 어플리케이션(146)에 의해 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(213)는, 예를 들면, 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. 커넥티비티 매니저(215)는, 예를 들면, 전자 장치(101)와 외부 전자 장치 간의 무선 연결 또는 직접 연결을 관리할 수 있다. 노티피케이션 매니저(217)는, 예를 들면, 지정된 이벤트(예: 착신 통화, 메시지, 또는 알람)의 발생을 사용자에게 알리기 위한 기능을 제공할 수 있다. 로케이션 매니저(219)는, 예를 들면, 전자 장치(101)의 위치 정보를 관리할 수 있다. 그래픽 매니저(221)는, 예를 들면, 사용자에게 제공될 하나 이상의 그래픽 효과들 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다.
시큐리티 매니저(223)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 통화(telephony) 매니저(225)는, 예를 들면, 전자 장치(101)에 의해 제공되는 음성 통화 기능 또는 영상 통화 기능을 관리할 수 있다. 음성 인식 매니저(227)는, 예를 들면, 사용자의 음성 데이터를 서버(108)로 전송하고, 그 음성 데이터에 적어도 일부 기반하여 전자 장치(101)에서 수행될 기능에 대응하는 명령어(command), 또는 그 음성 데이터에 적어도 일부 기반하여 변환된 문자 데이터를 서버(108)로부터 수신할 수 있다. 일 실시예에 따르면, 미들웨어(244)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 일 실시예에 따르면, 미들웨어(144)의 적어도 일부는 운영 체제(142)의 일부로 포함되거나, 또는 운영 체제(142)와는 다른 별도의 소프트웨어로 구현될 수 있다.
어플리케이션(146)은, 예를 들면, 홈(251), 다이얼러(253), SMS/MMS(255), IM(instant message)(257), 브라우저(259), 카메라(261), 알람(263), 컨택트(265), 음성 인식(267), 이메일(269), 달력(271), 미디어 플레이어(273), 앨범(275), 와치(277), 헬스(279)(예: 운동량 또는 혈당과 같은 생체 정보를 측정), 또는 환경 정보(281)(예: 기압, 습도, 또는 온도 정보 측정) 어플리케이션을 포함할 수 있다. 일실시예에 따르면, 어플리케이션(146)은 전자 장치(101)와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션(미도시)을 더 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치로 지정된 정보 (예: 통화, 메시지, 또는 알람)를 전달하도록 설정된 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하도록 설정된 장치 관리 어플리케이션을 포함할 수 있다. 노티피케이션 릴레이 어플리케이션은, 예를 들면, 전자 장치(101)의 다른 어플리케이션(예: 이메일 어플리케이션(269))에서 발생된 지정된 이벤트(예: 메일 수신)에 대응하는 알림 정보를 외부 전자 장치로 전달할 수 있다. 추가적으로 또는 대체적으로, 노티피케이션 릴레이 어플리케이션은 외부 전자 장치로부터 알림 정보를 수신하여 전자 장치(101)의 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치(101)와 통신하는 외부 전자 장치 또는 그 일부 구성 요소(예: 표시 장치(160) 또는 카메라 모듈(180))의 전원(예: 턴-온 또는 턴-오프) 또는 기능(예: 표시 장치(160) 또는 카메라 모듈(180)의 밝기, 해상도, 또는 포커스)을 제어할 수 있다. 장치 관리 어플리케이션은, 추가적으로 또는 대체적으로, 외부 전자 장치에서 동작하는 어플리케이션의 설치, 삭제, 또는 갱신을 지원할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", “A 또는 B 중 적어도 하나,”"A, B 또는 C," "A, B 및 C 중 적어도 하나,”및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 텍스트 인식 시스템을 나타낸다.
도 3을 참조하면 텍스트 인식 시스템(300)은 전자 장치(예: 도 1의 전자 장치(101)), 제1 서버(310), 제2 서버(320), 제3 서버(330), 및 제4 서버(340)를 포함할 수 있다.
전자 장치(101)는 이미지를 캡쳐하여 제1 서버(310)로 전송할 수 있다. 예컨대, 전자 장치(101)의 일 면(예: 전면 또는 후면)에는 카메라(예: 도 1의 카메라 모듈(180))가 배치될 수 있으며, 사용자는 상기 카메라(180)를 통해 사용자의 주변 환경을 촬영할 수 있다. 전자 장치(101)는 상기 촬영된 이미지를 제1 서버(310)로 전송할 수 있다.
제1 서버(310)는 상기 촬영된 이미지에서 텍스트를 추출하고, 상기 추출된 텍스트를 전자 장치(101)로 전송할 수 있다. 예컨대, 상기 촬영된 이미지가 간판이면 제1 서버(310)는 상기 간판에 기재된 상호명, 전화 번호 등을 추출할 수 있다. 다른 실시 예로, 상기 촬영된 이미지가 칠판이면 제1 서버(310)는 상기 칠판에 기재된 글자를 추출할 수 있다. 추출된 상호명, 전화 번호, 글자 등은 전자 장치(101)로 전송될 수 있다. 본 문서에서 제1 서버(310)는 OCR(optical character recognition) 서버로 참조될 수 있다.
전자 장치(101)는 제1 서버(310)에서 수신한 텍스트를 제2 서버(320), 제3 서버(330), 및 제4 서버(340) 중 적어도 어느 하나에 전송할 수 있다. 예컨대, 텍스트에 글자(letter)가 포함될 경우, 전자 장치(101)는 텍스트를 제2 서버(320)로 전송할 수 있다. 다른 실시 예로 텍스트에 물리량 단위가 포함될 경우 전자 장치(101)는 텍스트를 제3 서버(330)로 전송할 수 있다. 또 다른 실시 예로 텍스트에 화폐 단위가 포함될 경우, 전자 장치(101)는 텍스트를 제4 서버(340)로 전송할 수 있다. 상술한 실시 예는 일 실시 예일 뿐이며, 텍스트에 포함되는 구성, 전자 장치(101)가 텍스트를 전송하는 서버 등은 상술한 실시 예에 한정되지 않는다.
전자 장치(101)가 텍스트를 제2 서버(320)에 전송하면, 제2 서버(320)는 텍스트에 포함되는 글자를 번역할 수 있다. 번역된 글자는 다시 전자 장치(101)로 전송될 수 있다. 예컨대, 텍스트에 중국어가 포함될 경우, 제2 서버(320)는 상기 중국어를 한국어로 번역하여 전자 장치(101)로 전송할 수 있다. 다른 실시 예로, 텍스트에 영어가 포함될 경우, 제2 서버(320)는 상기 영어를 한국어로 번역하여 전자 장치(101)로 전송할 수 있다. 본 문서에서 제2 서버(320)는 번역 서버로 참조될 수 있다.
제3 서버(330)는 물리량 단위를 변경할 수 있다. 변경된 물리량 단위는 다시 전자 장치(101)로 전송될 수 있다. 예컨대, 텍스트에 마일(mile)이 포함될 경우, 제3 서버(330)는 상기 마일을 킬로미터(km)로 변경하여 전자 장치(101)로 전송할 수 있다. 다른 실시 예로, 텍스트에 갤런(gallon)이 포함될 경우, 제3 서버(330)는 상기 갤런을 리터(l)로 변경하여 전자 장치(101)로 전송할 수 있다. 본 문서에서 제3 서버(330)는 유닛 변환 서버로 참조될 수 있다.
제4 서버(340)는 화폐 단위를 변경할 수 있다. 변경된 화폐 단위는 다시 전자 장치(101)로 전송될 수 있다. 예컨대, 텍스트에 달러($)가 포함될 경우, 제4 서버(340)는 상기 달러를 원(\)으로 변경하여 전자 장치(101)로 전송할 수 있다. 다른 실시 예로, 텍스트에 엔(￥)이 포함될 경우, 제4 서버(340)는 상기 엔을 원(\)으로 변경하여 전자 장치(101)로 전송할 수 있다. 본 문서에서 제4 서버(340)는 환율 변환 서버로 참조될 수 있다.
전자 장치(101)는 제2 서버(320) 내지 제4 서버(340)로부터 번역된 글자, 변환된 물리량 단위, 및 변환된 화폐 단위 중 적어도 어느 하나가 수신되면, 상기 수신된 텍스트를 출력할 수 있다. 예컨대, 카메라(180)에서 촬영된 이미지에 "Hello"가 포함될 경우 전자 장치(100)는 "Hello" 대신 번역된 글자인 "안녕"을 출력할 수 있다.
다른 실시 예로 상기 수신된 텍스트가 출력되는 영역은 상기 카메라(180)에서 촬영된 이미지에 인접할 수 있다. 예컨대, 상기 카메라(180)에서 촬영된 이미지에 "Hello"가 포함될 경우, 전자 장치(101)는 상기 카메라(180)에서 촬영된 이미지와 인접하는 영역에 "안녕"을 출력할 수 있다.
본 문서에서 도 1 내지 도 3에 도시된 전자 장치(101) 및 텍스트 인식 시스템(300)의 구성들과 동일한 참조부호를 갖는 구성들은 도 1 내지 도 3에서 설명한 내용이 동일하게 적용될 수 있다.
도 4a는 본 발명의 일 실시 예에 따른 텍스트 인식 시스템의 동작 흐름도를 나타낸다. 도 4a는 도 3에 포함되는 구성들의 동작을 상세히 설명하기 위한 도면이다. 도 4a를 참조하면 동작 411에서 전자 장치(101)(예: 프로세서(120))는 제1 이미지를 캡쳐할 수 있다. 예컨대, 전자 장치(101)는 사용자 입력에 응답하여 텍스트를 인식하기 위한 어플리케이션을 실행할 수 있다. 상기 어플리케이션이 실행되면 전자 장치(101)는 카메라(180)를 통해 사용자의 주변 환경을 촬영할 수 있다. 또한, 전자 장치(101)는 상기 주변 환경을 캡쳐할 수 있다. 본 문서에서 제1 이미지는 디스플레이(예: 도 1 의 표시 장치(160))를 통해 캡쳐된 이미지를 의미할 수 있다.
동작 413에서 전자 장치(101)(예: 도 1 의 통신 모듈(190))는 상기 캡쳐된 제1 이미지를 제1 서버(310)로 전송할 수 있다.
동작 415에서 제1 서버(310)는 제1 이미지에서 제1 텍스트를 추출할 수 있다. 예컨대, 제1 이미지에 간판이 포함되어 있으면 제1 서버(310)는 상기 간판에 기재된 상호명, 전화 번호 등을 추출할 수 있다.
동작 417에서 제1 서버(310)는 상기 추출된 제1 텍스트를 전자 장치(101)로 전송할 수 있다. 상기 실시 예에서, 제1 서버(310)는 추출된 상호명, 전화 번호 등을 전자 장치(101)로 전송할 수 있다. 일 실시 예에 따르면 제1 서버(310)는 상기 추출된 제1 텍스트를 JSON(javascript object notation) 형식을 갖는 데이터로 전자 장치(101)에 전송할 수 있다.
동작 419에서 전자 장치(101)는 제1 서버(310)로부터 제1 텍스트를 수신하고, 상기 수신한 제1 텍스트를 제2 서버(320)로 전송할 수 있다. 도 4a에서는 전자 장치(101)가 제1 텍스트를 제2 서버(320)로 전송하는 것으로 도시되었으나, 전자 장치(101)는 제1 텍스트를 제3 서버(330) 및/또는 제4 서버(340)로 전송할 수 있다.
동작 421에서 제2 서버(320)는 전자 장치(101)로부터 수신한 제1 텍스트를 번역할 수 있다. 상기 실시 예에서 제1 텍스트에 중국어 상호명이 포함되어 있을 경우, 제2 서버(320)는 중국어 상호명을 한국어 상호명으로 번역할 수 있다.
동작 423에서 제2 서버(320)는 번역된 제1 텍스트를 전자 장치(101)로 전송할 수 있다. 상기 실시 예에서 제2 서버(320)는 한국어 상호명을 전자 장치(101)로 전송할 수 있다.
동작 425에서 전자 장치(101)는 번역된 제1 텍스트를 출력할 수 있다. 일 실시 예로, 전자 장치(101)는 상기 번역된 제1 텍스트를 제1 텍스트를 대체하여 출력할 수 있다. 예컨대, 전자 장치(101)는 한국어 상호명을 중국어 상호명을 대체하여 출력할 수 있다.
동작 427에서 전자 장치(101)는 디스플레이(예: 표시 장치(160))를 통해 출력되는 이미지의 변경 여부를 확인할 수 있다. 예컨대, 사용자가 전자 장치(101)를 이동시킬 경우, 카메라(180)를 통해 출력되는 이미지 또한 변경될 수 있다. 이에 따라, 제1 이미지가 아닌 제2 이미지가 출력될 수 있다.
본 문서에서 제2 이미지는 제1 이미지의 적어도 일부를 포함하는 이미지를 의미할 수 있다. 예컨대, 제1 이미지에 간판이 포함되어 있을 경우, 제2 이미지에도 간판의 적어도 일부가 포함될 수 있다. 다시 말해, 사용자가 전자 장치(101)를 일정 범위 내에서 이동시킬 경우 제2 이미지는 제1 이미지의 적어도 일부를 포함하여 출력될 수 있다. 그러나 사용자가 전자 장치(101)를 반대 방향으로 회전시킬 경우 디스플레이(예: 표시 장치(160))를 통해 제1 이미지의 반대편에 있는 환경이 출력될 뿐 제1 이미지 및 제2 이미지가 출력될 수 없다.
제2 이미지가 출력되면, 동작 429에서 전자 장치(101)는 제2 이미지를 캡쳐할 수 있다.
동작 431에서 전자 장치(101)는 제1 이미지와 제2 이미지를 비교할 수 있다. 전자 장치(101)는 제2 이미지 중 제1 이미지와 중첩하는 영역에 대응되는 제1 텍스트의 일부를 포함하는 제2 텍스트를 제1 서버(310)로 전송할 수 있다. 또한, 전자 장치(101)는 제2 이미지 중 제1 이미지와 중첩하지 않는 영역에 대응되는 제2 이미지의 일부를 제1 서버(310)로 전송할 수 있다. 예컨대, 제1 이미지가 A 간판을 포함하고, 제2 이미지가 A 간판의 일부 및 B 간판을 포함할 수 있다. 전자 장치(101)는 제2 이미지 중 제1 이미지와 중첩하는 영역인 A 간판의 일부는 제1 타입 데이터로 전송할 수 있다. 전자 장치(101)는 제2 이미지 중 제1 영역과 중첩하지 않는 영역인 B 간판은 제2 타입 데이터로 전송할 수 있다. 본 문서에서 제1 타입 데이터와 제2 타입 데이터는 서로 다른 형식을 갖는 데이터로서, 제1 타입 데이터는 제2 텍스트를 포함할 수 있다. 제2 타입 데이터는 제2 이미지 중 제1 이미지와 중첩하지 않는 영역을 포함할 수 있다.
일 실시 예에 따르면, 제1 타입 데이터의 크기는 제2 타입 데이터의 크기보다 작을 수 있다. 예컨대, 제1 타입 데이터는 JSON(javascript object notation) 형식을 갖는 데이터로 제1 서버(310)에 전송될 수 있다. 제2 타입 데이터는 이미지 데이터(예: JPG 데이터)로 제1 서버(310)에 전송될 수 있다.
한편, 도 4a에 도시된 실시 예는 일 실시 예일 뿐이며, 본 발명의 실시 예들은 도 4a에 도시된 바에 한정되지 않는다. 예컨대, 전자 장치(101)는 제2 이미지 중 제1 이미지와 중첩하는 영역은 전송하지 않고, 제2 이미지 중 제1 이미지와 중첩하지 않는 영역을 전송할 수 있다.
본 발명의 일 실시 예에 따르면, 제1 타입 데이터는 크기가 작은 데이터 형식으로 전자 장치(101)가 제1 서버(310)로 전송하는 데이터의 크기를 감소시킬 수 있다. 이에 따라, 전자 장치(101)가 텍스트를 출력하기까지 소요되는 시간을 단축시킬 수 있다.
동작 433에서 제1 서버(310)는 제1 타입 데이터 및 제2 타입 데이터에서 제3 텍스트를 추출할 수 있다. 예컨대, 제1 이미지가 A 간판을 포함하고, 제2 이미지가 A 간판의 일부 및 B 간판을 포함할 경우, 제1 서버(310)는 A 간판의 일부 및 B 간판에 기재된 상호명, 전화 번호 등에 대응되는 제1 타입 데이터 및 제2 타입 데이터에서 제3 텍스트를 추출할 수 있다.
동작 435에서 제1 서버(310)는 추출된 제3 텍스트를 전자 장치(101)로 전송할 수 있다. 상기 실시 예에서, 제1 서버(310)는 A 간판의 일부 및 B 간판에서 추출한 상호명, 전화 번호 등을 전자 장치(101)로 전송할 수 있다.
다른 실시 예로 동작 435에서 제1 서버(310)는 추출된 제3 텍스트를 제2 서버(320)로 전송할 수 있다. 제2 서버(320)는 제3 텍스트를 번역하고 번역된 제3 텍스트를 전자 장치(101)로 전송할 수 있다. 전자 장치(101)는 번역된 제3 텍스트를 제3 서버(330) 및/또는 제4 서버(340)로 전송할 수 있다. 제3 서버(330) 및/또는 제4 서버(340)는 물리량 단위 및/또는 화폐 단위를 변경하고, 변경된 물리량 단위 및/또는 화폐 단위를 전자 장치(101)로 전송할 수 있다.
동작 437 내지 동작 441에서 전자 장치(101)는 제3 텍스트를 제2 서버(320)에 전송할 수 있고, 제2 서버(320)는 제3 텍스트를 번역할 수 있다. 번역된 제3 텍스트는 전자 장치(101)로 전송될 수 있다. 동작 419 내지 동작 423에 대한 설명은 동작 437 내지 441에도 적용될 수 있다.
동작 443에서 전자 장치(101)는 번역된 제3 텍스트를 제2 서버(320)로부터 수신할 수 있다. 전자 장치(101)는 제3 텍스트를 출력할 수 있다. 상기 실시 예에서, 전자 장치(101)는 A 간판의 일부에 기재된 상호명 및 B 간판에 기재된 상호명을 출력할 수 있다.
도 4b는 본 발명의 일 실시 예에 따른 전자 장치의 동작 흐름도를 나타낸다. 도 4b는 도 3에 도시된 전자 장치(101)의 동작을 상세히 설명하기 위한 도면이다.
도 4b를 참조하면 동작 451에서 프로세서(120)는 이미징 장치(imaging device)로부터 제1 이미지 데이터를 수신할 수 있다. 본 문서에서 이미징 장치는 제1 이미지 데이터를 생성할 수 있는 장치로서 카메라 모듈(180) 등으로 참조될 수 있다. 제1 이미지 데이터는 디스플레이(160)를 통해 출력되는 제1 이미지를 포함하는 이미지 데이터를 의미할 수 있다.
동작 453에서 프로세서(120)는 통신 회로(190)를 통해 제1 이미지 데이터를 제1 서버(310)로 전송할 수 있다. 제1 서버(310)는 제1 이미지 데이터에서 제1 텍스트를 추출하고 상기 추출된 제1 텍스트를 포함하는 제1 텍스트 데이터를 다시 전자 장치(101)로 전송할 수 있다. 예컨대, 제1 이미지에 간판이 포함되어 있으면, 제1 서버(310)는 간판에 기재된 상호명 등을 추출할 수 있다. 제1 서버(310)는 OCR(optical character recognition) 서버로 참조될 수 있다.
동작 455에서 프로세서(120)는 통신 회로(190)를 통해 제1 텍스트 데이터를 수신할 수 있다. 상기 제1 텍스트 데이터가 수신되면 프로세서(120)는 제1 텍스트를 디스플레이(160)를 통해 출력할 수 있다. 예컨대, 제1 이미지에 간판이 포함되어 있으면, 프로세서(120)는 간판에 기재된 상호명을 디스플레이(160)를 통해 출력할 수 있다.
동작 457에서 프로세서(120)는 이미징 장치로부터 제2 이미지 데이터를 수신할 수 있다. 제2 이미지 데이터는 제1 이미지와 적어도 일부 중첩하는 제2 이미지를 포함하는 이미지 데이터를 의미할 수 있다.
동작 459에서 프로세서(120)는 통신 회로(190)를 통해 제2 텍스트 데이터 및 제2 이미지 데이터의 일부를 제1 서버(310)로 전송할 수 있다. 본 문서에서 제2 텍스트 데이터는 제1 이미지와 제2 이미지가 중첩하는 영역 중 제1 텍스트 데이터의 적어도 일부를 포함하는 텍스트 데이터를 의미할 수 있다. 즉, 동작 459에서 프로세서(120)는 제2 텍스트 데이터와 제2 이미지 데이터 중 제1 이미지 데이터와 중첩하지 않는 영역을 제1 서버(310)로 전송할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 디스플레이를 통해 출력되는 화면 및 제1 이미지를 나타낸다. 도 5는 도 4에 도시된 동작 411 및 413을 상세히 설명하기 위한 도면을 나타낸다.
도 5를 참조하면 전자 장치(예: 도 1 의 전자 장치(101))는 사용자 입력에 응답하여 텍스트를 인식하기 위한 어플리케이션을 실행할 수 있다. 상기 어플리케이션이 실행되면 전자 장치(101)는 카메라(예: 도 1 의 카메라 모듈(180))를 통해 사용자의 주변 환경을 촬영할 수 있다. 예컨대, 도 5에 도시된 바와 같이 사용자는 전자 장치(101)를 통해 여행지의 간판들(510)을 촬영할 수 있다. 전자 장치(101)는 상기 간판들(510)을 디스플레이 화면을 통해 출력할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 제1 이미지(511)를 캡쳐할 수 있다. 제1 이미지(511)는 디스플레이 화면을 통해 출력되는 이미지를 의미할 수 있다. 제1 이미지(511)가 캡쳐되면, 전자 장치(101)는 제1 이미지(511)를 제1 서버(310)로 전송할 수 있다.
도 6a는 본 발명의 일 실시 예에 따른 제1 텍스트를 나타낸다. 도 6b는 본 발명의 다른 실시 예에 따른 제1 텍스트를 나타낸다. 도 6a 및 도 6b는 도 4에 도시된 동작 415를 상세히 설명하기 위한 도면이다.
도 6a 및 도 6b를 참조하면 제1 서버(예: 도 3 의 제 1 서버(310))는 제1 이미지(예: 도 5의 제1 이미지(511))에서 서로 다른 형식을 갖는 제1 텍스트(610)를 추출할 수 있다. 추출된 제1 텍스트(610)는 전자 장치(예; 도 1 의 전자 장치(101))로 전송될 수 있다. 예컨대, 도 6a에 도시된 바와 같이 제1 서버(310)는 제1 이미지에서 제1 텍스트(610), 제1 텍스트(610)에 대한 위치 정보, 및 제1 텍스트(610)에 포함된 각 단어에 대한 위치 정보를 추출하여 전자 장치(101)로 전송할 수 있다. 이 때 제1 텍스트(610), 위치 정보, 및 각 단어에 대한 위치 정보는 제1 타입 데이터 형태(예: JSON(javascript object notation) 형식)로 전자 장치에 전송될 수 있다.
다른 실시 예로, 도 6b에 도시된 바와 같이 제1 서버(310)는 제1 이미지에서 제1 텍스트(610)를 추출하고, 상기 제1 텍스트(610)를 구분하여 표시할 수 있다. 예컨대, 제1 서버(310)는 제1 텍스트(610)를 문장의 구성요소로 분석해서 블록(621), 줄(622), 단어(623), 및/또는 글자(624) 단위로 구분하여 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 제1 이미지를 전송할 때 제1 텍스트(610)의 형식을 결정하는 명령어를 함께 제1 서버(310)로 전송할 수 있다. 제1 서버(310)는 상기 명령어에 기초하여 제1 텍스트(610)를 추출할 수 있다. 예컨대, 제1 서버(310)는 상기 명령어에 기초하여 제1 텍스트(610), 위치 정보, 및 각 단어에 대한 위치 정보를 추출하여 전자 장치(101)로 전송할 수 있다. 다른 실시 예로, 제1 서버(310)는 상기 명령어에 기초하여 제1 텍스트(610)를 블록(621), 줄(622), 단어(623), 및/또는 글자(624) 단위로 구분하여 전자 장치(101)로 전송할 수 있다.
도 7a는 본 발명의 일 실시 예에 따른 전자 장치의 이미지의 변경 여부를 확인하는 예시도이다. 도 7b는 본 발명의 다른 실시 예에 따른 이미지의 변경 여부를 확인하는 예시도이다. 도 7a 및 도 7b는 도 4에 도시된 동작 427을 상세히 설명하기 위한 도면이다.
도 7a를 참조하면 전자 장치(예: 도 1 의 전자 장치(101))는 디스플레이를 통해 출력되는 이미지를 비교할 수 있다. 비교 결과 유의미한 변경이 없을 경우, 전자 장치(101)는 변경된 이미지를 제1 서버(예: 도 3 의 제1 서버(310))로 전송하지 않을 수 있다. 예컨대, 좌측 이미지(710)와 우측 이미지(720)를 비교하면, 좌측 이미지(710)와 우측 이미지(720)에 포함되는 텍스트는 실질적으로 동일할 수 있다. 좌측 이미지(710)와 우측 이미지(720)에 포함되는 텍스트가 실질적으로 동일하므로, 전자 장치(101)는 우측 이미지(720)를 제1 서버(310)로 전송하지 않을 수 있다.
도 7b를 참조하면 전자 장치(101)는 디스플레이(예: 도 1 의 표시 장치(160))를 통해 출력되는 이미지가 변경될 경우, 변경된 이미지를 제1 서버(310)로 전송할 수 있다. 예컨대, 사용자는 전자 장치(101)를 좌측 방향(730)에서 우측 방향(740)으로 이동시킬 수 있다. 전자 장치를 이동시킴에 따라 디스플레이를 통해 출력되는 화면 또한 변경될 수 있다. 예컨대, 좌측 방향(730)에서는 제1 이미지(731)가 출력될 수 있으나, 전자 장치(101)가 이동함에 따라 우측 방향(740)에서는 제2 이미지(741)가 출력될 수 있다. 제2 이미지(741)는 제1 이미지와 중첩하는 영역(741a)과 중첩하지 않는 영역(741b)을 모두 포함할 수 있다.
도 8a는 본 발명의 일 실시 예에 따른 제1 이미지를 나타낸다. 도 8b는 본 발명의 일 실시 예에 따른 제2 이미지를 나타낸다. 도 8a 및 도 8b는 도 4에 도시된 동작 431을 상세히 설명하기 위한 도면이다.
도 8a 및 도 8b를 참조하면 전자 장치(예: 도 1 의 전자 장치(101))는 제1 이미지(810)(예: 도 7 의 제1 이미지(731))와 제2 이미지(820)(예: 도 7 의 제2 이미지(741))를 비교하고 제2 이미지(820) 중 제1 이미지(810)와 중첩하는 영역(820a)은 제1 타입 데이터(820-1)로 제1 서버(예: 도 3 의 제1 서버(310))에 전송할 수 있다. 전자 장치(101)는 제2 이미지(820) 중 제1 이미지(810)와 중첩하지 않는 영역(820b)은 제2 타입 데이터(820-2)로 제1 서버(310)에 전송할 수 있다. 예컨대, 제2 이미지(820) 중 좌측 영역(820a)은 제1 이미지(810)와 중첩할 수 있으나, 제2 이미지(820) 중 우측 영역(820b)은 제1 이미지(810)와 중첩하지 않을 수 있다. 이에 따라, 전자 장치(101)는 좌측 영역(820a)은 JSON(javascript object notation) 형식을 갖는 데이터(820-1)로 제1 서버(310)에 전송할 수 있다. 전자 장치(101)는 우측 영역(820b)은 이미지 데이터(820-2)(예: JPG 데이터)로 제1 서버(310)로 전송할 수 있다.
한편, 도 8a 및 도 8b에 도시된 실시 예는 일 실시 예일 뿐이며, 본 발명의 실시 예들은 도 8a 및 도 8b에 도시된 바에 한정되지 않는다. 예컨대, 전자 장치(101)는 제2 이미지(820) 중 좌측 영역(820a)은 전송하지 않고, 제2 이미지(820) 중 우측 영역(820b)을 제1 서버(310)로 전송할 수 있다.
본 발명의 일 실시 예에 따르면, 제1 서버(310)로 이미 전송한 이미지는 크기가 작은 데이터 형식으로 서버에 전송하거나, 서버에 전송하지 않음으로써 전자 장치(101)가 전송하는 데이터의 크기를 감소시킬 수 있다. 이에 따라, 전자 장치(101)가 텍스트를 출력하기까지 소요되는 시간을 단축시킬 수 있다.
일 실시 예에 따르면 제1 서버(310)는 제2 이미지(820)를 수신한 후, 제2 이미지(820) 중 제1 이미지(810)와 중첩하지 않는 영역(820b)에서 제3 텍스트를 추출할 수 있다. 예컨대, 제2 이미지(820)에서 "Baby I am sorry"는 제1 이미지(810)에서 추출되었으므로, 제1 서버(310)는 "Baby I am sorry"를 추출하지 않고 "but I love you"를 추출할 수 있다. 비교 예에 따른 텍스트 인식 시스템에 따르면 이미지에 중첩하는 영역이 있더라도 이미지에 포함된 모든 텍스트를 추출할 수 있다. 그러나 본 발명의 일 실시 예에 따른 텍스트 인식 시스템(예: 도 3 의 텍스트 인식 시스템(300))에 따르면 중첩되지 않는 영역(예: 820b)에 대한 텍스트만 추출함으로써 텍스트 인식 시간을 단축시킬 수 있다.
도 9는 본 발명의 일 예에 따른 전자 장치의 동작 환경을 나타낸다. 도 9는 도 4에 도시된 동작 431을 상세히 설명하기 위한 도면이다.
도 9를 참조하면 사용자는 전자 장치(예: 도 1 의 전자 장치(101))를 통해 수업 시간 중 강사(이하 오브젝트(911))가 칠판 앞에서 설명하는 환경을 촬영할 수 있다. 이 경우 오브젝트(911)에 의해 칠판의 일부가 가려질 수 있다. 전자 장치(101)는 상기 촬영된 환경을 제1 이미지(910)로 캡쳐할 수 있다. 캡쳐된 제1 이미지(910)는 제1 서버(예: 도 3 의 제1 서버(310))로 전송될 수 있으며, 제1 서버(310)는 오브젝트(911)에 의해 가려지지 않는 영역(910a)의 텍스트를 추출할 수 있다.
일 실시 예에 따르면, 오브젝트(911)가 이동함에 따라 오브젝트(911)에 의해 가려지는 영역(910b)이 변경될 수 있다. 이 경우 전자 장치(101)는 오브젝트(911)가 이동된 상태에서의 화면을 제2 이미지(920)로 캡쳐할 수 있다. 전자 장치(101)는 제1 이미지(910)와 제2 이미지(920)를 비교하고, 비교 결과 제1 이미지(910)와 제2 이미지(920)가 중첩하는 영역(920a)은 제1 타입 데이터(예: JSON(javascript object notation) 형식을 갖는 데이터)로 제1 서버(310)에 전송할 수 있다. 전자 장치(101)는 비교 결과 중첩하지 않는 영역(920b)은 제2 타입 데이터(예: JPG 데이터)로 제1 서버(310)로 전송할 수 있다. 제1 서버(310)는 중첩하지 않는 영역(920b)에서 텍스트를 추출할 수 있다.
한편, 도 9에 도시된 실시 예는 일 실시 예일 뿐이며, 본 발명의 실시 예들은 도 9에 도시된 바에 한정되지 않는다. 예컨대, 제1 이미지(910)와 제2 이미지가 중첩하는 영역은 제1 서버(310)로 전송하지 않고, 제1 이미지(910)와 제2 이미지가 중첩하지 않는 영역(910a)을 제1 서버(310)로 전송할 수 있다.
본 발명의 일 실시 예에 따르면, 서버로 이미 전송한 이미지는 크기가 작은 데이터 형식으로 서버에 전송하거나, 서버에 전송하지 않음으로써 전자 장치(101)가 전송하는 데이터의 크기를 감소시킬 수 있다. 이에 따라, 전자 장치(101)가 텍스트를 출력하기까지 소요되는 시간을 단축시킬 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    이미지 데이터를 생성하기 위한 이미징 장치(an imaging device),
    통신 회로(a communication circuit),
    상기 이미징 장치 및 상기 통신 회로와 작동적으로 연결되는 적어도 하나의 프로세서(at least one processor),
    상기 프로세서와 작동적으로 연결되고 명령어를 저장하는 메모리(a memory)를 포함하고,
    상기 명령어는 상기 프로세서로 하여금:
    상기 이미징 장치로부터 제1 이미지(a first image)를 포함하는 제1 이미지 데이터(first image data)를 수신하고,
    상기 통신 회로를 통해 제1 서버(a first server)로 상기 제1 이미지 데이터를 전송하고,
    상기 통신 회로를 통해 상기 제1 서버로부터 상기 제1 이미지 데이터로부터 인식된 제1 텍스트(a first text)를 포함하는 제1 텍스트 데이터(first text data)를 수신하고
    상기 이미징 장치로부터 상기 제1 이미지의 일부를 포함하는 제2 이미지(a second image)를 포함하는 제2 이미지 데이터(second image data)를 수신하고,
    상기 제1 텍스트 데이터의 적어도 일부를 포함하는 제2 텍스트 데이터(second text data) 및 상기 제2 이미지 데이터의 전체가 아닌 일부를 상기 통신 회로를 통해 상기 제1 서버로 전송하도록 하는, 전자 장치.
  2. 청구항 1에 있어서,
    상기 명령어는 상기 프로세서로 하여금 상기 제1 이미지, 상기 제2 이미지 및 상기 제1 텍스트 데이터 중 하나 이상에 적어도 부분적으로 기초하여 상기 제2 이미지 데이터의 일부를 결정하도록 하는, 전자 장치.
  3. 청구항 2에 있어서,
    상기 제2 이미지 데이터의 일부는 상기 제1 이미지의 적어도 부분적으로 연관된 데이터를 포함하지 않는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 제1 텍스트 데이터는 JSON(javascript object notation) 형식을 갖는, 전자 장치.
  5. 청구항 4에 있어서,
    상기 제1 텍스트 데이터는 상기 제1 이미지 내의 상기 제1 텍스트와 연관된 적어도 하나의 좌표에 대한 데이터를 포함하는, 전자 장치.
  6. 전자 장치의 문자 인식 방법에 있어서,
    이미징 장치로부터 제1 이미지(a first image)를 포함하는 제1 이미지 데이터(first image data)를 수신하는 동작,
    통신 회로를 통해 제1 서버(a first server)로 상기 제1 이미지 데이터를 전송하는 동작,
    상기 통신 회로를 통해 상기 제1 서버로부터 상기 제1 이미지 데이터로부터 인식된 제1 텍스트(a first text)를 포함하는 제1 텍스트 데이터(first text data)를 수신하는 동작,
    상기 이미징 장치로부터 상기 제1 이미지의 일부를 포함하는 제2 이미지(a second image)를 포함하는 제2 이미지 데이터(second image data)를 수신하는 동작, 및
    상기 제1 텍스트 데이터의 적어도 일부를 포함하는 제2 텍스트 데이터(second text data) 및 상기 제2 이미지 데이터의 전체가 아닌 일부를 상기 통신 회로를 통해 상기 제1 서버로 전송하는 동작을 포함하는, 방법.
  7. 청구항 6에 있어서,
    상기 제1 이미지, 상기 제2 이미지 및 상기 제1 텍스트 데이터 중 하나 이상에 적어도 부분적으로 기초하여 상기 제2 이미지 데이터의 일부를 결정하는 동작을 더 포함하는, 방법.
  8. 청구항 7에 있어서,
    상기 제2 이미지 데이터의 일부는 상기 제1 이미지의 적어도 부분적으로 연관된 데이터를 포함하지 않는, 방법.
  9. 청구항 6에 있어서,
    상기 제1 텍스트 데이터는 JSON(javascript object notation) 형식을 갖는, 방법.
  10. 청구항 9에 있어서,
    상기 제1 텍스트 데이터는 상기 제1 이미지 내의 상기 제1 텍스트와 연관된 적어도 하나의 좌표에 대한 데이터를 포함하는, 방법.
  11. 전자 장치에 있어서,
    카메라(a camera),
    상기 카메라를 통해 인식되는 이미지를 출력하는 디스플레이(a display),
    상기 이미지를 제1 서버로 전송하는 통신 회로(a communication circuit),
    상기 카메라, 상기 디스플레이, 및 상기 통신 회로와 전기적으로 연결되는 프로세서(a processor), 및
    상기 프로세서와 작동적으로 연결되고, 명령어 및 상기 이미지를 캡쳐(capture)하는 어플리케이션을 저장하는 메모리(memory)를 포함하고,
    상기 명령어는 상기 상기 프로세서로 하여금:
    상기 어플리케이션을 실행하는 사용자 입력에 응답하여 상기 디스플레이를 통해 출력되는 제1 이미지를 캡쳐하고,
    상기 제1 이미지를 상기 제1 서버로 전송하고,
    상기 제1 이미지에서 추출된 제1 텍스트를 상기 제1 서버로부터 수신하여 상기 디스플레이를 통해 출력하고,
    상기 디스플레이를 통해 상기 제1 이미지의 적어도 일부를 포함하는 제2 이미지가 출력되면, 상기 제2 이미지 중 상기 제1 이미지와 중첩하는 영역에 위치하고 상기 제1 텍스트의 적어도 일부를 포함하는 제2 텍스트는 제1 타입 데이터로 상기 제1 서버에 전송하고, 상기 제2 이미지 중 상기 제1 이미지와 중첩하지 않는 영역은 제2 타입 데이터로 상기 제1 서버에 전송하고,
    상기 제1 타입 데이터 및 상기 제2 타입 데이터에서 추출된 제3 텍스트를 상기 제1 서버로부터 수신하여 상기 디스플레이를 통해 출력하도록 하는, 전자 장치.
  12. 청구항 11에 있어서,
    상기 명령어는 상기 프로세서로 하여금 상기 제1 텍스트를 제2 서버로 전송하고,
    상기 제1 텍스트를 지정된 언어로 변환한 제1 번역 텍스트를 상기 제2 서버로부터 수신하여 상기 디스플레이를 통해 출력하도록 하는, 전자 장치.
  13. 청구항 12에 있어서,
    상기 명령어는 상기 프로세서로 하여금 상기 제3 텍스트를 상기 제2 서버로 전송하고,
    상기 제3 텍스트를 상기 지정된 언어로 변환한 제2 번역 텍스트를 상기 제2 서버로부터 수신하여 상기 디스플레이를 통해 출력하도록 하는, 전자 장치.
  14. 청구항 11에 있어서,
    상기 제1 텍스트는 제1 물리량 단위를 포함하고,
    상기 명령어는 상기 프로세서로 하여금 상기 제1 텍스트를 제2 서버로 전송하고, 상기 제1 물리량 단위를 지정된 단위로 변환한 제2 물리량 단위를 상기 제2 서버로부터 수신하고, 상기 제2 물리량 단위를 상기 디스플레이를 통해 출력하도록 하는, 전자 장치.
  15. 청구항 11에 있어서,
    상기 제1 텍스트는 제1 화폐 단위를 포함하고,
    상기 명령어는 상기 프로세서로 하여금 상기 제1 텍스트를 제2 서버로 전송하고, 상기 제1 화폐 단위를 지정된 단위로 변환한 제2 화폐 단위를 상기 제2 서버로부터 수신하고, 상기 제2 화폐 단위를 상기 디스플레이를 통해 출력하도록 하는, 전자 장치.
PCT/KR2019/001903 2018-02-20 2019-02-18 문자를 인식하기 위한 전자 장치 및 방법 WO2019164196A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980014395.1A CN111801690A (zh) 2018-02-20 2019-02-18 用于识别字符的电子设备和方法
EP19757504.6A EP3731142A4 (en) 2018-02-20 2019-02-18 ELECTRONIC DEVICE AND METHOD OF CHARACTER RECOGNITION
US16/963,628 US11308317B2 (en) 2018-02-20 2019-02-18 Electronic device and method for recognizing characters

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180019847A KR102585645B1 (ko) 2018-02-20 2018-02-20 문자를 인식하기 위한 전자 장치 및 방법
KR10-2018-0019847 2018-02-20

Publications (1)

Publication Number Publication Date
WO2019164196A1 true WO2019164196A1 (ko) 2019-08-29

Family

ID=67687843

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/001903 WO2019164196A1 (ko) 2018-02-20 2019-02-18 문자를 인식하기 위한 전자 장치 및 방법

Country Status (5)

Country Link
US (1) US11308317B2 (ko)
EP (1) EP3731142A4 (ko)
KR (1) KR102585645B1 (ko)
CN (1) CN111801690A (ko)
WO (1) WO2019164196A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102308193B1 (ko) * 2019-11-22 2021-10-01 (주)에스유지 Ocr기술을 활용한 옥외광고물 측정기기 및 그와 연동되는 운영시스템
CN113420167A (zh) * 2021-05-14 2021-09-21 北京达佳互联信息技术有限公司 多媒体资源处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07220025A (ja) * 1994-01-31 1995-08-18 Canon Inc 画像処理装置
KR20030024786A (ko) * 2000-07-19 2003-03-26 자콥 바이트만 텍스트 및 문자와 이미지를 포함하는 혼합 정보의 이동식포착, 처리, 저장 및 전송을 위한 방법 및 장치
JP2008134683A (ja) * 2006-11-27 2008-06-12 Fuji Xerox Co Ltd 画像処理装置および画像処理プログラム
KR20150088001A (ko) * 2014-01-23 2015-07-31 박정호 화면 재로딩없이 복사페이지를 생성하는 멀티페이지 표출시스템
KR101758712B1 (ko) * 2016-01-20 2017-07-26 주식회사 빌몬스터즈 영수증 관리 방법 및 이를 위한 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840033B2 (en) * 2004-04-02 2010-11-23 K-Nfb Reading Technology, Inc. Text stitching from multiple images
TWI333365B (en) * 2006-11-22 2010-11-11 Ind Tech Res Inst Rending and translating text-image method and system thereof
US20100331043A1 (en) * 2009-06-23 2010-12-30 K-Nfb Reading Technology, Inc. Document and image processing
US9008431B2 (en) * 2011-03-04 2015-04-14 Glory Ltd. Character string extraction method and character string extraction device
US9715625B2 (en) * 2012-01-27 2017-07-25 Recommind, Inc. Hierarchical information extraction using document segmentation and optical character recognition correction
US9514376B2 (en) * 2014-04-29 2016-12-06 Google Inc. Techniques for distributed optical character recognition and distributed machine language translation
WO2015165524A1 (en) * 2014-04-30 2015-11-05 Longsand Limited Extracting text from video
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
RU2619712C1 (ru) * 2016-05-13 2017-05-17 Общество с ограниченной ответственностью "Аби Девелопмент" Оптическое распознавание символов серии изображений
US10679089B2 (en) * 2016-12-30 2020-06-09 Business Imaging Systems, Inc. Systems and methods for optical character recognition
US20180260376A1 (en) * 2017-03-08 2018-09-13 Platinum Intelligent Data Solutions, LLC System and method to create searchable electronic documents
RU2661760C1 (ru) * 2017-08-25 2018-07-19 Общество с ограниченной ответственностью "Аби Продакшн" Использование нескольких камер для выполнения оптического распознавания символов

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07220025A (ja) * 1994-01-31 1995-08-18 Canon Inc 画像処理装置
KR20030024786A (ko) * 2000-07-19 2003-03-26 자콥 바이트만 텍스트 및 문자와 이미지를 포함하는 혼합 정보의 이동식포착, 처리, 저장 및 전송을 위한 방법 및 장치
JP2008134683A (ja) * 2006-11-27 2008-06-12 Fuji Xerox Co Ltd 画像処理装置および画像処理プログラム
KR20150088001A (ko) * 2014-01-23 2015-07-31 박정호 화면 재로딩없이 복사페이지를 생성하는 멀티페이지 표출시스템
KR101758712B1 (ko) * 2016-01-20 2017-07-26 주식회사 빌몬스터즈 영수증 관리 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
EP3731142A1 (en) 2020-10-28
US20210064864A1 (en) 2021-03-04
KR20190099852A (ko) 2019-08-28
KR102585645B1 (ko) 2023-10-10
CN111801690A (zh) 2020-10-20
EP3731142A4 (en) 2021-03-24
US11308317B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
WO2020171611A1 (en) Electronic device for providing various functions through application using a camera and operating method thereof
EP3811191A1 (en) Electronic device for displaying list of executable applications on split screen and operating method thereof
WO2019177373A1 (en) Electronic device for controlling predefined function based on response time of external electronic device on user input, and method thereof
WO2020166894A1 (en) Electronic device and method for recommending word in same
WO2020141763A1 (ko) 전자 장치 및 그 폴더 구성 방법
WO2019225861A1 (en) Method for sharing content based on account group and electronic device for performing same
WO2019164098A1 (en) Apparatus and method for providing function associated with keyboard layout
WO2020122604A1 (en) Electronic device and method for displaying web content in augmented reality mode
WO2019164196A1 (ko) 문자를 인식하기 위한 전자 장치 및 방법
WO2019039706A1 (ko) 전자 장치 및 그의 데이터 운용 방법
WO2021025495A1 (en) Electronic device and method for processing handwriting input thereof
WO2020138909A1 (ko) 콘텐트 공유 방법 및 그 전자 장치
WO2019151667A1 (ko) 자동 응답 시스템으로 개인 정보를 전송하기 위한 장치 및 방법
WO2019164204A1 (ko) 전자 장치 및 그의 동작 방법
WO2019203443A1 (ko) 근거리 통신을 이용하여 디바이스들을 페어링하는 방법 및 이를 사용하는 전자 장치
WO2019216484A1 (ko) 전자 장치 및 그 동작방법
WO2021118273A1 (en) Electronic device and method for processing writing input
WO2021101173A1 (ko) 전자 장치 및 이를 이용한 근거리 통신 장치의 사용자 식별 정보 획득 방법
WO2021201593A1 (ko) 데이터의 제공 방법 및 이를 지원하는 전자 장치
WO2020159032A1 (ko) 복수의 어플리케이션에 카메라에서 획득한 이미지를 제공하는 전자 장치 및 그의 동작 방법
WO2020171613A1 (en) Method for displaying visual object regarding contents and electronic device thereof
WO2019177437A1 (ko) 화면 제어 방법 및 이를 지원하는 전자 장치
WO2020071636A1 (ko) 클라우드 서비스를 제공하는 전자 장치 및 그 동작 방법
WO2020111626A1 (en) Electronic device and key input method therefor
WO2020171422A1 (ko) 전자 장치의 단축 기능 제공 방법 및 이를 사용하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19757504

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019757504

Country of ref document: EP

Effective date: 20200723