WO2024043485A1 - 텍스트를 포함하는 이미지를 처리하기 위한 전자 장치 및 방법 - Google Patents

텍스트를 포함하는 이미지를 처리하기 위한 전자 장치 및 방법 Download PDF

Info

Publication number
WO2024043485A1
WO2024043485A1 PCT/KR2023/009041 KR2023009041W WO2024043485A1 WO 2024043485 A1 WO2024043485 A1 WO 2024043485A1 KR 2023009041 W KR2023009041 W KR 2023009041W WO 2024043485 A1 WO2024043485 A1 WO 2024043485A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
text area
text
area
processor
Prior art date
Application number
PCT/KR2023/009041
Other languages
English (en)
French (fr)
Inventor
박정현
무커지닐라드리
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220112446A external-priority patent/KR20240029474A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024043485A1 publication Critical patent/WO2024043485A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions

Definitions

  • An electronic device including a camera can improve images acquired through the camera through a neural network.
  • the electronic device may obtain an image with improved image quality by synthesizing each partial region of a plurality of images acquired through the camera.
  • An electronic device may include at least one processor and at least one camera.
  • the at least one processor may acquire a plurality of images through at least one camera.
  • the at least one processor may generate a first image using the plurality of images.
  • the at least one processor may identify a text area within the first image based on identifying that the plurality of images are related to text.
  • the at least one processor may generate a second image in which enhancement processing is performed on a character area in the first image.
  • the at least one processor may be configured to generate an output image by blending a text area in the first image and a text area in the second image based on text attributes for the text area in the first image.
  • a method performed by an electronic device may include acquiring a plurality of images through at least one camera.
  • the method may include generating a first image using the plurality of images.
  • the method may include identifying a text region within the first image based on identifying that the plurality of images are associated with text.
  • the method may include generating a second image on which enhancement processing has been performed on the text area.
  • the method may include generating an output image by blending a text area in the first image and a text area in the second image based on text properties for the text area in the first image.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to embodiments.
  • FIG 2 shows an example of output image generation, according to embodiments.
  • FIG. 3 shows the flow of an output image generation operation according to embodiments.
  • FIG. 4 shows a flow of a second image generation operation according to embodiments.
  • FIG. 5 illustrates a flow of an output image generation operation performed based on blending weights according to embodiments.
  • FIG 6 shows an example of first image generation, according to embodiments.
  • FIG 7 shows an example of second image generation, according to embodiments.
  • FIG. 8 shows an example of blending weight identification, according to embodiments.
  • FIG 9 illustrates operations for generating an output image, according to embodiments.
  • FIG. 10 illustrates operations for generating an output image based on text area identification, according to embodiments.
  • Terms used in the following description refer to combination (e.g., combining, merging, montaging), and terms referring to area including text (e.g., area including text, text area).
  • text area area
  • a term referring to a word area within a text area e.g., word area within a text area, word area
  • specified value Terms referring to (reference value, threshold value), etc. are exemplified for convenience of explanation. Accordingly, the present disclosure is not limited to the terms described below, and other terms having equivalent technical meaning may be used.
  • terms such as '... part', '... base', '... water', and '... body' used hereinafter mean at least one shape structure or a unit that processes a function. It can mean.
  • the expressions greater than or less than may be used to determine whether a specific condition is satisfied or fulfilled, but this is only a description for expressing an example, and the description of more or less may be used. It's not exclusion. Conditions written as ‘more than’ can be replaced with ‘more than’, conditions written as ‘less than’ can be replaced with ‘less than’, and conditions written as ‘more than and less than’ can be replaced with ‘greater than and less than’.
  • 'A' to 'B' means at least one of the elements from A to (including A) and B (including B).
  • 'C' and/or 'D' means including at least one of 'C' or 'D', i.e. ⁇ 'C', 'D', 'C' and 'D' ⁇ .
  • An acquired image refers to a frame acquired by a camera.
  • the first image refers to a frame generated based on a plurality of acquired images acquired by a camera.
  • the second image refers to a frame in which the character area in the first image has been enhanced.
  • the output image refers to an image output to the display.
  • the text area refers to an area within an image that is likely to contain text.
  • the text area refers to the part of the image that is included in the text area and contains characters according to specified criteria.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a long-distance wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted, or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or operations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes the main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g., a central processing unit or an application processor
  • an auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the auxiliary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. This learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108). Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (eg, program 140) and instructions related thereto. Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • Battery 189 may supply power to at least one component of electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels.
  • the communication module 190 operates independently of the processor 120 (eg, an application processor) and may include one or more communication processors that support direct (eg, wired) communication or wireless communication.
  • the communication module 190 may be a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (Wi-Fi) direct, or infrared data association (IrDA)) or a second network 199 (e.g.
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 to communicate within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band), for example, to achieve a high data transfer rate.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO (full dimensional MIMO)), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is, for example, connected to the plurality of antennas by the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side)
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG 2 shows an example of output image generation, according to embodiments.
  • the acquired image 201 may be one of a plurality of images acquired through the camera 180.
  • the first image 203 may be created based on a plurality of images.
  • the second image 205 may be created by performing enhancement processing on the text area in the first image.
  • the output image 207 may be created by blending the text area in the first image and the text area in the second image.
  • the at least one processor may acquire a plurality of images through the camera 180.
  • the acquired image 201, one of the plurality of images, may include one or more texts.
  • acquired image 201 may include text about an announcement written on a blackboard.
  • the acquired image 201 may include text about precautions included in a sign.
  • the acquired image 201 may include text about a Wi-Fi (wireless fidelity) password posted on a wall.
  • the user's intention in photographing an image containing text may be to record the text.
  • Text included in the acquired image 201 may lack accuracy and clarity. For example, text may appear blurry due to lack of focus. For example, reflected light may make it difficult to identify parts of text.
  • the first image 203 may be created by combining parts with high clarity among a plurality of images through a neural network for generating the first image.
  • the plurality of images may include a first acquired image, a second acquired image, and a third acquired image.
  • the at least one processor 120 may identify a first partial region with high clarity in the first acquired image through a neural network for generating the first image.
  • the at least one processor 120 may identify a second partial region with high clarity in the second acquired image through a neural network for generating the first image.
  • the at least one processor 120 may identify a third partial region with high clarity within the third acquired image through a neural network for generating the first image.
  • the at least one processor 120 may generate the first image 203 by combining the first partial region, the second partial region, and the third partial region through a neural network for generating the first image.
  • the first acquired image, the second acquired image, and the third acquired image may be acquired with different exposure values.
  • the exposure value of the first acquired image, the exposure value of the second acquired image, and the exposure value of the third acquired image may be different from each other.
  • the overall clarity of the first image 203 may be improved compared to the clarity of the acquired image 201 regardless of the area containing the text.
  • the second image 205 may be generated based on the first image 203 through a neural network for generating the second image.
  • the at least one processor 120 may identify a text area in the first image 203 where the probability of containing text is greater than or equal to a reference value through a neural network for generating the second image.
  • the at least one processor 120 may identify a plurality of characters within a text area in the first image 203 through a neural network for generating the second image.
  • the at least one processor 120 may identify a character area included in a text area in the first image through a neural network for generating the second image. The number of characters included in the character area may be determined by a specified standard.
  • the text area is defined when the size of individual characters (e.g., 'geum', 'yeon', 'gu', 'station') contained within the text area (e.g. 'non-smoking area') is greater than a specified threshold. , can only contain individual characters.
  • the text area may contain a plurality of characters if the size of the characters (e.g., 'geum', 'yeon', 'gu', 'yeok') contained within the text area (e.g., 'non-smoking area') is less than a specified threshold value. may include.
  • the text area may include only individual characters if the spacing between characters included within the text area (e.g., 'non-smoking area') is greater than or equal to a specified threshold.
  • the text area may include a plurality of characters when the spacing between characters included in the text area is less than a specified threshold value.
  • the at least one processor 120 may perform enhancement processing on the text area through a neural network for generating a second image.
  • the at least one processor 120 may generate a second image on which enhancement processing has been performed on the character area through a neural network for generating the second image.
  • the neural network for generating the second image may be a neural processing unit (NPU).
  • the NPU may have completed learning.
  • the output image 207 may be generated by blending the first image 203 and the second image 205.
  • the output image 207 may be generated by blending the text area in the first image 203 and the text area in the second image 205 based on the blending weight.
  • the blending weight may refer to the ratio of the text area in the second image 205 to the text area in the first image 203.
  • the clarity of the letters in the first image 203 may be lower than that of the letters in the second image 205.
  • the sharpness may refer to the degree of contrast between the background and the edges of the text. The higher the clarity, the higher the visibility.
  • the accuracy of the characters in the first image 203 may be higher than the accuracy of the characters in the second image 205.
  • the accuracy may mean the degree to which a character is not recognized as a different character by the user.
  • the higher the accuracy the fewer typographical errors. Therefore, the at least one processor 120 blends the first image 203 with high accuracy and the second image 205 with high clarity, so that the clarity is higher than that of the first image 203 and the second image 205 ) can produce an output image with higher accuracy.
  • the at least one processor 120 cannot generate the second image 205 when the text area is not identified. Accordingly, at least one processor 120 may output the first image 203 as the output image 207.
  • the at least one processor 120 produces an output image 207 by blending the first image 203 and the second image 205 generated based on the first image 203. can be created.
  • the blending weight may be obtained by a blending weight identification module.
  • the blending weight identification module can identify blending weights based on text attributes.
  • the text properties include the size of the characters included in the character area, the matching possibility identified by an optical character recognition (OCR) module, the distance from the center of the first image 203 to the center of the character area, ISO value, and sensor gain. , may include the degree of blur, the color of the text, and/or the thickness of the text.
  • OCR optical character recognition
  • the larger the size of individual letters in the text area the higher the blending ratio of the text area in the second image 205 may be set. This is because the larger the size of the text area, the lower the probability of artifacts occurring.
  • the artifact may be a defect in the character caused by noise in the first image 203.
  • the larger the font size the less likely it is that artifacts will occur. Accordingly, as the size of the text increases, the at least one processor 120 may set the ratio of the text area in the second image 205 to be higher than the ratio of the text area in the first image 203.
  • the higher the matching probability obtained through an optical character recognition (OCR) module the higher the blending ratio of the character area in the second image 205 may be set.
  • the matching probability may be the probability that a character in a character area is a character identified through an optical character recognition (OCR) module.
  • OCR optical character recognition
  • the optical character recognition (OCR) module may identify characters in the character area as 'entranccs'.
  • the OCR (optical character recognition) module can identify the matching probability, which is the probability that a character in the character area is 'entranccs'. This is because the higher the matching probability, the lower the probability of artifacts occurring. Accordingly, as the matching probability increases, the at least one processor 120 can set the ratio of the text area in the second image 205 to be higher than the ratio of the text area in the first image 203.
  • the closer the distance from the center of the first image 203 to the center of the text area, the higher the blending ratio of the text area in the second image 205 may be set. This is because the closer the distance from the center of the first image 203 to the center of the text area, the lower the probability of artifacts occurring. This is because the closer the distance from the center of the first image 203 to the center of the character area, the less blurred the image.
  • a portion closer to the outside of an image is often blurred compared to the center of the image. Therefore, the closer the text area is to the center of the image, the higher the text accuracy can be.
  • the at least one processor 120 increases the ratio of the text area in the second image 205 to the first image 203. It can be set higher than the ratio of the text area within.
  • the lower the ISO (international standards organization) value of the text area the higher the blending ratio of the text area in the second image 205 may be set.
  • the ISO (international standards organization) value of the text area is set to higher. This is because the lower it is, the lower the probability of noise occurring within the character area. And, as the probability of noise occurring within the text area decreases, the probability of artifacts occurring may decrease. Therefore, the lower the ISO (international standards organization) value of the text area, the lower the probability of artifacts occurring, and the higher the accuracy of the text. Accordingly, as the ISO (international standards organization) value of the text area is lower, the at least one processor 120 adjusts the ratio of the text area in the second image 205 to the ratio of the text area in the first image 203. It can be set higher than that.
  • the thicker the text included in the text area the higher the blending ratio of the text area in the second image 205 may be set. This is because the thicker the text included in the text area, the lower the probability of noise occurring within the text area. And, as the probability of noise occurring within the text area decreases, the probability of artifacts occurring may decrease. Therefore, the thicker the text included in the text area, the lower the probability of artifacts occurring, and the higher the accuracy of the text. Accordingly, as the thickness of the text included in the text area increases, the at least one processor 120 increases the ratio of the text area in the second image 205 compared to the ratio of the text area in the first image 203. It can be set high.
  • the lower the degree of blur of the text included in the text area, the higher the blending ratio of the text area in the second image 205 may be set.
  • the degree of blur may be identified by a blur estimation module. This is because the lower the degree of blur of the text included in the text area, the lower the probability of noise occurring within the text area. And, as the probability of noise occurring in the text area decreases, the probability of artifacts occurring may decrease. Therefore, the lower the degree of blur of the characters included in the character area, the lower the probability of artifacts occurring. If the probability of artifacts occurring is lowered, the accuracy of characters can be increased. Accordingly, as the degree of blur of the text decreases, the at least one processor 120 can set the ratio of the text area in the second image 205 to be higher than the ratio of the text area in the first image 203.
  • the present disclosure can generate a first image or a second image through a neural network for image generation.
  • the neural network may refer to a model that has the ability to solve problems by changing the coupling strength of the synapses based on training nodes that form a network through the coupling of synapses.
  • the neural network can be trained through supervised learning or unsupervised learning.
  • the supervised learning may mean learning performed by providing a label (or correct answer). Because the supervised learning requires the label, it may require fewer resources compared to the unsupervised learning to evaluate the reliability of output data derived from the neural network.
  • the supervised learning requires the label, it may require resources (eg, time resources) to obtain the label.
  • the unsupervised learning may mean learning performed without labels. Since the unsupervised learning does not require the label, it may not require resources to obtain the label. On the other hand, because the unsupervised learning does not require the label, it may require more resources than the supervised learning to evaluate the reliability of output data derived from the neural network.
  • the neural network may be trained through unsupervised learning.
  • a neural network may include multiple layers.
  • a neural network may include an input layer, one or more hidden layers, and an output layer. Signals generated at each node in the input layer based on the input data may be transmitted from the input layer to one or more hidden layers.
  • the output layer may obtain output data of the neural network based on one or more signals received from one or more hidden layers.
  • the input layer, one or more hidden layers, and the output layer may include a plurality of nodes.
  • One or more hidden layers may be a convolution filter or a fully connected layer in a CNN (convolution neural network), or various types of filters or layers connected based on specified functions or characteristics. there is.
  • one or more hidden layers may be a layer based on a recurrent neural network (RNN) whose output value is re-input to the hidden layer at the current time.
  • RNN recurrent neural network
  • one or more hidden layers may be configured in plural, and may form a deep neural network. For example, training a neural network that includes one or more hidden layers that form at least part of a deep neural network may be referred to as deep learning.
  • a node included in one or more hidden layers may be referred to as a hidden node.
  • Nodes included in the input layer and one or more hidden layers may be connected to each other through a connection line with a connection weight, and nodes included in one or more hidden layers and an output layer may also be connected to each other through a connection line with a connection weight.
  • Tuning and/or training a neural network may mean changing the connection weights between nodes included within each of the layers included within the neural network (e.g., an input layer, one or more hidden layers, and an output layer). For example, tuning or training of a neural network may be performed based on unsupervised learning.
  • the method according to the embodiments of the present disclosure may be included and provided in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store), or on two user devices (e.g. : Smartphones) can be distributed (e.g. downloaded or uploaded) directly or online.
  • a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • FIG. 3 shows the flow of an output image generation operation according to embodiments.
  • the at least one processor 120 may acquire a plurality of images through at least one camera 180.
  • the at least one processor 120 may acquire a plurality of images through the camera 180.
  • An acquired image (eg, acquired image 201 of FIG. 2), which is one of the plurality of images, may include one or more texts.
  • acquired image 201 may include text about an announcement written on a blackboard.
  • the acquired image 201 may include text about precautions included in a sign.
  • the acquired image 201 may include text about a Wi-Fi (wireless fidelity) password posted on a wall.
  • the user's intention in photographing an image containing text may be to record the text.
  • Text included in the acquired image 201 may lack accuracy and clarity. For example, text may appear blurry due to lack of focus. For example, reflected light may make it difficult to identify parts of text.
  • the at least one processor 120 may generate a first image using a plurality of images.
  • the first image (e.g., the first image 203 in FIG. 2) may be generated by combining parts with high clarity among a plurality of images through a neural network for generating the first image.
  • the plurality of images may include a first acquired image, a second acquired image, and a third acquired image.
  • the at least one processor 120 may identify a first partial region with high clarity in the first acquired image through a neural network for generating the first image.
  • the at least one processor 120 may identify a second partial region with high clarity in the second acquired image through a neural network for generating the first image.
  • the at least one processor 120 may identify a third partial region with high clarity within the third acquired image through a neural network for generating the first image.
  • the at least one processor 120 may generate the first image 203 by combining the first partial region, the second partial region, and the third partial region through a neural network for generating the first image.
  • the first acquired image, the second acquired image, and the third acquired image may be acquired with different exposure values.
  • the exposure value of the first acquired image, the exposure value of the second acquired image, and the exposure value of the third acquired image may be different from each other.
  • the overall clarity of the first image 203 may be improved compared to the clarity of the acquired image 201 regardless of the area containing the text.
  • the at least one processor 120 may generate a second image (eg, the second image 205 of FIG. 2) based on the first image 203.
  • a second image eg, the second image 205 of FIG. 2
  • the flow of operations for generating the second image 205 is shown in FIG. 4.
  • the at least one processor 120 may identify text attributes within the text area.
  • Text properties may refer to characteristics of a text area, such as the size and thickness of text contained within the text area, and the possibility of matching the text area.
  • FIG. 5 the flow of operations for identifying text attributes within a character area is shown in FIG. 5.
  • the at least one processor 120 performs blending of text areas within the first image 203 and text areas within the second image 205, based on text properties, to produce an output image, e.g. The output image 207 of FIG. 2) can be generated.
  • the output image 207 may be generated by blending the first image 203 and the second image 205.
  • the output image 207 may be generated by blending the text area in the first image 203 and the text area in the second image 205 based on the blending weight.
  • the blending weight may refer to the ratio of the text area in the second image 205 to the text area in the first image 203.
  • the clarity of the letters in the first image 203 may be lower than that of the letters in the second image 205.
  • the sharpness may refer to the degree of contrast between the background and the edge of the text.
  • the higher the clarity the higher the visibility.
  • the accuracy of the characters in the first image 203 may be higher than the accuracy of the characters in the second image 205.
  • the accuracy may mean the degree to which a character is not recognized as a different character by the user.
  • the higher the accuracy the fewer typographical errors. Therefore, the at least one processor 120 blends the first image 203 with high accuracy and the second image 205 with high clarity, so that the clarity is higher than that of the first image 203 and the second image ( An output image 207 with higher accuracy than 205) can be generated.
  • the at least one processor 120 cannot generate the second image 205 when the text area is not identified.
  • At least one processor 120 may output the first image 203 as the output image 207.
  • the at least one processor 120 produces an output image 207 by blending the first image 203 and the second image 205 generated based on the first image 203. can be created.
  • FIG. 4 shows a flow of a second image generation operation according to embodiments.
  • the at least one processor 120 may acquire a first image. It refers to a frame generated based on a plurality of acquired images acquired by the camera 180. For generating the first image, operations 301 and 303 of FIG. 3 may be referred to.
  • the at least one processor 120 may identify a text area in the first image in which the probability of containing text is greater than or equal to a reference value.
  • the at least one processor 120 identifies a text area in which the probability of containing text within the first image (e.g., the first image 201 of FIG. 2) is greater than or equal to a reference value through a neural network for generating the second image. can do.
  • the at least one processor 120 may identify a plurality of characters within a text area in the first image 201 through a neural network for generating the second image.
  • the at least one processor 120 may identify one or more text areas containing characters within the text area.
  • the at least one processor 120 may identify a character area included in a text area in the first image through a neural network for generating the second image.
  • the number of characters included in the character area may be determined by a specified standard.
  • the text area may be opened if the size of individual characters (e.g., 'geum', 'yeon', 'gu', 'station') contained within the text area (e.g. 'non-smoking area') is greater than a specified threshold.
  • the text area may include a plurality of characters if the size of the characters included in the text area is less than a specified threshold.
  • the text area may include only individual characters if the spacing between characters included within the text area (e.g., 'non-smoking area') is greater than or equal to a specified threshold.
  • the text area may include a plurality of characters when the spacing between characters included in the text area is less than a specified threshold value.
  • At least one processor may perform enhancement processing on the text area.
  • the at least one processor 120 may perform enhancement processing on the text area through a neural network for generating a second image.
  • the at least one processor 120 may generate a second image 205 on which enhancement processing has been performed on the character area through a neural network for generating the second image.
  • the neural network for generating the second image may be a neural processing unit (NPU).
  • the NPU may have completed learning.
  • the at least one processor 120 may generate a second image 205.
  • the at least one processor 120 may generate a second image 205 in which enhancement processing is performed on a character area in the first image 203.
  • FIG. 5 illustrates a flow of an output image generation operation performed based on blending weights according to embodiments.
  • the at least one processor 120 may identify a blending weight based on text attributes.
  • Text properties may refer to characteristics of a text area, such as the size and thickness of text contained within the text area, and the possibility of matching the text area.
  • the blending weight may refer to the ratio of the character area in the second image (e.g., the second image 205 in FIG. 2) to the character area in the first image (e.g., the first image 203 in FIG. 2). there is.
  • the at least one processor 120 blends the first image 203 and the second image 205 generated based on the first image 203 to produce an output image (e.g. The output image 207 of FIG. 2 can be generated.
  • the blending weight may be obtained by a blending weight identification module.
  • the blending weight identification module can identify blending weights based on text attributes.
  • the text properties include the size of the characters included in the character area, the matching possibility identified by an optical character recognition (OCR) module, the distance from the center of the first image 203 to the center of the character area, ISO value, and sensor gain. , may include the degree of blur, the color of the text, and/or the thickness of the text.
  • OCR optical character recognition
  • the larger the size of individual letters in the text area the higher the blending ratio of the text area in the second image 205 may be set. This is because the larger the size of the character area, the lower the probability of artifacts occurring.
  • the artifact may be a defect in the character caused by noise in the first image 203.
  • the larger the font size the less likely it is that artifacts will occur.
  • the at least one processor 120 may set the ratio of the text area in the second image 205 to be higher than the ratio of the text area in the first image 203.
  • the greater the matching probability obtained through an optical character recognition (OCR) module the higher the blending ratio of the character area in the second image 205 may be set.
  • the matching possibility may be the probability that a character in a character area is a character identified through an optical character recognition (OCR) module. For example, the last word among English letters in the first image 203 may constitute one character area.
  • the OCR (optical character recognition) module can identify characters in the character area as 'entranccs'.
  • the OCR (optical character recognition) module can determine the matching probability, which is the probability that a character in the character area is 'entranccs'. This is because the higher the matching probability, the lower the probability of artifacts occurring. Accordingly, as the matching probability increases, the at least one processor 120 can set the ratio of the text area in the second image 205 to be higher than the ratio of the text area in the first image 203. According to one embodiment, the closer the distance from the center of the first image 203 to the center of the text area, the higher the blending ratio of the text area in the second image 205 may be set.
  • the at least one processor 120 increases the ratio of the text area in the second image 205 to the first image 203. It can be set higher than the ratio of the text area within.
  • the lower the ISO (international standards organization) value of the text area, the higher the blending ratio of the text area in the second image 205 may be set.
  • the ISO (international standards organization) value of the text area is set to higher. This is because the lower the value, the lower the probability of noise occurring within the character area. And, as the probability of noise occurring in the text area decreases, the probability of artifacts occurring may decrease. Therefore, the lower the ISO (international standards organization) value of the text area, the lower the probability of artifacts occurring, and the higher the text accuracy. Accordingly, as the ISO (international standards organization) value of the text area is lower, the at least one processor 120 adjusts the ratio of the text area in the second image 205 to the ratio of the text area in the first image 203.
  • the thicker the text included in the text area the higher the blending ratio of the text area in the second image 205 may be set. This is because the thicker the text included in the text area, the lower the probability of noise occurring within the text area. And, as the probability of noise occurring in the text area decreases, the probability of artifacts occurring may decrease. Therefore, the thicker the text included in the text area, the lower the probability of artifacts occurring, and the higher the accuracy of the text. Accordingly, as the thickness of the text included in the text area increases, the at least one processor 120 increases the ratio of the text area in the second image 205 compared to the ratio of the text area in the first image 203. It can be set high.
  • the lower the degree of blur of the text included in the text area, the higher the blending ratio of the text area in the second image 205 may be set.
  • the degree of blur may be identified by a blur estimation module. This is because the lower the degree of blur of the text included in the text area, the lower the probability of noise occurring within the text area. And, as the probability of noise occurring in the text area decreases, the probability of artifacts occurring may decrease. Therefore, the lower the degree of blur of the characters included in the character area, the lower the probability of artifacts occurring. If the probability of artifacts occurring is lowered, the accuracy of characters can be increased. Accordingly, as the degree of blur of the text decreases, the at least one processor 120 can set the ratio of the text area in the second image 205 to be higher than the ratio of the text area in the first image 203.
  • the at least one processor 120 may blend the text area in the first image 203 and the text area in the second image 205 based on the identified blending weight.
  • the text properties may refer to characteristics of the text area, such as the size and thickness of the text included in the text area, and the possibility of matching the text area.
  • the blending weight may refer to the ratio of the text area in the second image 205 to the text area in the first image 203.
  • the at least one processor 120 may generate an output image 207.
  • the output image 207 may be generated by blending the first image 203 and the second image 205.
  • the output image 207 may be generated by blending the text area in the first image 203 and the text area in the second image 205 based on the blending weight.
  • the blending weight may refer to the ratio of the text area in the second image 205 to the text area in the first image 203.
  • the clarity of the letters in the first image 203 may be lower than that of the letters in the second image 205.
  • the sharpness may refer to the degree of contrast between the background and the edges of the text. The higher the clarity, the higher the visibility.
  • the accuracy of the characters in the first image 203 may be higher than the accuracy of the characters in the second image 205.
  • the accuracy may mean the degree to which a character is not recognized as a different character by the user. The higher the accuracy, the fewer typographical errors. Therefore, the at least one processor 120 blends the first image 203 and the second image 205 to produce an output image ( 207) can be created.
  • the at least one processor 120 cannot generate the second image 205 when the text area is not identified. Accordingly, at least one processor 120 may output the first image 203 as the output image 207.
  • the at least one processor 120 produces an output image 207 by blending the first image 203 and the second image 205 generated based on the first image 203. can be created.
  • FIG 6 shows an example of first image generation, according to embodiments.
  • the first acquired image 601, the second acquired image 605, the third acquired image 609, and the fourth acquired image 613 may be images acquired by the camera 180. there is.
  • the partial region 603 in the first acquired image is divided into other acquired images (e.g., the second acquired image 605, the third acquired image 609, and the fourth acquired image 613) within the first acquired image 601. ), it may be a part with higher clarity than the other.
  • the partial region 607 in the second acquired image is divided into other acquired images (e.g., the first acquired image 601, the third acquired image 609, and the fourth acquired image 613) within the second acquired image 605. ), it may be a part with higher clarity than the other.
  • the partial region 611 in the third acquired image is divided into other acquired images (e.g., the first acquired image 601, the second acquired image 605, and the fourth acquired image 613) within the third acquired image 609. ), it may be a part with higher clarity than the other.
  • the partial region 615 in the fourth acquired image is divided into other acquired images (e.g., the first acquired image 601, the second acquired image 605, and the third acquired image 609) within the fourth acquired image 613. ), it may be a part with higher clarity than the other.
  • the first image 617 includes acquired images acquired through the camera 180 (e.g., the first acquired image 601, the second acquired image 605, the third acquired image 609, and the fourth acquired image ( 613)).
  • the at least one processor 120 generates a partial region 603 in the first acquired image, a partial region 607 in the second acquired image, and a third acquired image through a neural network for generating the first image.
  • the first image 617 may be generated by combining the partial region 611 within the image and the partial region 615 within the fourth acquired image.
  • the first image 617 may have higher overall clarity than the acquired images. However, the clarity of the characters included in the first image may not be higher than the clarity of the background portion.
  • the at least one processor 120 may perform enhancement processing on the text in order for the user to easily identify the text.
  • the enhancement processing may be a process of increasing the clarity of characters and lowering the accuracy of characters.
  • second image generation performed based on the first image will be described.
  • FIG 7 shows an example of second image generation, according to embodiments.
  • the at least one processor 120 generates a first image (e.g., the first image of FIG. 2) based on a plurality of images acquired from the camera 180. (203)) can be generated.
  • the at least one processor 120 may acquire a plurality of images through the camera 180.
  • An acquired image (eg, acquired image 201 of FIG. 2), which is one of the plurality of images, may include one or more texts.
  • acquired image 201 may include text about an announcement written on a blackboard.
  • the acquired image 201 may include text about precautions included in a sign.
  • the acquired image 201 may include text about a Wi-Fi (wireless fidelity) password posted on a wall.
  • the user's intention in photographing an image containing text may be to record the text.
  • Text included in the acquired image 201 may lack accuracy and clarity. For example, text may appear blurry due to lack of focus. For example, reflected light may make it difficult to identify parts of text.
  • the first image 203 may be created by combining parts with high clarity among a plurality of images through a neural network for generating the first image 203.
  • the plurality of images may include a first acquired image, a second acquired image, and a third acquired image.
  • the at least one processor 120 may identify a first partial region with high clarity in the first acquired image through a neural network for generating the first image 203.
  • the at least one processor 120 may identify a second partial region with high clarity in the second acquired image through a neural network for generating the first image 203.
  • the at least one processor 120 may identify a third partial region with high clarity in the third acquired image through a neural network for generating the first image 203.
  • the at least one processor 120 generates the first image 203 by combining the first partial region, the second partial region, and the third partial region through a neural network for generating the first image 203.
  • the first acquired image, the second acquired image, and the third acquired image may be acquired with different exposure values.
  • the exposure value of the first acquired image, the exposure value of the second acquired image, and the exposure value of the third acquired image may be different from each other.
  • the overall clarity of the first image 203 may be improved compared to the clarity of the acquired image 201 regardless of the area containing the text.
  • the at least one processor 120 selects one or more partial regions included in the first image 203 (e.g., the first region 705, the second region 707, the second region 707). 3 It is possible to identify whether area 709) is a text area.
  • the first area 705 may be a review area within the first image 203 that may contain text.
  • the first area 705 may be a text area that is likely to contain text.
  • the second area 707 may be a review area within the second image (eg, the second image 205 of FIG. 2) that may contain text.
  • the second area 707 may not be a text area as it is unlikely to contain text.
  • the third area 709 may be a review area within the third image that may contain text.
  • the third area 709 may be a text area that is likely to contain text.
  • the at least one processor 120 may identify a text area in the first image 203 where the probability of containing text is greater than or equal to a reference value through a neural network for generating the second image. For example, the at least one processor 120 may identify the first area 705 as a text area through a neural network for generating the second image. For example, the at least one processor 120 may identify the third area 709 as a text area through a neural network for generating the second image.
  • the at least one processor 120 may identify a character area included in the text area in the first image 203 through a neural network for generating the second image.
  • 1st text area 713 ('Caution beware of stair accident accident'), 2nd text area 715 ('hand'), 3rd text area 717 ('job'), 4th text area 719 ( 'Lee'), 5th character area 721 ('eul'), 6th character area 723 ('job'), 7th character area 725 ('go'), 8th character area 727 ) ('Lee'), the 9th character area 729 ('Dong'), the 10th character area 731 ('Han'), and the 11th character area 733 ('Da') are the sizes of individual characters.
  • the number of characters included can be determined by specified criteria, such as character spacing.
  • the at least one processor 120 may identify a character area included in the text area in the first image 203 through a neural network for generating the second image.
  • the number of characters included in the character area may be determined by a specified standard.
  • the text area is defined when the size of individual characters (e.g., 'geum', 'yeon', 'gu', 'station') contained within the text area (e.g. 'non-smoking area') is greater than a specified threshold. , can only contain individual characters.
  • the second text area 715, the third text area 717, the fourth text area 719, the fifth text area 721, the sixth text area 723, and the seventh text area 725. ), the 8th text area 727, the 9th text area 729, the 10th text area 731, and the 11th text area 733 are individual characters included in the text area (e.g., the third area 709). Since the size of the characters is greater than the specified threshold, only individual characters can be included.
  • the text area may include a plurality of characters if the size of the characters included in the text area is less than a specified threshold.
  • the first character area 713 contains a plurality of characters (e.g., CAUTION Beware of stair accident) because the size of individual characters included in the text area (e.g., first area 705) is less than a specified threshold. It can be included. For example, if the character spacing contained within the text area (e.g., 'non-smoking area') is greater than a specified threshold, the text area may be opened for individual characters (e.g., 'geum', 'yeon', 'gu', 'yeok'). ) can only be included.
  • the second text area 715, the third text area 717, the fourth text area 719, the fifth text area 721, the sixth text area 723, and the seventh text area 725. ), the 8th text area 727, the 9th text area 729, the 10th text area 731, and the 11th text area 733 are characters included in the text area (e.g., the third area 709). Since the spacing is above the specified threshold, it can only contain individual characters.
  • the text area may include a plurality of characters when the spacing between characters included in the text area is less than a specified threshold value.
  • the first character area 713 may contain a plurality of characters (e.g., Caution, beware of stair accident) because the character spacing included in the text area (e.g., first area 705) is less than a specified threshold. You can.
  • the at least one processor 120 processes the text areas (e.g., first text area 713, second text area 715, and third text area 717) through a neural network for generating a second image. , fourth character area 719, fifth character area 721, sixth character area 723, seventh character area 725, eighth character area 727, ninth character area 729, Enhancement processing can be performed on the 10th character area 731 and the 11th character area 733.
  • the at least one processor 120 may generate a second image 205 on which enhancement processing has been performed on the character areas through a neural network for generating the second image.
  • the neural network for the generation may be a neural processing unit (NPU).
  • the NPU may have completed learning.
  • the at least one processor 120 may generate a second image 205 based on the first image 203.
  • the clarity of characters included in the second image 205 may be improved compared to the first image 203.
  • the sharpness may refer to the degree of contrast between the background and the edge of the character. The higher the clarity, the higher the visibility.
  • the accuracy of the characters in the first image 203 may be higher than the accuracy of the characters in the second image 205.
  • the accuracy may mean the degree to which a character is not recognized as a different character by the user. The higher the accuracy, the fewer typographical errors.
  • the at least one processor 120 blends the first image 203 with high accuracy and the second image 205 with high clarity, so that the clarity is higher than that of the first image 203 and the second image 205 ) can produce an output image with higher accuracy.
  • An example of blending weight identification to generate an output image is described below.
  • FIG. 8 shows an example of blending weight identification, according to embodiments.
  • the electronic device 801 including the camera 180 can acquire an image including text.
  • An object 803 including text may be photographed by the electronic device 801.
  • the center of the object 805 may be the center of the object 803 including the text.
  • the first point 807 of the object may be a point corresponding to the center of a text area containing text (eg, non-smoking area).
  • the second point 809 of the object may be a point corresponding to the center of a text area containing text (eg, NO SMOKING AREA).
  • a text area e.g., first area 705 of FIG. 7
  • the at least one processor 120 processes a first image (e.g., first image 203 of FIG. 2).
  • the blending weight may be obtained by a blending weight identification module.
  • the blending weight identification module can identify blending weights based on text attributes.
  • the blending weight may refer to the ratio of the text area in the second image 205 to the text area in the first image 203.
  • the text attribute may include the distance from the center of the first image 203 to the center of the text area 713. According to one embodiment, the closer the distance from the center of the first image 203 to the center of the text area 713, the higher the blending ratio of the text area in the second image 205 may be set.
  • the distance from the center of the first image 203 corresponding to the center 805 of the object to the center of the text area corresponding to the first point 807 of the object is It may be longer than the distance to the center of the character area corresponding to the second point 809 of .
  • the longer the distance from the center of the first image 203 to the center of the text area the higher the blending ratio of the text area in the second image 205 can be set.
  • the blending ratio of the text area in the second image 205 of the text area corresponding to the first point 807 of the object is the second image 205 of the text area corresponding to the second point 809 of the object. It may be higher than the blending ratio of the text area within.
  • the blending weight may refer to the ratio of the text area in the second image to the text area in the first image. Therefore, the text area corresponding to the first point 807 of the object may have a higher blending weight than the text area corresponding to the second point 809 of the object. This is because the closer the distance from the center of the first image 203 to the center of the text area 713, the lower the probability of artifacts occurring. This is because the closer the distance from the center of the first image 203 to the center of the text area 713, the less blurred the image. In the at least one processor 120, a portion closer to the outside of an image is often blurred compared to the center of the image. Therefore, the closer the text area is to the center of the image, the higher the text accuracy can be.
  • the at least one processor 120 adjusts the ratio of the text area in the second image 205 to the first image 205. It can be set higher than the ratio of the character area 713 within (203).
  • the text area corresponding to the first point 807 of the object may have a blending weight set higher than that of the text area corresponding to the second point 809 of the object.
  • the first image 813 may be generated based on a plurality of images acquired from the camera 180 of the electronic device 801.
  • the first image may include a portion corresponding to the object 803 including text.
  • the center 815 of the first image may correspond to the center 805 of the object.
  • the center 817 of the first character area may correspond to the first point 807 of the object.
  • the center 819 of the second character area may correspond to the second point 809 of the object.
  • a text area e.g., the first area 705 in FIG. 7
  • the at least one processor 120 processes a first image 813 and the first image 813.
  • an output image can be generated by blending the second image generated based on (e.g., the second image 205 in FIG. 2).
  • the blending weight may be obtained by a blending weight identification module.
  • the blending weight identification module can identify blending weights based on text attributes.
  • the blending weight may refer to the ratio of the text area in the second image to the text area in the first image.
  • the text attribute may include the distance from the center of the first image 813 to the center of the text area (eg, the center of the first text area 817 and the center of the second text area 819). According to one embodiment, the closer the distance from the center of the first image 813 to the centers 817 and 819 of the text area, the higher the blending ratio of the text area in the second image 205 may be set.
  • the distance from the center 815 of the first image corresponding to the center 805 of the object to the center 817 of the first text area is the center of the second text area from the center of the first image ( It may be longer than the distance to 819).
  • the blending ratio of the text area within the second image 205 may be set higher. Accordingly, the blending ratio of the text area within the second image 205 of the first text area may be higher than the blending ratio of the text area within the second image 205 of the second text area.
  • the blending weight may refer to the ratio of the text area in the second image to the text area in the first image.
  • the blending weight of the first character area may be higher than the blending weight of the second character area. This is because the closer the distance from the center 815 of the first image to the center 817 and 819 of the text area, the lower the probability of artifacts occurring. This is because the closer the distance from the center 815 of the first image to the centers 817 and 819 of the text area, the less blurred the image.
  • a portion closer to the outside of an image is often blurred compared to the center of the image. Therefore, the closer the text area is to the center of the image, the higher the text accuracy can be.
  • the at least one processor 120 adjusts the ratio of the text area in the second image 205 to the first. 1 It can be set higher than the ratio of the text area in the image. In other words, the blending weight of the first text area may be set higher than that of the second text area.
  • FIG 9 illustrates operations for generating an output image, according to embodiments.
  • the at least one processor 120 may acquire a plurality of images through the camera 180.
  • the at least one processor 120 may generate a first image.
  • the at least one processor 120 may identify a text area within the first image.
  • the at least one processor 120 may identify a character area within a text area.
  • the at least one processor 120 may generate a second image based on the first image.
  • the first image 906 may be generated based on a plurality of images.
  • the first image 906 may be input to the blending weight calculation engine 910 and the blending engine 908.
  • the second image 907 may be created based on the first image.
  • the at least one processor 120 may obtain a blending weight 909 from the blending weight calculation engine 910. In the blending engine 908, the at least one processor 120 may blend the first image 906 and the second image 907 based on the identified blending weight. In the blending engine 908, the at least one processor 120 may blend the first image 906 and the second image 907 to generate an output image (917). In the blending weight calculation engine 910, the at least one processor 120 may calculate a blending weight based on the first criterion 911. The first standard 911 may be the size of the letters. In the blending weight calculation engine 910, the at least one processor 120 may identify a blending weight based on the second criterion 912.
  • the second criterion 912 may be matchability.
  • the matching possibility may be the probability that a character in a character area is a character identified through an optical character recognition (OCR) module.
  • OCR optical character recognition
  • the at least one processor 120 may identify a blending weight based on a third criterion 913.
  • the third standard 913 may be the distance from the center of the first image to the center of the text area.
  • the at least one processor 120 may identify a blending weight based on the fourth criterion 914.
  • the fourth standard 914 may be an ISO (international standards organization) value.
  • the at least one processor 120 may identify a blending weight based on the fifth criterion 915.
  • the fifth standard 915 may be the thickness of the character.
  • FIG. 10 illustrates operations for generating an output image based on text area identification, according to embodiments.
  • the at least one processor 120 may acquire a plurality of images through the camera 180.
  • the at least one processor 120 may perform processing on a plurality of images.
  • the at least one processor 120 may generate a first image.
  • the first image generated in operation 1003 may be input to the blending engine 1017 and the blending weight calculation engine 1006.
  • the at least one processor 120 may identify a text area within the first image.
  • the at least one processor 120 may identify whether text is detected within a text area.
  • the at least one processor 120 may perform operation 1007 when text is detected within the text area.
  • the at least one processor 120 may perform operation 1021 when no text is detected within the text area.
  • the at least one processor 120 may identify a character area within a text area.
  • the at least one processor 120 may calculate a blending weight based on a first criterion 1008.
  • the first standard 1008 may be the size of the letters.
  • the at least one processor 120 may identify a blending weight based on a second criterion 1009.
  • the second criterion 1009 may be matchability.
  • the matching possibility may be the probability that a character in a character area is a character identified through an optical character recognition (OCR) module.
  • OCR optical character recognition
  • the at least one processor 120 may identify a blending weight based on a third criterion 1010.
  • the third standard 1010 may be the distance from the center of the first image to the center of the text area.
  • the at least one processor 120 may identify a blending weight based on the fourth criterion 1011.
  • the fourth standard 1011 may be an ISO (international standards organization) value.
  • the at least one processor 120 may identify a blending weight based on the fifth criterion 1012.
  • the fifth standard 1012 may be the thickness of the character.
  • the at least one processor 120 may perform operation 1020. In operation 1020, the at least one processor 120 may identify whether blending is necessary based on the blending weight.
  • the at least one processor 120 may identify the need for blending based on a blending weight greater than or equal to a threshold value.
  • the at least one processor 120 may generate an output image 1018 through a blending engine 1017.
  • the at least one processor 120 may perform enhancement processing on the text area of the first image.
  • the at least one processor 120 may generate a second image.
  • the at least one processor 120 may blend the first image 1015 and the second image 1016 based on a blending weight according to text attributes.
  • the at least one processor 120 may generate an output image 1018 by blending the first image 1015 and the second image 1016.
  • an electronic device may include at least one processor and at least one camera.
  • the at least one processor may acquire a plurality of images through at least one camera.
  • the at least one processor may generate a first image using the plurality of images.
  • the at least one processor may identify a text area within the first image based on identifying that the plurality of images are related to text.
  • the at least one processor may generate a second image in which enhancement processing is performed on a character area in the first image.
  • the at least one processor may be configured to generate an output image by blending a text area in the first image and a text area in the second image based on text attributes for the text area in the first image.
  • the closer the location of the text area is to the position of the center of the obtained first image the closer the location of the text area is to the center of the obtained first image.
  • the ratio of the text area within can be set high.
  • the electronic device may additionally include an optical character recognition (OCR) module.
  • OCR optical character recognition
  • the at least one processor may additionally identify characters within the character area through the optical character recognition (OCR) module.
  • the at least one processor may additionally identify a match probability, which is the probability that the character is a character identified through an optical character recognition (OCR) module.
  • OCR optical character recognition
  • the larger the size of the individual characters in the text area the higher the ratio of the text area in the second image can be set. there is.
  • the ratio of the text area in the second image is. It can be set high.
  • the thicker the text area in the text area the higher the ratio of the text area in the second image can be set. there is.
  • the at least one processor is configured to blend the text area in the first image and the text area in the second image, so that the less blurred the character in the text area is, the more blurred the text area in the second image is.
  • the ratio of the text area can be set high.
  • the at least one processor selects a first partial region in the first acquired image and a second partial region in the second acquired image through a neural network to increase the resolution of the image. Can be merged.
  • the at least one processor may identify a text area in which the probability of containing text in the first image is greater than a reference value. According to one embodiment, the at least one processor may identify a character area within the text area.
  • the electronic device may additionally include a neural processing unit (NPU) for generating a second image.
  • the NPU may use a learned neural network to generate a second image in which enhancement processing has been performed on the text area.
  • the at least one processor may identify a plurality of characters within a text area in the first image.
  • the character area within the first image may include individual characters among a plurality of characters.
  • a method performed by an electronic device may include an operation of acquiring a plurality of images through at least one camera.
  • the method may include generating a first image using the plurality of images.
  • the method may include identifying a text region within the first image based on identifying that the plurality of images are associated with text.
  • the method may include generating a second image on which enhancement processing has been performed on the text area.
  • the method may include generating an output image by blending a text area in the first image and a text area in the second image based on text attributes for the text area in the first image.
  • the closer the location of the text area is to the position of the center of the obtained first image the closer the location of the text area is to the location of the center of the obtained first image. It may include an operation of setting the ratio of the character area in the second image to be high.
  • the method may additionally include an operation of identifying characters within the character area through an optical character recognition (OCR) module.
  • OCR optical character recognition
  • the method may additionally include an operation of identifying a matching probability, which is the probability that the character is a character identified through an optical character recognition (OCR) module.
  • OCR optical character recognition
  • the larger the size of the individual characters in the text area the higher the ratio of the text area in the second image will be set. You can.
  • the lower the ISO (international standards organization) value in the text area the lower the ratio of the text area in the second image. This can be set high.
  • the operation of blending the text area in the first image and the text area in the second image includes setting the ratio of the text area in the second image to be higher as the thickness of the text in the text area becomes thicker.
  • the operation of acquiring the first image may include merging the first partial area in the first frame and the second partial area in the second frame using a neural network to increase the resolution of the image. there is.
  • the operation of identifying the text area may include identifying a text area in which the probability of containing text in the first image is greater than or equal to a reference value.
  • the operation of identifying the text area may include identifying the text area within the text area.
  • the operation of generating a second image may include an operation of a neural processing unit (NPU) generating a second image in which enhancement processing has been performed on a character area using a learned neural network.
  • NPU neural processing unit
  • the method may include identifying a plurality of characters within a text area within the first image.
  • the text area within the first image may include individual characters among a plurality of characters.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, electronic devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
  • One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”.
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

전자 장치(electronic device)는, 적어도 하나의 프로세서, 및 적어도 하나의 카메라를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 적어도 하나의 카메라를 통해 복수의 이미지들을 획득할 수 있다. 상기 적어도 하나의 프로세서는, 상기 복수의 이미지들을 이용하여 제1 이미지를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 복수의 이미지들이 텍스트와 관련됨을 식별하는 것에 기반하여, 상기 제1 이미지 내의 문자 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 내의 문자 영역에 강화 처리가 수행된 제2 이미지를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 내의 문자 영역에 대한 텍스트 속성에 기반하여 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 함으로써 출력 이미지를 생성하도록 구성될 수 있다.

Description

텍스트를 포함하는 이미지를 처리하기 위한 전자 장치 및 방법
아래의 설명들은, 텍스트를 포함하는 이미지를 처리하기 위한 전자 장치 및 방법에 관한 것이다.
카메라를 포함하는 전자 장치는, 카메라를 통해 획득된 이미지를 신경망을 통해 개선할 수 있다. 상기 전자 장치는, 상기 카메라를 통해 획득된 복수의 이미지들의 각 부분 영역을 합성하여 화질이 개선된 이미지를 획득할 수 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련된 종래 기술(prior art)로서 적용될 수 있는지에 대하여 어떠한 주장이나 결정이 제기되지 않는다.
전자 장치(electronic device)는, 적어도 하나의 프로세서, 및 적어도 하나의 카메라를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 적어도 하나의 카메라를 통해 복수의 이미지들을 획득할 수 있다. 상기 적어도 하나의 프로세서는, 상기 복수의 이미지들을 이용하여 제1 이미지를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 복수의 이미지들이 텍스트와 관련됨을 식별하는 것에 기반하여, 상기 제1 이미지 내의 문자 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 내의 문자 영역에 강화 처리가 수행된 제2 이미지를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 내의 문자 영역에 대한 텍스트 속성에 기반하여 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 함으로써 출력 이미지를 생성하도록 구성될 수 있다.
전자 장치(electronic device)에 의해 수행되는 방법은, 적어도 하나의 카메라를 통해 복수의 이미지들을 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 복수의 이미지들을 이용하여 제1 이미지를 생성하는 동작을 포함할 수 있다. 상기 방법은 상기 복수의 이미지들이 텍스트와 관련됨을 식별하는 것에 기반하여, 상기 제1 이미지 내의 문자 영역을 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 문자 영역에 강화 처리가 수행된 제2 이미지를 생성하는 동작을 포함할 수 있다. 상기 방법은 상기 제1 이미지 내의 문자 영역에 대한 텍스트 속성에 기반하여 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 함으로써 출력 이미지를 생성하는 동작을 포함할 수 있다.
도 1은 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 실시예들에 따른, 출력 이미지 생성의 예를 도시한다.
도 3은 실시예들에 따른, 출력 이미지 생성 동작의 흐름을 도시한다.
도 4는 실시예들에 따른, 제2 이미지 생성 동작의 흐름을 도시한다.
도 5는 실시예들에 따른, 블렌딩 가중치에 기반하여 수행되는 출력 이미지 생성 동작의 흐름을 도시한다.
도 6은 실시예들에 따른, 제1 이미지 생성의 예를 도시한다.
도 7은 실시예들에 따른, 제2 이미지 생성의 예를 도시한다.
도 8은 실시예들에 따른, 블렌딩 가중치 식별의 예를 도시한다.
도 9는 실시예들에 따른, 출력 이미지를 생성하는 동작들을 도시한다.
도 10은 실시예들에 따른, 텍스트 영역 식별에 기반하여 출력 이미지를 생성하는 동작들을 도시한다.
본 개시에서 사용되는 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시예들을 배제하도록 해석될 수 없다.
이하에서 설명되는 본 개시의 다양한 실시예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 개시의 다양한 실시예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 개시의 다양한 실시예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
이하 설명에서 사용되는 결합(combination)을 지칭하는 용어(예: 결합, 병합(merging), 합성(montaging)), 텍스트 포함 영역(area including text)을 지칭하는 용어(예: 텍스트 포함 영역, 텍스트 영역(text area), 영역(area)), 텍스트 영역 내의 문자 영역(word area within text area)을 지칭하는 용어(예: 텍스트 영역 내의 문자 영역, 문자 영역(word area)), 정해진 값(specified value)을 지칭하는 용어(기준 값(reference value), 임계 값(threshold value)) 등은 설명의 편의를 위해 예시된 것이다. 따라서, 본 개시가 후술되는 용어들에 한정되는 것은 아니며, 동등한 기술적 의미를 가지는 다른 용어가 사용될 수 있다. 또한, 이하 사용되는 '...부', '...기', '...물', '...체' 등의 용어는 적어도 하나의 형상 구조를 의미하거나 또는 기능을 처리하는 단위를 의미할 수 있다.
또한, 본 개시에서, 특정 조건의 만족(satisfied), 충족(fulfilled) 여부를 판단하기 위해, 초과 또는 미만의 표현이 사용될 수 있으나, 이는 일 예를 표현하기 위한 기재일 뿐 이상 또는 이하의 기재를 배제하는 것이 아니다. '이상'으로 기재된 조건은 '초과', '이하'로 기재된 조건은 '미만', '이상 및 미만'으로 기재된 조건은 '초과 및 이하'로 대체될 수 있다. 또한, 이하, 'A' 내지 'B'는 A부터(A 포함) B까지의(B 포함) 요소들 중 적어도 하나를 의미한다. 이하, 'C' 및/또는 'D'는 'C' 또는 'D' 중 적어도 하나, 즉, {'C', 'D', 'C'와 'D'}를 포함하는 것을 의미한다.
본 개시의 실시예들을 설명하기에 앞서, 실시예들에 따른 전자 장치의 동작들을 설명하기 위해 필요한 용어들이 정의된다. 획득 이미지는, 카메라에 의해 획득된 프레임을 의미한다. 제1 이미지는, 카메라에 의해 획득된 복수의 획득 이미지에 기반하여 생성된 프레임을 의미한다. 제2 이미지는, 제1 이미지 내의 문자 영역에 대해 강화 처리를 한, 프레임을 의미한다. 출력 이미지는, 디스플레이에 출력하는 이미지를 의미한다. 텍스트 영역은, 이미지 내에서 텍스트가 포함될 확률이 높은 영역을 의미한다. 문자 영역은, 텍스트 영역에 포함되고, 지정된 기준에 의해 문자를 포함하는 이미지의 부분을 의미한다.
도 1은 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소들이 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))을 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들면, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))과 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들면, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들면, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들면, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서들을 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, Wi-Fi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들면, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들면, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들면, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO(full dimensional MIMO)), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들면, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 실시예들에 따른, 출력 이미지 생성의 예를 도시한다.
도 2를 참조하면, 획득 이미지(201)는 카메라(180)를 통해 획득된 복수의 이미지들 중 하나일 수 있다. 제1 이미지(203)는 복수의 이미지들에 기반하여 생성될 수 있다. 제2 이미지(205)는 제1 이미지 내의 문자 영역에 강화 처리를 수행하여 생성될 수 있다. 출력 이미지(207)는 상기 제1 이미지 내의 문자 영역 및 제2 이미지 내의 문자 영역을 블렌딩하여 생성될 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 카메라(180)를 통해 복수의 이미지들을 획득할 수 있다. 상기 복수의 이미지들 중 하나인 획득 이미지(201)는 하나 이상의 텍스트들을 포함할 수 있다. 예를 들면, 획득 이미지(201)는 칠판에 쓰여진 공지사항에 대한 텍스트를 포함할 수 있다. 예를 들면, 획득 이미지(201)는 표지판에 포함된 주의사항에 대한 텍스트를 포함할 수 있다. 예를 들면, 획득 이미지(201)는 벽에 붙여진 Wi-Fi(wireless fidelity) 비밀번호에 대한 텍스트를 포함할 수 있다. 텍스트를 포함하는 이미지를 촬영하는 사용자의 의도는, 텍스트를 기록하기 위한 것일 수 있다. 상기 획득 이미지(201) 내에 포함된 텍스트는 정확도와 선명도가 떨어질 수 있다. 예를 들면, 초점이 흔들려 텍스트가 흐릿하게 보일 수 있다. 예를 들면, 반사된 빛에 의해 텍스트의 일부분이 식별되기 어려울 수 있다.
일 실시예에 따르면, 제1 이미지(203)는 제1 이미지 생성을 위한 신경망을 통해, 복수의 이미지들 중 선명도가 높은 부분들을 합성하여 생성될 수 있다. 예를 들면, 복수의 이미지들은 제1 획득 이미지, 제2 획득 이미지, 및 제3 획득 이미지를 포함할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지 생성을 위한 신경망을 통해, 제1 획득 이미지 내에서 선명도가 높은 제1 부분 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지 생성을 위한 신경망을 통해, 제2 획득 이미지 내에서 선명도가 높은 제2 부분 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지 생성을 위한 신경망을 통해, 제3 획득 이미지 내에서 선명도가 높은 제3 부분 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지 생성을 위한 신경망을 통해, 제1 부분 영역, 제2 부분 영역 및 제3 부분 영역을 합성함으로써 제1 이미지(203)를 생성할 수 있다. 상기 제1 획득 이미지, 제2 획득 이미지, 제3 획득 이미지는 노출 값을 다르게 하여 획득될 수 있다. 상기 제1 획득 이미지의 노출 값, 상기 제2 획득 이미지의 노출 값, 및 상기 제3 획득 이미지의 노출 값은 서로 다를 수 있다. 텍스트를 포함한 영역과 무관하게 획득 이미지(201)의 선명도에 비해 전체적으로 상기 제1 이미지(203)의 선명도가 개선될 수 있다.
일 실시예에 따르면, 제2 이미지(205)는, 제2 이미지 생성을 위한 신경망을 통해, 제1 이미지(203)에 기반하여 생성될 수 있다. 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 제1 이미지(203) 내에서 텍스트가 포함될 확률이 기준 값 이상인 텍스트 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 상기 제1 이미지(203) 내의 텍스트 영역 내에서 복수의 문자들을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 상기 제1 이미지 내의 텍스트 영역 내에 포함된 문자 영역을 식별할 수 있다. 상기 문자 영역은 지정된 기준에 의해 포함되는 문자의 수가 정해질 수 있다. 예를 들면, 상기 문자 영역은 텍스트 영역(예: '금연구역') 내에 포함된 개별 문자(예: '금','연','구','역')의 크기가 지정된 임계 값 이상인 경우, 개별 문자만을 포함할 수 있다. 상기 문자 영역은, 텍스트 영역(예: '금연구역') 내에 포함된 문자의 크기(예: '금','연','구','역')가 지정된 임계 값 미만인 경우, 복수의 문자를 포함할 수 있다. 예를 들면, 상기 문자 영역은 텍스트 영역(예: '금연구역') 내에 포함된 문자 간격이 지정된 임계 값 이상인 경우, 개별 문자만을 포함할 수 있다. 상기 문자 영역은, 텍스트 영역 내에 포함된 문자 간격이 지정된 임계 값 미만인 경우, 복수의 문자를 포함할 수 있다. 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 상기 문자 영역에 강화 처리를 수행할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제2 이미지 생성을 위한 신경망을 통해, 상기 문자 영역에 강화 처리가 수행된 제2 이미지를 생성할 수 있다. 상기 제2 이미지 생성을 위한 신경망은, NPU(neural processing unit)일 수 있다. 상기 NPU는 학습이 완료된 상태일 수 있다.
일 실시예에 따르면, 출력 이미지(207)는, 제1 이미지(203) 및 제2 이미지(205)를 블렌딩 함으로써 생성될 수 있다. 상기 출력 이미지(207)는 블렌딩 가중치에 기반하여, 상기 제1 이미지(203) 내의 문자 영역 및 상기 제2 이미지(205) 내의 문자 영역을 블렌딩함으로써 생성될 수 있다. 상기 블렌딩 가중치는 제1 이미지(203) 내의 문자 영역에 대한 제2 이미지(205) 내의 문자 영역의 비율을 의미할 수 있다. 상기 제1 이미지(203)의 글자에 대한 선명도는 제2 이미지(205)의 글자에 대한 선명도에 비해 낮을 수 있다. 상기 선명도는 배경과 문자의 가장자리가 대비되는 정도를 의미할 수 있다. 선명도가 높을수록 시각성(visuality)이 높아질 수 있다. 상기 제1 이미지(203)의 문자에 대한 정확도는 제2 이미지(205)의 문자에 대한 정확도에 비해 높을 수 있다. 상기 정확도는 사용자에게 다른 문자로 인식되지 않는 정도를 의미할 수 있다. 상기 정확도가 높을수록 문자의 오타가 적을 수 있다. 그러므로, 상기 적어도 하나의 프로세서(120)는, 정확도가 높은 제1 이미지(203)와 선명도가 높은 제2 이미지(205)를 블렌딩 함으로써 제1 이미지(203) 보다 선명도가 높고, 제2 이미지(205)보다 정확도가 높은 출력 이미지를 생성할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 텍스트 영역이 식별되지 않는 경우, 제2 이미지(205)를 생성할 수 없다. 따라서, 적어도 하나의 프로세서(120)는, 제1 이미지(203)를 출력 이미지(207)로 출력할 수 있다. 상기 적어도 하나의 프로세서(120)는, 텍스트 영역이 식별되는 경우, 제1 이미지(203) 및 상기 제1 이미지(203)에 기반하여 생성된 제2 이미지(205)를 블렌딩함으로써 출력 이미지(207)를 생성할 수 있다. 상기 블렌딩 가중치는 블렌딩 가중치 식별 모듈에 의해 획득될 수 있다. 상기 블렌딩 가중치 식별 모듈은 텍스트 속성에 기반하여 블렌딩 가중치를 식별할 수 있다. 상기 텍스트 속성은, 문자 영역에 포함된 문자의 크기, OCR(optical character recognition)모듈에 의해 식별되는 정합 가능성, 제1 이미지(203)의 중심으로부터 문자 영역의 중심까지의 거리, ISO 값, 센서 게인, 흐림 정도, 문자의 색상 및/또는 문자의 두께를 포함할 수 있다.
일 실시예에 따르면, 문자 영역 내의 개별 문자의 크기가 클수록, 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 문자 영역의 크기가 클수록 아티팩트(artifact)가 발생할 확률이 낮아질 수 있기 때문이다. 상기 아티팩트는 제1 이미지(203) 내의 노이즈에 의해 발생하는, 문자에 대한 결함일 수 있다. 글자의 크기가 클수록, 아티팩트가 발생할 확률이 줄어들 수 있다. 따라서, 글자의 크기가 클수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역의 비율에 비해 높게 설정할 수 있다.
일 실시예에 따르면, OCR(optical character recognition) 모듈을 통해 획득되는 정합 가능성이 클수록, 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 상기 정합 가능성은, 문자 영역 내의 문자가 OCR(optical character recognition) 모듈을 통해 식별되는 문자일 확률일 수 있다. 예를 들면, 상기 제1 이미지(203) 내의 영문 글자 중 마지막 낱말이 하나의 문자 영역을 구성할 수 있다. 상기 OCR(optical character recognition) 모듈은, 상기 문자 영역의 문자를 'entranccs'로 식별할 수 있다. 상기 OCR(optical character recognition) 모듈은 상기 문자 영역 내의 문자가 'entranccs'일 확률인 정합 가능성을 식별할 수 있다. 상기 정합 가능성이 높을수록, 아티팩트가 발생할 확률이 낮아질 수 있기 때문이다. 따라서, 정합 가능성이 높을수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역의 비율에 비해 높게 설정할 수 있다.
일 실시예에 따르면, 제1 이미지(203)의 중심으로부터 문자 영역의 중심까지의 거리가 가까울수록 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 제1 이미지(203)의 중심으로부터 문자 영역의 중심까지의 거리가 가까울수록 아티팩트(artifact)가 발생할 확률이 낮아질 수 있기 때문이다. 제1 이미지(203)의 중심으로부터 문자 영역의 중심까지의 거리가 가까울수록 이미지가 덜 블러(blur)하기 때문이다. 상기 적어도 하나의 프로세서(120)는, 이미지의 바깥쪽에 가까운 부분일수록 이미지의 중심부에 비해 더 블러(blur)한 경우가 많다. 그러므로, 이미지의 중심부에 가까운 문자 영역일수록, 문자의 정확도가 올라갈 수 있다. 따라서, 제1 이미지(203)의 중심으로부터 문자 영역의 중심까지의 거리가 가까울수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역의 비율에 비해 높게 설정할 수 있다.
일 실시예에 따르면, 문자 영역의 ISO(international standards organization) 값이 낮을수록, 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다 문자 영역의 ISO(international standards organization) 값이 낮을수록, 상기 문자 영역 내에 노이즈가 발생할 확률이 낮아질 수 있기 때문이다. 그리고, 상기 문자 영역 내에 노이즈가 발생할 확률이 낮아질수록, 아티팩트(artifact)가 발생할 확률이 낮아질 수 있기 때문이다. 그러므로, 문자 영역의 ISO(international standards organization) 값이 낮을수록, 아티팩트(artifact) 발생 확률이 낮아져, 문자의 정확도가 올라갈 수 있다. 따라서, 문자 영역의 ISO(international standards organization) 값이 낮을수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역의 비율에 비해 높게 설정할 수 있다.
일 실시예에 따르면, 문자 영역에 포함된 문자의 굵기가 굵을수록, 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 문자 영역에 포함된 문자의 굵기가 굵을수록, 상기 문자 영역 내에 노이즈가 발생할 확률이 낮아질 수 있기 때문이다. 그리고, 상기 문자 영역 내에 노이즈가 발생할 확률이 낮아질수록, 아티팩트(artifact)가 발생할 확률이 낮아질 수 있기 때문이다. 그러므로, 문자 영역에 포함된 문자의 굵기가 굵을수록, 아티팩트(artifact) 발생 확률이 낮아져, 문자의 정확도가 올라갈 수 있다. 따라서, 문자 영역에 포함된 문자의 굵기가 굵을수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역의 비율에 비해 높게 설정할 수 있다.
일 실시예에 따르면, 문자 영역에 포함된 문자의 블러 정도가 낮을수록, 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 상기 블러 정도는 블러 추정 모듈에 의해 식별될 수 있다. 문자 영역에 포함된 문자의 블러 정도가 낮을수록, 상기 문자 영역 내에 노이즈가 발생할 확률이 낮아질 수 있기 때문이다. 그리고, 상기 문자 영역 내에 노이즈가 발생할 확률이 낮아질수록, 아티팩트(artifact)가 발생할 확률이 낮아질 수 있기 때문이다. 그러므로, 문자 영역에 포함된 문자의 블러 정도가 낮을수록, 아티팩트(artifact) 발생 확률이 낮아진다. 아티팩트 발생 확률이 낮아지면, 문자의 정확도가 높아질 수 있다. 따라서, 문자의 블러 정도가 낮을수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역의 비율에 비해 높게 설정할 수 있다.
본 개시는, 이미지 생성을 위한 신경망을 통해, 제1 이미지 또는 제2 이미지를 생성할 수 있다. 상기 신경망(neural network)은, 시냅스들의 결합을 통해 네트워크를 형성하는 노드들을 훈련하는 것에 기반하여 상기 시냅스들의 결합 세기를 변경함으로써, 문제를 해결하는 능력을 가지는 모델을 의미할 수 있다. 상기 신경망은, 지도 학습(supervised learning) 또는 비지도 학습(unsupervised learning)을 통해 훈련될 수 있다. 예를 들어, 상기 지도 학습은, 레이블(또는 정답)을 제공함으로써 수행되는 학습을 의미할 수 있다. 상기 지도 학습은, 상기 레이블을 요구하기 때문에, 상기 신경망으로부터 도출되는 출력 데이터의 신뢰도를 평가하기 위해 상기 비지도 학습에 비하여 적은 자원들을 요구할 수 있다. 반면, 상기 지도 학습은, 상기 레이블을 요구하기 때문에, 상기 레이블을 획득하기 위한 자원들(예: 시간 자원들)을 요구할 수 있다. 다른 예를 들어, 상기 비지도 학습은, 레이블 없이 수행되는 학습을 의미할 수 있다. 상기 비지도 학습은, 상기 레이블을 요구하지 않기 때문에, 상기 레이블을 획득하기 위한 자원들을 요구하지 않을 수 있다. 반면, 상기 비지도 학습은, 상기 레이블을 요구하지 않기 때문에, 상기 신경망으로부터 도출되는 출력 데이터의 신뢰도를 평가하기 위해 상기 지도 학습에 비하여 많은 자원들을 요구할 수 있다.
일 실시예에서 신경망은 비지도 학습을 통해 트레이닝 될 수 있다. 일 실시예에서 신경망은 복수의 레이어들을 포함할 수 있다. 예를 들면 신경망은, 입력 레이어, 하나 이상의 히든 레이어들 및 출력 레이어를 포함할 수 있다. 입력 데이터에 기반하여 입력 레이어 내 노드들 각각에서 야기된 신호들은 입력 레이어로부터 하나 이상의 히든 레이어들에게 송신될 수 있다. 출력 레이어는 하나 이상의 히든 레이어들로부터 수신된 하나 이상의 신호들에 기반하여, 신경망의 출력 데이터를 획득할 수 있다.
한편, 입력 레이어, 하나 이상의 히든 레이어들, 및 출력 레이어는 복수의 노드들을 포함할 수 있다. 하나 이상의 히든 레이어들은 CNN(convolution neural network)에서의 컨벌루젼 필터(convolution filter) 또는 완전 연결 레이어(fully connected layer)이거나, 특정(specified) 기능이나 특징을 기준으로 연결된 다양한 종류들의 필터 또는 레이어일 수 있다. 일 실시예에서, 하나 이상의 히든 레이어들은 출력 값이 현재 시간의 히든 레이어에 재차 입력되는 RNN(recurrent neural network)에 기반된 레이어일 수 있다. 일 실시예에서 하나 이상의 히든 레이어들은 복수로 구성될 수 있으며, 딥 신경망 (deep neural network)을 형성할 수 있다. 예를 들면, 딥 신경망의 적어도 일부를 형성하는 하나 이상의 히든 레이어들을 포함하는 신경망을 트레이닝하는 것은, 딥 러닝(deep learning)으로 참조될 수 있다.
하나 이상의 히든 레이어들 내에 포함되는 노드는, 히든 노드로 참조될 수 있다.
입력 레이어 및 하나 이상의 히든 레이어들 내에 포함된 노드들은 연결 가중치를 가지는 연결선을 통해 서로 연결될 수 있고, 하나 이상의 히든 레이어들 및 출력 레이어 내에 포함된 노드들도 연결 가중 치를 가지는 연결선을 통해 서로 연결될 수 있다. 신경망을 튜닝 및/또는 트레이닝하는 것은, 신경망 내에 포함된 레이어들(예: 입력 레이어, 하나 이상의 히든 레이어들 및 출력 레이어) 각각 내에 포함된 노드들 사이의 연결 가중치를 변경하는 것을 의미할 수 있다. 예를 들면, 신경망의 튜닝 또는 트레이닝은, 비지도 학습(unsupervised learning)에 기반하여 수행될 수 있다.
일 실시예에 따르면, 본 개시의 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: CD-ROM(compact disc read only memory))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
도 3은 실시예들에 따른, 출력 이미지 생성 동작의 흐름을 도시한다.
도 3을 참조하면, 동작(301)에서, 상기 적어도 하나의 프로세서(120)는, 적어도 하나의 카메라(180)를 통해 복수의 이미지들을 획득할 수 있다. 일 실시예에 따르면, 상기 적어도 하나의 프로세서(120)는, 카메라(180)를 통해 복수의 이미지들을 획득할 수 있다. 상기 복수의 이미지들 중 하나인 획득 이미지(예: 도 2의 획득 이미지(201))는 하나 이상의 텍스트들을 포함할 수 있다. 예를 들면, 획득 이미지(201)는 칠판에 쓰여진 공지사항에 대한 텍스트를 포함할 수 있다. 예를 들면, 획득 이미지(201)는 표지판에 포함된 주의사항에 대한 텍스트를 포함할 수 있다. 예를 들면, 획득 이미지(201)는 벽에 붙여진 Wi-Fi(wireless fidelity) 비밀번호에 대한 텍스트를 포함할 수 있다. 텍스트를 포함하는 이미지를 촬영하는 사용자의 의도는, 텍스트를 기록하기 위한 것일 수 있다. 상기 획득 이미지(201) 내에 포함된 텍스트는 정확도와 선명도가 떨어질 수 있다. 예를 들면, 초점이 흔들려 텍스트가 흐릿하게 보일 수 있다. 예를 들면, 반사된 빛에 의해 텍스트의 일부분이 식별되기 어려울 수 있다.
동작(303)에서, 상기 적어도 하나의 프로세서(120)는, 복수의 이미지들을 통해 제1 이미지를 생성할 수 있다. 일 실시예에 따르면, 제1 이미지(예: 도 2의 제1 이미지(203))는 제1 이미지 생성을 위한 신경망을 통해, 복수의 이미지들 중 선명도가 높은 부분들을 합성하여 생성될 수 있다. 예를 들면, 복수의 이미지들은 제1 획득 이미지, 제2 획득 이미지, 및 제3 획득 이미지를 포함할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지 생성을 위한 신경망을 통해, 제1 획득 이미지 내에서 선명도가 높은 제1 부분 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지 생성을 위한 신경망을 통해, 제2 획득 이미지 내에서 선명도가 높은 제2 부분 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지 생성을 위한 신경망을 통해, 제3 획득 이미지 내에서 선명도가 높은 제3 부분 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지 생성을 위한 신경망을 통해, 제1 부분 영역, 제2 부분 영역 및 제3 부분 영역을 합성함으로써 제1 이미지(203)를 생성할 수 있다. 상기 제1 획득 이미지, 제2 획득 이미지, 및 제3 획득 이미지는 노출 값을 다르게 하여 획득될 수 있다. 상기 제1 획득 이미지의 노출 값, 상기 제2 획득 이미지의 노출 값, 및 상기 제3 획득 이미지의 노출 값은 서로 다를 수 있다. 텍스트를 포함한 영역과 무관하게 획득 이미지(201)의 선명도에 비해 전체적으로 상기 제1 이미지(203)의 선명도가 개선될 수 있다.
동작(305)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지(203)에 기반하여 제2 이미지(예: 도 2의 제2 이미지(205))를 생성할 수 있다. 이하, 제2 이미지(205)를 생성하는 동작의 흐름은 도 4에서 도시한다.
동작(307)에서, 상기 적어도 하나의 프로세서(120)는, 문자 영역 내의 텍스트 속성을 식별할 수 있다. 텍스트 속성이란, 문자 영역 내에 포함된 텍스트의 크기, 굵기, 문자 영역의 정합 가능성과 같은 문자 영역의 특징을 의미할 수 있다. 이하, 문자 영역 내의 텍스트 속성을 식별하는 동작의 흐름은 도 5에서 도시한다.
동작(309)에서, 상기 적어도 하나의 프로세서(120)는, 텍스트 속성에 기반하여, 제1 이미지(203) 내의 문자 영역 및 제2 이미지(205) 내의 문자 영역의 블렌딩을 통해 출력 이미지(예: 도 2의 출력 이미지(207))를 생성할 수 있다. 일 실시예에 따르면, 출력 이미지(207)는, 제1 이미지(203) 및 제2 이미지(205)를 블렌딩함으로써 생성될 수 있다. 상기 출력 이미지(207)는 블렌딩 가중치에 기반하여, 상기 제1 이미지(203) 내의 문자 영역 및 상기 제2 이미지(205) 내의 문자 영역을 블렌딩함으로써 생성될 수 있다. 상기 블렌딩 가중치는 제1 이미지(203) 내의 문자 영역에 대한 제2 이미지(205) 내의 문자 영역의 비율을 의미할 수 있다. 상기 제1 이미지(203)의 글자에 대한 선명도는 제2 이미지(205)의 글자에 대한 선명도에 비해 낮을 수 있다. 상기 선명도는 배경과 문자의 가장자리가 대비되는 정도를 의미할 수 있다. 선명도가 높을수록 시각성(visuality)이 높아질 수 있다. 상기 제1 이미지(203)의 문자에 대한 정확도는 제2 이미지(205)의 문자에 대한 정확도에 비해 높을 수 있다. 상기 정확도는 사용자에게 다른 문자로 인식되지 않는 정도를 의미할 수 있다. 상기 정확도가 높을수록 문자의 오타가 적을 수 있다. 그러므로, 상기 적어도 하나의 프로세서(120)는, 정확도가 높은 제1 이미지(203)와 선명도가 높은 제2 이미지(205)를 블렌딩함으로써, 제1 이미지(203)보다 선명도가 높고, 제2 이미지(205)보다 정확도가 높은 출력 이미지(207)를 생성할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 텍스트 영역이 식별되지 않는 경우, 제2 이미지(205)를 생성할 수 없다. 따라서, 적어도 하나의 프로세서(120)는, 제1 이미지(203)를 출력 이미지(207)로 출력할 수 있다. 상기 적어도 하나의 프로세서(120)는, 텍스트 영역이 식별되는 경우, 제1 이미지(203) 및 상기 제1 이미지(203)에 기반하여 생성된 제2 이미지(205)를 블렌딩함으로써 출력 이미지(207)를 생성할 수 있다.
도 4는 실시예들에 따른, 제2 이미지 생성 동작의 흐름을 도시한다.
도 4를 참조하면, 동작(401)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지를 획득할 수 있다. 카메라(180)에 의해 획득된 복수의 획득 이미지에 기반하여 생성된 프레임을 의미한다. 상기 제1 이미지 생성에 대해서는, 도 3의 동작(301) 및 동작(303)이 참조될 수 있다.
동작(403)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지 내에서 텍스트가 포함될 확률이 기준 값 이상인 텍스트 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 제1 이미지(예: 도 2의 제1 이미지(201)) 내에서 텍스트가 포함될 확률이 기준 값 이상인 텍스트 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 상기 제1 이미지(201) 내의 텍스트 영역 내에서 복수의 문자들을 식별할 수 있다.
동작(405)에서, 상기 적어도 하나의 프로세서(120)는, 텍스트 영역 내의 문자를 포함한 하나 이상의 문자 영역들로 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 상기 제1 이미지 내의 텍스트 영역 내에 포함된 문자 영역을 식별할 수 있다. 상기 문자 영역은 지정된 기준에 의해 포함되는 문자의 수가 정해질 수 있다. 예를 들면, 상기 문자 영역은 텍스트 영역(예: '금연구역') 내에 포함된 개별 문자(예: '금','연','구','역')의 크기가 지정된 임계 값 이상인 경우, 개별 문자만을 포함할 수 있다. 상기 문자 영역은, 텍스트 영역 내에 포함된 문자의 크기가 지정된 임계 값 미만인 경우, 복수의 문자를 포함할 수 있다. 예를 들면, 상기 문자 영역은 텍스트 영역(예: '금연구역') 내에 포함된 문자 간격이 지정된 임계 값 이상인 경우, 개별 문자만을 포함할 수 있다. 상기 문자 영역은, 텍스트 영역 내에 포함된 문자 간격이 지정된 임계 값 미만인 경우, 복수의 문자를 포함할 수 있다.
동작(407)에서, 적어도 하나의 프로세서는, 문자 영역에 강화 처리를 수행할 수 있다. 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 상기 문자 영역에 강화 처리를 수행할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제2 이미지 생성을 위한 신경망을 통해, 상기 문자 영역에 강화 처리가 수행된 제2 이미지(205)를 생성할 수 있다. 상기 제2 이미지 생성을 위한 신경망은, NPU(neural processing unit)일 수 있다. 상기 NPU는 학습이 완료된 상태일 수 있다.
동작(409)에서, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205)를 생성할 수 있다. 상기 적어도 하나의 프로세서(120)는, 제1 이미지(203) 내의 문자 영역에 강화 처리가 수행된 제2 이미지(205)를 생성할 수 있다.
도 5는 실시예들에 따른, 블렌딩 가중치에 기반하여 수행되는 출력 이미지 생성 동작의 흐름을 도시한다.
도 5를 참조하면, 동작(501)에서, 상기 적어도 하나의 프로세서(120)는, 텍스트 속성에 기반하여 블렌딩 가중치를 식별할 수 있다. 텍스트 속성이란, 문자 영역 내에 포함된 텍스트의 크기, 굵기, 문자 영역의 정합 가능성과 같은 문자 영역의 특징을 의미할 수 있다. 상기 블렌딩 가중치는 제1 이미지(예: 도 2의 제1 이미지(203)) 내의 문자 영역에 대한 제2 이미지(예: 도 2의 제2 이미지(205)) 내의 문자 영역의 비율을 의미할 수 있다. 상기 적어도 하나의 프로세서(120)는, 텍스트 영역이 식별되는 경우, 제1 이미지(203)와, 제1 이미지(203)에 기반하여 생성된 제2 이미지(205)를 블렌딩하여 출력 이미지(예: 도 2의 출력 이미지(207))를 생성할 수 있다. 상기 블렌딩 가중치는 블렌딩 가중치 식별 모듈에 의해 획득될 수 있다. 상기 블렌딩 가중치 식별 모듈은 텍스트 속성에 기반하여 블렌딩 가중치를 식별할 수 있다. 상기 텍스트 속성은, 문자 영역에 포함된 문자의 크기, OCR(optical character recognition)모듈에 의해 식별되는 정합 가능성, 제1 이미지(203)의 중심으로부터 문자 영역의 중심까지의 거리, ISO 값, 센서 게인, 흐림 정도, 문자의 색상 및/또는 문자의 두께를 포함할 수 있다. 일 실시예에 따르면, 문자 영역 내의 개별 문자의 크기가 클수록, 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 문자 영역의 크기가 클수록 아티팩트(artifact)가 발생할 확률이 낮아질 수 있기 때문이다. 상기 아티팩트는 제1 이미지(203) 내의 노이즈에 의해 발생하는, 문자에 대한 결함일 수 있다. 글자의 크기가 클수록, 아티팩트가 발생할 확률이 줄어들 수 있다. 따라서, 글자의 크기가 클수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역의 비율에 비해 높게 설정할 수 있다. 일 실시예에 따르면, OCR(optical character recognition) 모듈을 통해 획득되는 정합 가능성이 클수록, 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 상기 정합 가능성은, 문자 영역 내의 문자가 OCR(optical character recognition) 모듈을 통해 식별되는 문자일 확률일 수 있다. 예를 들면, 상기 제1 이미지(203) 내의 영문 글자 중 마지막 낱말이 하나의 문자 영역을 구성할 수 있다. 상기 OCR(optical character recognition) 모듈은, 상기 문자 영역의 문자를 'entranccs'로 파악할 수 있다. 상기 OCR(optical character recognition) 모듈은 상기 문자 영역 내의 문자가 'entranccs'일 확률인 정합 가능성을 파악할 수 있다. 상기 정합 가능성이 높을수록, 아티팩트가 발생할 확률이 낮아질 수 있기 때문이다. 따라서, 정합 가능성이 높을수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역의 비율에 비해 높게 설정할 수 있다. 일 실시예에 따르면, 제1 이미지(203)의 중심으로부터 문자 영역의 중심까지의 거리가 가까울수록 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 제1 이미지(203)의 중심으로부터 문자 영역의 중심까지의 거리가 가까울수록 아티팩트(artifact)가 발생할 확률이 낮아질 수 있기 때문이다. 제1 이미지(203)의 중심으로부터 문자 영역의 중심까지의 거리가 가까울수록 이미지가 덜 블러(blur) 하기 때문이다. 상기 적어도 하나의 프로세서(120)는, 이미지의 바깥쪽에 가까운 부분일수록 이미지의 중심부에 비해 더 블러(blur)한 경우가 많다. 그러므로, 이미지의 중심부에 가까운 문자 영역일수록, 문자의 정확도가 올라갈 수 있다. 따라서, 제1 이미지(203)의 중심으로부터 문자 영역의 중심까지의 거리가 가까울수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역의 비율에 비해 높게 설정할 수 있다. 일 실시예에 따르면, 문자 영역의 ISO(international standards organization) 값이 낮을수록, 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다 문자 영역의 ISO(international standards organization) 값이 낮을수록, 상기 문자 영역 내에 노이즈가 발생할 확률이 낮아질 수 있기 때문이다. 그리고, 상기 문자 영역 내에 노이즈가 발생할 확률이 낮아질수록, 아티팩트(artifact)가 발생할 확률이 낮아질 수 있기 때문이다. 그러므로, 문자 영역의 ISO(international standards organization) 값이 낮을수록, 아티팩트(artifact) 발생 확률이 낮아져, 문자의 정확도가 올라갈 수 있다. 따라서, 문자 영역의 ISO(international standards organization) 값이 낮을수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역의 비율에 비해 높게 설정할 수 있다. 일 실시예에 따르면, 문자 영역에 포함된 문자의 굵기가 굵을수록, 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 문자 영역에 포함된 문자의 굵기가 굵을수록, 상기 문자 영역 내에 노이즈가 발생할 확률이 낮아질 수 있기 때문이다. 그리고, 상기 문자 영역 내에 노이즈가 발생할 확률이 낮아질수록, 아티팩트(artifact)가 발생할 확률이 낮아질 수 있기 때문이다. 그러므로, 문자 영역에 포함된 문자의 굵기가 굵을수록, 아티팩트(artifact) 발생 확률이 낮아져, 문자의 정확도가 올라갈 수 있다. 따라서, 문자 영역에 포함된 문자의 굵기가 굵을수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역의 비율에 비해 높게 설정할 수 있다. 일 실시예에 따르면, 문자 영역에 포함된 문자의 블러 정도가 낮을수록, 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 상기 블러 정도는 블러 추정 모듈에 의해 식별될 수 있다. 문자 영역에 포함된 문자의 블러 정도가 낮을수록, 상기 문자 영역 내에 노이즈가 발생할 확률이 낮아질 수 있기 때문이다. 그리고, 상기 문자 영역 내에 노이즈가 발생할 확률이 낮아질수록, 아티팩트(artifact)가 발생할 확률이 낮아질 수 있기 때문이다. 그러므로, 문자 영역에 포함된 문자의 블러 정도가 낮을수록, 아티팩트(artifact) 발생 확률이 낮아질 수 있다. 아티팩트 발생 확률이 낮아지면, 문자의 정확도가 높아질 수 있다. 따라서, 문자의 블러 정도가 낮을수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역의 비율에 비해 높게 설정할 수 있다.
동작(503)에서, 상기 적어도 하나의 프로세서(120)는, 식별된 블렌딩 가중치에 기반하여, 제1 이미지(203) 내의 문자 영역 및 제2 이미지(205) 내의 문자 영역을 블렌딩 할 수 있다. 상기 텍스트 속성이란, 문자 영역 내에 포함된 텍스트의 크기, 굵기, 문자 영역의 정합 가능성과 같은 문자 영역의 특징을 의미할 수 있다. 상기 블렌딩 가중치는 제1 이미지(203) 내의 문자 영역에 대한 제2 이미지(205) 내의 문자 영역의 비율을 의미할 수 있다.
동작(505)에서, 상기 적어도 하나의 프로세서(120)는, 출력 이미지(207)를 생성할 수 있다. 일 실시예에 따르면, 출력 이미지(207)는, 제1 이미지(203) 및 제2 이미지(205)를 블렌딩함으로써 생성될 수 있다. 상기 출력 이미지(207)는 블렌딩 가중치에 기반하여, 상기 제1 이미지(203) 내의 문자 영역 및 상기 제2 이미지(205) 내의 문자 영역을 블렌딩함으로써 생성될 수 있다. 상기 블렌딩 가중치는 제1 이미지(203) 내의 문자 영역에 대한 제2 이미지(205) 내의 문자 영역의 비율을 의미할 수 있다. 상기 제1 이미지(203)의 글자에 대한 선명도는 제2 이미지(205)의 글자에 대한 선명도에 비해 낮을 수 있다. 상기 선명도는 배경과 문자의 가장자리가 대비되는 정도를 의미할 수 있다. 선명도가 높을수록 시각성(visuality)이 높아질 수 있다. 상기 제1 이미지(203)의 문자에 대한 정확도는 제2 이미지(205)의 문자에 대한 정확도에 비해 높을 수 있다. 상기 정확도는 사용자에게 다른 문자로 인식되지 않는 정도를 의미할 수 있다. 상기 정확도가 높을수록 문자의 오타가 적을 수 있다. 그러므로, 상기 적어도 하나의 프로세서(120)는 제1 이미지(203)와 제2 이미지(205)를 블렌딩함으로써 제1 이미지(203)보다 선명도가 높고 제2 이미지(205)보다 정확도가 높은 출력 이미지(207)를 생성할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 텍스트 영역이 식별되지 않는 경우, 제2 이미지(205)를 생성할 수 없다. 따라서 적어도 하나의 프로세서(120)는, 제1 이미지(203)를 출력 이미지(207)로 출력할 수 있다. 상기 적어도 하나의 프로세서(120)는, 텍스트 영역이 식별되는 경우, 제1 이미지(203)및 상기 제1 이미지(203)에 기반하여 생성된 제2 이미지(205)를 블렌딩함으로써 출력 이미지(207)를 생성할 수 있다.
도 6은 실시예들에 따른, 제1 이미지 생성의 예를 도시한다.
도 6을 참조하면, 제1 획득 이미지(601), 제2 획득 이미지(605), 제3 획득 이미지(609), 및 제4 획득 이미지(613)는 카메라(180)에 의해 획득된 이미지일 수 있다. 제1 획득 이미지 내의 부분 영역(603)은 제1 획득 이미지(601) 내에서 다른 획득 이미지들(예: 제2 획득 이미지(605), 제3 획득 이미지(609), 제4 획득 이미지(613))에 비해 선명도가 높은 부분일 수 있다. 제2 획득 이미지 내의 부분 영역(607)은 제2 획득 이미지(605) 내에서 다른 획득 이미지들(예: 제1 획득 이미지(601), 제3 획득 이미지(609), 제4 획득 이미지(613))에 비해 선명도가 높은 부분일 수 있다. 제3 획득 이미지 내의 부분 영역(611)은 제3 획득 이미지(609) 내에서 다른 획득 이미지들(예: 제1 획득 이미지(601), 제2 획득 이미지(605), 제4 획득 이미지(613))에 비해 선명도가 높은 부분일 수 있다. 제4 획득 이미지 내의 부분 영역(615)은 제4 획득 이미지(613) 내에서 다른 획득 이미지들(예: 제1 획득 이미지(601), 제2 획득 이미지(605), 제3 획득 이미지(609))에 비해 선명도가 높은 부분일 수 있다. 제1 이미지(617)는 카메라(180)를 통해 획득된 획득 이미지들(예: 제1 획득 이미지(601), 제2 획득 이미지(605), 제3 획득 이미지(609), 제4 획득 이미지(613))에 기반하여 생성될 수 있다. 예를 들면, 상기 적어도 하나의 프로세서(120)는, 제1 이미지 생성을 위한 신경망을 통해, 제1 획득 이미지 내의 부분 영역(603), 제2 획득 이미지 내의 부분 영역(607), 제3 획득 이미지 내의 부분 영역(611), 및 제4 획득 이미지 내의 부분 영역(615)을 합성하여 제1 이미지(617)를 생성할 수 있다. 상기 제1 이미지(617)는 상기 획득 이미지들에 비해 전체적인 선명도가 높을 수 있다. 다만, 제1 이미지 내에 포함된 문자에 대한 선명도가 배경 부분의 선명도에 비해 더 높지 않을 수 있다. 텍스트가 포함된 이미지를 촬영하는 경우, 사용자의 의도는, 문자에 담긴 정보를 기록하기 위한 것일 수 있다. 그러므로, 상기 적어도 하나의 프로세서(120)는, 문자를 사용자가 쉽게 식별하게 하기 위해, 문자에 강화 처리를 할 수 있다. 상기 강화 처리는 문자에 대한 선명도를 높이고 문자에 대한 정확도를 낮추는 과정일 수 있다. 이하, 제1 이미지에 기반하여 수행되는 제2 이미지 생성에 대해 기재된다.
도 7은 실시예들에 따른, 제2 이미지 생성의 예를 도시한다.
도 7을 참조하면, 제1 과정(701)에서, 상기 적어도 하나의 프로세서(120)는, 카메라(180)로부터 획득된 복수의 이미지들에 기반하여 제1 이미지(예: 도 2의 제1 이미지(203))를 생성할 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서(120)는, 카메라(180)를 통해 복수의 이미지들을 획득할 수 있다. 상기 복수의 이미지들 중 하나인 획득 이미지(예: 도 2의 획득 이미지(201))는 하나 이상의 텍스트들을 포함할 수 있다. 예를 들면, 획득 이미지(201)는 칠판에 쓰여진 공지사항에 대한 텍스트를 포함할 수 있다. 예를 들면, 획득 이미지(201)는 표지판에 포함된 주의사항에 대한 텍스트를 포함할 수 있다. 예를 들면, 획득 이미지(201)는 벽에 붙여진 Wi-Fi(wireless fidelity) 비밀번호에 대한 텍스트를 포함할 수 있다. 텍스트를 포함하는 이미지를 촬영하는 사용자의 의도는, 텍스트를 기록하기 위한 것일 수 있다. 상기 획득 이미지(201) 내에 포함된 텍스트는 정확도와 선명도가 떨어질 수 있다. 예를 들면, 초점이 흔들려 텍스트가 흐릿하게 보일 수 있다. 예를 들면, 반사된 빛에 의해 텍스트의 일부분이 식별되기 어려울 수 있다.
일 실시예에 따르면, 제1 이미지(203)는 상기 제1 이미지(203) 생성을 위한 신경망을 통해, 복수의 이미지들 중 선명도가 높은 부분들을 합성하여 생성될 수 있다. 예를 들면, 복수의 이미지들은 제1 획득 이미지, 제2 획득 이미지, 및 제3 획득 이미지를 포함할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지(203) 생성을 위한 신경망을 통해, 제1 획득 이미지 내에서 선명도가 높은 제1 부분 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지(203) 생성을 위한 신경망을 통해, 제2 획득 이미지 내에서 선명도가 높은 제2 부분 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지(203) 생성을 위한 신경망을 통해, 제3 획득 이미지 내에서 선명도가 높은 제3 부분 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지(203) 생성을 위한 신경망을 통해, 제1 부분 영역, 제2 부분 영역 및 제3 부분 영역을 합성함으로써 제1 이미지(203)를 생성할 수 있다. 상기 제1 획득 이미지, 제2 획득 이미지, 및 제3 획득 이미지는 노출 값을 다르게 하여 획득될 수 있다. 상기 제1 획득 이미지의 노출 값, 상기 제2 획득 이미지의 노출 값, 및 상기 제3 획득 이미지의 노출 값은 서로 다를 수 있다. 상기 텍스트를 포함한 영역과 무관하게 획득 이미지(201)의 선명도에 비해 전체적으로 제1 이미지(203)의 선명도가 개선될 수 있다.
제2 과정(703)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지(203) 내에 포함된 하나 이상의 부분 영역들(예: 제1 영역(705), 제2 영역(707), 제3 영역(709))이 텍스트 영역인지 여부를 식별할 수 있다. 제1 영역(705)은 제1 이미지(203) 내의, 텍스트가 포함될 가능성이 있는 검토 영역일 수 있다. 상기 제1 영역(705)은 텍스트가 포함될 가능성이 높은 텍스트 영역일 수 있다. 제2 영역(707)은 제2 이미지(예: 도 2의 제2 이미지(205)) 내의, 텍스트가 포함될 가능성이 있는 검토 영역일 수 있다. 상기 제2 영역(707)은 텍스트가 포함될 가능성이 낮아 텍스트 영역이 아닐 수 있다. 제3 영역(709) 은 제3 이미지 내의, 텍스트가 포함될 가능성이 있는 검토 영역일 수 있다. 상기 제3 영역(709)은 텍스트가 포함될 가능성이 높은 텍스트 영역일 수 있다. 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 제1 이미지(203) 내에서 텍스트가 포함될 확률이 기준 값 이상인 텍스트 영역을 식별할 수 있다. 예를 들면, 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 제1 영역(705)을 텍스트 영역으로 식별할 수 있다. 예를 들면, 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 제3 영역(709)을 텍스트 영역으로 식별할 수 있다.
제3 과정(711)에서, 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 상기 제1 이미지(203) 내의 텍스트 영역 내에 포함된 문자 영역을 식별할 수 있다. 제1 문자 영역(713)('Caution 계단 사고 주의'), 제2 문자 영역(715)('손'), 제3 문자 영역(717)('잡'), 제4 문자 영역(719)('이'), 제5 문자 영역(721)('를'), 제6 문자 영역(723)('잡'), 제7 문자 영역(725)('고'), 제8 문자 영역(727)('이'), 제9 문자 영역(729) ('동'), 제10 문자 영역(731)('한') 및 제11 문자 영역(733)('다')은 개별 문자의 크기, 문자 간격과 같은 지정된 기준에 의해 포함되는 문자의 수가 정해질 수 있다. 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 상기 제1 이미지(203) 내의 텍스트 영역 내에 포함된 문자 영역을 식별할 수 있다. 상기 문자 영역은 지정된 기준에 의해 포함되는 문자의 수가 정해질 수 있다. 예를 들면, 상기 문자 영역은 텍스트 영역(예: '금연구역') 내에 포함된 개별 문자(예: '금','연','구','역')의 크기가 지정된 임계 값 이상인 경우, 개별 문자만을 포함할 수 있다. 예를 들면, 제2 문자 영역(715), 제3 문자 영역(717), 제4 문자 영역(719), 제5 문자 영역(721), 제6 문자 영역(723), 제7 문자 영역(725), 제8 문자 영역(727), 제9 문자 영역(729), 제10 문자 영역(731) 및 제11 문자 영역(733)은 텍스트 영역(예: 제3 영역(709))에 포함된 개별 문자의 크기가 지정된 임계 값 이상이므로, 개별 문자만을 포함할 수 있다. 상기 문자 영역은, 텍스트 영역 내에 포함된 문자의 크기가 지정된 임계 값 미만인 경우, 복수의 문자를 포함할 수 있다. 예를 들면, 제1 문자 영역(713)은 텍스트 영역(예: 제1 영역(705))에 포함된 개별 문자의 크기가 지정된 임계 값 미만이므로, 복수의 문자(예: CAUTION 계단 사고 주의)를 포함할 수 있다. 예를 들면, 상기 문자 영역은 텍스트 영역(예: '금연구역') 내에 포함된 문자 간격이 지정된 임계 값 이상인 경우, 개별 문자(예: '금','연','구','역')만을 포함할 수 있다. 예를 들면, 제2 문자 영역(715), 제3 문자 영역(717), 제4 문자 영역(719), 제5 문자 영역(721), 제6 문자 영역(723), 제7 문자 영역(725), 제8 문자 영역(727), 제9 문자 영역(729), 제10 문자 영역(731) 및 제11 문자 영역(733)은 텍스트 영역(예: 제3 영역(709))에 포함된 문자 간격이 지정된 임계 값 이상이므로, 개별 문자만을 포함할 수 있다. 상기 문자 영역은, 텍스트 영역 내에 포함된 문자 간격이 지정된 임계 값 미만인 경우, 복수의 문자를 포함할 수 있다. 예를 들면, 제1 문자 영역(713)은 텍스트 영역(예: 제1 영역(705))에 포함된 문자 간격이 지정된 임계 값 미만이므로, 복수의 문자(예: Caution 계단 사고 주의)를 포함할 수 있다. 상기 적어도 하나의 프로세서(120)는, 제2 이미지 생성을 위한 신경망을 통해, 상기 문자 영역들(예: 제1 문자 영역(713), 제2 문자 영역(715), 제3 문자 영역(717), 제4 문자 영역(719), 제5 문자 영역(721), 제6 문자 영역(723), 제7 문자 영역(725), 제8 문자 영역(727), 제9 문자 영역(729), 제10 문자 영역(731) 및 제11 문자 영역(733))에 강화 처리를 수행할 수 있다. 상기 적어도 하나의 프로세서(120)는, 상기 제2 이미지 생성을 위한 신경망을 통해, 상기 문자 영역들에 강화 처리가 수행된 제2 이미지(205)를 생성할 수 있다. 상기 생성을 위한 신경망은, NPU(neural processing unit)일 수 있다. 상기 NPU는 학습이 완료된 상태일 수 있다.
제4 과정(735)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지(203)에 기반하여 제2 이미지(205)를 생성할 수 있다. 상기 제2 이미지(205) 내에 포함된 문자들은 제1 이미지(203)에 비해 선명도가 향상될 수 있다. 상기 선명도는 배경과 문자의 가장자리가 대비되는 정도를 의미할 수 있다. 선명도가 높을수록 시각성(visuality)이 높아질 수 있다. 상기 제1 이미지(203)의 문자에 대한 정확도는 제2 이미지(205)의 문자에 대한 정확도에 비해 높을 수 있다. 상기 정확도는 사용자에게 다른 문자로 인식되지 않는 정도를 의미할 수 있다. 상기 정확도가 높을수록 문자의 오타가 적을 수 있다. 그러므로, 상기 적어도 하나의 프로세서(120)는, 정확도가 높은 제1 이미지(203)와 선명도가 높은 제2 이미지(205)를 블렌딩함으로써 제1 이미지(203)보다 선명도가 높고, 제2 이미지(205)보다 정확도가 높은 출력 이미지를 생성할 수 있다. 이하에서 출력 이미지를 생성하기 위한 블렌딩 가중치 식별의 예가 기재된다.
도 8은 실시예들에 따른, 블렌딩 가중치 식별의 예를 도시한다.
도 8을 참조하면, 카메라(180)를 포함한 전자 장치(801)는 텍스트를 포함한 이미지를 획득할 수 있다. 텍스트를 포함한 객체(803)는 전자 장치(801)에 의해 촬영될 수 있다. 객체의 중심(805)은 상기 텍스트를 포함한 객체(803)의 중심일 수 있다. 객체의 제1 지점(807)은 문자(예: 금연구역)를 포함하는 문자 영역의 중심에 대응하는 지점일 수 있다. 객체의 제2 지점(809)은 문자(예: NO SMOKING AREA)를 포함하는 문자 영역의 중심에 대응하는 지점일 수 있다. 실시예들에 따르면, 상기 적어도 하나의 프로세서(120)는, 텍스트 영역(예: 도 7의 제1 영역(705))이 식별되는 경우, 제1 이미지(예: 도 2의 제1 이미지(203))와, 상기 제1 이미지(203)에 기반하여 생성된 제2 이미지(예: 도 2의 제2 이미지(205))를 블렌딩하여 출력 이미지를 생성할 수 있다. 상기 블렌딩 가중치는 블렌딩 가중치 식별 모듈에 의해 획득될 수 있다. 상기 블렌딩 가중치 식별 모듈은 텍스트 속성에 기반하여 블렌딩 가중치를 식별할 수 있다. 상기 블렌딩 가중치는 제1 이미지(203) 내의 문자 영역에 대한 제2 이미지(205) 내의 문자 영역의 비율을 의미할 수 있다. 상기 텍스트 속성은 제1 이미지(203)의 중심으로부터 문자 영역(713)의 중심까지의 거리를 포함할 수 있다. 일 실시예에 따르면, 제1 이미지(203)의 중심으로부터 문자 영역(713)의 중심까지의 거리가 가까울수록 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 예를 들면, 객체의 중심(805)에 대응하는 제1 이미지(203)의 중심으로부터, 객체의 제1 지점(807)에 대응하는 문자 영역의 중심까지의 거리는, 상기 제1 이미지의 중심으로부터 객체의 제2 지점(809)에 대응하는 문자 영역의 중심까지의 거리보다 길 수 있다. 제1 이미지(203)의 중심으로부터 문자 영역의 중심 까지의 거리가 멀수록 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 따라서, 객체의 제1 지점(807)에 대응하는 문자 영역의 제2 이미지(205) 내의 문자 영역의 블렌딩 비율은, 객체의 제2 지점(809)에 대응하는 문자 영역의 제2 이미지(205) 내의 문자 영역의 블렌딩 비율보다 높을 수 있다. 상기 블렌딩 가중치는 제1 이미지 내의 문자 영역에 대한 제2 이미지 내의 문자 영역의 비율을 의미할 수 있다. 그러므로, 객체의 제1 지점(807)에 대응하는 문자 영역은, 객체의 제2 지점(809)에 대응하는 문자 영역에 비해 블렌딩 가중치가 높을 수 있다. 제1 이미지(203)의 중심으로부터 문자 영역(713)의 중심까지의 거리가 가까울수록 아티팩트(artifact)가 발생할 확률이 낮아질 수 있기 때문이다. 제1 이미지(203)의 중심으로부터 문자 영역(713)의 중심까지의 거리가 가까울수록 이미지가 덜 블러(blur)하기 때문이다. 상기 적어도 하나의 프로세서(120)는, 이미지의 바깥쪽에 가까운 부분일수록 이미지의 중심부에 비해 더 블러(blur)한 경우가 많다. 그러므로, 이미지의 중심부에 가까운 문자 영역일수록, 문자의 정확도가 올라갈 수 있다. 따라서, 제1 이미지(203)의 중심으로부터 문자 영역(713)의 중심까지의 거리가 가까울수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지(203) 내의 문자 영역(713)의 비율에 비해 높게 설정할 수 있다. 다시 말해, 객체의 제1 지점(807)에 대응하는 문자 영역은, 객체의 제2 지점(809)에 대응하는 문자 영역에 비해 블렌딩 가중치가 높게 설정될 수 있다.
제1 이미지(813)는 전자 장치(801)의 카메라(180)로부터 획득된 복수의 이미지들에 기반하여 생성될 수 있다. 상기 제1 이미지는 텍스트를 포함한 객체(803)에 대응하는 부분을 포함할 수 있다. 제1 이미지의 중심(815)은 객체의 중심(805)에 대응될 수 있다. 제1 문자 영역의 중심(817)은 객체의 제1 지점(807)에 대응될 수 있다. 제2 문자 영역의 중심(819)은 객체의 제2 지점(809)에 대응될 수 있다. 실시예들에 따르면, 상기 적어도 하나의 프로세서(120)는, 텍스트 영역(예: 도 7의 제1 영역(705))이 식별되는 경우, 제1 이미지(813)와, 상기 제1 이미지(813)에 기반하여 생성된 제2 이미지(예: 도 2의 제2 이미지(205))를 블렌딩하여 출력 이미지를 생성할 수 있다. 상기 블렌딩 가중치는 블렌딩 가중치 식별 모듈에 의해 획득될 수 있다. 상기 블렌딩 가중치 식별 모듈은 텍스트 속성에 기반하여 블렌딩 가중치를 식별할 수 있다. 상기 블렌딩 가중치는 제1 이미지 내의 문자 영역에 대한 제2 이미지 내의 문자 영역의 비율을 의미할 수 있다. 상기 텍스트 속성은 제1 이미지(813)의 중심으로부터 문자 영역의 중심(예: 제1 문자 영역의 중심(817), 제2 문자 영역의 중심(819))까지의 거리를 포함할 수 있다. 일 실시예에 따르면, 제1 이미지(813)의 중심으로부터 문자 영역의 중심(817, 819)까지의 거리가 가까울수록 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 예를 들면, 객체의 중심(805)에 대응하는 제1 이미지의 중심(815)으로부터, 제1 문자 영역의 중심(817)까지의 거리는, 상기 제1 이미지의 중심으로부터 제2 문자 영역의 중심(819)까지의 거리보다 길 수 있다. 제1 이미지의 중심(815)으로부터 문자 영역의 중심(817, 819) 까지의 거리가 멀수록 상기 제2 이미지(205) 내의 문자 영역의 블렌딩 비율이 높게 설정될 수 있다. 따라서, 제1 문자 영역의 제2 이미지(205) 내의 문자 영역의 블렌딩 비율은, 제2 문자 영역의 제2 이미지(205) 내의 문자 영역의 블렌딩 비율보다 높을 수 있다. 상기 블렌딩 가중치는 제1 이미지 내의 문자 영역에 대한 제2 이미지 내의 문자 영역의 비율을 의미할 수 있다. 그러므로, 제1 문자 영역의 블렌딩 가중치는, 제2 문자 영역의 블렌딩 가중치보다 높을 수 있다. 제1 이미지의 중심(815)으로부터 문자 영역의 중심(817,819)까지의 거리가 가까울수록 아티팩트(artifact)가 발생할 확률이 낮아질 수 있기 때문이다. 제1 이미지의 중심(815)으로부터 문자 영역의 중심(817, 819)까지의 거리가 가까울수록 이미지가 덜 블러(blur)하기 때문이다. 상기 적어도 하나의 프로세서(120)는, 이미지의 바깥쪽에 가까운 부분일수록 이미지의 중심부에 비해 더 블러(blur)한 경우가 많다. 그러므로, 이미지의 중심부에 가까운 문자 영역일수록, 문자의 정확도가 올라갈 수 있다. 따라서, 제1 이미지의 중심(815)으로부터 문자 영역의 중심(817, 819)까지의 거리가 가까울수록, 상기 적어도 하나의 프로세서(120)는, 제2 이미지(205) 내의 문자 영역의 비율을 제1 이미지 내의 문자 영역의 비율에 비해 높게 설정할 수 있다. 다시 말해, 제1 문자 영역은, 제2 문자 영역에 비해 블렌딩 가중치가 높게 설정될 수 있다.
도 9는 실시예들에 따른, 출력 이미지를 생성하는 동작들을 도시한다.
도 9를 참조하면, 동작(901)에서, 상기 적어도 하나의 프로세서(120)는, 카메라(180)를 통해 복수의 이미지들을 획득할 수 있다. 동작(902)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지를 생성할 수 있다. 동작(903)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지 내의 텍스트 영역을 식별할 수 있다. 동작(904)에서, 상기 적어도 하나의 프로세서(120)는, 텍스트 영역 내의 문자 영역을 식별할 수 있다. 동작(905)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지에 기반하여 제2 이미지를 생성할 수 있다. 제1 이미지(906)는 복수의 이미지들에 기반하여 생성될 수 있다. 상기 제1 이미지(906)는 블렌딩 가중치 계산 엔진(910) 및 블렌딩 엔진(908)으로 입력될 수 있다. 제2 이미지(907)는 제1 이미지에 기반하여 생성될 수 있다. 블렌딩 엔진(908)에서, 상기 적어도 하나의 프로세서(120)는, 블렌딩 가중치 계산 엔진(910)으로부터 블렌딩 가중치(909)를 획득할 수 있다. 블렌딩 엔진(908)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지(906)와 제2 이미지(907)를 식별된 블렌딩 가중치에 기반하여 블렌딩 할 수 있다. 상기 블렌딩 엔진(908)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지(906) 및 제2 이미지(907)를 블렌딩하여 출력 이미지를 생성(917)할 수 있다. 상기 블렌딩 가중치 계산 엔진(910)에서, 상기 적어도 하나의 프로세서(120)는, 제1 기준(911)에 기반하여, 블렌딩 가중치를 계산할 수 있다. 상기 제1 기준(911)은 글자의 크기일 수 있다. 상기 블렌딩 가중치 계산 엔진(910)에서, 상기 적어도 하나의 프로세서(120)는, 제2 기준(912)에 기반하여, 블렌딩 가중치를 식별할 수 있다. 상기 제2 기준(912)은 정합 가능성일 수 있다. 상기 정합 가능성은, 문자 영역 내의 문자가 OCR(optical character recognition) 모듈을 통해 식별되는 문자일 확률일 수 있다. 상기 블렌딩 가중치 계산 엔진(910)에서, 상기 적어도 하나의 프로세서(120)는, 제3 기준(913)에 기반하여, 블렌딩 가중치를 식별할 수 있다. 상기 제3 기준(913)은 제1 이미지의 중심으로부터 문자 영역의 중심까지의 거리일 수 있다. 상기 블렌딩 가중치 계산 엔진(910)에서, 상기 적어도 하나의 프로세서(120)는, 제4 기준(914)에 기반하여, 블렌딩 가중치를 식별할 수 있다. 상기 제4 기준(914)은 ISO(international standards organization) 값일 수 있다. 상기 블렌딩 가중치 계산 엔진(910)에서, 상기 적어도 하나의 프로세서(120)는, 제5 기준(915)에 기반하여, 블렌딩 가중치를 식별할 수 있다. 상기 제5 기준(915)은 문자의 굵기일 수 있다
도 10은 실시예들에 따른, 텍스트 영역 식별에 기반하여 출력 이미지를 생성하는 동작들을 도시한다.
도 10을 참조하면, 동작(1001)에서, 상기 적어도 하나의 프로세서(120)는, 카메라(180)를 통해 복수의 이미지들을 획득할 수 있다. 동작(1002)에서, 상기 적어도 하나의 프로세서(120)는, 복수의 이미지들에 대한 처리 과정을 수행할 수 있다. 동작(1003)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지를 생성할 수 있다. 상기 동작(1003)에서 생성된 제1 이미지는 블렌딩 엔진(1017) 및 블렌딩 가중치 계산 엔진(1006)에 입력될 수 있다. 동작(1004)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지 내의 텍스트 영역을 식별할 수 있다. 동작(1005)에서, 상기 적어도 하나의 프로세서(120)는, 텍스트 영역 내에 텍스트가 감지되는지 여부를 식별할 수 있다. 상기 적어도 하나의 프로세서(120)는, 텍스트 영역 내에 텍스트가 감지되는 경우, 동작(1007)을 수행할 수 있다. 상기 적어도 하나의 프로세서(120)는, 텍스트 영역 내에 텍스트가 감지되지 않는 경우, 동작(1021)을 수행할 수 있다. 동작(1007)에서, 상기 적어도 하나의 프로세서(120)는, 텍스트 영역 내의 문자 영역을 식별할 수 있다. 상기 블렌딩 가중치 계산 엔진(1006)에서, 상기 적어도 하나의 프로세서(120)는, 제1 기준(1008)에 기반하여, 블렌딩 가중치를 계산할 수 있다. 상기 제1 기준(1008)은 글자의 크기일 수 있다. 상기 블렌딩 가중치 계산 엔진(1006)에서, 상기 적어도 하나의 프로세서(120)는, 제2 기준(1009)에 기반하여, 블렌딩 가중치를 식별할 수 있다. 상기 제2 기준(1009)은 정합 가능성일 수 있다. 상기 정합 가능성은, 문자 영역 내의 문자가 OCR(optical character recognition) 모듈을 통해 식별되는 문자일 확률일 수 있다. 상기 블렌딩 가중치 계산 엔진(1006)에서, 상기 적어도 하나의 프로세서(120)는, 제3 기준(1010)에 기반하여, 블렌딩 가중치를 식별할 수 있다. 상기 제3 기준(1010)은 제1 이미지의 중심으로부터 문자 영역의 중심까지의 거리일 수 있다. 상기 블렌딩 가중치 계산 엔진(1006)에서, 상기 적어도 하나의 프로세서(120)는, 제4 기준(1011)에 기반하여, 블렌딩 가중치를 식별할 수 있다. 상기 제4 기준(1011)은 ISO(international standards organization) 값일 수 있다. 상기 블렌딩 가중치 계산 엔진(1006)에서, 상기 적어도 하나의 프로세서(120)는, 제5 기준(1012)에 기반하여, 블렌딩 가중치를 식별할 수 있다. 상기 제5 기준(1012)은 문자의 굵기일 수 있다. 블렌딩 가중치 계산 엔진(1006)에 의해 블렌딩 가중치가 식별되고 난 후, 상기 적어도 하나의 프로세서(120)는 동작(1020)을 수행할 수 있다. 동작(1020)에서, 상기 적어도 하나의 프로세서(120)는, 블렌딩 가중치에 기반하여 블렌딩이 필요한지 여부를 식별할 수 있다. 동작(1020)에서, 상기 적어도 하나의 프로세서(120)는, 임계 값 이상의 블렌딩 가중치에 기반하여 블렌딩 필요성을 식별할 수 있다. 상기 적어도 하나의 프로세서(120)가, 블렌딩 필요성을 식별하는 경우, 상기 적어도 하나의 프로세서(120)는, 블렌딩 엔진(1017)을 통해 출력 이미지(1018)를 생성할 수 있다. 동작(1013)에서, 상기 적어도 하나의 프로세서(120)는, 제1 이미지의 문자 영역에 강화 처리를 수행할 수 있다. 동작(1014)에서, 상기 적어도 하나의 프로세서(120)는, 제2 이미지를 생성할 수 있다. 블렌딩 엔진(1017)에서, 상기 적어도 하나의 프로세서(120)는 제1 이미지(1015) 및 제2 이미지(1016)를 텍스트 속성에 따른 블렌딩 가중치에 기반하여 블렌딩 할 수 있다. 블렌딩 엔진(1017)에서, 상기 적어도 하나의 프로세서(120)는 제1 이미지(1015) 및 제2 이미지(1016)를 블렌딩 함으로써, 출력 이미지(1018)를 생성할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(electronic device)는, 적어도 하나의 프로세서, 및 적어도 하나의 카메라를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 적어도 하나의 카메라를 통해 복수의 이미지들을 획득할 수 있다. 상기 적어도 하나의 프로세서는, 상기 복수의 이미지들을 이용하여 제1 이미지를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 복수의 이미지들이 텍스트와 관련됨을 식별하는 것에 기반하여, 상기 제1 이미지 내의 문자 영역을 식별할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 내의 문자 영역에 강화 처리가 수행된 제2 이미지를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 내의 문자 영역에 대한 텍스트 속성에 기반하여 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 함으로써 출력 이미지를 생성하도록 구성될 수 있다.
일 실시예에 따른, 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩하기 위하여, 상기 문자 영역의 위치가 상기 획득된 제1 이미지의 중심의 위치로부터 가까울수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정될 수 있다.
일 실시예에 따른, 전자 장치는, OCR(optical character recognition) 모듈을 추가적으로 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 OCR(optical character recognition) 모듈을 통해, 상기 문자 영역 내의 문자를 추가적으로 식별할 수 있다. 상기 적어도 하나의 프로세서는, 상기 문자가 OCR(optical character recognition) 모듈을 통해 식별되는 문자일 확률인 정합 가능성을 추가적으로 식별할 수 있다. 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩하기 위하여, 상기 정합 가능성이 클수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정될 수 있다.
일 실시예에 따른, 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩하기 위하여, 문자 영역 내의 개별 문자의 크기가 클수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정될 수 있다.
일 실시예에 따른, 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩하기 위하여, 문자 영역 내의 ISO(international standards organization) 값이 낮을수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정될 수 있다.
일 실시예에 따른, 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩하기 위하여, 문자 영역 내의 문자의 굵기가 두꺼울수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정될 수 있다.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩하기 위하여, 문자 영역 내의 문자가 덜 블러(blur)할수록, 상기 제2 이미지 내의 문자 영역의 비율을 높게 설정할 수 있다.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 제1 이미지를 획득하기 위하여, 이미지의 해상도를 높이기 위한 신경망을 통해 제1 획득 이미지 내의 제1 부분 영역과 제2 획득 이미지 내의 제2 부분 영역을 병합할 수 있다.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 문자 영역을 식별하기 위하여, 제1 이미지 내의 텍스트가 포함될 확률이 기준 값 이상인 텍스트 영역을 식별할 수 있다. 일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 텍스트 영역 내에서 문자 영역을 식별할 수 있다.
일 실시예에 따른, 상기 전자 장치는 제2 이미지를 생성하기 위한 NPU(neural processing unit)를 추가적으로 포함할 수 있다. 상기 NPU는, 학습된 신경망을 이용하여, 문자 영역에 강화 처리가 수행된 제2 이미지를 생성할 수 있다.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 제1 이미지 내의 텍스트 영역 내에서 복수의 문자들을 식별할 수 있다. 상기 제1 이미지 내의 문자 영역은 복수의 문자들 중 개별 문자들을 포함할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(electronic device)에 의해 수행되는 방법은, 적어도 하나의 카메라를 통해 복수의 이미지들을 획득하는 동작을 포함할 수 있다. 상기 방법은 상기 복수의 이미지들을 이용하여 제1 이미지를 생성하는 동작을 포함할 수 있다. 상기 방법은 상기 복수의 이미지들이 텍스트와 관련됨을 식별하는 것에 기반하여, 상기 제1 이미지 내의 문자 영역을 식별하는 동작을 포함할 수 있다. 상기 방법은 상기 문자 영역에 강화 처리가 수행된 제2 이미지를 생성하는 동작을 포함할 수 있다. 상기 방법은 상기 제1 이미지 내의 문자 영역에 대한 텍스트 속성에 기반하여 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 함으로써 출력 이미지를 생성하는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 방법은 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 하는 동작에서, 상기 문자 영역의 위치가 상기 획득된 제1 이미지의 중심의 위치로부터 가까울수록 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정되는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 방법은 OCR(optical character recognition) 모듈을 통해, 상기 문자 영역 내의 문자를 식별하는 동작을 추가적으로 포함할 수 있다. 상기 방법은, 상기 문자가 OCR(optical character recognition) 모듈을 통해 식별되는 문자일 확률인 정합 가능성을 식별하는 동작을 추가적으로 포함할 수 있다. 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 하는 동작에서, 상기 정합 가능성이 클수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정될 수 있다.
일 실시예에 따른, 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 하는 동작에서, 문자 영역 내의 개별 문자의 크기가 클수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정될 수 있다.
일 실시예에 따른, 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 하는 동작에서, 문자 영역 내의 ISO(international standards organization) 값이 낮을수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정될 수 있다.
일 실시예에 따른, 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 하는 동작은, 문자 영역 내의 문자의 굵기가 두꺼울수록, 상기 제2 이미지 내의 문자 영역의 비율을 높게 설정하는 동작을 포함할 수 있다.
일 실시예에 따른, 제1 이미지를 획득하는 동작은 이미지의 해상도를 높이기 위한 신경망을 이용하여, 제1 프레임 내의 제1 부분 영역과 제2 프레임내의 제2 부분 영역을 병합하는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 문자 영역을 식별하는 동작은 제1 이미지 내의 텍스트가 포함될 확률이 기준 값 이상인 텍스트 영역을 식별하는 동작을 포함할 수 있다. 상기 문자 영역을 식별하는 동작은 상기 텍스트 영역 내에서 문자 영역을 식별하는 동작을 포함할 수 있다.
일 실시예에 따른, 제2 이미지를 생성하는 동작은, NPU(neural processing unit)가, 학습된 신경망을 이용하여, 문자 영역에 강화 처리가 수행된 제2 이미지를 생성하는 동작을 포함할 수 있다.
일 실시예에서, 상기 방법은 상기 제1 이미지 내의 텍스트 영역 내에서 복수의 문자들을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 이미지 내의 문자 영역은 복수의 문자들 중 개별 문자들을 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 전자 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드) 될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치(electronic device)에 있어서,
    적어도 하나의 프로세서; 및
    적어도 하나의 카메라를 포함하고,
    상기 적어도 하나의 프로세서는,
    적어도 하나의 카메라를 통해 복수의 이미지들을 획득하고,
    상기 복수의 이미지들을 이용하여 제1 이미지를 생성하고,
    상기 복수의 이미지들이 텍스트와 관련됨을 식별하는 것에 기반하여, 상기 제1 이미지 내의 문자 영역을 식별하고,
    상기 제1 이미지 내의 문자 영역에 강화 처리가 수행된 제2 이미지를 생성하고,
    상기 제1 이미지 내의 문자 영역에 대한 텍스트 속성에 기반하여 상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 함으로써
    출력 이미지를 생성하도록 구성되는,
    전자 장치.
  2. 청구항 1에서,
    상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩하기 위하여,
    상기 문자 영역의 위치가 상기 획득된 제1 이미지의 중심의 위치로부터 가까울수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정되는,
    전자 장치.
  3. 청구항 1 내지 2에서,
    OCR(optical character recognition) 모듈을 추가적으로 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 OCR(optical character recognition) 모듈을 통해, 상기 문자 영역 내의 문자를 식별하고,
    상기 문자가 OCR(optical character recognition) 모듈을 통해 식별되는 문자일 확률인 정합 가능성을 식별하도록 추가적으로 구성되고,
    상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩하기 위하여, 상기 정합 가능성이 클수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정되는,
    전자 장치.
  4. 청구항 1 내지 3에서,
    상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩하기 위하여,
    문자 영역 내의 개별 문자의 크기가 클수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정되는,
    전자 장치.
  5. 청구항 1 내지 4에서,
    상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩하기 위하여,
    문자 영역 내의 ISO(international standards organization) 값이 낮을수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정되는,
    전자 장치.
  6. 청구항 1 내지 5에서,
    상기 적어도 하나의 프로세서는,
    상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩하기 위하여,
    문자 영역 내의 문자의 굵기가 두꺼울수록, 상기 제2 이미지 내의 문자 영역의 비율을 높게 설정하는,
    전자 장치.
  7. 청구항 1 내지 6에서,
    상기 적어도 하나의 프로세서는,
    상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩하기 위하여,
    문자 영역 내의 문자가 덜 블러(blur)할수록, 상기 제2 이미지 내의 문자 영역의 비율을 높게 설정하는,
    전자 장치.
  8. 청구항 1 내지 7에서,
    상기 적어도 하나의 프로세서는,
    제1 이미지를 획득하기 위하여,
    이미지의 해상도를 높이기 위한 신경망을 통해
    제1 획득 이미지 내의 제1 부분 영역과 제2 획득 이미지 내의 제2 부분 영역을 병합하도록 구성되는,
    전자 장치.
  9. 청구항 1 내지 8에서,
    상기 적어도 하나의 프로세서는,
    상기 문자 영역을 식별하기 위하여,
    제1 이미지 내의 텍스트가 포함될 확률이 기준 값 이상인 텍스트 영역을 식별하고, 상기 텍스트 영역 내에서 문자 영역을 식별하도록 구성되는,
    전자 장치.
  10. 청구항 1 내지 9에서,
    제2 이미지를 생성하기 위한 NPU(neural processing unit)를 추가적으로 포함하고,
    상기 NPU는, 학습된 신경망을 이용하여, 문자 영역에 강화 처리가 수행된 제2 이미지를 생성하도록 구성되는,
    전자 장치.
  11. 청구항 1 내지 10에서,
    상기 적어도 하나의 프로세서는, 상기 제1 이미지 내의 텍스트 영역 내에서 복수의 문자들을 식별하고,
    상기 제1 이미지 내의 문자 영역은 복수의 문자들 중 개별 문자들을 포함하는,
    전자 장치.
  12. 전자 장치(electronic device)에 의해 수행되는 방법에 있어서,
    적어도 하나의 카메라를 통해 복수의 이미지들을 획득하는 동작과,
    상기 복수의 이미지들을 이용하여 제1 이미지를 생성하는 동작과,
    상기 복수의 이미지들이 텍스트와 관련됨을 식별하는 것에 기반하여, 상기 제1 이미지 내의 문자 영역을 식별하는 동작과,
    상기 문자 영역에 강화 처리가 수행된 제2 이미지를 생성하는 동작과,
    상기 제1 이미지 내의 문자 영역에 대한 텍스트 속성에 기반하여
    상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 함으로써 출력 이미지를 생성하는 동작을 포함하는,
    방법.
  13. 청구항 12에서,
    상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 하는 동작에서,
    상기 문자 영역의 위치가 상기 획득된 제1 이미지의 중심의 위치로부터 가까울수록 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정되는,
    방법.
  14. 청구항 12 내지 13에서,
    OCR(optical character recognition) 모듈을 통해, 상기 문자 영역 내의 문자를 식별하는 동작과
    상기 문자가 OCR(optical character recognition) 모듈을 통해 식별되는 문자일 확률인 정합 가능성을 식별하는 동작을 추가적으로 포함하고,
    상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 하는 동작에서, 상기 정합 가능성이 클수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정되는,
    방법.
  15. 청구항 12 내지 14에서,
    상기 제1 이미지 내의 문자 영역 및 상기 제2 이미지 내의 문자 영역을 블렌딩 하는 동작에서,
    문자 영역 내의 개별 문자의 크기가 클수록, 상기 제2 이미지 내의 문자 영역의 비율이 높게 설정되는,
    방법.
PCT/KR2023/009041 2022-08-26 2023-06-28 텍스트를 포함하는 이미지를 처리하기 위한 전자 장치 및 방법 WO2024043485A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220107980 2022-08-26
KR10-2022-0107980 2022-08-26
KR1020220112446A KR20240029474A (ko) 2022-08-26 2022-09-05 텍스트를 포함하는 이미지를 처리하기 위한 전자 장치 및 방법
KR10-2022-0112446 2022-09-05

Publications (1)

Publication Number Publication Date
WO2024043485A1 true WO2024043485A1 (ko) 2024-02-29

Family

ID=90013470

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009041 WO2024043485A1 (ko) 2022-08-26 2023-06-28 텍스트를 포함하는 이미지를 처리하기 위한 전자 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2024043485A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016111072A1 (ja) * 2015-01-08 2016-07-14 ソニー株式会社 画像処理装置、撮像装置および画像処理方法
JP2016538665A (ja) * 2013-10-01 2016-12-08 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 交通標識認識方法と装置
KR20200036098A (ko) * 2018-09-21 2020-04-07 라인 가부시키가이샤 글자 검출 장치, 방법 및 시스템
JP2020135535A (ja) * 2019-02-21 2020-08-31 株式会社Ｙｅ Ｄｉｇｉｔａｌ 車両判別方法、車両判別装置および車両判別プログラム
KR20220074770A (ko) * 2020-11-27 2022-06-03 한국과학기술원 영상 스티칭 방법 및 이를 수행하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016538665A (ja) * 2013-10-01 2016-12-08 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 交通標識認識方法と装置
WO2016111072A1 (ja) * 2015-01-08 2016-07-14 ソニー株式会社 画像処理装置、撮像装置および画像処理方法
KR20200036098A (ko) * 2018-09-21 2020-04-07 라인 가부시키가이샤 글자 검출 장치, 방법 및 시스템
JP2020135535A (ja) * 2019-02-21 2020-08-31 株式会社Ｙｅ Ｄｉｇｉｔａｌ 車両判別方法、車両判別装置および車両判別プログラム
KR20220074770A (ko) * 2020-11-27 2022-06-03 한국과학기술원 영상 스티칭 방법 및 이를 수행하는 장치

Similar Documents

Publication Publication Date Title
WO2020171611A1 (en) Electronic device for providing various functions through application using a camera and operating method thereof
WO2021261784A1 (ko) 전송 속도를 조절하기 위한 전자 장치 및 그의 동작 방법
WO2019164196A1 (ko) 문자를 인식하기 위한 전자 장치 및 방법
WO2024043485A1 (ko) 텍스트를 포함하는 이미지를 처리하기 위한 전자 장치 및 방법
WO2022071708A1 (ko) 컨텐츠 추천 서비스를 제공하는 전자 장치 및 그 방법
WO2022102960A1 (en) Electronic device for managing task relating to processing of audio signal, and operation method therefor
WO2021242011A1 (en) Electronic device for wireless communication and method of operating electronic device
WO2023059000A1 (ko) 학습을 보조하기 위한 방법 및 장치
WO2022092609A1 (ko) 오디오 데이터 처리 방법 및 그 장치
WO2023022359A1 (ko) 어플리케이션의 실행 오류를 검출하는 전자 장치 및 그 작동 방법
WO2022114648A1 (ko) 배경 화면을 설정하기 위한 전자 장치 및 그의 동작 방법
WO2024117757A1 (ko) 제스처를 인식하는 전자 장치 및 그 동작 방법
WO2022250246A1 (ko) 움직이는 객체에 대한 효과를 이미지에 적용하는 전자 장치 및 그 작동 방법
WO2024005333A1 (ko) 카메라를 포함하는 전자 장치 및 방법
WO2024080586A1 (ko) 멀티 디바이스 환경에서 공동 편집을 위한 전자 장치 및 방법
WO2024063516A1 (ko) 커스터마이징 소프트웨어 제공 장치 및 방법
WO2023018202A1 (ko) 애니메이션 효과 제공 방법 및 이를 지원하는 전자 장치
WO2022191595A1 (ko) 이미지의 알파 값을 이용하여 이미지를 출력하는 전자 장치 및 그 제어 방법
WO2022203182A1 (ko) 인공 지능 모델을 최적화하기 위한 전자 장치 및 그 동작 방법
WO2024019289A1 (ko) 멀티 마스터 기반의 영상 센싱 모듈 제어 방법 및 그 장치
WO2024117658A1 (ko) 언어 번역 방법 및 전자 장치
WO2023149770A1 (ko) 전자 장치에서 영상을 편집하는 방법 및 장치
WO2022154410A1 (ko) 이미지 필터 효과의 생성 방법 및 그 전자 장치
WO2023249218A1 (ko) 멀티 채널 그립 센서를 포함하는 전자 장치 및 멀티 채널 그립 센서를 이용한 커패시턴스 변화 센싱 방법
WO2024112035A1 (ko) 전자 장치 및 전자 장치의 데이터 압축 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23857523

Country of ref document: EP

Kind code of ref document: A1