WO2024076223A1 - 전자 기기 가치 평가 장치 및 이의 동작 방법 - Google Patents

전자 기기 가치 평가 장치 및 이의 동작 방법 Download PDF

Info

Publication number
WO2024076223A1
WO2024076223A1 PCT/KR2023/095059 KR2023095059W WO2024076223A1 WO 2024076223 A1 WO2024076223 A1 WO 2024076223A1 KR 2023095059 W KR2023095059 W KR 2023095059W WO 2024076223 A1 WO2024076223 A1 WO 2024076223A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
defect
deep learning
target electronic
evaluation
Prior art date
Application number
PCT/KR2023/095059
Other languages
English (en)
French (fr)
Inventor
유광열
Original Assignee
민팃(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230018925A external-priority patent/KR20240047896A/ko
Application filed by 민팃(주) filed Critical 민팃(주)
Publication of WO2024076223A1 publication Critical patent/WO2024076223A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the following embodiments relate to an electronic device valuation device and a method of operating the same.
  • the artificial intelligence analysis method can evaluate the external condition of used electronic devices by capturing the external condition of used electronic devices through lighting and cameras and analyzing the obtained images using an artificial intelligence analysis algorithm.
  • An unmanned purchase device can determine the purchase price by analyzing the internal and external conditions of used electronic devices.
  • deep learning image analysis technology or deep learning algorithm
  • defect analysis errors may occur due to the applied deep learning model.
  • the types of analysis errors can be diverse, such as over-evaluation of defects, missed evaluation, and error evaluation. A method to reduce various analysis errors is needed.
  • defect analysis errors there can be several causes of defect analysis errors in captured exterior images of used electronic devices.
  • the difference between the shooting environment in which the learning images used when training a deep learning model were obtained and the shooting environment in which used electronic devices are photographed may cause analysis errors, and the number of learning images for each defect may be large or small. Differences in precision of defects expressed in images and differences in the applied learning modeling technique may cause analysis errors.
  • One embodiment may provide an electronic device value evaluation device that can reduce defect analysis errors in exterior images.
  • a method of operating an electronic device value evaluation device includes obtaining an analysis result of a deep learning evaluation model (where the analysis result is that the deep learning evaluation model is based on the external image of the target electronic device. (including the result of determining whether there is a first defect in the appearance of); Determining whether the obtained analysis result is appropriate based on a preset range for the first defect and probability data for the first defect (where the probability data refers to based on how many times the first defect has been detected in electronic devices of the same model as the target electronic device); And when it is determined that the obtained analysis result is not appropriate, it may include performing at least one of operations to solve the problem that caused the deep learning evaluation model to derive the analysis result.
  • the step of determining whether the obtained analysis result is appropriate includes determining whether the probability data falls within the preset range; and determining that the obtained analysis result is appropriate when the probability data falls within the preset range, and determining that the obtained analysis result is not appropriate when the probability data does not fall within the preset range. may include.
  • the performing step includes a first operation of correcting the obtained analysis result, a second operation of performing image conversion on the exterior image, a third operation of inspecting the shooting box in which the target electronic device is photographed, It may include performing at least one of a fourth operation for training the deep learning evaluation model and a fifth operation for analyzing the exterior image in an operation center.
  • the performing step includes determining whether model information of the target electronic device is included in a preset model list; And when it is determined that the model information is included in the preset model list, performing at least one of the first operation, the fourth operation, and the fifth operation.
  • the performing step may include determining whether the first defect corresponds to a defect exception case; and performing the second operation when the first defect corresponds to the defect exception case.
  • the performing step may include performing the third operation if the external image is not normal and the shooting box is empty.
  • the method of operating the electronic device value evaluation device may further include estimating the cause of the problem through a comparison result between the preset range and the probability data.
  • the estimating step includes: estimating that the cause is in the shooting box when a difference value between the upper limit of the preset range and the probability data exceeds a first value; And when the difference value is less than or equal to the first value and exceeds the second value, it may include estimating that the cause is in the deep learning evaluation model.
  • an electronic device valuation device includes a memory that stores a deep learning evaluation model; And it may include an external condition evaluation module that evaluates the external condition of the target electronic device using the deep learning evaluation model.
  • the appearance condition evaluation module obtains an analysis result of the deep learning evaluation model (where the analysis result is that the deep learning evaluation model detects a first defect in the appearance of the target electronic device based on the exterior image of the target electronic device). (including the result of determining whether there is a defect), and determine whether the obtained analysis result is appropriate based on a preset range for the first defect and probability data for the first defect (where the probability data is the shooting box (based on how many times the first defect was detected in electronic devices of the same model as the target electronic device among the electronic devices that were photographed), if the obtained analysis result is determined to be inappropriate, the deep learning evaluation
  • the model may perform at least one of the operations to solve the problem that led to the analysis result.
  • the appearance condition evaluation module determines whether the probability data falls within the preset range, and if the probability data falls within the preset range, determines that the obtained analysis result is appropriate, and determines whether the probability data falls within the preset range. If it does not fall within the range, it may be determined that the obtained analysis result is not appropriate.
  • the appearance condition evaluation module includes a first operation to correct the obtained analysis result, a second operation to perform image conversion on the exterior image, and a third operation to inspect the shooting box in which the target electronic device is photographed. , at least one of a fourth operation allowing the deep learning evaluation model to be trained, and a fifth operation allowing the operation center to analyze the exterior image.
  • the appearance state evaluation module determines whether the model information of the target electronic device is included in the preset model list, and when it is determined that the model information is included in the preset model list, the first operation, the fourth operation At least one of the operation and the fifth operation may be performed.
  • the appearance state evaluation module may determine whether the first defect corresponds to a defect exception case, and if the first defect corresponds to the defect exception case, perform the second operation.
  • the appearance state evaluation module may perform the third operation if the appearance image is not normal and the shooting box is empty.
  • the appearance condition evaluation module may estimate the cause of the problem through a comparison result between the preset range and the probability data.
  • the appearance condition evaluation module estimates that the cause is in the shooting box when the difference value between the upper limit of the preset range and the probability data exceeds the first value, and the difference value is less than or equal to the first value. If it exceeds the second value, it can be assumed that the cause is in the deep learning evaluation model.
  • Embodiments can accurately evaluate the value of a target electronic device by reducing defect analysis errors.
  • FIG. 1 and 2 are diagrams explaining an unmanned purchase device and a server according to an embodiment.
  • 3 to 6 are diagrams illustrating the operation of an electronic device value evaluation device according to an embodiment.
  • Figure 7 is a flowchart explaining a method of evaluating the value of an electronic device according to an embodiment.
  • 8 to 13 are diagrams explaining an exception case processing method according to an embodiment.
  • 14A and 14B are diagrams illustrating an external condition evaluation module of an electronic device value evaluation device according to an embodiment.
  • FIG. 15 is a diagram illustrating an example of a method for determining reference probability data of a DB of an appearance condition evaluation module according to an embodiment.
  • 16 is a flowchart illustrating an example of a method of operating an electronic device value evaluation device according to an embodiment.
  • first or second may be used to describe various components, but these terms should be interpreted only for the purpose of distinguishing one component from another component.
  • a first component may be named a second component, and similarly, the second component may also be named a first component.
  • FIG. 1 and 2 are diagrams explaining an unmanned purchase device and a server according to an embodiment.
  • an unmanned purchase device 110 and a server 120 are shown.
  • the unmanned purchase device 110 purchases electronic devices (or used electronic devices) (e.g., smartphones, tablet PCs, wearable devices, etc.) from users and/or sells the target electronic devices (or used electronic devices) to the user. You can.
  • the type of electronic device may be classified into a bar type, rollable type, or foldable type depending on its shape.
  • the unmanned purchase device 110 may be, for example, in the form of a kiosk, but is not limited thereto.
  • the unmanned embedded device 110 may include a photographing box for placing and photographing an electronic device, a system control unit, and a display.
  • a photographing box for placing and photographing an electronic device
  • a system control unit for controlling the display of the unmanned purchasing device 110
  • a display for displaying images
  • the electronic device to be evaluated and purchased by the unmanned purchasing device 110 is referred to as a “target electronic device.”
  • the system control unit may control the overall operation of the unmanned embedding device 110.
  • the system control unit may display guidelines and/or precautions for selling the target electronic device on the display.
  • the system control unit may display a user interface for receiving various information from the user (e.g., OS (operating system) information of an electronic device to be sold by the user, etc.) on the display.
  • OS operating system
  • the first application installed on the target electronic device may display a serial number on the display of the target electronic device.
  • the first application may be an application for inspecting the internal state of the target electronic device and collecting information (e.g., model name, serial number, operating system version, etc.) of the target electronic device.
  • the user may input the serial number into the display of the unmanned acquisition device 110.
  • the system control unit may verify the entered serial number through the display or request verification from the server 120. The system control unit can open the door of the shooting box when the entered serial number is verified.
  • the user can connect the cable (e.g. USB Type C cable, Lightning cable, etc.) of the unmanned embedding device 110 to the target electronic device, and the target Electronic devices can be placed inside the shooting box.
  • the target electronic device may be connected to the system control unit of the unmanned embedded device 110 through a cable.
  • the target electronic device may be connected to the system control unit of the unmanned embedded device 110 wirelessly (e.g., Bluetooth, Bluetooth Low Energy (BLE), etc.).
  • the shooting box can align the placed electronic devices to a designated position. If the target electronic device is not aligned in a designated position, the cameras inside the shooting box may not be able to properly capture the exterior of the target electronic device.
  • the first application can collect information about the target electronic device and evaluate (or analyze) the internal state (e.g., hardware operating state, etc.) of the target electronic device.
  • the hardware operation state may indicate whether the hardware (eg, sensor, camera, etc.) of the target electronic device is operating normally.
  • the first application can evaluate (or determine) whether the hardware of the target electronic device is operating normally.
  • a plurality of cameras and a plurality of lights may be located in the shooting box.
  • the first camera in the shooting box may acquire one or more front images of the target electronic device by photographing the front of the target electronic device.
  • the second camera in the shooting box may acquire one or more rear images of the target electronic device by photographing the rear of the target electronic device.
  • Each of the plurality of third cameras in the shooting box may acquire one or more side images (or corner images) by photographing each side (or corner) of the target electronic device.
  • the first camera may acquire one or more images (hereinafter referred to as “screen images”) by photographing the screen of the target electronic device.
  • the first application may display a single-color (e.g., white, black, red, blue, green, etc.) screen on the target electronic device.
  • a monochromatic screen is displayed on the target electronic device
  • the first camera may obtain an image (hereinafter referred to as a “monochromatic screen image”) by photographing the monochromatic screen of the target electronic device.
  • a white screen is displayed on the target electronic device
  • the first camera may acquire a first monochromatic screen image by photographing the white screen of the target electronic device.
  • the first camera may acquire a second monochromatic screen image by photographing the black screen of the target electronic device.
  • the target electronic device displaying a screen other than white and black in a single color (e.g., red, blue, green, etc.)
  • the first camera may acquire a third single color screen image by photographing the other single color screen of the target electronic device. You can.
  • the electronic device value evaluation device 130 is based on images acquired by photographing the target electronic device (e.g., one or more front images, one or more rear images, one or more side images, and one or more monochromatic screen images) and deep learning evaluation models. You can perform an external condition evaluation on the target electronic device.
  • the electronic device valuation device 130 may be included in the server 120 .
  • the server 120 may receive images obtained by photographing a target electronic device from the unmanned purchasing device 110, and may transmit the received images to the electronic device value evaluation device 130.
  • the first application in the target electronic device may perform an internal state evaluation of the target electronic device and transmit the result of the internal state evaluation of the target electronic device to the server 120 through the unmanned purchase device 110. You can.
  • the first application may allow the target electronic device to connect to the server 120 and transmit the result of evaluating the internal state of the target electronic device to the server 120 through the target electronic device.
  • the electronic device value evaluation device 130 is based on the result of the external state evaluation of the target electronic device and the result of the internal state evaluation of the target electronic device (e.g., the result of the first application performing an internal state evaluation of the target electronic device).
  • the value (e.g. price) of the target electronic device can be determined.
  • the electronic device value evaluation device 130 may transmit the value of the target electronic device to the unmanned purchase device 110, and the unmanned purchase device 110 may transmit the value of the target electronic device to the user.
  • the user may accept the value (e.g., price) of the target electronic device and convey to the unmanned purchasing device 110 that he or she will sell the target electronic device, and the unmanned purchasing device 110 will take a photo if the user decides to sell the target electronic device.
  • the target electronic device placed in the box can be moved to a recovery box (or storage box). Depending on the embodiment, the recovery box may be located inside or outside the unmanned burial device 110.
  • the electronic device valuation device 130 may be included in the unmanned purchase device 110 .
  • the electronic device value evaluation device 130 may receive images obtained by photographing the target electronic device from cameras in a photographing box.
  • the electronic device value evaluation device 130 may receive the result of evaluating the internal state of the target electronic device from the first application.
  • the electronic device value evaluation device 130 may determine the value (e.g., price) of the target electronic device based on the results of the external state evaluation of the target electronic device and the results of the internal state evaluation of the target electronic device.
  • the electronic device value evaluation device 130 can convey the value of the target electronic device to the user.
  • the user may accept the value (e.g., price) of the target electronic device and convey to the unmanned purchasing device 110 that he or she will sell the target electronic device, and the unmanned purchasing device 110 will take a photo if the user decides to sell the target electronic device.
  • the target electronic device placed in the box can be moved to a recovery box (or storage box).
  • 3 to 6 are diagrams illustrating the operation of an apparatus for evaluating the value of a target electronic device according to an embodiment.
  • the target electronic device device evaluation device 130 may include a memory 310, an appearance condition evaluation module 320, and a value determination module 330.
  • the appearance condition evaluation module 320 and the value determination module 330 may be implemented with one processor.
  • the appearance condition evaluation module 320 and the value determination module 340 may each be implemented with separate processors.
  • a first processor may implement the appearance condition evaluation module 320 and a second processor may implement the value determination module 340.
  • the memory 310 may store a plurality of deep learning evaluation models. For example, the memory 310 detects a defect in the first evaluation area (e.g., the front) of the target electronic device and uses a first deep learning evaluation model to determine the grade of the detected defect (or the first evaluation area), the target A second deep learning evaluation model that detects defects in a second evaluation area (e.g., back) of the electronic device and determines the grade of the detected defect (or second evaluation area), and a third evaluation area (e.g., back side) of the target electronic device. A third deep learning evaluation model that detects defects on the side (or corner) and determines the grade of the detected defect (or third evaluation area), and defects in the fourth evaluation area (e.g., screen) of the target electronic device. It may include a fourth deep learning evaluation model that detects and determines the grade of the detected defect (or fourth evaluation area). Table 1 below shows examples of defect types and grades for each of the evaluation areas (e.g. screen, front, side (or corner), rear).
  • medium afterimage is, for example, the target electronic device displays a white screen, but the user sees certain areas of the screen (e.g. the status display area at the top of the screen) as non-white and an icon appears in the specific area. This can represent the visible phenomenon.
  • Strong afterimage for example, may indicate a phenomenon in which the target electronic device displays a white screen, but the user sees a color other than white overall on the screen.
  • LCD-level afterimages are a condition in which the degree of afterimages is worse than strong afterimages. For example, although the target electronic device displays a white screen, the user may see a color other than white overall and icons appear on the screen. there is.
  • Each of the first to fourth deep learning evaluation models can perform image segmentation on a given input image.
  • Figure 4 shows the schematic structure of a deep neural network that is the basis for each deep learning evaluation model.
  • the structure of a deep neural network will be described as an example, but it is not necessarily limited to this and neural networks of various structures can be used in deep learning evaluation models.
  • a deep neural network is a method of implementing a neural network and includes multiple layers.
  • a deep neural network for example, has an input layer (410) to which input data is applied, and an output layer (440) that outputs a result value derived through prediction based on input data based on training. ), and may include multiple hidden layers 420 and 430 between the input layer and the output layer.
  • Deep neural networks can be classified into convolutional neural networks, recurrent neural networks, etc., depending on the algorithm used to process information.
  • the input layer is called the lowest layer and the output layer is called the highest layer, and the layers can be named by sequentially ranking them from the output layer, which is the highest layer, to the input layer, which is the lowest layer.
  • hidden layer 2 is a layer higher than hidden layer 1 and the input layer, and may correspond to a lower layer than the output layer.
  • a relatively higher layer can output a predetermined calculation result by multiplying the output value of the relatively lower layer by a weight and receiving a biased value. At this time, the output operation result can be applied to the upper layer adjacent to the corresponding layer in a similar manner.
  • a method of training a neural network is called deep learning, and as described above, various algorithms such as convolutional neural networks and recurrent neural networks can be used in deep learning.
  • Training a neural network means determining and updating the weight(s) and bias(s) between layers, and/or weight(s) between a plurality of neurons belonging to different layers among adjacent layers, and It can be understood as encompassing both determining and updating bias(es).
  • the plurality of layers, the hierarchical structure between the plurality of layers, and the weights and biases between neurons can all be collectively expressed as the “connectivity” of a neural network. Accordingly, “training a neural network” can also be understood as building and training connectivity.
  • each of a plurality of layers may include a plurality of nodes.
  • Nodes may correspond to neurons in a neural network.
  • the term “neuron” may be used interchangeably with the term “node.”
  • Node 3-1 of hidden layer 2 (430) shown in FIG. 4 is connected to all nodes of hidden layer 1 (420), that is, all nodes 2-1 to 2-4, and is connected to the output value of each node. You can input a value multiplied by a predetermined weight.
  • Data input to the input layer 410 is processed through a plurality of hidden layers 420 and 430, so that an output value may be output through the output layer 440.
  • a larger weight multiplied by the output value of each node may mean that the connectivity between the two corresponding nodes is strengthened, and a smaller weight may mean that the connectivity between the two nodes is weakened. If the weight is 0, it may mean that there is no connectivity between the two nodes.
  • the appearance condition evaluation module 320 may perform an appearance condition evaluation on the target electronic device based on a plurality of images obtained by photographing the target electronic device and deep learning evaluation models. For example, the appearance condition evaluation module 320 may generate a mask predicting the defect state of each of the first to fourth evaluation areas of the target electronic device from images through deep learning evaluation models. The appearance condition evaluation module 320 may determine the grade of defects in each of the first to fourth evaluation areas based on each generated mask. The exterior condition evaluation module 320 may determine the final grade of the exterior condition of the target electronic device through each determined grade.
  • the first deep learning evaluation model 510 may receive a front image as input.
  • the first deep learning evaluation model 510 generates a first mask predicting the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the front of the target electronic device through the front image.
  • the degree of defect may be related to the defect type.
  • the first deep learning evaluation model 510 may perform image segmentation on the front image to classify each pixel of the front image into one of the first classes, and generate a first mask according to this classification. can do.
  • Table 2 below shows examples of first classes.
  • Class 1-1 e.g. frontal scratches, frontal major scratches, etc.
  • Class 1-2 e.g. front breakage, floating liquid crystal, etc.
  • Classes 1-3 e.g. non-electronic devices
  • Classes 1-4 e.g. front of target electronic device
  • the first camera in the shooting box can photograph not only the front of the target electronic device but also the surroundings of the front, so the front image may include a part that is not the target electronic device.
  • the first deep learning evaluation model 510 may classify some pixels of the front image as class 1-1, and classify each of the remaining pixels as class 1-2, class 1-3, or class 1-4. It can be classified as: Through this classification, the first deep learning evaluation model 510 can generate a first mask.
  • FIG. 6 An example of an image visually representing the first mask is shown in FIG. 6.
  • the black areas 610-1, 610-2, 610-3, and 610-4 are the first deep learning evaluation model 510 that selects some pixels of the front image as 1-3. It may represent a result of classification into a class (or a result of the first deep learning evaluation model 510 predicting that some pixels of the front image do not correspond to the target electronic device).
  • the area 620 is a result of the first deep learning evaluation model 510 classifying some pixels of the front image into first and second classes (or the front surface of the target electronic device from the first deep learning evaluation model 510 from the front image). (results predicted to be damaged) can be displayed.
  • the area 630 is a result of the first deep learning evaluation model 510 classifying some pixels of the front image into the 1-1 class (or the front surface of the target electronic device from the first deep learning evaluation model 510 from the front image). (a result predicted to have a flaw) can be displayed.
  • the area 640 is a result of the first deep learning evaluation model 510 classifying some pixels of the front image into classes 1 to 4 (or the front surface of the target electronic device in the front image by the first deep learning evaluation model 510). (predicted results) can be displayed.
  • the first deep learning evaluation model 510 may determine a grade for a defect on the front surface based on the first mask. For example, when the first deep learning evaluation model 510 predicts that there is at least one of damage and floating liquid crystal on the front of the target electronic device through the front image, the grade of the defect on the front of the target electronic device is graded as C. (e.g. grade C in Table 1 above). The first deep learning evaluation model 510 may output a score of 5 corresponding to a C grade. When the first deep learning evaluation model 510 predicts that there are damages and scratches on the front of the target electronic device through the front image, the grade of defects on the front of the target electronic device is graded as C (e.g., C in Table 1 above). grade) can be determined.
  • C e.g. grade C in Table 1 above
  • the first deep learning evaluation model 510 may output a score of 5 corresponding to a C grade.
  • the grade of the defect on the front of the target electronic device is graded as B (e.g. : It can be determined as Grade B in Table 1 above).
  • the first deep learning evaluation model 510 may output a score of 3 corresponding to grade B. If the first deep learning evaluation model 510 predicts that the front of the target electronic device is clean (or has no defects on the front) through the front image, the grade of the defect on the front of the target electronic device is graded as A (e.g. : It can be determined as Grade A in Table 1 above).
  • the first deep learning evaluation model 510 may output a score of 1 corresponding to grade A.
  • the second deep learning evaluation model 520 can receive a rear image as input.
  • the second deep learning evaluation model 520 generates a second mask predicting the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the back of the target electronic device through the back image.
  • the second deep learning evaluation model 520 may perform image segmentation on the back image, and classify each pixel of the back image into one of the second classes. Through this classification, the second deep learning evaluation model 520 may perform image segmentation on the back image.
  • Class 2-1 e.g. breakage, back lifting, camera retention (or lens) breakage, etc.
  • Class 2-2 e.g. parts that are not subject electronic devices
  • Class 2-3 e.g. rear of target electronic device
  • the second deep learning evaluation model 520 may determine the grade of the defect on the back side based on the second mask. For example, if the second deep learning evaluation model 520 predicts that there is at least one of breakage, back lifting, and camera lens damage on the back of the target electronic device through the rear image, the defect on the back of the target electronic device The grade can be determined as grade C (e.g. grade C in Table 1 above). The second deep learning evaluation model 520 may output a score of 5 corresponding to a C grade. If the second deep learning evaluation model 520 predicts that the back of the target electronic device is clean through the back image, it determines the grade of the defect on the back of the target electronic device as grade A (e.g., grade A in Table 1 above). You can.
  • grade C e.g. grade C in Table 1 above
  • the second deep learning evaluation model 520 may output a score of 5 corresponding to a C grade. If the second deep learning evaluation model 520 predicts that the back of the target electronic device is clean through the back image, it determines
  • the second deep learning evaluation model 520 may output a score of 1 corresponding to grade A.
  • the third deep learning evaluation model 530 may receive side images (or corner images) as input.
  • the third deep learning evaluation model 530 determines the defect state (e.g., location of defect, type of defect, and degree of defect) of the sides (or corners) of the target electronic device through side images (or corner images).
  • a third mask predicting (at least one of) can be generated.
  • the third deep learning evaluation model 530 may perform image segmentation on side images (or corner images) and classify each pixel of each side image into one of the third classes. And through this classification, a third mask can be created. Table 4 below shows examples of third classes.
  • Class 3-1 e.g. scratches
  • Class 3-2 e.g. parts that are not covered electronic devices
  • Class 3-3 e.g. the side (or corner) of the subject electronic device
  • the third deep learning evaluation model 530 may determine the grade of defects in the sides (or corners) based on the third mask. For example, when the third deep learning evaluation model 530 predicts that there is a scratch on the first side (or first corner) of the target electronic device through the side images (or corner images), the target electronic device The grade for defects on the sides (or corners) can be determined as grade B+ (e.g. grade B+ in Table 1 above). The third deep learning evaluation model 530 may output a score of 2 corresponding to a B+ grade. When the third deep learning evaluation model 530 predicts that the sides (or corners) of the target electronic device are clean through the side images (or corner images), the sides (or corners) of the target electronic device are clean.
  • the grade for defects can be determined as grade A (e.g. grade A in Table 1 above).
  • the third deep learning evaluation model 530 may output a score of 1 corresponding to grade A.
  • the fourth deep learning evaluation model 540 may receive a screen image (e.g., a single-color screen image) as input to the target electronic device.
  • the fourth deep learning evaluation model 540 generates a fourth mask that predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the screen of the target electronic device through the screen image. You can.
  • the fourth deep learning evaluation model 540 can perform image segmentation on the screen image and classify each pixel of the screen image into one of the fourth classes, and through this classification, the fourth class You can create a mask. Table 5 below shows examples of the fourth classes.
  • Class 4-1 e.g. 3 or more white spots, screen lines, stains, black spots, bullet damage, etc.
  • Class 4-2 e.g. LCD-class afterimage, LCD-class whitening, etc.
  • Class 4-3 e.g. strong afterimage, 2 or less white flowers, etc.
  • Class 4-4 e.g. medium afterimage, etc.
  • Classes 4-5 e.g. parts that are not subject electronic devices
  • Class 4-6 e.g. screen of target electronic device
  • the fourth deep learning evaluation model 540 may determine a grade for a defect in the screen of the target electronic device based on the fourth mask. For example, if the fourth deep learning evaluation model 540 predicts through the screen image that the screen of the target electronic device has at least one of three or more white spots, screen lines, black spots, or bullet damage, the target electronic device The grade of the screen defect can be determined as grade D (e.g. grade D in Table 1 above). The fourth deep learning evaluation model 540 can output a score of 7 corresponding to the D grade.
  • grade D e.g. grade D in Table 1 above
  • the grade of defect on the screen of the target electronic device is DL grade ( Example: DL grade in Table 1 above) can be determined.
  • the fourth deep learning evaluation model 540 can output a score of 6 corresponding to the DL grade.
  • the rating for the defect on the screen of the target electronic device is a CL rating. (e.g. CL grade in Table 1 above).
  • the fourth deep learning evaluation model 540 can output a score of 4 corresponding to the CL grade.
  • the defect grade on the screen of the target electronic device is graded as B (e.g., grade B in Table 1 above). ) can be determined.
  • the fourth deep learning evaluation model 540 can output a score of 3 corresponding to grade B. If the fourth deep learning evaluation model 540 predicts that the screen of the target electronic device is clean through the screen image, it determines the grade of defect on the screen of the target electronic device as grade A (e.g. grade A in Table 1 above). You can.
  • the fourth deep learning evaluation model 540 may output a score of 1 corresponding to grade A.
  • the value determination module 330 may determine the value of the target electronic device based on the result of evaluating the external state of the target electronic device and/or the result of evaluating the internal state of the target electronic device.
  • the value determination module 330 may determine the minimum grade among the grades determined by each of the first to fourth deep learning evaluation models 510 to 540 as the final grade for the external condition of the target electronic device. .
  • Grade A is the highest
  • Grade B+ can be lower than Grade A and higher than Grade B.
  • Grade CL may be lower than Grade B and higher than Grade C.
  • Grade D may be the lowest.
  • the grade determined by the first deep learning evaluation model 510 is a grade C
  • the grade determined by the second deep learning evaluation model 520 is a grade B+
  • the grade determined by the third deep learning evaluation model 530 is a grade B+.
  • the determined grade may be a C grade
  • the grade determined by the fourth deep learning evaluation model 540 may be a CL grade.
  • the C grade determined by the first deep learning evaluation model 510 may be the minimum grade, so the value determination module 330 determines the target electronic
  • the final grade for the external condition of the device can be determined as grade C.
  • the lower the grade the higher the score output by each of the first to fourth deep learning evaluation models 510 to 540.
  • the value determination module 330 may determine the maximum score among the scores output by each of the first to fourth deep learning evaluation models 510 to 540 as the final score for the appearance evaluation of the target electronic device.
  • the value determination module 330 may apply weights to the grades (or scores) determined by each of the first to fourth deep learning evaluation models 510 to 540, and the grade to which each weight is applied ( or score) can be used to determine the final grade (or final score) for the external condition of the target electronic device. For example, the value determination module 330 may apply a first weight to the grade (or score) determined by the first deep learning evaluation model 510, and the grade determined by the second deep learning evaluation model 520. A second weight may be applied to the (or score), and a third weight may be applied to the grade (or score) determined by the third deep learning evaluation model 530, and the fourth deep learning evaluation model 540 A fourth weight can be applied to the grade determined by .
  • each of the first to fourth weights may be greater than 0 and less than 1.
  • the value determination module 330 may determine the final grade (or final score) for the external condition of the target electronic device by adding up the grades (or scores) to which each of the first to fourth weights are applied.
  • the value determination module 330 may determine the first amount based on the result of evaluating the external condition of the target electronic device (e.g., the final grade (or final score) for the external condition of the target electronic device), The second amount may be determined based on the results of the internal condition evaluation.
  • the value determination module 330 calculates the price of the target electronic device by subtracting the first amount and the second amount from the reference price of the target electronic device (e.g., the highest used price of the target electronic device of the same type as the target electronic device). can do.
  • the value determination module 330 may obtain a standard price of a target electronic device by linking it with a used market price database.
  • the value determination module 330 may obtain the final grade of the external condition of the target electronic device and the mapped first amount of money from the first table in which the grade of the external condition and the amount are mapped to each other.
  • the value determination module 330 may obtain a second amount of money mapped to the result of evaluating the internal state of the target electronic device from a second table in which the level of the internal state and the amount are mapped to each other.
  • the value determination module 330 may calculate the price of the target electronic device by subtracting the first amount and the second amount from the reference amount.
  • the value determination module 330 may transmit the value (eg, price) of the target electronic device to the unmanned purchase device 110 .
  • the unmanned purchasing device 110 may show the value (eg, price) of the target electronic device to the user through a display.
  • the value determination module 330 may display the value (eg, price) of the target electronic device on the display of the unmanned purchase device 110.
  • the appearance condition evaluation module 320 may determine whether each of the images (e.g., front image, back image, side image, screen image) includes one or more objects that would be mistaken for a defect.
  • the object may include at least one of a first object corresponding to a floating icon on the screen of the target electronic device and a second object corresponding to an attachment (eg, protective film, sticker, etc.) of the target electronic device.
  • the first object corresponding to the floating icon may represent an object included in the image by photographing the floating icon on the screen of the target electronic device.
  • Floating icons may include, but are not limited to, for example, a floating icon for assistive touch, a floating icon for triggering a specific task, etc.
  • the second object corresponding to the attachment of the target electronic device may represent an object included in the image by photographing the attachment of the target electronic device.
  • the appearance condition evaluation module 320 may perform processing on the object. For example, the appearance condition evaluation module 320 may perform masking processing on an object, but is not limited thereto. The appearance condition evaluation module 320 may perform appearance condition evaluation based on the image in which the object has been processed, the remaining images that do not include the object, and the deep learning evaluation models 510 to 540.
  • the appearance state evaluation module 320 is a mask that predicts the defect state of each evaluation area of the target electronic device from the image in which the object has been processed and the remaining images that do not include the object through the deep learning evaluation models 510 to 540. can be generated, a grade for a defect in each of the evaluation areas can be determined based on each generated mask, and a final grade for the external state of the target electronic device can be determined through each determined grade.
  • the appearance condition evaluation module 320 may determine that there is no image including the above-described object among images obtained by photographing the target electronic device. In this case, as described above, the appearance condition evaluation module 320 may perform appearance condition evaluation based on images and deep learning evaluation models 510 to 540.
  • the appearance condition evaluation module 320 determines whether there are images that cannot be analyzed by one or more of the deep learning evaluation models (hereinafter referred to as “model-analyzable images”) among the images obtained by photographing the target electronic device. You can judge. For example, the exterior condition evaluation module 320 may determine, among images obtained by photographing a target electronic device, images in which light reflection exists above a certain level, images in which the camera is out of focus, etc., as images that cannot be model analyzed. If there is an image that cannot be model analyzed, the exterior condition evaluation module 320 may request the operator to evaluate the exterior condition of the target electronic device.
  • the exterior condition evaluation module 320 may request the operator to evaluate the exterior condition of the target electronic device.
  • the electronic device value evaluation device 130 may evaluate the value of a bar-type target electronic device.
  • the electronic device value evaluation device 130 (or the appearance condition evaluation module 320) uses a plurality of images obtained by photographing a bar-type target electronic device and the first to fourth deep learning Based on the evaluation models 510 to 540, an external condition evaluation of the bar-type target electronic device may be performed.
  • the electronic device value evaluation device 130 can evaluate the value of a target electronic device whose shape can be changed (eg, foldable, rollable, etc.).
  • a target electronic device whose shape can be changed may have a first form (e.g., an unfolded form or a contracted form) and a second form (e.g., a folded form or expansion form) by manipulation. ) form) can be changed.
  • a foldable electronic device may be in an unfolded form, and the shape may be changed to a folded form through manipulation.
  • the rollable target electronic device may be in a reduced form, and the shape may be changed to an expanded form through manipulation.
  • the collapsed form may represent a state in which the rollable display is rolled in into the device
  • the expanded form may represent a state in which the rollable display is rolled out from the device.
  • the electronic device value evaluation device 130 uses a plurality of images obtained by photographing a foldable target electronic device in an unfolded form and the first to fourth deep learning Based on the evaluation models 510 to 540, the level of defects in each evaluation area of the foldable target electronic device in the unfolded form can be determined.
  • the unmanned embedding device 110 can change the foldable target electronic device in the shooting box from the unfolded form to the folded form.
  • the unmanned purchase device 110 may request the user to change the foldable target electronic device from the unfolded form to the folded form and then reinsert the target electronic device in the folded form into the unmanned purchase device 110.
  • the folded portion may form a side surface, and the sub-screen of the foldable electronic device may be activated.
  • the unmanned embedding device 110 may acquire an image (hereinafter referred to as an image of the folded side) by photographing the side corresponding to the folded portion of the foldable target electronic device through one or more of the plurality of third cameras in the shooting box. .
  • the unmanned embedding device 110 may acquire an image (hereinafter referred to as a sub-screen image) by photographing the sub-screen of the foldable target electronic device through the first camera in the capturing box.
  • the electronic device value evaluation device 130 (or the appearance condition evaluation module 320) is a fifth evaluation area (e.g., corresponding to the folded portion) of the foldable target electronic device based on the image of the folded side and the fifth deep learning evaluation model. aspect) can be evaluated.
  • the fifth deep learning evaluation model may be a deep learning evaluation model that detects defects in the fifth evaluation area of the foldable target electronic device and determines the grade of the detected defect (or fifth evaluation area).
  • the electronic device value evaluation device 130 (or the external condition evaluation module 320) may input an image of the folded side into the fifth deep learning evaluation model.
  • the fifth deep learning evaluation model predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the fifth evaluation area of the foldable target electronic device through the image of the folded side. You can create a mask.
  • the fifth deep learning evaluation model may determine a grade for a defect in the fifth evaluation area of the foldable target electronic device based on the fifth mask.
  • the electronic device value evaluation device 130 evaluates the sixth evaluation area (e.g., sub-screen) of the foldable target electronic device based on the sub-screen image and the sixth deep learning evaluation model.
  • the sixth deep learning evaluation model may be a deep learning evaluation model that detects defects in the sixth evaluation area of the foldable target electronic device and determines the grade of the detected defect (or sixth evaluation area).
  • the electronic device value evaluation device 130 may input a sub-screen image into the sixth deep learning evaluation model.
  • the sixth deep learning evaluation model is a sixth mask that predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the sixth evaluation area of the foldable target electronic device through the sub-screen image. can be created.
  • the sixth deep learning evaluation model may determine a grade for a defect in the sixth evaluation area of the foldable target electronic device based on the sixth mask.
  • the electronic device value evaluation device 130 or the appearance condition evaluation module 320
  • the grade of the defect (e.g. sub screen) can be determined.
  • the electronic device value evaluation device 130 (or value determination module 330) provides a result of evaluating the external condition of the foldable target electronic device (e.g., a grade determined by each of the first to sixth deep learning evaluation models) and/or The value of the foldable target electronic device can be determined based on the results of evaluating the internal state of the foldable target electronic device.
  • a result of evaluating the external condition of the foldable target electronic device e.g., a grade determined by each of the first to sixth deep learning evaluation models
  • the value of the foldable target electronic device can be determined based on the results of evaluating the internal state of the foldable target electronic device.
  • the electronic device value evaluation device 130 uses a plurality of images obtained by photographing a rollable target electronic device in a reduced form and the first to fourth deep learning evaluations. Based on the models 510 to 540, the level of defects in each evaluation area of the miniature rollable target electronic device can be determined.
  • the unmanned embedding device 110 can change the rollable target electronic device in the shooting box from a reduced form to an expanded form. Alternatively, the unmanned embedding device 110 may request the user to change the rollable target electronic device from a reduced form to an expanded form and then reinsert the target electronic device in the expanded form into the unmanned embedding device 110.
  • the screen and sides may expand.
  • the unmanned embedding device 110 may acquire an image (hereinafter referred to as an image of the expanded side) by photographing the expanded side through one or more of the plurality of third cameras in the shooting box.
  • the unmanned embedding device 110 may acquire an image (hereinafter referred to as an image of the expanded screen) by photographing the expanded screen of the target electronic device through the first camera in the capturing box.
  • the electronic device value evaluation device 130 (or the appearance condition evaluation module 320) is based on the image of the expanded side and the seventh deep learning evaluation model to determine the seventh evaluation area (e.g., the expanded side) of the rollable target electronic device. ) can be evaluated.
  • the seventh deep learning evaluation model may be a deep learning evaluation model that detects defects in the seventh evaluation area of the rollable target electronic device and determines the grade of the detected defect (or seventh evaluation area).
  • the electronic device value evaluation device 130 (or the external condition evaluation module 320) may input an image of the expanded side surface into the seventh deep learning evaluation model.
  • the seventh deep learning evaluation model predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the seventh evaluation area of the rollable target electronic device through the extended side image. 7 You can create a mask.
  • the seventh deep learning evaluation model may determine a grade for a defect in the seventh evaluation area of the rollable target electronic device based on the seventh mask.
  • the electronic device value evaluation device 130 or the external condition evaluation module 320 may determine the seventh value of the rollable target electronic device based on the expanded side image and the third deep learning evaluation model 530.
  • Assessment areas e.g. expanded aspects
  • the electronic device value evaluation device 130 (or the appearance condition evaluation module 320) is based on the image of the expanded screen and the fourth deep learning evaluation model 540 to determine the eighth evaluation area of the rollable target electronic device (e.g. extended screen) can be evaluated.
  • the electronic device value evaluation device 130 (or the external condition evaluation module 320) may input an image of the expanded screen into the fourth deep learning evaluation model 540.
  • the fourth deep learning evaluation model 540 may be a deep learning evaluation model that generates a mask predicting the defect state of the screen from a given screen image and determines the grade of the screen defect based on the generated mask. there is.
  • the fourth deep learning evaluation model 540 determines the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the eighth evaluation area of the rollable target electronic device through the image of the expanded screen.
  • the predicted eighth mask can be generated.
  • the fourth deep learning evaluation model 540 may determine the grade of a defect in the eighth evaluation area of the rollable target electronic device based on the eighth mask.
  • the electronic device value evaluation device 130 (or value determination module 330) provides results of evaluating the external condition of the rollable target electronic device (e.g., each of the first to fourth deep learning evaluation models and the seventh deep learning evaluation model).
  • the value of the rollable target electronic device may be determined based on the grade determined by the rollable target electronic device) and/or the results of the internal state evaluation of the rollable target electronic device.
  • the unmanned purchase device 110 may receive a wearable device (eg, a smart watch) from a user.
  • the electronic device value evaluation device 130 may store deep learning evaluation models that can evaluate the appearance (e.g., front, back, side, screen) of the wearable device.
  • the electronic device value evaluation device 130 may perform an external condition evaluation of the wearable device based on images obtained by photographing the wearable device and deep learning evaluation models.
  • the electronic device value evaluation device 130 may determine the value of the wearable device based on the result of evaluating the external state of the wearable device and the result of evaluating the internal state of the wearable device.
  • Figure 7 is a flowchart explaining a method of evaluating the value of a target electronic device according to an embodiment.
  • the electronic device value evaluation device 130 evaluates the external condition of the target electronic device based on a plurality of images obtained by photographing the target electronic device and a plurality of deep learning evaluation models. It can be done.
  • the electronic device value evaluation device 130 may generate a mask predicting the defect state of each evaluation area of the target electronic device from images through deep learning evaluation models 510 to 540, and each generated mask may be Based on this, a grade for a defect in each of the evaluation areas of the target electronic device can be determined.
  • the electronic device value evaluation device 130 may determine the final grade of the external condition of the target electronic device through each determined grade.
  • the shape of the target electronic device may change.
  • the electronic device value evaluation device 130 may change the target electronic device from a first form (eg, unfolded form or reduced form) to a second form (eg, folded form or expanded form).
  • the electronic device value evaluation device 130 may request the user to change the target electronic device from the first type to the second type and then reinsert the target electronic device of the second type into the unmanned purchasing device 110.
  • the electronic device value evaluation device 130 may use additional deep learning evaluation models other than the deep learning evaluation models 510 to 540 (e.g., the fifth deep learning evaluation model described above, the sixth deep learning evaluation model).
  • a mask predicting the defect state of the evaluation area of the changed form of the target electronic device from the image obtained by photographing the changed form of the target electronic device (e.g., At least one of the fifth mask, sixth mask, and seventh mask described above) can be generated.
  • the electronic device value evaluation apparatus 130 may determine a grade for a defect in the changed evaluation area of the target electronic device based on a mask that predicts the defect state of the changed evaluation area.
  • Each of the fifth to seventh deep learning evaluation models described above can perform image segmentation on a given input image.
  • the electronic device value evaluation apparatus 130 may determine the value of the target electronic device based on the result of evaluating the external state of the target electronic device and the result of evaluating the internal state of the target electronic device.
  • Matters described with reference to FIGS. 1 to 6 may be applied to the method of evaluating the value of a target electronic device in FIG. 7 .
  • 8 to 13 are diagrams explaining an exception case processing method according to an embodiment.
  • step 710 of FIG. 7 At least some or all of the steps shown in FIG. 8 may be included in step 710 of FIG. 7 .
  • the steps shown in FIG. 8 may be performed by the electronic device value evaluation device 130 (or the appearance condition evaluation module 320).
  • the electronic device value evaluation device 130 may determine whether an exception case exists in the images.
  • the exception case is when the first object corresponding to the floating icon of the target electronic device, the second object corresponding to the attachment of the target electronic device, and the shooting conditions (e.g., camera focus and/or lighting brightness) are not satisfied. It may include at least one or a combination of a first case that corresponds to a situation in which a screen not specified in the target electronic device is turned on, and a second case that corresponds to a situation in which a screen not specified in the target electronic device is turned on.
  • the image 900 shown in FIG. 9 is an example of a screen image of a target electronic device (e.g., iPhone®), and the image 900 includes a first object 910 corresponding to a floating icon (e.g., assistive touch). ) may exist.
  • the first camera in the photographing box of the unmanned embedded device 110 may acquire the image 900 by photographing a monochromatic screen (eg, white screen) of the target electronic device with a floating icon (eg, assistive touch). Accordingly, a first object 910 corresponding to a floating icon (eg, assistive touch) may exist in the image 900.
  • Floating icons e.g. assistive touch
  • the electronic device value evaluation device 130 recognizes the first object 910 as a screen defect (or screen breakage). (or may be misunderstood).
  • the electronic device value evaluation device 130 may detect the first object 910 in the image 900 before inputting the image 900 into the fourth deep learning evaluation model 540.
  • the electronic device value evaluation device 130 may detect the first object 910 in the image 900 using a template matching algorithm. The method of detecting the first object 910 is not limited to the template matching algorithm.
  • the electronic device value evaluation device 130 may perform masking processing (or filtering processing) on the first object 910, as will be described later.
  • the electronic device value evaluation device 130 may prevent the fourth deep learning evaluation model 540 from recognizing the first object 910 as a screen defect.
  • the image 100 shown in FIG. 10 is an example of a screen image of a target electronic device (e.g., Samsung Electronics' Galaxy smartphone), and a first object 1010 corresponding to a floating icon may exist in the image 1000.
  • the first camera in the shooting box of the unmanned embedded device 110 may acquire the image 1000 by photographing a monochromatic screen (eg, a white screen) of the target electronic device with a floating icon. Accordingly, a first object 1010 corresponding to a floating icon may exist in the image 1000. If there is no special processing for the first object 1010, the electronic device value evaluation device 130 (or the fourth deep learning evaluation model 540) recognizes the first object 1010 as a screen defect (or screen breakage). (or may be misunderstood).
  • the electronic device value evaluation device 130 may detect the first object 1010 in the image 1000 using a template matching algorithm before inputting the image 1000 into the fourth deep learning evaluation model 540. , masking processing (or filtering processing) may be performed on the first object 1010. The first object 1010 can be prevented from being recognized as a screen defect.
  • the image 1100 shown in FIG. 11 is an example of a rear image of a target electronic device, and a second object 1110 corresponding to a sticker attached to the target electronic device may exist in the image 1100.
  • the second camera in the photographing box of the unmanned purchase device 110 may acquire the image 1100 by photographing the rear of the target electronic device to which the sticker is attached. Accordingly, a second object 1110 corresponding to a sticker may exist in the image 1100. Without any special processing on the second object 1110, it may be difficult for the electronic device value evaluation device 130 (or the second deep learning evaluation model 520) to accurately evaluate the back of the target electronic device.
  • the electronic device value evaluation device 130 may detect the second object 1110 in the image 1100 before inputting the image 1100 into the second deep learning evaluation model 520. For example, the electronic device valuation device 130 may perform blur processing on the image 1100 and use (or extract) pixel values within a certain threshold from the blurred image 1100. By finding the contour, the location of the second object 1110 can be determined. The electronic device value evaluation device 130 may perform masking processing (or filtering processing) on the second object 1110. The electronic device value evaluation device 130 may prevent the second object 1010 from being recognized as a screen defect.
  • the image 1200 shown in FIG. 12 and the image 1300 shown in FIG. 13 are examples of screen images of the target electronic device.
  • a screen (not specified in the target electronic device) (e.g. home screen of the target electronic device, screen displaying text, etc.) is turned on.
  • an unspecified screen may be turned on on the target electronic device.
  • the image 1200 of FIG. 12 may be obtained, for example.
  • image 1300 of FIG. 12 Referring to image 1300 of FIG.
  • a designated screen (e.g., a monochromatic screen) is turned on in the target electronic device. If the first application installed on the target electronic device operates normally, the designated screen may be turned on on the target electronic device. If the first camera captures the screen of the target electronic device while the screen designated for the target electronic device is turned on, for example, the image 1300 of FIG. 13 may be obtained. It may be difficult for the electronic device value evaluation device 130 (or the fourth deep learning evaluation model 540) to accurately determine whether there is a defect in the screen of the target electronic device from the image 1200 of FIG. 12. The electronic device value evaluation device 130 (or the fourth deep learning evaluation model 540) can accurately determine whether there is a defect in the screen of the target electronic device from the image 1300 of FIG. 13.
  • the electronic device value evaluation device 130 or the fourth deep learning evaluation model 540
  • the electronic device value evaluation device 130 may crop a partial area 1210 of the screen of the target electronic device in the image 1200 to determine whether the screen designated for the target electronic device is turned on.
  • the electronic device value evaluation device 130 may convert the color of the cropped area 1210 from a first color (eg, RGB) to a second color (eg, HSV).
  • the electronic device value evaluation device 130 can check the saturation information and brightness information of the color-converted area, and if the combined value of the saturation information and brightness information is more than a certain value (e.g., 70000), it is assigned to the target electronic device. It may be determined that a second case corresponding to a situation in which a screen that is not turned on has occurred. As an example shown in FIG.
  • the electronic device value evaluation device 130 may crop a partial area 1310 of the screen of the target electronic device in the image 1300 and select the color of the cropped area 1310.
  • the first color can be converted to the second color, and if the sum of saturation information and brightness information in the color-converted area is less than a certain value, it can be determined that the second case has not occurred.
  • the electronic device value evaluation device 130 may determine whether there is a first case (eg, out-focusing) in which the shooting conditions (eg, camera focus) are not satisfied among the images.
  • the electronic device valuation device 130 can crop an area containing a target electronic device in a specific image, detect an edge in the cropped area, and determine a specific value through the edge detection result. It is possible to determine whether the image is out of focus.
  • the electronic device value evaluation device 130 may calculate the variance of the Laplacian of the cropped area, and if the calculated variance is less than a threshold (e.g., 250), the first shooting condition is not satisfied. It can be determined that there is a case (e.g. out-of-focusing).
  • At least one of the images obtained by photographing the target electronic device may be obtained by photographing while the lighting brightness (or lighting intensity) is above a certain level.
  • the electronic device value evaluation device 130 may determine whether there is a first case (eg, a case where the lighting brightness exceeds a certain level) in which the shooting conditions (eg, lighting brightness) are not satisfied among the images. For example, the electronic device value evaluation device 130 may calculate the average of pixel values of a specific image. If the calculated average exceeds a certain value (e.g., 120), the electronic device value evaluation device 130 determines that there is a first case (e.g., a case in which the lighting brightness exceeds a certain level) in which the shooting conditions are not satisfied. can do.
  • a first case e.g., a case in which the lighting brightness exceeds a certain level
  • the electronic device value evaluation device 130 includes images of a first object, a second object, a first case in which the shooting conditions (e.g., camera focus and/or lighting brightness) are not met, and a target electronic device. It may be determined whether there is at least one of the second cases corresponding to a situation in which an unspecified screen is turned on, or a combination thereof.
  • the shooting conditions e.g., camera focus and/or lighting brightness
  • the electronic device value evaluation device 130 may perform appearance condition evaluation in step 803. Regarding the appearance condition evaluation in step 803, the appearance condition evaluation described above can be applied, so detailed description is omitted.
  • the electronic device value evaluation device 130 may determine whether the exception case can be processed in step 805. For example, the electronic device value evaluation device 130 may determine that image processing of the first object and the second object is possible by the electronic device value evaluation device 130 . The electronic device value evaluation device 130 may determine that image processing is not possible in the first case and the second case by the electronic device value evaluation device 130.
  • the electronic device valuation device 130 may process the exception case in step 807. there is. For example, when the first object exists in the screen image of the target electronic device, the electronic device value evaluation apparatus 130 may perform masking processing (or filtering processing) on the first object. When a first object exists in the screen image of the target electronic device and a second object exists in the rear image of the target electronic device, the electronic device value evaluation device 130 performs masking (or filtering) on each of the first and second objects. processing) can be performed.
  • the electronic device value evaluation device 130 may perform an appearance condition evaluation using the remaining images in which no exception cases exist among the images, one or more images in which the exception cases have been processed, and deep learning evaluation models.
  • the fourth deep learning evaluation model 540 performs image segmentation on the screen image with the first object masked. can do.
  • the fourth deep learning evaluation model 540 can classify each pixel of the screen image in which the first object has been masked into one of the fourth classes in Table 5 above, and generate a fourth mask through this classification. You can.
  • Table 5 above may further include the 4-7 class (e.g., exception screen of the target electronic device), and the fourth deep learning evaluation model 540 classifies the masked pixels into the 4-7 class. (e.g. exception screen of target electronic device).
  • the fourth deep learning evaluation model 540 may determine a grade for a defect in the screen of the target electronic device based on the fourth mask. If a second object exists in the back image of the target electronic device and the second object is masked, the second deep learning evaluation model 520 may perform image segmentation on the back image with the second object masked. The second deep learning evaluation model 520 can classify each pixel of the back image in which the second object is masked into one of the second classes in Table 3 above, and generate a second mask through this classification.
  • Table 3 above may further include classes 2-4 (e.g., exception rear of target electronic device), and the second deep learning evaluation model 520 classifies the masked pixels into classes 2-4. (e.g. exception back of target electronic device).
  • the second deep learning evaluation model 520 may determine a grade for a defect on the back of the target electronic device based on the second mask.
  • the electronic device valuation device 130 is an exception case that cannot be processed through image processing (e.g., at least one of the first case and the second case).
  • the operator may be requested to handle the exception case.
  • the electronic device value evaluation device 130 may determine that operator processing is necessary when at least one of the first case and the second case exists. If there is a first case in which the shooting conditions are not satisfied (e.g., a case in which the lighting brightness exceeds a certain level) and/or a second case in which an unspecified screen is turned on on the target electronic device, the operator may use the unmanned acquisition device ( 110) may be instructed to rephotograph the target electronic device, or the operator may evaluate the external condition of the target electronic device.
  • 14A and 14B are diagrams illustrating an external condition evaluation module of an electronic device value evaluation device according to an embodiment.
  • the shooting environment e.g. shooting box, lights in the shooting box, cameras, etc.
  • the learning images used for training the deep learning evaluation model are acquired and the unmanned embedded device (110) for actually evaluating the electronic device
  • Differences between the shooting environment may cause defect analysis errors.
  • defect analysis errors may occur.
  • the external image of the electronic device inserted into the unmanned mounting device 110 may be changed in the shooting environment. There may be differences from the exterior image taken of the electronic device before the change. These differences can cause defect analysis errors.
  • the exterior image of the electronic device may be distorted or have errors due to an error in the photographing of the unmanned embedded device 110, and this exterior image may cause a defect analysis error.
  • a defect analysis error in the deep learning evaluation model may occur.
  • the back color of the electronic device 1401a may be a (e.g., a black color)
  • the back color of the electronic device 1401b may be b (e.g., a white color)
  • the electronic device 1401c may have a back color of B (e.g., a white color).
  • the back color of the electronic device 1401d may be c (e.g., a gold-based color)
  • the back color of the electronic device 1401d may be d (e.g., a blue-based color).
  • a camera module 1401a-1 may be located on the rear of the electronic device 1401a in FIG. 14A, a camera module 1401a-b may be located on the rear of the electronic device 1401b, and the electronic device 1401c.
  • a camera module 1401c-1 may be located on the rear of the electronic device 1401d, and a camera module 1401d-1 may be located on the rear of the electronic device 1401d.
  • the deep learning evaluation model can accurately recognize the camera portion from the rear image of some of the electronic devices (e.g., electronic device 1401b, 1401c) among the electronic devices 1401a, 1401b, 1401c, and 1401d. You can.
  • the deep learning evaluation model uses some (1401a-2) of the camera modules (1401a-1) of the electronic device (1401a) from the rear image of the electronic device (1401a) due to the rear color of the electronic device (1401a). may not be recognized, or part (1401a-2) of the camera module (1401a-1) may be mistakenly recognized as a defect.
  • the deep learning evaluation model is based on the fact that the back color of the electronic device 1401a and the color of the camera module 1401a-1 are the same, and the camera module 1401a of the electronic device 1401a is calculated from the rear image of the back of the electronic device 1401a. -1), part (1401a-2) may not be recognized, or part (1401a-2) of the camera module (1401a-1) may be incorrectly recognized as a defect.
  • the camera module 1401d-1 may not be clearly captured in the rear image taken.
  • the deep learning evaluation model does not recognize some (1401d-2) of the camera modules (1401d-1) of the electronic device (1401d) from the rear image of the electronic device (1401d) or the camera module (1401d). Part of -1) (1401d-2) may be mistakenly recognized as a defect.
  • a defect analysis error occurs, it is either incorrectly judged to be high when the level of the defect in the electronic device is actually low (over-evaluation), incorrectly judged to be low when the level of the defect in the electronic device is actually high (down-evaluation), or Although there is a defect, it may be incorrectly determined that there is no defect (miss evaluation), or the defect may be incorrectly judged to be a different type of defect (error evaluation).
  • the electronic device value evaluation device 130 can reduce defect analysis errors in deep learning evaluation models and enable the value of electronic devices to be accurately evaluated.
  • the appearance condition evaluation module 1400 (e.g., the appearance condition evaluation module 320) according to an embodiment includes a defect grade evaluation unit (defect detection result evaluation unit) 1410 and a database (DB). ) (1420), a correction unit (1430), and a status inspection unit (1440).
  • the defect rating evaluation unit 1410 may determine whether the analysis results (eg, whether a defect is detected and/or a rating for the defect) of each of the deep learning evaluation models 510, 520, 530, and 540 are appropriate. For example, the defect rating evaluation unit 1410 determines whether the analysis result of the first deep learning evaluation model 510 (e.g., detection of a defect on the front of the target electronic device and/or a rating for the defect on the front) is appropriate ( Alternatively, it can be determined whether there is an error in the analysis results.
  • the analysis result of the first deep learning evaluation model 510 e.g., detection of a defect on the front of the target electronic device and/or a rating for the defect on the front
  • the defect rating evaluation unit 1410 determines whether the analysis result of the second deep learning evaluation model 520 (e.g., whether a defect is detected on the back of the target electronic device and/or a rating for the defect on the back) is appropriate (or whether the analysis result is (whether there is an error) can be determined.
  • the defect rating evaluation unit 1410 determines whether the analysis result of the third deep learning evaluation model 530 (e.g., detection of a defect on the side of the target electronic device and/or a rating for the defect on the side) is appropriate (or whether the analysis result is (whether there is an error) can be determined.
  • the defect rating evaluation unit 1410 determines whether the analysis result of the fourth deep learning evaluation model 510 (e.g., whether a defect is detected on the screen of the target electronic device and/or a rating for the defect on the screen) is appropriate (or whether the analysis result is (whether there is an error) can be determined.
  • the appearance condition evaluation module 1400 includes a model of the target electronic device among the electronic devices purchased (or whose value was evaluated) by the unmanned purchase device 110 (A defect detection history of which defects were detected and how many times (hereinafter referred to as “defect detection history for the target model”) may be stored in the same electronic devices (hereinafter referred to as “target model”). Table 6 below shows an example of defect detection history for the target model.
  • the appearance condition evaluation module 1400 determines the target model based on the number of times defects are detected in each evaluation area of the electronic devices of the target model among the electronic devices purchased by the unmanned purchase device 110.
  • the defect probability data of the model can be calculated. Tables 7 to 10 below show examples of defect probability data of the target model.
  • the probability value f 1 may represent the probability that a front defect a is detected on the front side of a given electronic device of the target model
  • the probability value f 2 may represent the probability that a front defect b is detected on the front side of a given electronic device of the target model.
  • each probability value in Tables 8 to 10 above can be interpreted.
  • the defect probability data of the target model may change.
  • the appearance condition evaluation module 1400 or defect rating evaluation unit (1410) may update defect probability data of the target model.
  • the defect rating evaluation unit 1410 determines whether the analysis results of each of the deep learning evaluation models 510, 520, 530, and 540 are appropriate based on the defect probability data of the DB 1420 and the target model. can be judged.
  • the DB 1420 may record reference probability data for models of various electronic devices, and may also record reference probability data for target models. Tables 11 to 14 below show examples of reference probability data for the target model.
  • the probability value P_f 1 in Table 11 above may represent the standard probability value that a front defect a will occur on the front of the electronic device of the target model
  • the probability value P_f 2 may represent the standard probability value that a front defect b will be detected on the front of the electronic device of the target model. You can.
  • each reference probability value in Tables 12 to 14 above can be interpreted. How the reference probability value is calculated will be described later with reference to FIG. 15.
  • the defect rating evaluation unit 1410 determines that the analysis result of at least one of the deep learning evaluation models 510, 520, 530, and 540 is not appropriate. It can be judged that it is not.
  • the defect rating evaluation unit 1410 may determine whether the probability value for the defect falls within a range (e.g., probability range or reference range) based on the reference probability value for the defect, and if the probability value for the defect does not fall within the above-described range, the The analysis results of the learning evaluation model may be judged to be inappropriate. In other words, the defect rating evaluation unit 1410 may determine that there is an error in the defect detection result (or defect rating evaluation result).
  • a range e.g., probability range or reference range
  • the analysis result of the first deep learning evaluation model 510 is that the first deep learning evaluation model 510 has a front defect a on the exterior (e.g., front) of the target electronic device based on the front image of the target electronic device. It may include the result of determining whether or not there is.
  • the defect rating evaluation unit 1410 may determine whether the probability value f 1 for front defect a falls within a range (eg, P_f 1 ⁇ error rate) based on the reference probability value P_f 1 . If the probability value f 1 falls within a range (e.g., P_f 1 ⁇ error rate), the defect rating evaluation unit 1410 may determine that the analysis result of the first deep learning evaluation model 510 is appropriate.
  • the defect rating evaluation unit 1410 may determine that the analysis result of the first deep learning evaluation model 510 is not appropriate. Depending on the embodiment, the defect rating evaluation unit 1410 may estimate that the first deep learning evaluation model 510 over-evaluated when the probability value f 1 exceeds the range (e.g., P_f 1 ⁇ error rate), and the probability value If f 1 is less than the range (e.g., P_f 1 ⁇ error rate), it can be assumed that the first deep learning evaluation model 510 performed a down evaluation or a miss evaluation.
  • the range e.g., P_f 1 ⁇ error rate
  • the criteria for deriving over evaluation, down evaluation, and miss evaluation include the type of electronic device, imaging area (or evaluation area) (e.g. front, back, side, screen), type of defect, and/or probability of defect occurrence. It can be decided by taking into account, and each determined criterion can be stored in the DB 1420.
  • the analysis result of the second deep learning evaluation model 520 is that the second deep learning evaluation model 520 has a rear defect on the exterior (e.g., back) of the target electronic device based on the rear image of the target electronic device. It may include the results of determining whether there is.
  • the defect rating evaluation unit 1410 may determine whether the probability value r 2 for rear defect b falls within a range (eg, P_r 2 ⁇ error rate) based on the reference probability value P_r 2 . If the probability value r 2 does not fall within the range (e.g., P_r 2 ⁇ error rate), the defect rating evaluation unit 1410 may determine that the analysis result of the second deep learning evaluation model 520 is not appropriate. If the probability value r 2 falls within a range (e.g., P_r 2 ⁇ error rate), the defect rating evaluation unit 1410 may determine that the analysis result of the second deep learning evaluation model 520 is appropriate.
  • a range e.g., P_r 2 ⁇ error rate
  • the analysis result of the third deep learning evaluation model 530 shows that the third deep learning evaluation model 530 has a side defect a on the exterior (e.g. side) of the target electronic device based on the side image of the target electronic device. It may include the results of determining whether or not it exists.
  • the defect rating evaluation unit 1410 may determine whether the probability value c 1 for the side defect a falls within a range (eg, P_c 1 ⁇ error rate) based on the reference probability value P_c 1 . If the probability value c 1 does not fall within the range (e.g., P_c 1 ⁇ error rate), the defect rating evaluation unit 1410 may determine that the analysis result of the third deep learning evaluation model 520 is not appropriate.
  • the defect rating evaluation unit 1410 may determine that the analysis result of the third deep learning evaluation model 520 is appropriate when the probability value c 1 falls within the range (e.g., P_c 1 ⁇ error rate).
  • the analysis result of the fourth deep learning evaluation model 540 is the result of the fourth deep learning evaluation model 540 determining whether there is a screen defect a on the screen of the target electronic device based on the screen image of the target electronic device. It can be included.
  • the defect rating evaluation unit 1410 may determine whether the probability value s 1 for screen defect a falls within a range (eg, P_s 1 ⁇ error rate) based on the reference probability value P_s 1 . If the defect rating evaluation unit 1410 determines that the probability value s 1 does not fall within the range (e.g., P_s 1 ⁇ error rate), the analysis result of the fourth deep learning evaluation model 540 may be determined to be inappropriate. If the defect rating evaluation unit 1410 determines that the probability value s 1 falls within a range (e.g., P_s 1 ⁇ error rate), the analysis result of the fourth deep learning evaluation model 540 may be determined to be appropriate.
  • a range e.g., P_s 1 ⁇ error rate
  • the error rates described in each of the preceding examples may have the same value or different values. Each of the error rates can be adjusted or changed.
  • the appearance condition evaluation module 1400 determines that the analysis result of at least one of the deep learning evaluation models 510, 520, 530, and 540 is not appropriate, it generates an inappropriate analysis result.
  • the cause of a problem can be estimated.
  • the appearance condition evaluation module 1400 may determine the difference between the upper limit of a range (e.g., probability range or reference range) based on the reference probability value for frontal defect a and the probability value f 1 for frontal defect a as the first value. If it exceeds, it can be assumed that the cause of the problem is in the shooting box. If the appearance condition evaluation module 1400 estimates that the cause of the problem is in the photography box, the third operation and/or operation center that causes the photography box of the unmanned embedded device 110 to be inspected, to be described later, of the target electronic device. A fifth operation may be performed to analyze the appearance image.
  • a range e.g., probability range or reference range
  • the appearance condition evaluation module 1400 determines the cause of the problem. It can be assumed that this is in the deep learning evaluation model 510. If the appearance condition evaluation module 1400 estimates that the cause of the problem is in the deep learning evaluation model 510, the first operation is to correct the analysis result to be described later, and perform image conversion (e.g., masking processing, etc.) on the appearance image. At least one of a second operation that causes the deep learning evaluation model 510 to be trained, and a fifth operation that causes the operation center to analyze the external image of the target electronic device may be performed.
  • image conversion e.g., masking processing, etc.
  • the appearance condition evaluation module 1400 determines that the analysis results of all of the deep learning evaluation models 510, 520, 530, and 540 are not appropriate, it may be assumed that the cause of the problem is in the shooting box. there is.
  • the appearance condition evaluation module 1400 determines that at least one analysis result (e.g., defect detection result, etc.) among the deep learning evaluation models 510, 520, 530, and 540 is not appropriate, At least one of the actions can be performed to resolve the problem that caused the analysis results to be inadequate.
  • the operations include, for example, a first operation to correct the analysis results, a second operation to perform image conversion (e.g., masking processing, etc.) on the external image, and a shooting box of the unmanned embedded device 110.
  • a third operation causes the target electronic device to be checked, a fourth operation causes the deep learning evaluation model that provided inappropriate analysis results to be trained, and a fifth operation causes the operation center to analyze the image of the target electronic device. You can.
  • the appearance condition evaluation module 1400 may determine whether model information of the target electronic device is included in a preset model list. When the appearance condition evaluation module 1400 determines that the model information of the target electronic device is included in the preset model list, it performs at least one of the above-described first operation, second operation, fourth operation, and fifth operation. can do.
  • the preset model list may include new models, etc. Deep learning evaluation models 510, 520, 530, and 540 may not be sufficiently trained for new models. Accordingly, the analysis results of at least some or all of the deep learning evaluation models 510, 520, 530, and 540 may be inaccurate.
  • the appearance condition evaluation module 1400 may perform the first operation described above.
  • the correction unit 1430 may apply a correction value to the analysis results (e.g., grade of detected defect) of each of the deep learning evaluation models 510, 520, 530, and 540.
  • the value of the target electronic device of the new model can be more accurately evaluated by the value determination module 330 when the correction value is applied than when the correction value is not applied.
  • the correction unit 1430 may request the operator to train the deep learning evaluation models 510, 520, 530, and 540 on a new model.
  • the correction unit 1430 may request the operation center to analyze images of the target electronic device.
  • the appearance condition evaluation module 1400 may determine whether the detected defect corresponds to the above-described exception case. If the detected defect corresponds to an exception case, the appearance condition evaluation module 1400 may perform a second operation to perform image conversion (eg, masking processing, etc.) on the image. For example, if the detected defect corresponds to an exception case (e.g., a floating icon, etc.), the correction unit 1430 may perform masking processing on the location where the defect is detected in the image.
  • image conversion eg, masking processing, etc.
  • the appearance condition evaluation module 1400 determines that the exterior image of the target electronic device is not normal, and if the photographing box of the unmanned embedded device 110 is empty, the photographing box of the unmanned embedded device 110 is empty. A third action can be performed that causes it to be checked. If the target electronic device moves to a collection box (or storage box) or the user collects the target electronic device without selling it to the unmanned purchase device 110, the shooting box of the unmanned purchase device 110 may be empty. When the photography box of the unmanned embedding device 110 is empty, the status checker 1440 may check the status of the cameras and/or lights of the photography box.
  • the exterior condition evaluation module 400 determines that the sum of the saturation information and brightness information of the exterior image is more than a certain value (e.g., 70000), as in the example described above with reference to FIG. 13. In this case, or if the lighting brightness of the shooting box exceeds a certain level, the external image may be determined to be abnormal. If this determination is made and the photographing box is empty, the status inspection unit 1440 may request an operator or manager to inspect the photographing box of the unmanned purchase device 110.
  • a certain value e.g. 70000
  • the status check unit 1440 may control cameras and lights to allow the cameras to perform photography, and may convert images obtained through photography (hereinafter, “images for inspection”) into basic images.
  • images for inspection images obtained through photography
  • the basic images may represent images obtained by cameras performing shooting within a shooting box when the cameras and lighting are in a normal state. If the status inspection unit 1440 determines that there is no difference between the images for inspection and the basic images, it determines that the shooting box (e.g., cameras and lights) of the unmanned purchase device 110 is in a normal state. You can.
  • the status inspection unit 1440 determines that there is a difference between the images for inspection and the basic images, the shooting box (e.g., cameras and/or lights) of the unmanned purchase device 110 is determined to be in an abnormal state. You can judge. In this case, the status inspection unit 1440 may request the operator or manager to inspect the photography box of the unmanned purchase device 110.
  • the shooting box e.g., cameras and/or lights
  • FIG. 14B Contents described with reference to FIGS. 1 to 13 may be applied to FIG. 14B.
  • FIG. 15 is a diagram illustrating an example of a method for determining reference probability data of a DB of an appearance condition evaluation module according to an embodiment.
  • a server 1510 eg, server 120
  • a plurality of unmanned purchase devices 1520-1 to 1520-n are shown.
  • the description of the unmanned purchase device 110 may be applied to each of the unmanned purchase devices 1520-1 to 1520-n.
  • the appearance condition evaluation module 1400 may be included in the unmanned embedded device 110, and each of the unmanned embedded devices 1520-1 to 1520-n performs the same operation as the appearance state evaluation module 1400. It may include an appearance condition evaluation module that performs.
  • each of the unmanned embedded devices 1520-1 to 1520-n may calculate the defect probability data of the target model.
  • Each of the unmanned purchase devices 1520-1 to 1520-n may transmit each calculated defect probability data to the server 1610.
  • the server 1510 may determine reference probability data for the target model based on the average value of defect probability data received from each of the unmanned purchase devices 1520-1 to 1520-n. For example, the server 1510 may receive probability values (f a_1 , f a_2 , x, f a_n ) for front defect a from each of the unmanned purchase devices (1520-1 to 1520-n). The server 1510 may determine the average of the received probability values (f a_1 , f a_2 , x, f a_n ) as the reference probability value for front defect a (e.g., the reference probability value P_f 1 in Table 11 described above). In a similar manner, server 1510 can determine a reference probability value for each defect.
  • the server 1510 may transmit reference probability data for the target model to the unmanned acquisition device 110.
  • the unmanned purchase device 110 may store reference probability data for the target model in the DB 1420.
  • the server 1510 may transmit reference probability data for the target model to each of the unmanned purchase devices 1520-1 to 1520-n.
  • Each of the unmanned purchase devices 1520-1 to 1520-n may store reference probability data for the target model in an internal DB such as the DB 1420.
  • the description of the appearance condition evaluation module 1400 can be applied to the unmanned embedding device 110, so detailed description is omitted.
  • the appearance condition evaluation module 1400 (or the electronic device value evaluation device 130) may not be included in the unmanned purchase device 110.
  • each of the unmanned purchase devices 1520-1 to 1520-n may not include an external appearance evaluation module (or an electronic device value evaluation device).
  • the server 1510 may include an external condition evaluation module 1400 (or an electronic device value evaluation device 130), and the server 1510 may evaluate the external condition of each electronic device.
  • the server 1510 may receive an exterior image of each electronic device of the target model from each of the unmanned embedded devices 1520-1 to 1520-n, and may receive at least one deep learning evaluation model and each received exterior image. Using this, the external state of each electronic device of the target model can be evaluated.
  • the server 1510 may calculate defect probability data of the target model for each of the unmanned embedded devices 1520-1 to 1520-n. For example, the server 1510 may receive front images of each electronic device of the target model from the unmanned purchase device 1520-1.
  • the server 1510 may use the first deep learning evaluation model 510 to analyze whether there is a defect on the front of each electronic device of the target model from the front image of each electronic device.
  • the server 1510 can calculate the probability value (f a_1 ) of the front defect a of the target model for the unmanned embedded device 1520-1. Similarly, the server 1510 may calculate the probability values (f a_2 , x, f a_n ) of the front defect a of the target model for each of the other unmanned embedded devices (1520-2 to 1520-n). The server 1510 may determine the average value of the calculated probability values (f a_1 , f a_2 , x, f a_n ) as the reference probability value for the front defect a of the target model (e.g., the reference probability value P_f 1 in Table 11). In a similar manner, the server 1510 may generate reference probability data for the target model by determining a reference probability value for each defect in the target model.
  • the description of the appearance condition evaluation module 1400 can be applied to the server 1510, so detailed description is omitted.
  • 16 is a flowchart illustrating an example of a method of operating an electronic device value evaluation device according to an embodiment.
  • the electronic device value evaluation device 130 may obtain an analysis result of the deep learning evaluation model.
  • the analysis result may include a result of the deep learning evaluation model determining whether there is a first defect in the exterior of the target electronic device based on the exterior image of the target electronic device.
  • the analysis result may include, for example, a result that there is a first defect in the exterior of the target electronic device and/or the degree (or grade) of the first defect in the exterior of the target electronic device.
  • the analysis result may include, for example, a result that there is no first defect in the appearance of the target electronic device.
  • the electronic device valuation device 130 analyzes a deep learning evaluation model based on a preset range for the first defect (e.g., a range based on the above-described reference probability value) and probability data for the first defect. You can determine whether it is appropriate (or the appropriateness of the analysis results).
  • the probability data for the first defect is the number of times the first defect is detected in electronic devices of the same model (i.e., target model) as the target electronic device among the electronic devices photographed in the photographing box of the unmanned embedded device 110. It can be based on what has been done.
  • the preset range for the first defect may represent, for example, a probability range in which the first defect is found in the target model.
  • the appearance condition evaluation modules 320 and 1400 may determine whether probability data for the first defect falls within a preset range.
  • the appearance condition evaluation module 320 (1400) may determine that the analysis result of the deep learning evaluation model is appropriate when the probability data for the first defect falls within a preset range. If the probability data for the first defect does not fall within a preset range, the appearance condition evaluation module 320 or 1400 may determine that the analysis result of the deep learning evaluation model is not appropriate.
  • step 1630 if the electronic device valuation device 130 determines that the analysis result of the deep learning evaluation model is not appropriate (or determines that there is an error in the analysis result), the deep learning evaluation model returns the above-described analysis result. Can perform at least one of the actions to solve the problem that led to it.
  • These problems may lie in the deep learning evaluation model and/or the shooting box. Address the above-mentioned problems such as insufficient training of the deep learning evaluation model, incorrect training of the deep learning evaluation model, changes in the shooting environment within the shooting box, and abnormal conditions or failures of devices (e.g. cameras and lights) within the shooting box.
  • the causes may be diverse.
  • the appearance condition evaluation modules 320 and 1400 perform a first operation to correct the analysis result of the deep learning evaluation model, a second operation to perform image conversion on the exterior image of the target electronic device, and a shooting box inspection. At least one of a third operation that causes the deep learning evaluation model to be trained (or re-trained), and a fifth operation that causes the operation center to analyze the external image of the target electronic device. It can be done.
  • the electronic device value evaluation device 130 may determine whether model information of the target electronic device is included in a preset model list.
  • the electronic device value evaluation device 130 (or the appearance condition evaluation module 320, 1400) determines that the model information of the target electronic device is included in the preset model list, the above-described first operation, fourth operation, and at least one of the fifth operation may be performed.
  • the electronic device value evaluation device 130 may determine whether the first defect corresponds to a defect exception case. When the first defect corresponds to a defect exception case, the electronic device value evaluation device 130 (or the appearance condition evaluation module 320, 1400) may perform the second operation described above.
  • the electronic device value evaluation device 130 may perform the third operation described above if the appearance image is not normal and the shooting box is empty. For example, when there is out-of-focusing in the exterior image, the electronic device value evaluation device 130 (or the exterior condition evaluation module 320, 1400) combines saturation information and brightness information as in the example described above with reference to FIG. 13. If the value is above a certain value (e.g. 70000), or if the lighting brightness of the shooting box exceeds a certain level, the external image may be determined to be abnormal. If the electronic device value evaluation device 130 (or the exterior condition evaluation module 320 or 1400) determines that the exterior image is not normal and the shooting box is empty, it may perform the third operation described above.
  • a certain value e.g. 70000
  • the electronic device value evaluation device 130 determines the cause of the problem through a comparison result between a preset range and probability data for the first defect. It can be estimated. For example, the electronic device value evaluation device 130 (or the appearance condition evaluation module 320, 1400) determines whether the difference between the upper limit of the preset range and the probability data exceeds the first value, causing the problem. It can be assumed that the cause is in the shooting box (e.g., cameras in the shooting box and/or abnormal lighting, etc.).
  • the electronic device value evaluation device 130 determines that the cause of the problem is in the deep learning evaluation model. It can be estimated from what exists (e.g. insufficient training of deep learning evaluation model, etc.).
  • the operation of the electronic device value evaluation device 130 described with reference to FIGS. 1 to 15 may be applied to the operating method of the electronic device value evaluation device 130 of FIG. 16 .
  • the embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate (FPGA).
  • ALU arithmetic logic unit
  • FPGA field programmable gate
  • It may be implemented using a general-purpose computer or a special-purpose computer, such as an array, programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include multiple processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. It can be saved in .
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on a computer-readable recording medium.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • a computer-readable medium may store program instructions, data files, data structures, etc., singly or in combination, and the program instructions recorded on the medium may be specially designed and constructed for the embodiment or may be known and available to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the hardware devices described above may be configured to operate as one or multiple software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

전자 기기 가치 평가 장치가 개시된다. 일 실시 예는 딥러닝 평가 모델의 분석 결과를 획득하고(여기서, 상기 분석 결과는 상기 딥러닝 평가 모델이 상기 대상 전자 기기의 외관 이미지를 기초로 상기 대상 전자 기기의 외관의 제1 결함을 검출하였는지 여부를 포함함), 상기 제1 결함에 대한 미리 설정된 범위 및 상기 제1 결함에 대한 확률 데이터를 기초로 상기 획득된 분석 결과가 적절한지 판단하며(여기서, 상기 확률 데이터는 상기 촬영 박스에서 촬영되었던 전자 기기들 중 상기 대상 전자 기기와 동일한 모델의 전자 기기들에 상기 제1 결함이 몇 번 검출되었는지에 기반함), 상기 획득된 분석 결과가 적절하지 않은 것으로 판단한 경우, 상기 딥러닝 평가 모델이 상기 분석 결과를 도출하게 끔 한 문제를 해결하기 위한 동작들 중 적어도 하나를 수행할 수 있다.

Description

전자 기기 가치 평가 장치 및 이의 동작 방법
아래 실시예들은 전자 기기 가치 평가 장치 및 이의 동작 방법에 관한 것이다.
최근 중고 전자 기기를 매입하는 여러 방법 중 자동화 기기를 이용한 방법이 있다. 자동화 기기를 이용한 방법에는 비대면 운영, 운영 인건비 절감, 안정적이고 표준화된 분석을 위해 인공지능 분석 방법이 적용되고 있다. 인공지능 분석 방법은 중고 전자 기기의 외관 상태를 조명 및 카메라를 통해 촬영하여 획득된 이미지를 인공지능 분석 알고리즘을 사용하여 분석함으로써 중고 전자 기기의 외관 상태를 평가할 수 있다.
전술한 배경기술은 발명자가 본원의 개시 내용을 도출하는 과정에서 보유하거나 습득한 것으로서, 반드시 본 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.
무인 매입 장치(또는 무인 시스템)는 중고 전자 기기의 내부 상태와 외관 상태를 분석하여 매입 가격을 결정할 수 있다. 이 때, 외관 상태의 분석을 위해 딥러닝 이미지 분석 기술(또는 딥러닝 알고리즘)이 사용될 수 있다. 하지만, 딥러닝 이미지 분석 기술을 통해 중고 전자 기기의 외관 결함 정도를 지능적으로 판단하여 가치 평가를 진행할 때, 적용된 딥러닝 모델에 의한 결함 분석 오류가 발생할 수가 있다. 최적의 학습 알고리즘에 의해 생성된 딥러닝 모델이 100%의 인식율을 가지기 전 까지는 결함에 대한 분석 오류가 발생할 수 있다. 분석 오류의 형태로는 결함에 대한 과한(over) 평가, 놓친(miss) 평가, 오인식(error) 평가 등과 같이 다양할 수 있다. 다양한 분석 오류를 줄이는 방법이 필요하다.
촬영된 중고 전자 기기의 외관 이미지에 대한 결함 분석 오류의 원인은 여러 가지가 될 수 있다. 예를 들어, 딥러닝 모델을 트레이닝시킬 때 이용한 학습 이미지가 획득된 촬영 환경과 중고 전자 기기를 촬영하는 촬영 환경의 차이가 분석 오류의 원인이 될 수 있고, 결함 별 학습 이미지 개수의 많고 적음, 학습 이미지 상에 표현된 결함에 대한 정밀도 차이, 적용된 학습 모델링 기법에 의한 차이가 분석 오류의 원인이 될 수 있다.
일 실시 예는 외관 이미지에 대한 결함 분석 오류를 줄일 수 있는 전자 기기 가치 평가 장치를 제공할 수 있다.
일 측에 따른 전자 기기 가치 평가 장치의 동작 방법은 딥러닝 평가 모델의 분석 결과를 획득하는 단계(여기서, 상기 분석 결과는 상기 딥러닝 평가 모델이 대상 전자 기기의 외관 이미지를 기초로 상기 대상 전자 기기의 외관에 제1 결함이 있는지 판단한 결과를 포함함); 상기 제1 결함에 대한 미리 설정된 범위 및 상기 제1 결함에 대한 확률 데이터를 기초로 상기 획득된 분석 결과가 적절한지 판단하는 단계(여기서, 상기 확률 데이터는 상기 촬영 박스에서 촬영되었던 전자 기기들 중 상기 대상 전자 기기와 동일한 모델의 전자 기기들에 상기 제1 결함이 몇 번 검출되었는지에 기반함); 및 상기 획득된 분석 결과가 적절하지 않은 것으로 판단한 경우, 상기 딥러닝 평가 모델이 상기 분석 결과를 도출하게 끔 한 문제를 해결하기 위한 동작들 중 적어도 하나를 수행하는 단계를 포함할 수 있다.
상기 획득된 분석 결과가 적절한지 판단하는 단계는 상기 미리 설정된 범위에 상기 확률 데이터가 속하는지 판단하는 단계; 및 상기 확률 데이터가 상기 미리 설정된 범위에 속하는 경우, 상기 획득된 분석 결과가 적절한 것으로 판단하고, 상기 확률 데이터가 상기 미리 설정된 범위에 속하지 않는 경우, 상기 획득된 분석 결과가 적절하지 않은 것으로 판단하는 단계를 포함할 수 있다.
상기 수행하는 단계는 상기 획득된 분석 결과를 보정하는 제1 동작, 상기 외관 이미지에 이미지 변환을 수행하게 끔 하는 제2 동작, 상기 대상 전자 기기가 촬영된 촬영 박스가 점검되게 끔 하는 제3 동작, 상기 딥러닝 평가 모델이 트레이닝 되게 끔 하는 제4 동작, 및 운영 센터에서 상기 외관 이미지를 분석하게 끔 하는 제5 동작 중 적어도 하나를 수행하는 단계를 포함할 수 있다.
상기 수행하는 단계는 상기 대상 전자 기기의 모델 정보가 미리 설정된 모델 리스트에 포함되어 있는지 판단하는 단계; 및 상기 모델 정보가 상기 미리 설정된 모델 리스트에 포함되어 있는 것으로 판단한 경우, 상기 제1 동작, 상기 제4 동작, 및 상기 제5 동작 중 적어도 하나를 수행하는 단계를 포함할 수 있다.
상기 수행하는 단계는 상기 제1 결함이 결함 예외 케이스(exception case)에 해당하는지 여부를 판단하는 단계; 및 상기 제1 결함이 상기 결함 예외 케이스에 해당하는 경우, 상기 제2 동작을 수행하는 단계를 포함할 수 있다.
상기 수행하는 단계는 상기 외관 이미지가 정상이 아니고 상기 촬영 박스가 비어 있으면, 상기 제3 동작을 수행하는 단계를 포함할 수 있다.
상기 전자 기기 가치 평가 장치의 동작 방법은 상기 미리 설정된 범위와 상기 확률 데이터 사이의 비교 결과를 통해 상기 문제를 발생시킨 원인을 추정하는 단계를 더 포함할 수 있다.
상기 추정하는 단계는 상기 미리 설정된 범위의 상한치와 상기 확률 데이터 사이의 차이값이 제1 값을 초과하는 경우, 상기 원인이 상기 촬영 박스에 있는 것으로 추정하는 단계; 및 상기 차이값이 상기 제1 값 이하이고 제2 값을 초과하는 경우, 상기 원인이 상기 딥러닝 평가 모델에 있는 것으로 추정하는 단계를 포함할 수 있다.
일 측에 따른 전자 기기 가치 평가 장치는 딥러닝 평가 모델을 저장하는 메모리; 및 상기 딥러닝 평가 모델을 이용하여 대상 전자 기기의 외관 상태를 평가하는 외관 상태 평가 모듈을 포함할 수 있다.
상기 외관 상태 평가 모듈은 상기 딥러닝 평가 모델의 분석 결과를 획득하고(여기서, 상기 분석 결과는 상기 딥러닝 평가 모델이 상기 대상 전자 기기의 외관 이미지를 기초로 상기 대상 전자 기기의 외관에 제1 결함이 있는지 판단한 결과를 포함함), 상기 제1 결함에 대한 미리 설정된 범위 및 상기 제1 결함에 대한 확률 데이터를 기초로 상기 획득된 분석 결과가 적절한지 판단하며(여기서, 상기 확률 데이터는 상기 촬영 박스에서 촬영되었던 전자 기기들 중 상기 대상 전자 기기와 동일한 모델의 전자 기기들에 상기 제1 결함이 몇 번 검출되었는지에 기반함), 상기 획득된 분석 결과가 적절하지 않은 것으로 판단한 경우, 상기 딥러닝 평가 모델이 상기 분석 결과를 도출하게 끔 한 문제를 해결하기 위한 동작들 중 적어도 하나를 수행할 수 있다.
상기 외관 상태 평가 모듈은 상기 미리 설정된 범위에 상기 확률 데이터가 속하는지 판단하고, 상기 확률 데이터가 상기 미리 설정된 범위에 속하는 경우, 상기 획득된 분석 결과가 적절한 것으로 판단하며, 상기 확률 데이터가 상기 미리 설정된 범위에 속하지 않는 경우, 상기 획득된 분석 결과가 적절하지 않은 것으로 판단할 수 있다.
상기 외관 상태 평가 모듈은 상기 획득된 분석 결과를 보정하는 제1 동작, 상기 외관 이미지에 이미지 변환을 수행하게 끔 하는 제2 동작, 상기 대상 전자 기기가 촬영된 촬영 박스가 점검되게 끔 하는 제3 동작, 상기 딥러닝 평가 모델이 트레이닝 되게 끔 하는 제4 동작, 및 운영 센터에서 상기 외관 이미지를 분석하게 끔 하는 제5 동작 중 적어도 하나를 수행할 수 있다.
상기 외관 상태 평가 모듈은 상기 대상 전자 기기의 모델 정보가 미리 설정된 모델 리스트에 포함되어 있는지 판단하고, 상기 모델 정보가 상기 미리 설정된 모델 리스트에 포함되어 있는 것으로 판단한 경우, 상기 제1 동작, 상기 제4 동작, 및 상기 제5 동작 중 적어도 하나를 수행할 수 있다.
상기 외관 상태 평가 모듈은 상기 제1 결함이 결함 예외 케이스(exception case)에 해당하는지 여부를 판단하고, 상기 제1 결함이 상기 결함 예외 케이스에 해당하는 경우, 상기 제2 동작을 수행할 수 있다.
상기 외관 상태 평가 모듈은 상기 외관 이미지가 정상이 아니고 상기 촬영 박스가 비어 있으면, 상기 제3 동작을 수행할 수 있다.
상기 외관 상태 평가 모듈은 상기 미리 설정된 범위와 상기 확률 데이터 사이의 비교 결과를 통해 상기 문제를 발생시킨 원인을 추정할 수 있다.
상기 외관 상태 평가 모듈은 상기 미리 설정된 범위의 상한치와 상기 확률 데이터 사이의 차이값이 제1 값을 초과하는 경우, 상기 원인이 상기 촬영 박스에 있는 것으로 추정하고, 상기 차이값이 상기 제1 값 이하이고 제2 값을 초과하는 경우, 상기 원인이 상기 딥러닝 평가 모델에 있는 것으로 추정할 수 있다.
실시 예들은 결함 분석 오류를 줄임으로써 대상 전자 기기의 가치를 정확히 평가할 수 있다.
도 1 내지 도 2는 일 실시 예에 따른 무인 매입 장치와 서버를 설명하는 도면이다.
도 3 내지 도 6은 일 실시 예에 따른 전자 기기 가치 평가 장치의 동작을 설명하는 도면이다.
도 7은 일 실시 예에 따른 전자 기기 가치 평가 방법을 설명하는 흐름도이다.
도 8 내지 도 13은 일 실시 예에 따른 예외 케이스 처리 방법을 설명하는 도면이다.
도 14a와 도 14b는 일 실시 예에 따른 전자 기기 가치 평가 장치의 외관 상태 평가 모듈을 설명하는 도면이다.
도 15는 일 실시 예에 따른 외관 상태 평가 모듈의 DB의 기준 확률 데이터가 결정되는 방법의 예시를 설명하는 도면이다.
도 16은 일 실시 예에 따른 전자 기기 가치 평가 장치의 동작 방법의 예시를 설명하는 흐름도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 내지 도 2는 일 실시 예에 따른 무인 매입 장치와 서버를 설명하는 도면이다.
도 1과 도 2를 참조하면, 무인 매입 장치(110)와 서버(120)가 도시된다.
무인 매입 장치(110)는 전자 기기(또는 중고 전자 기기)(예: 스마트폰, 태블릿 PC, 웨어러블 기기 등)를 사용자로부터 매입 및/또는 사용자에게 대상 전자 기기(또는 중고 대상 전자 기기)를 판매할 수 있다. 전자 기기의 타입은, 예를 들어, 형태에 따라 바(bar) 타입, 롤러블(rollable) 타입, 또는 폴더블(foldable) 타입 등으로 구분될 수 있다.
무인 매입 장치(110)는, 예를 들어, 키오스크 형태일 수 있으나 이에 제한되지 않는다.
무인 매입 장치(110)는 전자 기기를 안치 및 촬영하는 촬영 박스, 시스템 제어부, 및 디스플레이를 포함할 수 있다. 이하, 무인 매입 장치(110)가 평가하여 매입하려는 전자 기기를 "대상 전자 기기"라 지칭한다.
시스템 제어부는 무인 매입 장치(110)의 전반적인 동작을 제어할 수 있다.
시스템 제어부는 대상 전자 기기 판매에 대한 가이드 라인 및/또는 주의 사항을 디스플레이에 표시할 수 있다.
시스템 제어부는 사용자로부터 다양한 정보(예: 사용자가 판매할 대상 전자 기기의 OS(operating system) 정보 등)를 입력받기 위한 사용자 인터페이스를 디스플레이에 표시할 수 있다.
판매 준비 과정에서, 대상 전자 기기에 설치된 제1 어플리케이션은 대상 전자 기기의 디스플레이에 일련 번호를 표시할 수 있다. 제1 어플리케이션은 대상 전자 기기의 내부 상태 검수 및 대상 전자 기기의 정보(예: 모델명, 시리얼 번호, 운영체제 버전 등)를 수집하기 위한 어플리케이션일 수 있다. 사용자는 일련 번호를 무인 매입 장치(110)의 디스플레이에 입력할 수 있다. 시스템 제어부는 디스플레이를 통해 입력된 일련 번호를 검증하거나 서버(120)에 검증을 요청할 수 있다. 시스템 제어부는 입력된 일련 번호가 검증되면 촬영 박스의 도어(door)를 오픈할 수 있다.
무인 매입 장치(110)의 촬영 박스의 도어(door)가 열리면, 사용자는 무인 매입 장치(110)의 케이블(예: USB 타입 C 케이블, 라이트닝 케이블 등)과 대상 전자 기기를 연결시킬 수 있고, 대상 전자 기기를 촬영 박스 안에 안치시킬 수 있다. 대상 전자 기기는 케이블을 통해 무인 매입 장치(110)의 시스템 제어부와 연결될 수 있다. 실시 예에 따라, 대상 전자 기기는 무선(예: 블루투스, BLE(Bluetooth Low Energy) 등)으로 무인 매입 장치(110)의 시스템 제어부와 연결될 수 있다.
촬영 박스는 안치된 대상 전자 기기를 정해진 위치에 정렬시킬 수 있다. 대상 전자 기기가 정해진 위치에 정렬되지 않는 경우 촬영 박스 내의 카메라들은 대상 전자 기기의 외관을 제대로 촬영하지 못할 수 있다.
제1 어플리케이션은 대상 전자 기기의 정보를 수집할 수 있고, 대상 전자 기기의 내부 상태(예: 하드웨어 동작 상태 등) 평가(또는 분석)를 수행할 수 있다. 하드웨어 동작 상태는, 예를 들어, 대상 전자 기기의 하드웨어(예: 센서, 카메라 등)가 정상적으로 동작하는지에 대한 상태를 나타낼 수 있다. 제1 어플리케이션은 대상 전자 기기의 하드웨어가 정상적으로 동작하는지 여부를 평가(또는 판단)할 수 있다.
촬영 박스에는 복수의 카메라들과 복수의 조명들이 위치할 수 있다. 촬영 박스 내의 제1 카메라는 대상 전자 기기의 전면을 촬영하여 대상 전자 기기의 하나 이상의 전면 이미지를 획득할 수 있다. 촬영 박스 내의 제2 카메라는 대상 전자 기기의 후면을 촬영하여 대상 전자 기기의 하나 이상의 후면 이미지를 획득할 수 있다. 촬영 박스 내의 복수의 제3 카메라들 각각은 대상 전자 기기의 측면(또는 코너)들 각각을 촬영하여 하나 이상의 측면 이미지(또는 코너 이미지)를 획득할 수 있다.
제1 카메라는 대상 전자 기기의 화면을 촬영하여 하나 이상의 이미지(이하, "화면 이미지"라 지칭함)를 획득할 수 있다. 실시 예에 따라, 제1 어플리케이션은 대상 전자 기기에 단색(예: 흰색, 검은색, 붉은색, 파란색, 녹색 등) 화면이 표시되도록 할 수 있다. 대상 전자 기기에 단색 화면이 표시된 상태에서, 제1 카메라는 대상 전자 기기의 단색 화면을 촬영하여 이미지(이하, "단색 화면 이미지"라 지칭함)를 획득할 수 있다. 예를 들어, 대상 전자 기기에 흰색 화면이 표시된 상태에서, 제1 카메라는 대상 전자 기기의 흰색 화면을 촬영하여 제1 단색 화면 이미지를 획득할 수 있다. 대상 전자 기기에 검은색 화면이 표시된 상태에서 제1 카메라는 대상 전자 기기의 검은색 화면을 촬영하여 제2 단색 화면 이미지를 획득할 수 있다. 대상 전자 기기에 흰색과 검은색 이외의 다른 단색(예: 붉은색, 파란색, 녹색 등) 화면이 표시된 상태에서 제1 카메라는 대상 전자 기기의 다른 단색 화면을 촬영하여 제3 단색 화면 이미지를 획득할 수 있다.
전자 기기 가치 평가 장치(130)는 대상 전자 기기를 촬영하여 획득한 이미지들(예: 하나 이상의 전면 이미지, 하나 이상의 후면 이미지, 하나 이상의 측면 이미지, 하나 이상의 단색 화면 이미지)과 딥러닝 평가 모델들을 기초로 대상 전자 기기에 대한 외관 상태 평가를 수행할 수 있다.
도 1에 도시된 예에서, 전자 기기 가치 평가 장치(130)는 서버(120)에 포함될 수 있다. 도 1에 도시된 예에서, 서버(120)는 무인 매입 장치(110)로부터 대상 전자 기기를 촬영하여 획득한 이미지들을 수신할 수 있고, 수신된 이미지들을 전자 기기 가치 평가 장치(130)로 전달할 수 있다. 앞서 설명한 것과 같이, 대상 전자 기기 내의 제1 어플리케이션은 대상 전자 기기의 내부 상태 평가를 수행할 수 있고, 무인 매입 장치(110)를 통해 서버(120)에 대상 전자 기기의 내부 상태 평가의 결과를 전송할 수 있다. 다른 예로, 제1 어플리케이션은 대상 전자 기기가 서버(120)와 연결되도록 할 수 있고, 대상 전자 기기를 통해 서버(120)에 대상 전자 기기의 내부 상태 평가의 결과를 전송할 수 있다. 전자 기기 가치 평가 장치(130)는 대상 전자 기기의 외관 상태 평가의 결과와 대상 전자 기기의 내부 상태 평가의 결과(예: 제1 어플리케이션이 대상 전자 기기의 내부 상태 평가를 수행한 결과)를 기초로 대상 전자 기기의 가치(예: 가격)를 결정할 수 있다. 전자 기기 가치 평가 장치(130)는 무인 매입 장치(110)에 대상 전자 기기의 가치를 전송할 수 있고, 무인 매입 장치(110)는 사용자에게 대상 전자 기기의 가치를 전달할 수 있다. 사용자는 대상 전자 기기의 가치(예: 가격)를 받아들여 대상 전자 기기를 판매할 것임을 무인 매입 장치(110)에 전달할 수 있고, 무인 매입 장치(110)는 사용자의 대상 전자 기기 판매 결정이 있으면 촬영 박스 내에 안치된 대상 전자 기기를 회수 박스(또는 보관 박스)로 이동시킬 수 있다. 실시 예에 따라, 회수 박스는 무인 매입 장치(110) 내부 또는 외부에 위치할 수 있다.
도 2에 도시된 예에서, 전자 기기 가치 평가 장치(130)는 무인 매입 장치(110)에 포함될 수 있다. 도 2에 도시된 예에서, 전자 기기 가치 평가 장치(130)는 촬영 박스 내의 카메라들로부터 대상 전자 기기를 촬영하여 획득된 이미지들을 수신할 수 있다. 전자 기기 가치 평가 장치(130)는 제1 어플리케이션으로부터 대상 전자 기기의 내부 상태 평가의 결과를 수신할 수 있다. 전자 기기 가치 평가 장치(130)는 대상 전자 기기의 외관 상태 평가의 결과와 대상 전자 기기의 내부 상태 평가의 결과를 기초로 대상 전자 기기의 가치(예: 가격)를 결정할 수 있다. 전자 기기 가치 평가 장치(130)는 사용자에게 대상 전자 기기의 가치를 전달할 수 있다. 사용자는 대상 전자 기기의 가치(예: 가격)를 받아들여 대상 전자 기기를 판매할 것임을 무인 매입 장치(110)에 전달할 수 있고, 무인 매입 장치(110)는 사용자의 대상 전자 기기 판매 결정이 있으면 촬영 박스 내에 안치된 대상 전자 기기를 회수 박스(또는 보관 박스)로 이동시킬 수 있다.
도 3 내지 도 6은 일 실시 예에 따른 대상 전자 기기 가치 평가 장치의 동작을 설명하는 도면이다.
도 3을 참조하면, 대상 전자 기기 장치 평가 장치(130)는 메모리(310), 외관 상태 평가 모듈(320), 및 가치 결정 모듈(330)을 포함할 수 있다.
일 실시 예에 있어서, 외관 상태 평가 모듈(320) 및 가치 결정 모듈(330)은 하나의 프로세서로 구현될 수 있다.
일 실시 예에 있어서, 외관 상태 평가 모듈(320) 및 가치 결정 모듈(340) 각각은 별개의 프로세서로 구현될 수 있다. 예를 들어, 제1 프로세서가 외관 상태 평가 모듈(320)을 구현할 수 있고, 제2 프로세서가 가치 결정 모듈(340)을 구현할 수 있다.
메모리(310)는 복수의 딥러닝 평가 모델들을 저장할 수 있다. 예를 들어, 메모리(310)는 대상 전자 기기의 제1 평가 영역(예: 전면)의 결함을 검출하고 검출된 결함(또는 제1 평가 영역)의 등급을 결정하는 제1 딥러닝 평가 모델, 대상 전자 기기의 제2 평가 영역(예: 후면)의 결함을 검출하고 검출된 결함(또는 제2 평가 영역)의 등급을 결정하는 제2 딥러닝 평가 모델, 대상 전자 기기의 제3 평가 영역(예: 측면(또는 코너))의 결함을 검출하고 검출된 결함(또는 제3 평가 영역)의 등급을 결정하는 제3 딥러닝 평가 모델, 및 대상 전자 기기의 제4 평가 영역(예: 화면)의 결함을 검출하고 검출된 결함(또는 제4 평가 영역)의 등급을 결정하는 제4 딥러닝 평가 모델을 포함할 수 있다. 아래 표 1은 평가 영역들(예: 화면, 전면, 측면(또는 코너), 후면) 각각의 결함의 종류와 등급의 예시를 보여준다.
등급 화면
(디스플레이)		 전면 측면(또는 코너) 후면 모델 출력
D 백화 3개 이상 화면 줄감, 얼룩 - - - 7
흑점 총알 파손
DL LCD급 잔상,
LCD급 백화		 - - - 6
C - 파손,액정 들뜸(예: 강화유리 들뜸) - 파손,
후면 들뜸,
카메라 유리(또는 렌즈) 파손		 5
CL 강잔상, 백화 2개 이하 - - - 4
B 중잔상 전면 파손급 흠집,전면 흠집 - - 3
B+ - - 몸체 흠집 - 2
A 깨끗 깨끗 깨끗 깨끗 1
위 표 1에서, 중잔상은, 예를 들어, 대상 전자 기기가 흰색 화면을 표시하지만 사용자에게 화면의 특정 영역(예: 화면 상단의 상태 표시 영역)이 흰색이 아닌 색으로 보여지고 특정 영역에 아이콘이 보여지는 현상을 나타낼 수 있다. 강잔상은, 예를 들어, 대상 전자 기기가 흰색 화면을 표시하지만 사용자에게 화면 전체적으로 흰색이 아닌 다른 색이 보여지는 현상을 나타낼 수 있다. LCD급 잔상은 강잔상보다 잔상의 정도가 심한 상태로, 예를 들어, 대상 전자 기기가 흰색 화면을 표시하지만 사용자에게 화면 전체적으로 흰색이 아닌 다른 색이 보여지고 화면에 아이콘이 보여지는 현상을 나타낼 수 있다.
제1 내지 제4 딥러닝 평가 모델들 각각은 주어진 입력 이미지에 이미지 세그멘테이션(image segmentation)을 수행할 수 있다.
도 4에 딥러닝 평가 모델들 각각의 기반이 되는 딥 뉴럴 네트워크(Neural Network)의 개략적인 구조가 도시된다. 이하, 설명의 편의를 위하여 딥 뉴럴 네트워크의 구조를 예로 들어 설명하지만, 반드시 이에 한정되는 것은 아니며 다양한 구조의 뉴럴 네트워크들이 딥러닝 평가 모델에 사용될 수 있다.
딥 뉴럴 네트워크는 뉴럴 네트워크를 구현하는 하나의 방식으로서, 복수의 레이어들(layers)을 포함한다. 딥 뉴럴 네트워크는, 예를 들어, 입력 데이터가 인가되는 입력 레이어(Input Layer)(410), 트레이닝을 바탕으로 입력 데이터에 기반한 예측을 통해 도출된 결과 값을 출력하는 출력 레이어(Output Layer)(440), 및 입력 레이어와 출력 레이어 사이의 다중의 은닉 레이어(Hidden Layer)들(420, 430)을 포함할 수 있다.
딥 뉴럴 네트워크는 정보를 처리하기 위해 이용되는 알고리즘에 따라, 컨볼루션 신경망(Convolutional Neural Network), 및 리커런트 신경망(Recurrent Neural Network) 등으로 분류될 수 있다. 이하, 뉴럴 네트워크 분야의 일반적인 관행에 따라 입력 레이어를 최하위 레이어, 출력 레이어를 최상위 레이어라고 부르며, 최상위 레이어인 출력 레이어부터 최하위 레이어인 입력 레이어까지 순차적으로 레이어들의 순위를 지정하여 명명할 수 있다. 도 4에서, 은닉 레이어 2는 은닉 레이어 1 및 입력 레이어보다 상위 레이어이고, 출력 레이어보다는 하위 레이어에 해당할 수 있다.
딥 뉴럴 네트워크에서 인접한 레이어들 사이에서는 상대적으로 상위인 레이어가, 상대적으로 하위인 레이어의 출력 값에 가중치를 곱하고 바이어스를 적용한 값을 인가 받아 소정의 연산 결과를 출력할 수 있다. 이 때, 출력되는 연산 결과는 해당 레이어에 인접한 상위 레이어에 유사한 방식으로 인가될 수 있다.
뉴럴 네트워크를 트레이닝하는 방식을 예를 들어, 딥러닝(Deep Learning)이라 하며, 상술한 바와 같이 딥러닝에는 컨볼루션 뉴럴 네트워크, 리커런트 뉴럴 네트워크와 같이 다양한 알고리즘이 이용될 수 있다.
"뉴럴 네트워크를 트레이닝한다"는 것은 레이어들 간의 가중치(들) 및 바이어스(들)를 결정하고 갱신하는 것, 및/또는 인접한 레이어들 중 서로 다른 레이어에 속하는 복수의 뉴런들 간의 가중치(들) 및 바이어스(들)를 결정하고 갱신하는 것을 모두 포괄하는 의미로 이해될 수 있다.
복수의 레이어들, 복수의 레이어들 간의 계층적 구조, 뉴런들 간의 가중치 및 바이어스를 모두 총칭하여 뉴럴 네트워크의 "연결성(connectivity)"이라 표현할 수 있다. 이에 따라, "뉴럴 네트워크를 트레이닝한다"는 것은 연결성을 구축하고 트레이닝하는 것으로도 이해될 수 있다.
뉴럴 네트워크에서 복수의 레이어들 각각은 복수의 노드들(nodes)을 포함할 수 있다. 노드는 뉴럴 네트워크의 뉴런(neuron)에 해당할 수 있다. 용어 "뉴런"은 "노드"라는 용어와 동일한 의미로 사용될 수 있다.
도 4의 딥 뉴럴 네트워크에서 어느 한 레이어에 포함된 복수의 노드들과 인접한 레이어에 포함된 복수의 노드들의 조합들 간에 모두 연결 관계가 형성된 것을 볼 수 있다. 이와 같이 뉴럴 네트워크의 인접한 레이어들에 포함된 모든 노드들의 조합들이 모두 서로 연결된 것을 "완전 연결(fully-connected)"이라 부를 수 있다. 도 4에 도시된 은닉 레이어 2(430)의 노드 3-1은 은닉 레이어 1(420)의 모든 노드들, 즉, 노드 2-1 내지 노드 2-4 모두와 연결되어 각각의 노드들의 출력 값에 대하여 소정의 가중치를 곱한 값을 입력 받을 수 있다.
입력 레이어(410)에 입력된 데이터가 복수의 은닉 레이어들(420, 430)을 거쳐 처리됨으로써 출력 레이어(440)를 통해 출력 값이 출력될 수 있다. 이때, 각 노드의 출력 값에 대해 곱해지는 가중치가 클수록 대응하는 두 개의 노드들 간의 연결성이 강화됨을 의미하고, 가중치가 작을수록 두 개의 노드들 간의 연결성이 약화됨을 의미할 수 있다. 가중치가 0인 경우, 두 노드들 간의 연결성이 없음을 의미할 수 있다.
도 3으로 돌아와서, 외관 상태 평가 모듈(320)은 대상 전자 기기를 촬영하여 획득된 복수의 이미지들 및 딥러닝 평가 모델들을 기초로 대상 전자 기기에 대한 외관 상태 평가를 수행할 수 있다. 예를 들어, 외관 상태 평가 모듈(320)은 딥러닝 평가 모델들을 통해 이미지들로부터 대상 전자 기기의 제1 내지 제4 평가 영역 각각의 결함 상태를 예측한 마스크를 생성할 수 있다. 외관 상태 평가 모듈(320)은 생성된 각 마스크를 기초로 제1 내지 제4 평가 영역 각각의 결함의 등급을 결정할 수 있다. 외관 상태 평가 모듈(320)은 결정된 각 등급을 통해 대상 전자 기기의 외관 상태에 대한 최종 등급을 결정할 수 있다.
도 5에 도시된 예에서, 제1 딥러닝 평가 모델(510)은 전면 이미지를 입력 받을 수 있다. 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 대상 전자 기기의 전면의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제1 마스크를 생성할 수 있다. 여기서, 결함의 정도는 결함 유형과 관련될 수 있다. 예를 들어, 제1 딥러닝 평가 모델(510)은 전면 이미지에 이미지 세그멘테이션을 수행하여 전면 이미지의 픽셀들 각각을 제1 클래스들 중 어느 하나로 분류할 수 있고, 이러한 분류에 따라 제1 마스크를 생성할 수 있다. 아래 표 2는 제1 클래스들의 예시를 보여준다.
제1-1 클래스(예: 전면 흠집, 전면 파손급 흠집 등)
제1-2 클래스(예: 전면 파손, 액정 들뜸 등)
제1-3 클래스(예: 대상 전자 기기가 아닌 부분)
제1-4 클래스(예: 대상 전자 기기의 전면)
앞서 촬영 박스 내의 제1 카메라는 대상 전자 기기의 전면 뿐 아니라 전면의 주변을 촬영할 수 있어, 전면 이미지에는 대상 전자 기기가 아닌 부분을 포함할 수 있다.
제1 딥러닝 평가 모델(510)은 전면 이미지의 일부 픽셀들을 제1-1클래스로 분류할 수 있고, 나머지 픽셀들 각각을 제1-2 클래스, 제1-3 클래스, 또는 제1-4 클래스로 분류할 수 있다. 이러한 분류를 통해 제1 딥러닝 평가 모델(510)은 제1 마스크를 생성할 수 있다.
제1 마스크를 시각적으로 표현한 이미지의 예시가 도 6에 도시된다.
도 6에 도시된 예에서, 검은색 영역들(610-1, 610-2, 610-3, 610-4)은 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들을 제1-3 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들이 대상 전자 기기에 해당하지 않는 것으로 예측한 결과)를 나타낼 수 있다. 영역(620)은 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들을 제1-2 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(510)이 전면 이미지로부터 대상 전자 기기의 전면에 파손이 있는 것으로 예측한 결과)를 나타낼 수 있다. 영역(630)은 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들을 제1-1 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(510)이 전면 이미지로부터 대상 전자 기기의 전면에 흠집이 있는 것으로 예측한 결과)를 나타낼 수 있다. 영역(640)은 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들을 제1-4 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(510)이 전면 이미지에서 대상 전자 기기의 전면을 예측한 결과)를 나타낼 수 있다.
제1 딥러닝 평가 모델(510)은 제1 마스크를 기초로 전면의 결함에 대한 등급을 결정할 수 있다. 예를 들어, 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 대상 전자 기기의 전면에 파손과 액정 들뜸 중 적어도 하나가 있는 것으로 예측한 경우, 대상 전자 기기의 전면의 결함의 등급을 C 등급(예: 위 표 1의 C 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(510)은 C 등급에 대응되는 점수 5를 출력할 수 있다. 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 대상 전자 기기의 전면에 파손과 흠집이 있는 것으로 예측한 경우, 대상 전자 기기의 전면의 결함의 등급을 C 등급(예: 위 표 1의 C 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(510)은 C 등급에 대응되는 점수 5를 출력할 수 있다. 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 대상 전자 기기의 전면에 흠집 및 전면 파손급 흠집 중 적어도 하나가 있는 것으로 예측한 경우, 대상 전자 기기의 전면의 결함의 등급을 B 등급(예: 위 표 1의 B 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(510)은 B 등급에 대응되는 점수 3을 출력할 수 있다. 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 대상 전자 기기의 전면이 깨끗한 것(또는 전면에 결함이 없는 것)으로 예측한 경우, 대상 전자 기기의 전면의 결함의 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(510)은 A 등급에 대응되는 점수 1을 출력할 수 있다.
제2 딥러닝 평가 모델(520)은 후면 이미지를 입력받을 수 있다. 제2 딥러닝 평가 모델(520)은 후면 이미지를 통해 대상 전자 기기의 후면의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제2 마스크를 생성할 수 있다. 예를 들어, 제2 딥러닝 평가 모델(520)은 후면 이미지에 이미지 세그멘테이션을 수행할 수 있고, 후면 이미지의 픽셀들 각각을 제2 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제2 마스크를 생성할 수 있다. 아래 표 3은 제2 클래스들의 예시를 보여준다.
제2-1 클래스(예: 파손, 후면 들뜸, 카메라 유지(또는 렌즈) 파손 등)
제2-2 클래스(예: 대상 전자 기기가 아닌 부분)
제2-3 클래스(예: 대상 전자 기기의 후면)
제2 딥러닝 평가 모델(520)은 제2 마스크를 기초로 후면의 결함에 대한 등급을 결정할 수 있다. 예를 들어, 제2 딥러닝 평가 모델(520)은 후면 이미지를 통해 대상 전자 기기의 후면에 파손, 후면 들뜸, 및 카메라 렌즈 파손 중 적어도 하나가 있는 것으로 예측한 경우, 대상 전자 기기의 후면의 결함의 등급을 C 등급(예: 위 표 1의 C 등급)으로 결정할 수 있다. 제2 딥러닝 평가 모델(520)은 C 등급에 대응되는 점수 5를 출력할 수 있다. 제2 딥러닝 평가 모델(520)은 후면 이미지를 통해 대상 전자 기기의 후면이 깨끗한 것으로 예측한 경우, 대상 전자 기기의 후면의 결함의 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제2 딥러닝 평가 모델(520)은 A 등급에 대응되는 점수 1을 출력할 수 있다. 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)을 입력받을 수 있다. 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)을 통해 대상 전자 기기의 측면들(또는 코너들)의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제3 마스크를 생성할 수 있다. 예를 들어, 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)에 이미지 세그멘테이션을 수행할 수 있고, 각 측면 이미지의 픽셀들 각각을 제3 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제3 마스크를 생성할 수 있다. 아래 표 4는 제3 클래스들의 예시를 보여준다.
제3-1 클래스(예: 흠집)
제3-2 클래스(예: 대상 전자 기기가 아닌 부분)
제3-3 클래스(예: 대상 전자 기기의 측면(또는 코너))
제3 딥러닝 평가 모델(530)은 제3 마스크를 기초로 측면들(또는 코너들)의 결함의 등급을 결정할 수 있다. 예를 들어, 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)을 통해 대상 전자 기기의 제1 측면(또는 제1 코너) 에 흠집이 있는 것으로 예측한 경우, 대상 전자 기기의 측면들(또는 코너들)의 결함에 대한 등급을 B+ 등급(예: 위 표 1의 B+ 등급)으로 결정할 수 있다. 제3 딥러닝 평가 모델(530)은 B+ 등급에 대응되는 점수 2를 출력할 수 있다. 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)을 통해 대상 전자 기기의 측면들(또는 코너들)이 깨끗한 것으로 예측한 경우, 대상 전자 기기의 측면들(또는 코너들)의 결함에 대한 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제3 딥러닝 평가 모델(530)은 A 등급에 대응되는 점수 1을 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 대상 전자 기기에 화면 이미지(예: 단색 화면 이미지)를 입력 받을 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 대상 전자 기기의 화면의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제4 마스크를 생성할 수 있다. 예를 들어, 제4 딥러닝 평가 모델(540)은 화면 이미지에 이미지 세그멘테이션을 수행할 수 있고, 화면 이미지의 픽셀들 각각을 제4 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제4 마스크를 생성할 수 있다. 아래 표 5는 제4 클래스들의 예시를 보여준다.
제4-1 클래스(예: 백화 3개 이상, 화면 줄감, 얼룩, 흑점, 총알 파손 등)
제4-2 클래스(예: LCD급 잔상, LCD급 백화 등)
제4-3 클래스(예: 강잔상, 백화 2개 이하 등)
제4-4 클래스(예: 중잔상 등)
제4-5 클래스(예: 대상 전자 기기가 아닌 부분)
제4-6 클래스(예: 대상 전자 기기의 화면)
제4 딥러닝 평가 모델(540)은 제4 마스크를 기초로 대상 전자 기기의 화면의 결함에 대한 등급을 결정할 수 있다. 예를 들어, 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 대상 전자 기기의 화면에 백화 3개 이상, 화면 줄감, 흑점, 총알 파손 중 적어도 하나가 있는 것으로 예측한 경우, 대상 전자 기기의 화면의 결함의 등급을 D 등급(예: 위 표 1의 D 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 D 등급에 대응되는 점수 7을 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 대상 전자 기기의 화면에 LCD급 잔상 및 LCD급 백화 중 적어도 하나가 있는 것으로 예측한 경우, 대상 전자 기기의 화면의 결함의 등급을 DL 등급(예: 위 표 1의 DL 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 DL 등급에 대응되는 점수 6을 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 대상 전자 기기의 화면에 강잔상 및 백화 2개 이하 중 적어도 하나가 있는 것으로 예측한 경우, 대상 전자 기기의 화면의 결함에 대한 등급을 CL 등급(예: 위 표 1의 CL 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 CL 등급에 대응되는 점수 4를 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 대상 전자 기기의 화면에 중잔상이 있는 것으로 예측한 경우, 대상 전자 기기의 화면의 결함의 등급을 B 등급(예: 위 표 1의 B 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 B 등급에 대응되는 점수 3을 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 대상 전자 기기의 화면이 깨끗한 것으로 예측한 경우, 대상 전자 기기의 화면의 결함의 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 A 등급에 대응되는 점수 1을 출력할 수 있다. 도 3으로 돌아와서, 가치 결정 모듈(330)은 대상 전자 기기의 외관 상태 평가의 결과 및/또는 대상 전자 기기의 내부 상태 평가의 결과를 기초로 대상 전자 기기의 가치를 결정할 수 있다.
일 실시 예에 있어서, 가치 결정 모듈(330)은 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 결정된 등급 중 최소 등급을 대상 전자 기기의 외관 상태에 대한 최종 등급으로 결정할 수 있다. 등급 A가 가장 높고 등급 B+는 등급 A보다 낮고 등급 B보다는 높을 수 있다. 등급 CL은 등급 B보다 낮고 등급 C보다 높을 수 있다. 등급 D가 가장 낮을 수 있다. 일례로, 제1 딥러닝 평가 모델(510)에 의해 결정된 등급이 C 등급이고, 제2 딥러닝 평가 모델(520)에 의해 결정된 등급이 B+ 등급이며, 제3 딥러닝 평가 모델(530)에 의해 결정된 등급이 C 등급이고, 제4 딥러닝 평가 모델(540)에 의해 결정된 등급이 CL 등급일 수 있다. 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 결정된 등급 중 제1 딥러닝 평가 모델(510)에 의해 결정된 C 등급이 최소 등급일 수 있어, 가치 결정 모듈(330)은 대상 전자 기기의 외관 상태에 대한 최종 등급을 C 등급으로 결정할 수 있다. 실시 예에 따라, 등급이 낮을수록 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 출력되는 점수는 높을 수 있다. 가치 결정 모듈(330)은 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 출력된 점수 중 최대 점수를 대상 전자 기기의 외관 평가에 대한 최종 점수로 결정할 수 있다.
일 실시 예에 있어서, 가치 결정 모듈(330)은 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 결정된 등급(또는 점수)에 가중치를 적용할 수 있고, 각 가중치가 적용된 등급(또는 점수)을 이용하여 대상 전자 기기의 외관 상태에 대한 최종 등급(또는 최종 점수)을 결정할 수 있다. 일례로, 가치 결정 모듈(330)은 제1 딥러닝 평가 모델(510)에 의해 결정된 등급(또는 점수)에 제1 가중치를 적용할 수 있고, 제2 딥러닝 평가 모델(520)에 의해 결정된 등급(또는 점수)에 제2 가중치를 적용할 수 있으며, 제3 딥러닝 평가 모델(530)에 의해 결정된 등급(또는 점수)에 제3 가중치를 적용할 수 있고, 제4 딥러닝 평가 모델(540)에 의해 결정된 등급에 제4 가중치를 적용할 수 있다. 여기서, 제1 가중치 내지 제4 가중치 각각은 0보다 크고 1보다 작을 수 있다. 가치 결정 모듈(330)은 제1 내지 제4 가중치 각각이 적용된 등급(또는 점수)을 합산하여 대상 전자 기기의 외관 상태에 대한 최종 등급(또는 최종 점수)을 결정할 수 있다.
가치 결정 모듈(330)은 대상 전자 기기의 외관 상태 평가의 결과(예: 대상 전자 기기의 외관 상태에 대한 최종 등급(또는 최종 점수))를 기초로 제1 금액을 결정할 수 있고, 대상 전자 기기의 내부 상태 평가의 결과를 기초로 제2 금액을 결정할 수 있다. 가치 결정 모듈(330)은 대상 전자 기기의 기준 가격(예: 대상 전자 기기와 동일 종류의 대상 전자 기기의 가장 높은 중고 가격)에서 제1 금액과 제2 금액을 차감하여 대상 전자 기기의 가격을 산출할 수 있다. 일례로, 가치 결정 모듈(330)은 중고 시세 데이터베이스와 연동하여 대상 전자 기기의 기준 가격을 획득할 수 있다. 가치 결정 모듈(330)은 외관 상태의 등급과 금액이 서로 맵핑된 제1 테이블로부터, 대상 전자 기기의 외관 상태에 대한 최종 등급과 맵핑된 제1 금액을 획득할 수 있다. 가치 결정 모듈(330)은 내부 상태의 등급과 금액이 서로 맵핑된 제2 테이블로부터, 대상 전자 기기의 내부 상태 평가의 결과와 맵핑된 제2 금액을 획득할 수 있다. 가치 결정 모듈(330)은 기준 금액에서 제1 금액 및 제2 금액을 차감하여 대상 전자 기기의 가격을 산출할 수 있다.
가치 결정 모듈(330)은, 도 1에 도시된 예의 경우, 무인 매입 장치(110)로 대상 전자 기기의 가치(예: 가격)를 전송할 수 있다. 무인 매입 장치(110)는 디스플레이를 통해 대상 전자 기기의 가치(예: 가격)를 사용자에게 보여줄 수 있다.
가치 결정 모듈(330)은, 도 2에 도시된 예의 경우, 무인 매입 장치(110)의 디스플레이에 대상 전자 기기의 가치(예: 가격)를 표시할 수 있다.
일 실시 예에 있어서, 외관 상태 평가 모듈(320)은 이미지들(예: 전면 이미지, 후면 이미지, 측면 이미지들, 화면 이미지) 각각에 결함으로 오인될 하나 이상의 객체가 포함되어 있는지 여부를 판단할 수 있다. 여기서, 객체는 대상 전자 기기의 화면 상의 플로팅 아이콘에 대응되는 제1 객체 및 대상 전자 기기의 부착물(예: 보호 필름, 스티커 등)에 대응되는 제2 객체 중 적어도 하나를 포함할 수 있다. 플로팅 아이콘에 대응되는 제1 객체는 대상 전자 기기의 화면 상의 플로팅 아이콘이 촬영됨으로써 이미지에 포함된 객체를 나타낼 수 있다. 플로팅 아이콘은, 예를 들어, 보조 터치(assistive touch)의 플로팅 아이콘, 특정 태스크를 트리거링 하기 위한 플로팅 아이콘 등을 포함할 수 있으나 이에 제한되지 않는다. 대상 전자 기기의 부착물에 대응되는 제2 객체는 대상 전자 기기의 부착물이 촬영됨으로써 이미지에 포함된 객체를 나타낼 수 있다.
외관 상태 평가 모듈(320)은 결함으로 오인될 객체가 포함된 이미지가 있는 경우, 객체에 대한 처리를 수행할 수 있다. 일례로, 외관 상태 평가 모듈(320)은 객체에 마스킹(masking) 처리를 수행할 수 있으나 이에 제한되지 않는다. 외관 상태 평가 모듈(320)은 객체가 처리된 이미지, 객체가 포함되지 않은 나머지 이미지들, 및 딥러닝 평가 모델들(510 내지 540)을 기초로 외관 상태 평가를 수행할 수 있다. 외관 상태 평가 모듈(320)은 딥러닝 평가 모델들(510 내지 540)을 통해 객체가 처리된 이미지 및 객체가 포함되지 않은 나머지 이미지들로부터 대상 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성할 수 있고, 생성된 각 마스크를 기초로 평가 영역들 각각의 결함에 대한 등급을 결정할 수 있으며, 결정된 각 등급을 통해 대상 전자 기기의 외관 상태에 대한 최종 등급을 결정할 수 있다.
외관 상태 평가 모듈(320)은 대상 전자 기기를 촬영하여 획득된 이미지들 중에서 상술한 객체가 포함된 이미지가 없는 것으로 판단할 수 있다. 이 경우, 위에서 설명한 것과 같이, 외관 상태 평가 모듈(320)은 이미지들과 딥러닝 평가 모델들(510 내지 540)을 기초로 외관 상태 평가를 수행할 수 있다.
외관 상태 평가 모듈(320)은 대상 전자 기기를 촬영하여 획득된 이미지들 중 딥러닝 평가 모델들 중 하나 이상이 분석하지 못할 정도의 이미지(이하, "모델 분석 불가 이미지"라 지칭함)가 있는지 여부를 판단할 수 있다. 일례로, 외관 상태 평가 모듈(320)은 대상 전자 기기를 촬영하여 획득된 이미지들 중 빛 반사가 일정 수준 이상 존재하는 이미지, 카메라 초점이 맞지 않는 이미지 등을 모델 분석 불가 이미지로 결정할 수 있다. 외관 상태 평가 모듈(320)은 모델 분석 불가 이미지가 있는 경우, 운영자에게 대상 전자 기기의 외관 상태 평가를 요청할 수 있다.
일 실시 예에 있어서, 전자 기기 가치 평가 장치(130)는 바(bar) 타입의 대상 전자 기기의 가치를 평가할 수 있다. 이 경우, 앞서 설명한 것과 같이, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 바 타입의 대상 전자 기기를 촬영하여 획득된 복수의 이미지들 및 제1 내지 제4 딥러닝 평가 모델들(510~540)을 기초로 바 타입의 대상 전자 기기에 대한 외관 상태 평가를 수행할 수 있다.
전자 기기 가치 평가 장치(130)는 형태가 변경 가능한 대상 전자 기기(예: 폴더블, 롤러블 등)의 가치를 평가할 수 있다. 형태가 변경 가능한 대상 전자 기기는 제1 형태(예: 언폴드(unfolded) 형태 또는 축소(contraction) 형태)를 가질 수 있고, 조작에 의해 제2 형태(예: 접힌(folded) 형태 또는 확장(expansion) 형태)로 변경될 수 있다. 일례로, 폴더블 대상 전자 기기는 언폴드 형태에 있을 수 있고, 조작에 의해 형태가 접힌 형태로 변경될 수 있다. 롤러블 대상 전자 기기는 축소 형태에 있을 수 있고, 조작에 의해 형태가 확장 형태로 변경될 수 있다. 축소 형태는 롤러블 디스플레이이가 기기 안으로 롤인(roll in)되는 상태를 나타낼 수 있고 확장 형태는 롤러블 디스플레이가 기기로부터 롤아웃(roll out)되는 상태를 나타낼 수 있다.
예를 들어, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 언폴드 형태에 있는 폴더블 대상 전자 기기를 촬영하여 획득한 복수의 이미지들 및 제1 내지 제4 딥러닝 평가 모델들(510~540)을 기초로 언폴드 형태에 있는 폴더블 대상 전자 기기의 각 평가 영역의 결함의 등급을 결정할 수 있다.
무인 매입 장치(110)는 촬영 박스 내에 있는 폴더블 대상 전자 기기를 언폴드 형태에서 접힌 형태로 변경할 수 있다. 또는 무인 매입 장치(110)는 사용자에게 폴더블 대상 전자 기기를 언폴드 형태에서 접힌 형태로 변경한 뒤 접힌 형태에 있는 대상 전자 기기를 무인 매입 장치(110)에 재투입할 것을 요청할 수 있다. 폴더블 대상 전자 기기가 언폴드 형태에서 접힌 형태로 변경되면 접힌 부분이 측면을 형성할 수 있고, 폴더블 대상 전자 기기의 서브 화면이 활성화될 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 복수의 제3 카메라들 중 하나 이상을 통해 폴더블 대상 전자 기기의 접힌 부분에 해당하는 측면을 촬영함으로써 이미지(이하, 접힌 측면의 이미지)를 획득할 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 제1 카메라를 통해 폴더블 대상 전자 기기의 서브 화면을 촬영함으로써 이미지(이하, 서브 화면 이미지)를 획득할 수 있다.
전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 접힌 측면의 이미지와 제5 딥러닝 평가 모델을 기초로 폴더블 대상 전자 기기의 제5 평가 영역(예: 접힌 부분에 해당하는 측면)을 평가할 수 있다. 여기서, 제5 딥러닝 평가 모델은 폴더블 대상 전자 기기의 제5 평가 영역의 결함을 검출하고 검출된 결함(또는 제5 평가 영역)의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 접힌 측면의 이미지를 제5 딥러닝 평가 모델에 입력할 수 있다. 제5 딥러닝 평가 모델은 접힌 측면의 이미지를 통해 폴더블 대상 전자 기기의 제5 평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제5 마스크를 생성할 수 있다. 제5 딥러닝 평가 모델은 제5 마스크를 기초로 폴더블 대상 전자 기기의 제5 평가 영역의 결함에 대한 등급을 결정할 수 있다.
전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 서브 화면 이미지와 제6 딥러닝 평가 모델을 기초로 폴더블 대상 전자 기기의 제6 평가 영역(예: 서브 화면)을 평가할 수 있다. 여기서, 제6 딥러닝 평가 모델은 폴더블 대상 전자 기기의 제6 평가 영역의 결함을 검출하고 검출된 결함(또는 제6 평가 영역)의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 서브 화면 이미지를 제6 딥러닝 평가 모델에 입력할 수 있다. 제6 딥러닝 평가 모델은 서브 화면 이미지를 통해 폴더블 대상 전자 기기의 제6 평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제6 마스크를 생성할 수 있다. 제6 딥러닝 평가 모델은 제6 마스크를 기초로 폴더블 대상 전자 기기의 제6 평가 영역의 결함에 대한 등급을 결정할 수 있다. 실시 예에 따라, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 서브 화면 이미지와 위에서 설명한 제4 딥러닝 평가 모델(540)을 기초로 대상 전자 기기의 제6 평가 영역(예: 서브 화면)의 결함의 등급을 결정할 수 있다.
전자 기기 가치 평가 장치(130)(또는 가치 결정 모듈(330))은 폴더블 대상 전자 기기의 외관 상태 평가의 결과(예: 제1 내지 제6 딥러닝 평가 모델 각각에 의해 결정된 등급) 및/또는 폴더블 대상 전자 기기의 내부 상태 평가의 결과를 기초로 폴더블 대상 전자 기기의 가치를 결정할 수 있다.
다른 예를 들어, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 축소 형태의 롤러블 대상 전자 기기를 촬영하여 획득한 복수의 이미지들 및 제1 내지 제4 딥러닝 평가 모델들(510~540)을 기초로 축소 형태의 롤러블 대상 전자 기기의 각 평가 영역의 결함의 등급을 결정할 수 있다.
무인 매입 장치(110)는 촬영 박스 내에 있는 롤러블 대상 전자 기기를 축소 형태에서 확장 형태로 변경할 수 있다. 또는 무인 매입 장치(110)는 사용자에게 롤러블 대상 전자 기기를 축소 형태에서 확장 형태로 변경한 뒤 확장 형태에 있는 대상 전자 기기를 무인 매입 장치(110)에 재투입할 것을 요청할 수 있다. 롤러블 대상 전자 기기가 축소 형태에서 확장 형태로 변경되면, 화면과 측면이 확장될 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 복수의 제3 카메라들 중 하나 이상을 통해, 확장된 측면을 촬영함으로써 이미지(이하, 확장된 측면의 이미지)를 획득할 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 제1 카메라를 통해 대상 전자 기기의 확장된 화면을 촬영함으로써 이미지(이하, 확장된 화면의 이미지)를 획득할 수 있다.
전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 측면의 이미지와 제7 딥러닝 평가 모델을 기초로 롤러블 대상 전자 기기의 제7 평가 영역(예: 확장된 측면)을 평가할 수 있다. 여기서, 제7 딥러닝 평가 모델은 롤러블 대상 전자 기기의 제7 평가 영역의 결함을 검출하고 검출된 결함(또는 제7 평가 영역)의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 측면의 이미지를 제7 딥러닝 평가 모델에 입력할 수 있다. 제7 딥러닝 평가 모델은 확장된 측면의 이미지를 통해 롤러블 대상 전자 기기의 제7 평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제7 마스크를 생성할 수 있다. 제7 딥러닝 평가 모델은 제7 마스크를 기초로 롤러블 대상 전자 기기의 제7 평가 영역의 결함에 대한 등급을 결정할 수 있다. 실시 예에 따라, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 측면의 이미지와 제3 딥러닝 평가 모델(530)을 기초로 롤러블 대상 전자 기기의 제7 평가 영역(예: 확장된 측면)을 평가할 수 있다.
전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 화면의 이미지와 제4 딥러닝 평가 모델(540)을 기초로 롤러블 대상 전자 기기의 제8 평가 영역(예: 확장된 화면)을 평가할 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 화면의 이미지를 제4 딥러닝 평가 모델(540)에 입력할 수 있다. 위에서 설명한 것과 같이, 제4 딥러닝 평가 모델(540)은 주어진 화면 이미지에서 화면의 결함 상태를 예측한 마스크를 생성하고 생성된 마스크를 기초로 화면의 결함의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 제4 딥러닝 평가 모델(540)은 확장된 화면의 이미지를 통해 롤러블 대상 전자 기기의 제8평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제8 마스크를 생성할 수 있다. 제4 딥러닝 평가 모델(540)은 제8 마스크를 기초로 롤러블 대상 전자 기기의 제8 평가 영역의 결함에 대한 등급을 결정할 수 있다.
전자 기기 가치 평가 장치(130)(또는 가치 결정 모듈(330))은 롤러블 대상 전자 기기의 외관 상태 평가의 결과(예: 제1 내지 제4 딥러닝 평가 모델 및 제7 딥러닝 평가 모델 각각에 의해 결정된 등급) 및/또는 롤러블 대상 전자 기기의 내부 상태 평가의 결과를 기초로 롤러블 대상 전자 기기의 가치를 결정할 수 있다.
일 실시 예에 있어서, 무인 매입 장치(110)는 사용자로부터 웨어러블 기기(예: 스마트 워치)를 투입받을 수 있다. 전자 기기 가치 평가 장치(130)는 웨어러블 기기의 외관(예: 전면, 후면, 측면, 화면)을 평가할 수 있는 딥러닝 평가 모델들을 저장할 수 있다. 전자 기기 가치 평가 장치(130)는 웨어러블 기기를 촬영하여 획득한 이미지들 및 딥러닝 평가 모델들을 기초로 웨어러블 기기에 대한 외관 상태 평가를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 웨어러블 기기의 외관 상태 평가의 결과 및 웨어러블 기기의 내부 상태 평가의 결과를 기초로 웨어러블 기기의 가치를 결정할 수 있다.
도 7은 일 실시 예에 따른 대상 전자 기기 가치 평가 방법을 설명하는 흐름도이다.
도 7을 참조하면, 단계 710에서, 전자 기기 가치 평가 장치(130)는 대상 전자 기기를 촬영하여 획득된 복수의 이미지들 및 복수의 딥러닝 평가 모델들을 기초로 대상 전자 기기에 대한 외관 상태 평가를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 딥러닝 평가 모델들(510 내지 540)을 통해 이미지들로부터 대상 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성할 수 있고, 생성된 각 마스크를 기초로 대상 전자 기기의 평가 영역들 각각의 결함에 대한 등급을 결정할 수 있다. 전자 기기 가치 평가 장치(130)는 결정된 각 등급을 통해 대상 전자 기기의 외관 상태에 대한 최종 등급을 결정할 수 있다.
일 실시 예에 있어서, 대상 전자 기기의 형태가 변경될 수 있다. 위에서 설명한 것과 같이, 전자 기기 가치 평가 장치(130)는 대상 전자 기기를 제1 형태(예: 언폴드 형태 또는 축소 형태)에서 제2 형태(예: 접힌 형태 또는 확장 형태)로 변경할 수 있다. 또는, 전자 기기 가치 평가 장치(130)는 사용자에게 대상 전자 기기를 제1 형태에서 제2 형태로 변경한 뒤 제2 형태의 대상 전자 기기를 무인 매입 장치(110)에 재투입할 것을 요청할 수 있다. 전자 기기 가치 평가 장치(130)는 대상 전자 기기의 형태가 변경된 경우, 딥러닝 평가 모델들(510 내지 540) 이외의 추가 딥러닝 평가 모델(예: 위에서 설명한 제5 딥러닝 평가 모델, 제6 딥러닝 평가 모델, 및 제7 딥러닝 평가 모델 중 적어도 하나)을 통해, 대상 전자 기기의 변경된 형태가 촬영되어 획득된 이미지로부터 대상 전자 기기의 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크(예: 위에서 설명한 제5 마스크, 제6 마스크, 및 제 7 마스크 중 적어도 하나)를 생성할 수 있다. 전자 기기 가치 평가 장치(130)는 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크를 기초로 대상 전자 기기의 변경된 형태의 평가 영역의 결함에 대한 등급을 결정할 수 있다.
상술한 제 5 내지 제7 딥러닝 평가 모델 각각은 주어진 입력 이미지에 이미지 세그멘테이션을 수행할 수 있다.
단계 720에서, 전자 기기 가치 평가 장치(130)는 대상 전자 기기의 외관 상태 평가의 결과 및 대상 전자 기기의 내부 상태 평가의 결과를 기초로 대상 전자 기기의 가치를 결정할 수 있다.
도 1 내지 도 6을 통해 설명한 사항들은 도 7의 대상 전자 기기 가치 평가 방법에 적용될 수 있다.
도 8 내지 도 13은 일 실시 예에 따른 예외 케이스 처리 방법을 설명하는 도면이다.
도 8에 도시된 단계들 중 적어도 일부 또는 전부는 도 7의 단계 710에 포함될 수 있다.
도 8에 도시된 단계들은 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))에 의해 수행될 수 있다.
도 8을 참조하면, 단계 801에서, 전자 기기 가치 평가 장치(130)는 이미지들에 예외 케이스(exception case)가 존재하는지 여부를 판단할 수 있다. 일 실시 예에 있어서, 예외 케이스는 대상 전자 기기의 플로팅 아이콘에 대응되는 제1 객체, 대상 전자 기기의 부착물에 대응되는 제2 객체, 촬영 조건(예: 카메라 초점 및/또는 조명 밝기)이 만족되지 않은 제1 케이스, 및 대상 전자 기기에 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.
도 9에 도시된 이미지(900)는 대상 전자 기기(예: 아이폰(iPhone)®)의 화면 이미지의 예시로, 이미지(900)에는 플로팅 아이콘(예: assistive touch)에 대응되는 제1 객체(910)가 존재할 수 있다. 무인 매입 장치(110)의 촬영 박스 내의 제1 카메라는 플로팅 아이콘(예: assistive touch)이 있는 대상 전자 기기의 단색 화면(예: 흰색 화면)을 촬영함으로써 이미지(900)를 획득할 수 있다. 이에 따라, 이미지(900)에는 플로팅 아이콘(예: assistive touch)에 대응되는 제1 객체(910)가 존재할 수 있다. 플로팅 아이콘(예: assistive touch)은 화면 상에서 위치가 고정되어 있지 않고 다양한 위치에 존재할 수 있다. 제1 객체(910)에 대한 별다른 처리가 없으면, 전자 기기 가치 평가 장치(130)(또는 제4 딥러닝 평가 모델(540))는 제1 객체(910)를 화면 결함(또는 화면 파손)으로 인식(또는 오인)할 수 있다. 전자 기기 가치 평가 장치(130)는 이미지(900)를 제4 딥러닝 평가 모델(540)에 입력하기 전에, 이미지(900)에서 제1 객체(910)를 검출할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)는 템플릿 매칭 알고리즘을 이용하여 이미지(900)에서 제1 객체(910)를 검출할 수 있다. 제1 객체(910)를 검출하는 방식은 템플릿 매칭 알고리즘으로 제한되지 않는다. 전자 기기 가치 평가 장치(130)는 후술하겠지만 제1 객체(910)에 마스킹 처리(또는 필터링 처리)를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 제4 딥러닝 평가 모델(540)이 제1 객체(910)를 화면 결함으로 인식하지 않도록 할 수 있다.
도 10에 도시된 이미지(100)는 대상 전자 기기(예: 삼성전자의 갤럭시 스마트폰)의 화면 이미지의 예시로, 이미지(1000)에는 플로팅 아이콘에 대응되는 제1 객체(1010)가 존재할 수 있다. 무인 매입 장치(110)의 촬영 박스 내의 제1 카메라는 플로팅 아이콘이 있는 대상 전자 기기의 단색 화면(예: 흰색 화면)을 촬영함으로써 이미지(1000)를 획득할 수 있다. 이에 따라, 이미지(1000)에는 플로팅 아이콘에 대응되는 제1 객체(1010)가 존재할 수 있다. 제1 객체(1010)에 대한 별다른 처리가 없으면, 전자 기기 가치 평가 장치(130)(또는 제4 딥러닝 평가 모델(540))는 제1 객체(1010)를 화면 결함(또는 화면 파손)으로 인식(또는 오인)할 수 있다. 전자 기기 가치 평가 장치(130)는 이미지(1000)를 제4 딥러닝 평가 모델(540)에 입력하기 전에, 템플릿 매칭 알고리즘을 이용하여 이미지(1000)에서 제1 객체(1010)를 검출할 수 있고, 제1 객체(1010)에 마스킹 처리(또는 필터링 처리)를 수행할 수 있다. 제1 객체(1010)가 화면 결함으로 인식되지 않도록 할 수 있다.
도 11에 도시된 이미지(1100)는 대상 전자 기기의 후면 이미지의 예시로, 이미지(1100)에는 대상 전자 기기에 부착된 스티커에 대응되는 제2 객체(1110)가 존재할 수 있다. 무인 매입 장치(110)의 촬영 박스 내의 제2 카메라는 스티커가 부착된 대상 전자 기기의 후면을 촬영함으로써 이미지(1100)를 획득할 수 있다. 이에 따라, 이미지(1100)에는 스티커에 대응되는 제2 객체(1110)가 존재할 수 있다. 제2 객체(1110)에 대한 별다른 처리가 없으면, 전자 기기 가치 평가 장치(130)(또는 제2 딥러닝 평가 모델(520))는 대상 전자 기기의 후면을 정확히 평가하는 것이 어려울 수 있다. 전자 기기 가치 평가 장치(130)는 이미지(1100)를 제2 딥러닝 평가 모델(520)에 입력하기 전에, 이미지(1100)에서 제2 객체(1110)를 검출할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)는 이미지(1100)에 블러(blur) 처리를 수행할 수 있고, 블러 처리된 이미지(1100)에서 특정 임계값 이내에 있는 픽셀값들을 이용(또는 추출)하여 컨투어(contour)을 찾음으로써 제2 객체(1110)의 위치를 파악할 수 있다. 전자 기기 가치 평가 장치(130)는 제2 객체(1110)에 마스킹 처리(또는 필터링 처리)를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 제2 객체(1010)가 화면 결함으로 인식되지 않도록 할 수 있다.
도 12에 도시된 이미지(1200)와 도 13에 도시된 이미지(1300)는 대상 전자 기기의 화면 이미지의 예시로, 도 12의 이미지(1200)를 참조하면, 대상 전자 기기에는 지정되지 않은 화면(예: 대상 전자 기기의 홈 화면, 텍스트가 표시된 화면 등)이 켜져(on) 있다. 예를 들어, 대상 전자 기기에 설치된 제1 어플리케이션이 정상적으로 동작하지 않은 경우 대상 전자 기기에는 지정되지 않은 화면이 켜질 수 있다. 대상 전자 기기에 지정되지 않은 화면이 켜진 상태에서 제1 카메라가 대상 전자 기기의 화면을 촬영하면 예를 들어 도 12의 이미지(1200)가 획득될 수 있다. 도 13의 이미지(1300)를 참조하면, 대상 전자 기기에는 지정된 화면(예: 단색 화면)이 켜져 있다. 대상 전자 기기에 설치된 제1 어플리케이션이 정상적으로 동작한 경우 대상 전자 기기에는 지정된 화면이 켜질 수 있다. 대상 전자 기기에 지정된 화면이 켜진 상태에서 제1 카메라가 대상 전자 기기의 화면을 촬영하면 예를 들어 도 13의 이미지(1300)가 획득될 수 있다. 전자 기기 가치 평가 장치(130)(또는 제4 딥러닝 평가 모델(540))는 도 12의 이미지(1200)로부터 대상 전자 기기의 화면에 결함이 있는지 여부를 정확히 판단하는 것이 어려울 수 있다. 전자 기기 가치 평가 장치(130)(또는 제4 딥러닝 평가 모델(540))는 도 13의 이미지(1300)로부터 대상 전자 기기의 화면에 결함이 있는지 여부를 정확히 판단할 수 있다. 전자 기기 가치 평가 장치(130)는 대상 전자 기기에 지정된 화면이 켜져 있는지 여부를 판단하기 위해, 이미지(1200)에서 대상 전자 기기의 화면의 일부 영역(1210)을 크롭(crop)할 수 있다. 전자 기기 가치 평가 장치(130)는 크롭된 영역(1210)의 색상을 제1 색상(예: RGB)에서 제2 색상(예: HSV)으로 변환할 수 있다. 전자 기기 가치 평가 장치(130)는 색상이 변환된 영역의 채도 정보와 밝기 정보를 체크할 수 있고, 채도 정보와 밝기 정보를 합한 값이 일정값(예: 70000) 이상인 경우, 대상 전자 기기에 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스가 발생한 것으로 판단할 수 있다. 도 13에 도시된 예와 같이, 전자 기기 가치 평가 장치(130)는 이미지(1300)에서 대상 전자 기기의 화면의 일부 영역(1310)을 크롭할 수 있고, 크롭된 영역(1310)의 색상을 제1 색상에서 제2 색상으로 변환할 수 있으며, 색상이 변환된 영역의 채도 정보와 밝기 정보를 합한 값이 일정값 미만인 경우 제2 케이스가 발생하지 않은 것으로 판단할 수 있다.
실시 예에 따라, 대상 전자 기기가 촬영되어 획득된 이미지들 중 적어도 하나에는 아웃 포커싱이 있을 수 있다. 전자 기기 가치 평가 장치(130)는 이미지들 중 촬영 조건(예: 카메라 초점)이 만족되지 않는 제1 케이스(예: 아웃 포커싱)가 있는지 여부를 판단할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)는 특정 이미지에서 대상 전자 기기를 포함하는 영역을 크롭할 수 있고, 크롭된 영역에서 엣지(edge)를 검출할 수 있으며, 엣지의 검출 결과를 통해 특정 이미지가 아웃 포커싱되었는지 여부를 판단할 수 있다. 일례로, 전자 기기 가치 평가 장치(130)는 크롭된 영역의 라플라시안(Laplacian)의 분산값을 계산할 수 있고, 계산된 분산값이 임계값(예: 250) 미만인 경우 촬영 조건이 만족되지 않은 제1 케이스(예: 아웃 포커싱)가 있는 것으로 판단할 수 있다.
실시 예에 따라, 대상 전자 기기가 촬영되어 획득된 이미지들 중 적어도 하나는 조명 밝기(또는 조명 세기)가 일정 수준 이상인 상태에서 촬영되어 획득된 것일 수 있다. 전자 기기 가치 평가 장치(130)는 이미지들 중 촬영 조건(예: 조명 밝기)이 만족되지 않는 제1 케이스(예: 조명 밝기가 일정 수준 초과한 케이스)가 있는지 여부를 판단할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)는 특정 이미지의 픽셀값들의 평균을 계산할 수 있다. 전자 기기 가치 평가 장치(130)는 계산된 평균이 일정값(예: 120)을 초과하는 경우, 촬영 조건이 만족되지 않은 제1 케이스(예: 조명 밝기가 일정 수준 초과한 케이스)가 있는 것으로 판단할 수 있다.
단계 801에서, 전자 기기 가치 평가 장치(130)는 이미지들에 제1 객체, 제2 객체, 촬영 조건(예: 카메라 초점 및/또는 조명 밝기)이 만족되지 않은 제1 케이스, 및 대상 전자 기기에 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스 중 적어도 하나 또는 이들의 조합이 있는지 여부를 판단할 수 있다.
전자 기기 가치 평가 장치(130)는 이미지들에 예외 케이스가 존재하지 않는 경우, 단계 803에서 외관 상태 평가를 수행할 수 있다. 단계 803의 외관 상태 평가에 대해선 위에서 설명한 외관 상태 평가가 적용될 수 있어 상세한 설명을 생략한다.
전자 기기 가치 평가 장치(130)는 이미지들 중 하나 이상에 예외 케이스가 존재하는 경우, 단계 805에서, 예외 케이스가 처리 가능한지 여부를 판단할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)는 제1 객체 및 제2 객체는 전자 기기 가치 평가 장치(130)에 의해 이미지 처리가 가능한 것으로 판단할 수 있다. 전자 기기 가치 평가 장치(130)는 제1 케이스 및 제2 케이스는 전자 기기 가치 평가 장치(130)에 의해 이미지 처리가 가능하지 않은 것으로 판단할 수 있다.
전자 기기 가치 평가 장치(130)는 이미지들 중 하나 이상에 처리 가능한 예외 케이스(예: 제1 객체 및 제2 객체 중 적어도 하나 또는 이들의 조합)이 있는 경우, 단계 807에서 예외 케이스를 처리할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)는 대상 전자 기기의 화면 이미지에 제1 객체가 존재하는 경우, 제1 객체에 마스킹 처리(또는 필터링 처리)를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 대상 전자 기기의 화면 이미지에 제1 객체가 존재하고 대상 전자 기기의 후면 이미지에 제2 객체가 존재하는 경우, 제1 내지 제2 객체 각각에 마스킹 처리(또는 필터링 처리)를 수행할 수 있다.
단계 809에서, 전자 기기 가치 평가 장치(130)는 이미지들 중 예외 케이스가 존재하지 않은 나머지 이미지들, 예외 케이스가 처리된 하나 이상의 이미지, 및 딥러닝 평가 모델들을 이용하여 외관 상태 평가를 수행할 수 있다. 예를 들어, 대상 전자 기기의 화면 이미지에 제1 객체가 존재하여 제1 객체가 마스킹 처리된 경우, 제4 딥러닝 평가 모델(540)은 제1 객체가 마스킹 처리된 화면 이미지에 이미지 세그멘테이션을 수행할 수 있다. 제4 딥러닝 평가 모델(540)은 제1 객체가 마스킹 처리된 화면 이미지의 픽셀들 각각을 위 표 5의 제4 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제4 마스크를 생성할 수 있다. 이 때, 위 표 5에는 제4-7 클래스(예: 대상 전자 기기의 예외 화면)가 더 포함되어 있을 수 있고, 제4 딥러닝 평가 모델(540)은 마스킹 처리된 픽셀들을 제4-7 클래스(예: 대상 전자 기기의 예외 화면)로 분류할 수 있다. 제4 딥러닝 평가 모델(540)은 제4 마스크를 기초로 대상 전자 기기의 화면의 결함에 대한 등급을 결정할 수 있다. 대상 전자 기기의 후면 이미지에 제2 객체가 존재하여 제2 객체가 마스킹 처리된 경우, 제2 딥러닝 평가 모델(520)은 제2 객체가 마스킹 처리된 후면 이미지에 이미지 세그멘테이션을 수행할 수 있다. 제2 딥러닝 평가 모델(520)은 제2 객체가 마스킹 처리된 후면 이미지의 픽셀들 각각을 위 표 3의 제2 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제2 마스크를 생성할 수 있다. 이 때, 위 표 3에는 제2-4 클래스(예: 대상 전자 기기의 예외 후면)가 더 포함되어 있을 수 있고, 제2 딥러닝 평가 모델(520)은 마스킹 처리된 픽셀들을 제2-4 클래스(예: 대상 전자 기기의 예외 후면)로 분류할 수 있다. 제2 딥러닝 평가 모델(520)은 제2 마스크를 기초로 대상 전자 기기의 후면의 결함에 대한 등급을 결정할 수 있다.
전자 기기 가치 평가 장치(130)는 이미지들 중 하나 이상에 예외 케이스가 존재하지만 이러한 예외 케이스가 이미지 처리를 통해 처리 가능하지 못한 예외 케이스(예: 제1 케이스 및 제2 케이스 중 적어도 하나)인 경우, 단계 811에서 운영자에게 해당 예외 케이스에 대한 처리를 요청할 수 있다. 전자 기기 가치 평가 장치(130)는 제1 케이스 및 제2 케이스 중 적어도 하나가 존재하는 경우 운영자 처리가 필요한 것으로 판단할 수 있다. 운영자는 촬영 조건이 만족되지 않은 제1 케이스(예: 조명 밝기가 일정 수준 초과한 케이스) 및/또는 대상 전자 기기에 지정되지 않은 화면이 켜진 상황에 해당하는 제2 케이스가 있는 경우 무인 매입 장치(110)에 대상 전자 기기의 재촬영을 지시하거나 운영자가 대상 전자 기기의 외관 상태를 평가할 수 있다.
도 14a와 도 14b는 일 실시 예에 따른 전자 기기 가치 평가 장치의 외관 상태 평가 모듈을 설명하는 도면이다.
전자 기기의 외관 이미지(예: 전면 이미지, 후면 이미지, 측면 이미지, 화면 이미지)에 대한 딥러닝 평가 모델의 결함 분석 오류 원인은 여러 가지가 있을 수 있다.
예를 들어, 딥러닝 평가 모델의 트레이닝을 위해 사용되는 학습 이미지들이 획득된 촬영 환경(예: 촬영 박스, 촬영 박스 내의 조명들, 카메라들 등)과 전자 기기를 실제 평가하기 위한 무인 매입 장치(110)의 촬영 환경(예: 촬영 박스 내의 카메라들과 조명들 등) 사이의 차이가 결함 분석 오류를 일으킬 수 있다.
다른 예를 들어, 딥러닝 평가 모델이 트레이닝되는데 사용된 결함 별 학습 이미지가 충분하지 않거나 잘못된 학습 이미지가 사용된 경우 결함 분석 오류를 일으킬 수 있다.
또 다른 예를 들어, 무인 매입 장치(110)의 촬영 환경의 변경(예: 카메라 촬영 각도의 변경, 조명 각도 변경 등)으로 인해, 무인 매입 장치(110)에 투입된 전자 기기의 외관 이미지는 촬영 환경의 변경 전 전자 기기를 촬영한 외관 이미지와 차이가 있을 수 있다. 이러한 차이가 결함 분석 오류를 일으킬 수 있다.
또 다른 예를 들어, 무인 매입 장치(110)의 촬영에 오류가 있어 전자 기기의 외관 이미지가 왜곡되거나 오류가 있을 수 있고, 이러한 외관 외미지가 결함 분석 오류를 일으킬 수 있다.
또 다른 예를 들어, 동일한 모델이지만 외관 색상이 다른 전자 기기들인 경우 딥러닝 평가 모델의 결함 분석 오류가 발생할 수 있다. 예시적으로, 도 14a에 도시된 예와 같이, 동일한 모델이지만 후면 색상이 다른 전자 기기들(1401a, 1401b, 1401c, 1401d)이 있을 수 있다. 전자 기기(1401a)의 후면 색상은 a(예: 검은색 계열의 색상)일 수 있고, 전자 기기(1401b)의 후면 색상은 b(예: 흰색 계열의 색상)일 수 있으며, 전자 기기(1401c)의 후면 색상은 c(예: 골드 계열의 색상)일 수 있고, 전자 기기(1401d)의 후면 색상은 d(예: 푸른색 계열의 색상)일 수 있다.
도 14a의 전자 기기(1401a)의 후면에 카메라 모듈(1401a-1)이 위치할 수 있고, 전자 기기(1401b)의 후면에 카메라 모듈(1401a-b)이 위치할 수 있으며, 전자 기기(1401c)의 후면에 카메라 모듈(1401c-1)이 위치할 수 있고, 전자 기기(1401d)의 후면에 카메라 모듈(1401d-1)이 위치할 수 있다. 딥러닝 평가 모델은 전자 기기들(1401a, 1401b, 1401c, 1401d) 중 일부 전자 기기(예: 전자 기기(1401b), 전자 기기(1401c))의 후면이 촬영된 후면 이미지로부터 카메라 부분을 정확히 인식할 수 있다. 하지만, 딥러닝 평가 모델은 전자 기기(1401a)의 후면 색상으로 인해 전자 기기(1401a)의 후면이 촬영된 후면 이미지로부터 전자 기기(1401a)의 카메라 모듈(1401a-1) 중 일부(1401a-2)를 인식하지 못하거나 카메라 모듈(1401a-1)의 일부(1401a-2)를 결함으로 잘못 인식할 수 있다. 딥러닝 평가 모델은 전자 기기(1401a)의 후면 색상과 카메라 모듈(1401a-1)의 색상이 동일하여, 전자 기기(1401a)의 후면이 촬영된 후면 이미지로부터 전자 기기(1401a)의 카메라 모듈(1401a-1) 중 일부(1401a-2)를 인식하지 못하거나 카메라 모듈(1401a-1)의 일부(1401a-2)를 결함으로 잘못 인식할 수 있다.
또한, 후면 색상 d를 갖는 전자 기기(1401d)의 경우, 전자 기기(1401d)의 후면이 촬영될 때 조명이 전자 기기(1401d)의 후면에 의해 반사될 수 있고, 이러한 반사에 의해 전자 기기(1401d)의 후면이 촬영된 후면 이미지에는 카메라 모듈(1401d-1)이 뚜렷이 캡쳐되지 않을 수 있다. 이 경우, 딥러닝 평가 모델은 전자 기기(1401d)의 후면이 촬영된 후면 이미지로부터 전자 기기(1401d)의 카메라 모듈(1401d-1) 중 일부(1401d-2)를 인식하지 못하거나 카메라 모듈(1401d-1)의 일부(1401d-2)를 결함으로 잘못 인식할 수 있다.
결함 분석 오류가 발생하는 경우, 전자 기기의 결함의 정도가 실제로 낮지만 결함의 정도가 높다고 잘못 판단되거나(over 평가), 전자 기기의 결함의 정도가 실제로 높지만 낮다고 잘못 판단되거나(down 평가), 결함이 존재하지만 결함이 없다고 잘못 판단되거나(miss 평가), 결함이 다른 종류의 결함으로 잘못 판단(error 평가)될 수 있다.
일 실시 예에 따른 전자 기기 가치 평가 장치(130)는 딥러닝 평가 모델의 결함 분석 오류를 줄여 전자 기기의 가치가 정확히 평가되도록 할 수 있다.
도 14b를 참조하면, 일 실시 예에 따른 외관 상태 평가 모듈(1400)(예: 외관 상태 평가 모듈(320))은 결함 등급 평가부(결함 검출 결과 평가부)(1410), 데이터베이스(DB: database)(1420), 보정부(1430), 및 상태 점검부(1440)를 포함할 수 있다.
결함 등급 평가부(1410)는 딥러닝 평가 모델들(510, 520, 530, 540) 각각의 분석 결과(예: 결함 검출 여부 및/또는 결함에 대한 등급)가 적절한지 판단할 수 있다. 예를 들어, 결함 등급 평가부(1410)는 제1 딥러닝 평가 모델(510)의 분석 결과(예: 대상 전자 기기의 전면의 결함 검출 여부 및/또는 전면의 결함에 대한 등급)가 적절한지(또는 분석 결과에 오류가 있는지) 판단할 수 있다. 결함 등급 평가부(1410)는 제2 딥러닝 평가 모델(520)의 분석 결과(예: 대상 전자 기기의 후면의 결함 검출 여부 및/또는 후면의 결함에 대한 등급)가 적절한지(또는 분석 결과에 오류가 있는지) 판단할 수 있다. 결함 등급 평가부(1410)는 제3 딥러닝 평가 모델(530)의 분석 결과(예: 대상 전자 기기의 측면의 결함 검출 여부 및/또는 측면의 결함에 대한 등급)가 적절한지(또는 분석 결과에 오류가 있는지) 판단할 수 있다. 결함 등급 평가부(1410)는 제4 딥러닝 평가 모델(510)의 분석 결과(예: 대상 전자 기기의 화면의 결함 검출 여부 및/또는 화면의 결함에 대한 등급)가 적절한지(또는 분석 결과에 오류가 있는지) 판단할 수 있다.
일 실시 예에 따르면, 외관 상태 평가 모듈(1400)(또는 결함 등급 평가부(1410))에는 무인 매입 장치(110)가 매입했던(또는 가치가 평가되었던) 전자 기기들 중 대상 전자 기기의 모델(이하, "대상 모델"이라 지칭함)과 동일한 전자 기기들에 어떤 결함이 몇 번 검출되었는지에 대한 결함 검출 이력(이하, "대상 모델에 대한 결함 검출 이력"이라 지칭함)이 저장되어 있을 수 있다. 아래 표 6은 대상 모델에 대한 결함 검출 이력의 예시를 보여준다.
제1 평가 영역
(예: 전면)		 제2 평가 영역
(예: 후면)		 제3 평가 영역
(예: 측면)		 제4 평가 영역
(예: 화면)
전자 기기#1 전면 결함a 가 검출 후면 결함b가 검출 미검출 화면 결함a가 검출
전자 기기#2 검출되지 않음 후면 결함a가 검출 미검출 화면 결함b가 검출
전자 기기#3 전면 결함b 가 검출 미검출 측면 결함a가 검출 화면 결함a가 검출
전자 기기#4 전면 결함a 가 검출 미검출 미검출 미검출
(생략) (생략) (생략) (생략) (생략)
외관 상태 평가 모듈(1400)(또는 결함 등급 평가부(1410))은 무인 매입 장치(110)가 매입했던 전자 기기들 중 대상 모델의 전자 기기들의 각 평가 영역에서 결함이 검출된 횟수를 기초로 대상 모델의 결함 확률 데이터를 계산할 수 있다. 아래 표 7 내지 표 10은 대상 모델의 결함 확률 데이터의 예시를 보여준다.
전면 결함a 확률값 f1
전면 결함b 확률값 f2
(생략) (생략)
후면 결함a 확률값 r1
후면 결함b 확률값 r2
(생략) (생략)
측면 결함a 확률값 c1
측면 결함b 확률값 c2
(생략) (생략)
화면 결함a 확률값 s1
화면 결함b 확률값 s2
(생략) (생략)
외관 상태 평가 모듈(1400)(또는 결함 등급 평가부(1410))은 대상 모델의 전자 기기들에서 전면 결함a가 검출된 횟수 및 대상 모델의 전자 기기들의 개수를 이용하여 위 표 7의 확률값 f1을 계산할 수 있다. 예를 들어, 대상 모델의 전자 기기들의 개수가 20개이고, 20개의 대상 모델의 전자 기기들 중에서 5개의 전자 기기들 각각에 전면 결함a가 검출된 경우, 전면 결함a에 대한 확률값 f1은 5/20=25%일 수 있다. 이와 유사하게, 위 표 7 내지 표 10의 각 확률값이 계산될 수 있다.대상 모델에 대한 확률 데이터(예: 위 표 7 내지 표 10의 각 확률값)는 대상 모델의 전자 기기 하나가 주어진다고 가정했을 때 해당 전자 기기의 각 평가 영역에서 각 평가 영역의 결함이 검출될 확률을 나타낼 수 있다. 확률값 f1은 대상 모델의 주어진 전자 기기 하나의 전면에서 전면 결함a가 검출될 확률을 나타낼 수 있고, 확률값 f2는 대상 모델의 주어진 전자 기기 하나의 전면에서 전면 결함b가 검출될 확률을 나타낼 수 있다. 이와 유사하게, 위 표 8 내지 표 10의 각 확률값이 해석될 수 있다.
무인 매입 장치(110)(또는 전자 기기 가치 평가 장치(130))가 대상 모델의 전자 기기를 매입할수록(또는 평가할 수록) 대상 모델의 결함 확률 데이터는 변할 수 있다. 달리 표현하면, 무인 매입 장치(110)(또는 전자 기기 가치 평가 장치(130))가 대상 모델의 전자 기기를 매입함에 따라(또는 평가함에 따라) 외관 상태 평가 모듈(1400)(또는 결함 등급 평가부(1410))은 대상 모델의 결함 확률 데이터를 업데이트할 수 있다.
일 실시 예에 따르면, 결함 등급 평가부(1410)는 DB(1420) 및 대상 모델의 결함 확률 데이터를 기초로 딥러닝 평가 모델들(510, 520, 530, 540) 각각의 분석 결과가 적절한지 여부를 판단할 수 있다.
DB(1420)는 여러 전자 기기의 모델에 대한 기준 확률 데이터를 기록하고 있을 수 있고, 대상 모델에 대한 기준 확률 데이터 역시 기록하고 있을 수 있다. 아래 표 11 내지 표 14는 대상 모델에 대한 기준 확률 데이터의 예시를 보여준다.
전면 결함a 기준 확률값 P_f1
전면 결함b 기준 확률값 P_f2
(생략) (생략)
후면 결함a 기준 확률값 P_r1
후면 결함b 기준 확률값 P_r2
(생략) (생략)
측면 결함a 기준 확률값 P_c1
측면 결함b 기준 확률값 P_c2
(생략) (생략)
화면 결함a 기준 확률값 P_s1
화면 결함b 기준 확률값 P_s2
(생략) (생략)
위 표 11의 확률값 P_f1은 대상 모델의 전자 기기의 전면에 전면 결함a가 발생할 기준 확률값을 나타낼 수 있고, 확률값 P_f2은 대상 모델의 전자 기기의 전면에 전면 결함b가 검출될 기준 확률값을 나타낼 수 있다. 이와 유사하게, 위 표 12 내지 표 14의 각 기준 확률값이 해석될 수 있다. 기준 확률값이 어떻게 계산되는지 도 15를 통해 후술한다.일 실시 예에 따르면, 결함 등급 평가부(1410)는 딥러닝 평가 모델들(510, 520, 530, 540) 중 적어도 하나의 분석 결과가 적절하지 않은 것으로 판단할 수 있다. 결함 등급 평가부(1410)는 결함에 대한 확률값이 결함에 대한 기준 확률값에 기반한 범위(예: 확률 범위 또는 기준 범위)에 속하는지 판단할 수 있고, 결함에 대한 확률값이 상술한 범위에 속하지 않으면 딥러닝 평가 모델의 분석 결과가 적절하지 않은 것으로 판단할 수 있다. 달리 표현하면, 결함 등급 평가부(1410)는 결함 검출 결과(또는 결함 등급 평가 결과)에 오류가 있는 것으로 판단할 수 있다.
예를 들어, 제1 딥러닝 평가 모델(510)의 분석 결과는 제1 딥러닝 평가 모델(510)이 대상 전자 기기의 전면 이미지를 기초로 대상 전자 기기의 외관(예: 전면)에 전면 결함a가 있는지 여부를 판단한 결과를 포함할 수 있다. 결함 등급 평가부(1410)는 전면 결함a에 대한 확률값 f1이 기준 확률값 P_f1에 기반한 범위(예: P_f1 ± 오차율)에 속하는지 판단할 수 있다. 결함 등급 평가부(1410)는 확률값 f1가 범위(예: P_f1 ± 오차율)에 속하는 경우, 제1 딥러닝 평가 모델(510)의 분석 결과는 적절한 것으로 판단할 수 있다. 결함 등급 평가부(1410)는 확률값 f1이 범위(예: P_f1 ± 오차율)에 속하지 않는 경우, 제1 딥러닝 평가 모델(510)의 분석 결과는 적절하지 않은 것으로 판단할 수 있다. 실시 예에 따라, 결함 등급 평가부(1410)는 확률값 f1이 범위(예: P_f1 ± 오차율)를 초과하는 경우 제1 딥러닝 평가 모델(510)이 over 평가한 것으로 추정할 수 있고, 확률값 f1이 범위(예: P_f1 ± 오차율) 미만인 경우 제1 딥러닝 평가 모델(510)이 down 평가 또는 miss 평가한 것으로 추정할 수 있다. over 평가, down 평가, 및 miss 평가를 도출하기 위한 기준은 전자 기기의 종류, 촬영 영역(또는 평가 영역)(예: 전면, 후면, 측면, 화면), 결함 종류, 및/또는 결함 발생 확률 등을 고려하여 결정될 수 있고, 결정된 각 기준은 DB(1420)에 저장될 수 있다.
예를 들어, 제2 딥러닝 평가 모델(520)의 분석 결과는 제2 딥러닝 평가 모델(520)이 대상 전자 기기의 후면 이미지를 기초로 대상 전자 기기의 외관(예: 후면)에 후면 결함b가 있는지 판단한 결과를 포함할 수 있다. 결함 등급 평가부(1410)는 후면 결함b에 대한 확률값 r2가 기준 확률값 P_r2에 기반한 범위(예: P_r2 ± 오차율)에 속하는지 판단할 수 있다. 결함 등급 평가부(1410)는 확률값 r2가 범위(예: P_r2 ± 오차율)에 속하지 않는 경우, 제2 딥러닝 평가 모델(520)의 분석 결과는 적절하지 않은 것으로 판단할 수 있다. 결함 등급 평가부(1410)는 확률값 r2가 범위(예: P_r2 ± 오차율)에 속하는 경우, 제2 딥러닝 평가 모델(520)의 분석 결과는 적절한 것으로 판단할 수 있다.
예를 들어, 제3 딥러닝 평가 모델(530)의 분석 결과는 제3 딥러닝 평가 모델(530)이 대상 전자 기기의 측면 이미지를 기초로 대상 전자 기기의 외관(예 측면)에 측면 결함a가 있는지 판단한 결과를 포함할 수 있다. 결함 등급 평가부(1410)는 측면 결함a에 대한 확률값 c1이 기준 확률값 P_c1에 기반한 범위(예: P_c1 ± 오차율)에 속하는지 판단할 수 있다. 결함 등급 평가부(1410)는 확률값 c1이 범위(예: P_c1 ± 오차율)에 속하지 않는 경우, 제3 딥러닝 평가 모델(520)의 분석 결과는 적절하지 않은 것으로 판단할 수 있다. 결함 등급 평가부(1410)는 확률값 c1이 범위(예: P_c1 ± 오차율)에 속하는 경우, 제3 딥러닝 평가 모델(520)의 분석 결과는 적절한 것으로 판단할 수 있다.
예를 들어, 제4 딥러닝 평가 모델(540)의 분석 결과는 제4 딥러닝 평가 모델(540)이 대상 전자 기기의 화면 이미지를 기초로 대상 전자 기기의 화면에 화면 결함a가 있는지 판단한 결과를 포함할 수 있다. 결함 등급 평가부(1410)는 화면 결함a에 대한 확률값 s1이 기준 확률값 P_s1에 기반한 범위(예: P_s1 ± 오차율)에 속하는지 판단할 수 있다. 결함 등급 평가부(1410)는 확률값 s1이 범위(예: P_s1 ± 오차율)에 속하지 않는 것으로 판단한 경우, 제4 딥러닝 평가 모델(540)의 분석 결과는 적절하지 않은 것으로 판단할 수 있다. 결함 등급 평가부(1410)는 확률값 s1이 범위(예: P_s1 ± 오차율)에 속하는 것으로 판단한 경우, 제4 딥러닝 평가 모델(540)의 분석 결과는 적절한 것으로 판단할 수 있다.
앞선 각 예에서 설명한 오차율은 서로 동일한 값을 갖거나 다른 값을 가질 수 있다. 오차율들 각각은 조정 또는 변경될 수 있다.
일 실시 예에 따르면, 외관 상태 평가 모듈(1400)은 딥러닝 평가 모델들(510, 520, 530, 540) 중 적어도 하나의 분석 결과가 적절하지 않은 것으로 판단한 경우, 적절하지 않은 분석 결과가 도출되게 한 문제의 원인을 추정할 수 있다.
예를 들어, 외관 상태 평가 모듈(1400)은 전면 결함a에 대한 기준 확률값에 기반한 범위(예: 확률 범위 또는 기준 범위)의 상한치와 전면 결함a에 대한 확률값 f1 사이의 차이값이 제1 값을 초과하는 경우, 문제의 원인이 촬영 박스에 있는 것으로 추정할 수 있다. 외관 상태 평가 모듈(1400)은 문제의 원인이 촬영 박스에 있는 것으로 추정한 경우, 후술할 무인 매입 장치(110)의 촬영 박스가 점검되게 끔 하는 제3 동작 및/또는 운영 센터에서 대상 전자 기기의 외관 이미지를 분석하게 끔 하는 제5 동작을 수행할 수 있다.
외관 상태 평가 모듈(1400)은 상술한 차이값이 제1 값 이하이고 제2 값을 초과하는 경우(다시 말해, 상술한 차이값이 제1 값과 제2 값 사이에 있는 경우), 문제의 원인이 딥러닝 평가 모델(510)에 있는 것으로 추정할 수 있다. 외관 상태 평가 모듈(1400)은 문제의 원인이 딥러닝 평가 모델(510)에 있는 것으로 추정한 경우 후술할 분석 결과를 보정하는 제1 동작, 외관 이미지에 이미지 변환(예: 마스킹 처리 등)을 수행하게 끔 하는 제2 동작, 딥러닝 평가 모델(510)이 트레이닝 되게 끔 하는 제4 동작, 및 운영 센터에서 대상 전자 기기의 외관 이미지를 분석하게 끔 하는 제5 동작 중 적어도 하나를 수행할 수 있다.
예를 들어, 외관 상태 평가 모듈(1400)은 딥러닝 평가 모델들(510, 520, 530, 540) 모두의 분석 결과가 적절하지 않은 것으로 판단한 경우, 문제의 원인이 촬영 박스에 있는 것으로 추정할 수 있다.
일 실시 예에 따르면, 외관 상태 평가 모듈(1400)은 딥러닝 평가 모델들(510, 520, 530, 540) 중 적어도 하나의 분석 결과(예: 결함 검출 결과 등)가 적절하지 않은 것으로 판단한 경우, 분석 결과가 적절하지 않게 끔 한 문제를 해결하기 위한 동작들 중 적어도 하나를 수행할 수 있다. 앞서 간단히 설명하였지만 동작들은, 예를 들어, 분석 결과를 보정하는 제1 동작, 외관 이미지에 이미지 변환(예: 마스킹 처리 등)을 수행하게 끔 하는 제2 동작, 무인 매입 장치(110)의 촬영 박스가 점검되게 끔 하는 제3 동작, 적절하지 않은 분석 결과를 제공한 딥러닝 평가 모델이 트레이닝 되게 끔 하는 제4 동작, 및 운영 센터에서 대상 전자 기기의 이미지를 분석하게 끔 하는 제5 동작을 포함할 수 있다.
일 실시 예에 따르면, 외관 상태 평가 모듈(1400)은 대상 전자 기기의 모델 정보가 미리 설정된 모델 리스트에 포함되어 있는지 판단할 수 있다. 외관 상태 평가 모듈(1400)은 대상 전자 기기의 모델 정보가 미리 설정된 모델 리스트에 포함되어 있는 것으로 판단한 경우, 상술한 제1 동작, 제2 동작, 제4 동작, 및 제5 동작 중 적어도 하나를 수행할 수 있다.
예를 들어, 미리 설정된 모델 리스트는 신규 모델 등을 포함할 수 있다. 딥러닝 평가 모델들(510, 520, 530, 540)은 신규 모델에 대해선 충분히 트레이닝되어 있지 않을 수 있다. 이에 따라, 딥러닝 평가 모델들(510, 520, 530, 540) 중 적어도 일부 또는 전부의 분석 결과는 정확하지 않을 수 있다. 대상 전자 기기의 모델 정보가 미리 설정된 모델 리스트에 포함되어 있는 경우, 외관 상태 평가 모듈(1400)은 상술한 제1 동작을 수행할 수 있다. 일례로, 보정부(1430)는 딥러닝 평가 모델들(510, 520, 530, 540) 각각의 분석 결과(예: 검출된 결함의 등급)에 보정값을 적용할 수 있다. 보정값이 적용되지 않았을 때 보다 보정값이 적용되었을 때, 신규 모델의 대상 전자 기기의 가치가 가치 결정 모듈(330)에 의해 정확히 평가될 수 있다. 어떤 예에서, 보정부(1430)는 딥러닝 평가 모델들(510, 520, 530, 540)이 신규 모델에 대해 트레이닝되도록 운영자에게 요청할 수 있다. 또 다른 예에서, 보정부(1430)는 운영 센터에 대상 전자 기기의 이미지들의 분석을 요청할 수 있다.
일 실시 예에 따르면, 외관 상태 평가 모듈(1400)은 검출된 결함이 상술한 예외 케이스에 해당하는지 여부를 판단할 수 있다. 외관 상태 평가 모듈(1400)은 검출된 결함이 예외 케이스에 해당하는 경우, 이미지에 이미지 변환(예: 마스킹 처리 등)을 수행하게 끔 하는 제2 동작을 수행할 수 있다. 예를 들어, 보정부(1430)는 검출된 결함이 예외 케이스(예: 플로팅 아이콘 등)에 해당하는 경우, 이미지에서 결함으로 검출된 위치에 마스킹 처리를 수행할 수 있다.
일 실시 예에 따르면, 외관 상태 평가 모듈(1400)은 대상 전자 기기의 외관 이미지가 정상이 아닌 것으로 판단하고 무인 매입 장치(110)의 촬영 박스가 비어 있으면, 무인 매입 장치(110)의 촬영 박스가 점검되게 끔 하는 제3 동작을 수행할 수 있다. 대상 전자 기기가 회수 박스(또는 보관 박스)로 이동하거나 사용자가 무인 매입 장치(110)에 대상 전자 기기를 판매하지 않고 회수한 경우 무인 매입 장치(110)의 촬영 박스는 비어 있을 수 있다. 상태 점검부(1440)는 무인 매입 장치(110)의 촬영 박스가 비어 있는 경우, 촬영 박스의 카메라들 및/또는 조명들의 상태를 점검할 수 있다.
예를 들어, 외관 상태 평가 모듈(400)은 외관 이미지에 아웃 포커싱이 있는 경우, 앞서 도 13을 통해 설명한 예와 같이 외관 이미지의 채도 정보와 밝기 정보를 합한 값이 일정값(예: 70000) 이상인 경우, 또는 촬영 박스의 조명 밝기가 일정 수준을 초과한 경우 외관 이미지가 정상이 아닌 것으로 판단할 수 있다. 이러한 판단이 있고, 촬영 박스가 비어 있으면 상태 점검부(1440)는 운영자 또는 관리자에게 무인 매입 장치(110)의 촬영 박스의 점검을 요청할 수 있다.
다른 예를 들어, 상태 점검부(1440)는 카메라들과 조명들을 제어하여 카메라들이 촬영을 수행하도록 할 수 있고, 촬영을 통해 획득된 이미지들(이하, "점검을 위한 이미지들")을 기본 이미지들과 비교할 수 있다. 여기서, 기본 이미지들은 카메라들과 조명들이 정상 상태일 때 촬영 박스 내에서 카메라들이 촬영을 수행하여 획득된 이미지들을 나타낼 수 있다. 상태 점검부(1440)는 점검을 위한 이미지들과 기본 이미지들 사이에 차이가 없는 것으로 판단하면, 무인 매입 장치(110)의 촬영 박스(예: 카메라들과 조명들)는 정상 상태인 것으로 판단할 수 있다. 상태 점검부(1440)는 점검을 위한 이미지들과 기본 이미지들 사이에 차이가 있는 것으로 판단하면, 무인 매입 장치(110)의 촬영 박스(예: 카메라들 및/또는 조명들)는 이상 상태인 것으로 판단할 수 있다. 이 경우, 상태 점검부(1440)는 운영자 또는 관리자에게 무인 매입 장치(110)의 촬영 박스의 점검을 요청할 수 있다.
도 1 내지 도 13을 통해 설명된 내용들은 도 14b에 적용될 수 있다.
도 15는 일 실시 예에 따른 외관 상태 평가 모듈의 DB의 기준 확률 데이터가 결정되는 방법의 예시를 설명하는 도면이다.
도 15를 참조하면, 서버(1510)(예: 서버(120))와 복수의 무인 매입 장치들(1520-1 내지 1520-n)이 도시된다.
무인 매입 장치(110)에 대한 설명은 무인 매입 장치들(1520-1 내지 1520-n) 각각에 적용될 수 있다.
일 실시 예에 따르면, 외관 상태 평가 모듈(1400)은 무인 매입 장치(110)에 포함될 수 있고, 무인 매입 장치들(1520-1 내지 1520-n) 각각은 외관 상태 평가 모듈(1400)과 동일한 동작을 수행하는 외관 상태 평가 모듈을 포함할 수 있다.
외관 상태 평가 모듈(1400)이 대상 모델의 결함 확률 데이터를 계산한 것과 동일하게, 무인 매입 장치들(1520-1 내지 1520-n) 각각은 대상 모델의 결함 확률 데이터를 계산할 수 있다. 무인 매입 장치들(1520-1 내지 1520-n) 각각은 계산된 각 결함 확률 데이터를 서버(1610)로 전송할 수 있다.
서버(1510)는 무인 매입 장치들(1520-1 내지 1520-n) 각각으로부터 수신한 결함 확률 데이터의 평균치를 기초로 대상 모델에 대한 기준 확률 데이터를 결정할 수 있다. 예를 들어, 서버(1510)는 무인 매입 장치들(1520-1 내지 1520-n) 각각으로부터 전면 결함a에 대한 확률값들(fa_1, fa_2, 쪋 , fa_n) 각각을 수신할 수 있다. 서버(1510)는 수신한 확률값들(fa_1, fa_2, 쪋 , fa_n)의 평균치를 전면 결함a에 대한 기준 확률값(예: 상술한 표 11의 기준 확률값 P_f1)으로 결정할 수 있다. 이와 유사한 방식으로, 서버(1510)는 각 결함에 대한 기준 확률값을 결정할 수 있다.
서버(1510)는 무인 매입 장치(110)에 대상 모델에 대한 기준 확률 데이터를 전송할 수 있다. 무인 매입 장치(110)는 DB(1420)에 대상 모델에 대한 기준 확률 데이터를 저장할 수 있다. 서버(1510)는 무인 매입 장치들(1520-1 내지 1520-n) 각각에 대상 모델에 대한 기준 확률 데이터를 전송할 수 있다. 무인 매입 장치들(1520-1 내지 1520-n) 각각은 DB(1420)와 같은 내부 DB에 대상 모델에 대한 기준 확률 데이터를 저장할 수 있다.
외관 상태 평가 모듈(1400)에 대한 설명은 무인 매입 장치(110)에 적용될 수 있어, 상세한 설명을 생략한다.
다른 실시 예에 따르면, 외관 상태 평가 모듈(1400)(또는 전자 기기 가치 평가 장치(130))는 무인 매입 장치(110)에 포함되어 있지 않을 수 있다. 마찬가지로, 무인 매입 장치들(1520-1 내지 1520-n) 각각은 외관 상태 평가 모듈(또는 전자 기기 가치 평가 장치)을 포함하지 않을 수 있다. 대신에, 서버(1510)가 외관 상태 평가 모듈(1400)(또는 전자 기기 가치 평가 장치(130))을 포함할 수 있고, 서버(1510)가 전자 기기들 각각의 외관 상태를 평가할 수 있다.
서버(1510)는 무인 매입 장치들(1520-1 내지 1520-n) 각각으로부터 대상 모델의 전자 기기들 각각의 외관 이미지를 수신할 수 있고, 적어도 하나의 딥러닝 평가 모델과 수신된 각 외관 이미지를 이용하여 대상 모델의 전자 기기들 각각의 외관 상태를 평가할 수 있다. 서버(1510)는 무인 매입 장치들(1520-1 내지 1520-n) 각각 별로 대상 모델의 결함 확률 데이터를 계산할 수 있다. 예를 들어, 서버(1510)는 무인 매입 장치(1520-1)로부터 대상 모델의 전자 기기들 각각의 전면 이미지를 수신할 수 있다. 서버(1510)는 제1 딥러닝 평가 모델(510)을 이용하여 대상 모델의 전자 기기들 각각의 전면 이미지로부터 각 전자 기기의 전면에 결함이 있는지 분석할 수 있다. 이러한 분석 결과에 따라, 서버(1510)는 무인 매입 장치(1520-1)에 대하여 대상 모델의 전면 결함a의 확률값(fa_1)을 계산할 수 있다. 이와 유사하게, 서버(1510)는 다른 무인 매입 장치들(1520-2 내지 1520-n) 각각에 대하여 대상 모델의 전면 결함a의 확률값들(fa_2, 쪋 , fa_n) 각각을 계산할 수 있다. 서버(1510)는 계산한 확률값들(fa_1, fa_2, 쪋 , fa_n)의 평균치를 대상 모델의 전면 결함a에 대한 기준 확률값(예: 표 11의 기준 확률값 P_f1)으로 결정할 수 있다. 이와 유사한 방식으로, 서버(1510)는 대상 모델의 각 결함에 대한 기준 확률값을 결정함으로써, 대상 모델에 대한 기준 확률 데이터를 생성할 수 있다.
외관 상태 평가 모듈(1400)에 대한 설명은 서버(1510)에 적용될 수 있어, 상세한 설명을 생략한다.
도 16은 일 실시 예에 따른 전자 기기 가치 평가 장치의 동작 방법의 예시를 설명하는 흐름도이다.
도 16을 참조하면, 단계 1610에서, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320, 1400))는 딥러닝 평가 모델의 분석 결과를 획득할 수 있다. 여기서, 분석 결과는 딥러닝 평가 모델이 대상 전자 기기의 외관 이미지를 기초로 대상 전자 기기의 외관에 제1 결함이 있는지 판단한 결과를 포함할 수 있다. 분석 결과는, 예를 들어, 대상 전자 기기의 외관에 제1 결함이 있다는 결과 및/또는 대상 전자 기기의 외관에 있는 제1 결함의 정도(또는 등급)를 포함할 수 있다. 분석 결과는, 예를 들어, 대상 전자 기기의 외관에 제1 결함이 없다는 결과를 포함할 수 있다.
단계 1620에서, 전자 기기 가치 평가 장치(130)는 제1 결함에 대한 미리 설정된 범위(예: 상술한 기준 확률값에 기반한 범위) 및 제1 결함에 대한 확률 데이터를 기초로 딥러닝 평가 모델의 분석 결과가 적절한지(또는 분석 결과의 적절성을) 판단할 수 있다. 여기서, 제1 결함에 대한 확률 데이터는 무인 매입 장치(110)의 촬영 박스에서 촬영되었던 전자 기기들 중 대상 전자 기기와 동일한 모델(즉, 대상 모델)의 전자 기기들에 제1 결함이 몇 번 검출되었는지에 기반할 수 있다. 제1 결함에 대한 미리 설정된 범위는, 예를 들어, 대상 모델에서 제1 결함이 발견될 확률 범위를 나타낼 수 있다.
예를 들어, 외관 상태 평가 모듈(320, 1400)은 제1 결함에 대한 확률 데이터가 미리 설정된 범위에 속하는지 판단할 수 있다. 외관 상태 평가 모듈(320, 1400)은 제1 결함에 대한 확률 데이터가 미리 설정된 범위에 속하는 경우, 딥러닝 평가 모델의 분석 결과가 적절한 것으로 판단할 수 있다. 외관 상태 평가 모듈(320, 1400)은 제1 결함에 대한 확률 데이터가 미리 설정된 범위에 속하지 않는 경우, 딥러닝 평가 모델의 분석 결과가 적절하지 않은 것으로 판단할 수 있다.
단계 1630에서, 전자 기기 가치 평가 장치(130)는 딥러닝 평가 모델의 분석 결과가 적절하지 않은 것으로 판단한 경우(또는 분석 결과에 오류가 있는 것으로 판단한 경우), 딥러닝 평가 모델이 상술한 분석 결과를 도출하게 끔 한 문제를 해결하기 위한 동작들 중 적어도 하나를 수행할 수 있다. 이러한 문제는 딥러닝 평가 모델 및/또는 촬영 박스에 있을 수 있다. 딥러닝 평가 모델의 충분하지 못한 트레이닝, 딥러닝 평가 모델의 잘못된 트레이닝, 촬영 박스 내의 촬영 환경의 변화, 촬영 박스 내의 기기들(예: 카메라들과 조명들)의 이상 상태나 고장 등 상술한 문제를 일으키는 원인은 다양할 수 있다.
예를 들어, 외관 상태 평가 모듈(320, 1400)은 딥러닝 평가 모델의 분석 결과를 보정하는 제1 동작, 대상 전자 기기의 외관 이미지에 이미지 변환을 수행하게 끔 하는 제2 동작, 촬영 박스가 점검되게 끔 하는 제3 동작, 딥러닝 평가 모델이 트레이닝(또는 리(re) 트레이닝) 되게 끔 하는 제4 동작, 및 운영 센터에서 대상 전자 기기의 외관 이미지를 분석하게 끔 하는 제5 동작 중 적어도 하나를 수행할 수 있다.
일 실시 예에 따르면, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320, 1400))는 대상 전자 기기의 모델 정보가 미리 설정된 모델 리스트에 포함되어 있는지 판단할 수 있다. 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320, 1400))는 대상 전자 기기의 모델 정보가 미리 설정된 모델 리스트에 포함되어 있는 것으로 판단한 경우, 상술한 제1 동작, 제4 동작, 및 제5 동작 중 적어도 하나를 수행할 수 있다.
일 실시 예에 따르면, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320, 1400))는 제1 결함이 결함 예외 케이스에 해당하는지 여부를 판단할 수 있다. 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320, 1400))는 제1 결함이 결함 예외 케이스에 해당하는 경우, 상술한 제2 동작을 수행할 수 있다.
일 실시 예에 따르면, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320, 1400))는 외관 이미지가 정상이 아니고 촬영 박스가 비어 있으면, 상술한 제3 동작을 수행할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320, 1400))는 외관 이미지에 아웃 포커싱이 있는 경우, 앞서 도 13을 통해 설명한 예와 같이 채도 정보와 밝기 정보를 합한 값이 일정값(예: 70000) 이상인 경우, 또는 촬영 박스의 조명 밝기가 일정 수준을 초과한 경우 외관 이미지가 정상이 아닌 것으로 판단할 수 있다. 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320, 1400))는 외관 이미지가 정상이 아닌 것으로 판단하고 촬영 박스가 비어 있으면 상술한 제3 동작을 수행할 수 있다.
일 실시 예에 따르면, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320, 1400))는 미리 설정된 범위와 제1 결함에 대한 확률 데이터 사이의 비교 결과를 통해 문제를 발생시킨 원인을 추정할 수 있다. 예를 들어, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320, 1400))는 미리 설정된 범위의 상한치와 확률 데이터 사이의 차이값이 제1 값을 초과하는 경우, 문제를 발생시킨 원인이 촬영 박스에 있는 것(예: 촬영 박스 내의 카메라들 및/또는 조명의 이상 상태에 있는 것 등)으로 추정할 수 있다. 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320, 1400))는 상술한 차이값이 제1 값 이하이고 제2 값을 초과하는 경우, 문제를 발생시킨 원인이 딥러닝 평가 모델에 있는 것(예: 딥러닝 평가 모델의 충분하지 못한 트레이닝 등)으로 추정할 수 있다.
도 1 내지 도 15를 통해 설명된 전자 기기 가치 평가 장치(130)의 동작은 도 16의 전자 기기 가치 평가 장치(130)의 동작 방법에 적용될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 저장될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (16)

  1. 전자 기기 가치 평가 장치의 동작 방법에 있어서,
    딥러닝 평가 모델의 분석 결과를 획득하는 단계 -상기 분석 결과는 상기 딥러닝 평가 모델이 대상 전자 기기의 외관 이미지를 기초로 상기 대상 전자 기기의 외관에 제1 결함이 있는지 판단한 결과를 포함함-;
    상기 제1 결함에 대한 미리 설정된 범위 및 상기 제1 결함에 대한 확률 데이터를 기초로 상기 획득된 분석 결과가 적절한지 판단하는 단계 - 상기 확률 데이터는 촬영 박스에서 촬영되었던 전자 기기들 중 상기 대상 전자 기기와 동일한 모델의 전자 기기들에 상기 제1 결함이 몇 번 검출되었는지에 기반함-; 및
    상기 획득된 분석 결과가 적절하지 않은 것으로 판단한 경우, 상기 딥러닝 평가 모델이 상기 분석 결과를 도출하게 끔 한 문제를 해결하기 위한 동작들 중 적어도 하나를 수행하는 단계
    를 포함하는,
    전자 기기 가치 평가 장치의 동작 방법.
  2. 제1항에 있어서,
    상기 획득된 분석 결과가 적절한지 판단하는 단계는,
    상기 미리 설정된 범위에 상기 확률 데이터가 속하는지 판단하는 단계; 및
    상기 확률 데이터가 상기 미리 설정된 범위에 속하는 경우, 상기 획득된 분석 결과가 적절한 것으로 판단하고, 상기 확률 데이터가 상기 미리 설정된 범위에 속하지 않는 경우, 상기 획득된 분석 결과가 적절하지 않은 것으로 판단하는 단계
    를 포함하는,
    전자 기기 가치 평가 장치의 동작 방법.
  3. 제1항에 있어서,
    상기 수행하는 단계는,
    상기 획득된 분석 결과를 보정하는 제1 동작, 상기 외관 이미지에 이미지 변환을 수행하게 끔 하는 제2 동작, 상기 대상 전자 기기가 촬영된 촬영 박스가 점검되게 끔 하는 제3 동작, 상기 딥러닝 평가 모델이 트레이닝 되게 끔 하는 제4 동작, 및 운영 센터에서 상기 외관 이미지를 분석하게 끔 하는 제5 동작 중 적어도 하나를 수행하는 단계
    를 포함하는,
    전자 기기 가치 평가 장치의 동작 방법.
  4. 제3항에 있어서,
    상기 수행하는 단계는,
    상기 대상 전자 기기의 모델 정보가 미리 설정된 모델 리스트에 포함되어 있는지 판단하는 단계; 및
    상기 모델 정보가 상기 미리 설정된 모델 리스트에 포함되어 있는 것으로 판단한 경우, 상기 제1 동작, 상기 제4 동작, 및 상기 제5 동작 중 적어도 하나를 수행하는 단계
    를 포함하는,
    전자 기기 가치 평가 장치의 동작 방법.
  5. 제3항에 있어서,
    상기 수행하는 단계는,
    상기 제1 결함이 결함 예외 케이스(exception case)에 해당하는지 여부를 판단하는 단계; 및
    상기 제1 결함이 상기 결함 예외 케이스에 해당하는 경우, 상기 제2 동작을 수행하는 단계
    를 포함하는,
    전자 기기 가치 평가 장치의 동작 방법.
  6. 제3항에 있어서,
    상기 수행하는 단계는,
    상기 외관 이미지가 정상이 아니고 상기 촬영 박스가 비어 있으면, 상기 제3 동작을 수행하는 단계
    를 포함하는,
    전자 기기 가치 평가 장치의 동작 방법.
  7. 제1항에 있어서,
    상기 미리 설정된 범위와 상기 확률 데이터 사이의 비교 결과를 통해 상기 문제를 발생시킨 원인을 추정하는 단계
    를 더 포함하는,
    전자 기기 가치 평가 장치의 동작 방법.
  8. 제7항에 있어서,
    상기 추정하는 단계는,
    상기 미리 설정된 범위의 상한치와 상기 확률 데이터 사이의 차이값이 제1 값을 초과하는 경우, 상기 원인이 상기 촬영 박스에 있는 것으로 추정하는 단계; 및
    상기 차이값이 상기 제1 값 이하이고 제2 값을 초과하는 경우, 상기 원인이 상기 딥러닝 평가 모델에 있는 것으로 추정하는 단계
    를 포함하는,
    전자 기기 가치 평가 장치의 동작 방법.
  9. 전자 기기 가치 평가 장치에 있어서,
    딥러닝 평가 모델을 저장하는 메모리; 및
    상기 딥러닝 평가 모델을 이용하여 대상 전자 기기의 외관 상태를 평가하는 외관 상태 평가 모듈
    을 포함하고,
    상기 외관 상태 평가 모듈은,
    상기 딥러닝 평가 모델의 분석 결과를 획득하고 -상기 분석 결과는 상기 딥러닝 평가 모델이 상기 대상 전자 기기의 외관 이미지를 기초로 상기 대상 전자 기기의 외관에 제1 결함이 있는지 판단한 결과를 포함함-,
    상기 제1 결함에 대한 미리 설정된 범위 및 상기 제1 결함에 대한 확률 데이터를 기초로 상기 획득된 분석 결과가 적절한지 판단하며 - 상기 확률 데이터는 촬영 박스에서 촬영되었던 전자 기기들 중 상기 대상 전자 기기와 동일한 모델의 전자 기기들에 상기 제1 결함이 몇 번 검출되었는지에 기반함-,
    상기 획득된 분석 결과가 적절하지 않은 것으로 판단한 경우, 상기 딥러닝 평가 모델이 상기 분석 결과를 도출하게 끔 한 문제를 해결하기 위한 동작들 중 적어도 하나를 수행하는,
    전자 기기 가치 평가 장치.
  10. 제9항에 있어서,
    상기 외관 상태 평가 모듈은,
    상기 미리 설정된 범위에 상기 확률 데이터가 속하는지 판단하고, 상기 확률 데이터가 상기 미리 설정된 범위에 속하는 경우, 상기 획득된 분석 결과가 적절한 것으로 판단하며, 상기 확률 데이터가 상기 미리 설정된 범위에 속하지 않는 경우, 상기 획득된 분석 결과가 적절하지 않은 것으로 판단하는,
    전자 기기 가치 평가 장치.
  11. 제9항에 있어서,
    상기 외관 상태 평가 모듈은,
    상기 획득된 분석 결과를 보정하는 제1 동작, 상기 외관 이미지에 이미지 변환을 수행하게 끔 하는 제2 동작, 상기 대상 전자 기기가 촬영된 촬영 박스가 점검되게 끔 하는 제3 동작, 상기 딥러닝 평가 모델이 트레이닝 되게 끔 하는 제4 동작, 및 운영 센터에서 상기 외관 이미지를 분석하게 끔 하는 제5 동작 중 적어도 하나를 수행하는,
    전자 기기 가치 평가 장치.
  12. 제11항에 있어서,
    상기 외관 상태 평가 모듈은,
    상기 대상 전자 기기의 모델 정보가 미리 설정된 모델 리스트에 포함되어 있는지 판단하고, 상기 모델 정보가 상기 미리 설정된 모델 리스트에 포함되어 있는 것으로 판단한 경우, 상기 제1 동작, 상기 제4 동작, 및 상기 제5 동작 중 적어도 하나를 수행하는,
    전자 기기 가치 평가 장치.
  13. 제11항에 있어서,
    상기 외관 상태 평가 모듈은,
    상기 제1 결함이 결함 예외 케이스(exception case)에 해당하는지 여부를 판단하고, 상기 제1 결함이 상기 결함 예외 케이스에 해당하는 경우, 상기 제2 동작을 수행하는,
    전자 기기 가치 평가 장치.
  14. 제11항에 있어서,
    상기 외관 상태 평가 모듈은,
    상기 외관 이미지가 정상이 아니고 상기 촬영 박스가 비어 있으면, 상기 제3 동작을 수행하는,
    전자 기기 가치 평가 장치.
  15. 제9항에 있어서,
    상기 외관 상태 평가 모듈은,
    상기 미리 설정된 범위와 상기 확률 데이터 사이의 비교 결과를 통해 상기 문제를 발생시킨 원인을 추정하는,
    전자 기기 가치 평가 장치.
  16. 제15항에 있어서,
    상기 외관 상태 평가 모듈은,
    상기 미리 설정된 범위의 상한치와 상기 확률 데이터 사이의 차이값이 제1 값을 초과하는 경우, 상기 원인이 상기 촬영 박스에 있는 것으로 추정하고, 상기 차이값이 상기 제1 값 이하이고 제2 값을 초과하는 경우, 상기 원인이 상기 딥러닝 평가 모델에 있는 것으로 추정하는,
    전자 기기 가치 평가 장치.
PCT/KR2023/095059 2022-10-05 2023-10-04 전자 기기 가치 평가 장치 및 이의 동작 방법 WO2024076223A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0126944 2022-10-05
KR20220126944 2022-10-05
KR1020230018925A KR20240047896A (ko) 2022-10-05 2023-02-13 전자 기기 가치 평가 장치 및 이의 동작 방법
KR10-2023-0018925 2023-02-13

Publications (1)

Publication Number Publication Date
WO2024076223A1 true WO2024076223A1 (ko) 2024-04-11

Family

ID=90608462

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/095059 WO2024076223A1 (ko) 2022-10-05 2023-10-04 전자 기기 가치 평가 장치 및 이의 동작 방법

Country Status (1)

Country Link
WO (1) WO2024076223A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170019085A (ko) * 2015-08-11 2017-02-21 에스케이 주식회사 중고 모바일 단말 자동 가치평가 방법 및 장치
KR102247804B1 (ko) * 2018-03-12 2021-05-04 민팃(주) 중고 단말기의 가치평가를 위한 외관 촬영 분석 시스템
KR20210127199A (ko) * 2019-02-18 2021-10-21 에코에이티엠, 엘엘씨 전자 디바이스의 신경망 기반의 물리적 상태 평가, 및 관련된 시스템 및 방법
KR102321765B1 (ko) * 2018-07-02 2021-11-03 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체
US20220262189A1 (en) * 2019-07-31 2022-08-18 A La Carte Media, Inc. Systems and methods for enhanced evaluation of pre-owned electronic devices and provision of related services

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170019085A (ko) * 2015-08-11 2017-02-21 에스케이 주식회사 중고 모바일 단말 자동 가치평가 방법 및 장치
KR102247804B1 (ko) * 2018-03-12 2021-05-04 민팃(주) 중고 단말기의 가치평가를 위한 외관 촬영 분석 시스템
KR102321765B1 (ko) * 2018-07-02 2021-11-03 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 디스플레이 장치 품질 검사 방법, 장치, 전자 장치 및 저장 매체
KR20210127199A (ko) * 2019-02-18 2021-10-21 에코에이티엠, 엘엘씨 전자 디바이스의 신경망 기반의 물리적 상태 평가, 및 관련된 시스템 및 방법
US20220262189A1 (en) * 2019-07-31 2022-08-18 A La Carte Media, Inc. Systems and methods for enhanced evaluation of pre-owned electronic devices and provision of related services

Similar Documents

Publication Publication Date Title
WO2021201349A1 (ko) 차량의 손상 분석 시스템 및 방법
WO2020138745A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2013085193A1 (ko) 사용자 인지 향상 장치 및 그 인지 향상 방법
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2018008881A1 (ko) 단말장치 및 서비스서버, 그 장치에 의해 수행되는 진단분석 서비스를 제공하기 위한 방법 및 프로그램과, 그 프로그램이 기록된 컴퓨터 판독 가능 기록매체
WO2021091021A1 (ko) 화재 검출 시스템
WO2020091096A1 (en) Methods for determining a planes, methods for displaying augmented reality display information and corresponding devices
WO2023120831A1 (ko) 비식별 처리 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2019009664A1 (en) APPARATUS FOR OPTIMIZING THE INSPECTION OF THE OUTSIDE OF A TARGET OBJECT AND ASSOCIATED METHOD
WO2020116680A1 (ko) 차량 번호판 검출 및 인식 시스템 및 방법
WO2018230864A2 (ko) 외부광을 반영하여 객체의 뎁스를 센싱하는 방법 및 이를 구현하는 장치
US20240163566A1 (en) Exposure compensation method and apparatus, and electronic device
WO2023106572A1 (ko) 가상 자산 부정 거래 탐지를 위한 탐지 모델의 학습 방법, 탐지 모델을 이용한 가상 자산 부정 거래의 탐지 방법 및 이들을 수행하는 장치 및 컴퓨터 프로그램
WO2020045702A1 (ko) 비색표를 이용한 소변 검사를 제공하는 컴퓨터 프로그램 및 단말기
WO2021006482A1 (en) Apparatus and method for generating image
WO2024076223A1 (ko) 전자 기기 가치 평가 장치 및 이의 동작 방법
WO2015199354A1 (ko) 인접 합산 이진화를 이용한 동공 추출 방법 및 이를 이용한 동공 추출 제어장치
WO2020091337A1 (ko) 영상 분석 장치 및 방법
WO2018131737A1 (ko) 불량 패널 검사 장치
WO2023191312A1 (ko) 전자 기기의 외관 상태 평가 및 가치 평가 방법과 전자 기기 가치 평가 장치
WO2023177105A1 (ko) 전자 기기를 촬영하는 촬영 박스 및 이를 포함하는 무인 매입 장치
WO2023022537A1 (ko) Ai 기반 차량 디스크 불량 검출 시스템
WO2023163476A1 (ko) 전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23875284

Country of ref document: EP

Kind code of ref document: A1