WO2023163476A1 - 전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법 - Google Patents

전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법 Download PDF

Info

Publication number
WO2023163476A1
WO2023163476A1 PCT/KR2023/002426 KR2023002426W WO2023163476A1 WO 2023163476 A1 WO2023163476 A1 WO 2023163476A1 KR 2023002426 W KR2023002426 W KR 2023002426W WO 2023163476 A1 WO2023163476 A1 WO 2023163476A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
evaluation
deep learning
mask
defect
Prior art date
Application number
PCT/KR2023/002426
Other languages
English (en)
French (fr)
Inventor
지창환
유도형
Original Assignee
민팃(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220083791A external-priority patent/KR20230127121A/ko
Application filed by 민팃(주) filed Critical 민팃(주)
Publication of WO2023163476A1 publication Critical patent/WO2023163476A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning

Definitions

  • the following embodiments relate to an electronic device value evaluation method and apparatus and a deep learning model training method.
  • the method of calculating the purchase price of the current used cell phone includes the method in which the operator directly manipulates the customer's used cell phone or visually checks the used cell phone and determines the price of the used cell phone according to the operator's judgment criteria, and the method in which the price of the used cell phone is determined through automated evaluation. There is a way to calculate it.
  • the currently used automated evaluation involves installing an interlocking app on a used mobile phone via wire or wireless to obtain information on the used mobile phone and automatically inspect the internal functions, deliver exterior photos of the used mobile phone to the evaluation center, and evaluate the used mobile phone. can be performed. Assessing the appearance of a used cell phone can take a lot of resources and time. There is a need for an artificial intelligence value evaluation system and method capable of quickly and accurately evaluating the appearance of a used mobile phone and predicting an optimal purchase price.
  • An electronic device value evaluation method includes evaluating an external state of an electronic device based on a plurality of images acquired by photographing the electronic device and a plurality of deep learning evaluation models; and determining a value of the electronic device based on a result of evaluating the external state and a result of evaluating the internal state of the electronic device.
  • the performing of the appearance state evaluation may include generating a mask predicting a defect state of each evaluation region of the electronic device from the images through the deep learning evaluation models, and generating the evaluation region based on each generated mask. determining a grade for each defect; and determining a final grade for the appearance state of the electronic device through the determined grades.
  • the front image is determined. generating a first mask by predicting a defect state of the front surface and determining a grade of the defect on the front surface based on the generated first mask;
  • a second deep learning evaluation model among the deep learning evaluation models receives a rear image obtained by photographing the rear surface of the electronic device, a second mask is generated by predicting a defect state of the rear surface through the rear image, , determining a grade of the defect of the rear surface based on the generated second mask;
  • a third deep learning evaluation model among the deep learning evaluation models receives side images obtained by photographing the side surfaces of the electronic device, a third deep learning evaluation model predicts a defect state of at least one of the side surfaces through the side images.
  • the method may include generating a mask and determining a grade for defects of a screen of the electronic device based on the generated fourth mask.
  • the method may further include generating a mask in which a defect state is predicted, and determining a grade for a defect in the evaluation region of the changed form based on the mask in which the defect state in the evaluation region of the changed form is predicted.
  • Determining the final grade may include determining a minimum grade among the determined grades as the final grade.
  • the step of determining the final grade may include applying a weight to each of the determined grades; and determining the final grade using the grade to which each weight is applied.
  • the determining of the value may include determining a first amount based on a result of the external condition evaluation and determining a second amount based on a result of the internal condition evaluation; and calculating the price of the electronic device by subtracting the determined first amount and the determined second amount from the reference price of the electronic device.
  • the defect state may include at least one of a location of a defect in each of the evaluation areas, a type of the defect, and a degree of the defect.
  • the electronic device value evaluation method includes determining whether each of the images includes one or more objects to be mistaken for defects; and performing processing on the object when there is an image including the object.
  • the object may include at least one of an object corresponding to a floating icon on the screen of the electronic device, an object corresponding to a sticker attached to the electronic device, and an object corresponding to a foreign substance on the electronic device.
  • An electronic device value evaluation method includes determining whether one or more objects to be mistaken for defects in the electronic device are included in each of a plurality of images obtained by photographing the electronic device; If there is an image including the object, processing the object; performing external state evaluation on the electronic device based on the processed image of the object, remaining images without the object, and deep learning evaluation models; and determining a value of the electronic device based on a result of evaluating the external state and a result of evaluating the internal state of the electronic device.
  • the performing of the appearance state evaluation may include generating a mask predicting a defect state of each of the evaluation regions of the electronic device from the processed image of the object and the remaining images through the deep learning evaluation models, determining a grade for a defect in each of the evaluation areas based on a mask; and determining a final grade for the appearance state of the electronic device through the determined grades.
  • Performing the process may include performing a masking process on the object.
  • the object may include at least one of an object corresponding to a floating icon on the screen of the electronic device, an object corresponding to a sticker attached to the electronic device, and an object corresponding to a foreign substance on the electronic device.
  • An electronic device value evaluation apparatus includes a memory for storing a plurality of deep learning evaluation models; an external state evaluation module that evaluates an external state of the electronic device based on a plurality of images obtained by photographing the electronic device and the deep learning evaluation models; and a value determination module that determines a value of the electronic device based on a result of evaluating the external state and a result of evaluating an internal state of the electronic device.
  • the appearance state evaluation module generates a mask predicting a defect state of each of the evaluation regions of the electronic device from the images through the deep learning evaluation models, and based on the generated mask, each of the evaluation regions A grade for the defect is determined, and a final grade for the external state of the electronic device is determined through the determined grade.
  • a first deep learning evaluation model among the deep learning evaluation models generates a first mask predicting a defect state of the front surface through the front image when receiving a front image obtained by photographing the front of the electronic device, , It is possible to determine a grade for defects on the front surface based on the generated first mask.
  • the second deep learning evaluation model generates a second mask that predicts a defect state of the rear surface through the rear image when receiving a rear image obtained by photographing the rear surface of the electronic device, , it is possible to determine a grade for the defect of the rear surface based on the generated second mask.
  • the third deep learning evaluation model predicts a defect state of at least one of the side surfaces through the side images when receiving side images acquired by photographing the side surfaces of the electronic device.
  • a mask may be created, and a grade of defects of the side surfaces may be determined based on the generated third mask.
  • the fourth deep learning evaluation model is a fourth mask that predicts a defective state of the screen of the electronic device through the screen image when the screen image obtained by capturing the screen of the electronic device is input. , and a grade for defects of the screen of the electronic device may be determined based on the generated fourth mask.
  • the external state evaluation module determines a defect state of an evaluation region of the changed shape from an image obtained by photographing the changed shape through an additional deep learning evaluation model other than the deep learning evaluation models.
  • a predicted mask may be generated, and a grade for a defect in the evaluation region of the changed shape may be determined based on the mask in which the defect state of the evaluation region of the changed shape is predicted.
  • the appearance state evaluation module may determine a minimum grade among the determined grades as the final grade.
  • the exterior state evaluation module may apply a weight to each of the determined grades and determine the final grade using the grade to which each weight is applied.
  • the value determination module determines a first amount based on a result of the exterior condition evaluation, determines a second amount based on a result of the internal condition evaluation, and determines the determined first amount and the base price of the electronic device.
  • the price of the electronic device may be calculated by subtracting the determined second amount.
  • the defect state may include at least one of a location of a defect in each of the evaluation areas, a type of the defect, and a degree of the defect.
  • the electronic device value evaluation apparatus further includes a pre-processing module that determines whether each of the images includes one or more objects to be mistaken as defects, and if there is an image including the object, performs processing on the object. can do.
  • the object may include at least one of an object corresponding to a floating icon on the screen of the electronic device, an object corresponding to a sticker attached to the electronic device, and an object corresponding to a foreign substance on the electronic device.
  • An electronic device value evaluation apparatus includes a pre-processing module that determines whether one or more objects to be mistaken for defects in the electronic device are included in each of a plurality of images obtained by photographing the electronic device; If there is an image including the object, processing the object; an external state evaluation module for performing external state evaluation of the electronic device based on the processed image of the object, remaining images without the object, and the deep learning evaluation models; and a value determination module that determines a value of the electronic device based on a result of evaluating the external state and a result of evaluating an internal state of the electronic device.
  • the appearance state evaluation module generates a mask in which a defect state of each of the evaluation areas of the electronic device is predicted from the processed image of the object and the remaining images through the deep learning evaluation models, and based on each generated mask.
  • a grade for each defect in the evaluation areas may be determined, and a final grade for the external appearance of the electronic device may be determined through the determined grade.
  • a training method performed by a computing device includes inputting a training image for a defect to a deep learning model; generating a mask predicting the state of the defect from the training image through the deep learning model; calculating a degree of similarity between the generated mask and a labeled mask for the defect; updating at least one parameter in the deep learning model when the calculated similarity is less than a threshold value; and terminating training of the deep learning model when the calculated similarity is greater than or equal to the threshold value.
  • the first mask predicts a defect state of the front surface of the electronic device from the first training image using the first deep learning model.
  • generating When a second training image is input to a second deep learning model, generating a second mask by predicting a defect state of a rear surface of the electronic device from the second training image using the second deep learning model; generating a third mask by predicting a defect state of a side surface of the electronic device from the third training image using the third training image when a third training image is input to a third deep learning model; and when a fourth training image is input to a fourth deep learning model, generating a fourth mask predicting a defect state of the screen of the electronic device from the fourth training image using the fourth deep learning model.
  • An embodiment can quickly and accurately evaluate the appearance of a used mobile phone by analyzing images of the appearance of a used mobile phone at high speed.
  • FIGS. 1 and 2 are diagrams illustrating an unmanned acquisition device and a server according to an exemplary embodiment.
  • 3 to 6 are diagrams illustrating an operation of an electronic device value evaluation apparatus according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating a method for evaluating an electronic device value according to an exemplary embodiment.
  • FIG. 8 is a block diagram illustrating a configuration of a computing device for training a deep learning model according to an exemplary embodiment.
  • 9A to 9C are diagrams illustrating a target mask and a prediction mask according to an exemplary embodiment.
  • FIG. 10 is a flowchart illustrating a deep learning model training method of a computing device according to an embodiment.
  • first or second may be used to describe various components, such terms should only be construed for the purpose of distinguishing one component from another.
  • a first element may be termed a second element, and similarly, a second element may be termed a first element.
  • FIGS. 1 and 2 are diagrams illustrating an unmanned acquisition device and a server according to an exemplary embodiment.
  • an unmanned acquisition device 110 and a server 120 are shown.
  • the unmanned purchase device 110 may purchase electronic devices (or used electronic devices) (eg, smart phones, tablet PCs, wearable devices, etc.) from users and/or sell electronic devices (or used electronic devices) to users.
  • the type of electronic device may be classified into, for example, a bar type, a rollable type, or a foldable type according to its shape.
  • the unmanned acquisition device 110 may be, for example, in the form of a kiosk, but is not limited thereto.
  • the unattended embedding device 110 may include a photographing box and a controller.
  • the user can connect a cable (eg, USB Type-C cable, lightning cable, etc.) of the unattended embedding device 110 and an electronic device, and the electronic device can be placed in the shooting box.
  • the electronic device may be connected to the control unit of the unmanned implantation device 110 through a cable.
  • the electronic device may be connected to the control unit of the unmanned embedded device 110 wirelessly (eg, Bluetooth, Bluetooth Low Energy (BLE), etc.).
  • the control unit of the unmanned embedded device 110 may install a first application in the electronic device for inspecting the internal state of the electronic device and collecting information (eg, model name, serial number, operating system version, etc.) of the electronic device.
  • the present invention is not limited thereto, and the user may pre-install the first application on the electronic device before inserting the electronic device into the unmanned embedded device 110 .
  • the first application may collect information of the electronic device by being executed in the electronic device, and may evaluate (or analyze) an internal state (eg, hardware operation state, etc.) of the electronic device.
  • the hardware operating state may indicate, for example, whether hardware (eg, a sensor, a camera, etc.) of the electronic device operates normally.
  • the first application may evaluate (or determine) whether the hardware of the electronic device operates normally.
  • a plurality of cameras and a plurality of lights may be located in the photographing box.
  • the first camera in the photographing box may acquire one or more front images of the electronic device by photographing the front of the electronic device.
  • the second camera in the photographing box may acquire one or more rear images of the electronic device by photographing the rear side of the electronic device.
  • Each of the plurality of third cameras in the photographing box may acquire one or more side images (or corner images) by capturing each side (or corner) of the electronic device.
  • the first camera may acquire one or more images (hereinafter referred to as “screen images”) by capturing the screen of the electronic device.
  • the first application may display a monochrome (eg, white, black, red, blue, green, etc.) screen on the electronic device. While a monochrome screen is displayed on the electronic device, the first camera may obtain an image (hereinafter, referred to as a "monochrome screen image") by photographing the monochrome screen of the electronic device. For example, while a white screen is displayed on the electronic device, the first camera may acquire a first monochrome screen image by photographing the white screen of the electronic device.
  • the first camera may obtain a second monochrome screen image by capturing the black screen of the electronic device.
  • a solid color (eg, red, blue, green, etc.) screen other than white and black is displayed on the electronic device.
  • the first camera captures another solid color screen of the electronic device to obtain a third monochrome screen image.
  • the electronic device value evaluation device 130 is based on images obtained by photographing the electronic device (eg, one or more front images, one or more rear images, one or more side images, one or more monochrome screen images) and deep learning evaluation models. Appearance state evaluation may be performed on electronic devices.
  • the electronic device value evaluation device 130 may be included in the server 120 .
  • the server 120 may receive images acquired by photographing the electronic device from the unmanned acquisition device 110 and deliver the received images to the electronic device value evaluation device 130.
  • the first application in the electronic device may evaluate the internal state of the electronic device, and may transmit a result of the internal state evaluation of the electronic device to the server 120 through the unmanned embedded device 110.
  • the first application may cause the electronic device to be connected to the server 120 and transmit the result of evaluating the internal state of the electronic device to the server 120 through the electronic device.
  • the electronic device value evaluation device 130 evaluates the value of the electronic device based on the result of evaluating the external state of the electronic device and the result of evaluating the internal state of the electronic device (eg, a result of evaluating the internal state of the electronic device by the first application).
  • value e.g. price
  • the electronic device value evaluation device 130 may transmit the value of the electronic device to the unmanned purchase device 110, and the unmanned purchase device 110 may transmit the value of the electronic device to the user.
  • the user may accept the value (eg, price) of the electronic device and communicate that the electronic device will be sold to the unmanned purchase device 110, and the unmanned purchase device 110 may place the electronic device in the shooting box when the user decides to sell the electronic device.
  • the electronic device can be moved to the collection box (or storage box). Depending on the embodiment, the collection box may be located inside or outside the unattended embedding device 110 .
  • the electronic device valuation device 130 may be included in the unmanned purchase device 110 .
  • the electronic device value evaluation apparatus 130 may receive images obtained by photographing the electronic device from cameras in a photographing box.
  • the electronic device value evaluation device 130 may receive a result of evaluating an internal state of the electronic device from the first application.
  • the electronic device value evaluation device 130 may determine the value (eg, price) of the electronic device based on a result of evaluating an external state of the electronic device and a result of evaluating an internal state of the electronic device.
  • the electronic device value evaluation device 130 may deliver the value of the electronic device to the user.
  • the user may accept the value (eg, price) of the electronic device and communicate that the electronic device will be sold to the unmanned purchase device 110, and the unmanned purchase device 110 may place the electronic device in the shooting box when the user decides to sell the electronic device.
  • the electronic device can be moved to the collection box (or storage box).
  • 3 to 6 are diagrams illustrating an operation of an electronic device value evaluation apparatus according to an exemplary embodiment.
  • the electronic device evaluation apparatus 130 may include a memory 310 , an appearance state evaluation module 320 , and a value determination module 330 .
  • the external state evaluation module 320 and the value determination module 330 may be implemented by a single processor.
  • each of the appearance state evaluation module 320 and the value determination module 340 may be implemented as a separate processor.
  • a first processor may implement the appearance state evaluation module 320 and a second processor may implement the value determination module 340 .
  • the memory 310 may store a plurality of deep learning evaluation models. For example, the memory 310 detects a defect in a first evaluation area (eg, the front surface) of the electronic device and determines a grade of the detected defect (or first evaluation area), a first deep learning evaluation model, the electronic device A second deep learning evaluation model that detects defects in the second evaluation area (eg, back side) of the electronic device and determines a grade of the detected defect (or second evaluation area), and a third evaluation area (eg, side (or corner)) and a third deep learning evaluation model for detecting a defect and determining a grade of the detected defect (or a third evaluation area), and detecting a defect in the fourth evaluation area (e.g., screen) of the electronic device and detecting the detected defect.
  • a fourth deep learning evaluation model for determining a grade of a defect (or a fourth evaluation region) may be included. Table 1 below shows examples of defect types and grades for each of the evaluation areas (eg, screen, front, side (or corner), and rear
  • heavy afterimage is, for example, that the electronic device displays a white screen, but a specific area of the screen (eg, a status display area at the top of the screen) is displayed in a color other than white to the user, and an icon is displayed in the specific area.
  • Strong afterimages may indicate, for example, a phenomenon in which an electronic device displays a white screen, but a user sees a color other than white on the entire screen.
  • LCD-level afterimage is a state in which the degree of afterimage is more severe than strong afterimage. For example, an electronic device displays a white screen, but the user sees a color other than white throughout the screen and an icon is displayed on the screen. .
  • Each of the first to fourth deep learning evaluation models may perform image segmentation on a given input image.
  • FIG. 4 shows a schematic structure of a deep neural network, which is the basis of each of the deep learning evaluation models.
  • a deep neural network will be described as an example, but it is not necessarily limited thereto, and neural networks of various structures may be used in a deep learning evaluation model.
  • a deep neural network is a method of implementing a neural network and includes a plurality of layers.
  • the deep neural network for example, includes an input layer 410 to which input data is applied, and an output layer 440 to output result values derived through prediction based on input data based on training. ), and multiple hidden layers 420 and 430 between the input layer and the output layer.
  • Deep neural networks may be classified into convolutional neural networks, recurrent neural networks, and the like according to an algorithm used to process information.
  • the input layer is called the lowest layer and the output layer is called the top layer.
  • hidden layer 2 is a higher layer than hidden layer 1 and the input layer, and may correspond to a lower layer than the output layer.
  • a relatively higher layer may receive a value obtained by multiplying an output value of a relatively lower layer by a weight and applying a bias, and output a predetermined operation result.
  • the output operation result may be applied to an upper layer adjacent to the corresponding layer in a similar manner.
  • a method of training a neural network is called, for example, deep learning, and as described above, various algorithms such as convolutional neural networks and recursive neural networks may be used in deep learning.
  • Training a neural network means determining and updating weight(s) and bias(s) between layers, and/or weight(s) between a plurality of neurons belonging to different layers among adjacent layers, and It can be understood as a meaning encompassing both determining and updating the bias(s).
  • a plurality of layers, a hierarchical structure between the plurality of layers, and weights and biases between neurons may be collectively referred to as "connectivity" of a neural network. Accordingly, “training a neural network” can also be understood as building and training connectivity.
  • Each of the plurality of layers in the neural network may include a plurality of nodes.
  • a node may correspond to a neuron of a neural network.
  • the term “neuron” may be used synonymously with the term “node”.
  • an output value may be output through the output layer 440 .
  • the weight multiplied with respect to the output value of each node increases, it means that the connectivity between the corresponding two nodes is strengthened, and as the weight value decreases, it may mean that the connectivity between the two nodes is weakened. When the weight is 0, it may mean that there is no connectivity between the two nodes.
  • the external state evaluation module 320 may evaluate the external state of the electronic device based on a plurality of images obtained by photographing the electronic device and the deep learning evaluation models. For example, the external state evaluation module 320 may generate a mask in which defect states of each of the first to fourth evaluation regions of the electronic device are predicted from images through deep learning evaluation models. The appearance state evaluation module 320 may determine a defect grade of each of the first to fourth evaluation regions based on each generated mask. The external state evaluation module 320 may determine a final grade for the external state of the electronic device through the determined grades.
  • the first deep learning evaluation model 510 may receive a front image as an input.
  • the first deep learning evaluation model 510 may generate a first mask that predicts a defect state (eg, at least one of the location of the defect, the type of defect, and the degree of the defect) of the front side of the electronic device through the front image.
  • the degree of defect may be related to the type of defect.
  • the first deep learning evaluation model 510 may perform image segmentation on the foreground image to classify each pixel of the foreground image into one of first classes, and generate a first mask according to the classification. can do. Table 2 below shows examples of the first classes.
  • Class 1-1 e.g., full face scratches, face breakage grade scratches, etc.
  • Class 1-2 e.g. broken front, liquid crystal lifted, etc.
  • Classes 1-3 e.g. non-electronic parts
  • Class 1-4 e.g. front of electronic device
  • the first camera in the photographing box may capture not only the front of the electronic device but also the periphery of the front, so that the front image may include parts other than the electronic device.
  • the first deep learning evaluation model 510 may classify some pixels of the foreground image as first-first class, and classify each of the remaining pixels as first-second class, first-third class, or first-fourth class. can be classified as Through this classification, the first deep learning evaluation model 510 may generate a first mask.
  • FIG. 6 An example of an image visually representing the first mask is shown in FIG. 6 .
  • the black areas 610-1, 610-2, 610-3, and 610-4 have the first deep learning evaluation model 510 select some pixels of the front image in first to third areas.
  • a result of classification into classes (or a result of the first deep learning evaluation model 510 predicting that some pixels of the front image do not correspond to electronic devices) may be indicated.
  • Area 620 is the result of classifying some pixels of the front image into first and second classes by the first deep learning evaluation model 510 (or the first deep learning evaluation model 510 determines the front image of the electronic device from the front image). results predicted to have damage).
  • Area 630 is a result of the first deep learning evaluation model 510 classifying some pixels of the front image into the 1-1 class (or the first deep learning evaluation model 510 determines the front image of the electronic device from the front image). results predicted to be flawed).
  • Area 640 is the result of the first deep learning evaluation model 510 classifying some pixels of the front image into classes 1-4 (or the first deep learning evaluation model 510 classifying the front of the electronic device in the front image). predicted results).
  • the first deep learning evaluation model 510 may determine a grade for defects on the front surface based on the first mask. For example, when the first deep learning evaluation model 510 predicts that there is at least one of breakage and liquid crystal lifting on the front surface of the electronic device through the front image, the grade of the defect on the front surface of the electronic device is grade C (eg : C grade in Table 1 above). The first deep learning evaluation model 510 may output a score of 5 corresponding to the C grade. When the first deep learning evaluation model 510 predicts that there are damages and scratches on the front surface of the electronic device through the front image, the front surface of the electronic device is graded as C grade (eg, C grade in Table 1 above).
  • the first deep learning evaluation model 510 may output a score of 5 corresponding to the C grade.
  • the front surface defect of the electronic device is graded as B (e.g., above Class B in Table 1).
  • the first deep learning evaluation model 510 may output a score of 3 corresponding to grade B.
  • the front side defect of the electronic device is rated as A (e.g., above). Class A in Table 1).
  • the first deep learning evaluation model 510 may output a score of 1 corresponding to grade A.
  • the second deep learning evaluation model 520 may receive a rear image as an input.
  • the second deep learning evaluation model 520 may generate a second mask that predicts a defect state (eg, at least one of a location of a defect, a rectification of a defect, and a degree of a defect) of the rear surface of the electronic device through the rear image.
  • a defect state eg, at least one of a location of a defect, a rectification of a defect, and a degree of a defect
  • the second deep learning evaluation model 520 may perform image segmentation on the rear image, classify each pixel of the rear image into one of the second classes, and through this classification, the second class You can create a mask.
  • Table 3 below shows examples of the second classes.
  • Class 2-1 e.g. breakage, back lifting, camera retention (or lens) breakage, etc.
  • Class 2-2 e.g. non-electronic devices
  • Class 2-3 e.g. back of electronic device
  • the second deep learning evaluation model 520 may determine a grade for defects on the back surface based on the second mask. For example, when the second deep learning evaluation model 520 predicts that there is at least one of damage, lifting of the rear surface, and camera lens damage on the rear surface of the electronic device through the rear image, the defect grade of the rear surface of the electronic device can be determined as a C grade (eg C grade in Table 1 above). The second deep learning evaluation model 520 may output a score of 5 corresponding to the C grade. When the second deep learning evaluation model 520 predicts that the rear surface of the electronic device is clean through the rear image, it may determine the grade of the defect on the back surface of the electronic device as grade A (eg, grade A in Table 1 above). . The second deep learning evaluation model 520 may output a score of 1 corresponding to grade A.
  • grade A eg, grade A in Table 1 above.
  • the third deep learning evaluation model 530 may receive side images (or corner images) as an input.
  • the third deep learning evaluation model 530 is a defect state of the side surfaces (or corners) of the electronic device through the side images (or corner images) (eg, among the location of the defect, the type of defect, and the degree of the defect).
  • a third mask predicting at least one) may be generated.
  • the third deep learning evaluation model 530 may perform image segmentation on side images (or corner images) and classify each pixel of each side image into one of the third classes. And, through this classification, a third mask can be created. Table 4 below shows examples of the third classes.
  • Class 3-1 e.g. scratches
  • Class 3-2 e.g. non-electronic devices
  • Class 3-3 e.g. side (or corner) of an electronic device
  • the third deep learning evaluation model 530 may determine a defect grade of the side surfaces (or corners) based on the third mask. For example, when the third deep learning evaluation model 530 predicts that there is a scratch on the first side (or first corner) of the electronic device through the side images (or corner images), the side of the electronic device
  • the grade for defects of the fields (or corners) may be determined as a B+ grade (eg, B+ grade in Table 1 above).
  • the third deep learning evaluation model 530 may output a score of 2 corresponding to a grade of B+.
  • the grade for can be determined as A grade (eg, A grade in Table 1 above).
  • the third deep learning evaluation model 530 may output a score of 1 corresponding to grade A.
  • the fourth deep learning evaluation model 540 may receive a screen image (eg, a monochrome screen image) as an input from the electronic device.
  • the fourth deep learning evaluation model 540 may generate a fourth mask that predicts a defect state (eg, at least one of the location of the defect, the type of defect, and the degree of the defect) of the screen of the electronic device through the screen image.
  • a defect state eg, at least one of the location of the defect, the type of defect, and the degree of the defect
  • the fourth deep learning evaluation model 540 may perform image segmentation on a screen image and classify each pixel of the screen image into one of the fourth classes. You can create a mask. Table 5 below shows examples of the fourth classes.
  • Class 4-1 e.g., 3 or more white flowers, reduced screen, stains, sunspots, bullet damage, etc.
  • Class 4-2 e.g. LCD-level afterimage, LCD-level whitening, etc.
  • Class 4-3 e.g. strong afterimage, less than 2 white flowers, etc.
  • Class 4-4 e.g. severe afterimage, etc.
  • Class 4-5 e.g. non-electronic devices
  • Classes 4-6 e.g. screens of electronic devices
  • the fourth deep learning evaluation model 540 may determine a grade for a screen defect of the electronic device based on the fourth mask. For example, when the fourth deep learning evaluation model 540 predicts that the screen of the electronic device has at least one of 3 or more white flowers, screen thinning, black spots, and bullet damage through the screen image, the screen of the electronic device
  • the grade of the defect can be determined as D grade (e.g., D grade in Table 1 above).
  • the fourth deep learning evaluation model 540 may output a score of 7 corresponding to the D grade.
  • the grade of the screen defect of the electronic device is classified as a DL grade (e.g., DL grade in Table 1 above).
  • the fourth deep learning evaluation model 540 may output a score of 6 corresponding to the DL grade.
  • the grade for the screen defect of the electronic device is a CL grade (eg : CL grade in Table 1 above).
  • the fourth deep learning evaluation model 540 may output a score of 4 corresponding to the CL grade.
  • the screen defect of the electronic device is graded as B grade (eg, B grade in Table 1 above).
  • B grade eg, B grade in Table 1 above.
  • the fourth deep learning evaluation model 540 may output a score of 3 corresponding to grade B.
  • the fourth deep learning evaluation model 540 predicts that the screen of the electronic device is clean through the screen image, it may determine the defect grade of the screen of the electronic device as A grade (eg, A grade in Table 1 above). .
  • the fourth deep learning evaluation model 540 may output a score of 1 corresponding to grade A.
  • the value determination module 330 may determine the value of the electronic device based on the evaluation result of the external state of the electronic device and/or the evaluation result of the internal state of the electronic device.
  • the value determination module 330 may determine the minimum grade among the grades determined by each of the first to fourth deep learning evaluation models 510 to 540 as the final grade for the appearance state of the electronic device.
  • Grade A is the highest, and Grade B+ may be lower than Grade A and higher than Grade B.
  • Class CL can be lower than class B and higher than class C.
  • Grade D may be the lowest.
  • the grade determined by the first deep learning evaluation model 510 is a C grade
  • the grade determined by the second deep learning evaluation model 520 is a B+ grade
  • the third deep learning evaluation model 530 The determined grade may be a C grade
  • the grade determined by the fourth deep learning evaluation model 540 may be a CL grade.
  • the C grade determined by the first deep learning evaluation model 510 may be the minimum grade, so that the value determination module 330 determines the value of the electronic device.
  • the final grade for the appearance state of can be determined as C grade.
  • scores output by each of the first to fourth deep learning evaluation models 510 to 540 may be higher as the grade is lower.
  • the value determination module 330 may determine a maximum score among scores output by each of the first to fourth deep learning evaluation models 510 to 540 as a final score for evaluating the appearance of the electronic device.
  • the value determination module 330 may apply a weight to the grade (or score) determined by each of the first to fourth deep learning evaluation models 510 to 540, and the grade to which each weight is applied ( Alternatively, a final grade (or final score) for the appearance state of the electronic device may be determined using the score). As an example, the value determination module 330 may apply a first weight to the grade (or score) determined by the first deep learning evaluation model 510 and the grade determined by the second deep learning evaluation model 520.
  • a second weight may be applied to the (or score)
  • a third weight may be applied to the grade (or score) determined by the third deep learning evaluation model 530
  • the fourth deep learning evaluation model 540 A fourth weight may be applied to the grade determined by
  • each of the first to fourth weights may be greater than 0 and less than 1.
  • the value determination module 330 may determine a final grade (or final score) for the external state of the electronic device by summing the grades (or scores) to which each of the first to fourth weights is applied.
  • the value determination module 330 may determine the first amount based on a result of evaluating the external state of the electronic device (eg, a final grade (or final score) for the external state of the electronic device), and evaluate the internal state of the electronic device. It is possible to determine the second amount based on the result of.
  • the value determination module 330 may calculate the price of the electronic device by subtracting the first price and the second price from the standard price of the electronic device (eg, the highest second-hand price of an electronic device of the same type as the electronic device). For example, the value determination module 330 may obtain a standard price of an electronic device in association with a used market price database.
  • the value determination module 330 may obtain the final grade of the external state of the electronic device and the mapped first amount of money from a first table in which the grade of the external state and the amount are mapped to each other.
  • the value determination module 330 may obtain a result of the internal state evaluation of the electronic device and a mapped second amount of money from a second table in which the grade of the internal state and the amount are mapped to each other.
  • the value determination module 330 may calculate the price of the electronic device by subtracting the first amount and the second amount from the reference amount.
  • the value determination module 330 may transmit the value (eg, price) of the electronic device to the unmanned purchase device 110 .
  • the unmanned purchase device 110 may show the value (eg, price) of the electronic device to the user through a display.
  • the value determination module 330 may display the value (eg, price) of the electronic device on the display of the unmanned purchase device 110 .
  • the electronic device value evaluation device 130 may include a preprocessing module.
  • the pre-processing module may determine whether one or more objects to be mistaken as defects are included in each of the images (eg, the front image, the back image, the side images, and the screen image).
  • the object may include at least one of an object corresponding to a floating icon on the screen of the electronic device, an object corresponding to a sticker attached to the electronic device, and an object corresponding to a foreign substance on the electronic device.
  • An object corresponding to the floating icon may represent an object included in an image by capturing the floating icon on the screen of the electronic device.
  • the object corresponding to the sticker attached to the electronic device may indicate an object included in the image by capturing the sticker attached to the electronic device.
  • An object corresponding to the foreign material on the electronic device may indicate an object included in the image by capturing the foreign material on the electronic device.
  • the floating icon may include, for example, a floating icon of an assistive touch, a floating icon for triggering a specific task, and the like, but is not limited thereto.
  • the pre-processing module may process the object when there is an image including an object to be mistaken as a defect. As an example, the pre-processing module may perform a masking process on the object, but is not limited thereto.
  • the appearance state evaluation module 320 may perform appearance state evaluation based on the processed image of the object, the remaining images without the object, and the deep learning evaluation models 510 to 540 .
  • the external state evaluation module 320 uses the deep learning evaluation models 510 to 540 to generate a mask that predicts the defect state of each of the evaluation areas of the electronic device from the processed image and the remaining images without the object.
  • a grade for each defect of the evaluation regions may be determined based on each generated mask, and a final grade for the appearance state of the electronic device may be determined through the determined grade.
  • the pre-processing module may determine that there is no image including the above-described object among images obtained by photographing the electronic device.
  • the appearance state evaluation module 320 may perform appearance state evaluation based on the images and the deep learning evaluation models 510 to 540 .
  • the pre-processing module may determine whether or not there is an image that cannot be analyzed by one or more of the deep learning evaluation models (hereinafter, referred to as “model analysis impossible image”) among images acquired by photographing the electronic device. For example, the pre-processing module may determine, as a model analysis impossible image, an image in which light reflection is present at a certain level or more, an image in which the camera is out of focus, and the like among images obtained by photographing an electronic device. The preprocessing module may request the operator to evaluate the external state of the electronic device when there is an image that cannot be analyzed by the model.
  • model analysis impossible image an image that cannot be analyzed by the model.
  • the electronic device value evaluation device 130 may evaluate the value of a bar type electronic device.
  • the electronic device value evaluation device 130 (or the appearance state evaluation module 320) evaluates the plurality of images obtained by photographing the bar-type electronic device and the first to fourth deep learning evaluations. Based on the models 510 to 540, evaluation of the external state of the bar-type electronic device may be performed.
  • the electronic device value evaluation device 130 may evaluate the value of an electronic device whose shape can be changed (eg, foldable, rollable, etc.).
  • An electronic device whose shape can be changed may have a first shape (eg, an unfolded shape or a contraction shape), and may have a second shape (eg, a folded shape or an expansion shape) by manipulation. form) can be changed.
  • a foldable electronic device may be in an unfolded form and may be changed into a folded form by manipulation.
  • the rollable electronic device may be in a reduced form, and the form may be changed into an expanded form by manipulation.
  • the reduced shape may represent a state in which the rollable display is rolled into the device
  • the expanded form may represent a state in which the rollable display is rolled out of the device.
  • the electronic device value evaluation device 130 evaluates first to fourth deep learning images obtained by photographing a foldable electronic device in an unfolded form. Based on the models 510 to 540, a grade of defects in each evaluation area of the foldable electronic device in an unfolded form may be determined.
  • the unmanned embedded device 110 may change the foldable electronic device in the photographing box from an unfolded form to a folded form.
  • the unmanned purchase device 110 may request the user to change the foldable electronic device from an unfolded form to a folded form and then reinsert the folded electronic device into the unmanned purchase device 110 .
  • the foldable electronic device is changed from an unfolded shape to a folded shape, the folded portion may form a side surface, and a sub screen of the foldable electronic device may be activated.
  • the unmanned embedding device 110 may acquire an image (hereinafter, a folded side image) by capturing a side corresponding to a folded portion of the foldable electronic device through one or more of a plurality of third cameras in the photographing box.
  • the unmanned embedding device 110 may obtain an image (hereinafter, a sub-screen image) by capturing a sub-screen of the foldable electronic device through a first camera in the photographing box.
  • the electronic device value evaluation device 130 (or the appearance state evaluation module 320) is a fifth evaluation area (eg, corresponding to the folded portion) of the foldable electronic device based on the image of the folded side and the fifth deep learning evaluation model. side) can be assessed.
  • the fifth deep learning evaluation model may be a deep learning evaluation model that detects a defect in the fifth evaluation area of the foldable electronic device and determines a grade of the detected defect (or the fifth evaluation area).
  • the electronic device value evaluation device 130 (or the appearance state evaluation module 320) may input the image of the folded side to the fifth deep learning evaluation model.
  • the fifth deep learning evaluation model is a fifth mask that predicts a defect state (eg, at least one of the location of the defect, the type of defect, and the degree of the defect) of the fifth evaluation area of the foldable electronic device through the image of the folded side.
  • the fifth deep learning evaluation model may determine a grade for defects in the fifth evaluation region of the foldable electronic device based on the fifth mask.
  • the electronic device value evaluation device 130 may evaluate the sixth evaluation region (eg, the sub screen) of the foldable electronic device based on the sub screen image and the sixth deep learning evaluation model.
  • the sixth deep learning evaluation model may be a deep learning evaluation model that detects a defect in the sixth evaluation area of the foldable electronic device and determines a grade of the detected defect (or the sixth evaluation area).
  • the electronic device value evaluation device 130 (or the external state evaluation module 320) may input the sub-screen image to the sixth deep learning evaluation model.
  • the sixth deep learning evaluation model uses a sixth mask that predicts a defect state (eg, at least one of the location of the defect, the type of defect, and the degree of the defect) of the sixth evaluation region of the foldable electronic device through the sub-screen image.
  • the sixth deep learning evaluation model may determine a grade for defects in the sixth evaluation region of the foldable electronic device based on the sixth mask.
  • the electronic device value evaluation device 130 or the appearance state evaluation module 320
  • the electronic device value evaluation device 130 evaluates the external state of the foldable electronic device (eg, the rating determined by each of the first to sixth deep learning evaluation models) and/or the folder
  • the value of the foldable electronic device can be determined based on the evaluation result of the internal state of the foldable electronic device.
  • the electronic device value evaluation device 130 may include a plurality of images obtained by photographing a reduced-shape rollable electronic device and first to fourth deep learning evaluation models. Based on the fields 510 to 540, a grade of defects in each evaluation area of the reduced-shape rollable electronic device may be determined.
  • the unmanned embedded device 110 may change the rollable electronic device in the photographing box from a reduced form to an expanded form.
  • the unmanned purchase device 110 may request the user to change the rollable electronic device from the reduced form to the expanded form and then insert the electronic device in the expanded form into the unmanned purchase device 110 again.
  • the screen and sides may be expanded.
  • the unattended embedding device 110 may obtain an image (hereinafter, an image of an extended side) by capturing an expanded side surface through one or more of a plurality of third cameras in the photographing box.
  • the unattended embedding device 110 may acquire an image (hereinafter, an image of an expanded screen) by capturing an expanded screen of the electronic device through a first camera in the photographing box.
  • the electronic device value evaluation device 130 (or appearance state evaluation module 320) is a seventh evaluation area (eg, an extended side) of the rollable electronic device based on the image of the extended side and the seventh deep learning evaluation model. can be evaluated.
  • the seventh deep learning evaluation model may be a deep learning evaluation model that detects a defect in the seventh evaluation area of the rollable electronic device and determines a grade of the detected defect (or the seventh evaluation area).
  • the electronic device value evaluation device 130 (or the appearance condition evaluation module 320) may input the image of the extended side to the seventh deep learning evaluation model.
  • the seventh deep learning evaluation model predicts a defect state (eg, at least one of the location of the defect, the type of defect, and the degree of the defect) of the seventh evaluation area of the rollable electronic device through the image of the extended side. You can create a mask.
  • the seventh deep learning evaluation model may determine a grade for defects in a seventh evaluation region of the rollable electronic device based on the seventh mask.
  • the electronic device value evaluation device 130 (or the external state evaluation module 320) performs a seventh evaluation of the rollable electronic device based on the image of the extended side and the third deep learning evaluation model 530. Areas (e.g., extended flanks) can be evaluated.
  • the electronic device value evaluation device 130 (or the appearance state evaluation module 320) is based on the image of the expanded screen and the fourth deep learning evaluation model 540, the eighth evaluation area (eg, expansion) of the rollable electronic device. screen) can be evaluated.
  • the electronic device value evaluation device 130 (or the appearance state evaluation module 320) may input an image of an expanded screen to the fourth deep learning evaluation model 540.
  • the fourth deep learning evaluation model 540 may be a deep learning evaluation model that generates a mask that predicts a screen defect state in a given screen image and determines a screen defect grade based on the generated mask. there is.
  • the fourth deep learning evaluation model 540 predicts a defect state (eg, at least one of the location of the defect, the type of defect, and the degree of the defect) of the eighth evaluation area of the rollable electronic device through the image of the expanded screen.
  • An eighth mask may be generated.
  • the fourth deep learning evaluation model 540 may determine a grade for defects in the eighth evaluation region of the rollable electronic device based on the eighth mask.
  • the electronic device value evaluation device 130 evaluates the appearance state of the rollable electronic device (eg, by the first to fourth deep learning evaluation models and the seventh deep learning evaluation model, respectively).
  • the value of the rollable electronic device may be determined based on the determined grade) and/or the internal state evaluation result of the rollable electronic device.
  • the unmanned acquisition device 110 may receive a wearable device (eg, a smart watch) from a user.
  • the electronic device value evaluation device 130 may store deep learning evaluation models capable of evaluating the appearance (eg, front, back, side, screen) of the wearable device.
  • the electronic device value evaluation apparatus 130 may evaluate the appearance state of the wearable device based on images obtained by photographing the wearable device and deep learning evaluation models.
  • the electronic device value evaluation apparatus 130 may determine the value of the wearable device based on the evaluation result of the external state of the wearable device and the evaluation result of the internal state of the wearable device.
  • FIG. 7 is a flowchart illustrating a method for evaluating an electronic device value according to an exemplary embodiment.
  • the electronic device value evaluation apparatus 130 may evaluate the external state of the electronic device based on a plurality of images acquired by photographing the electronic device and a plurality of deep learning evaluation models. can The electronic device value evaluation apparatus 130 may generate a mask that predicts a defect state of each evaluation region of the electronic device from the images through the deep learning evaluation models 510 to 540, and based on each generated mask. As a result, it is possible to determine a grade for defects in each of the evaluation areas of the electronic device. The electronic device value evaluation device 130 may determine a final grade for the external state of the electronic device through the determined grades.
  • the shape of the electronic device may be changed.
  • the electronic device value evaluation device 130 may change the electronic device from a first shape (eg, an unfolded shape or a reduced shape) to a second shape (eg, a folded or expanded shape).
  • the electronic device value evaluation device 130 may request the user to change the electronic device from the first type to the second type and then reintroduce the second type electronic device to the unmanned acquisition device 110 .
  • the electronic device value evaluation device 130 may use additional deep learning evaluation models other than the deep learning evaluation models 510 to 540 (eg, the fifth deep learning evaluation model and the sixth deep learning evaluation model described above).
  • a mask e.g., a mask predicting a defect state of an evaluation region of a changed shape of an electronic device from an image obtained by photographing a changed shape of an electronic device
  • a mask e.g., a mask predicting a defect state of an evaluation region of a changed shape of an electronic device from an image obtained by photographing a changed shape of an electronic device
  • the electronic device value evaluation apparatus 130 may determine a grade for a defect in the evaluation area of the changed shape of the electronic device based on the mask that predicts the defect state of the evaluation area of the changed shape.
  • Each of the fifth to seventh deep learning evaluation models described above may perform image segmentation on a given input image.
  • the electronic device value evaluation apparatus 130 may determine the value of the electronic device based on the result of evaluating the external state of the electronic device and the result of evaluating the internal state of the electronic device.
  • FIG. 8 is a block diagram illustrating a configuration of a computing device for training a deep learning model according to an exemplary embodiment.
  • a computing device 800 for training a deep learning model may include a memory 810 and a processor 820 .
  • Memory 810 may store one or more deep learning models.
  • the deep learning model may be based on the deep neural network described with reference to FIG. 4 .
  • a deep learning model can perform image segmentation on a given input image.
  • the processor 820 may train a deep learning model.
  • the processor 820 may input the training image of the defect to the deep learning model, and generate a mask by predicting the state of the defect from the training image through the deep learning model.
  • the processor 820 may calculate a similarity between the generated mask and a labeled mask for the defect.
  • FIGS. 9A to 9C Examples of each of the generated mask and label mask are shown in FIGS. 9A to 9C .
  • the target mask may represent a label mask and the prediction mask may represent a mask generated by a deep learning model.
  • the processor 820 may update at least one parameter in the deep learning model when the calculated similarity is less than a threshold value.
  • the processor 820 may terminate training of the deep learning model when the calculated similarity is greater than or equal to a threshold value.
  • the processor 820 when inputting a first learning image (eg, a front image in which a front surface with a first defect is photographed) to the first deep learning model, uses the first deep learning model to generate the first training image.
  • a first mask may be generated by predicting a defect state of the front surface of the electronic device from the training image.
  • the first deep learning model may perform image segmentation on the first training image to generate a first mask predicting a defect state of the front surface of the electronic device from the first training image.
  • the processor 820 may calculate a first similarity between the first mask and the label mask for the first defect.
  • the processor 820 may update at least one parameter in the first deep learning model when the calculated first similarity is less than a threshold value.
  • the processor 820 may end training of the first deep learning model when the calculated first similarity is greater than or equal to the threshold value.
  • the first deep learning model for which training is completed may be loaded into the electronic device value evaluation device 130 as the first deep learning evaluation model 510 .
  • the processor 820 uses the second deep learning model to obtain the electronic device from the second training image. It is possible to generate a second mask predicting the defect state of the back side of .
  • the second deep learning model may perform image segmentation on the second training image to generate a second mask predicting a defect state of the rear surface of the electronic device from the second training image.
  • the processor 820 may calculate a second similarity between the second mask and the label mask for the second defect.
  • the processor 820 may update at least one parameter in the second deep learning model when the calculated second similarity is less than the threshold value.
  • the processor 820 may end training of the second deep learning model when the calculated second similarity is greater than or equal to the threshold value.
  • the second deep learning model for which training is completed may be loaded into the electronic device value evaluation device 130 as the second deep learning evaluation model 520 .
  • the processor 820 uses the third deep learning model when a third training image (eg, a side (or corner) image in which a third defective side (or corner) is captured) is input to the third deep learning model.
  • a third mask can be generated by predicting the defect state of the side (or corner) of the electronic device from the third learning image.
  • the third deep learning model may perform image segmentation on the third training image to generate a third mask predicting a defect state of a side (or corner) of the electronic device from the third training image.
  • the processor 820 may calculate a third similarity between the third mask and the label mask for the third defect.
  • the processor 820 may update at least one parameter in the third deep learning model when the calculated third similarity is less than the threshold value.
  • the processor 820 may end training of the third deep learning model when the calculated third similarity is greater than or equal to the threshold value.
  • the third deep learning model on which training is completed may be loaded into the electronic device value evaluation device 130 as the third deep learning evaluation model 530 .
  • the processor 820 uses the fourth deep learning model to obtain the electronic device from the fourth learning image.
  • a fourth mask predicting the defect state of the screen of can be generated.
  • the fourth deep learning model may perform image segmentation on the fourth training image to generate a fourth mask predicting a defect state of the screen of the electronic device from the fourth training image.
  • the processor 820 may calculate a fourth similarity between the fourth mask and the label mask for the fourth defect.
  • the processor 820 may update at least one parameter in the fourth deep learning model when the calculated fourth similarity is less than the threshold value.
  • the processor 820 may end training of the fourth deep learning model when the calculated fourth similarity is greater than or equal to the threshold value.
  • the fourth deep learning model for which training has been completed may be loaded into the electronic device value evaluation device 130 as the fourth deep learning evaluation model 540 .
  • the processor 820 uses the fifth deep learning model when inputting a fifth training image (eg, an image of a folded side with a fifth defect) to the fifth deep learning model.
  • a fifth training image eg, an image of a folded side with a fifth defect
  • 5 A fifth mask can be generated by predicting the defect state of the side corresponding to the folded part of the foldable electronic device from the learning image.
  • the processor 820 may calculate a fifth similarity between the fifth mask and the label mask for the fifth defect.
  • the processor 820 may update at least one parameter in the fifth deep learning model when the calculated fifth similarity is less than the threshold value.
  • the processor 820 may end training of the fifth deep learning model when the calculated fifth similarity is greater than or equal to the threshold value.
  • the fifth deep learning model for which training has been completed may be loaded into the electronic device value evaluation device 130 as a fifth deep learning evaluation model.
  • the processor 820 uses the sixth deep learning model when inputting the sixth learning image (eg, an image of a sixth defective sub-screen) to the sixth deep learning model.
  • a sixth mask can be generated by predicting the defective state of the sub-screen of the foldable electronic device from the 6 training images.
  • the processor 820 may calculate a sixth similarity between the sixth mask and the label mask for the sixth defect.
  • the processor 820 may update at least one parameter in the sixth deep learning model when the calculated sixth similarity is less than the threshold value.
  • the processor 820 may end training of the sixth deep learning model when the calculated sixth similarity is greater than or equal to the threshold value.
  • the sixth deep learning model for which training has been completed may be loaded into the electronic device value evaluation device 130 as a sixth deep learning evaluation model.
  • the processor 820 when inputting the seventh training image (eg, the image of the extended side with the seventh defect) to the seventh deep learning model, uses the seventh deep learning model A seventh mask predicting a defective state of the extended side of the rollable electronic device may be generated from the seventh learning image.
  • the processor 820 may calculate a seventh similarity between the seventh mask and the label mask for the seventh defect.
  • the processor 820 may update at least one parameter in the seventh deep learning model when the calculated seventh similarity is less than the threshold value.
  • the processor 820 may end training of the seventh deep learning model when the calculated seventh similarity is greater than or equal to the threshold value.
  • the seventh deep learning model for which training has been completed may be loaded into the electronic device value evaluation device 130 as a seventh deep learning evaluation model.
  • the processor 820 may train the third deep learning model through the seventh training image so that the third deep learning model generates a seventh mask.
  • the processor 820 trains each of the deep learning models based on learning images of a wearable device with a defect in appearance to determine the appearance of the wearable device (eg, the front face). , rear, side, screen) can be created.
  • FIG. 10 is a flowchart illustrating a deep learning model training method of a computing device according to an embodiment.
  • the computing device 800 may input a training image of a defect to a deep learning model.
  • the computing device 800 may generate a mask predicting a defect state from a training image through a deep learning model.
  • the computing device 800 may calculate a similarity between the generated mask and the label mask for the defect.
  • the computing device 800 may determine whether the calculated similarity is less than a threshold value.
  • the computing device 800 may update at least one parameter in the deep learning model in step 1050 when the calculated similarity is less than the threshold value.
  • the computing device 800 may repeatedly perform steps 1010 to 1040 .
  • the computing device 800 may terminate training of the deep learning model in step 1060 when the calculated similarity is greater than or equal to the threshold value.
  • FIGS. 1 to 9 The contents described through FIGS. 1 to 9 may be applied to the deep learning model training method of FIG. 10 .
  • the embodiments described above may be implemented as hardware components, software components, and/or a combination of hardware components and software components.
  • the devices, methods and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate (FPGA). array), programmable logic units (PLUs), microprocessors, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and software applications running on the operating system.
  • a processing device may also access, store, manipulate, process, and generate data in response to execution of software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include.
  • a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
  • Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device.
  • Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed on networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on computer readable media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium.
  • a computer readable medium may store program instructions, data files, data structures, etc. alone or in combination, and program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the hardware device described above may be configured to operate as one or a plurality of software modules to perform the operations of the embodiments, and vice versa.

Abstract

전자 기기 가치 평가 방법이 개시된다. 일 실시 예는 전자 기기를 촬영하여 획득된 복수의 이미지들 및 복수의 딥러닝 평가 모델들을 기초로 상기 전자 기기에 대한 외관 상태 평가를 수행하고, 상기 외관 상태 평가의 결과 및 상기 전자 기기의 내부 상태 평가의 결과를 기초로 상기 전자 기기의 가치를 결정한다.

Description

전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법
아래 실시예들은 전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법에 관한 것이다.
현재의 중고 핸드폰의 매입 가격을 산정하는 방법에는 운영자가 고객의 중고 핸드폰을 직접 조작하거나 육안으로 확인하고 운영자의 판단 기준에 따라 중고 핸드폰의 가격을 결정하는 방법과 자동화 평가를 통해 중고 핸드폰의 가격을 산정하는 방법이 있다.
전술한 배경기술은 발명자가 본원의 개시 내용을 도출하는 과정에서 보유하거나 습득한 것으로서, 반드시 본 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.
현재 사용되는 자동화 평가는 유선 또는 무선을 통해 중고 핸드폰에 연동 앱을 설치하여 중고 핸드폰의 정보 취득 및 내부 기능을 자동으로 검사하고, 중고 핸드폰의 외관 사진을 평가 센터에 전달하며, 중고 핸드폰에 대한 평가를 수행할 수 있다. 중고 핸드폰의 외관 평가에 많은 자원과 시간이 소요될 수 있다. 중고 핸드폰의 외관을 빠르고 정확하게 평가하고, 최적의 매입 시세를 예측할 수 있는 인공지능(artificial intelligence) 가치 평가 시스템 및 방법이 필요하다.
일 실시 예에 따른 전자 기기 가치 평가 방법은 전자 기기를 촬영하여 획득된 복수의 이미지들 및 복수의 딥러닝(deep learning) 평가 모델들을 기초로 상기 전자 기기에 대한 외관 상태 평가를 수행하는 단계; 및 상기 외관 상태 평가의 결과 및 상기 전자 기기의 내부 상태 평가의 결과를 기초로 상기 전자 기기의 가치를 결정하는 단계를 포함한다.
상기 외관 상태 평가를 수행하는 단계는 상기 딥러닝 평가 모델들을 통해 상기 이미지들로부터 상기 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성하고, 상기 생성된 각 마스크를 기초로 상기 평가 영역들 각각의 결함에 대한 등급을 결정하는 단계; 및 상기 결정된 각 등급을 통해 상기 전자 기기의 외관 상태에 대한 최종 등급을 결정하는 단계를 포함한다.
상기 평가 영역들 각각의 결함에 대한 등급을 결정하는 단계는 상기 딥러닝 평가 모델들 중 제1 딥러닝 평가 모델이 상기 전자 기기의 전면이 촬영되어 획득된 전면 이미지를 입력받은 경우, 상기 전면 이미지를 통해 상기 전면의 결함 상태를 예측한 제1 마스크를 생성하고, 상기 생성된 제1 마스크를 기초로 상기 전면의 결함에 대한 등급을 결정하는 단계; 상기 딥러닝 평가 모델들 중 제2 딥러닝 평가 모델이 상기 전자 기기의 후면이 촬영되어 획득된 후면 이미지를 입력받은 경우, 상기 후면 이미지를 통해 상기 후면의 결함 상태를 예측한 제2 마스크를 생성하고, 상기 생성된 제2 마스크를 기초로 상기 후면의 결함에 대한 등급을 결정하는 단계; 상기 딥러닝 평가 모델들 중 제3 딥러닝 평가 모델이 상기 전자 기기의 측면들이 촬영되어 획득된 측면 이미지들을 입력받은 경우, 상기 측면 이미지들을 통해 상기 측면들 중 적어도 하나의 결함 상태를 예측한 제3 마스크를 생성하고, 상기 생성된 제3 마스크를 기초로 상기 측면들의 결함에 대한 등급을 결정하는 단계; 및 상기 딥러닝 평가 모델들 중 제4 딥러닝 평가 모델이 상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지를 입력받은 경우, 상기 화면 이미지를 통해 상기 전자 기기의 화면의 결함 상태를 예측한 제4 마스크를 생성하고, 상기 생성된 제4 마스크를 기초로 상기 전자 기기의 화면의 결함에 대한 등급을 결정하는 단계를 포함할 수 있다.
상기 외관 상태 평가를 수행하는 단계는 상기 전자 기기의 형태가 변경된 경우, 상기 딥러닝 평가 모델들 이외의 추가 딥러닝 평가 모델을 통해 상기 변경된 형태가 촬영되어 획득된 이미지로부터 상기 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크를 생성하고, 상기 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크를 기초로 상기 변경된 형태의 평가 영역의 결함에 대한 등급을 결정하는 단계를 더 포함할 수 있다.
상기 최종 등급을 결정하는 단계는 상기 결정된 각 등급 중 최소 등급을 상기 최종 등급으로 결정하는 단계를 포함할 수 있다.
상기 최종 등급을 결정하는 단계는 상기 결정된 각 등급 각각에 가중치를 적용하는 단계; 및 상기 각 가중치가 적용된 등급을 이용하여 상기 최종 등급을 결정하는 단계를 포함할 수 있다.
상기 가치를 결정하는 단계는 상기 외관 상태 평가의 결과를 기초로 제1 금액을 결정하고, 상기 내부 상태 평가의 결과를 기초로 제2 금액을 결정하는 단계; 및 상기 전자 기기의 기준 가격에서 상기 결정된 제1 금액과 상기 결정된 제2 금액을 차감하여 상기 전자 기기의 가격을 산출하는 단계를 포함할 수 있다.
상기 결함 상태는 상기 평가 영역들 각각의 결함의 위치, 상기 결함의 종류, 및 상기 결함의 정도 중 적어도 하나를 포함할 수 있다.
전자 기기 가치 평가 방법은 상기 이미지들 각각에 결함으로 오인될 하나 이상의 객체가 포함되어 있는지 여부를 판단하는 단계; 및 상기 객체가 포함된 이미지가 있는 경우, 상기 객체에 대한 처리를 수행하는 단계를 더 포함할 수 있다.
상기 객체는 상기 전자 기기의 화면 상의 플로팅 아이콘에 대응되는 객체, 상기 전자 기기에 부착된 스티커에 대응되는 객체, 및 상기 전자 기기에 묻어있는 이물질에 대응되는 객체 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른 전자 기기 가치 평가 방법은 전자 기기를 촬영하여 획득된 복수의 이미지들 각각에 상기 전자 기기의 결함으로 오인될 하나 이상의 객체가 포함되어 있는지 여부를 판단하는 단계; 상기 객체가 포함된 이미지가 있는 경우, 상기 객체에 대한 처리를 수행하는 단계; 상기 객체가 처리된 이미지, 상기 객체가 없는 나머지 이미지, 및 딥러닝 평가 모델들을 기초로 상기 전자 기기에 대한 외관 상태 평가를 수행하는 단계; 및 상기 외관 상태 평가의 결과 및 상기 전자 기기의 내부 상태 평가의 결과를 기초로 상기 전자 기기의 가치를 결정하는 단계를 포함한다.
상기 외관 상태 평가를 수행하는 단계는 상기 딥러닝 평가 모델들을 통해 상기 객체가 처리된 이미지 및 상기 나머지 이미지로부터 상기 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성하고, 상기 생성된 각 마스크를 기초로 상기 평가 영역들 각각의 결함에 대한 등급을 결정하는 단계; 및 상기 결정된 각 등급을 통해 상기 전자 기기의 외관 상태에 대한 최종 등급을 결정하는 단계를 포함할 수 있다.
상기 처리를 수행하는 단계는 상기 객체에 마스킹 처리를 수행하는 단계를 포함할 수 있다.
상기 객체는 상기 전자 기기의 화면 상의 플로팅 아이콘에 대응되는 객체, 상기 전자 기기에 부착된 스티커에 대응되는 객체, 및 상기 전자 기기에 묻어 있는 이물질에 대응되는 객체 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른 전자 기기 가치 평가 장치는 복수의 딥러닝 평가 모델들을 저장하는 메모리; 전자 기기를 촬영하여 획득된 복수의 이미지들 및 상기 딥러닝 평가 모델들을 기초로 상기 전자 기기에 대한 외관 상태 평가를 수행하는 외관 상태 평가 모듈; 및 상기 외관 상태 평가의 결과 및 상기 전자 기기의 내부 상태 평가의 결과를 기초로 상기 전자 기기의 가치를 결정하는 가치 결정 모듈을 포함한다.
상기 외관 상태 평가 모듈은 상기 딥러닝 평가 모델들을 통해 상기 이미지들로부터 상기 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성하고, 상기 생성된 각 마스크를 기초로 상기 평가 영역들 각각의 결함에 대한 등급을 결정하며, 상기 결정된 각 등급을 통해 상기 전자 기기의 외관 상태에 대한 최종 등급을 결정한다.
상기 딥러닝 평가 모델들 중 제1 딥러닝 평가 모델은 상기 전자 기기의 전면이 촬영되어 획득된 전면 이미지를 입력받은 경우, 상기 전면 이미지를 통해 상기 전면의 결함 상태를 예측한 제1 마스크를 생성하고, 상기 생성된 제1 마스크를 기초로 상기 전면의 결함에 대한 등급을 결정할 수 있다.
상기 딥러닝 평가 모델들 중 제2 딥러닝 평가 모델은 상기 전자 기기의 후면이 촬영되어 획득된 후면 이미지를 입력받은 경우, 상기 후면 이미지를 통해 상기 후면의 결함 상태를 예측한 제2 마스크를 생성하고, 상기 생성된 제2 마스크를 기초로 상기 후면의 결함에 대한 등급을 결정할 수 있다.
상기 딥러닝 평가 모델들 중 제3 딥러닝 평가 모델은 상기 전자 기기의 측면들이 촬영되어 획득된 측면 이미지들을 입력받은 경우, 상기 측면 이미지들을 통해 상기 측면들 중 적어도 하나의 결함 상태를 예측한 제3 마스크를 생성하고, 상기 생성된 제3 마스크를 기초로 상기 측면들의 결함에 대한 등급을 결정할 수 있다.
상기 딥러닝 평가 모델들 중 제4 딥러닝 평가 모델은 상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지를 입력받은 경우, 상기 화면 이미지를 통해 상기 전자 기기의 화면의 결함 상태를 예측한 제4 마스크를 생성하고, 상기 생성된 제4 마스크를 기초로 상기 전자 기기의 화면의 결함에 대한 등급을 결정할 수 있다.
상기 외관 상태 평가 모듈은 상기 전자 기기의 형태가 변경된 경우, 상기 딥러닝 평가 모델들 이외의 추가 딥러닝 평가 모델을 통해 상기 변경된 형태가 촬영되어 획득된 이미지로부터 상기 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크를 생성하고, 상기 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크를 기초로 상기 변경된 형태의 평가 영역의 결함에 대한 등급을 결정할 수 있다.
상기 외관 상태 평가 모듈은 상기 결정된 각 등급 중 최소 등급을 상기 최종 등급으로 결정할 수 있다.
상기 외관 상태 평가 모듈은, 상기 결정된 각 등급 각각에 가중치를 적용하고, 상기 각 가중치가 적용된 등급을 이용하여 상기 최종 등급을 결정할 수 있다.
상기 가치 결정 모듈은 상기 외관 상태 평가의 결과를 기초로 제1 금액을 결정하고, 상기 내부 상태 평가의 결과를 기초로 제2 금액을 결정하며, 상기 전자 기기의 기준 가격에서 상기 결정된 제1 금액과 상기 결정된 제2 금액을 차감하여 상기 전자 기기의 가격을 산출할 수 있다.
상기 결함 상태는 상기 평가 영역들 각각의 결함의 위치, 상기 결함의 종류, 및 상기 결함의 정도 중 적어도 하나를 포함할 수 있다.
전자 기기 가치 평가 장치는 상기 이미지들 각각에 결함으로 오인될 하나 이상의 객체가 포함되어 있는지 여부를 판단하고, 상기 객체가 포함된 이미지가 있는 경우, 상기 객체에 대한 처리를 수행하는 전처리 모듈을 더 포함할 수 있다.
상기 객체는 상기 전자 기기의 화면 상의 플로팅 아이콘에 대응되는 객체, 상기 전자 기기에 부착된 스티커에 대응되는 객체, 및 상기 전자 기기에 묻어 있는 이물질에 대응되는 객체 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른 전자 기기 가치 평가 장치는 전자 기기를 촬영하여 획득된 복수의 이미지들 각각에 상기 전자 기기의 결함으로 오인될 하나 이상의 객체가 포함되어 있는지 여부를 판단하는 전처리 모듈; 상기 객체가 포함된 이미지가 있는 경우, 상기 객체에 대한 처리를 수행하는 단계; 상기 객체가 처리된 이미지, 상기 객체가 없는 나머지 이미지, 및 상기 딥러닝 평가 모델들을 기초로 상기 전자 기기에 대한 외관 상태 평가를 수행하는 외관 상태 평가 모듈; 및 상기 외관 상태 평가의 결과 및 상기 전자 기기의 내부 상태 평가의 결과를 기초로 상기 전자 기기의 가치를 결정하는 가치 결정 모듈을 포함한다.
상기 외관 상태 평가 모듈은 상기 딥러닝 평가 모델들을 통해 상기 객체가 처리된 이미지 및 상기 나머지 이미지로부터 상기 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성하고, 상기 생성된 각 마스크를 기초로 상기 평가 영역들 각각의 결함에 대한 등급을 결정하고, 상기 결정된 각 등급을 통해 상기 전자 기기의 외관 상태에 대한 최종 등급을 결정할 수 있다.
일 실시 예에 따른 컴퓨팅 장치에 의해 수행되는 트레이닝 방법은 결함에 대한 학습 이미지를 딥러닝 모델에 입력하는 단계; 상기 딥러닝 모델을 통해 상기 학습 이미지로부터 상기 결함의 상태를 예측한 마스크를 생성하는 단계; 상기 생성된 마스크와 상기 결함에 대한 레이블 마스크(labeled mask) 사이의 유사도를 연산하는 단계; 상기 연산된 유사도가 임계값 미만인 경우 상기 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트하는 단계; 및 상기 연산된 유사도가 상기 임계값 이상인 경우, 상기 딥러닝 모델에 대한 트레이닝을 종료하는 단계를 포함한다.
상기 마스크를 생성하는 단계는 제1 딥러닝 모델에 제1 학습 이미지를 입력한 경우, 상기 제1 딥러닝 모델을 이용하여 상기 제1 학습 이미지로부터 전자 기기의 전면의 결함 상태를 예측한 제1 마스크를 생성하는 단계; 제2 딥러닝 모델에 제2 학습 이미지를 입력한 경우, 상기 제2 딥러닝 모델을 이용하여 상기 제2 학습 이미지로부터 상기 전자 기기의 후면의 결함 상태를 예측한 제2 마스크를 생성하는 단계; 제3 딥러닝 모델에 제3 학습 이미지를 입력한 경우, 상기 제3 딥러닝 모델을 이용하여 상기 제3 학습 이미지로부터 상기 전자 기기의 측면의 결함 상태를 예측한 제3 마스크를 생성하는 단계; 및 제4 딥러닝 모델에 제4 학습 이미지를 입력한 경우, 상기 제4 딥러닝 모델을 이용하여 상기 제4 학습 이미지로부터 상기 전자 기기의 화면의 결함 상태를 예측한 제4 마스크를 생성하는 단계를 포함할 수 있다.
일 실시 예는 중고 핸드폰의 외관을 촬영한 이미지들을 빠른 속도로 분석할 수 있어, 중고 핸드폰의 외관을 빠르고 정확하게 평가할 수 있다.
도 1 내지 도 2는 일 실시 예에 따른 무인 매입 장치와 서버를 설명하는 도면이다.
도 3 내지 도 6은 일 실시 예에 따른 전자 기기 가치 평가 장치의 동작을 설명하는 도면이다.
도 7은 일 실시 예에 따른 전자 기기 가치 평가 방법을 설명하는 흐름도이다.
도 8은 일 실시 예에 따른 딥러닝 모델을 트레이닝하는 컴퓨팅 장치의 구성을 설명하는 블록도이다.
도 9a 내지 도 9c는 일 실시 예에 따른 타겟 마스크와 예측 마스크를 설명하는 도면이다.
도 10은 일 실시 예에 따른 컴퓨팅 장치의 딥러닝 모델 트레이닝 방법을 설명하는 흐름도이다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 내지 도 2는 일 실시 예에 따른 무인 매입 장치와 서버를 설명하는 도면이다.
도 1과 도 2를 참조하면, 무인 매입 장치(110)와 서버(120)가 도시된다.
무인 매입 장치(110)는 전자 기기(또는 중고 전자 기기)(예: 스마트폰, 태블릿 PC, 웨어러블 기기 등)를 사용자로부터 매입 및/또는 사용자에게 전자 기기(또는 중고 전자 기기)를 판매할 수 있다. 전자 기기의 타입은, 예를 들어, 형태에 따라 바(bar) 타입, 롤러블(rollable) 타입, 또는 폴더블(foldable) 타입 등으로 구분될 수 있다.
무인 매입 장치(110)는, 예를 들어, 키오스크 형태일 수 있으나 이에 제한되지 않는다.
무인 매입 장치(110)는 촬영 박스 및 제어부(controller)를 포함할 수 있다.
무인 매입 장치(110)의 촬영 박스의 도어(door)가 열리면, 사용자는 무인 매입 장치(110)의 케이블(예: USB 타입 C 케이블, 라이트닝 케이블 등)과 전자 기기를 연결시킬 수 있고, 전자 기기를 촬영 박스 안에 안치시킬 수 있다. 전자 기기는 케이블을 통해 무인 매입 장치(110)의 제어부와 연결될 수 있다. 실시 예에 따라, 전자 기기는 무선(예: 블루투스, BLE(Bluetooth Low Energy) 등)으로 무인 매입 장치(110)의 제어부와 연결될 수 있다.
무인 매입 장치(110)의 제어부는 전자 기기의 내부 상태 검수 및 전자 기기의 정보(예: 모델명, 시리얼 번호, 운영체제 버전 등)를 수집하기 위한 제1 어플리케이션을 전자 기기에 설치할 수 있다. 이에 제한되는 것은 아니며, 사용자는 전자 기기를 무인 매입 장치(110)에 투입하기 전에 제1 어플리케이션을 전자 기기에 미리 설치할 수 있다.
제1 어플리케이션은 전자 기기에서 실행됨으로써 전자 기기의 정보를 수집할 수 있고, 전자 기기의 내부 상태(예: 하드웨어 동작 상태 등) 평가(또는 분석)를 수행할 수 있다. 하드웨어 동작 상태는, 예를 들어, 전자 기기의 하드웨어(예: 센서, 카메라 등)가 정상적으로 동작하는지에 대한 상태를 나타낼 수 있다. 제1 어플리케이션은 전자 기기의 하드웨어가 정상적으로 동작하는지 여부를 평가(또는 판단)할 수 있다.
촬영 박스에는 복수의 카메라들과 복수의 조명들이 위치할 수 있다. 촬영 박스 내의 제1 카메라는 전자 기기의 전면을 촬영하여 전자 기기의 하나 이상의 전면 이미지를 획득할 수 있다. 촬영 박스 내의 제2 카메라는 전자 기기의 후면을 촬영하여 전자 기기의 하나 이상의 후면 이미지를 획득할 수 있다. 촬영 박스 내의 복수의 제3 카메라들 각각은 전자 기기의 측면(또는 코너)들 각각을 촬영하여 하나 이상의 측면 이미지(또는 코너 이미지)를 획득할 수 있다.
제1 카메라는 전자 기기의 화면을 촬영하여 하나 이상의 이미지(이하, "화면 이미지"라 지칭함)를 획득할 수 있다. 실시 예에 따라, 제1 어플리케이션은 전자 기기에 단색(예: 흰색, 검은색, 붉은색, 파란색, 녹색 등) 화면이 표시되도록 할 수 있다. 전자 기기에 단색 화면이 표시된 상태에서, 제1 카메라는 전자 기기의 단색 화면을 촬영하여 이미지(이하, "단색 화면 이미지"라 지칭함)를 획득할 수 있다. 예를 들어, 전자 기기에 흰색 화면이 표시된 상태에서, 제1 카메라는 전자 기기의 흰색 화면을 촬영하여 제1 단색 화면 이미지를 획득할 수 있다. 전자 기기에 검은색 화면이 표시된 상태에서 제1 카메라는 전자 기기의 검은색 화면을 촬영하여 제2 단색 화면 이미지를 획득할 수 있다. 전자 기기에 흰색과 검은색 이외의 다른 단색(예: 붉은색, 파란색, 녹색 등) 화면이 표시된 상태에서 제1 카메라는 전자 기기의 다른 단색 화면을 촬영하여 제3 단색 화면 이미지를 획득할 수 있다.
전자 기기 가치 평가 장치(130)는 전자 기기를 촬영하여 획득한 이미지들(예: 하나 이상의 전면 이미지, 하나 이상의 후면 이미지, 하나 이상의 측면 이미지, 하나 이상의 단색 화면 이미지)과 딥러닝 평가 모델들을 기초로 전자 기기에 대한 외관 상태 평가를 수행할 수 있다.
도 1에 도시된 예에서, 전자 기기 가치 평가 장치(130)는 서버(120)에 포함될 수 있다. 도 1에 도시된 예에서, 서버(120)는 무인 매입 장치(110)로부터 전자 기기를 촬영하여 획득한 이미지들을 수신할 수 있고, 수신된 이미지들을 전자 기기 가치 평가 장치(130)로 전달할 수 있다. 앞서 설명한 것과 같이, 전자 기기 내의 제1 어플리케이션은 전자 기기의 내부 상태 평가를 수행할 수 있고, 무인 매입 장치(110)를 통해 서버(120)에 전자 기기의 내부 상태 평가의 결과를 전송할 수 있다. 다른 예로, 제1 어플리케이션은 전자 기기가 서버(120)와 연결되도록 할 수 있고, 전자 기기를 통해 서버(120)에 전자 기기의 내부 상태 평가의 결과를 전송할 수 있다. 전자 기기 가치 평가 장치(130)는 전자 기기의 외관 상태 평가의 결과와 전자 기기의 내부 상태 평가의 결과(예: 제1 어플리케이션이 전자 기기의 내부 상태 평가를 수행한 결과)를 기초로 전자 기기의 가치(예: 가격)를 결정할 수 있다. 전자 기기 가치 평가 장치(130)는 무인 매입 장치(110)에 전자 기기의 가치를 전송할 수 있고, 무인 매입 장치(110)는 사용자에게 전자 기기의 가치를 전달할 수 있다. 사용자는 전자 기기의 가치(예: 가격)를 받아들여 전자 기기를 판매할 것임을 무인 매입 장치(110)에 전달할 수 있고, 무인 매입 장치(110)는 사용자의 전자 기기 판매 결정이 있으면 촬영 박스 내에 안치된 전자 기기를 회수 박스(또는 보관 박스)로 이동시킬 수 있다. 실시 예에 따라, 회수 박스는 무인 매입 장치(110) 내부 또는 외부에 위치할 수 있다.
도 2에 도시된 예에서, 전자 기기 가치 평가 장치(130)는 무인 매입 장치(110)에 포함될 수 있다. 도 2에 도시된 예에서, 전자 기기 가치 평가 장치(130)는 촬영 박스 내의 카메라들로부터 전자 기기를 촬영하여 획득된 이미지들을 수신할 수 있다. 전자 기기 가치 평가 장치(130)는 제1 어플리케이션으로부터 전자 기기의 내부 상태 평가의 결과를 수신할 수 있다. 전자 기기 가치 평가 장치(130)는 전자 기기의 외관 상태 평가의 결과와 전자 기기의 내부 상태 평가의 결과를 기초로 전자 기기의 가치(예: 가격)를 결정할 수 있다. 전자 기기 가치 평가 장치(130)는 사용자에게 전자 기기의 가치를 전달할 수 있다. 사용자는 전자 기기의 가치(예: 가격)를 받아들여 전자 기기를 판매할 것임을 무인 매입 장치(110)에 전달할 수 있고, 무인 매입 장치(110)는 사용자의 전자 기기 판매 결정이 있으면 촬영 박스 내에 안치된 전자 기기를 회수 박스(또는 보관 박스)로 이동시킬 수 있다.
도 3 내지 도 6은 일 실시 예에 따른 전자 기기 가치 평가 장치의 동작을 설명하는 도면이다.
도 3을 참조하면, 전자 기기 장치 평가 장치(130)는 메모리(310), 외관 상태 평가 모듈(320), 및 가치 결정 모듈(330)을 포함할 수 있다.
일 실시 예에 있어서, 외관 상태 평가 모듈(320) 및 가치 결정 모듈(330)은 하나의 프로세서로 구현될 수 있다.
일 실시 예에 있어서, 외관 상태 평가 모듈(320) 및 가치 결정 모듈(340) 각각은 별개의 프로세서로 구현될 수 있다. 예를 들어, 제1 프로세서가 외관 상태 평가 모듈(320)을 구현할 수 있고, 제2 프로세서가 가치 결정 모듈(340)을 구현할 수 있다.
메모리(310)는 복수의 딥러닝 평가 모델들을 저장할 수 있다. 예를 들어, 메모리(310)는 전자 기기의 제1 평가 영역(예: 전면)의 결함을 검출하고 검출된 결함(또는 제1 평가 영역)의 등급을 결정하는 제1 딥러닝 평가 모델, 전자 기기의 제2 평가 영역(예: 후면)의 결함을 검출하고 검출된 결함(또는 제2 평가 영역)의 등급을 결정하는 제2 딥러닝 평가 모델, 전자 기기의 제3 평가 영역(예: 측면(또는 코너))의 결함을 검출하고 검출된 결함(또는 제3 평가 영역)의 등급을 결정하는 제3 딥러닝 평가 모델, 및 전자 기기의 제4 평가 영역(예: 화면)의 결함을 검출하고 검출된 결함(또는 제4 평가 영역)의 등급을 결정하는 제4 딥러닝 평가 모델을 포함할 수 있다. 아래 표 1은 평가 영역들(예: 화면, 전면, 측면(또는 코너), 후면) 각각의 결함의 종류와 등급의 예시를 보여준다.
등급 화면
(디스플레이)		 전면 측면(또는 코너) 후면 모델 출력
D 백화 3개 이상 화면 줄감, 얼룩 - - - 7
흑점 총알 파손
DL LCD급 잔상,
LCD급 백화		 - - - 6
C - 파손,액정 들뜸(예: 강화유리 들뜸) - 파손,
후면 들뜸,
카메라 유리(또는 렌즈) 파손		 5
CL 강잔상, 백화 2개 이하 - - - 4
B 중잔상 전면 파손급 흠집,전면 흠집 - - 3
B+ - - 몸체 흠집 - 2
A 깨끗 깨끗 깨끗 깨끗 1
위 표 1에서, 중잔상은, 예를 들어, 전자 기기가 흰색 화면을 표시하지만 사용자에게 화면의 특정 영역(예: 화면 상단의 상태 표시 영역)이 흰색이 아닌 색으로 보여지고 특정 영역에 아이콘이 보여지는 현상을 나타낼 수 있다. 강잔상은, 예를 들어, 전자 기기가 흰색 화면을 표시하지만 사용자에게 화면 전체적으로 흰색이 아닌 다른 색이 보여지는 현상을 나타낼 수 있다. LCD급 잔상은 강잔상보다 잔상의 정도가 심한 상태로, 예를 들어, 전자 기기가 흰색 화면을 표시하지만 사용자에게 화면 전체적으로 흰색이 아닌 다른 색이 보여지고 화면에 아이콘이 보여지는 현상을 나타낼 수 있다.
제1 내지 제4 딥러닝 평가 모델들 각각은 주어진 입력 이미지에 이미지 세그멘테이션(image segmentation)을 수행할 수 있다.
도 4에 딥러닝 평가 모델들 각각의 기반이 되는 딥 뉴럴 네트워크(Neural Network)의 개략적인 구조가 도시된다. 이하, 설명의 편의를 위하여 딥 뉴럴 네트워크의 구조를 예로 들어 설명하지만, 반드시 이에 한정되는 것은 아니며 다양한 구조의 뉴럴 네트워크들이 딥러닝 평가 모델에 사용될 수 있다.
딥 뉴럴 네트워크는 뉴럴 네트워크를 구현하는 하나의 방식으로서, 복수의 레이어들(layers)을 포함한다. 딥 뉴럴 네트워크는, 예를 들어, 입력 데이터가 인가되는 입력 레이어(Input Layer)(410), 트레이닝을 바탕으로 입력 데이터에 기반한 예측을 통해 도출된 결과 값을 출력하는 출력 레이어(Output Layer)(440), 및 입력 레이어와 출력 레이어 사이의 다중의 은닉 레이어(Hidden Layer)들(420, 430)을 포함할 수 있다.
딥 뉴럴 네트워크는 정보를 처리하기 위해 이용되는 알고리즘에 따라, 컨볼루션 신경망(Convolutional Neural Network), 및 리커런트 신경망(Recurrent Neural Network) 등으로 분류될 수 있다. 이하, 뉴럴 네트워크 분야의 일반적인 관행에 따라 입력 레이어를 최하위 레이어, 출력 레이어를 최상위 레이어라고 부르며, 최상위 레이어인 출력 레이어부터 최하위 레이어인 입력 레이어까지 순차적으로 레이어들의 순위를 지정하여 명명할 수 있다. 도 4에서, 은닉 레이어 2는 은닉 레이어 1 및 입력 레이어보다 상위 레이어이고, 출력 레이어보다는 하위 레이어에 해당할 수 있다.
딥 뉴럴 네트워크에서 인접한 레이어들 사이에서는 상대적으로 상위인 레이어가, 상대적으로 하위인 레이어의 출력 값에 가중치를 곱하고 바이어스를 적용한 값을 인가 받아 소정의 연산 결과를 출력할 수 있다. 이 때, 출력되는 연산 결과는 해당 레이어에 인접한 상위 레이어에 유사한 방식으로 인가될 수 있다.
뉴럴 네트워크를 트레이닝하는 방식을 예를 들어, 딥러닝(Deep Learning)이라 하며, 상술한 바와 같이 딥러닝에는 컨볼루션 뉴럴 네트워크, 리커런트 뉴럴 네트워크와 같이 다양한 알고리즘이 이용될 수 있다.
"뉴럴 네트워크를 트레이닝한다"는 것은 레이어들 간의 가중치(들) 및 바이어스(들)를 결정하고 갱신하는 것, 및/또는 인접한 레이어들 중 서로 다른 레이어에 속하는 복수의 뉴런들 간의 가중치(들) 및 바이어스(들)를 결정하고 갱신하는 것을 모두 포괄하는 의미로 이해될 수 있다.
복수의 레이어들, 복수의 레이어들 간의 계층적 구조, 뉴런들 간의 가중치 및 바이어스를 모두 총칭하여 뉴럴 네트워크의 "연결성(connectivity)"이라 표현할 수 있다. 이에 따라, "뉴럴 네트워크를 트레이닝한다"는 것은 연결성을 구축하고 트레이닝하는 것으로도 이해될 수 있다.
뉴럴 네트워크에서 복수의 레이어들 각각은 복수의 노드들(nodes)을 포함할 수 있다. 노드는 뉴럴 네트워크의 뉴런(neuron)에 해당할 수 있다. 용어 "뉴런"은 "노드"라는 용어와 동일한 의미로 사용될 수 있다.
도 4의 딥 뉴럴 네트워크에서 어느 한 레이어에 포함된 복수의 노드들과 인접한 레이어에 포함된 복수의 노드들의 조합들 간에 모두 연결 관계가 형성된 것을 볼 수 있다. 이와 같이 뉴럴 네트워크의 인접한 레이어들에 포함된 모든 노드들의 조합들이 모두 서로 연결된 것을 "완전 연결(fully-connected)"이라 부를 수 있다. 도 4에 도시된 은닉 레이어 2(430)의 노드 3-1은 은닉 레이어 1(420)의 모든 노드들, 즉, 노드 2-1 내지 노드 2-4 모두와 연결되어 각각의 노드들의 출력 값에 대하여 소정의 가중치를 곱한 값을 입력 받을 수 있다.
입력 레이어(410)에 입력된 데이터가 복수의 은닉 레이어들(420, 430)을 거쳐 처리됨으로써 출력 레이어(440)를 통해 출력 값이 출력될 수 있다. 이때, 각 노드의 출력 값에 대해 곱해지는 가중치가 클수록 대응하는 두 개의 노드들 간의 연결성이 강화됨을 의미하고, 가중치가 작을수록 두 개의 노드들 간의 연결성이 약화됨을 의미할 수 있다. 가중치가 0인 경우, 두 노드들 간의 연결성이 없음을 의미할 수 있다.
도 3으로 돌아와서, 외관 상태 평가 모듈(320)은 전자 기기를 촬영하여 획득된 복수의 이미지들 및 딥러닝 평가 모델들을 기초로 전자 기기에 대한 외관 상태 평가를 수행할 수 있다. 예를 들어, 외관 상태 평가 모듈(320)은 딥러닝 평가 모델들을 통해 이미지들로부터 전자 기기의 제1 내지 제4 평가 영역 각각의 결함 상태를 예측한 마스크를 생성할 수 있다. 외관 상태 평가 모듈(320)은 생성된 각 마스크를 기초로 제1 내지 제4 평가 영역 각각의 결함의 등급을 결정할 수 있다. 외관 상태 평가 모듈(320)은 결정된 각 등급을 통해 전자 기기의 외관 상태에 대한 최종 등급을 결정할 수 있다.
도 5에 도시된 예에서, 제1 딥러닝 평가 모델(510)은 전면 이미지를 입력 받을 수 있다. 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 전자 기기의 전면의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제1 마스크를 생성할 수 있다. 여기서, 결함의 정도는 결함 유형과 관련될 수 있다. 예를 들어, 제1 딥러닝 평가 모델(510)은 전면 이미지에 이미지 세그멘테이션을 수행하여 전면 이미지의 픽셀들 각각을 제1 클래스들 중 어느 하나로 분류할 수 있고, 이러한 분류에 따라 제1 마스크를 생성할 수 있다. 아래 표 2는 제1 클래스들의 예시를 보여준다.
제1-1 클래스(예: 전면 흠집, 전면 파손급 흠집 등)
제1-2 클래스(예: 전면 파손, 액정 들뜸 등)
제1-3 클래스(예: 전자 기기가 아닌 부분)
제1-4 클래스(예: 전자 기기의 전면)
앞서 촬영 박스 내의 제1 카메라는 전자 기기의 전면 뿐 아니라 전면의 주변을 촬영할 수 있어, 전면 이미지에는 전자 기기가 아닌 부분을 포함할 수 있다.
제1 딥러닝 평가 모델(510)은 전면 이미지의 일부 픽셀들을 제1-1클래스로 분류할 수 있고, 나머지 픽셀들 각각을 제1-2 클래스, 제1-3 클래스, 또는 제1-4 클래스로 분류할 수 있다. 이러한 분류를 통해 제1 딥러닝 평가 모델(510)은 제1 마스크를 생성할 수 있다.
제1 마스크를 시각적으로 표현한 이미지의 예시가 도 6에 도시된다.
도 6에 도시된 예에서, 검은색 영역들(610-1, 610-2, 610-3, 610-4)은 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들을 제1-3 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들이 전자 기기에 해당하지 않는 것으로 예측한 결과)를 나타낼 수 있다. 영역(620)은 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들을 제1-2 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(510)이 전면 이미지로부터 전자 기기의 전면에 파손이 있는 것으로 예측한 결과)를 나타낼 수 있다. 영역(630)은 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들을 제1-1 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(510)이 전면 이미지로부터 전자 기기의 전면에 흠집이 있는 것으로 예측한 결과)를 나타낼 수 있다. 영역(640)은 제1 딥러닝 평가 모델(510)이 전면 이미지의 일부 픽셀들을 제1-4 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(510)이 전면 이미지에서 전자 기기의 전면을 예측한 결과)를 나타낼 수 있다.
제1 딥러닝 평가 모델(510)은 제1 마스크를 기초로 전면의 결함에 대한 등급을 결정할 수 있다. 예를 들어, 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 전자 기기의 전면에 파손과 액정 들뜸 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 전면의 결함의 등급을 C 등급(예: 위 표 1의 C 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(510)은 C 등급에 대응되는 점수 5를 출력할 수 있다. 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 전자 기기의 전면에 파손과 흠집이 있는 것으로 예측한 경우, 전자 기기의 전면의 결함의 등급을 C 등급(예: 위 표 1의 C 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(510)은 C 등급에 대응되는 점수 5를 출력할 수 있다. 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 전자 기기의 전면에 흠집 및 전면 파손급 흠집 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 전면의 결함의 등급을 B 등급(예: 위 표 1의 B 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(510)은 B 등급에 대응되는 점수 3을 출력할 수 있다. 제1 딥러닝 평가 모델(510)은 전면 이미지를 통해 전자 기기의 전면이 깨끗한 것(또는 전면에 결함이 없는 것)으로 예측한 경우, 전자 기기의 전면의 결함의 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(510)은 A 등급에 대응되는 점수 1을 출력할 수 있다.
제2 딥러닝 평가 모델(520)은 후면 이미지를 입력받을 수 있다. 제2 딥러닝 평가 모델(520)은 후면 이미지를 통해 전자 기기의 후면의 결함 상태(예: 결함의 위치, 결함의 정류, 및 결함의 정도 중 적어도 하나)를 예측한 제2 마스크를 생성할 수 있다. 예를 들어, 제2 딥러닝 평가 모델(520)은 후면 이미지에 이미지 세그멘테이션을 수행할 수 있고, 후면 이미지의 픽셀들 각각을 제2 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제2 마스크를 생성할 수 있다. 아래 표 3은 제2 클래스들의 예시를 보여준다.
제2-1 클래스(예: 파손, 후면 들뜸, 카메라 유지(또는 렌즈) 파손 등)
제2-2 클래스(예: 전자 기기가 아닌 부분)
제2-3 클래스(예: 전자 기기의 후면)
제2 딥러닝 평가 모델(520)은 제2 마스크를 기초로 후면의 결함에 대한 등급을 결정할 수 있다. 예를 들어, 제2 딥러닝 평가 모델(520)은 후면 이미지를 통해 전자 기기의 후면에 파손, 후면 들뜸, 및 카메라 렌즈 파손 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 후면의 결함의 등급을 C 등급(예: 위 표 1의 C 등급)으로 결정할 수 있다. 제2 딥러닝 평가 모델(520)은 C 등급에 대응되는 점수 5를 출력할 수 있다. 제2 딥러닝 평가 모델(520)은 후면 이미지를 통해 전자 기기의 후면이 깨끗한 것으로 예측한 경우, 전자 기기의 후면의 결함의 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제2 딥러닝 평가 모델(520)은 A 등급에 대응되는 점수 1을 출력할 수 있다.
제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)을 입력받을 수 있다. 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)을 통해 전자 기기의 측면들(또는 코너들)의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제3 마스크를 생성할 수 있다. 예를 들어, 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)에 이미지 세그멘테이션을 수행할 수 있고, 각 측면 이미지의 픽셀들 각각을 제3 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제3 마스크를 생성할 수 있다. 아래 표 4는 제3 클래스들의 예시를 보여준다.
제3-1 클래스(예: 흠집)
제3-2 클래스(예: 전자 기기가 아닌 부분)
제3-3 클래스(예: 전자 기기의 측면(또는 코너))
제3 딥러닝 평가 모델(530)은 제3 마스크를 기초로 측면들(또는 코너들)의 결함의 등급을 결정할 수 있다. 예를 들어, 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)을 통해 전자 기기의 제1 측면(또는 제1 코너) 에 흠집이 있는 것으로 예측한 경우, 전자 기기의 측면들(또는 코너들)의 결함에 대한 등급을 B+ 등급(예: 위 표 1의 B+ 등급)으로 결정할 수 있다. 제3 딥러닝 평가 모델(530)은 B+ 등급에 대응되는 점수 2를 출력할 수 있다. 제3 딥러닝 평가 모델(530)은 측면 이미지들(또는 코너 이미지들)을 통해 전자 기기의 측면들(또는 코너들)이 깨끗한 것으로 예측한 경우, 전자 기기의 측면들(또는 코너들)의 결함에 대한 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제3 딥러닝 평가 모델(530)은 A 등급에 대응되는 점수 1을 출력할 수 있다.
제4 딥러닝 평가 모델(540)은 전자 기기에 화면 이미지(예: 단색 화면 이미지)를 입력 받을 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 전자 기기의 화면의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제4 마스크를 생성할 수 있다. 예를 들어, 제4 딥러닝 평가 모델(540)은 화면 이미지에 이미지 세그멘테이션을 수행할 수 있고, 화면 이미지의 픽셀들 각각을 제4 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제4 마스크를 생성할 수 있다. 아래 표 5는 제4 클래스들의 예시를 보여준다.
제4-1 클래스(예: 백화 3개 이상, 화면 줄감, 얼룩, 흑점, 총알 파손 등)
제4-2 클래스(예: LCD급 잔상, LCD급 백화 등)
제4-3 클래스(예: 강잔상, 백화 2개 이하 등)
제4-4 클래스(예: 중잔상 등)
제4-5 클래스(예: 전자 기기가 아닌 부분)
제4-6 클래스(예: 전자 기기의 화면)
제4 딥러닝 평가 모델(540)은 제4 마스크를 기초로 전자 기기의 화면의 결함에 대한 등급을 결정할 수 있다. 예를 들어, 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 전자 기기의 화면에 백화 3개 이상, 화면 줄감, 흑점, 총알 파손 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 화면의 결함의 등급을 D 등급(예: 위 표 1의 D 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 D 등급에 대응되는 점수 7을 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 전자 기기의 화면에 LCD급 잔상 및 LCD급 백화 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 화면의 결함의 등급을 DL 등급(예: 위 표 1의 DL 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 DL 등급에 대응되는 점수 6을 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 전자 기기의 화면에 강잔상 및 백화 2개 이하 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 화면의 결함에 대한 등급을 CL 등급(예: 위 표 1의 CL 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 CL 등급에 대응되는 점수 4를 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 전자 기기의 화면에 중잔상이 있는 것으로 예측한 경우, 전자 기기의 화면의 결함의 등급을 B 등급(예: 위 표 1의 B 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 B 등급에 대응되는 점수 3을 출력할 수 있다. 제4 딥러닝 평가 모델(540)은 화면 이미지를 통해 전자 기기의 화면이 깨끗한 것으로 예측한 경우, 전자 기기의 화면의 결함의 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(540)은 A 등급에 대응되는 점수 1을 출력할 수 있다.
도 3으로 돌아와서, 가치 결정 모듈(330)은 전자 기기의 외관 상태 평가의 결과 및/또는 전자 기기의 내부 상태 평가의 결과를 기초로 전자 기기의 가치를 결정할 수 있다.
일 실시 예에 있어서, 가치 결정 모듈(330)은 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 결정된 등급 중 최소 등급을 전자 기기의 외관 상태에 대한 최종 등급으로 결정할 수 있다. 등급 A가 가장 높고 등급 B+는 등급 A보다 낮고 등급 B보다는 높을 수 있다. 등급 CL은 등급 B보다 낮고 등급 C보다 높을 수 있다. 등급 D가 가장 낮을 수 있다. 일례로, 제1 딥러닝 평가 모델(510)에 의해 결정된 등급이 C 등급이고, 제2 딥러닝 평가 모델(520)에 의해 결정된 등급이 B+ 등급이며, 제3 딥러닝 평가 모델(530)에 의해 결정된 등급이 C 등급이고, 제4 딥러닝 평가 모델(540)에 의해 결정된 등급이 CL 등급일 수 있다. 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 결정된 등급 중 제1 딥러닝 평가 모델(510)에 의해 결정된 C 등급이 최소 등급일 수 있어, 가치 결정 모듈(330)은 전자 기기의 외관 상태에 대한 최종 등급을 C 등급으로 결정할 수 있다. 실시 예에 따라, 등급이 낮을수록 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 출력되는 점수는 높을 수 있다. 가치 결정 모듈(330)은 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 출력된 점수 중 최대 점수를 전자 기기의 외관 평가에 대한 최종 점수로 결정할 수 있다.
일 실시 예에 있어서, 가치 결정 모듈(330)은 제1 내지 제4 딥러닝 평가 모델(510 내지 540) 각각에 의해 결정된 등급(또는 점수)에 가중치를 적용할 수 있고, 각 가중치가 적용된 등급(또는 점수)을 이용하여 전자 기기의 외관 상태에 대한 최종 등급(또는 최종 점수)을 결정할 수 있다. 일례로, 가치 결정 모듈(330)은 제1 딥러닝 평가 모델(510)에 의해 결정된 등급(또는 점수)에 제1 가중치를 적용할 수 있고, 제2 딥러닝 평가 모델(520)에 의해 결정된 등급(또는 점수)에 제2 가중치를 적용할 수 있으며, 제3 딥러닝 평가 모델(530)에 의해 결정된 등급(또는 점수)에 제3 가중치를 적용할 수 있고, 제4 딥러닝 평가 모델(540)에 의해 결정된 등급에 제4 가중치를 적용할 수 있다. 여기서, 제1 가중치 내지 제4 가중치 각각은 0보다 크고 1보다 작을 수 있다. 가치 결정 모듈(330)은 제1 내지 제4 가중치 각각이 적용된 등급(또는 점수)을 합산하여 전자 기기의 외관 상태에 대한 최종 등급(또는 최종 점수)을 결정할 수 있다.
가치 결정 모듈(330)은 전자 기기의 외관 상태 평가의 결과(예: 전자 기기의 외관 상태에 대한 최종 등급(또는 최종 점수))를 기초로 제1 금액을 결정할 수 있고, 전자 기기의 내부 상태 평가의 결과를 기초로 제2 금액을 결정할 수 있다. 가치 결정 모듈(330)은 전자 기기의 기준 가격(예: 전자 기기와 동일 종류의 전자 기기의 가장 높은 중고 가격)에서 제1 금액과 제2 금액을 차감하여 전자 기기의 가격을 산출할 수 있다. 일례로, 가치 결정 모듈(330)은 중고 시세 데이터베이스와 연동하여 전자 기기의 기준 가격을 획득할 수 있다. 가치 결정 모듈(330)은 외관 상태의 등급과 금액이 서로 맵핑된 제1 테이블로부터, 전자 기기의 외관 상태에 대한 최종 등급과 맵핑된 제1 금액을 획득할 수 있다. 가치 결정 모듈(330)은 내부 상태의 등급과 금액이 서로 맵핑된 제2 테이블로부터, 전자 기기의 내부 상태 평가의 결과와 맵핑된 제2 금액을 획득할 수 있다. 가치 결정 모듈(330)은 기준 금액에서 제1 금액 및 제2 금액을 차감하여 전자 기기의 가격을 산출할 수 있다.
가치 결정 모듈(330)은, 도 1에 도시된 예의 경우, 무인 매입 장치(110)로 전자 기기의 가치(예: 가격)를 전송할 수 있다. 무인 매입 장치(110)는 디스플레이를 통해 전자 기기의 가치(예: 가격)를 사용자에게 보여줄 수 있다.
가치 결정 모듈(330)은, 도 2에 도시된 예의 경우, 무인 매입 장치(110)의 디스플레이에 전자 기기의 가치(예: 가격)를 표시할 수 있다.
일 실시 예에 있어서, 전자 기기 가치 평가 장치(130)는 전처리 모듈을 포함할 수 있다. 전처리 모듈은 이미지들(예: 전면 이미지, 후면 이미지, 측면 이미지들, 화면 이미지) 각각에 결함으로 오인될 하나 이상의 객체가 포함되어 있는지 여부를 판단할 수 있다. 여기서, 객체는 전자 기기의 화면 상의 플로팅 아이콘에 대응되는 객체, 전자 기기에 부착된 스티커에 대응되는 객체, 및 전자 기기에 묻어있는 이물질에 대응되는 객체 중 적어도 하나를 포함할 수 있다. 플로팅 아이콘에 대응되는 객체는 전자 기기의 화면 상의 플로팅 아이콘이 촬영됨으로써 이미지에 포함된 객체를 나타낼 수 있다. 전자 기기에 부착된 스티커에 대응되는 객체는 전자 기기에 부착된 스티커가 촬영됨으로써 이미지에 포함된 객체를 나타낼 수 있다. 전자 기기에 묻어있는 이물질에 대응되는 객체는 전자 기기에 묻어있는 이물질이 촬영됨으로써 이미지에 포함된 객체를 나타낼 수 있다. 플로팅 아이콘은, 예를 들어, 보조 터치(assistive touch)의 플로팅 아이콘, 특정 태스크를 트리거링 하기 위한 플로팅 아이콘 등을 포함할 수 있으나 이에 제한되지 않는다.
전처리 모듈은 결함으로 오인될 객체가 포함된 이미지가 있는 경우, 객체에 대한 처리를 수행할 수 있다. 일례로, 전처리 모듈은 객체에 마스킹(masking) 처리를 수행할 수 있으나 이에 제한되지 않는다. 외관 상태 평가 모듈(320)은 객체가 처리된 이미지, 객체가 포함되지 않은 나머지 이미지들, 및 딥러닝 평가 모델들(510 내지 540)을 기초로 외관 상태 평가를 수행할 수 있다. 외관 상태 평가 모듈(320)은 딥러닝 평가 모델들(510 내지 540)을 통해 객체가 처리된 이미지 및 객체가 포함되지 않은 나머지 이미지들로부터 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성할 수 있고, 생성된 각 마스크를 기초로 평가 영역들 각각의 결함에 대한 등급을 결정할 수 있으며, 결정된 각 등급을 통해 전자 기기의 외관 상태에 대한 최종 등급을 결정할 수 있다.
전처리 모듈은 전자 기기를 촬영하여 획득된 이미지들 중에서 상술한 객체가 포함된 이미지가 없는 것으로 판단할 수 있다. 이 경우, 위에서 설명한 것과 같이, 외관 상태 평가 모듈(320)은 이미지들과 딥러닝 평가 모델들(510 내지 540)을 기초로 외관 상태 평가를 수행할 수 있다.
전처리 모듈은 전자 기기를 촬영하여 획득된 이미지들 중 딥러닝 평가 모델들 중 하나 이상이 분석하지 못할 정도의 이미지(이하, "모델 분석 불가 이미지"라 지칭함)가 있는지 여부를 판단할 수 있다. 일례로, 전처리 모듈은 전자 기기를 촬영하여 획득된 이미지들 중 빛 반사가 일정 수준 이상 존재하는 이미지, 카메라 초점이 맞지 않는 이미지 등을 모델 분석 불가 이미지로 결정할 수 있다. 전처리 모듈은 모델 분석 불가 이미지가 있는 경우, 운영자에게 전자 기기의 외관 상태 평가를 요청할 수 있다.
일 실시 예에 있어서, 전자 기기 가치 평가 장치(130)는 바(bar) 타입의 전자 기기의 가치를 평가할 수 있다. 이 경우, 앞서 설명한 것과 같이, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 바 타입의 전자 기기를 촬영하여 획득된 복수의 이미지들 및 제1 내지 제4 딥러닝 평가 모델들(510~540)을 기초로 바 타입의 전자 기기에 대한 외관 상태 평가를 수행할 수 있다.
전자 기기 가치 평가 장치(130)는 형태가 변경 가능한 전자 기기(예: 폴더블, 롤러블 등)의 가치를 평가할 수 있다. 형태가 변경 가능한 전자 기기는 제1 형태(예: 언폴드(unfolded) 형태 또는 축소(contraction) 형태)를 가질 수 있고, 조작에 의해 제2 형태(예: 접힌(folded) 형태 또는 확장(expansion) 형태)로 변경될 수 있다. 일례로, 폴더블 전자 기기는 언폴드 형태에 있을 수 있고, 조작에 의해 형태가 접힌 형태로 변경될 수 있다. 롤러블 전자 기기는 축소 형태에 있을 수 있고, 조작에 의해 형태가 확장 형태로 변경될 수 있다. 축소 형태는 롤러블 디스플레이이가 기기 안으로 롤인(roll in)되는 상태를 나타낼 수 있고 확장 형태는 롤러블 디스플레이가 기기로부터 롤아웃(roll out)되는 상태를 나타낼 수 있다.
예를 들어, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 언폴드 형태에 있는 폴더블 전자 기기를 촬영하여 획득한 복수의 이미지들 및 제1 내지 제4 딥러닝 평가 모델들(510~540)을 기초로 언폴드 형태에 있는 폴더블 전자 기기의 각 평가 영역의 결함의 등급을 결정할 수 있다.
무인 매입 장치(110)는 촬영 박스 내에 있는 폴더블 전자 기기를 언폴드 형태에서 접힌 형태로 변경할 수 있다. 또는 무인 매입 장치(110)는 사용자에게 폴더블 전자 기기를 언폴드 형태에서 접힌 형태로 변경한 뒤 접힌 형태에 있는 전자 기기를 무인 매입 장치(110)에 재투입할 것을 요청할 수 있다. 폴더블 전자 기기가 언폴드 형태에서 접힌 형태로 변경되면 접힌 부분이 측면을 형성할 수 있고, 폴더블 전자 기기의 서브 화면이 활성화될 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 복수의 제3 카메라들 중 하나 이상을 통해 폴더블 전자 기기의 접힌 부분에 해당하는 측면을 촬영함으로써 이미지(이하, 접힌 측면의 이미지)를 획득할 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 제1 카메라를 통해 폴더블 전자 기기의 서브 화면을 촬영함으로써 이미지(이하, 서브 화면 이미지)를 획득할 수 있다.
전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 접힌 측면의 이미지와 제5 딥러닝 평가 모델을 기초로 폴더블 전자 기기의 제5 평가 영역(예: 접힌 부분에 해당하는 측면)을 평가할 수 있다. 여기서, 제5 딥러닝 평가 모델은 폴더블 전자 기기의 제5 평가 영역의 결함을 검출하고 검출된 결함(또는 제5 평가 영역)의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 접힌 측면의 이미지를 제5 딥러닝 평가 모델에 입력할 수 있다. 제5 딥러닝 평가 모델은 접힌 측면의 이미지를 통해 폴더블 전자 기기의 제5 평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제5 마스크를 생성할 수 있다. 제5 딥러닝 평가 모델은 제5 마스크를 기초로 폴더블 전자 기기의 제5 평가 영역의 결함에 대한 등급을 결정할 수 있다.
전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 서브 화면 이미지와 제6 딥러닝 평가 모델을 기초로 폴더블 전자 기기의 제6 평가 영역(예: 서브 화면)을 평가할 수 있다. 여기서, 제6 딥러닝 평가 모델은 폴더블 전자 기기의 제6 평가 영역의 결함을 검출하고 검출된 결함(또는 제6 평가 영역)의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 서브 화면 이미지를 제6 딥러닝 평가 모델에 입력할 수 있다. 제6 딥러닝 평가 모델은 서브 화면 이미지를 통해 폴더블 전자 기기의 제6 평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제6 마스크를 생성할 수 있다. 제6 딥러닝 평가 모델은 제6 마스크를 기초로 폴더블 전자 기기의 제6 평가 영역의 결함에 대한 등급을 결정할 수 있다. 실시 예에 따라, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 서브 화면 이미지와 위에서 설명한 제4 딥러닝 평가 모델(540)을 기초로 전자 기기의 제6 평가 영역(예: 서브 화면)의 결함의 등급을 결정할 수 있다.
전자 기기 가치 평가 장치(130)(또는 가치 결정 모듈(330))은 폴더블 전자 기기의 외관 상태 평가의 결과(예: 제1 내지 제6 딥러닝 평가 모델 각각에 의해 결정된 등급) 및/또는 폴더블 전자 기기의 내부 상태 평가의 결과를 기초로 폴더블 전자 기기의 가치를 결정할 수 있다.
다른 예를 들어, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 축소 형태의 롤러블 전자 기기를 촬영하여 획득한 복수의 이미지들 및 제1 내지 제4 딥러닝 평가 모델들(510~540)을 기초로 축소 형태의 롤러블 전자 기기의 각 평가 영역의 결함의 등급을 결정할 수 있다.
무인 매입 장치(110)는 촬영 박스 내에 있는 롤러블 전자 기기를 축소 형태에서 확장 형태로 변경할 수 있다. 또는 무인 매입 장치(110)는 사용자에게 롤러블 전자 기기를 축소 형태에서 확장 형태로 변경한 뒤 확장 형태에 있는 전자 기기를 무인 매입 장치(110)에 재투입할 것을 요청할 수 있다. 롤러블 전자 기기가 축소 형태에서 확장 형태로 변경되면, 화면과 측면이 확장될 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 복수의 제3 카메라들 중 하나 이상을 통해, 확장된 측면을 촬영함으로써 이미지(이하, 확장된 측면의 이미지)를 획득할 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 제1 카메라를 통해 전자 기기의 확장된 화면을 촬영함으로써 이미지(이하, 확장된 화면의 이미지)를 획득할 수 있다.
전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 측면의 이미지와 제7 딥러닝 평가 모델을 기초로 롤러블 전자 기기의 제7 평가 영역(예: 확장된 측면)을 평가할 수 있다. 여기서, 제7 딥러닝 평가 모델은 롤러블 전자 기기의 제7 평가 영역의 결함을 검출하고 검출된 결함(또는 제7 평가 영역)의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 측면의 이미지를 제7 딥러닝 평가 모델에 입력할 수 있다. 제7 딥러닝 평가 모델은 확장된 측면의 이미지를 통해 롤러블 전자 기기의 제7 평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제7 마스크를 생성할 수 있다. 제7 딥러닝 평가 모델은 제7 마스크를 기초로 롤러블 전자 기기의 제7 평가 영역의 결함에 대한 등급을 결정할 수 있다. 실시 예에 따라, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 측면의 이미지와 제3 딥러닝 평가 모델(530)을 기초로 롤러블 전자 기기의 제7 평가 영역(예: 확장된 측면)을 평가할 수 있다.
전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 화면의 이미지와 제4 딥러닝 평가 모델(540)을 기초로 롤러블 전자 기기의 제8 평가 영역(예: 확장된 화면)을 평가할 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(320))는 확장된 화면의 이미지를 제4 딥러닝 평가 모델(540)에 입력할 수 있다. 위에서 설명한 것과 같이, 제4 딥러닝 평가 모델(540)은 주어진 화면 이미지에서 화면의 결함 상태를 예측한 마스크를 생성하고 생성된 마스크를 기초로 화면의 결함의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 제4 딥러닝 평가 모델(540)은 확장된 화면의 이미지를 통해 롤러블 전자 기기의 제8평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제8 마스크를 생성할 수 있다. 제4 딥러닝 평가 모델(540)은 제8 마스크를 기초로 롤러블 전자 기기의 제8 평가 영역의 결함에 대한 등급을 결정할 수 있다.
전자 기기 가치 평가 장치(130)(또는 가치 결정 모듈(330))은 롤러블 전자 기기의 외관 상태 평가의 결과(예: 제1 내지 제4 딥러닝 평가 모델 및 제7 딥러닝 평가 모델 각각에 의해 결정된 등급) 및/또는 롤러블 전자 기기의 내부 상태 평가의 결과를 기초로 롤러블 전자 기기의 가치를 결정할 수 있다.
일 실시 예에 있어서, 무인 매입 장치(110)는 사용자로부터 웨어러블 기기(예: 스마트 워치)를 투입받을 수 있다. 전자 기기 가치 평가 장치(130)는 웨어러블 기기의 외관(예: 전면, 후면, 측면, 화면)을 평가할 수 있는 딥러닝 평가 모델들을 저장할 수 있다. 전자 기기 가치 평가 장치(130)는 웨어러블 기기를 촬영하여 획득한 이미지들 및 딥러닝 평가 모델들을 기초로 웨어러블 기기에 대한 외관 상태 평가를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 웨어러블 기기의 외관 상태 평가의 결과 및 웨어러블 기기의 내부 상태 평가의 결과를 기초로 웨어러블 기기의 가치를 결정할 수 있다.
도 7은 일 실시 예에 따른 전자 기기 가치 평가 방법을 설명하는 흐름도이다.
도 7을 참조하면, 단계 710에서, 전자 기기 가치 평가 장치(130)는 전자 기기를 촬영하여 획득된 복수의 이미지들 및 복수의 딥러닝 평가 모델들을 기초로 전자 기기에 대한 외관 상태 평가를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 딥러닝 평가 모델들(510 내지 540)을 통해 이미지들로부터 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성할 수 있고, 생성된 각 마스크를 기초로 전자 기기의 평가 영역들 각각의 결함에 대한 등급을 결정할 수 있다. 전자 기기 가치 평가 장치(130)는 결정된 각 등급을 통해 전자 기기의 외관 상태에 대한 최종 등급을 결정할 수 있다.
일 실시 예에 있어서, 전자 기기의 형태가 변경될 수 있다. 위에서 설명한 것과 같이, 전자 기기 가치 평가 장치(130)는 전자 기기를 제1 형태(예: 언폴드 형태 또는 축소 형태)에서 제2 형태(예: 접힌 형태 또는 확장 형태)로 변경할 수 있다. 또는, 전자 기기 가치 평가 장치(130)는 사용자에게 전자 기기를 제1 형태에서 제2 형태로 변경한 뒤 제2 형태의 전자 기기를 무인 매입 장치(110)에 재투입할 것을 요청할 수 있다. 전자 기기 가치 평가 장치(130)는 전자 기기의 형태가 변경된 경우, 딥러닝 평가 모델들(510 내지 540) 이외의 추가 딥러닝 평가 모델(예: 위에서 설명한 제5 딥러닝 평가 모델, 제6 딥러닝 평가 모델, 및 제7 딥러닝 평가 모델 중 적어도 하나)을 통해, 전자 기기의 변경된 형태가 촬영되어 획득된 이미지로부터 전자 기기의 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크(예: 위에서 설명한 제5 마스크, 제6 마스크, 및 제 7 마스크 중 적어도 하나)를 생성할 수 있다. 전자 기기 가치 평가 장치(130)는 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크를 기초로 전자 기기의 변경된 형태의 평가 영역의 결함에 대한 등급을 결정할 수 있다.
상술한 제 5 내지 제7 딥러닝 평가 모델 각각은 주어진 입력 이미지에 이미지 세그멘테이션을 수행할 수 있다.
단계 720에서, 전자 기기 가치 평가 장치(130)는 전자 기기의 외관 상태 평가의 결과 및 전자 기기의 내부 상태 평가의 결과를 기초로 전자 기기의 가치를 결정할 수 있다.
도 1 내지 도 6을 통해 설명한 사항들은 도 7의 전자 기기 가치 평가 방법에 적용될 수 있다.
도 8은 일 실시 예에 따른 딥러닝 모델을 트레이닝하는 컴퓨팅 장치의 구성을 설명하는 블록도이다.
도 8을 참조하면, 딥러닝 모델을 트레이닝하는 컴퓨팅 장치(800)는 메모리(810) 및 프로세서(820)를 포함할 수 있다.
메모리(810)는 하나 이상의 딥러닝 모델을 저장할 수 있다. 딥러닝 모델은 도 4를 통해 설명한 딥 뉴럴 네트워크에 기반할 수 있다. 딥러닝 모델은 주어진 입력 이미지에 이미지 세그멘테이션을 수행할 수 있다.
프로세서(820)는 딥러닝 모델을 트레이닝할 수 있다.
프로세서(820)는 결함에 대한 학습 이미지를 딥러닝 모델에 입력할 수 있고, 딥러닝 모델을 통해 학습 이미지로부터 결함의 상태를 예측한 마스크를 생성할 수 있다.
프로세서(820)는 생성된 마스크와 결함에 대한 레이블 마스크(labeled mask) 사이의 유사도를 연산할 수 있다.
도 9a 내지 도 9c에 생성된 마스크와 레이블 마스크 각각의 일례가 도시된다. 도 9a에서 타겟 마스크는 레이블 마스크를 나타낼 수 있고 예측 마스크는 딥러닝 모델에 의해 생성된 마스크를 나타낼 수 있다.
프로세서(820)는 연산된 유사도가 임계값 미만인 경우 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(820)는 연산된 유사도가 임계값 이상인 경우, 딥러닝 모델에 대한 트레이닝을 종료할 수 있다.
실시 예에 따라, 프로세서(820)는 제1 학습 이미지(예: 제1 결함이 있는 전면이 촬영된 전면 이미지)를 제1 딥러닝 모델에 입력한 경우, 제1 딥러닝 모델을 이용하여 제1 학습 이미지로부터 전자 기기의 전면의 결함 상태를 예측한 제1 마스크를 생성할 수 있다. 제1 딥러닝 모델은 제1 학습 이미지에 이미지 세그멘테이션을 수행하여 제1 학습 이미지로부터 전자 기기의 전면의 결함 상태를 예측한 제1 마스크를 생성할 수 있다. 프로세서(820)는 제1 마스크와 제1 결함에 대한 레이블 마스크 사이의 제1 유사도를 연산할 수 있다. 프로세서(820)는 연산된 제1 유사도가 임계값 미만인 경우 제1 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(820)는 연산된 제1 유사도가 임계값 이상인 경우, 제1 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제1 딥러닝 모델은 제1 딥러닝 평가 모델(510)로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.
프로세서(820)는 제2 학습 이미지(예: 제2 결함이 있는 후면을 촬영한 후면 이미지)를 제2 딥러닝 모델에 입력한 경우, 제2 딥러닝 모델을 이용하여 제2 학습 이미지로부터 전자 기기의 후면의 결함 상태를 예측한 제2 마스크를 생성할 수 있다. 제2 딥러닝 모델은 제2 학습 이미지에 이미지 세그멘테이션을 수행하여 제2 학습 이미지로부터 전자 기기의 후면의 결함 상태를 예측한 제2 마스크를 생성할 수 있다. 프로세서(820)는 제2 마스크와 제2 결함에 대한 레이블 마스크 사이의 제2 유사도를 연산할 수 있다. 프로세서(820)는 연산된 제2 유사도가 임계값 미만인 경우 제2 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(820)는 연산된 제2 유사도가 임계값 이상인 경우, 제2 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제2 딥러닝 모델은 제2 딥러닝 평가 모델(520)로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.
프로세서(820)는 제3 학습 이미지(예: 제3 결함이 있는 측면(또는 코너)가 촬영된 측면(또는 코너) 이미지)를 제3 딥러닝 모델에 입력한 경우, 제3 딥러닝 모델을 이용하여 제3 학습 이미지로부터 전자 기기의 측면(또는 코너)의 결함 상태를 예측한 제3 마스크를 생성할 수 있다. 제3 딥러닝 모델은 제3 학습 이미지에 이미지 세그멘테이션을 수행하여 제3 학습 이미지로부터 전자 기기의 측면(또는 코너)의 결함 상태를 예측한 제3 마스크를 생성할 수 있다. 프로세서(820)는 제3 마스크와 제3 결함에 대한 레이블 마스크 사이의 제3 유사도를 연산할 수 있다. 프로세서(820)는 연산된 제3 유사도가 임계값 미만인 경우 제3 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(820)는 연산된 제3 유사도가 임계값 이상인 경우, 제3 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제3 딥러닝 모델은 제3 딥러닝 평가 모델(530)로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.
프로세서(820)는 제4 학습 이미지(예: 제4 결함이 있는 화면이 촬영된 화면 이미지)를 제4 딥러닝 모델에 입력한 경우, 제4 딥러닝 모델을 이용하여 제4 학습 이미지로부터 전자 기기의 화면의 결함 상태를 예측한 제4 마스크를 생성할 수 있다. 제4 딥러닝 모델은 제4 학습 이미지에 이미지 세그멘테이션을 수행하여 제4 학습 이미지로부터 전자 기기의 화면의 결함 상태를 예측한 제4 마스크를 생성할 수 있다. 프로세서(820)는 제4 마스크와 제4 결함에 대한 레이블 마스크 사이의 제4 유사도를 연산할 수 있다. 프로세서(820)는 연산된 제4 유사도가 임계값 미만인 경우 제4 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(820)는 연산된 제4 유사도가 임계값 이상인 경우, 제4 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제4 딥러닝 모델은 제4 딥러닝 평가 모델(540)로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.
일 실시 예에 있어서, 프로세서(820)는 제5 학습 이미지(예: 제5 결함이 있는 접힌 측면이 촬영된 이미지)를 제5 딥러닝 모델에 입력한 경우, 제5 딥러닝 모델을 이용하여 제5 학습 이미지로부터 폴더블 전자 기기의 접힌 부분에 해당하는 측면의 결함 상태를 예측한 제5 마스크를 생성할 수 있다. 프로세서(820)는 제5 마스크와 제5 결함에 대한 레이블 마스크 사이의 제5 유사도를 연산할 수 있다. 프로세서(820)는 연산된 제5 유사도가 임계값 미만인 경우 제5 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(820)는 연산된 제5 유사도가 임계값 이상인 경우, 제5 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제5 딥러닝 모델은 제5 딥러닝 평가 모델로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.
일 실시 예에 있어서, 프로세서(820)는 제6 학습 이미지(예: 제6 결함이 있는 서브 화면이 촬영된 이미지)를 제6 딥러닝 모델에 입력한 경우, 제6 딥러닝 모델을 이용하여 제6 학습 이미지로부터 폴더블 전자 기기의 서브 화면의 결함 상태를 예측한 제6 마스크를 생성할 수 있다. 프로세서(820)는 제6 마스크와 제6 결함에 대한 레이블 마스크 사이의 제6 유사도를 연산할 수 있다. 프로세서(820)는 연산된 제6 유사도가 임계값 미만인 경우 제6 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(820)는 연산된 제6 유사도가 임계값 이상인 경우, 제6 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제6 딥러닝 모델은 제6 딥러닝 평가 모델로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.
일 실시 예에 있어서, 프로세서(820)는 제7 학습 이미지(예: 제7 결함이 있는 확장된 측면이 촬영된 이미지)를 제7 딥러닝 모델에 입력한 경우, 제7 딥러닝 모델을 이용하여 제7 학습 이미지로부터 롤러블 전자 기기의 확장된 측면의 결함 상태를 예측한 제7 마스크를 생성할 수 있다. 프로세서(820)는 제7 마스크와 제7 결함에 대한 레이블 마스크 사이의 제7 유사도를 연산할 수 있다. 프로세서(820)는 연산된 제7 유사도가 임계값 미만인 경우 제7 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(820)는 연산된 제7 유사도가 임계값 이상인 경우, 제7 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제7 딥러닝 모델은 제7 딥러닝 평가 모델로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다. 구현에 따라, 프로세서(820)는 제7 학습 이미지를 통해 위 제3 딥러닝 모델을 트레이닝하여 제3 딥러닝 모델이 제7 마스크를 생성하도록 할 수 있다.
일 실시 예에 있어서, 프로세서(820)는 위에서 설명한 트레이닝 방식과 유사하게, 외관에 결함이 있는 웨어러블 기기를 촬영한 학습 이미지들을 기초로 딥러닝 모델들 각각을 트레이닝하여 웨어러블 기기의 외관(예: 전면, 후면, 측면, 화면)을 평가할 수 있는 딥러닝 평가 모델들을 생성할 수 있다.
도 10은 일 실시 예에 따른 컴퓨팅 장치의 딥러닝 모델 트레이닝 방법을 설명하는 흐름도이다.
도 10을 참조하면, 단계 1010에서, 컴퓨팅 장치(800)는 결함에 대한 학습 이미지를 딥러닝 모델에 입력할 수 있다.
단계 1020에서, 컴퓨팅 장치(800)는 딥러닝 모델을 통해 학습 이미지로부터 결함의 상태를 예측한 마스크를 생성할 수 있다.
단계 1030에서, 컴퓨팅 장치(800)는 생성된 마스크와 결함에 대한 레이블 마스크 사이의 유사도를 연산할 수 있다.
단계 1040에서, 컴퓨팅 장치(800)는 연산된 유사도가 임계값보다 작은지 여부를 판단할 수 있다.
컴퓨팅 장치(800)는 연산된 유사도가 임계값 미만인 경우 단계 1050에서 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 컴퓨팅 장치(800)는 단계 1010 내지 단계 1040을 반복 수행할 수 있다.
컴퓨팅 장치(800)는 연산된 유사도가 임계값 이상인 경우, 단계 1060에서, 딥러닝 모델에 대한 트레이닝을 종료할 수 있다.
도 1 내지 도 9를 통해 기술된 내용은 도 10의 딥러닝 모델 트레이닝 방법에 적용될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (26)

  1. 전자 기기 가치 평가 방법에 있어서,
    전자 기기를 촬영하여 획득된 복수의 이미지들 및 복수의 딥러닝(deep learning) 평가 모델들을 기초로 상기 전자 기기에 대한 외관 상태 평가를 수행하는 단계; 및
    상기 외관 상태 평가의 결과 및 상기 전자 기기의 내부 상태 평가의 결과를 기초로 상기 전자 기기의 가치를 결정하는 단계
    를 포함하고,
    상기 외관 상태 평가를 수행하는 단계는,
    상기 딥러닝 평가 모델들을 통해 상기 이미지들로부터 상기 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성하고, 상기 생성된 각 마스크를 기초로 상기 평가 영역들 각각의 결함에 대한 등급을 결정하는 단계; 및
    상기 결정된 각 등급을 통해 상기 전자 기기의 외관 상태에 대한 최종 등급을 결정하는 단계
    를 포함하는,
    전자 기기 가치 평가 방법.
  2. 제1항에 있어서,
    상기 평가 영역들 각각의 결함에 대한 등급을 결정하는 단계는,
    상기 딥러닝 평가 모델들 중 제1 딥러닝 평가 모델이 상기 전자 기기의 전면이 촬영되어 획득된 전면 이미지를 입력받은 경우, 상기 전면 이미지를 통해 상기 전면의 결함 상태를 예측한 제1 마스크를 생성하고, 상기 생성된 제1 마스크를 기초로 상기 전면의 결함에 대한 등급을 결정하는 단계;
    상기 딥러닝 평가 모델들 중 제2 딥러닝 평가 모델이 상기 전자 기기의 후면이 촬영되어 획득된 후면 이미지를 입력받은 경우, 상기 후면 이미지를 통해 상기 후면의 결함 상태를 예측한 제2 마스크를 생성하고, 상기 생성된 제2 마스크를 기초로 상기 후면의 결함에 대한 등급을 결정하는 단계;
    상기 딥러닝 평가 모델들 중 제3 딥러닝 평가 모델이 상기 전자 기기의 측면들이 촬영되어 획득된 측면 이미지들을 입력받은 경우, 상기 측면 이미지들을 통해 상기 측면들 중 적어도 하나의 결함 상태를 예측한 제3 마스크를 생성하고, 상기 생성된 제3 마스크를 기초로 상기 측면들의 결함에 대한 등급을 결정하는 단계; 및
    상기 딥러닝 평가 모델들 중 제4 딥러닝 평가 모델이 상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지를 입력받은 경우, 상기 화면 이미지를 통해 상기 전자 기기의 화면의 결함 상태를 예측한 제4 마스크를 생성하고, 상기 생성된 제4 마스크를 기초로 상기 전자 기기의 화면의 결함에 대한 등급을 결정하는 단계
    를 포함하는,
    전자 기기 가치 평가 방법.
  3. 제1항에 있어서,
    상기 외관 상태 평가를 수행하는 단계는,
    상기 전자 기기의 형태가 변경된 경우, 상기 딥러닝 평가 모델들 이외의 추가 딥러닝 평가 모델을 통해 상기 변경된 형태가 촬영되어 획득된 이미지로부터 상기 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크를 생성하고, 상기 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크를 기초로 상기 변경된 형태의 평가 영역의 결함에 대한 등급을 결정하는 단계
    를 더 포함하는,
    전자 기기 가치 평가 방법.
  4. 제1항에 있어서,
    상기 최종 등급을 결정하는 단계는,
    상기 결정된 각 등급 중 최소 등급을 상기 최종 등급으로 결정하는 단계
    를 포함하는,
    전자 기기 가치 평가 방법.
  5. 제1항에 있어서,
    상기 최종 등급을 결정하는 단계는,
    상기 결정된 각 등급 각각에 가중치를 적용하는 단계; 및
    상기 각 가중치가 적용된 등급을 이용하여 상기 최종 등급을 결정하는 단계
    를 포함하는,
    전자 기기 가치 평가 방법.
  6. 제1항에 있어서,
    상기 가치를 결정하는 단계는,
    상기 외관 상태 평가의 결과를 기초로 제1 금액을 결정하고, 상기 내부 상태 평가의 결과를 기초로 제2 금액을 결정하는 단계; 및
    상기 전자 기기의 기준 가격에서 상기 결정된 제1 금액과 상기 결정된 제2 금액을 차감하여 상기 전자 기기의 가격을 산출하는 단계
    를 포함하는,
    전자 기기 가치 평가 방법.
  7. 제1항에 있어서,
    상기 결함 상태는,
    상기 평가 영역들 각각의 결함의 위치, 상기 결함의 종류, 및 상기 결함의 정도 중 적어도 하나를 포함하는,
    전자 기기 가치 평가 방법.
  8. 제1항에 있어서,
    상기 이미지들 각각에 결함으로 오인될 하나 이상의 객체가 포함되어 있는지 여부를 판단하는 단계; 및
    상기 객체가 포함된 이미지가 있는 경우, 상기 객체에 대한 처리를 수행하는 단계
    를 더 포함하는,
    전자 기기 가치 평가 방법.
  9. 제8항에 있어서,
    상기 객체는,
    상기 전자 기기의 화면 상의 플로팅 아이콘에 대응되는 객체, 상기 전자 기기에 부착된 스티커에 대응되는 객체, 및 상기 전자 기기에 묻어 있는 이물질에 대응되는 객체 중 적어도 하나를 포함하는,
    전자 기기 가치 평가 방법.
  10. 전자 기기 가치 평가 방법에 있어서,
    전자 기기를 촬영하여 획득된 복수의 이미지들 각각에 상기 전자 기기의 결함으로 오인될 하나 이상의 객체가 포함되어 있는지 여부를 판단하는 단계
    상기 객체가 포함된 이미지가 있는 경우, 상기 객체에 대한 처리를 수행하는 단계;
    상기 객체가 처리된 이미지, 상기 객체가 없는 나머지 이미지, 및 딥러닝 평가 모델들을 기초로 상기 전자 기기에 대한 외관 상태 평가를 수행하는 단계; 및
    상기 외관 상태 평가의 결과 및 상기 전자 기기의 내부 상태 평가의 결과를 기초로 상기 전자 기기의 가치를 결정하는 단계;
    를 포함하는,
    전자 기기 가치 평가 방법.
  11. 제10항에 있어서,
    상기 외관 상태 평가를 수행하는 단계는,
    상기 딥러닝 평가 모델들을 통해 상기 객체가 처리된 이미지 및 상기 나머지 이미지로부터 상기 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성하고, 상기 생성된 각 마스크를 기초로 상기 평가 영역들 각각의 결함에 대한 등급을 결정하는 단계; 및
    상기 결정된 각 등급을 통해 상기 전자 기기의 외관 상태에 대한 최종 등급을 결정하는 단계
    를 포함하는,
    전자 기기 가치 평가 방법.
  12. 제10항에 있어서,
    상기 처리를 수행하는 단계는,
    상기 객체에 마스킹 처리를 수행하는 단계
    를 포함하는,
    전자 기기 가치 평가 방법.
  13. 제10항에 있어서,
    상기 객체는,
    상기 전자 기기의 화면 상의 플로팅 아이콘에 대응되는 객체, 상기 전자 기기에 부착된 스티커에 대응되는 객체, 및 상기 전자 기기에 묻어 있는 이물질에 대응되는 객체 중 적어도 하나를 포함하는,
    전자 기기 가치 평가 방법.
  14. 전자 기기 가치 평가 장치에 있어서,
    복수의 딥러닝 평가 모델들을 저장하는 메모리;
    전자 기기를 촬영하여 획득된 복수의 이미지들 및 상기 딥러닝 평가 모델들을 기초로 상기 전자 기기에 대한 외관 상태 평가를 수행하는 외관 상태 평가 모듈; 및
    상기 외관 상태 평가의 결과 및 상기 전자 기기의 내부 상태 평가의 결과를 기초로 상기 전자 기기의 가치를 결정하는 가치 결정 모듈
    을 포함하고,
    상기 외관 상태 평가 모듈은,
    상기 딥러닝 평가 모델들을 통해 상기 이미지들로부터 상기 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성하고, 상기 생성된 각 마스크를 기초로 상기 평가 영역들 각각의 결함에 대한 등급을 결정하며, 상기 결정된 각 등급을 통해 상기 전자 기기의 외관 상태에 대한 최종 등급을 결정하는,
    전자 기기 가치 평가 장치.
  15. 제14항에 있어서,
    상기 딥러닝 평가 모델들 중 제1 딥러닝 평가 모델은 상기 전자 기기의 전면이 촬영되어 획득된 전면 이미지를 입력받은 경우, 상기 전면 이미지를 통해 상기 전면의 결함 상태를 예측한 제1 마스크를 생성하고, 상기 생성된 제1 마스크를 기초로 상기 전면의 결함에 대한 등급을 결정하며,
    상기 딥러닝 평가 모델들 중 제2 딥러닝 평가 모델은 상기 전자 기기의 후면이 촬영되어 획득된 후면 이미지를 입력받은 경우, 상기 후면 이미지를 통해 상기 후면의 결함 상태를 예측한 제2 마스크를 생성하고, 상기 생성된 제2 마스크를 기초로 상기 후면의 결함에 대한 등급을 결정하고,
    상기 딥러닝 평가 모델들 중 제3 딥러닝 평가 모델은 상기 전자 기기의 측면들이 촬영되어 획득된 측면 이미지들을 입력받은 경우, 상기 측면 이미지들을 통해 상기 측면들 중 적어도 하나의 결함 상태를 예측한 제3 마스크를 생성하고, 상기 생성된 제3 마스크를 기초로 상기 측면들의 결함에 대한 등급을 결정하고,
    상기 딥러닝 평가 모델들 중 제4 딥러닝 평가 모델은 상기 전자 기기의 화면이 촬영되어 획득된 화면 이미지를 입력받은 경우, 상기 화면 이미지를 통해 상기 전자 기기의 화면의 결함 상태를 예측한 제4 마스크를 생성하고, 상기 생성된 제4 마스크를 기초로 상기 전자 기기의 화면의 결함에 대한 등급을 결정하는,
    전자 기기 가치 평가 장치.
  16. 제14항에 있어서,
    상기 외관 상태 평가 모듈은,
    상기 전자 기기의 형태가 변경된 경우, 상기 딥러닝 평가 모델들 이외의 추가 딥러닝 평가 모델을 통해 상기 변경된 형태가 촬영되어 획득된 이미지로부터 상기 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크를 생성하고, 상기 변경된 형태의 평가 영역의 결함 상태를 예측한 마스크를 기초로 상기 변경된 형태의 평가 영역의 결함에 대한 등급을 결정하는,
    전자 기기 가치 평가 장치.
  17. 제14항에 있어서,
    상기 외관 상태 평가 모듈은,
    상기 결정된 각 등급 중 최소 등급을 상기 최종 등급으로 결정하는,
    전자 기기 가치 평가 장치.
  18. 제14항에 있어서,
    상기 외관 상태 평가 모듈은,
    상기 결정된 각 등급 각각에 가중치를 적용하고, 상기 각 가중치가 적용된 등급을 이용하여 상기 최종 등급을 결정하는,
    전자 기기 가치 평가 장치.
  19. 제14항에 있어서,
    상기 가치 결정 모듈은,
    상기 외관 상태 평가의 결과를 기초로 제1 금액을 결정하고, 상기 내부 상태 평가의 결과를 기초로 제2 금액을 결정하며, 상기 전자 기기의 기준 가격에서 상기 결정된 제1 금액과 상기 결정된 제2 금액을 차감하여 상기 전자 기기의 가격을 산출하는,
    전자 기기 가치 평가 장치.
  20. 제14항에 있어서,
    상기 결함 상태는,
    상기 평가 영역들 각각의 결함의 위치, 상기 결함의 종류, 및 상기 결함의 정도 중 적어도 하나를 포함하는,
    전자 기기 가치 평가 장치.
  21. 제14항에 있어서,
    상기 이미지들 각각에 결함으로 오인될 하나 이상의 객체가 포함되어 있는지 여부를 판단하고, 상기 객체가 포함된 이미지가 있는 경우, 상기 객체에 대한 처리를 수행하는 전처리 모듈
    을 더 포함하는,
    전자 기기 가치 평가 장치.
  22. 제21항에 있어서,
    상기 객체는,
    상기 전자 기기의 화면 상의 플로팅 아이콘에 대응되는 객체, 상기 전자 기기에 부착된 스티커에 대응되는 객체, 및 상기 전자 기기에 묻어있는 이물질에 대응되는 객체 중 적어도 하나를 포함하는,
    전자 기기 가치 평가 장치.
  23. 전자 기기 가치 평가 장치에 있어서,
    전자 기기를 촬영하여 획득된 복수의 이미지들 각각에 상기 전자 기기의 결함으로 오인될 하나 이상의 객체가 포함되어 있는지 여부를 판단하는 전처리 모듈;
    상기 객체가 포함된 이미지가 있는 경우, 상기 객체에 대한 처리를 수행하는 단계; 상기 객체가 처리된 이미지, 상기 객체가 없는 나머지 이미지, 및 딥러닝 평가 모델들을 기초로 상기 전자 기기에 대한 외관 상태 평가를 수행하는 외관 상태 평가 모듈; 및
    상기 외관 상태 평가의 결과 및 상기 전자 기기의 내부 상태 평가의 결과를 기초로 상기 전자 기기의 가치를 결정하는 가치 결정 모듈
    을 포함하는,
    전자 기기 가치 평가 장치.
  24. 제23항에 있어서,
    상기 외관 상태 평가 모듈은,
    상기 딥러닝 평가 모델들을 통해 상기 객체가 처리된 이미지 및 상기 나머지 이미지로부터 상기 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성하고, 상기 생성된 각 마스크를 기초로 상기 평가 영역들 각각의 결함에 대한 등급을 결정하고, 상기 결정된 각 등급을 통해 상기 전자 기기의 외관 상태에 대한 최종 등급을 결정하는,
    전자 기기 가치 평가 장치.
  25. 컴퓨팅 장치에 의해 수행되는 트레이닝 방법에 있어서,
    결함에 대한 학습 이미지를 딥러닝 모델에 입력하는 단계;
    상기 딥러닝 모델을 통해 상기 학습 이미지로부터 상기 결함의 상태를 예측한 마스크를 생성하는 단계;
    상기 생성된 마스크와 상기 결함에 대한 레이블 마스크(labeled mask) 사이의 유사도를 연산하는 단계;
    상기 연산된 유사도가 임계값 미만인 경우 상기 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트하는 단계; 및
    상기 연산된 유사도가 상기 임계값 이상인 경우, 상기 딥러닝 모델에 대한 트레이닝을 종료하는 단계
    를 포함하는,
    컴퓨팅 장치에 의해 수행되는 트레이닝 방법.
  26. 제25항에 있어서,
    상기 마스크를 생성하는 단계는,
    제1 딥러닝 모델에 제1 학습 이미지를 입력한 경우, 상기 제1 딥러닝 모델을 이용하여 상기 제1 학습 이미지로부터 전자 기기의 전면의 결함 상태를 예측한 제1 마스크를 생성하는 단계;
    제2 딥러닝 모델에 제2 학습 이미지를 입력한 경우, 상기 제2 딥러닝 모델을 이용하여 상기 제2 학습 이미지로부터 상기 전자 기기의 후면의 결함 상태를 예측한 제2 마스크를 생성하는 단계;
    제3 딥러닝 모델에 제3 학습 이미지를 입력한 경우, 상기 제3 딥러닝 모델을 이용하여 상기 제3 학습 이미지로부터 상기 전자 기기의 측면의 결함 상태를 예측한 제3 마스크를 생성하는 단계; 및
    제4 딥러닝 모델에 제4 학습 이미지를 입력한 경우, 상기 제4 딥러닝 모델을 이용하여 상기 제4 학습 이미지로부터 상기 전자 기기의 화면의 결함 상태를 예측한 제4 마스크를 생성하는 단계
    를 포함하는,
    컴퓨팅 장치에 의해 수행되는 트레이닝 방법.
PCT/KR2023/002426 2022-02-24 2023-02-21 전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법 WO2023163476A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0024092 2022-02-24
KR20220024092 2022-02-24
KR10-2022-0083791 2022-07-07
KR1020220083791A KR20230127121A (ko) 2022-02-24 2022-07-07 전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법

Publications (1)

Publication Number Publication Date
WO2023163476A1 true WO2023163476A1 (ko) 2023-08-31

Family

ID=87766373

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/002426 WO2023163476A1 (ko) 2022-02-24 2023-02-21 전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법

Country Status (1)

Country Link
WO (1) WO2023163476A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170019085A (ko) * 2015-08-11 2017-02-21 에스케이 주식회사 중고 모바일 단말 자동 가치평가 방법 및 장치
KR20180088063A (ko) * 2017-01-26 2018-08-03 (주)금강시스템즈 중고 휴대폰의 가치 분석 시스템 및 이를 이용한 중고 휴대폰 매입 방법
KR20190025527A (ko) * 2017-09-01 2019-03-11 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102148884B1 (ko) * 2020-04-02 2020-08-27 주식회사 애자일소다 차량의 손상 분석 시스템 및 방법
KR102214039B1 (ko) * 2020-05-15 2021-02-09 (주)서경자동차 Vr 기법을 활용한 중고차 수리 및 판매 서비스를 제공하는 방법 및 시스템
KR20210127199A (ko) * 2019-02-18 2021-10-21 에코에이티엠, 엘엘씨 전자 디바이스의 신경망 기반의 물리적 상태 평가, 및 관련된 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170019085A (ko) * 2015-08-11 2017-02-21 에스케이 주식회사 중고 모바일 단말 자동 가치평가 방법 및 장치
KR20180088063A (ko) * 2017-01-26 2018-08-03 (주)금강시스템즈 중고 휴대폰의 가치 분석 시스템 및 이를 이용한 중고 휴대폰 매입 방법
KR20190025527A (ko) * 2017-09-01 2019-03-11 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210127199A (ko) * 2019-02-18 2021-10-21 에코에이티엠, 엘엘씨 전자 디바이스의 신경망 기반의 물리적 상태 평가, 및 관련된 시스템 및 방법
KR102148884B1 (ko) * 2020-04-02 2020-08-27 주식회사 애자일소다 차량의 손상 분석 시스템 및 방법
KR102214039B1 (ko) * 2020-05-15 2021-02-09 (주)서경자동차 Vr 기법을 활용한 중고차 수리 및 판매 서비스를 제공하는 방법 및 시스템

Similar Documents

Publication Publication Date Title
TWI787296B (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
WO2019164232A1 (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2018143550A1 (ko) 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법
WO2020000643A1 (zh) Ct图像肺结节检测方法、设备及可读存储介质
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2021095916A1 (ko) 객체의 이동경로를 추적할 수 있는 추적시스템
CN105424710A (zh) 一种电子设备屏幕检测方法及装置
WO2020017875A1 (en) Electronic apparatus, method for processing image and computer-readable recording medium
WO2011065671A2 (ko) 영상의 정점 검출 장치 및 방법
WO2021012508A1 (zh) Ai影像识别方法、装置、设备及存储介质
WO2020032506A1 (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
WO2010008134A2 (en) Image processing method
WO2023163476A1 (ko) 전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법
WO2019035544A1 (ko) 학습을 이용한 얼굴 인식 장치 및 방법
WO2018131737A1 (ko) 불량 패널 검사 장치
WO2022158628A1 (ko) 머신러닝 모델에 기반한 디스플레이 패널의 결함 판정 시스템
KR20230127121A (ko) 전자 기기 가치 평가 방법 및 장치와 딥러닝 모델 트레이닝 방법
WO2023191312A1 (ko) 전자 기기의 외관 상태 평가 및 가치 평가 방법과 전자 기기 가치 평가 장치
CN112183311A (zh) 一种基于双模态数据融合的变电站设备故障检测方法
WO2022114665A1 (ko) 태양전지 셀에 대한 이미지 분류 방법 및 장치
WO2024076223A1 (ko) 전자 기기 가치 평가 장치 및 이의 동작 방법
JP3396960B2 (ja) 塗膜劣化自動診断方法
WO2024096435A1 (ko) 전자 기기 외관 상태 평가 및 가치 평가 방법과 전자 기기 가치 평가 장치
WO2023177105A1 (ko) 전자 기기를 촬영하는 촬영 박스 및 이를 포함하는 무인 매입 장치
WO2022250190A1 (ko) 딥러닝 모델을 이용한 영상검사 대상체의 결함 판정시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23760350

Country of ref document: EP

Kind code of ref document: A1