WO2023177105A1 - Capture box for capturing electronic device, and unmanned purchasing device comprising same - Google Patents

Capture box for capturing electronic device, and unmanned purchasing device comprising same Download PDF

Info

Publication number
WO2023177105A1
WO2023177105A1 PCT/KR2023/002445 KR2023002445W WO2023177105A1 WO 2023177105 A1 WO2023177105 A1 WO 2023177105A1 KR 2023002445 W KR2023002445 W KR 2023002445W WO 2023177105 A1 WO2023177105 A1 WO 2023177105A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
photographing
unit
deep learning
control unit
Prior art date
Application number
PCT/KR2023/002445
Other languages
French (fr)
Korean (ko)
Inventor
지창환
Original Assignee
민팃(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220092591A external-priority patent/KR20230136502A/en
Application filed by 민팃(주) filed Critical 민팃(주)
Publication of WO2023177105A1 publication Critical patent/WO2023177105A1/en

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the following embodiments relate to a photography box that photographs electronic devices and an unmanned purchase device including the same.
  • learning data is needed, and this learning data can be obtained by using a shooting box to photograph electronic devices. If the shooting box of the actually operated automated device (or unmanned purchase device) is different from the shooting box used to secure the learning data, the learned artificial intelligence appearance analysis algorithm may not properly evaluate the appearance of the electronic device.
  • the artificial intelligence appearance analysis algorithm needs to be learned through learning data obtained in the same environment as the shooting environment of the shooting box when it is actually operated.
  • a photographing box for photographing an electronic device includes an input unit that allows the electronic device to be introduced into the photographing box; A seating portion on which the electronic device is seated; an alignment unit that aligns the mounted electronic device to a predetermined position; An app linkage unit that displays a single-color screen on the electronic device in conjunction with an application installed on the electronic device; a photographing unit that photographs electronic devices aligned at the predetermined location in a given photographing environment; and controlling the alignment unit to align the mounted electronic device at the predetermined position, and controlling the photographing unit to capture an appearance of the aligned electronic device when the mounted electronic device is aligned at the predetermined position, wherein the alignment It may include a control unit that controls the app linkage unit to display the monochromatic screen on the aligned electronic device in order to inspect the screen of the aligned electronic device, and controls the photographing unit to capture the monochromatic screen.
  • the photographing unit includes a first camera that photographs the front of the aligned electronic devices; a second camera that photographs the rear of the aligned electronic devices; a plurality of third cameras that photograph sides of the aligned electronic devices; and one or more light sources providing illumination.
  • the alignment unit may include a movable bar.
  • the control unit may control the moving bar so that the mounted electronic device moves to the determined position, and may return the moving bar when the mounted electronic device moves to the determined position.
  • the control unit may calculate the distance that the mounted electronic device must move to the determined position using the size of the mounted electronic device, and may control the moving bar based on the calculated distance.
  • the photographing unit includes a plurality of light sources; and light output by a first light source among the light sources is formed as a first line illumination on one side of the front of the aligned electronic device, and light output by a second light source among the light sources is directed to another side of the front. It may include a first structure configured to be formed as a second line light on one side.
  • the control unit turns on the first light source and turns off the second light source to control the photographing unit to capture the front surface when the first line lighting is formed on one side of the front surface, and the first light source By turning off and turning on the second light source, the photographing unit can be controlled to capture the front surface when the second line lighting is formed on the other side of the front surface.
  • An unmanned acquisition device includes a photographing box for photographing an electronic device; a system control unit that transmits images obtained by photographing the electronic device and evaluation results of the internal state of the electronic device to a server, and receives a value of the electronic device determined through the images and the evaluation results from the server; and a display displaying the received value.
  • a method of operating a photographing box for photographing an electronic device includes the steps of aligning an electronic device seated in the photographing box to a predetermined position; Photographing the exterior of the electronic device aligned at the predetermined location in a given photographing environment; Displaying a single-color screen on the electronic device in conjunction with an application installed on the electronic device; and photographing the electronic device displaying the monochromatic screen.
  • Software executing the above operating method may be stored in a computer-readable recording medium.
  • the shooting environment of the shooting box used to secure learning data and the shooting environment of the shooting box when actually operated may be the same, allowing the appearance evaluation of the electronic device to be performed more accurately.
  • FIGS. 1A to 1B are diagrams explaining an unmanned purchase device and a server according to an embodiment.
  • Figure 2 is a block diagram explaining an unmanned purchase device according to an embodiment.
  • Figure 3 is a block diagram explaining a shooting box according to an embodiment.
  • FIGS. 4 to 5C are diagrams illustrating a seating portion and an alignment portion of a photographing box according to an embodiment.
  • Figure 6 is a diagram explaining a photographing unit of a photographing box according to an embodiment.
  • FIGS. 7 to 9 are diagrams illustrating line lighting of a photographing unit of a photographing box according to an embodiment.
  • FIG. 10 is a diagram illustrating camera focus depth according to the position of an electronic device within a shooting box according to an embodiment.
  • FIG. 11 is a diagram illustrating a status bar of an electronic device according to an embodiment.
  • 12 to 15 are diagrams explaining the operation of an electronic device value evaluation device according to an embodiment.
  • Figure 16 is a block diagram illustrating the configuration of a computing device for training a deep learning model according to an embodiment.
  • 17A to 17C are diagrams explaining a target mask and a prediction mask according to an embodiment.
  • Figure 18 is a flowchart explaining a deep learning model training method of a computing device according to an embodiment.
  • first or second may be used to describe various components, but these terms should be interpreted only for the purpose of distinguishing one component from another component.
  • a first component may be named a second component, and similarly, the second component may also be named a first component.
  • FIGS. 1A to 1B are diagrams explaining an unmanned purchase device and a server according to an embodiment.
  • an unmanned purchase device 110 and a server 120 are shown.
  • the unmanned purchase device 110 may purchase electronic devices (or used electronic devices) (e.g., smartphones, tablet PCs, wearable devices, etc.) from users and/or sell electronic devices (or used electronic devices) to users.
  • electronic devices or used electronic devices
  • the type of electronic device may be classified into a bar type, rollable type, or foldable type depending on its shape.
  • the unmanned purchase device 110 may be, for example, in the form of a kiosk, but is not limited thereto.
  • the unmanned embedded device 110 may include a shooting box, a system control unit, and a display.
  • the user can connect the cable (e.g. USB Type C cable, Lightning cable, etc.) of the unmanned embedding device 110 and the electronic device, and the electronic device can be placed in the shooting box.
  • Electronic devices may be connected to the system control unit of the unmanned embedding device 110 through a cable.
  • the electronic device may be connected to the system control unit of the unmanned embedded device 110 wirelessly (e.g., Bluetooth, Bluetooth Low Energy (BLE), etc.).
  • the system control unit of the unmanned purchase device 110 may install a first application on the electronic device to inspect the internal state of the electronic device and collect information about the electronic device (e.g., model name, serial number, operating system version, etc.). It is not limited to this, and the user may pre-install the first application on the electronic device before inserting the electronic device into the unmanned purchase device 110.
  • a first application on the electronic device to inspect the internal state of the electronic device and collect information about the electronic device (e.g., model name, serial number, operating system version, etc.). It is not limited to this, and the user may pre-install the first application on the electronic device before inserting the electronic device into the unmanned purchase device 110.
  • the first application can collect information about the electronic device and evaluate (or analyze) the internal state (e.g., hardware operating state, etc.) of the electronic device.
  • the hardware operation state may indicate whether the hardware (eg, sensor, camera, etc.) of the electronic device is operating normally.
  • the first application can evaluate (or determine) whether the hardware of the electronic device operates normally.
  • a plurality of cameras and a plurality of light sources may be located in the shooting box.
  • the first camera in the photographing box may acquire one or more front images of the electronic device by photographing the front of the electronic device.
  • the second camera in the shooting box may acquire one or more rear images of the electronic device by photographing the rear of the electronic device.
  • Each of the plurality of third cameras in the shooting box may acquire one or more side images (or corner images) by photographing each side (or corner) of the electronic device.
  • the first camera may acquire one or more images (hereinafter referred to as “screen images”) by photographing the screen of the electronic device.
  • the first application may display a single-color (e.g., white, black, red, blue, green, etc.) screen on the electronic device.
  • a monochromatic screen image When a monochromatic screen is displayed on the electronic device, the first camera may acquire an image (hereinafter referred to as a “monochromatic screen image”) by photographing the monochromatic screen of the electronic device.
  • a white screen is displayed on the electronic device
  • the first camera may acquire a first monochromatic screen image by photographing the white screen of the electronic device.
  • the first camera may acquire a second monochromatic screen image by photographing the black screen of the electronic device. While the electronic device displays a screen of a single color other than white and black (e.g., red, blue, green, etc.), the first camera may acquire a third single-color screen image by photographing the other single-color screen of the electronic device. .
  • a single color other than white and black e.g., red, blue, green, etc.
  • the electronic device value evaluation device 130 is based on images acquired by photographing electronic devices (e.g., one or more front images, one or more rear images, one or more side images, and one or more monochromatic screen images) and deep learning evaluation models. Appearance condition evaluation of electronic devices can be performed.
  • the electronic device valuation device 130 may be included in the server 120 .
  • the server 120 may receive images obtained by photographing an electronic device from the unmanned purchase device 110, and may transmit the received images to the electronic device value evaluation device 130.
  • the first application in the electronic device may perform an evaluation of the internal state of the electronic device and transmit the result of the evaluation of the internal state of the electronic device to the server 120 through the unmanned embedded device 110.
  • the first application may allow the electronic device to connect to the server 120 and transmit the result of evaluating the internal state of the electronic device to the server 120 through the electronic device.
  • the electronic device value evaluation device 130 evaluates the electronic device based on the result of the external state evaluation of the electronic device and the result of the internal state evaluation of the electronic device (e.g., the result of the first application performing the internal state evaluation of the electronic device). Value (e.g. price) can be determined.
  • the electronic device value evaluation device 130 can transmit the value of the electronic device to the unmanned purchasing device 110, and the unmanned purchasing device 110 can convey the value of the electronic device to the user by displaying the value of the electronic device on the display. there is.
  • the user can accept the value (e.g., price) of the electronic device and convey to the unmanned purchasing device 110 that the electronic device will be sold, and the unmanned purchasing device 110 is placed in the shooting box when the user decides to sell the electronic device.
  • Electronic devices can be moved to a recovery box (or storage box). Depending on the embodiment, the recovery box may be located inside or outside the unmanned burial device 110.
  • the electronic device valuation device 130 may be included in the unmanned purchase device 110 .
  • the system control unit of the unmanned purchase device 110 may perform the operation of the electronic device value evaluation device 130.
  • the electronic device value evaluation device 130 may operate independently from the system control unit of the unmanned purchase device 110.
  • the electronic device value evaluation device 130 may receive images obtained by photographing the electronic device from cameras in a photographing box. The electronic device value evaluation device 130 may receive the result of evaluating the internal state of the electronic device from the first application.
  • the electronic device value evaluation device 130 may determine the value (e.g., price) of the electronic device based on the result of evaluating the external condition of the electronic device and the result of evaluating the internal state of the electronic device.
  • the electronic device value evaluation device 130 can convey the value of the electronic device to the user by displaying the value of the electronic device on the display.
  • the user can accept the value (e.g., price) of the electronic device and convey to the unmanned purchasing device 110 that the electronic device will be sold, and the unmanned purchasing device 110 is placed in the shooting box when the user decides to sell the electronic device.
  • Electronic devices can be moved to a recovery box (or storage box).
  • deep learning models must be trained based on learning images acquired in the same environment as the shooting box in the unmanned purchase device 110 to improve the accuracy of the appearance evaluation results of the electronic device.
  • trained deep learning models can be installed in an electronic device value evaluation device as deep learning evaluation models.
  • the shooting box In order to secure learning data used for training a deep learning model, there must be no or reduced shooting variability regardless of the shooting target (e.g. electronic device). Whenever shooting various electronic devices, the shooting box must provide a shooting environment that aligns the various electronic devices in a given position and allows shooting the various electronic devices at the same angle.
  • the shooting target e.g. electronic device
  • the shooting box (or system control unit) can display a single-color screen on the electronic device through the first application installed on the electronic device.
  • the brightness and/or color of the monochromatic screen of the electronic device may vary depending on the type and manufacturer of the electronic device.
  • the white screen of electronic device A may have a blue color
  • the white screen of electronic device B may have a red color.
  • the shooting box (or system control unit) can cause various electronic devices to display a white screen with the same brightness and color through the first application.
  • Indirect lighting can make microscopic defects or microscratches on the exterior of electronic devices more detectable. It may not be easy to provide indirect lighting in a shooting box of a certain size. As will be explained below, the shooting box can provide indirect lighting in the form of a line through a line-type structure and light source.
  • Figure 2 is a block diagram explaining an unmanned purchase device according to an embodiment.
  • Figure 3 is a block diagram explaining a shooting box according to an embodiment.
  • the unmanned purchase device 110 may include a photographing box 210, a system control unit 220, and a display 230.
  • the photography box 210 according to one embodiment includes an input unit 310, a seating unit 320, an alignment unit 330, an app linkage unit 340, and a photography unit 350. , and a control unit 360.
  • system control unit 220 of FIG. 2 and the control unit 360 of FIG. 3 may be in a master-slave relationship.
  • the system control unit 220 may correspond to the master and the control unit 360 may correspond to the slave.
  • control unit 360 may be omitted from the shooting box 210, and the system control unit 220 may perform the operation of the control unit 360.
  • the app linking unit 340 may be omitted from the shooting box 210, and the control unit 360 may perform the operation of the app linking unit 340.
  • the system control unit 220 can control the overall operation of the unmanned embedding device 110.
  • the system control unit 220 may display guidelines and/or precautions for selling electronic devices on the display 230.
  • the system control unit 220 may display a user interface for receiving various information from the user (eg, operating system (OS) information of an electronic device to be sold by the user) on the display 230.
  • OS operating system
  • a first application installed on the electronic device may display a serial number on the display of the electronic device.
  • the user can enter the serial number into display 230.
  • the system control unit 220 may verify the serial number entered through the display 230 or request verification from the server 120.
  • the system control unit 220 can open the door when the entered serial number is verified.
  • the input portion 310 (or input port) of the photographing box 210 and the internal space of the photographing box 210 may be revealed.
  • the user may place the electronic device on the seating unit 320 within the photographing box 210.
  • the shooting box 210 may include a wired cable that can be connected to an electronic device. The user can connect the wired cable and the electronic device, and place the electronic device connected to the wired cable on the seating unit 320.
  • the alignment unit 330 can align the mounted electronic device to a predetermined position. If the electronic device is not aligned in a designated position, the photographing unit 350 may not be able to properly photograph the exterior of the electronic device. If the electronic device is not aligned in a designated position, the image acquired by the photographing unit 350 may be out of focus.
  • the alignment unit 330 may include a movable movement bar.
  • the control unit 360 can control the moving bar so that the mounted electronic device moves to a predetermined position, and can return the moving bar when the mounted electronic device moves to the predetermined position.
  • the app linkage unit 340 may display a single-color screen (e.g., a white screen, a black screen, etc.) on the electronic device by linking with an application installed on the electronic device (e.g., the first application described above).
  • a single-color screen e.g., a white screen, a black screen, etc.
  • the app linking unit 340 may receive an evaluation result of the internal state of the electronic device from the first application installed on the electronic device.
  • the app linkage unit 340 can deliver the evaluation result of the internal state of the electronic device to the system control unit 220 through the control unit 360 or directly deliver the evaluation result of the internal state of the electronic device to the system control unit 220. there is.
  • the photographing unit 350 can photograph electronic devices aligned at a predetermined location.
  • the photographing unit 350 includes a first camera for photographing the front of the aligned electronic devices, a second camera for photographing the rear of the aligned electronic devices, and a plurality of cameras for photographing the sides (or corners) of the aligned electronic devices. It may include third cameras and a plurality of light sources that provide illumination.
  • the control unit 360 can control at least one of the input unit 310, the alignment unit 330, the app linking unit 340, and the capturing unit 350.
  • control unit 360 may control the photographing unit 350 to photograph the exterior of the aligned electronic device.
  • the control unit 360 may control the app linking unit 340 to display a single-color screen on the aligned electronic devices in order to inspect the screens of the aligned electronic devices, and may control the capturing unit 350 to capture a monochromatic screen of the electronic device. You can control it.
  • the system control unit 220 receives images obtained by photographing an electronic device (e.g., one or more front images, one or more rear images, one or more side (or corner) images, and one or more screen images) from the shooting box 210. can do.
  • an electronic device e.g., one or more front images, one or more rear images, one or more side (or corner) images, and one or more screen images
  • the system control unit 220 may transmit the received images and evaluation results of the internal state of the electronic device to the server 120.
  • the server 120 may determine the value of the electronic device through the received images and an evaluation result of the internal state of the electronic device. For example, the server 120 may evaluate the external state of the electronic device through received images and a plurality of deep learning evaluation models, and use the evaluation result of the external state and the internal state of the electronic device to evaluate the external state of the electronic device. The value can be determined.
  • the server 120 may transmit the determined value to the unmanned purchasing device 110 (or the system control unit 220).
  • Display 230 may display the received value.
  • system control unit 220, the app linking unit 340, and the control unit 360 may be implemented by one processor.
  • the system control unit 220, the app linking unit 340, and the control unit 360 may each be implemented by separate processors.
  • system control unit 220 may be implemented by one or more processors and the app linking unit 340 and the control unit 360 may be implemented by one or more processors.
  • FIGS. 4 to 5C are diagrams illustrating a seating portion and an alignment portion of a photographing box according to an embodiment.
  • a first camera 430, an electronic device 420, and a plate 410 are shown.
  • the first camera 430 may be fixed.
  • the user can insert an electronic device into the interior of the shooting box 210 through the input unit 310 and seat the electronic device 420 on the seating unit 320. You can. At this time, the user can seat the electronic device on the seating unit 320 while connecting the electronic device 420 and the wired cable.
  • the control unit 360 or system control unit 220 detects the seating of the electronic device 420 and connects the electronic device 420 and the wireless device.
  • a communication link e.g. Wi-Fi, Bluetooth link, etc.
  • the alignment unit 330 can align the electronic device 420 to a predetermined position.
  • the seating unit 320 may include a plate 410, and the alignment unit 330 moves the seated electronic device 420 so that the center of the seated electronic device 420 is located at the center of the plate 410. You can do it.
  • the alignment unit 330 may include a moving bar 510 .
  • the control unit 360 sets the seated electronic device 420 to a determined position (e.g., the center position on the plate 410).
  • the movement bar 510 can be controlled to move to .
  • the electronic device 420 can move to the center position on the plate 410.
  • the control unit 360 may know the size of the mounted electronic device 420.
  • the control unit 360 can know the model name of the mounted electronic device 420 and can know the size of the mounted electronic device 420 through the model name.
  • the control unit 360 may use the size of the mounted electronic device 420 to calculate the distance that the mounted electronic device 420 must move to a given location.
  • the control unit 360 may control the moving bar 510 so that the moving bar 510 moves by the calculated distance.
  • the control unit 360 returns the moving bar 510 to the original position, as shown in the example shown in FIG. 5C. It can be restored, and the photographing unit 340 can be controlled so that the photographing unit 340 photographs the electronic device 420.
  • the first camera 430 can photograph the front of the electronic device 420, and when a monochromatic screen is displayed on the electronic device 420, the first camera 430 can photograph a monochromatic screen of the electronic device 420.
  • the plate 410 may be transparent, and the second camera may photograph the rear of the electronic device 420 .
  • Each of the plurality of third cameras may photograph each side (or corner) of the electronic device 420.
  • Figure 6 is a diagram explaining a photographing unit of a photographing box according to an embodiment.
  • the photographing unit 350 includes a plurality of cameras (610-1 to 610-n), a plurality of light sources (620-1 to 620-m), a camera control unit 630, and a lighting control unit 640. ), and may include a shooting control unit 650.
  • the camera control unit 630 and the lighting control unit 640 may be omitted from the shooting unit 350, and the shooting control unit 650 may perform the respective operations of the camera control unit 630 and the lighting control unit 640. It can be done.
  • the camera control unit 630, lighting control unit 640, and shooting control unit 650 may be omitted from the shooting unit 350, and the control unit 330 (or system control unit 220) may be used as the camera control unit 350.
  • the control unit 330 or system control unit 220
  • Each operation of the control unit 630, lighting control unit 640, and photography control unit 650 can be performed.
  • the shooting control unit 650 may transmit a control signal to the camera control unit 630 and the lighting control unit 640, respectively.
  • the camera control unit 630 may transmit a control signal to camera 1 (or first camera) 610-1 to allow camera 1 (610-1) to photograph the front of the electronic device.
  • the lighting control unit 640 may transmit a power on signal to light source 1 (620-1) corresponding to camera 1 (610-1) so that light source 1 (620-1) is turned on. Turned on, light source 1 (620-1) can perform direct lighting or indirect lighting. Previously, it was explained that one light source 1 (620-1) corresponds to camera 1 (610-1), but this is only an example, and two or more light sources may correspond to camera 1 (610-1). A plurality of light sources corresponding to Camera 1 (610-1) may be turned on to provide lighting for Camera 1 (610-1) to photograph the front of the electronic device.
  • the camera control unit 630 may receive shooting data (e.g., one or more front images) of camera 1 (610-1) from camera 1 (610-1), and send the shooting data of camera 1 (610-1) to the control unit. It can be transmitted to 360 (or system control unit 220).
  • shooting data e.g., one or more front images
  • 360 or system control unit 220
  • the camera control unit 630 may transmit a control signal to camera 2 (or second camera) 610-2 to allow camera 2 (610-2) to photograph the rear of the electronic device.
  • the lighting control unit 640 may transmit a power-on signal to light source 2 (620-2) corresponding to camera 2 (610-2) so that light source 2 (620-2) is turned on.
  • the turned-on light source 2 (620-2) can perform direct lighting or indirect lighting. Previously, it was explained that one light source 2 (620-2) corresponds to camera 2 (610-2), but this is only an example, and two or more light sources may correspond to camera 2 (610-2).
  • the light sources corresponding to Camera 2 (610-1) may be turned on to provide lighting for Camera 2 (610-1) to photograph the rear of the electronic device.
  • the camera control unit 630 may receive shooting data (e.g., one or more rear images) of camera 2 (610-2) from camera 2 (610-2), and may receive shooting data of camera 2 (610-2) from the control unit. It can be transmitted to 360 (or system control unit 220).
  • shooting data e.g., one or more rear images
  • 360 or system control unit 220
  • the camera control unit 630 transmits information to cameras (or third cameras) for photographing the sides (or corners) of the electronic device so that each of the cameras photographs each of the sides (or corners) of the electronic device. can do.
  • the lighting control unit 640 may transmit a power-on signal to the light sources corresponding to the cameras so that the light sources are turned on. Turned on light sources may perform direct illumination or indirect illumination.
  • the camera control unit 630 may receive shooting data (e.g., side (corner) images of the electronic device) from cameras that photograph the sides (or corners) of the electronic device, and transmit the shooting data to the control unit 360. (Or it can be transmitted to the system control unit 220).
  • Photographing the front, back, and sides (or corners) of the electronic device can be performed simultaneously. Without being limited thereto, filming of the front, back, and sides (or corners) of the electronic device may be performed sequentially.
  • the shooting control unit 650 may transmit a control signal to the camera control unit 630 and the lighting control unit 640.
  • the camera control unit 630 may transmit a control signal to Camera 1 (610-1) to allow Camera 1 (610-1) to photograph the front of the electronic device.
  • the lighting control unit 640 may transmit a power-on signal to one or more light sources corresponding to Camera 1 (610-1) so that the one or more light sources corresponding to Camera 1 (610-1) are turned on.
  • the photography control unit 650 may transmit a control signal for photographing the rear of the electronic device to the camera control unit 630 and the lighting control unit 640.
  • the camera control unit 630 may transmit a control signal to Camera 2 (610-2) to allow Camera 2 (610-2) to photograph the rear of the electronic device.
  • the lighting control unit 640 may transmit a power-on signal to one or more light sources corresponding to Camera 2 (610-2) so that the one or more light sources corresponding to Camera 2 (610-2) are turned on.
  • the lighting control unit 640 may transmit a power-off signal to one or more light sources that were turned on to photograph the front of the electronic device.
  • the photography control unit 650 may transmit a control signal for photographing the sides (or corners) of the electronic device to the camera control unit 630 and the lighting control unit 640.
  • the camera control unit 630 may transmit a control signal to cameras for side shooting (or corner shooting) to allow the cameras to shoot the sides (or corners) of the electronic device.
  • the lighting control unit 640 may transmit a power-on signal to light sources corresponding to cameras for side imaging to turn on the light sources.
  • the lighting control unit 640 may transmit a power-off signal to one or more light sources that were turned on to photograph the rear of the electronic device.
  • the app linking unit 340 may display a single-color screen on the screen of the electronic device by linking with the first application installed on the electronic device.
  • the app linkage unit 340 may transmit a screen capture request to the capture control unit 650.
  • the shooting control unit 650 may transmit a control signal to the camera control unit 630 and the lighting control unit 640 in response to a screen shooting request from the app linking unit 340.
  • Camera 630 may transmit a control signal to Camera 1 (610-1) to allow Camera 1 (610-1) to capture a monochromatic screen of the electronic device.
  • the lighting control unit 640 may transmit a control signal to light source 1 (620-1) corresponding to camera 1 (610-1) so that light source 1 (620-1) is turned on.
  • the camera control unit 630 may receive shooting data (e.g., one or more screen images) of camera 1 (610-1) from camera 1 (610-1), and may send the shooting data of camera 1 (610-1) to the control unit. It can be transmitted to 360 (or system control unit 220).
  • shooting data e.g., one or more screen images
  • 360 or system control unit 220
  • FIGS. 7 to 9 are diagrams illustrating line lighting of a photographing unit of a photographing box according to an embodiment.
  • the imaging unit 350 may include light sources 710-1 and 710-2, a first camera 720, and a first structure 730.
  • the first structure 730 can cause the light output by the first light source 710-1 to be formed as first line lighting on one side of the front of the electronic device 740, and the second light source 710-2 ) can be formed as second line lighting on the other side of the front of the electronic device 740.
  • Images 801, 803, and 805 shown in FIG. 8 are examples of front images of electronic devices.
  • line lighting is not formed on the front of the electronic device, so it may be difficult to determine whether there is a defect on the front of the electronic device in the image 801.
  • the server may determine whether there is a defect on the front of the electronic device from the image 801.
  • the light output by the second light source 710-2 may be formed as a second line light 810 on the other side of the front of the electronic device by the first structure 730. there is.
  • the light output by the first light source 710-1 may be formed as a first line light 820 on one side of the front of the electronic device by the first structure 730. .
  • the server can determine that there are no defects on the front of the electronic device from the image 803 and the image 805.
  • Images 901, 903, and 905 shown in FIG. 9 are examples of front images of electronic devices.
  • the image 901 since line lighting is not formed on the front of the electronic device, it may be difficult for the server to determine whether a defect exists on the front of the electronic device from the image 901.
  • the light output by the second light source 710-2 may be formed as a second line light 910 on the other side of the front of the electronic device by the first structure 730. there is.
  • defects 930 - 1 and 930 - 2 in image 903 can be observed by second line illumination 910 .
  • the server may detect defects 930-1 and 930-2 present on the front of the electronic device from the image 903.
  • the light output by the first light source 710-1 may be formed as a first line light 920 on one side of the front of the electronic device by the first structure 730. .
  • defects 940 - 1 to 940 - 4 in image 905 may be observed by first line illumination 910 .
  • the server may detect defects 940-1 and 940-2 present on the front of the electronic device from the image 905.
  • FIG. 10 is a diagram illustrating camera focus depth according to the position of an electronic device within a shooting box according to an embodiment.
  • the focal depth point (a) of camera 1020 is shown.
  • the evaluation area (e.g., side, etc.) of the electronic device 1010 must be located within the range of a ⁇ a' (focus range in Figure 10) (hereinafter referred to as "camera focus range") to obtain an image that is not out of focus. You can.
  • a' may represent the tolerance.
  • a side of electronic device 1010 may be located within the camera focal range, such that the camera may be Images taken from the side may not be out of focus.
  • the side of the electronic device 1010 may not be located within the camera focus range, and accordingly, the image taken by the camera of the side of the electronic device 1010 may be out of focus. there is.
  • the alignment unit 330 may move the electronic device 1010 to a designated position if the electronic device 1010 is not in a designated position.
  • the photographing unit 350 may perform auto-focusing of the camera.
  • the camera may be capable of a pan operation and/or a tilt operation, and the photographing unit 350 may allow the camera to perform a pan operation and/or a tilt operation.
  • the camera may not be fixed within the shooting box 210 and may move in the x-axis, y-axis, and z-axis directions within the shooting box 210.
  • the photographing unit 350 can determine the appropriate position of the camera according to the seating position of the electronic device 1010 and move the camera 1020 to the determined position.
  • the shooting box 210 may secure learning data for a deep learning evaluation model, which will be described later.
  • the location and setting values of lighting and cameras e.g., lighting intensity, lighting wavelength, shooting angle, etc.
  • the shooting box 210 may move the electronic device 1010 to the allowable space.
  • the shooting box 210 can capture the exterior of the electronic device by adjusting the camera and lighting to the seating position of the electronic device.
  • FIG. 11 is a diagram illustrating a status bar of an electronic device according to an embodiment.
  • the screen of the electronic device 1110 may include a first status bar 1120 and a second status bar 1130.
  • the first status bar 1120 may be located at the top of the screen, and the second status bar 1130 may be located at the bottom of the screen.
  • an afterimage of the icon of the first status bar 1120 and/or an afterimage of the icon of the second status bar 1130 may exist. These afterimages may correspond to screen defects.
  • the brightness and color tone of the white screen of an electronic device may vary depending on the electronic device.
  • the default RGB values may differ depending on the manufacturer of the display module of the electronic device, and the brightness and/or color of the white screen of the electronic device may vary accordingly.
  • the app linkage unit 340 (or control unit 360) displays a white screen with consistent brightness and color for each electronic device through at least one of the manufacturer of the electronic device, the type of display module of the electronic device, and the RCB value set as default. You can display it.
  • 12 to 15 are diagrams explaining the operation of an electronic device value evaluation device according to an embodiment.
  • the electronic device evaluation device 130 may include a memory 1210, an appearance condition evaluation module 1220, and a value determination module 1230.
  • the appearance condition evaluation module 1220 and the value determination module 1230 may be implemented with one processor.
  • the appearance condition evaluation module 1220 and the value determination module 340 may each be implemented with separate processors.
  • a first processor may implement the appearance condition evaluation module 1220 and a second processor may implement the value determination module 340.
  • the memory 1210 may store a plurality of deep learning evaluation models. For example, the memory 1210 may detect a defect in a first evaluation area (e.g., the front) of the electronic device and use a first deep learning evaluation model to determine the grade of the detected defect (or the first evaluation area), the electronic device.
  • a first evaluation area e.g., the front
  • a first deep learning evaluation model to determine the grade of the detected defect (or the first evaluation area), the electronic device.
  • a second deep learning evaluation model that detects defects in a second evaluation area (e.g., back side) and determines the grade of the detected defect (or second evaluation area), a third evaluation area (e.g., side (or a third deep learning evaluation model that detects defects in the corner) and determines the grade of the detected defect (or third evaluation area), and detects defects in the fourth evaluation area (e.g., screen) of the electronic device and determines the grade of the detected defect (or third evaluation area) It may include a fourth deep learning evaluation model that determines the grade of the defect (or fourth evaluation area). Table 1 below shows examples of defect types and grades for each of the evaluation areas (e.g. screen, front, side (or corner), rear).
  • medium afterimage is, for example, an electronic device that displays a white screen, but the user sees certain areas of the screen (e.g., the status display area at the top of the screen) as non-white and icons in certain areas. It can represent the visible phenomenon.
  • Strong afterimage for example, may indicate a phenomenon in which an electronic device displays a white screen, but the user sees a color other than white overall on the screen.
  • LCD-level afterimages are a condition in which the degree of afterimages is more severe than strong afterimages. For example, an electronic device displays a white screen, but the user may see a color other than white overall on the screen and an icon may appear on the screen. .
  • Each of the first to fourth deep learning evaluation models can perform image segmentation on a given input image.
  • Figure 13 shows the schematic structure of a deep neural network that is the basis for each deep learning evaluation model.
  • the structure of a deep neural network will be described as an example, but it is not necessarily limited to this and neural networks of various structures can be used in deep learning evaluation models.
  • a deep neural network is a method of implementing a neural network and includes multiple layers.
  • a deep neural network includes, for example, an input layer 1310 to which input data is applied, and an output layer 1340 to output a result value derived through prediction based on input data based on training. ), and may include multiple hidden layers 1320 and 1330 between the input layer and the output layer.
  • Deep neural networks can be classified into convolutional neural networks, recurrent neural networks, etc., depending on the algorithm used to process information.
  • the input layer is called the lowest layer and the output layer is called the highest layer, and the layers can be named by sequentially ranking them from the output layer, which is the highest layer, to the input layer, which is the lowest layer.
  • hidden layer 2 is a layer higher than hidden layer 1 and the input layer, and may correspond to a lower layer than the output layer.
  • a relatively higher layer can output a predetermined calculation result by multiplying the output value of the relatively lower layer by a weight and receiving a biased value. At this time, the output operation result can be applied to the upper layer adjacent to the corresponding layer in a similar manner.
  • a method of training a neural network is called deep learning, and as described above, various algorithms such as convolutional neural networks and recurrent neural networks can be used in deep learning.
  • Training a neural network means determining and updating the weight(s) and bias(s) between layers, and/or weight(s) between a plurality of neurons belonging to different layers among adjacent layers, and It can be understood as encompassing both determining and updating bias(es).
  • the plurality of layers, the hierarchical structure between the plurality of layers, and the weights and biases between neurons can all be collectively expressed as the “connectivity” of a neural network. Accordingly, “training a neural network” can also be understood as building and training connectivity.
  • each of a plurality of layers may include a plurality of nodes.
  • Nodes may correspond to neurons in a neural network.
  • the term “neuron” may be used interchangeably with the term “node.”
  • connection relationships are formed between a plurality of nodes included in one layer and combinations of a plurality of nodes included in an adjacent layer. In this way, a combination of all nodes included in adjacent layers of a neural network can be called “fully-connected.”
  • Node 3-1 of hidden layer 2 (1330) shown in FIG. 13 is connected to all nodes of hidden layer 1 (1320), that is, all nodes 2-1 to 2-4, and is connected to the output value of each node. You can input a value multiplied by a predetermined weight.
  • Data input to the input layer 1310 is processed through a plurality of hidden layers 1230 and 1330, so that an output value may be output through the output layer 1340.
  • a larger weight multiplied by the output value of each node may mean that the connectivity between the two corresponding nodes is strengthened, and a smaller weight may mean that the connectivity between the two nodes is weakened. If the weight is 0, it may mean that there is no connectivity between the two nodes.
  • the appearance condition evaluation module 1220 may perform an appearance condition evaluation on the electronic device based on a plurality of images obtained by photographing the electronic device and deep learning evaluation models. For example, the appearance condition evaluation module 1220 may generate a mask predicting the defect state of each of the first to fourth evaluation areas of the electronic device from images through deep learning evaluation models. The appearance condition evaluation module 1220 may determine the grade of defects in each of the first to fourth evaluation areas based on each generated mask. The exterior condition evaluation module 1220 may determine the final grade of the exterior condition of the electronic device through each determined grade.
  • the first deep learning evaluation model 1410 may receive a front image as input.
  • the first deep learning evaluation model 1410 can generate a first mask that predicts the defect state of the front of the electronic device (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) through the front image.
  • the degree of defect may be related to the defect type.
  • the first deep learning evaluation model 1410 may perform image segmentation on the front image to classify each pixel of the front image into one of the first classes, and generate a first mask according to this classification. can do.
  • Table 2 below shows examples of first classes.
  • Class 1-1 e.g. frontal scratches, frontal major scratches, etc.
  • Class 1-2 e.g. front breakage, floating liquid crystal, etc.
  • Classes 1-3 e.g. non-electronic devices
  • Classes 1-4 e.g. front of electronic devices
  • the first camera in the shooting box 210 can photograph not only the front of the electronic device but also the surroundings of the front, so the front image may include parts that are not the electronic device.
  • the first deep learning evaluation model 1410 may classify some pixels of the front image as class 1-1, and classify each of the remaining pixels as class 1-2, class 1-3, or class 1-4. It can be classified as: Through this classification, the first deep learning evaluation model 1410 can generate a first mask.
  • FIG. 15 An example of an image visually representing the first mask is shown in FIG. 15.
  • the black areas 1510-1, 1510-2, 1510-3, and 1510-4 are the first deep learning evaluation model 1410 that selects some pixels of the front image as 1-3. It may represent a result of classification into a class (or a result of the first deep learning evaluation model 1410 predicting that some pixels in the front image do not correspond to electronic devices).
  • the area 1520 is a result of the first deep learning evaluation model 1410 classifying some pixels of the front image into first and second classes (or the first deep learning evaluation model 1410 is located on the front of the electronic device from the front image). (results predicted to be damaged) can be displayed.
  • the area 1530 is a result of the first deep learning evaluation model 1410 classifying some pixels of the front image into the 1-1 class (or the first deep learning evaluation model 1410 is located on the front of the electronic device from the front image). (result predicted to have a flaw) can be displayed.
  • the area 1540 is a result of the first deep learning evaluation model 1410 classifying some pixels of the front image into classes 1 to 4 (or the first deep learning evaluation model 1410 classifies the front of the electronic device in the front image). predicted results).
  • the first deep learning evaluation model 1410 may determine a grade for a defect on the front surface based on the first mask. For example, when the first deep learning evaluation model 1410 predicts that there is at least one of damage and floating liquid crystal on the front of the electronic device through the front image, the grade of the defect on the front of the electronic device is graded as C (e.g. : It can be determined as Grade C in Table 1 above). The first deep learning evaluation model 1410 may output a score of 5 corresponding to a C grade. When the first deep learning evaluation model 1410 predicts that there are damages and scratches on the front of the electronic device through the front image, the grade of the defect on the front of the electronic device is graded as C (e.g. grade C in Table 1 above). can be decided.
  • C e.g. grade C in Table 1 above
  • the first deep learning evaluation model 1410 may output a score of 5 corresponding to a C grade. If the first deep learning evaluation model 1410 predicts that there is at least one of a scratch and a front damage level scratch on the front of the electronic device through the front image, the grade of the defect on the front of the electronic device is graded as B (e.g., above). It can be determined by grade B in Table 1). The first deep learning evaluation model 1410 may output a score of 3 corresponding to grade B. If the first deep learning evaluation model 1410 predicts that the front of the electronic device is clean (or has no defects on the front) through the front image, the grade of the defect on the front of the electronic device is graded as A (e.g., above). It can be determined by grade A in Table 1). The first deep learning evaluation model 1410 may output a score of 1 corresponding to grade A.
  • the second deep learning evaluation model 1420 can receive a rear image as input.
  • the second deep learning evaluation model 1420 may generate a second mask predicting the defect state (e.g., at least one of defect location, defect rectification, and defect degree) of the back of the electronic device through the back image. there is.
  • the second deep learning evaluation model 1420 may perform image segmentation on the back image, and classify each pixel of the back image into one of the second classes. Through this classification, the second deep learning evaluation model 1420 may perform image segmentation on the back image. You can create a mask. Table 3 below shows examples of second classes.
  • Class 2-1 e.g. breakage, back lifting, camera retention (or lens) breakage, etc.
  • Class 2-2 e.g. non-electronic devices
  • Classes 2-3 e.g. rear of electronic devices
  • the second deep learning evaluation model 1420 may determine the grade of the defect on the back side based on the second mask. For example, if the second deep learning evaluation model 1420 predicts that there is at least one of damage, back lifting, and camera lens damage on the back of the electronic device through the back image, the grade of the defect on the back of the electronic device can be determined as C grade (e.g., C grade in Table 1 above). The second deep learning evaluation model 1420 may output a score of 5 corresponding to a C grade. If the second deep learning evaluation model 1420 predicts that the back of the electronic device is clean through the back image, the grade of the defect on the back of the electronic device may be determined as Grade A (e.g., Grade A in Table 1 above). . The second deep learning evaluation model 1420 may output a score of 1 corresponding to grade A.
  • C grade e.g., C grade in Table 1 above
  • the second deep learning evaluation model 1420 may output a score of 5 corresponding to grade A.
  • the third deep learning evaluation model 1430 may receive side images (or corner images) as input.
  • the third deep learning evaluation model 1430 determines the defect status (e.g., location of defect, type of defect, and degree of defect) of the sides (or corners) of the electronic device through side images (or corner images).
  • a third mask predicting (at least one) can be generated.
  • the third deep learning evaluation model 1430 may perform image segmentation on side images (or corner images) and classify each pixel of each side image into one of the third classes. And through this classification, a third mask can be created. Table 4 below shows examples of third classes.
  • Class 3-1 e.g. scratches
  • Class 3-2 e.g. non-electronic devices
  • Class 3-3 e.g. the side (or corner) of an electronic device
  • the third deep learning evaluation model 1430 may determine the grade of defects in the sides (or corners) based on the third mask. For example, when the third deep learning evaluation model 1430 predicts that there is a scratch on the first side (or first corner) of the electronic device through side images (or corner images), the side of the electronic device
  • the grade for defects in corners (or corners) can be determined as a B+ grade (e.g., B+ grade in Table 1 above).
  • the third deep learning evaluation model 1430 may output a score of 2 corresponding to a B+ grade. If the third deep learning evaluation model 1430 predicts that the sides (or corners) of the electronic device are clean through the side images (or corner images), the sides (or corners) of the electronic device are defective.
  • the grade for can be determined as grade A (e.g. grade A in Table 1 above).
  • the third deep learning evaluation model 1430 may output a score of 1 corresponding to grade A.
  • the fourth deep learning evaluation model 1440 can receive a screen image (e.g., a single-color screen image) as input to an electronic device.
  • the fourth deep learning evaluation model 1440 can generate a fourth mask that predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the screen of the electronic device through the screen image.
  • the fourth deep learning evaluation model 1440 can perform image segmentation on the screen image and classify each pixel of the screen image into one of the fourth classes, and through this classification, the fourth class You can create a mask. Table 5 below shows examples of the fourth classes.
  • Class 4-1 e.g. 3 or more white spots, screen lines, stains, black spots, bullet damage, etc.
  • Class 4-2 e.g. LCD-class afterimage, LCD-class whitening, etc.
  • Class 4-3 e.g. strong afterimage, 2 or less white flowers, etc.
  • Class 4-4 e.g. medium afterimage, etc.
  • Classes 4-5 e.g. non-electronic devices
  • Class 4-6 e.g. screens of electronic devices
  • the fourth deep learning evaluation model 1440 may determine a grade for a defect on the screen of an electronic device based on the fourth mask. For example, if the fourth deep learning evaluation model 1440 predicts that the screen of the electronic device has at least three white spots, screen lines, black spots, or bullet damage through the screen image, the screen of the electronic device The grade of the defect can be determined as grade D (e.g. grade D in Table 1 above). The fourth deep learning evaluation model 1440 can output a score of 7 corresponding to a D grade. When the fourth deep learning evaluation model 1440 predicts that there is at least one of LCD-class afterimage and LCD-class whitening on the screen of the electronic device through the screen image, the grade of defect on the screen of the electronic device is DL grade (e.g.
  • the fourth deep learning evaluation model 1440 can output a score of 6 corresponding to the DL grade.
  • the grade for the defect on the screen of the electronic device is a CL grade (e.g. : It can be determined by the CL grade in Table 1 above).
  • the fourth deep learning evaluation model 1440 can output a score of 4 corresponding to the CL grade.
  • the defect grade on the screen of the electronic device is graded as B (e.g., grade B in Table 1 above). You can decide.
  • the fourth deep learning evaluation model 1440 can output a score of 3 corresponding to grade B. If the fourth deep learning evaluation model 1440 predicts that the screen of the electronic device is clean through the screen image, the defect grade of the screen of the electronic device may be determined as grade A (e.g. grade A in Table 1 above). .
  • the fourth deep learning evaluation model 1440 may output a score of 1 corresponding to grade A.
  • the value determination module 1230 may determine the value of the electronic device based on the result of evaluating the external condition of the electronic device and/or the result of evaluating the internal state of the electronic device.
  • the value determination module 1230 may determine the minimum grade among the grades determined by each of the first to fourth deep learning evaluation models 1410 to 1440 as the final grade for the external condition of the electronic device.
  • Grade A is the highest
  • Grade B+ can be lower than Grade A and higher than Grade B.
  • Grade CL may be lower than Grade B and higher than Grade C.
  • Grade D may be the lowest.
  • the grade determined by the first deep learning evaluation model 1410 is a grade C
  • the grade determined by the second deep learning evaluation model 1420 is a grade B+
  • the grade determined by the third deep learning evaluation model 1430 is a grade B+.
  • the determined grade may be a C grade
  • the grade determined by the fourth deep learning evaluation model 1440 may be a CL grade.
  • the C grade determined by the first deep learning evaluation model 1410 may be the minimum grade, so the value determination module 1230 is an electronic device.
  • the final grade for the appearance condition can be determined as grade C.
  • the lower the grade the higher the score output by each of the first to fourth deep learning evaluation models 1410 to 1440.
  • the value determination module 1230 may determine the maximum score among the scores output by each of the first to fourth deep learning evaluation models 1410 to 1440 as the final score for the appearance evaluation of the electronic device.
  • the value determination module 1230 may apply weights to the grades (or scores) determined by each of the first to fourth deep learning evaluation models 1410 to 1440, and the grade to which each weight is applied ( or score) can be used to determine the final grade (or final score) for the external condition of the electronic device.
  • the value determination module 1230 may apply a first weight to the grade (or score) determined by the first deep learning evaluation model 1410, and the grade determined by the second deep learning evaluation model 1420.
  • a second weight may be applied to the (or score)
  • a third weight may be applied to the grade (or score) determined by the third deep learning evaluation model 1430, and the fourth deep learning evaluation model 1440
  • a fourth weight can be applied to the grade determined by .
  • each of the first to fourth weights may be greater than 0 and less than 1.
  • the value determination module 1230 may determine the final grade (or final score) for the external condition of the electronic device by adding up the grades (or scores) to which each of the first to fourth weights are applied.
  • the value determination module 1230 may determine the first amount based on a result of evaluating the external condition of the electronic device (e.g., a final rating (or final score) for the external condition of the electronic device) and evaluating the internal condition of the electronic device.
  • the second amount can be determined based on the results of .
  • the value determination module 1230 may calculate the price of the electronic device by subtracting the first amount and the second amount from the reference price of the electronic device (e.g., the highest used price of the same type of electronic device). For example, the value determination module 1230 may obtain a standard price of an electronic device by linking it with a used market price database.
  • the value determination module 1230 may obtain the final grade of the external condition of the electronic device and the mapped first amount of money from the first table in which the grade of the external condition and the amount are mapped to each other.
  • the value determination module 1230 may obtain a second amount of money mapped to the result of evaluating the internal state of the electronic device from a second table in which the level of the internal state and the amount are mapped to each other.
  • the value determination module 1230 may calculate the price of the electronic device by subtracting the first amount and the second amount from the reference amount.
  • the value determination module 1230 may transmit the value (eg, price) of the electronic device to the unmanned purchase device 110.
  • the unmanned purchase device 110 may show the value (eg, price) of the electronic device to the user through the display 230.
  • the value determination module 1230 may display the value (eg, price) of the electronic device on the display 230 of the unmanned purchase device 110.
  • the electronic device value evaluation device 130 may include a preprocessing module.
  • the preprocessing module may determine whether each of the images (e.g., front image, back image, side images, screen image) includes one or more objects that would be mistaken for a defect.
  • the object may include at least one of an object corresponding to a floating icon on the screen of the electronic device, an object corresponding to a sticker attached to the electronic device, and an object corresponding to a foreign substance on the electronic device.
  • the object corresponding to the floating icon may represent the object included in the image by photographing the floating icon on the screen of the electronic device.
  • the object corresponding to the sticker attached to the electronic device may represent the object included in the image when the sticker attached to the electronic device is photographed.
  • the object corresponding to the foreign matter on the electronic device can represent the object included in the image by photographing the foreign matter on the electronic device.
  • Floating icons may include, but are not limited to, for example, a floating icon for assistive touch, a floating icon for triggering a specific task, etc.
  • the preprocessing module may perform processing on the object.
  • the preprocessing module may perform masking processing on an object, but is not limited thereto.
  • the appearance state evaluation module 1220 may perform appearance state evaluation based on the image in which the object has been processed, the remaining images not including the object, and the first to fourth deep learning evaluation models 1410 to 1440. .
  • the appearance state evaluation module 1220 determines the defect state of each of the evaluation areas of the electronic device from the images in which the object has been processed and the remaining images that do not include the object through the first to fourth deep learning evaluation models 1410 to 1440.
  • a mask that predicts can be generated, a grade for a defect in each of the evaluation areas can be determined based on each generated mask, and the final grade for the external state of the electronic device can be determined through each determined grade.
  • the preprocessing module may determine that there is no image containing the above-described object among images obtained by photographing an electronic device.
  • the appearance condition evaluation module 1220 may perform appearance condition evaluation based on the images and the first to fourth deep learning evaluation models 1410 to 1440.
  • the preprocessing module selects images that cannot be analyzed by one or more of the first to fourth deep learning evaluation models (1410 to 1440) among images obtained by shooting an electronic device (hereinafter referred to as “model-analyzable images”). You can determine whether or not there is. For example, the preprocessing module may determine that among images obtained by photographing an electronic device, images with light reflection above a certain level, images with the camera out of focus, etc., are images that cannot be analyzed by the model. If there are images that cannot be analyzed by the model, the preprocessing module can request the operator to evaluate the external condition of the electronic device.
  • the electronic device value evaluation device 130 may evaluate the value of a bar-type electronic device.
  • the electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) uses a plurality of images obtained by photographing a bar-type electronic device and the first to fourth deep learning evaluations. Based on the models 1410 to 1440, the external condition of the bar-type electronic device can be evaluated.
  • the electronic device value evaluation device 130 can evaluate the value of electronic devices whose shape can be changed (eg, foldable, rollable, etc.).
  • An electronic device that can change its shape may have a first shape (e.g., an unfolded shape or a contracted shape) and a second shape (e.g., a folded shape or expansion) by manipulation. form) can be changed.
  • a foldable electronic device may be in an unfolded form, and its shape may be changed to a folded form through manipulation.
  • the rollable electronic device may be in a collapsed form, and the shape may be changed to an expanded form by manipulation.
  • the collapsed form may represent a state in which the rollable display is rolled in into the device, and the expanded form may represent a state in which the rollable display is rolled out from the device.
  • the electronic device value evaluation device 130 uses a plurality of images obtained by photographing a foldable electronic device in an unfolded form and the first to fourth deep learning evaluations. Based on the models 1410 to 1440, the level of defects in each evaluation area of the foldable electronic device in the unfolded form can be determined.
  • the unmanned purchase device 110 can change the foldable electronic device in the shooting box from the unfolded form to the folded form. Alternatively, the unmanned purchase device 110 may request the user to change the foldable electronic device from the unfolded form to the folded form and then reinsert the electronic device in the folded form into the unmanned purchase device 110.
  • a foldable electronic device changes from an unfolded form to a folded form
  • the folded portion may form a side surface, and the sub-screen of the foldable electronic device may be activated.
  • the unmanned embedding device 110 may obtain an image (hereinafter referred to as an image of the folded side) by photographing the side surface corresponding to the folded portion of the foldable electronic device through one or more of the plurality of third cameras in the shooting box.
  • the unmanned embedding device 110 may acquire an image (hereinafter referred to as a sub-screen image) by photographing a sub-screen of the foldable electronic device through the first camera in the capturing box.
  • the electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) is based on the image of the folded side and the fifth deep learning evaluation model to determine the fifth evaluation area (e.g., corresponding to the folded portion) of the foldable electronic device. side) can be evaluated.
  • the fifth deep learning evaluation model may be a deep learning evaluation model that detects defects in the fifth evaluation area of the foldable electronic device and determines the grade of the detected defect (or fifth evaluation area).
  • the electronic device value evaluation device 130 (or the external condition evaluation module 1220) may input an image of the folded side into the fifth deep learning evaluation model.
  • the fifth deep learning evaluation model is a fifth mask that predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the fifth evaluation area of the foldable electronic device through the image of the folded side. can be created.
  • the fifth deep learning evaluation model can determine the grade for defects in the fifth evaluation area of the foldable electronic device based on the fifth mask.
  • the electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) can evaluate the sixth evaluation area (e.g., sub-screen) of the foldable electronic device based on the sub-screen image and the sixth deep learning evaluation model.
  • the sixth deep learning evaluation model may be a deep learning evaluation model that detects defects in the sixth evaluation area of the foldable electronic device and determines the grade of the detected defect (or sixth evaluation area).
  • the electronic device value evaluation device 130 (or the external condition evaluation module 1220) may input a sub-screen image into the sixth deep learning evaluation model.
  • the sixth deep learning evaluation model uses a sixth mask that predicts the defect state (e.g., at least one of the defect location, defect type, and defect degree) of the sixth evaluation area of the foldable electronic device through the sub-screen image. can be created.
  • the sixth deep learning evaluation model can determine the grade for defects in the sixth evaluation area of the foldable electronic device based on the sixth mask.
  • the electronic device value evaluation device 130 or the appearance condition evaluation module 1220
  • the sixth evaluation area For example, the grade of the defect (sub screen) can be determined.
  • the electronic device value evaluation device 130 (or value determination module 1230) provides a result of evaluating the appearance condition of the foldable electronic device (e.g., a grade determined by each of the first to sixth deep learning evaluation models) and/or a folder.
  • the value of a foldable electronic device can be determined based on the results of evaluating the internal state of the foldable electronic device.
  • the electronic device value evaluation device 130 uses a plurality of images obtained by photographing a miniature rollable electronic device and first to fourth deep learning evaluation models. Based on the fields 1410 to 1440, the level of defects in each evaluation area of the miniature rollable electronic device can be determined.
  • the unmanned embedding device 110 can change the rollable electronic device in the shooting box from a reduced form to an expanded form. Alternatively, the unmanned embedding device 110 may request the user to change the rollable electronic device from a reduced form to an expanded form and then reinsert the electronic device in the expanded form into the unmanned embedding device 110.
  • a rollable electronic device changes from a reduced form to an expanded form
  • the screen and sides can be expanded.
  • the unmanned embedding device 110 may acquire an image (hereinafter referred to as an image of the expanded side) by photographing the expanded side through one or more of the plurality of third cameras in the shooting box.
  • the unmanned embedding device 110 may acquire an image (hereinafter referred to as an image of the expanded screen) by photographing the expanded screen of the electronic device through the first camera in the shooting box.
  • the electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) is configured to determine the seventh evaluation area (e.g., the expanded side) of the rollable electronic device based on the image of the expanded side and the seventh deep learning evaluation model. can be evaluated.
  • the seventh deep learning evaluation model may be a deep learning evaluation model that detects defects in the seventh evaluation area of the rollable electronic device and determines the grade of the detected defect (or seventh evaluation area).
  • the electronic device value evaluation device 130 (or the external condition evaluation module 1220) may input an image of the expanded side surface into the seventh deep learning evaluation model.
  • the seventh deep learning evaluation model predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the seventh evaluation area of the rollable electronic device through the extended side image. You can create a mask.
  • the seventh deep learning evaluation model can determine the grade of a defect in the seventh evaluation area of the rollable electronic device based on the seventh mask.
  • the electronic device value evaluation device 130 or the external condition evaluation module 1220 performs a seventh evaluation of the rollable electronic device based on the expanded side image and the third deep learning evaluation model 1430. Areas (e.g. extended aspects) can be assessed.
  • the electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) is based on the image of the expanded screen and the fourth deep learning evaluation model 1440 to determine the eighth evaluation area (e.g., expansion) of the rollable electronic device. screen) can be evaluated.
  • the electronic device value evaluation device 130 (or the external condition evaluation module 1220) may input an image of the expanded screen into the fourth deep learning evaluation model 1440.
  • the fourth deep learning evaluation model 1440 may be a deep learning evaluation model that generates a mask predicting the defect state of the screen from a given screen image and determines the grade of the screen defect based on the generated mask. there is.
  • the fourth deep learning evaluation model 1440 predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the eighth evaluation area of the rollable electronic device through the image of the expanded screen.
  • An eighth mask can be created.
  • the fourth deep learning evaluation model 1440 may determine the grade of a defect in the eighth evaluation area of the rollable electronic device based on the eighth mask.
  • the electronic device value evaluation device 130 determines the results of the external state evaluation of the rollable electronic device (e.g., by each of the first to fourth deep learning evaluation models and the seventh deep learning evaluation model).
  • the value of the rollable electronic device may be determined based on the determined rating) and/or the results of an evaluation of the internal condition of the rollable electronic device.
  • the unmanned purchase device 110 may receive a wearable device (eg, a smart watch) from a user.
  • the electronic device value evaluation device 130 may store deep learning evaluation models that can evaluate the appearance (e.g., front, back, side, screen) of the wearable device.
  • the electronic device value evaluation device 130 may perform an external condition evaluation of the wearable device based on images obtained by photographing the wearable device and deep learning evaluation models.
  • the electronic device value evaluation device 130 may determine the value of the wearable device based on the result of evaluating the external state of the wearable device and the result of evaluating the internal state of the wearable device.
  • Figure 16 is a block diagram illustrating the configuration of a computing device for training a deep learning model according to an embodiment.
  • a computing device 1600 that trains a deep learning model may include a memory 1610 and a processor 1620.
  • Memory 1610 may store one or more deep learning models.
  • the deep learning model can be based on the deep neural network described above. Deep learning models can perform image segmentation on given input images.
  • the processor 1620 can train a deep learning model.
  • the processor 1620 can input a learning image for a defect into a deep learning model and generate a mask predicting the state of the defect from the learning image through the deep learning model.
  • the learning image may include, for example, an image acquired by the photographing box 210 photographing a defective electronic device.
  • the processor 1620 may calculate the similarity between the generated mask and the labeled mask for the defect.
  • the target mask may represent a label mask and the prediction mask may represent a mask generated by a deep learning model.
  • the processor 1620 may update at least one parameter in the deep learning model when the calculated similarity is less than a threshold. If the calculated similarity is greater than or equal to a threshold, the processor 1620 may end training for the deep learning model.
  • the processor 1620 uses the first deep learning model to A first mask that predicts the defect state of the front of the electronic device can be generated from the learning image.
  • An image obtained by photographing an electronic device with a first defect on the front of the photographing box 210 using a first camera may correspond to the first learning image.
  • the first deep learning model may perform image segmentation on the first learning image to generate a first mask that predicts the defect state of the front of the electronic device from the first learning image.
  • the processor 1620 may calculate a first similarity between the first mask and the label mask for the first defect.
  • the processor 1620 may update at least one parameter in the first deep learning model when the calculated first similarity is less than a threshold. If the calculated first similarity is greater than or equal to the threshold, the processor 1620 may end training for the first deep learning model.
  • the first deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the first deep learning evaluation model 1410.
  • the processor 1620 uses the second deep learning model to select an electronic device from the second learning image.
  • a second mask predicting the defect state of the rear surface can be generated.
  • An image obtained by photographing an electronic device with a second defect on the back of the photographing box 210 using a second camera may correspond to the second learning image.
  • the second deep learning model may perform image segmentation on the second learning image to generate a second mask that predicts the defect state of the back of the electronic device from the second learning image.
  • the processor 1620 may calculate a second similarity between the second mask and the label mask for the second defect.
  • the processor 1620 may update at least one parameter in the second deep learning model when the calculated second similarity is less than the threshold. If the calculated second similarity is greater than or equal to the threshold, the processor 1620 may end training for the second deep learning model.
  • the second deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the second deep learning evaluation model 1420.
  • a third learning image e.g., a side (or corner) image in which a third defective side (or corner) is photographed
  • the processor 1620 uses the third deep learning model.
  • a third mask that predicts the defect state of the side (or corner) of the electronic device can be generated from the third learning image.
  • An image obtained by photographing an electronic device with a third defect on a side (or corner) of the shooting box 210 using a third camera may correspond to the third learning image.
  • the third deep learning model may perform image segmentation on the third learning image to generate a third mask that predicts the defect state of the side (or corner) of the electronic device from the third learning image.
  • the processor 1620 may calculate a third similarity between the third mask and the label mask for the third defect.
  • the processor 1620 may update at least one parameter in the third deep learning model when the calculated third similarity is less than the threshold. If the calculated third similarity is greater than or equal to the threshold, the processor 1620 may end training for the third deep learning model.
  • the third deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the third deep learning evaluation model 1430.
  • the processor 1620 uses the fourth deep learning model to select an electronic device from the fourth learning image.
  • a fourth mask predicting the defect state of the screen can be generated.
  • An image obtained when the shooting box 210 captures the screen with the fourth defect using the first camera may correspond to the fourth learning image.
  • the fourth deep learning model may perform image segmentation on the fourth learning image to generate a fourth mask that predicts the defect state of the screen of the electronic device from the fourth learning image.
  • the processor 1620 may calculate a fourth similarity between the fourth mask and the label mask for the fourth defect.
  • the processor 1620 may update at least one parameter in the fourth deep learning model when the calculated fourth similarity is less than the threshold. If the calculated fourth similarity is greater than or equal to the threshold, the processor 1620 may end training for the fourth deep learning model.
  • the fourth deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the fourth deep learning evaluation model 1440.
  • the processor 1620 when the processor 1620 inputs the fifth learning image (e.g., an image in which the folded side with the fifth defect is photographed) to the fifth deep learning model, the processor 1620 uses the fifth deep learning model to 5 From the learning image, a fifth mask that predicts the defect state of the side corresponding to the folded portion of the foldable electronic device can be generated.
  • An image obtained by photographing an electronic device with a fifth defect on the side where the photographing box 210 is folded using a third camera may correspond to the fifth learning image.
  • the processor 1620 may calculate a fifth similarity between the fifth mask and the label mask for the fifth defect.
  • the processor 1620 may update at least one parameter in the fifth deep learning model when the calculated fifth similarity is less than the threshold. If the calculated fifth similarity is greater than or equal to the threshold, the processor 1620 may end training for the fifth deep learning model.
  • the fifth deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as a fifth deep learning evaluation model.
  • the processor 1620 uses the sixth deep learning model to 6 A sixth mask that predicts the defect state of the sub-screen of the foldable electronic device can be generated from the learning image.
  • An image obtained when the shooting box 210 captures the sub-screen with the sixth defect using the first camera may correspond to the sixth learning image.
  • the processor 1620 may calculate a sixth similarity between the sixth mask and the label mask for the sixth defect.
  • the processor 1620 may update at least one parameter in the sixth deep learning model when the calculated sixth similarity is less than the threshold. If the calculated sixth similarity is greater than or equal to the threshold, the processor 1620 may end training for the sixth deep learning model.
  • the sixth deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as a sixth deep learning evaluation model.
  • the processor 1620 when the processor 1620 inputs the seventh learning image (e.g., an image of the expanded side with the seventh defect) into the seventh deep learning model, the processor 1620 uses the seventh deep learning model to A seventh mask predicting the defect state of the extended side of the rollable electronic device can be generated from the seventh learning image.
  • An image obtained by photographing the expanded side of the photographing box 210 where the seventh defect is located through a third camera may correspond to the seventh learning image.
  • the processor 1620 may calculate a seventh similarity between the seventh mask and the label mask for the seventh defect.
  • the processor 1620 may update at least one parameter in the seventh deep learning model when the calculated seventh similarity is less than the threshold.
  • the processor 1620 may end training for the seventh deep learning model.
  • the seventh deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the seventh deep learning evaluation model.
  • the processor 1620 may train the third deep learning model using the seventh learning image and allow the third deep learning model to generate the seventh mask.
  • the processor 1620 trains each of the deep learning models based on learning images taken of a wearable device with defects in the exterior to determine the exterior (e.g., front) of the wearable device. , back, side, and screen) can be created to create deep learning evaluation models.
  • Figure 18 is a flowchart explaining a deep learning model training method of a computing device according to an embodiment.
  • the computing device 1600 may input a training image for a defect into a deep learning model.
  • the computing device 1600 may generate a mask predicting the state of a defect from a learning image through a deep learning model.
  • the computing device 1600 may calculate the similarity between the generated mask and the label mask for the defect.
  • the computing device 1600 may determine whether the calculated similarity is less than a threshold.
  • the computing device 1600 may update at least one parameter in the deep learning model in step 1050.
  • the computing device 1600 may repeatedly perform steps 1810 to 1840.
  • the computing device 1600 may end training for the deep learning model in step 1860.
  • the embodiment described with reference to FIG. 16 can be applied to the deep learning model training method of the computing device 1600 of FIG. 18, so detailed description is omitted.
  • the embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate (FPGA).
  • ALU arithmetic logic unit
  • FPGA field programmable gate
  • It may be implemented using a general-purpose computer or a special-purpose computer, such as an array, programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include multiple processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on a computer-readable recording medium.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • a computer-readable medium may store program instructions, data files, data structures, etc., singly or in combination, and the program instructions recorded on the medium may be specially designed and constructed for the embodiment or may be known and available to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the hardware devices described above may be configured to operate as one or multiple software modules to perform the operations of the embodiments, and vice versa.

Abstract

Disclosed is a capture box for capturing an electronic device. One embodiment may comprise: an input unit which may be opened/closed so as to enable an electronic device to be inputted into the capture box; a seating unit in which the electronic device is seated; an alignment unit which aligns the seated electronic device to a predetermined position; an app linking unit which is linked to an application installed on the electronic device so as to enable a monochrome screen to be displayed on the electronic device; a capture unit which, in a given capturing environment, captures the electronic device which has been aligned to the predetermined position; and a control unit which controls the alignment unit so that the seated electronic device is aligned to the predetermined position, controls the capture unit so that, when the seated electronic device is aligned to the predetermined position, the exterior of the aligned electronic device is captured, controls the app linking unit so that the monochrome screen is displayed on the aligned electronic device in order for a screen inspection of the aligned electronic device, and controls the capture unit so that the monochrome screen is captured.

Description

전자 기기를 촬영하는 촬영 박스 및 이를 포함하는 무인 매입 장치A shooting box for shooting electronic devices and an unmanned acquisition device containing the same
아래 실시 예들은 전자 기기를 촬영하는 촬영 박스 및 이를 포함하는 무인 매입 장치에 관한 것이다.The following embodiments relate to a photography box that photographs electronic devices and an unmanned purchase device including the same.
최근 중고 전자 기기를 매입하는 여러 방법 중 자동화 기기를 이용한 방법이 있다. 비대면 운영, 운영 인건비 절감, 안정적이고 표준화된 분석을 위해 보다 지능적인 방법의 일환으로 인공지능 외관 분석 기술이 도입되고 있다. Among the many ways to purchase used electronic devices these days, there is one that uses automated devices. Artificial intelligence exterior analysis technology is being introduced as a more intelligent method for non-face-to-face operations, reduction of operating labor costs, and stable and standardized analysis.
전술한 배경기술은 발명자가 본원의 개시 내용을 도출하는 과정에서 보유하거나 습득한 것으로서, 반드시 본 출원 전에 일반 공중에 공개된 공지기술이라고 할 수는 없다.The above-mentioned background technology is possessed or acquired by the inventor in the process of deriving the disclosure of the present application, and cannot necessarily be said to be known technology disclosed to the general public before the present application.
인공지능 외관 분석 알고리즘을 학습하기 위해선 학습 데이터가 필요하고 이러한 학습 데이터는 촬영 박스가 전자 기기를 촬영함으로써 확보될 수 있다. 실제로 운영되는 자동화 기기(또는 무인 매입 장치)의 촬영 박스가 학습 데이터의 확보에 이용된 촬영 박스와 다르면, 학습된 인공지능 외관 분석 알고리즘은 전자 기기의 외관을 제대로 평가하지 못할 수 있다. 실제로 운영될 때의 촬영 박스의 촬영 환경과 동일한 환경에서 획득된 학습 데이터를 통해 인공지능 외관 분석 알고리즘이 학습될 필요가 있다.In order to learn the artificial intelligence appearance analysis algorithm, learning data is needed, and this learning data can be obtained by using a shooting box to photograph electronic devices. If the shooting box of the actually operated automated device (or unmanned purchase device) is different from the shooting box used to secure the learning data, the learned artificial intelligence appearance analysis algorithm may not properly evaluate the appearance of the electronic device. The artificial intelligence appearance analysis algorithm needs to be learned through learning data obtained in the same environment as the shooting environment of the shooting box when it is actually operated.
일 실시 예에 따른 전자 기기를 촬영하는 촬영 박스는 상기 전자 기기가 상기 촬영 박스 내로 투입되게 하는 투입부; 상기 전자 기기가 안착되는 안착부; 상기 안착된 전자 기기를 정해진 위치에 정렬시키는 정렬부; 상기 전자 기기에 설치된 어플리케이션과 연동하여 상기 전자 기기에 단색 화면이 표시되도록 하는 앱 연동부; 주어진 촬영 환경에서 상기 정해진 위치에 정렬된 전자 기기를 촬영하는 촬영부; 및 상기 안착된 전자 기기가 상기 정해진 위치에 정렬하도록 상기 정렬부를 제어하고, 상기 안착된 전자 기기가 상기 정해진 위치에 정렬한 경우 상기 정렬된 전자 기기의 외관이 촬영되도록 상기 촬영부를 제어하며, 상기 정렬된 전자 기기의 화면 검사를 위해 상기 정렬된 전자 기기에 상기 단색 화면이 표시되도록 상기 앱 연동부를 제어하고, 상기 단색 화면이 촬영되도록 상기 촬영부를 제어하는 제어부를 포함할 수 있다.A photographing box for photographing an electronic device according to an embodiment includes an input unit that allows the electronic device to be introduced into the photographing box; A seating portion on which the electronic device is seated; an alignment unit that aligns the mounted electronic device to a predetermined position; An app linkage unit that displays a single-color screen on the electronic device in conjunction with an application installed on the electronic device; a photographing unit that photographs electronic devices aligned at the predetermined location in a given photographing environment; and controlling the alignment unit to align the mounted electronic device at the predetermined position, and controlling the photographing unit to capture an appearance of the aligned electronic device when the mounted electronic device is aligned at the predetermined position, wherein the alignment It may include a control unit that controls the app linkage unit to display the monochromatic screen on the aligned electronic device in order to inspect the screen of the aligned electronic device, and controls the photographing unit to capture the monochromatic screen.
상기 촬영부는 상기 정렬된 전자 기기의 전면을 촬영하는 제1 카메라; 상기 정렬된 전자 기기의 후면을 촬영하는 제2 카메라; 상기 정렬된 전자 기기의 측면들을 촬영하는 복수의 제3 카메라들; 및 조명을 제공하는 하나 이상의 광원을 포함할 수 있다.The photographing unit includes a first camera that photographs the front of the aligned electronic devices; a second camera that photographs the rear of the aligned electronic devices; a plurality of third cameras that photograph sides of the aligned electronic devices; and one or more light sources providing illumination.
상기 정렬부는 이동 가능한 이동바(bar)를 포함할 수 있다.The alignment unit may include a movable bar.
상기 제어부는 상기 안착된 전자 기기가 상기 정해진 위치로 이동하도록 상기 이동바를 제어하고, 상기 안착된 전자 기기가 상기 정해진 위치로 이동한 경우 상기 이동바를 복귀시킬 수 있다. The control unit may control the moving bar so that the mounted electronic device moves to the determined position, and may return the moving bar when the mounted electronic device moves to the determined position.
상기 제어부는 상기 안착된 전자 기기의 크기를 이용하여 상기 안착된 전자 기기가 상기 정해진 위치로 이동해야 하는 거리를 계산하고, 상기 계산된 거리를 기초로 상기 이동바를 제어할 수 있다.The control unit may calculate the distance that the mounted electronic device must move to the determined position using the size of the mounted electronic device, and may control the moving bar based on the calculated distance.
상기 촬영부는 복수의 광원들; 및 상기 광원들 중 제1 광원에 의해 출력된 빛이 상기 정렬된 전자 기기의 전면의 일 측에 제1 라인 조명으로 형성되도록 하고 상기 광원들 중 제2 광원에 의해 출력된 빛이 상기 전면의 다른 일 측에 제2 라인 조명으로 형성되도록 하는 제1 구조물을 포함할 수 있다.The photographing unit includes a plurality of light sources; and light output by a first light source among the light sources is formed as a first line illumination on one side of the front of the aligned electronic device, and light output by a second light source among the light sources is directed to another side of the front. It may include a first structure configured to be formed as a second line light on one side.
상기 제어부는 상기 제1 광원을 턴 온하고 상기 제2 광원을 턴 오프하여 상기 제1 라인 조명이 상기 전면의 상기 일 측에 형성된 경우 상기 전면이 촬영되도록 상기 촬영부를 제어하고, 상기 제1 광원을 턴 오프하고 상기 제2 광원을 턴 온하여 상기 제2 라인 조명이 상기 전면의 상기 다른 일 측에 형성된 경우 상기 전면이 촬영되도록 상기 촬영부를 제어할 수 있다.The control unit turns on the first light source and turns off the second light source to control the photographing unit to capture the front surface when the first line lighting is formed on one side of the front surface, and the first light source By turning off and turning on the second light source, the photographing unit can be controlled to capture the front surface when the second line lighting is formed on the other side of the front surface.
일 실시 예에 따른 무인 매입 장치는 전자 기기를 촬영하는 촬영 박스; 상기 전자 기기가 촬영되어 획득된 이미지들 및 상기 전자 기기의 내부 상태의 평가 결과를 서버에 전송하고, 상기 이미지들 및 상기 평가 결과를 통해 결정된 상기 전자 기기의 가치를 상기 서버로부터 수신하는 시스템 제어부; 및 상기 수신된 가치를 표시하는 디스플레이를 포함할 수 있다.An unmanned acquisition device according to an embodiment includes a photographing box for photographing an electronic device; a system control unit that transmits images obtained by photographing the electronic device and evaluation results of the internal state of the electronic device to a server, and receives a value of the electronic device determined through the images and the evaluation results from the server; and a display displaying the received value.
일 실시 예에 따른 전자 기기를 촬영하는 촬영 박스의 동작 방법은 상기 촬영 박스 내에 안착된 전자 기기를 정해진 위치에 정렬시키는 단계; 주어진 촬영 환경에서 상기 정해진 위치에 정렬된 전자 기기의 외관을 촬영하는 단계; 상기 전자 기기에 설치된 어플리케이션과 연동하여 상기 전자 기기에 단색 화면이 표시되도록 하는 단계; 및 상기 단색 화면을 표시하는 전자 기기를 촬영하는 단계를 포함한다.A method of operating a photographing box for photographing an electronic device according to an embodiment includes the steps of aligning an electronic device seated in the photographing box to a predetermined position; Photographing the exterior of the electronic device aligned at the predetermined location in a given photographing environment; Displaying a single-color screen on the electronic device in conjunction with an application installed on the electronic device; and photographing the electronic device displaying the monochromatic screen.
상기 동작 방법을 실행시키는 소프트웨어는 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다.Software executing the above operating method may be stored in a computer-readable recording medium.
일 실시 예는 학습 데이터의 확보에 이용된 촬영 박스의 촬영 환경과 실제 운영될 때의 촬영 박스의 촬영 환경이 동일할 수 있어, 전자 기기의 외관 평가가 보다 정확히 수행되도록 할 수 있다.In one embodiment, the shooting environment of the shooting box used to secure learning data and the shooting environment of the shooting box when actually operated may be the same, allowing the appearance evaluation of the electronic device to be performed more accurately.
도 1a 내지 도 1b는 일 실시 예에 따른 무인 매입 장치와 서버를 설명하는 도면이다.1A to 1B are diagrams explaining an unmanned purchase device and a server according to an embodiment.
도 2는 일 실시 예에 따른 무인 매입 장치를 설명하는 블록도이다.Figure 2 is a block diagram explaining an unmanned purchase device according to an embodiment.
도 3은 일 실시 예에 따른 촬영 박스를 설명하는 블록도이다.Figure 3 is a block diagram explaining a shooting box according to an embodiment.
도 4 내지 도 5c는 일 실시 예에 따른 촬영 박스의 안착부와 정렬부를 설명하는 도면이다.FIGS. 4 to 5C are diagrams illustrating a seating portion and an alignment portion of a photographing box according to an embodiment.
도 6은 일 실시 예에 따른 촬영 박스의 촬영부를 설명하는 도면이다.Figure 6 is a diagram explaining a photographing unit of a photographing box according to an embodiment.
도 7 내지 도 9는 일 실시 예에 따른 촬영 박스의 촬영부의 라인 조명을 설명하는 도면이다.7 to 9 are diagrams illustrating line lighting of a photographing unit of a photographing box according to an embodiment.
도 10은 일 실시 예에 따른 촬영 박스 내에서 전자 기기의 위치에 따른 카메라 초점 깊이를 설명하는 도면이다.FIG. 10 is a diagram illustrating camera focus depth according to the position of an electronic device within a shooting box according to an embodiment.
도 11은 일 실시 예에 따른 전자 기기의 상태바를 설명하는 도면이다.FIG. 11 is a diagram illustrating a status bar of an electronic device according to an embodiment.
도 12 내지 도 15는 일 실시 예에 따른 전자 기기 가치 평가 장치의 동작을 설명하는 도면이다. 12 to 15 are diagrams explaining the operation of an electronic device value evaluation device according to an embodiment.
도 16은 일 실시 예에 따른 딥러닝 모델을 트레이닝하는 컴퓨팅 장치의 구성을 설명하는 블록도이다.Figure 16 is a block diagram illustrating the configuration of a computing device for training a deep learning model according to an embodiment.
도 17a 내지 도 17c는 일 실시 예에 따른 타겟 마스크와 예측 마스크를 설명하는 도면이다.17A to 17C are diagrams explaining a target mask and a prediction mask according to an embodiment.
도 18은 일 실시 예에 따른 컴퓨팅 장치의 딥러닝 모델 트레이닝 방법을 설명하는 흐름도이다.Figure 18 is a flowchart explaining a deep learning model training method of a computing device according to an embodiment.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Specific structural or functional descriptions of the embodiments are disclosed for illustrative purposes only and may be changed and implemented in various forms. Accordingly, the actual implementation form is not limited to the specific disclosed embodiments, and the scope of the present specification includes changes, equivalents, or substitutes included in the technical idea described in the embodiments.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but these terms should be interpreted only for the purpose of distinguishing one component from another component. For example, a first component may be named a second component, and similarly, the second component may also be named a first component.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected” to another component, it should be understood that it may be directly connected or connected to the other component, but that other components may exist in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as “comprise” or “have” are intended to designate the presence of the described features, numbers, steps, operations, components, parts, or combinations thereof, and are intended to indicate the presence of one or more other features or numbers, It should be understood that this does not exclude in advance the possibility of the presence or addition of steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the art. Terms as defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings they have in the context of the related technology, and unless clearly defined in this specification, should not be interpreted in an idealized or overly formal sense. No.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, embodiments will be described in detail with reference to the attached drawings. In the description with reference to the accompanying drawings, identical components will be assigned the same reference numerals regardless of the reference numerals, and overlapping descriptions thereof will be omitted.
도 1a 내지 도 1b는 일 실시 예에 따른 무인 매입 장치와 서버를 설명하는 도면이다.1A to 1B are diagrams explaining an unmanned purchase device and a server according to an embodiment.
도 1a와 도 1b를 참조하면, 무인 매입 장치(110)와 서버(120)가 도시된다. 1A and 1B, an unmanned purchase device 110 and a server 120 are shown.
무인 매입 장치(110)는 전자 기기(또는 중고 전자 기기)(예: 스마트폰, 태블릿 PC, 웨어러블 기기 등)를 사용자로부터 매입 및/또는 사용자에게 전자 기기(또는 중고 전자 기기)를 판매할 수 있다. 전자 기기의 타입은, 예를 들어, 형태에 따라 바(bar) 타입, 롤러블(rollable) 타입, 또는 폴더블(foldable) 타입 등으로 구분될 수 있다.The unmanned purchase device 110 may purchase electronic devices (or used electronic devices) (e.g., smartphones, tablet PCs, wearable devices, etc.) from users and/or sell electronic devices (or used electronic devices) to users. . For example, the type of electronic device may be classified into a bar type, rollable type, or foldable type depending on its shape.
무인 매입 장치(110)는, 예를 들어, 키오스크 형태일 수 있으나 이에 제한되지 않는다.The unmanned purchase device 110 may be, for example, in the form of a kiosk, but is not limited thereto.
무인 매입 장치(110)는 촬영 박스, 시스템 제어부, 및 디스플레이를 포함할 수 있다. The unmanned embedded device 110 may include a shooting box, a system control unit, and a display.
무인 매입 장치(110)의 촬영 박스의 도어(door)가 열리면, 사용자는 무인 매입 장치(110)의 케이블(예: USB 타입 C 케이블, 라이트닝 케이블 등)과 전자 기기를 연결시킬 수 있고, 전자 기기를 촬영 박스 안에 안치시킬 수 있다. 전자 기기는 케이블을 통해 무인 매입 장치(110)의 시스템 제어부와 연결될 수 있다. 실시 예에 따라, 전자 기기는 무선(예: 블루투스, BLE(Bluetooth Low Energy) 등)으로 무인 매입 장치(110)의 시스템 제어부와 연결될 수 있다.When the door of the shooting box of the unmanned embedding device 110 is opened, the user can connect the cable (e.g. USB Type C cable, Lightning cable, etc.) of the unmanned embedding device 110 and the electronic device, and the electronic device can be placed in the shooting box. Electronic devices may be connected to the system control unit of the unmanned embedding device 110 through a cable. Depending on the embodiment, the electronic device may be connected to the system control unit of the unmanned embedded device 110 wirelessly (e.g., Bluetooth, Bluetooth Low Energy (BLE), etc.).
무인 매입 장치(110)의 시스템 제어부는 전자 기기의 내부 상태 검수 및 전자 기기의 정보(예: 모델명, 시리얼 번호, 운영체제 버전 등)를 수집하기 위한 제1 어플리케이션을 전자 기기에 설치할 수 있다. 이에 제한되는 것은 아니며, 사용자는 전자 기기를 무인 매입 장치(110)에 투입하기 전에 제1 어플리케이션을 전자 기기에 미리 설치할 수 있다. The system control unit of the unmanned purchase device 110 may install a first application on the electronic device to inspect the internal state of the electronic device and collect information about the electronic device (e.g., model name, serial number, operating system version, etc.). It is not limited to this, and the user may pre-install the first application on the electronic device before inserting the electronic device into the unmanned purchase device 110.
제1 어플리케이션은 전자 기기에서 실행됨으로써 전자 기기의 정보를 수집할 수 있고, 전자 기기의 내부 상태(예: 하드웨어 동작 상태 등) 평가(또는 분석)를 수행할 수 있다. 하드웨어 동작 상태는, 예를 들어, 전자 기기의 하드웨어(예: 센서, 카메라 등)가 정상적으로 동작하는지에 대한 상태를 나타낼 수 있다. 제1 어플리케이션은 전자 기기의 하드웨어가 정상적으로 동작하는지 여부를 평가(또는 판단)할 수 있다.By running on the electronic device, the first application can collect information about the electronic device and evaluate (or analyze) the internal state (e.g., hardware operating state, etc.) of the electronic device. For example, the hardware operation state may indicate whether the hardware (eg, sensor, camera, etc.) of the electronic device is operating normally. The first application can evaluate (or determine) whether the hardware of the electronic device operates normally.
촬영 박스에는 복수의 카메라들과 복수의 광원들(예: LED(light emitting diode)들)이 위치할 수 있다. 촬영 박스 내의 제1 카메라는 전자 기기의 전면을 촬영하여 전자 기기의 하나 이상의 전면 이미지를 획득할 수 있다. 촬영 박스 내의 제2 카메라는 전자 기기의 후면을 촬영하여 전자 기기의 하나 이상의 후면 이미지를 획득할 수 있다. 촬영 박스 내의 복수의 제3 카메라들 각각은 전자 기기의 측면(또는 코너)들 각각을 촬영하여 하나 이상의 측면 이미지(또는 코너 이미지)를 획득할 수 있다. A plurality of cameras and a plurality of light sources (eg, light emitting diodes (LEDs)) may be located in the shooting box. The first camera in the photographing box may acquire one or more front images of the electronic device by photographing the front of the electronic device. The second camera in the shooting box may acquire one or more rear images of the electronic device by photographing the rear of the electronic device. Each of the plurality of third cameras in the shooting box may acquire one or more side images (or corner images) by photographing each side (or corner) of the electronic device.
제1 카메라는 전자 기기의 화면을 촬영하여 하나 이상의 이미지(이하, "화면 이미지"라 지칭함)를 획득할 수 있다. 실시 예에 따라, 제1 어플리케이션은 전자 기기에 단색(예: 흰색, 검은색, 붉은색, 파란색, 녹색 등) 화면이 표시되도록 할 수 있다. 전자 기기에 단색 화면이 표시된 상태에서, 제1 카메라는 전자 기기의 단색 화면을 촬영하여 이미지(이하, "단색 화면 이미지"라 지칭함)를 획득할 수 있다. 예를 들어, 전자 기기에 흰색 화면이 표시된 상태에서, 제1 카메라는 전자 기기의 흰색 화면을 촬영하여 제1 단색 화면 이미지를 획득할 수 있다. 전자 기기에 검은색 화면이 표시된 상태에서 제1 카메라는 전자 기기의 검은색 화면을 촬영하여 제2 단색 화면 이미지를 획득할 수 있다. 전자 기기에 흰색과 검은색 이외의 다른 단색(예: 붉은색, 파란색, 녹색 등) 화면이 표시된 상태에서 제1 카메라는 전자 기기의 다른 단색 화면을 촬영하여 제3 단색 화면 이미지를 획득할 수 있다. The first camera may acquire one or more images (hereinafter referred to as “screen images”) by photographing the screen of the electronic device. Depending on the embodiment, the first application may display a single-color (e.g., white, black, red, blue, green, etc.) screen on the electronic device. When a monochromatic screen is displayed on the electronic device, the first camera may acquire an image (hereinafter referred to as a “monochromatic screen image”) by photographing the monochromatic screen of the electronic device. For example, when a white screen is displayed on the electronic device, the first camera may acquire a first monochromatic screen image by photographing the white screen of the electronic device. While a black screen is displayed on the electronic device, the first camera may acquire a second monochromatic screen image by photographing the black screen of the electronic device. While the electronic device displays a screen of a single color other than white and black (e.g., red, blue, green, etc.), the first camera may acquire a third single-color screen image by photographing the other single-color screen of the electronic device. .
전자 기기 가치 평가 장치(130)는 전자 기기를 촬영하여 획득한 이미지들(예: 하나 이상의 전면 이미지, 하나 이상의 후면 이미지, 하나 이상의 측면 이미지, 하나 이상의 단색 화면 이미지)과 딥러닝 평가 모델들을 기초로 전자 기기에 대한 외관 상태 평가를 수행할 수 있다.The electronic device value evaluation device 130 is based on images acquired by photographing electronic devices (e.g., one or more front images, one or more rear images, one or more side images, and one or more monochromatic screen images) and deep learning evaluation models. Appearance condition evaluation of electronic devices can be performed.
도 1a에 도시된 예에서, 전자 기기 가치 평가 장치(130)는 서버(120)에 포함될 수 있다. 도 1a에 도시된 예에서, 서버(120)는 무인 매입 장치(110)로부터 전자 기기를 촬영하여 획득한 이미지들을 수신할 수 있고, 수신된 이미지들을 전자 기기 가치 평가 장치(130)로 전달할 수 있다. 앞서 설명한 것과 같이, 전자 기기 내의 제1 어플리케이션은 전자 기기의 내부 상태 평가를 수행할 수 있고, 무인 매입 장치(110)를 통해 서버(120)에 전자 기기의 내부 상태 평가의 결과를 전송할 수 있다. 다른 예로, 제1 어플리케이션은 전자 기기가 서버(120)와 연결되도록 할 수 있고, 전자 기기를 통해 서버(120)에 전자 기기의 내부 상태 평가의 결과를 전송할 수 있다. 전자 기기 가치 평가 장치(130)는 전자 기기의 외관 상태 평가의 결과와 전자 기기의 내부 상태 평가의 결과(예: 제1 어플리케이션이 전자 기기의 내부 상태 평가를 수행한 결과)를 기초로 전자 기기의 가치(예: 가격)를 결정할 수 있다. 전자 기기 가치 평가 장치(130)는 무인 매입 장치(110)에 전자 기기의 가치를 전송할 수 있고, 무인 매입 장치(110)는 디스플레이에 전자 기기의 가치를 표시함으로써 사용자에게 전자 기기의 가치를 전달할 수 있다. 사용자는 전자 기기의 가치(예: 가격)를 받아들여 전자 기기를 판매할 것임을 무인 매입 장치(110)에 전달할 수 있고, 무인 매입 장치(110)는 사용자의 전자 기기 판매 결정이 있으면 촬영 박스 내에 안치된 전자 기기를 회수 박스(또는 보관 박스)로 이동시킬 수 있다. 실시 예에 따라, 회수 박스는 무인 매입 장치(110) 내부 또는 외부에 위치할 수 있다. In the example shown in FIG. 1A , the electronic device valuation device 130 may be included in the server 120 . In the example shown in FIG. 1A, the server 120 may receive images obtained by photographing an electronic device from the unmanned purchase device 110, and may transmit the received images to the electronic device value evaluation device 130. . As described above, the first application in the electronic device may perform an evaluation of the internal state of the electronic device and transmit the result of the evaluation of the internal state of the electronic device to the server 120 through the unmanned embedded device 110. As another example, the first application may allow the electronic device to connect to the server 120 and transmit the result of evaluating the internal state of the electronic device to the server 120 through the electronic device. The electronic device value evaluation device 130 evaluates the electronic device based on the result of the external state evaluation of the electronic device and the result of the internal state evaluation of the electronic device (e.g., the result of the first application performing the internal state evaluation of the electronic device). Value (e.g. price) can be determined. The electronic device value evaluation device 130 can transmit the value of the electronic device to the unmanned purchasing device 110, and the unmanned purchasing device 110 can convey the value of the electronic device to the user by displaying the value of the electronic device on the display. there is. The user can accept the value (e.g., price) of the electronic device and convey to the unmanned purchasing device 110 that the electronic device will be sold, and the unmanned purchasing device 110 is placed in the shooting box when the user decides to sell the electronic device. Electronic devices can be moved to a recovery box (or storage box). Depending on the embodiment, the recovery box may be located inside or outside the unmanned burial device 110.
도 1b에 도시된 예에서, 전자 기기 가치 평가 장치(130)는 무인 매입 장치(110)에 포함될 수 있다. 일 실시 예에 있어서, 무인 매입 장치(110)의 시스템 제어부가 전자 기기 가치 평가 장치(130)의 동작을 수행할 수 있다. 이와 달리, 전자 기기 가치 평가 장치(130)는 무인 매입 장치(110)의 시스템 제어부와 별개로 동작할 수 있다. 도 1b에 도시된 예에서, 전자 기기 가치 평가 장치(130)는 촬영 박스 내의 카메라들로부터 전자 기기를 촬영하여 획득된 이미지들을 수신할 수 있다. 전자 기기 가치 평가 장치(130)는 제1 어플리케이션으로부터 전자 기기의 내부 상태 평가의 결과를 수신할 수 있다. 전자 기기 가치 평가 장치(130)는 전자 기기의 외관 상태 평가의 결과와 전자 기기의 내부 상태 평가의 결과를 기초로 전자 기기의 가치(예: 가격)를 결정할 수 있다. 전자 기기 가치 평가 장치(130)는 디스플레이에 전자 기기의 가치를 표시함으로써 사용자에게 전자 기기의 가치를 전달할 수 있다. 사용자는 전자 기기의 가치(예: 가격)를 받아들여 전자 기기를 판매할 것임을 무인 매입 장치(110)에 전달할 수 있고, 무인 매입 장치(110)는 사용자의 전자 기기 판매 결정이 있으면 촬영 박스 내에 안치된 전자 기기를 회수 박스(또는 보관 박스)로 이동시킬 수 있다. In the example shown in FIG. 1B , the electronic device valuation device 130 may be included in the unmanned purchase device 110 . In one embodiment, the system control unit of the unmanned purchase device 110 may perform the operation of the electronic device value evaluation device 130. In contrast, the electronic device value evaluation device 130 may operate independently from the system control unit of the unmanned purchase device 110. In the example shown in FIG. 1B , the electronic device value evaluation device 130 may receive images obtained by photographing the electronic device from cameras in a photographing box. The electronic device value evaluation device 130 may receive the result of evaluating the internal state of the electronic device from the first application. The electronic device value evaluation device 130 may determine the value (e.g., price) of the electronic device based on the result of evaluating the external condition of the electronic device and the result of evaluating the internal state of the electronic device. The electronic device value evaluation device 130 can convey the value of the electronic device to the user by displaying the value of the electronic device on the display. The user can accept the value (e.g., price) of the electronic device and convey to the unmanned purchasing device 110 that the electronic device will be sold, and the unmanned purchasing device 110 is placed in the shooting box when the user decides to sell the electronic device. Electronic devices can be moved to a recovery box (or storage box).
일 실시 예에 따르면, 무인 매입 장치(110) 내의 촬영 박스와 동일한 환경에서 획득된 학습 이미지를 기초로 딥러닝 모델들을 트레이닝해야 전자 기기의 외관 평가 결과의 정확도가 향상될 수 있다. 후술하겠지만, 트레이닝이 완료된 딥러닝 모델들이 딥러닝 평가 모델들로서 전자 기기 가치 평가 장치에 탑재될 수 있다. According to one embodiment, deep learning models must be trained based on learning images acquired in the same environment as the shooting box in the unmanned purchase device 110 to improve the accuracy of the appearance evaluation results of the electronic device. As will be described later, trained deep learning models can be installed in an electronic device value evaluation device as deep learning evaluation models.
촬영 박스의 구조 및 운영 방법 중 중요한 사항이 몇 가지가 있다. There are several important points regarding the structure and operation method of the shooting box.
첫째, 딥러닝 모델의 트레이닝을 위해 사용되는 학습 데이터가 확보되기 위해선 촬영 대상(예: 전자 기기)과 무관하게 촬영 변동성이 없거나 줄어들어야 한다. 촬영 박스는 다양한 전자 기기를 촬영할 때 마다 다양한 전자 기기를 정해진 위치에 정렬하고 다양한 전자 기기를 동일한 각도로 촬영이 가능하도록 하는 촬영 환경을 제공해야 한다. First, in order to secure learning data used for training a deep learning model, there must be no or reduced shooting variability regardless of the shooting target (e.g. electronic device). Whenever shooting various electronic devices, the shooting box must provide a shooting environment that aligns the various electronic devices in a given position and allows shooting the various electronic devices at the same angle.
둘째, 다양한 전자 기기의 화면이 제어될 경우 동일한 환경이 제공되어야 한다. Second, when the screens of various electronic devices are controlled, the same environment must be provided.
촬영 박스(또는 시스템 제어부)는 전자 기기에 설치된 제1 어플리케이션을 통해 전자 기기에 단색 화면이 표시되도록 할 수 있다. 이 때, 전자 기기의 종류, 제조사 등에 따라 전자 기기의 단색 화면의 밝기 및/또는 색감이 다를 수 있다. 예를 들어, 전자 기기 A의 흰색 화면은 블루(blue)의 색감을 가질 수 있고, 전자 기기 B의 흰색 화면은 레드(red)의 색감을 가질 수 있다. 촬영 박스(또는 시스템 제어부)는 제1 어플리케이션을 통해 다양한 전자 기기가 동일한 밝기와 색감을 갖는 흰색 화면을 표시하도록 할 수 있다.The shooting box (or system control unit) can display a single-color screen on the electronic device through the first application installed on the electronic device. At this time, the brightness and/or color of the monochromatic screen of the electronic device may vary depending on the type and manufacturer of the electronic device. For example, the white screen of electronic device A may have a blue color, and the white screen of electronic device B may have a red color. The shooting box (or system control unit) can cause various electronic devices to display a white screen with the same brightness and color through the first application.
셋째, 촬영 박스의 크기와 무관하게 간접 조명 환경이 제공되어야 한다.Third, an indirect lighting environment must be provided regardless of the size of the shooting box.
간접 조명은 전자 기기의 외관에 존재하는 미세 결함 또는 미세 스크래치를 보다 잘 검출되게 끔 할 수 있다. 일정 크기의 촬영 박스에서 간접 조명을 제공하는 것이 쉽지 않을 수 있다. 아래에서 설명하겠지만, 촬영 박스는 라인 타입의 구조물과 광원을 통해 라인 형태의 간접 조명을 제공할 수 있다.Indirect lighting can make microscopic defects or microscratches on the exterior of electronic devices more detectable. It may not be easy to provide indirect lighting in a shooting box of a certain size. As will be explained below, the shooting box can provide indirect lighting in the form of a line through a line-type structure and light source.
도 2는 일 실시 예에 따른 무인 매입 장치를 설명하는 블록도이다. 도 3은 일 실시 예에 따른 촬영 박스를 설명하는 블록도이다.Figure 2 is a block diagram explaining an unmanned purchase device according to an embodiment. Figure 3 is a block diagram explaining a shooting box according to an embodiment.
도 2를 참조하면, 일 실시 예에 따른 무인 매입 장치(110)는 촬영 박스(210), 시스템 제어부(220), 및 디스플레이(230)를 포함할 수 있다. 도 3을 참조하면, 일 실시 예에 따른 촬영 박스(210)는 투입부(310), 안착부(320), 정렬부(330), 앱(app) 연동부(340), 촬영부(350), 및 제어부(360)를 포함할 수 있다.Referring to FIG. 2, the unmanned purchase device 110 according to an embodiment may include a photographing box 210, a system control unit 220, and a display 230. Referring to Figure 3, the photography box 210 according to one embodiment includes an input unit 310, a seating unit 320, an alignment unit 330, an app linkage unit 340, and a photography unit 350. , and a control unit 360.
일 실시 예에 있어서, 도 2의 시스템 제어부(220)와 도 3의 제어부(360)는 마스터-슬레이브 관계에 있을 수 있다. 시스템 제어부(220)가 마스터에 해당할 수 있고 제어부(360)가 슬레이브에 해당할 수 있다. In one embodiment, the system control unit 220 of FIG. 2 and the control unit 360 of FIG. 3 may be in a master-slave relationship. The system control unit 220 may correspond to the master and the control unit 360 may correspond to the slave.
일 실시 예에 있어서, 촬영 박스(210)에서 제어부(360)는 생략될 수 있고, 시스템 제어부(220)가 제어부(360)의 동작을 수행할 수 있다.In one embodiment, the control unit 360 may be omitted from the shooting box 210, and the system control unit 220 may perform the operation of the control unit 360.
일 실시 예에 있어서, 촬영 박스(210)에서 앱 연동부(340)는 생략될 수 있고, 제어부(360)가 앱 연동부(340)의 동작을 수행할 수 있다.In one embodiment, the app linking unit 340 may be omitted from the shooting box 210, and the control unit 360 may perform the operation of the app linking unit 340.
시스템 제어부(220)는 무인 매입 장치(110)의 전반적인 동작을 제어할 수 있다. The system control unit 220 can control the overall operation of the unmanned embedding device 110.
시스템 제어부(220)는 전자 기기 판매에 대한 가이드 라인 및/또는 주의 사항을 디스플레이(230)에 표시할 수 있다. The system control unit 220 may display guidelines and/or precautions for selling electronic devices on the display 230.
시스템 제어부(220)는 사용자로부터 다양한 정보(예: 사용자가 판매할 전자 기기의 OS(operating system) 정보 등)를 입력받기 위한 사용자 인터페이스를 디스플레이(230)에 표시할 수 있다. The system control unit 220 may display a user interface for receiving various information from the user (eg, operating system (OS) information of an electronic device to be sold by the user) on the display 230.
판매 준비 과정에서, 전자 기기에 설치된 제1 어플리케이션은 전자 기기의 디스플레이에 일련 번호를 표시할 수 있다. 사용자는 일련 번호를 디스플레이(230)에 입력할 수 있다. 시스템 제어부(220)는 디스플레이(230)를 통해 입력된 일련 번호를 검증하거나 서버(120)에 검증을 요청할 수 있다. 시스템 제어부(220)는 입력된 일련 번호가 검증되면 도어(door)를 오픈할 수 있다. In the process of preparing for sale, a first application installed on the electronic device may display a serial number on the display of the electronic device. The user can enter the serial number into display 230. The system control unit 220 may verify the serial number entered through the display 230 or request verification from the server 120. The system control unit 220 can open the door when the entered serial number is verified.
도어가 오픈되면 촬영 박스(210)의 투입부(310)(또는 투입구)와 촬영 박스(210)의 내부 공간이 드러날 수 있다. 사용자는 전자 기기를 촬영 박스(210) 내의 안착부(320)에 안착시킬 수 있다. 실시 예에 따라, 촬영 박스(210)는 전자 기기와 연결될 수 있는 유선 케이블을 포함할 수 있다. 사용자는 유선 케이블과 전자 기기를 연결시킬 수 있으며, 유선 케이블과 연결된 전자 기기를 안착부(320)에 안착시킬 수 있다. When the door is opened, the input portion 310 (or input port) of the photographing box 210 and the internal space of the photographing box 210 may be revealed. The user may place the electronic device on the seating unit 320 within the photographing box 210. Depending on the embodiment, the shooting box 210 may include a wired cable that can be connected to an electronic device. The user can connect the wired cable and the electronic device, and place the electronic device connected to the wired cable on the seating unit 320.
정렬부(330)는 안착된 전자 기기를 정해진 위치에 정렬시킬 수 있다. 전자 기기가 정해진 위치에 정렬되지 않는 경우 촬영부(350)는 전자 기기의 외관을 제대로 촬영하지 못할 수 있다. 전자 기기가 정해진 위치에 정렬되지 않는 경우 촬영부(350)에 의해 획득된 이미지의 초점은 맞지 않을 수 있다(out of focus). The alignment unit 330 can align the mounted electronic device to a predetermined position. If the electronic device is not aligned in a designated position, the photographing unit 350 may not be able to properly photograph the exterior of the electronic device. If the electronic device is not aligned in a designated position, the image acquired by the photographing unit 350 may be out of focus.
일 실시 예에 있어서, 정렬부(330)는 이동 가능한 이동바를 포함할 수 있다. 제어부(360)는 안착된 전자 기기가 정해진 위치로 이동하도록 이동바를 제어할 수 있고, 안착된 전자 기기가 정해진 위치로 이동한 경우 이동바를 복귀시킬 수 있다.In one embodiment, the alignment unit 330 may include a movable movement bar. The control unit 360 can control the moving bar so that the mounted electronic device moves to a predetermined position, and can return the moving bar when the mounted electronic device moves to the predetermined position.
앱 연동부(340)는 전자 기기에 설치된 어플리케이션(예: 상술한 제1 어플리케이션)과 연동하여 전자 기기에 단색 화면(예: 흰색 화면, 검은색 화면 등)이 표시되도록 할 수 있다.The app linkage unit 340 may display a single-color screen (e.g., a white screen, a black screen, etc.) on the electronic device by linking with an application installed on the electronic device (e.g., the first application described above).
앱 연동부(340)는 전자 기기에 설치된 제1 어플리케이션으로부터 전자 기기의 내부 상태에 대한 평가 결과를 수신할 수 있다. 앱 연동부(340)는 제어부(360)를 통해 시스템 제어부(220)에 전자 기기의 내부 상태에 대한 평가 결과를 전달하거나 직접 시스템 제어부(220)에 전자 기기의 내부 상태에 대한 평가 결과를 전달할 수 있다. The app linking unit 340 may receive an evaluation result of the internal state of the electronic device from the first application installed on the electronic device. The app linkage unit 340 can deliver the evaluation result of the internal state of the electronic device to the system control unit 220 through the control unit 360 or directly deliver the evaluation result of the internal state of the electronic device to the system control unit 220. there is.
촬영부(350)는 정해진 위치에 정렬된 전자 기기를 촬영할 수 있다. 촬영부(350)는 정렬된 전자 기기의 전면을 촬영하는 제1 카메라, 정렬된 전자 기기의 후면을 촬영하는 제2 카메라, 및 정렬된 전자 기기의 측면들(또는 코너들)을 촬영하는 복수의 제3 카메라들, 및 조명을 제공하는 복수의 광원들을 포함할 수 있다. The photographing unit 350 can photograph electronic devices aligned at a predetermined location. The photographing unit 350 includes a first camera for photographing the front of the aligned electronic devices, a second camera for photographing the rear of the aligned electronic devices, and a plurality of cameras for photographing the sides (or corners) of the aligned electronic devices. It may include third cameras and a plurality of light sources that provide illumination.
제어부(360)는 투입부(310), 정렬부(330), 앱 연동부(340), 및 촬영부(350) 중 적어도 하나를 제어할 수 있다. The control unit 360 can control at least one of the input unit 310, the alignment unit 330, the app linking unit 340, and the capturing unit 350.
제어부(360)는 안착된 전자 기기가 정해진 위치에 정렬한 경우 정렬된 전자 기기의 외관이 촬영되도록 촬영부(350)를 제어할 수 있다. When the mounted electronic device is aligned at a predetermined position, the control unit 360 may control the photographing unit 350 to photograph the exterior of the aligned electronic device.
제어부(360)는 정렬된 전자 기기의 화면 검사를 위해 정렬된 전자 기기에 단색 화면이 표시되도록 앱 연동부(340)를 제어할 수 있고, 전자 기기의 단색 화면이 촬영되도록 촬영부(350)를 제어할 수 있다. The control unit 360 may control the app linking unit 340 to display a single-color screen on the aligned electronic devices in order to inspect the screens of the aligned electronic devices, and may control the capturing unit 350 to capture a monochromatic screen of the electronic device. You can control it.
시스템 제어부(220)는 촬영 박스(210)로부터 전자 기기를 촬영하여 획득된 이미지들(예: 하나 이상의 전면 이미지, 하나 이상의 후면 이미지, 하나 이상의 측면(또는 코너) 이미지, 하나 이상의 화면 이미지)를 수신할 수 있다. The system control unit 220 receives images obtained by photographing an electronic device (e.g., one or more front images, one or more rear images, one or more side (or corner) images, and one or more screen images) from the shooting box 210. can do.
시스템 제어부(220)는 수신된 이미지들과 전자 기기의 내부 상태의 평가 결과를 서버(120)에 전송할 수 있다. 서버(120)는 수신된 이미지들 및 전자 기기의 내부 상태의 평가 결과를 통해 전자 기기의 가치를 결정할 수 있다. 일례로, 서버(120)는 수신된 이미지들과 복수의 딥러닝 평가 모델들을 통해 전자 기기의 외관 상태를 평가할 수 있고, 전자 기기의 외관 상태의 평가 결과와 내부 상태의 평가 결과를 이용하여 전자 기기의 가치를 결정할 수 있다. 서버(120)는 결정된 가치를 무인 매입 장치(110)(또는 시스템 제어부(220))로 전송할 수 있다.The system control unit 220 may transmit the received images and evaluation results of the internal state of the electronic device to the server 120. The server 120 may determine the value of the electronic device through the received images and an evaluation result of the internal state of the electronic device. For example, the server 120 may evaluate the external state of the electronic device through received images and a plurality of deep learning evaluation models, and use the evaluation result of the external state and the internal state of the electronic device to evaluate the external state of the electronic device. The value can be determined. The server 120 may transmit the determined value to the unmanned purchasing device 110 (or the system control unit 220).
디스플레이(230)는 수신된 가치를 표시할 수 있다. Display 230 may display the received value.
일 실시 예에 있어서, 시스템 제어부(220), 앱 연동부(340), 및 제어부(360)는 하나의 프로세서에 의해 구현될 수 있다. 이에 제한되는 것은 아니고, 시스템 제어부(220), 앱 연동부(340), 및 제어부(360) 각각은 별개의 프로세서에 의해 구현될 수 있다. 또는, 시스템 제어부(220)는 하나 이상의 프로세서에 의해 구현될 수 있고 앱 연동부(340) 및 제어부(360)는 하나 이상의 프로세서에 의해 구현될 수 있다. In one embodiment, the system control unit 220, the app linking unit 340, and the control unit 360 may be implemented by one processor. Without being limited thereto, the system control unit 220, the app linking unit 340, and the control unit 360 may each be implemented by separate processors. Alternatively, the system control unit 220 may be implemented by one or more processors and the app linking unit 340 and the control unit 360 may be implemented by one or more processors.
도 4 내지 도 5c는 일 실시 예에 따른 촬영 박스의 안착부와 정렬부를 설명하는 도면이다.FIGS. 4 to 5C are diagrams illustrating a seating portion and an alignment portion of a photographing box according to an embodiment.
도 4를 참조하면, 제1 카메라(430), 전자 기기(420), 및 플레이트(410)가 도시된다. 도 4에 도시된 예에서, 제1 카메라(430)는 고정될 수 있다. 무인 매입 장치(110)의 도어가 오픈되면 사용자는 투입부(310)를 통해 촬영 박스(210)의 내부로 전자 기기를 집어넣을 수 있고, 안착부(320)에 전자 기기(420)를 안착시킬 수 있다. 이 때, 사용자는 전자 기기(420)와 유선 케이블을 연결시킨 채로 안착부(320)에 전자 기기를 안착시킬 수 있다. 또는, 사용자가 전자 기기(420)를 안착부(320)에 안착시키는 경우, 제어부(360)(또는 시스템 제어부(220))는 전자 기기(420)의 안착을 감지하여 전자 기기(420)와 무선 통신 링크(예: 와이파이, 블루투스 링크 등)를 형성할 수 있다.Referring to FIG. 4 , a first camera 430, an electronic device 420, and a plate 410 are shown. In the example shown in Figure 4, the first camera 430 may be fixed. When the door of the unmanned embedding device 110 is opened, the user can insert an electronic device into the interior of the shooting box 210 through the input unit 310 and seat the electronic device 420 on the seating unit 320. You can. At this time, the user can seat the electronic device on the seating unit 320 while connecting the electronic device 420 and the wired cable. Alternatively, when the user places the electronic device 420 on the seating unit 320, the control unit 360 (or system control unit 220) detects the seating of the electronic device 420 and connects the electronic device 420 and the wireless device. A communication link (e.g. Wi-Fi, Bluetooth link, etc.) can be formed.
정렬부(330)는 촬영 박스(210) 내에 전자 기기(420)가 안착되는 경우, 전자 기기(420)가 정해진 위치에 정렬시킬 수 있다. 안착부(320)는 플레이트(410)를 포함할 수 있고, 정렬부(330)는 안착된 전자 기기(420)의 센터가 플레이트(410)의 센터에 위치하도록 안착된 전자 기기(420)를 이동시킬 수 있다. When the electronic device 420 is seated in the imaging box 210, the alignment unit 330 can align the electronic device 420 to a predetermined position. The seating unit 320 may include a plate 410, and the alignment unit 330 moves the seated electronic device 420 so that the center of the seated electronic device 420 is located at the center of the plate 410. You can do it.
도 5a 내지 도 5c에 도시된 예에서, 정렬부(330)는 이동바(510)를 포함할 수 있다. In the example shown in FIGS. 5A to 5C , the alignment unit 330 may include a moving bar 510 .
도 5a에 도시된 예에서 전자 기기(420)가 안착되면, 도 5b에 도시된 예와 같이 제어부(360)는 안착된 전자 기기(420)가 정해진 위치(예: 플레이트(410) 상의 센터 위치)로 이동하도록 이동바(510)를 제어할 수 있다. 이동바(510)가 이동함으로써 전자 기기(420)는 플레이트(410) 상의 센터 위치로 이동할 수 있다. 실시 예에 따라, 제어부(360)는 안착된 전자 기기(420)의 크기를 알 수 있다. 예를 들어, 제어부(360)는 안착된 전자 기기(420)의 모델명을 알 수 있고, 모델명을 통해 안착된 전자 기기(420)의 크기를 알 수 있다. 제어부(360)는 안착된 전자 기기(420)의 크기를 이용하여 안착된 전자 기기(420)가 정해진 위치로 이동해야 하는 거리를 계산할 수 있다. 제어부(360)는 이동바(510)가 계산된 거리만큼 이동하도록 이동바(510)를 제어할 수 있다. In the example shown in FIG. 5A, when the electronic device 420 is seated, as in the example shown in FIG. 5B, the control unit 360 sets the seated electronic device 420 to a determined position (e.g., the center position on the plate 410). The movement bar 510 can be controlled to move to . As the moving bar 510 moves, the electronic device 420 can move to the center position on the plate 410. Depending on the embodiment, the control unit 360 may know the size of the mounted electronic device 420. For example, the control unit 360 can know the model name of the mounted electronic device 420 and can know the size of the mounted electronic device 420 through the model name. The control unit 360 may use the size of the mounted electronic device 420 to calculate the distance that the mounted electronic device 420 must move to a given location. The control unit 360 may control the moving bar 510 so that the moving bar 510 moves by the calculated distance.
제어부(360)는 전자 기기(420)가 플레이트(410) 상의 정해진 위치에 있으면(다시 말해, 전자 기기(420)가 정렬되면), 도 5c에 도시된 예와 같이 이동바(510)를 원위치로 복귀시킬 수 있고, 촬영부(340)가 전자 기기(420)를 촬영하도록 촬영부(340)를 제어할 수 있다. 도 4에 도시된 예에서, 제1 카메라(430)가 전자 기기(420)의 전면을 촬영할 수 있고, 전자 기기(420)에 단색 화면이 표시된 경우 전자 기기(420)의 단색 화면을 촬영할 수 있다. 도 4에 도시되지 않았으나, 플레이트(410)는 투명할 수 있고, 제2 카메라가 전자 기기(420)의 후면을 촬영할 수 있다. 복수의 제3 카메라들 각각은 전자 기기(420)의 측면들(또는 코너들) 각각을 촬영할 수 있다.When the electronic device 420 is at a predetermined position on the plate 410 (in other words, when the electronic device 420 is aligned), the control unit 360 returns the moving bar 510 to the original position, as shown in the example shown in FIG. 5C. It can be restored, and the photographing unit 340 can be controlled so that the photographing unit 340 photographs the electronic device 420. In the example shown in FIG. 4, the first camera 430 can photograph the front of the electronic device 420, and when a monochromatic screen is displayed on the electronic device 420, the first camera 430 can photograph a monochromatic screen of the electronic device 420. . Although not shown in FIG. 4 , the plate 410 may be transparent, and the second camera may photograph the rear of the electronic device 420 . Each of the plurality of third cameras may photograph each side (or corner) of the electronic device 420.
도 6은 일 실시 예에 따른 촬영 박스의 촬영부를 설명하는 도면이다.Figure 6 is a diagram explaining a photographing unit of a photographing box according to an embodiment.
도 6을 참조하면, 촬영부(350)는 복수의 카메라들(610-1 내지 610-n), 복수의 광원들(620-1 내지 620-m), 카메라 제어부(630), 조명 제어부(640), 및 촬영 제어부(650)를 포함할 수 있다.Referring to FIG. 6, the photographing unit 350 includes a plurality of cameras (610-1 to 610-n), a plurality of light sources (620-1 to 620-m), a camera control unit 630, and a lighting control unit 640. ), and may include a shooting control unit 650.
일 실시 예에 따르면, 촬영부(350)에서 카메라 제어부(630)와 조명 제어부(640)가 생략될 수 있고, 촬영 제어부(650)가 카메라 제어부(630)와 조명 제어부(640) 각각의 동작을 수행할 수 있다.According to one embodiment, the camera control unit 630 and the lighting control unit 640 may be omitted from the shooting unit 350, and the shooting control unit 650 may perform the respective operations of the camera control unit 630 and the lighting control unit 640. It can be done.
일 실시 예에 따르면, 촬영부(350)에서 카메라 제어부(630), 조명 제어부(640), 및 촬영 제어부(650)는 생략될 수 있고, 제어부(330)(또는 시스템 제어부(220))가 카메라 제어부(630), 조명 제어부(640), 및 촬영 제어부(650) 각각의 동작을 수행할 수 있다.According to one embodiment, the camera control unit 630, lighting control unit 640, and shooting control unit 650 may be omitted from the shooting unit 350, and the control unit 330 (or system control unit 220) may be used as the camera control unit 350. Each operation of the control unit 630, lighting control unit 640, and photography control unit 650 can be performed.
촬영 제어부(650)는 제어 신호를 카메라 제어부(630)와 조명 제어부(640) 각각에 전달할 수 있다. The shooting control unit 650 may transmit a control signal to the camera control unit 630 and the lighting control unit 640, respectively.
카메라 제어부(630)는 제어 신호를 카메라 1(또는 제1 카메라)(610-1)에 전달하여 카메라 1(610-1)이 전자 기기의 전면을 촬영하도록 할 수 있다. 조명 제어부(640)는 카메라 1(610-1)과 대응되는 광원 1(620-1)에 파워 온(power on) 신호를 전달하여 광원 1(620-1)이 턴 온되도록 할 수 있다. 턴 온된 광원 1(620-1)은 직접 조명 또는 간접 조명을 수행할 수 있다. 앞서, 하나의 광원 1(620-1)이 카메라 1(610-1)과 대응되는 것으로 설명하였으나 이는 예시적인 사항일 뿐, 둘 이상의 광원들이 카메라 1(610-1)과 대응될 수 있다. 카메라 1(610-1)에 대응되는 복수의 광원들이 턴 온되어 카메라 1(610-1)이 전자 기기의 전면을 촬영하기 위한 조명이 제공될 수 있다. 카메라 제어부(630)는 카메라 1(610-1)의 촬영 데이터(예: 하나 이상의 전면 이미지)를 카메라 1(610-1)로부터 수신할 수 있고, 카메라 1(610-1)의 촬영 데이터를 제어부(360)(또는 시스템 제어부(220))로 전달할 수 있다.The camera control unit 630 may transmit a control signal to camera 1 (or first camera) 610-1 to allow camera 1 (610-1) to photograph the front of the electronic device. The lighting control unit 640 may transmit a power on signal to light source 1 (620-1) corresponding to camera 1 (610-1) so that light source 1 (620-1) is turned on. Turned on, light source 1 (620-1) can perform direct lighting or indirect lighting. Previously, it was explained that one light source 1 (620-1) corresponds to camera 1 (610-1), but this is only an example, and two or more light sources may correspond to camera 1 (610-1). A plurality of light sources corresponding to Camera 1 (610-1) may be turned on to provide lighting for Camera 1 (610-1) to photograph the front of the electronic device. The camera control unit 630 may receive shooting data (e.g., one or more front images) of camera 1 (610-1) from camera 1 (610-1), and send the shooting data of camera 1 (610-1) to the control unit. It can be transmitted to 360 (or system control unit 220).
카메라 제어부(630)는 제어 신호를 카메라 2(또는 제2 카메라)(610-2)에 전달하여 카메라 2(610-2)가 전자 기기의 후면을 촬영하도록 할 수 있다. 조명 제어부(640)는 카메라 2(610-2)와 대응되는 광원 2(620-2)에 파워 온 신호를 전달하여 광원 2(620-2)가 턴 온되도록 할 수 있다. 턴 온된 광원 2(620-2)는 직접 조명 또는 간접 조명을 수행할 수 있다. 앞서, 하나의 광원 2(620-2)이 카메라 2(610-2)와 대응되는 것으로 설명하였으나 이는 예시적인 사항일 뿐, 둘 이상의 광원들이 카메라 2(610-2)와 대응될 수 있다. 카메라 2(610-1)에 대응되는 광원들이 턴 온되어, 카메라 2(610-1)가 전자 기기의 후면을 촬영하기 위한 조명이 제공될 수 있다. 카메라 제어부(630)는 카메라 2(610-2)의 촬영 데이터(예: 하나 이상의 후면 이미지)를 카메라 2(610-2)로부터 수신할 수 있고, 카메라 2(610-2)의 촬영 데이터를 제어부(360)(또는 시스템 제어부(220))로 전달할 수 있다.The camera control unit 630 may transmit a control signal to camera 2 (or second camera) 610-2 to allow camera 2 (610-2) to photograph the rear of the electronic device. The lighting control unit 640 may transmit a power-on signal to light source 2 (620-2) corresponding to camera 2 (610-2) so that light source 2 (620-2) is turned on. The turned-on light source 2 (620-2) can perform direct lighting or indirect lighting. Previously, it was explained that one light source 2 (620-2) corresponds to camera 2 (610-2), but this is only an example, and two or more light sources may correspond to camera 2 (610-2). The light sources corresponding to Camera 2 (610-1) may be turned on to provide lighting for Camera 2 (610-1) to photograph the rear of the electronic device. The camera control unit 630 may receive shooting data (e.g., one or more rear images) of camera 2 (610-2) from camera 2 (610-2), and may receive shooting data of camera 2 (610-2) from the control unit. It can be transmitted to 360 (or system control unit 220).
카메라 제어부(630)는 전자 기기의 측면들(또는 코너들)을 촬영하기 위한 카메라들(또는 제3 카메라들)에 전달하여 카메라들 각각이 전자 기기의 측면들(또는 코너들) 각각을 촬영하도록 할 수 있다. 조명 제어부(640)는 카메라들과 대응되는 광원들에 파워 온 신호를 전달하여 광원들이 턴 온되도록 할 수 있다. 턴 온된 광원들은 직접 조명 또는 간접 조명을 수행할 수 있다. 카메라 제어부(630)는 전자 기기의 측면들(또는 코너들)을 촬영한 카메라들로부터 촬영 데이터(예: 전자 기기의 측면(코너) 이미지들)를 수신할 수 있고, 촬영 데이터를 제어부(360)(또는 시스템 제어부(220))로 전달할 수 있다.The camera control unit 630 transmits information to cameras (or third cameras) for photographing the sides (or corners) of the electronic device so that each of the cameras photographs each of the sides (or corners) of the electronic device. can do. The lighting control unit 640 may transmit a power-on signal to the light sources corresponding to the cameras so that the light sources are turned on. Turned on light sources may perform direct illumination or indirect illumination. The camera control unit 630 may receive shooting data (e.g., side (corner) images of the electronic device) from cameras that photograph the sides (or corners) of the electronic device, and transmit the shooting data to the control unit 360. (Or it can be transmitted to the system control unit 220).
전자 기기의 전면, 후면, 및 측면들(또는 코너들)에 대한 촬영은 동시에 수행될 수 있다. 이에 제한되지 않고, 전자 기기의 전면, 후면, 및 측면들(또는 코너들)에 대한 촬영은 순차적으로 수행될 수 있다. 예를 들어, 촬영 제어부(650)는 전자 기기의 전면을 촬영하고자 하는 경우, 제어 신호를 카메라 제어부(630)와 조명 제어부(640)에 전달할 수 있다. 카메라 제어부(630)는 제어 신호를 카메라 1(610-1)에 전달하여 카메라 1(610-1)이 전자 기기의 전면을 촬영하도록 할 수 있다. 조명 제어부(640)는 카메라 1(610-1)과 대응되는 하나 이상의 광원에 파워 온 신호를 전달하여 카메라 1(610-1)과 대응되는 하나 이상의 광원이 턴 온되도록 할 수 있다. 전자 기기의 전면이 촬영된 경우, 촬영 제어부(650)는 전자 기기의 후면을 촬영하기 위한 제어 신호를 카메라 제어부(630)와 조명 제어부(640)에 전달할 수 있다. 카메라 제어부(630)는 제어 신호를 카메라 2(610-2)에 전달하여 카메라 2(610-2)가 전자 기기의 후면을 촬영하도록 할 수 있다. 조명 제어부(640)는 카메라 2(610-2)와 대응되는 하나 이상의 광원에 파워 온 신호를 전달하여 카메라 2(610-2)와 대응되는 하나 이상의 광원이 턴 온되도록 할 수 있다. 조명 제어부(640)는 전자 기기의 전면을 촬영하기 위해 턴 온하였던 하나 이상의 광원에 파워 오프 신호를 전달할 수 있다. 전자 기기의 후면이 촬영된 경우, 촬영 제어부(650)는 전자 기기의 측면들(또는 코너들)을 촬영하기 위한 제어 신호를 카메라 제어부(630)와 조명 제어부(640)에 전달할 수 있다. 카메라 제어부(630)는 제어 신호를 측면 촬영(또는 코너 촬영)을 위한 카메라들에 전달하여 카메라들이 전자 기기의 측면들(또는 코너들)을 촬영하도록 할 수 있다. 조명 제어부(640)는 측면 촬영을 위한 카메라들에 대응되는 광원들에 파워 온 신호를 전달하여 광원들이 턴 온되도록 할 수 있다. 조명 제어부(640)는 전자 기기의 후면을 촬영하기 위해 턴 온하였던 하나 이상의 광원에 파워 오프 신호를 전달할 수 있다.Photographing the front, back, and sides (or corners) of the electronic device can be performed simultaneously. Without being limited thereto, filming of the front, back, and sides (or corners) of the electronic device may be performed sequentially. For example, when attempting to photograph the front of an electronic device, the shooting control unit 650 may transmit a control signal to the camera control unit 630 and the lighting control unit 640. The camera control unit 630 may transmit a control signal to Camera 1 (610-1) to allow Camera 1 (610-1) to photograph the front of the electronic device. The lighting control unit 640 may transmit a power-on signal to one or more light sources corresponding to Camera 1 (610-1) so that the one or more light sources corresponding to Camera 1 (610-1) are turned on. When the front of the electronic device is photographed, the photography control unit 650 may transmit a control signal for photographing the rear of the electronic device to the camera control unit 630 and the lighting control unit 640. The camera control unit 630 may transmit a control signal to Camera 2 (610-2) to allow Camera 2 (610-2) to photograph the rear of the electronic device. The lighting control unit 640 may transmit a power-on signal to one or more light sources corresponding to Camera 2 (610-2) so that the one or more light sources corresponding to Camera 2 (610-2) are turned on. The lighting control unit 640 may transmit a power-off signal to one or more light sources that were turned on to photograph the front of the electronic device. When the rear of the electronic device is photographed, the photography control unit 650 may transmit a control signal for photographing the sides (or corners) of the electronic device to the camera control unit 630 and the lighting control unit 640. The camera control unit 630 may transmit a control signal to cameras for side shooting (or corner shooting) to allow the cameras to shoot the sides (or corners) of the electronic device. The lighting control unit 640 may transmit a power-on signal to light sources corresponding to cameras for side imaging to turn on the light sources. The lighting control unit 640 may transmit a power-off signal to one or more light sources that were turned on to photograph the rear of the electronic device.
앱 연동부(340)는 전자 기기에 설치된 제1 어플리케이션과 연동하여 전자 기기의 화면에 단색 화면이 표시되도록 할 수 있다. 앱 연동부(340)는 촬영 제어부(650)에 화면 촬영 요청을 전달할 수 있다. 촬영 제어부(650)는 앱 연동부(340)의 화면 촬영 요청에 따라 제어 신호를 카메라 제어부(630) 및 조명 제어부(640)에 전달할 수 있다. 카메라(630)는 카메라 1(610-1)에 제어 신호를 전달하여 카메라 1(610-1)이 전자 기기의 단색 화면을 촬영하도록 할 수 있다. 조명 제어부(640)는 제어 신호를 카메라 1(610-1)과 대응되는 광원 1(620-1)에 전달하여 광원 1(620-1)이 턴 온되도록 할 수 있다. 카메라 제어부(630)는 카메라 1(610-1)의 촬영 데이터(예: 하나 이상의 화면 이미지)를 카메라 1(610-1)로부터 수신할 수 있고, 카메라 1(610-1)의 촬영 데이터를 제어부(360)(또는 시스템 제어부(220))로 전달할 수 있다.The app linking unit 340 may display a single-color screen on the screen of the electronic device by linking with the first application installed on the electronic device. The app linkage unit 340 may transmit a screen capture request to the capture control unit 650. The shooting control unit 650 may transmit a control signal to the camera control unit 630 and the lighting control unit 640 in response to a screen shooting request from the app linking unit 340. Camera 630 may transmit a control signal to Camera 1 (610-1) to allow Camera 1 (610-1) to capture a monochromatic screen of the electronic device. The lighting control unit 640 may transmit a control signal to light source 1 (620-1) corresponding to camera 1 (610-1) so that light source 1 (620-1) is turned on. The camera control unit 630 may receive shooting data (e.g., one or more screen images) of camera 1 (610-1) from camera 1 (610-1), and may send the shooting data of camera 1 (610-1) to the control unit. It can be transmitted to 360 (or system control unit 220).
도 7 내지 도 9는 일 실시 예에 따른 촬영 박스의 촬영부의 라인 조명을 설명하는 도면이다.7 to 9 are diagrams illustrating line lighting of a photographing unit of a photographing box according to an embodiment.
도 7을 참조하면, 촬영부(350)는 광원들(710-1 및 710-2), 제1 카메라(720), 및 제1 구조물(730)을 포함할 수 있다. 제1 구조물(730)은 제1 광원(710-1)에 의해 출력된 빛이 전자 기기(740)의 전면의 일 측에 제1 라인 조명으로 형성되도록 할 수 있고, 제2 광원(710-2)에 의해 출력된 빛이 전자 기기(740)의 전면의 다른 일 측에 제2 라인 조명으로 형성되도록 할 수 있다.Referring to FIG. 7 , the imaging unit 350 may include light sources 710-1 and 710-2, a first camera 720, and a first structure 730. The first structure 730 can cause the light output by the first light source 710-1 to be formed as first line lighting on one side of the front of the electronic device 740, and the second light source 710-2 ) can be formed as second line lighting on the other side of the front of the electronic device 740.
도 8에 도시된 이미지들(801, 803, 805)은 전자 기기의 전면 이미지의 예시이다. 이미지(801)를 참조하면, 전자 기기의 전면에는 라인 조명이 형성되어 있지 않아, 이미지(801)에서 전자 기기의 전면에 결함이 있는지 여부가 확인되는 것이 어려울 수 있다. 다시 말해, 서버는 이미지(801)로부터 전자 기기의 전면에 결함이 있는지 여부를 판단하는 것이 어려울 수 있다. 이미지(803)를 참조하면, 제2 광원(710-2)에 의해 출력된 빛이 제1 구조물(730)에 의해 전자 기기의 전면의 다른 일 측에 제2 라인 조명(810)으로 형성될 수 있다. 이미지(805)를 참조하면, 제1 광원(710-1)에 의해 출력된 빛이 제1 구조물(730)에 의해 전자 기기의 전면의 일 측에 제1 라인 조명(820)으로 형성될 수 있다. 제1 라인 조명(820)과 제2 라인 조명(810)에 의해 전자 기기의 전면에 결함이 없는 것이 보다 명확히 확인될 수 있다. 다시 말해, 서버는 이미지(803) 및 이미지(805)로부터 전자 기기의 전면에 결함이 없는 것을 판단할 수 있다. Images 801, 803, and 805 shown in FIG. 8 are examples of front images of electronic devices. Referring to the image 801, line lighting is not formed on the front of the electronic device, so it may be difficult to determine whether there is a defect on the front of the electronic device in the image 801. In other words, it may be difficult for the server to determine whether there is a defect on the front of the electronic device from the image 801. Referring to the image 803, the light output by the second light source 710-2 may be formed as a second line light 810 on the other side of the front of the electronic device by the first structure 730. there is. Referring to the image 805, the light output by the first light source 710-1 may be formed as a first line light 820 on one side of the front of the electronic device by the first structure 730. . By using the first line lighting 820 and the second line lighting 810, it can be more clearly confirmed that there are no defects on the front of the electronic device. In other words, the server can determine that there are no defects on the front of the electronic device from the image 803 and the image 805.
도 9에 도시된 이미지들(901, 903, 905)은 전자 기기의 전면 이미지의 예시이다. 이미지(901)를 참조하면, 전자 기기의 전면에는 라인 조명이 형성되어 있지 않아, 서버는 이미지(901)로부터 전자 기기의 전면에 결함이 존재하는지 여부를 판단하는 것이 어려울 수 있다. 이미지(903)를 참조하면, 제2 광원(710-2)에 의해 출력된 빛이 제1 구조물(730)에 의해 전자 기기의 전면의 다른 일 측에 제2 라인 조명(910)으로 형성될 수 있다. 이미지(901)와 비교할 때, 이미지(903)에서 결함들(930-1 및 930-2)이 제2 라인 조명(910)에 의해 관찰될 수 있다. 서버는 이미지(903)로부터 전자 기기의 전면에 존재하는 결함들(930-1 및 930-2)을 검출할 수 있다. 이미지(905)를 참조하면, 제1 광원(710-1)에 의해 출력된 빛이 제1 구조물(730)에 의해 전자 기기의 전면의 일 측에 제1 라인 조명(920)으로 형성될 수 있다. 이미지(901)와 비교할 때, 이미지(905)에서 결함들(940-1 내지 940-4)이 제1 라인 조명(910)에 의해 관찰될 수 있다. 서버는 이미지(905)로부터 전자 기기의 전면에 존재하는 결함들(940-1 및 940-2)을 검출할 수 있다. Images 901, 903, and 905 shown in FIG. 9 are examples of front images of electronic devices. Referring to the image 901, since line lighting is not formed on the front of the electronic device, it may be difficult for the server to determine whether a defect exists on the front of the electronic device from the image 901. Referring to the image 903, the light output by the second light source 710-2 may be formed as a second line light 910 on the other side of the front of the electronic device by the first structure 730. there is. Compared to image 901 , defects 930 - 1 and 930 - 2 in image 903 can be observed by second line illumination 910 . The server may detect defects 930-1 and 930-2 present on the front of the electronic device from the image 903. Referring to the image 905, the light output by the first light source 710-1 may be formed as a first line light 920 on one side of the front of the electronic device by the first structure 730. . Compared to image 901 , defects 940 - 1 to 940 - 4 in image 905 may be observed by first line illumination 910 . The server may detect defects 940-1 and 940-2 present on the front of the electronic device from the image 905.
도 10은 일 실시 예에 따른 촬영 박스 내에서 전자 기기의 위치에 따른 카메라 초점 깊이를 설명하는 도면이다.FIG. 10 is a diagram illustrating camera focus depth according to the position of an electronic device within a shooting box according to an embodiment.
도 10을 참조하면, 카메라(1020)의 초점 깊이 포인트(a)가 도시된다. a ± a'의 범위(도 10의 초점 범위)(이하, "카메라 초점 범위"라 지칭함) 이내에 전자 기기(1010)의 평가 영역(예: 측면 등)이 위치되어야 아웃 포커싱되지 않은 이미지가 획득될 수 있다. 여기서, a'는 허용 오차를 나타낼 수 있다. 일례로, 도 10에 도시된 예에서, 전자 기기(1010)가 위치 x에 있으면, 전자 기기(1010)의 측면은 카메라 초점 범위 내에 위치할 수 있고, 이에 따라, 카메라가 전자 기기(1010)의 측면을 촬영한 이미지는 아웃 포커싱되지 않을 수 있다. 전자 기기(1010)가 위치 y에 있으면, 전자 기기(1010)의 측면은 카메라 초점 범위 내에 위치하지 않을 수 있고, 이에 따라, 카메라가 전자 기기(1010)의 측면을 촬영한 이미지는 아웃 포커싱될 수 있다.10, the focal depth point (a) of camera 1020 is shown. The evaluation area (e.g., side, etc.) of the electronic device 1010 must be located within the range of a ± a' (focus range in Figure 10) (hereinafter referred to as "camera focus range") to obtain an image that is not out of focus. You can. Here, a' may represent the tolerance. For example, in the example shown in FIG. 10 , if electronic device 1010 is at location x, a side of electronic device 1010 may be located within the camera focal range, such that the camera may be Images taken from the side may not be out of focus. When the electronic device 1010 is at position y, the side of the electronic device 1010 may not be located within the camera focus range, and accordingly, the image taken by the camera of the side of the electronic device 1010 may be out of focus. there is.
아웃 포커싱되지 않은 이미지가 획득되지 않도록 하는 다양한 방식이 있을 수 있다. 일례로, 위에서 설명한 것과 같이, 정렬부(330)는 전자 기기(1010)가 정해진 위치에 있지 않으면 전자 기기(1010)를 정해진 위치로 이동시킬 수 있다. 다른 예로, 전자 기기(1010)가 정해진 위치에 있지 않으면 촬영부(350)는 카메라의 오토 포커싱을 수행할 수 있다. 또 다른 예로, 카메라는 팬(pan) 동작 및/또는 틸트(tilt) 동작이 가능할 수 있고, 촬영부(350)는 카메라가 팬 동작 및/또는 틸트 동작을 수행하도록 할 수 있다. 또 다른 예로, 카메라는 촬영 박스(210) 내에서 고정되어 있지 않을 수 있고, 촬영 박스(210) 내에서 x축, y축, z축 방향으로 이동할 수 있다. 촬영부(350)는 전자 기기(1010)의 안착 위치에 따라 카메라의 적절한 위치를 결정할 수 있고, 결정된 위치로 카메라(1020)를 이동시킬 수 있다. There may be various ways to prevent out-of-focus images from being acquired. For example, as described above, the alignment unit 330 may move the electronic device 1010 to a designated position if the electronic device 1010 is not in a designated position. As another example, if the electronic device 1010 is not in a designated location, the photographing unit 350 may perform auto-focusing of the camera. As another example, the camera may be capable of a pan operation and/or a tilt operation, and the photographing unit 350 may allow the camera to perform a pan operation and/or a tilt operation. As another example, the camera may not be fixed within the shooting box 210 and may move in the x-axis, y-axis, and z-axis directions within the shooting box 210. The photographing unit 350 can determine the appropriate position of the camera according to the seating position of the electronic device 1010 and move the camera 1020 to the determined position.
실시 예에 따라, 촬영 박스(210)는 후술할 딥러닝 평가 모델의 학습 데이터를 확보할 수 있다. 학습 데이터를 확보하기 위한 촬영 박스 환경 구성에 있어 조명과 카메라의 위치 및 세팅 값(예: 조명 세기, 조명 파장, 촬영 각도 등)이 주요할 수 있고, 전자 기기(1010)가 물리적으로 안착되는 위치와 허용 오차(a')도 주요할 수 있다. 전자 기기(1010)가 허용 공간(또는 정해진 위치, 카메라 초점 범위)을 벗어난 경우, 촬영 박스(210)는 전자 기기(1010)를 허용 공간으로 이동시킬 수 있다. 또는, 촬영 박스(210)는 전자 기기(1010)가 허용 공간을 벗어난 경우 카메라와 조명을 전자 기기의 안착 위치에 맞추어 조정을 해서 전자 기기의 외관을 촬영할 수 있다. Depending on the embodiment, the shooting box 210 may secure learning data for a deep learning evaluation model, which will be described later. In configuring the shooting box environment to secure learning data, the location and setting values of lighting and cameras (e.g., lighting intensity, lighting wavelength, shooting angle, etc.) may be important, and the location where the electronic device 1010 is physically seated. and tolerance (a') may also be important. If the electronic device 1010 deviates from the allowable space (or a predetermined position, camera focus range), the shooting box 210 may move the electronic device 1010 to the allowable space. Alternatively, if the electronic device 1010 deviates from the allowable space, the shooting box 210 can capture the exterior of the electronic device by adjusting the camera and lighting to the seating position of the electronic device.
도 11은 일 실시 예에 따른 전자 기기의 상태바를 설명하는 도면이다.FIG. 11 is a diagram illustrating a status bar of an electronic device according to an embodiment.
도 11을 참조하면, 전자 기기(1110)의 화면은 제1 상태바(1120)와 제2 상태바(1130)를 포함할 수 있다. 제1 상태바(1120)는 화면의 상단에 위치할 수 있고, 제2 상태바(1130)는 화면의 하단에 위치할 수 있다.Referring to FIG. 11 , the screen of the electronic device 1110 may include a first status bar 1120 and a second status bar 1130. The first status bar 1120 may be located at the top of the screen, and the second status bar 1130 may be located at the bottom of the screen.
전자 기기(1110)가 흰색 화면을 표시하게 되면 제1 상태바(1120)의 아이콘의 잔상 및/또는 제2 상태바(1130)의 아이콘의 잔상이 존재할 수 있다. 이러한 잔상은 화면 결함에 해당할 수 있다.When the electronic device 1110 displays a white screen, an afterimage of the icon of the first status bar 1120 and/or an afterimage of the icon of the second status bar 1130 may exist. These afterimages may correspond to screen defects.
전자 기기에 따라 전자 기기의 흰색 화면의 밝기 및 색감(color tone)이 달라질 수 있다. 일례로, 전자 기기의 디스플레이 모듈의 제조사에 따라 디폴트로 설정된 RGB값이 다를 수 있고, 이에 따라 전자 기기의 흰색 화면의 밝기 및/또는 색감이 달라질 수 있다. 앱 연동부(340)(또는 제어부(360))는 전자 기기의 제조사, 전자 기기의 디스플레이 모듈의 종류, 및 디폴트로 설정된 RCB값 중 적어도 하나를 통해 전자 기기마다 일관된 밝기와 색감을 갖는 흰색 화면을 표시하도록 할 수 있다. The brightness and color tone of the white screen of an electronic device may vary depending on the electronic device. For example, the default RGB values may differ depending on the manufacturer of the display module of the electronic device, and the brightness and/or color of the white screen of the electronic device may vary accordingly. The app linkage unit 340 (or control unit 360) displays a white screen with consistent brightness and color for each electronic device through at least one of the manufacturer of the electronic device, the type of display module of the electronic device, and the RCB value set as default. You can display it.
도 12 내지 도 15는 일 실시 예에 따른 전자 기기 가치 평가 장치의 동작을 설명하는 도면이다. 12 to 15 are diagrams explaining the operation of an electronic device value evaluation device according to an embodiment.
도 12를 참조하면, 전자 기기 장치 평가 장치(130)는 메모리(1210), 외관 상태 평가 모듈(1220), 및 가치 결정 모듈(1230)을 포함할 수 있다.Referring to FIG. 12 , the electronic device evaluation device 130 may include a memory 1210, an appearance condition evaluation module 1220, and a value determination module 1230.
일 실시 예에 있어서, 외관 상태 평가 모듈(1220) 및 가치 결정 모듈(1230)은 하나의 프로세서로 구현될 수 있다. In one embodiment, the appearance condition evaluation module 1220 and the value determination module 1230 may be implemented with one processor.
일 실시 예에 있어서, 외관 상태 평가 모듈(1220) 및 가치 결정 모듈(340) 각각은 별개의 프로세서로 구현될 수 있다. 예를 들어, 제1 프로세서가 외관 상태 평가 모듈(1220)을 구현할 수 있고, 제2 프로세서가 가치 결정 모듈(340)을 구현할 수 있다. In one embodiment, the appearance condition evaluation module 1220 and the value determination module 340 may each be implemented with separate processors. For example, a first processor may implement the appearance condition evaluation module 1220 and a second processor may implement the value determination module 340.
메모리(1210)는 복수의 딥러닝 평가 모델들을 저장할 수 있다. 예를 들어, 메모리(1210)는 전자 기기의 제1 평가 영역(예: 전면)의 결함을 검출하고 검출된 결함(또는 제1 평가 영역)의 등급을 결정하는 제1 딥러닝 평가 모델, 전자 기기의 제2 평가 영역(예: 후면)의 결함을 검출하고 검출된 결함(또는 제2 평가 영역)의 등급을 결정하는 제2 딥러닝 평가 모델, 전자 기기의 제3 평가 영역(예: 측면(또는 코너))의 결함을 검출하고 검출된 결함(또는 제3 평가 영역)의 등급을 결정하는 제3 딥러닝 평가 모델, 및 전자 기기의 제4 평가 영역(예: 화면)의 결함을 검출하고 검출된 결함(또는 제4 평가 영역)의 등급을 결정하는 제4 딥러닝 평가 모델을 포함할 수 있다. 아래 표 1은 평가 영역들(예: 화면, 전면, 측면(또는 코너), 후면) 각각의 결함의 종류와 등급의 예시를 보여준다. The memory 1210 may store a plurality of deep learning evaluation models. For example, the memory 1210 may detect a defect in a first evaluation area (e.g., the front) of the electronic device and use a first deep learning evaluation model to determine the grade of the detected defect (or the first evaluation area), the electronic device. A second deep learning evaluation model that detects defects in a second evaluation area (e.g., back side) and determines the grade of the detected defect (or second evaluation area), a third evaluation area (e.g., side (or a third deep learning evaluation model that detects defects in the corner) and determines the grade of the detected defect (or third evaluation area), and detects defects in the fourth evaluation area (e.g., screen) of the electronic device and determines the grade of the detected defect (or third evaluation area) It may include a fourth deep learning evaluation model that determines the grade of the defect (or fourth evaluation area). Table 1 below shows examples of defect types and grades for each of the evaluation areas (e.g. screen, front, side (or corner), rear).
등급Rating 화면
(디스플레이)
screen
(display)
전면Front 측면(또는 코너)side (or corner) 후면back side 모델 출력model output
DD 백화 3개 이상3 or more white flowers 화면 줄감, 얼룩Screen lines and stains -- -- -- 77
흑점black spot 총알 파손bullet damage
DLDL LCD급 잔상,
LCD급 백화
LCD-level afterimage,
LCD level whitening
-- -- -- 66
CC -- 파손,액정 들뜸(예: 강화유리 들뜸)Damage, liquid crystal lifting (e.g. tempered glass lifting) -- 파손,
후면 들뜸,
카메라 유리(또는 렌즈) 파손
break,
rear lifting,
Broken camera glass (or lens)
55
CLCL 강잔상, 백화 2개 이하Strong afterimage, 2 or less white flowers -- -- -- 44
BB 중잔상Afterimage 전면 파손급 흠집,전면 흠집Front level damage, scratches on the front -- -- 33
B+B+ -- -- 몸체 흠집body scratches -- 22
AA 깨끗clean 깨끗clean 깨끗clean 깨끗clean 1One
위 표 1에서, 중잔상은, 예를 들어, 전자 기기가 흰색 화면을 표시하지만 사용자에게 화면의 특정 영역(예: 화면 상단의 상태 표시 영역)이 흰색이 아닌 색으로 보여지고 특정 영역에 아이콘이 보여지는 현상을 나타낼 수 있다. 강잔상은, 예를 들어, 전자 기기가 흰색 화면을 표시하지만 사용자에게 화면 전체적으로 흰색이 아닌 다른 색이 보여지는 현상을 나타낼 수 있다. LCD급 잔상은 강잔상보다 잔상의 정도가 심한 상태로, 예를 들어, 전자 기기가 흰색 화면을 표시하지만 사용자에게 화면 전체적으로 흰색이 아닌 다른 색이 보여지고 화면에 아이콘이 보여지는 현상을 나타낼 수 있다. In Table 1 above, medium afterimage is, for example, an electronic device that displays a white screen, but the user sees certain areas of the screen (e.g., the status display area at the top of the screen) as non-white and icons in certain areas. It can represent the visible phenomenon. Strong afterimage, for example, may indicate a phenomenon in which an electronic device displays a white screen, but the user sees a color other than white overall on the screen. LCD-level afterimages are a condition in which the degree of afterimages is more severe than strong afterimages. For example, an electronic device displays a white screen, but the user may see a color other than white overall on the screen and an icon may appear on the screen. .
제1 내지 제4 딥러닝 평가 모델들 각각은 주어진 입력 이미지에 이미지 세그멘테이션(image segmentation)을 수행할 수 있다.Each of the first to fourth deep learning evaluation models can perform image segmentation on a given input image.
도 13에 딥러닝 평가 모델들 각각의 기반이 되는 딥 뉴럴 네트워크(Neural Network)의 개략적인 구조가 도시된다. 이하, 설명의 편의를 위하여 딥 뉴럴 네트워크의 구조를 예로 들어 설명하지만, 반드시 이에 한정되는 것은 아니며 다양한 구조의 뉴럴 네트워크들이 딥러닝 평가 모델에 사용될 수 있다. Figure 13 shows the schematic structure of a deep neural network that is the basis for each deep learning evaluation model. Hereinafter, for convenience of explanation, the structure of a deep neural network will be described as an example, but it is not necessarily limited to this and neural networks of various structures can be used in deep learning evaluation models.
딥 뉴럴 네트워크는 뉴럴 네트워크를 구현하는 하나의 방식으로서, 복수의 레이어들(layers)을 포함한다. 딥 뉴럴 네트워크는, 예를 들어, 입력 데이터가 인가되는 입력 레이어(Input Layer)(1310), 트레이닝을 바탕으로 입력 데이터에 기반한 예측을 통해 도출된 결과 값을 출력하는 출력 레이어(Output Layer)(1340), 및 입력 레이어와 출력 레이어 사이의 다중의 은닉 레이어(Hidden Layer)들(1320, 1330)을 포함할 수 있다. A deep neural network is a method of implementing a neural network and includes multiple layers. A deep neural network includes, for example, an input layer 1310 to which input data is applied, and an output layer 1340 to output a result value derived through prediction based on input data based on training. ), and may include multiple hidden layers 1320 and 1330 between the input layer and the output layer.
딥 뉴럴 네트워크는 정보를 처리하기 위해 이용되는 알고리즘에 따라, 컨볼루션 신경망(Convolutional Neural Network), 및 리커런트 신경망(Recurrent Neural Network) 등으로 분류될 수 있다. 이하, 뉴럴 네트워크 분야의 일반적인 관행에 따라 입력 레이어를 최하위 레이어, 출력 레이어를 최상위 레이어라고 부르며, 최상위 레이어인 출력 레이어부터 최하위 레이어인 입력 레이어까지 순차적으로 레이어들의 순위를 지정하여 명명할 수 있다. 도 13에서, 은닉 레이어 2는 은닉 레이어 1 및 입력 레이어보다 상위 레이어이고, 출력 레이어보다는 하위 레이어에 해당할 수 있다. Deep neural networks can be classified into convolutional neural networks, recurrent neural networks, etc., depending on the algorithm used to process information. Hereinafter, according to general practice in the field of neural networks, the input layer is called the lowest layer and the output layer is called the highest layer, and the layers can be named by sequentially ranking them from the output layer, which is the highest layer, to the input layer, which is the lowest layer. In Figure 13, hidden layer 2 is a layer higher than hidden layer 1 and the input layer, and may correspond to a lower layer than the output layer.
딥 뉴럴 네트워크에서 인접한 레이어들 사이에서는 상대적으로 상위인 레이어가, 상대적으로 하위인 레이어의 출력 값에 가중치를 곱하고 바이어스를 적용한 값을 인가 받아 소정의 연산 결과를 출력할 수 있다. 이 때, 출력되는 연산 결과는 해당 레이어에 인접한 상위 레이어에 유사한 방식으로 인가될 수 있다.In a deep neural network, among adjacent layers, a relatively higher layer can output a predetermined calculation result by multiplying the output value of the relatively lower layer by a weight and receiving a biased value. At this time, the output operation result can be applied to the upper layer adjacent to the corresponding layer in a similar manner.
뉴럴 네트워크를 트레이닝하는 방식을 예를 들어, 딥러닝(Deep Learning)이라 하며, 상술한 바와 같이 딥러닝에는 컨볼루션 뉴럴 네트워크, 리커런트 뉴럴 네트워크와 같이 다양한 알고리즘이 이용될 수 있다. For example, a method of training a neural network is called deep learning, and as described above, various algorithms such as convolutional neural networks and recurrent neural networks can be used in deep learning.
"뉴럴 네트워크를 트레이닝한다"는 것은 레이어들 간의 가중치(들) 및 바이어스(들)를 결정하고 갱신하는 것, 및/또는 인접한 레이어들 중 서로 다른 레이어에 속하는 복수의 뉴런들 간의 가중치(들) 및 바이어스(들)를 결정하고 갱신하는 것을 모두 포괄하는 의미로 이해될 수 있다. “Training a neural network” means determining and updating the weight(s) and bias(s) between layers, and/or weight(s) between a plurality of neurons belonging to different layers among adjacent layers, and It can be understood as encompassing both determining and updating bias(es).
복수의 레이어들, 복수의 레이어들 간의 계층적 구조, 뉴런들 간의 가중치 및 바이어스를 모두 총칭하여 뉴럴 네트워크의 "연결성(connectivity)"이라 표현할 수 있다. 이에 따라, "뉴럴 네트워크를 트레이닝한다"는 것은 연결성을 구축하고 트레이닝하는 것으로도 이해될 수 있다. The plurality of layers, the hierarchical structure between the plurality of layers, and the weights and biases between neurons can all be collectively expressed as the “connectivity” of a neural network. Accordingly, “training a neural network” can also be understood as building and training connectivity.
뉴럴 네트워크에서 복수의 레이어들 각각은 복수의 노드들(nodes)을 포함할 수 있다. 노드는 뉴럴 네트워크의 뉴런(neuron)에 해당할 수 있다. 용어 "뉴런"은 "노드"라는 용어와 동일한 의미로 사용될 수 있다. In a neural network, each of a plurality of layers may include a plurality of nodes. Nodes may correspond to neurons in a neural network. The term “neuron” may be used interchangeably with the term “node.”
도 13의 딥 뉴럴 네트워크에서 어느 한 레이어에 포함된 복수의 노드들과 인접한 레이어에 포함된 복수의 노드들의 조합들 간에 모두 연결 관계가 형성된 것을 볼 수 있다. 이와 같이 뉴럴 네트워크의 인접한 레이어들에 포함된 모든 노드들의 조합들이 모두 서로 연결된 것을 "완전 연결(fully-connected)"이라 부를 수 있다. 도 13에 도시된 은닉 레이어 2(1330)의 노드 3-1은 은닉 레이어 1(1320)의 모든 노드들, 즉, 노드 2-1 내지 노드 2-4 모두와 연결되어 각각의 노드들의 출력 값에 대하여 소정의 가중치를 곱한 값을 입력 받을 수 있다. In the deep neural network of FIG. 13, it can be seen that connection relationships are formed between a plurality of nodes included in one layer and combinations of a plurality of nodes included in an adjacent layer. In this way, a combination of all nodes included in adjacent layers of a neural network can be called “fully-connected.” Node 3-1 of hidden layer 2 (1330) shown in FIG. 13 is connected to all nodes of hidden layer 1 (1320), that is, all nodes 2-1 to 2-4, and is connected to the output value of each node. You can input a value multiplied by a predetermined weight.
입력 레이어(1310)에 입력된 데이터가 복수의 은닉 레이어들(1230, 1330)을 거쳐 처리됨으로써 출력 레이어(1340)를 통해 출력 값이 출력될 수 있다. 이때, 각 노드의 출력 값에 대해 곱해지는 가중치가 클수록 대응하는 두 개의 노드들 간의 연결성이 강화됨을 의미하고, 가중치가 작을수록 두 개의 노드들 간의 연결성이 약화됨을 의미할 수 있다. 가중치가 0인 경우, 두 노드들 간의 연결성이 없음을 의미할 수 있다.Data input to the input layer 1310 is processed through a plurality of hidden layers 1230 and 1330, so that an output value may be output through the output layer 1340. At this time, a larger weight multiplied by the output value of each node may mean that the connectivity between the two corresponding nodes is strengthened, and a smaller weight may mean that the connectivity between the two nodes is weakened. If the weight is 0, it may mean that there is no connectivity between the two nodes.
도 12로 돌아와서, 외관 상태 평가 모듈(1220)은 전자 기기를 촬영하여 획득된 복수의 이미지들 및 딥러닝 평가 모델들을 기초로 전자 기기에 대한 외관 상태 평가를 수행할 수 있다. 예를 들어, 외관 상태 평가 모듈(1220)은 딥러닝 평가 모델들을 통해 이미지들로부터 전자 기기의 제1 내지 제4 평가 영역 각각의 결함 상태를 예측한 마스크를 생성할 수 있다. 외관 상태 평가 모듈(1220)은 생성된 각 마스크를 기초로 제1 내지 제4 평가 영역 각각의 결함의 등급을 결정할 수 있다. 외관 상태 평가 모듈(1220)은 결정된 각 등급을 통해 전자 기기의 외관 상태에 대한 최종 등급을 결정할 수 있다.Returning to FIG. 12 , the appearance condition evaluation module 1220 may perform an appearance condition evaluation on the electronic device based on a plurality of images obtained by photographing the electronic device and deep learning evaluation models. For example, the appearance condition evaluation module 1220 may generate a mask predicting the defect state of each of the first to fourth evaluation areas of the electronic device from images through deep learning evaluation models. The appearance condition evaluation module 1220 may determine the grade of defects in each of the first to fourth evaluation areas based on each generated mask. The exterior condition evaluation module 1220 may determine the final grade of the exterior condition of the electronic device through each determined grade.
도 14에 도시된 예에서, 제1 딥러닝 평가 모델(1410)은 전면 이미지를 입력 받을 수 있다. 제1 딥러닝 평가 모델(1410)은 전면 이미지를 통해 전자 기기의 전면의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제1 마스크를 생성할 수 있다. 여기서, 결함의 정도는 결함 유형과 관련될 수 있다. 예를 들어, 제1 딥러닝 평가 모델(1410)은 전면 이미지에 이미지 세그멘테이션을 수행하여 전면 이미지의 픽셀들 각각을 제1 클래스들 중 어느 하나로 분류할 수 있고, 이러한 분류에 따라 제1 마스크를 생성할 수 있다. 아래 표 2는 제1 클래스들의 예시를 보여준다.In the example shown in FIG. 14, the first deep learning evaluation model 1410 may receive a front image as input. The first deep learning evaluation model 1410 can generate a first mask that predicts the defect state of the front of the electronic device (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) through the front image. there is. Here, the degree of defect may be related to the defect type. For example, the first deep learning evaluation model 1410 may perform image segmentation on the front image to classify each pixel of the front image into one of the first classes, and generate a first mask according to this classification. can do. Table 2 below shows examples of first classes.
제1-1 클래스(예: 전면 흠집, 전면 파손급 흠집 등)Class 1-1 (e.g. frontal scratches, frontal major scratches, etc.)
제1-2 클래스(예: 전면 파손, 액정 들뜸 등)Class 1-2 (e.g. front breakage, floating liquid crystal, etc.)
제1-3 클래스(예: 전자 기기가 아닌 부분)Classes 1-3 (e.g. non-electronic devices)
제1-4 클래스(예: 전자 기기의 전면)Classes 1-4 (e.g. front of electronic devices)
앞서 촬영 박스(210) 내의 제1 카메라는 전자 기기의 전면 뿐 아니라 전면의 주변을 촬영할 수 있어, 전면 이미지에는 전자 기기가 아닌 부분을 포함할 수 있다.Previously, the first camera in the shooting box 210 can photograph not only the front of the electronic device but also the surroundings of the front, so the front image may include parts that are not the electronic device.
제1 딥러닝 평가 모델(1410)은 전면 이미지의 일부 픽셀들을 제1-1클래스로 분류할 수 있고, 나머지 픽셀들 각각을 제1-2 클래스, 제1-3 클래스, 또는 제1-4 클래스로 분류할 수 있다. 이러한 분류를 통해 제1 딥러닝 평가 모델(1410)은 제1 마스크를 생성할 수 있다.The first deep learning evaluation model 1410 may classify some pixels of the front image as class 1-1, and classify each of the remaining pixels as class 1-2, class 1-3, or class 1-4. It can be classified as: Through this classification, the first deep learning evaluation model 1410 can generate a first mask.
제1 마스크를 시각적으로 표현한 이미지의 예시가 도 15에 도시된다. An example of an image visually representing the first mask is shown in FIG. 15.
도 15에 도시된 예에서, 검은색 영역들(1510-1, 1510-2, 1510-3, 1510-4)은 제1 딥러닝 평가 모델(1410)이 전면 이미지의 일부 픽셀들을 제1-3 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(1410)이 전면 이미지의 일부 픽셀들이 전자 기기에 해당하지 않는 것으로 예측한 결과)를 나타낼 수 있다. 영역(1520)은 제1 딥러닝 평가 모델(1410)이 전면 이미지의 일부 픽셀들을 제1-2 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(1410)이 전면 이미지로부터 전자 기기의 전면에 파손이 있는 것으로 예측한 결과)를 나타낼 수 있다. 영역(1530)은 제1 딥러닝 평가 모델(1410)이 전면 이미지의 일부 픽셀들을 제1-1 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(1410)이 전면 이미지로부터 전자 기기의 전면에 흠집이 있는 것으로 예측한 결과)를 나타낼 수 있다. 영역(1540)은 제1 딥러닝 평가 모델(1410)이 전면 이미지의 일부 픽셀들을 제1-4 클래스로 분류한 결과(또는 제1 딥러닝 평가 모델(1410)이 전면 이미지에서 전자 기기의 전면을 예측한 결과)를 나타낼 수 있다. In the example shown in FIG. 15, the black areas 1510-1, 1510-2, 1510-3, and 1510-4 are the first deep learning evaluation model 1410 that selects some pixels of the front image as 1-3. It may represent a result of classification into a class (or a result of the first deep learning evaluation model 1410 predicting that some pixels in the front image do not correspond to electronic devices). The area 1520 is a result of the first deep learning evaluation model 1410 classifying some pixels of the front image into first and second classes (or the first deep learning evaluation model 1410 is located on the front of the electronic device from the front image). (results predicted to be damaged) can be displayed. The area 1530 is a result of the first deep learning evaluation model 1410 classifying some pixels of the front image into the 1-1 class (or the first deep learning evaluation model 1410 is located on the front of the electronic device from the front image). (result predicted to have a flaw) can be displayed. The area 1540 is a result of the first deep learning evaluation model 1410 classifying some pixels of the front image into classes 1 to 4 (or the first deep learning evaluation model 1410 classifies the front of the electronic device in the front image). predicted results).
제1 딥러닝 평가 모델(1410)은 제1 마스크를 기초로 전면의 결함에 대한 등급을 결정할 수 있다. 예를 들어, 제1 딥러닝 평가 모델(1410)은 전면 이미지를 통해 전자 기기의 전면에 파손과 액정 들뜸 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 전면의 결함의 등급을 C 등급(예: 위 표 1의 C 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(1410)은 C 등급에 대응되는 점수 5를 출력할 수 있다. 제1 딥러닝 평가 모델(1410)은 전면 이미지를 통해 전자 기기의 전면에 파손과 흠집이 있는 것으로 예측한 경우, 전자 기기의 전면의 결함의 등급을 C 등급(예: 위 표 1의 C 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(1410)은 C 등급에 대응되는 점수 5를 출력할 수 있다. 제1 딥러닝 평가 모델(1410)은 전면 이미지를 통해 전자 기기의 전면에 흠집 및 전면 파손급 흠집 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 전면의 결함의 등급을 B 등급(예: 위 표 1의 B 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(1410)은 B 등급에 대응되는 점수 3을 출력할 수 있다. 제1 딥러닝 평가 모델(1410)은 전면 이미지를 통해 전자 기기의 전면이 깨끗한 것(또는 전면에 결함이 없는 것)으로 예측한 경우, 전자 기기의 전면의 결함의 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제1 딥러닝 평가 모델(1410)은 A 등급에 대응되는 점수 1을 출력할 수 있다.The first deep learning evaluation model 1410 may determine a grade for a defect on the front surface based on the first mask. For example, when the first deep learning evaluation model 1410 predicts that there is at least one of damage and floating liquid crystal on the front of the electronic device through the front image, the grade of the defect on the front of the electronic device is graded as C (e.g. : It can be determined as Grade C in Table 1 above). The first deep learning evaluation model 1410 may output a score of 5 corresponding to a C grade. When the first deep learning evaluation model 1410 predicts that there are damages and scratches on the front of the electronic device through the front image, the grade of the defect on the front of the electronic device is graded as C (e.g. grade C in Table 1 above). can be decided. The first deep learning evaluation model 1410 may output a score of 5 corresponding to a C grade. If the first deep learning evaluation model 1410 predicts that there is at least one of a scratch and a front damage level scratch on the front of the electronic device through the front image, the grade of the defect on the front of the electronic device is graded as B (e.g., above). It can be determined by grade B in Table 1). The first deep learning evaluation model 1410 may output a score of 3 corresponding to grade B. If the first deep learning evaluation model 1410 predicts that the front of the electronic device is clean (or has no defects on the front) through the front image, the grade of the defect on the front of the electronic device is graded as A (e.g., above). It can be determined by grade A in Table 1). The first deep learning evaluation model 1410 may output a score of 1 corresponding to grade A.
제2 딥러닝 평가 모델(1420)은 후면 이미지를 입력받을 수 있다. 제2 딥러닝 평가 모델(1420)은 후면 이미지를 통해 전자 기기의 후면의 결함 상태(예: 결함의 위치, 결함의 정류, 및 결함의 정도 중 적어도 하나)를 예측한 제2 마스크를 생성할 수 있다. 예를 들어, 제2 딥러닝 평가 모델(1420)은 후면 이미지에 이미지 세그멘테이션을 수행할 수 있고, 후면 이미지의 픽셀들 각각을 제2 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제2 마스크를 생성할 수 있다. 아래 표 3은 제2 클래스들의 예시를 보여준다.The second deep learning evaluation model 1420 can receive a rear image as input. The second deep learning evaluation model 1420 may generate a second mask predicting the defect state (e.g., at least one of defect location, defect rectification, and defect degree) of the back of the electronic device through the back image. there is. For example, the second deep learning evaluation model 1420 may perform image segmentation on the back image, and classify each pixel of the back image into one of the second classes. Through this classification, the second deep learning evaluation model 1420 may perform image segmentation on the back image. You can create a mask. Table 3 below shows examples of second classes.
제2-1 클래스(예: 파손, 후면 들뜸, 카메라 유지(또는 렌즈) 파손 등)Class 2-1 (e.g. breakage, back lifting, camera retention (or lens) breakage, etc.)
제2-2 클래스(예: 전자 기기가 아닌 부분)Class 2-2 (e.g. non-electronic devices)
제2-3 클래스(예: 전자 기기의 후면)Classes 2-3 (e.g. rear of electronic devices)
제2 딥러닝 평가 모델(1420)은 제2 마스크를 기초로 후면의 결함에 대한 등급을 결정할 수 있다. 예를 들어, 제2 딥러닝 평가 모델(1420)은 후면 이미지를 통해 전자 기기의 후면에 파손, 후면 들뜸, 및 카메라 렌즈 파손 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 후면의 결함의 등급을 C 등급(예: 위 표 1의 C 등급)으로 결정할 수 있다. 제2 딥러닝 평가 모델(1420)은 C 등급에 대응되는 점수 5를 출력할 수 있다. 제2 딥러닝 평가 모델(1420)은 후면 이미지를 통해 전자 기기의 후면이 깨끗한 것으로 예측한 경우, 전자 기기의 후면의 결함의 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제2 딥러닝 평가 모델(1420)은 A 등급에 대응되는 점수 1을 출력할 수 있다.The second deep learning evaluation model 1420 may determine the grade of the defect on the back side based on the second mask. For example, if the second deep learning evaluation model 1420 predicts that there is at least one of damage, back lifting, and camera lens damage on the back of the electronic device through the back image, the grade of the defect on the back of the electronic device can be determined as C grade (e.g., C grade in Table 1 above). The second deep learning evaluation model 1420 may output a score of 5 corresponding to a C grade. If the second deep learning evaluation model 1420 predicts that the back of the electronic device is clean through the back image, the grade of the defect on the back of the electronic device may be determined as Grade A (e.g., Grade A in Table 1 above). . The second deep learning evaluation model 1420 may output a score of 1 corresponding to grade A.
제3 딥러닝 평가 모델(1430)은 측면 이미지들(또는 코너 이미지들)을 입력받을 수 있다. 제3 딥러닝 평가 모델(1430)은 측면 이미지들(또는 코너 이미지들)을 통해 전자 기기의 측면들(또는 코너들)의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제3 마스크를 생성할 수 있다. 예를 들어, 제3 딥러닝 평가 모델(1430)은 측면 이미지들(또는 코너 이미지들)에 이미지 세그멘테이션을 수행할 수 있고, 각 측면 이미지의 픽셀들 각각을 제3 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제3 마스크를 생성할 수 있다. 아래 표 4는 제3 클래스들의 예시를 보여준다.The third deep learning evaluation model 1430 may receive side images (or corner images) as input. The third deep learning evaluation model 1430 determines the defect status (e.g., location of defect, type of defect, and degree of defect) of the sides (or corners) of the electronic device through side images (or corner images). A third mask predicting (at least one) can be generated. For example, the third deep learning evaluation model 1430 may perform image segmentation on side images (or corner images) and classify each pixel of each side image into one of the third classes. And through this classification, a third mask can be created. Table 4 below shows examples of third classes.
제3-1 클래스(예: 흠집)Class 3-1 (e.g. scratches)
제3-2 클래스(예: 전자 기기가 아닌 부분)Class 3-2 (e.g. non-electronic devices)
제3-3 클래스(예: 전자 기기의 측면(또는 코너))Class 3-3 (e.g. the side (or corner) of an electronic device)
제3 딥러닝 평가 모델(1430)은 제3 마스크를 기초로 측면들(또는 코너들)의 결함의 등급을 결정할 수 있다. 예를 들어, 제3 딥러닝 평가 모델(1430)은 측면 이미지들(또는 코너 이미지들)을 통해 전자 기기의 제1 측면(또는 제1 코너) 에 흠집이 있는 것으로 예측한 경우, 전자 기기의 측면들(또는 코너들)의 결함에 대한 등급을 B+ 등급(예: 위 표 1의 B+ 등급)으로 결정할 수 있다. 제3 딥러닝 평가 모델(1430)은 B+ 등급에 대응되는 점수 2를 출력할 수 있다. 제3 딥러닝 평가 모델(1430)은 측면 이미지들(또는 코너 이미지들)을 통해 전자 기기의 측면들(또는 코너들)이 깨끗한 것으로 예측한 경우, 전자 기기의 측면들(또는 코너들)의 결함에 대한 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제3 딥러닝 평가 모델(1430)은 A 등급에 대응되는 점수 1을 출력할 수 있다.The third deep learning evaluation model 1430 may determine the grade of defects in the sides (or corners) based on the third mask. For example, when the third deep learning evaluation model 1430 predicts that there is a scratch on the first side (or first corner) of the electronic device through side images (or corner images), the side of the electronic device The grade for defects in corners (or corners) can be determined as a B+ grade (e.g., B+ grade in Table 1 above). The third deep learning evaluation model 1430 may output a score of 2 corresponding to a B+ grade. If the third deep learning evaluation model 1430 predicts that the sides (or corners) of the electronic device are clean through the side images (or corner images), the sides (or corners) of the electronic device are defective. The grade for can be determined as grade A (e.g. grade A in Table 1 above). The third deep learning evaluation model 1430 may output a score of 1 corresponding to grade A.
제4 딥러닝 평가 모델(1440)은 전자 기기에 화면 이미지(예: 단색 화면 이미지)를 입력 받을 수 있다. 제4 딥러닝 평가 모델(1440)은 화면 이미지를 통해 전자 기기의 화면의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제4 마스크를 생성할 수 있다. 예를 들어, 제4 딥러닝 평가 모델(1440)은 화면 이미지에 이미지 세그멘테이션을 수행할 수 있고, 화면 이미지의 픽셀들 각각을 제4 클래스들 중 어느 하나로 분류할 수 있으며, 이러한 분류를 통해 제4 마스크를 생성할 수 있다. 아래 표 5는 제4 클래스들의 예시를 보여준다.The fourth deep learning evaluation model 1440 can receive a screen image (e.g., a single-color screen image) as input to an electronic device. The fourth deep learning evaluation model 1440 can generate a fourth mask that predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the screen of the electronic device through the screen image. there is. For example, the fourth deep learning evaluation model 1440 can perform image segmentation on the screen image and classify each pixel of the screen image into one of the fourth classes, and through this classification, the fourth class You can create a mask. Table 5 below shows examples of the fourth classes.
제4-1 클래스(예: 백화 3개 이상, 화면 줄감, 얼룩, 흑점, 총알 파손 등)Class 4-1 (e.g. 3 or more white spots, screen lines, stains, black spots, bullet damage, etc.)
제4-2 클래스(예: LCD급 잔상, LCD급 백화 등)Class 4-2 (e.g. LCD-class afterimage, LCD-class whitening, etc.)
제4-3 클래스(예: 강잔상, 백화 2개 이하 등)Class 4-3 (e.g. strong afterimage, 2 or less white flowers, etc.)
제4-4 클래스(예: 중잔상 등)Class 4-4 (e.g. medium afterimage, etc.)
제4-5 클래스(예: 전자 기기가 아닌 부분)Classes 4-5 (e.g. non-electronic devices)
제4-6 클래스(예: 전자 기기의 화면)Class 4-6 (e.g. screens of electronic devices)
제4 딥러닝 평가 모델(1440)은 제4 마스크를 기초로 전자 기기의 화면의 결함에 대한 등급을 결정할 수 있다. 예를 들어, 제4 딥러닝 평가 모델(1440)은 화면 이미지를 통해 전자 기기의 화면에 백화 3개 이상, 화면 줄감, 흑점, 총알 파손 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 화면의 결함의 등급을 D 등급(예: 위 표 1의 D 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(1440)은 D 등급에 대응되는 점수 7을 출력할 수 있다. 제4 딥러닝 평가 모델(1440)은 화면 이미지를 통해 전자 기기의 화면에 LCD급 잔상 및 LCD급 백화 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 화면의 결함의 등급을 DL 등급(예: 위 표 1의 DL 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(1440)은 DL 등급에 대응되는 점수 6을 출력할 수 있다. 제4 딥러닝 평가 모델(1440)은 화면 이미지를 통해 전자 기기의 화면에 강잔상 및 백화 2개 이하 중 적어도 하나가 있는 것으로 예측한 경우, 전자 기기의 화면의 결함에 대한 등급을 CL 등급(예: 위 표 1의 CL 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(1440)은 CL 등급에 대응되는 점수 4를 출력할 수 있다. 제4 딥러닝 평가 모델(1440)은 화면 이미지를 통해 전자 기기의 화면에 중잔상이 있는 것으로 예측한 경우, 전자 기기의 화면의 결함의 등급을 B 등급(예: 위 표 1의 B 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(1440)은 B 등급에 대응되는 점수 3을 출력할 수 있다. 제4 딥러닝 평가 모델(1440)은 화면 이미지를 통해 전자 기기의 화면이 깨끗한 것으로 예측한 경우, 전자 기기의 화면의 결함의 등급을 A 등급(예: 위 표 1의 A 등급)으로 결정할 수 있다. 제4 딥러닝 평가 모델(1440)은 A 등급에 대응되는 점수 1을 출력할 수 있다.The fourth deep learning evaluation model 1440 may determine a grade for a defect on the screen of an electronic device based on the fourth mask. For example, if the fourth deep learning evaluation model 1440 predicts that the screen of the electronic device has at least three white spots, screen lines, black spots, or bullet damage through the screen image, the screen of the electronic device The grade of the defect can be determined as grade D (e.g. grade D in Table 1 above). The fourth deep learning evaluation model 1440 can output a score of 7 corresponding to a D grade. When the fourth deep learning evaluation model 1440 predicts that there is at least one of LCD-class afterimage and LCD-class whitening on the screen of the electronic device through the screen image, the grade of defect on the screen of the electronic device is DL grade (e.g. It can be determined by the DL grade in Table 1 above). The fourth deep learning evaluation model 1440 can output a score of 6 corresponding to the DL grade. When the fourth deep learning evaluation model 1440 predicts that there is at least one of two or less strong afterimages and whitening on the screen of the electronic device through the screen image, the grade for the defect on the screen of the electronic device is a CL grade (e.g. : It can be determined by the CL grade in Table 1 above). The fourth deep learning evaluation model 1440 can output a score of 4 corresponding to the CL grade. If the fourth deep learning evaluation model 1440 predicts that there is a medium afterimage on the screen of the electronic device through the screen image, the defect grade on the screen of the electronic device is graded as B (e.g., grade B in Table 1 above). You can decide. The fourth deep learning evaluation model 1440 can output a score of 3 corresponding to grade B. If the fourth deep learning evaluation model 1440 predicts that the screen of the electronic device is clean through the screen image, the defect grade of the screen of the electronic device may be determined as grade A (e.g. grade A in Table 1 above). . The fourth deep learning evaluation model 1440 may output a score of 1 corresponding to grade A.
도 12로 돌아와서, 가치 결정 모듈(1230)은 전자 기기의 외관 상태 평가의 결과 및/또는 전자 기기의 내부 상태 평가의 결과를 기초로 전자 기기의 가치를 결정할 수 있다. Returning to FIG. 12 , the value determination module 1230 may determine the value of the electronic device based on the result of evaluating the external condition of the electronic device and/or the result of evaluating the internal state of the electronic device.
일 실시 예에 있어서, 가치 결정 모듈(1230)은 제1 내지 제4 딥러닝 평가 모델(1410 내지 1440) 각각에 의해 결정된 등급 중 최소 등급을 전자 기기의 외관 상태에 대한 최종 등급으로 결정할 수 있다. 등급 A가 가장 높고 등급 B+는 등급 A보다 낮고 등급 B보다는 높을 수 있다. 등급 CL은 등급 B보다 낮고 등급 C보다 높을 수 있다. 등급 D가 가장 낮을 수 있다. 일례로, 제1 딥러닝 평가 모델(1410)에 의해 결정된 등급이 C 등급이고, 제2 딥러닝 평가 모델(1420)에 의해 결정된 등급이 B+ 등급이며, 제3 딥러닝 평가 모델(1430)에 의해 결정된 등급이 C 등급이고, 제4 딥러닝 평가 모델(1440)에 의해 결정된 등급이 CL 등급일 수 있다. 제1 내지 제4 딥러닝 평가 모델(1410 내지 1440) 각각에 의해 결정된 등급 중 제1 딥러닝 평가 모델(1410)에 의해 결정된 C 등급이 최소 등급일 수 있어, 가치 결정 모듈(1230)은 전자 기기의 외관 상태에 대한 최종 등급을 C 등급으로 결정할 수 있다. 실시 예에 따라, 등급이 낮을수록 제1 내지 제4 딥러닝 평가 모델(1410 내지 1440) 각각에 의해 출력되는 점수는 높을 수 있다. 가치 결정 모듈(1230)은 제1 내지 제4 딥러닝 평가 모델(1410 내지 1440) 각각에 의해 출력된 점수 중 최대 점수를 전자 기기의 외관 평가에 대한 최종 점수로 결정할 수 있다.In one embodiment, the value determination module 1230 may determine the minimum grade among the grades determined by each of the first to fourth deep learning evaluation models 1410 to 1440 as the final grade for the external condition of the electronic device. Grade A is the highest, Grade B+ can be lower than Grade A and higher than Grade B. Grade CL may be lower than Grade B and higher than Grade C. Grade D may be the lowest. For example, the grade determined by the first deep learning evaluation model 1410 is a grade C, the grade determined by the second deep learning evaluation model 1420 is a grade B+, and the grade determined by the third deep learning evaluation model 1430 is a grade B+. The determined grade may be a C grade, and the grade determined by the fourth deep learning evaluation model 1440 may be a CL grade. Among the grades determined by each of the first to fourth deep learning evaluation models 1410 to 1440, the C grade determined by the first deep learning evaluation model 1410 may be the minimum grade, so the value determination module 1230 is an electronic device. The final grade for the appearance condition can be determined as grade C. Depending on the embodiment, the lower the grade, the higher the score output by each of the first to fourth deep learning evaluation models 1410 to 1440. The value determination module 1230 may determine the maximum score among the scores output by each of the first to fourth deep learning evaluation models 1410 to 1440 as the final score for the appearance evaluation of the electronic device.
일 실시 예에 있어서, 가치 결정 모듈(1230)은 제1 내지 제4 딥러닝 평가 모델(1410 내지 1440) 각각에 의해 결정된 등급(또는 점수)에 가중치를 적용할 수 있고, 각 가중치가 적용된 등급(또는 점수)을 이용하여 전자 기기의 외관 상태에 대한 최종 등급(또는 최종 점수)을 결정할 수 있다. 일례로, 가치 결정 모듈(1230)은 제1 딥러닝 평가 모델(1410)에 의해 결정된 등급(또는 점수)에 제1 가중치를 적용할 수 있고, 제2 딥러닝 평가 모델(1420)에 의해 결정된 등급(또는 점수)에 제2 가중치를 적용할 수 있으며, 제3 딥러닝 평가 모델(1430)에 의해 결정된 등급(또는 점수)에 제3 가중치를 적용할 수 있고, 제4 딥러닝 평가 모델(1440)에 의해 결정된 등급에 제4 가중치를 적용할 수 있다. 여기서, 제1 가중치 내지 제4 가중치 각각은 0보다 크고 1보다 작을 수 있다. 가치 결정 모듈(1230)은 제1 내지 제4 가중치 각각이 적용된 등급(또는 점수)을 합산하여 전자 기기의 외관 상태에 대한 최종 등급(또는 최종 점수)을 결정할 수 있다.In one embodiment, the value determination module 1230 may apply weights to the grades (or scores) determined by each of the first to fourth deep learning evaluation models 1410 to 1440, and the grade to which each weight is applied ( or score) can be used to determine the final grade (or final score) for the external condition of the electronic device. For example, the value determination module 1230 may apply a first weight to the grade (or score) determined by the first deep learning evaluation model 1410, and the grade determined by the second deep learning evaluation model 1420. A second weight may be applied to the (or score), and a third weight may be applied to the grade (or score) determined by the third deep learning evaluation model 1430, and the fourth deep learning evaluation model 1440 A fourth weight can be applied to the grade determined by . Here, each of the first to fourth weights may be greater than 0 and less than 1. The value determination module 1230 may determine the final grade (or final score) for the external condition of the electronic device by adding up the grades (or scores) to which each of the first to fourth weights are applied.
가치 결정 모듈(1230)은 전자 기기의 외관 상태 평가의 결과(예: 전자 기기의 외관 상태에 대한 최종 등급(또는 최종 점수))를 기초로 제1 금액을 결정할 수 있고, 전자 기기의 내부 상태 평가의 결과를 기초로 제2 금액을 결정할 수 있다. 가치 결정 모듈(1230)은 전자 기기의 기준 가격(예: 전자 기기와 동일 종류의 전자 기기의 가장 높은 중고 가격)에서 제1 금액과 제2 금액을 차감하여 전자 기기의 가격을 산출할 수 있다. 일례로, 가치 결정 모듈(1230)은 중고 시세 데이터베이스와 연동하여 전자 기기의 기준 가격을 획득할 수 있다. 가치 결정 모듈(1230)은 외관 상태의 등급과 금액이 서로 맵핑된 제1 테이블로부터, 전자 기기의 외관 상태에 대한 최종 등급과 맵핑된 제1 금액을 획득할 수 있다. 가치 결정 모듈(1230)은 내부 상태의 등급과 금액이 서로 맵핑된 제2 테이블로부터, 전자 기기의 내부 상태 평가의 결과와 맵핑된 제2 금액을 획득할 수 있다. 가치 결정 모듈(1230)은 기준 금액에서 제1 금액 및 제2 금액을 차감하여 전자 기기의 가격을 산출할 수 있다.The value determination module 1230 may determine the first amount based on a result of evaluating the external condition of the electronic device (e.g., a final rating (or final score) for the external condition of the electronic device) and evaluating the internal condition of the electronic device. The second amount can be determined based on the results of . The value determination module 1230 may calculate the price of the electronic device by subtracting the first amount and the second amount from the reference price of the electronic device (e.g., the highest used price of the same type of electronic device). For example, the value determination module 1230 may obtain a standard price of an electronic device by linking it with a used market price database. The value determination module 1230 may obtain the final grade of the external condition of the electronic device and the mapped first amount of money from the first table in which the grade of the external condition and the amount are mapped to each other. The value determination module 1230 may obtain a second amount of money mapped to the result of evaluating the internal state of the electronic device from a second table in which the level of the internal state and the amount are mapped to each other. The value determination module 1230 may calculate the price of the electronic device by subtracting the first amount and the second amount from the reference amount.
가치 결정 모듈(1230)은, 도 1a에 도시된 예의 경우, 무인 매입 장치(110)로 전자 기기의 가치(예: 가격)를 전송할 수 있다. 무인 매입 장치(110)는 디스플레이(230)를 통해 전자 기기의 가치(예: 가격)를 사용자에게 보여줄 수 있다. In the example shown in FIG. 1A, the value determination module 1230 may transmit the value (eg, price) of the electronic device to the unmanned purchase device 110. The unmanned purchase device 110 may show the value (eg, price) of the electronic device to the user through the display 230.
가치 결정 모듈(1230)은, 도 1b에 도시된 예의 경우, 무인 매입 장치(110)의 디스플레이(230)에 전자 기기의 가치(예: 가격)를 표시할 수 있다. In the example shown in FIG. 1B, the value determination module 1230 may display the value (eg, price) of the electronic device on the display 230 of the unmanned purchase device 110.
일 실시 예에 있어서, 전자 기기 가치 평가 장치(130)는 전처리 모듈을 포함할 수 있다. 전처리 모듈은 이미지들(예: 전면 이미지, 후면 이미지, 측면 이미지들, 화면 이미지) 각각에 결함으로 오인될 하나 이상의 객체가 포함되어 있는지 여부를 판단할 수 있다. 여기서, 객체는 전자 기기의 화면 상의 플로팅 아이콘에 대응되는 객체, 전자 기기에 부착된 스티커에 대응되는 객체, 및 전자 기기에 묻어있는 이물질에 대응되는 객체 중 적어도 하나를 포함할 수 있다. 플로팅 아이콘에 대응되는 객체는 전자 기기의 화면 상의 플로팅 아이콘이 촬영됨으로써 이미지에 포함된 객체를 나타낼 수 있다. 전자 기기에 부착된 스티커에 대응되는 객체는 전자 기기에 부착된 스티커가 촬영됨으로써 이미지에 포함된 객체를 나타낼 수 있다. 전자 기기에 묻어있는 이물질에 대응되는 객체는 전자 기기에 묻어있는 이물질이 촬영됨으로써 이미지에 포함된 객체를 나타낼 수 있다. 플로팅 아이콘은, 예를 들어, 보조 터치(assistive touch)의 플로팅 아이콘, 특정 태스크를 트리거링 하기 위한 플로팅 아이콘 등을 포함할 수 있으나 이에 제한되지 않는다. In one embodiment, the electronic device value evaluation device 130 may include a preprocessing module. The preprocessing module may determine whether each of the images (e.g., front image, back image, side images, screen image) includes one or more objects that would be mistaken for a defect. Here, the object may include at least one of an object corresponding to a floating icon on the screen of the electronic device, an object corresponding to a sticker attached to the electronic device, and an object corresponding to a foreign substance on the electronic device. The object corresponding to the floating icon may represent the object included in the image by photographing the floating icon on the screen of the electronic device. The object corresponding to the sticker attached to the electronic device may represent the object included in the image when the sticker attached to the electronic device is photographed. The object corresponding to the foreign matter on the electronic device can represent the object included in the image by photographing the foreign matter on the electronic device. Floating icons may include, but are not limited to, for example, a floating icon for assistive touch, a floating icon for triggering a specific task, etc.
전처리 모듈은 결함으로 오인될 객체가 포함된 이미지가 있는 경우, 객체에 대한 처리를 수행할 수 있다. 일례로, 전처리 모듈은 객체에 마스킹(masking) 처리를 수행할 수 있으나 이에 제한되지 않는다. 외관 상태 평가 모듈(1220)은 객체가 처리된 이미지, 객체가 포함되지 않은 나머지 이미지들, 및 제1 내지 제4 딥러닝 평가 모델들(1410 내지 1440)을 기초로 외관 상태 평가를 수행할 수 있다. 외관 상태 평가 모듈(1220)은 제1 내지 제4 딥러닝 평가 모델들(1410 내지 1440)을 통해 객체가 처리된 이미지 및 객체가 포함되지 않은 나머지 이미지들로부터 전자 기기의 평가 영역들 각각의 결함 상태를 예측한 마스크를 생성할 수 있고, 생성된 각 마스크를 기초로 평가 영역들 각각의 결함에 대한 등급을 결정할 수 있으며, 결정된 각 등급을 통해 전자 기기의 외관 상태에 대한 최종 등급을 결정할 수 있다.If there is an image containing an object that would be mistaken for a defect, the preprocessing module may perform processing on the object. For example, the preprocessing module may perform masking processing on an object, but is not limited thereto. The appearance state evaluation module 1220 may perform appearance state evaluation based on the image in which the object has been processed, the remaining images not including the object, and the first to fourth deep learning evaluation models 1410 to 1440. . The appearance state evaluation module 1220 determines the defect state of each of the evaluation areas of the electronic device from the images in which the object has been processed and the remaining images that do not include the object through the first to fourth deep learning evaluation models 1410 to 1440. A mask that predicts can be generated, a grade for a defect in each of the evaluation areas can be determined based on each generated mask, and the final grade for the external state of the electronic device can be determined through each determined grade.
전처리 모듈은 전자 기기를 촬영하여 획득된 이미지들 중에서 상술한 객체가 포함된 이미지가 없는 것으로 판단할 수 있다. 이 경우, 위에서 설명한 것과 같이, 외관 상태 평가 모듈(1220)은 이미지들과 제1 내지 제4 딥러닝 평가 모델들(1410 내지 1440)을 기초로 외관 상태 평가를 수행할 수 있다.The preprocessing module may determine that there is no image containing the above-described object among images obtained by photographing an electronic device. In this case, as described above, the appearance condition evaluation module 1220 may perform appearance condition evaluation based on the images and the first to fourth deep learning evaluation models 1410 to 1440.
전처리 모듈은 전자 기기를 촬영하여 획득된 이미지들 중 제1 내지 제 4 딥러닝 평가 모델들(1410 내지 1440) 중 하나 이상이 분석하지 못할 정도의 이미지(이하, "모델 분석 불가 이미지"라 지칭함)가 있는지 여부를 판단할 수 있다. 일례로, 전처리 모듈은 전자 기기를 촬영하여 획득된 이미지들 중 빛 반사가 일정 수준 이상 존재하는 이미지, 카메라 초점이 맞지 않는 이미지 등을 모델 분석 불가 이미지로 결정할 수 있다. 전처리 모듈은 모델 분석 불가 이미지가 있는 경우, 운영자에게 전자 기기의 외관 상태 평가를 요청할 수 있다. The preprocessing module selects images that cannot be analyzed by one or more of the first to fourth deep learning evaluation models (1410 to 1440) among images obtained by shooting an electronic device (hereinafter referred to as “model-analyzable images”). You can determine whether or not there is. For example, the preprocessing module may determine that among images obtained by photographing an electronic device, images with light reflection above a certain level, images with the camera out of focus, etc., are images that cannot be analyzed by the model. If there are images that cannot be analyzed by the model, the preprocessing module can request the operator to evaluate the external condition of the electronic device.
일 실시 예에 있어서, 전자 기기 가치 평가 장치(130)는 바(bar) 타입의 전자 기기의 가치를 평가할 수 있다. 이 경우, 앞서 설명한 것과 같이, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 바 타입의 전자 기기를 촬영하여 획득된 복수의 이미지들 및 제1 내지 제4 딥러닝 평가 모델들(1410~1440)을 기초로 바 타입의 전자 기기에 대한 외관 상태 평가를 수행할 수 있다.In one embodiment, the electronic device value evaluation device 130 may evaluate the value of a bar-type electronic device. In this case, as described above, the electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) uses a plurality of images obtained by photographing a bar-type electronic device and the first to fourth deep learning evaluations. Based on the models 1410 to 1440, the external condition of the bar-type electronic device can be evaluated.
전자 기기 가치 평가 장치(130)는 형태가 변경 가능한 전자 기기(예: 폴더블, 롤러블 등)의 가치를 평가할 수 있다. 형태가 변경 가능한 전자 기기는 제1 형태(예: 언폴드(unfolded) 형태 또는 축소(contraction) 형태)를 가질 수 있고, 조작에 의해 제2 형태(예: 접힌(folded) 형태 또는 확장(expansion) 형태)로 변경될 수 있다. 일례로, 폴더블 전자 기기는 언폴드 형태에 있을 수 있고, 조작에 의해 형태가 접힌 형태로 변경될 수 있다. 롤러블 전자 기기는 축소 형태에 있을 수 있고, 조작에 의해 형태가 확장 형태로 변경될 수 있다. 축소 형태는 롤러블 디스플레이이가 기기 안으로 롤인(roll in)되는 상태를 나타낼 수 있고 확장 형태는 롤러블 디스플레이가 기기로부터 롤아웃(roll out)되는 상태를 나타낼 수 있다.The electronic device value evaluation device 130 can evaluate the value of electronic devices whose shape can be changed (eg, foldable, rollable, etc.). An electronic device that can change its shape may have a first shape (e.g., an unfolded shape or a contracted shape) and a second shape (e.g., a folded shape or expansion) by manipulation. form) can be changed. For example, a foldable electronic device may be in an unfolded form, and its shape may be changed to a folded form through manipulation. The rollable electronic device may be in a collapsed form, and the shape may be changed to an expanded form by manipulation. The collapsed form may represent a state in which the rollable display is rolled in into the device, and the expanded form may represent a state in which the rollable display is rolled out from the device.
예를 들어, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 언폴드 형태에 있는 폴더블 전자 기기를 촬영하여 획득한 복수의 이미지들 및 제1 내지 제4 딥러닝 평가 모델들(1410~1440)을 기초로 언폴드 형태에 있는 폴더블 전자 기기의 각 평가 영역의 결함의 등급을 결정할 수 있다. For example, the electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) uses a plurality of images obtained by photographing a foldable electronic device in an unfolded form and the first to fourth deep learning evaluations. Based on the models 1410 to 1440, the level of defects in each evaluation area of the foldable electronic device in the unfolded form can be determined.
무인 매입 장치(110)는 촬영 박스 내에 있는 폴더블 전자 기기를 언폴드 형태에서 접힌 형태로 변경할 수 있다. 또는 무인 매입 장치(110)는 사용자에게 폴더블 전자 기기를 언폴드 형태에서 접힌 형태로 변경한 뒤 접힌 형태에 있는 전자 기기를 무인 매입 장치(110)에 재투입할 것을 요청할 수 있다. 폴더블 전자 기기가 언폴드 형태에서 접힌 형태로 변경되면 접힌 부분이 측면을 형성할 수 있고, 폴더블 전자 기기의 서브 화면이 활성화될 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 복수의 제3 카메라들 중 하나 이상을 통해 폴더블 전자 기기의 접힌 부분에 해당하는 측면을 촬영함으로써 이미지(이하, 접힌 측면의 이미지)를 획득할 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 제1 카메라를 통해 폴더블 전자 기기의 서브 화면을 촬영함으로써 이미지(이하, 서브 화면 이미지)를 획득할 수 있다.The unmanned purchase device 110 can change the foldable electronic device in the shooting box from the unfolded form to the folded form. Alternatively, the unmanned purchase device 110 may request the user to change the foldable electronic device from the unfolded form to the folded form and then reinsert the electronic device in the folded form into the unmanned purchase device 110. When a foldable electronic device changes from an unfolded form to a folded form, the folded portion may form a side surface, and the sub-screen of the foldable electronic device may be activated. The unmanned embedding device 110 may obtain an image (hereinafter referred to as an image of the folded side) by photographing the side surface corresponding to the folded portion of the foldable electronic device through one or more of the plurality of third cameras in the shooting box. The unmanned embedding device 110 may acquire an image (hereinafter referred to as a sub-screen image) by photographing a sub-screen of the foldable electronic device through the first camera in the capturing box.
전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 접힌 측면의 이미지와 제5 딥러닝 평가 모델을 기초로 폴더블 전자 기기의 제5 평가 영역(예: 접힌 부분에 해당하는 측면)을 평가할 수 있다. 여기서, 제5 딥러닝 평가 모델은 폴더블 전자 기기의 제5 평가 영역의 결함을 검출하고 검출된 결함(또는 제5 평가 영역)의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 접힌 측면의 이미지를 제5 딥러닝 평가 모델에 입력할 수 있다. 제5 딥러닝 평가 모델은 접힌 측면의 이미지를 통해 폴더블 전자 기기의 제5 평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제5 마스크를 생성할 수 있다. 제5 딥러닝 평가 모델은 제5 마스크를 기초로 폴더블 전자 기기의 제5 평가 영역의 결함에 대한 등급을 결정할 수 있다.The electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) is based on the image of the folded side and the fifth deep learning evaluation model to determine the fifth evaluation area (e.g., corresponding to the folded portion) of the foldable electronic device. side) can be evaluated. Here, the fifth deep learning evaluation model may be a deep learning evaluation model that detects defects in the fifth evaluation area of the foldable electronic device and determines the grade of the detected defect (or fifth evaluation area). For example, the electronic device value evaluation device 130 (or the external condition evaluation module 1220) may input an image of the folded side into the fifth deep learning evaluation model. The fifth deep learning evaluation model is a fifth mask that predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the fifth evaluation area of the foldable electronic device through the image of the folded side. can be created. The fifth deep learning evaluation model can determine the grade for defects in the fifth evaluation area of the foldable electronic device based on the fifth mask.
전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 서브 화면 이미지와 제6 딥러닝 평가 모델을 기초로 폴더블 전자 기기의 제6 평가 영역(예: 서브 화면)을 평가할 수 있다. 여기서, 제6 딥러닝 평가 모델은 폴더블 전자 기기의 제6 평가 영역의 결함을 검출하고 검출된 결함(또는 제6 평가 영역)의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 서브 화면 이미지를 제6 딥러닝 평가 모델에 입력할 수 있다. 제6 딥러닝 평가 모델은 서브 화면 이미지를 통해 폴더블 전자 기기의 제6 평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제6 마스크를 생성할 수 있다. 제6 딥러닝 평가 모델은 제6 마스크를 기초로 폴더블 전자 기기의 제6 평가 영역의 결함에 대한 등급을 결정할 수 있다. 실시 예에 따라, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 서브 화면 이미지와 위에서 설명한 제4 딥러닝 평가 모델(1440)을 기초로 전자 기기의 제6 평가 영역(예: 서브 화면)의 결함의 등급을 결정할 수 있다.The electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) can evaluate the sixth evaluation area (e.g., sub-screen) of the foldable electronic device based on the sub-screen image and the sixth deep learning evaluation model. there is. Here, the sixth deep learning evaluation model may be a deep learning evaluation model that detects defects in the sixth evaluation area of the foldable electronic device and determines the grade of the detected defect (or sixth evaluation area). For example, the electronic device value evaluation device 130 (or the external condition evaluation module 1220) may input a sub-screen image into the sixth deep learning evaluation model. The sixth deep learning evaluation model uses a sixth mask that predicts the defect state (e.g., at least one of the defect location, defect type, and defect degree) of the sixth evaluation area of the foldable electronic device through the sub-screen image. can be created. The sixth deep learning evaluation model can determine the grade for defects in the sixth evaluation area of the foldable electronic device based on the sixth mask. Depending on the embodiment, the electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) is based on the sub-screen image and the fourth deep learning evaluation model 1440 described above. The sixth evaluation area ( For example, the grade of the defect (sub screen) can be determined.
전자 기기 가치 평가 장치(130)(또는 가치 결정 모듈(1230))은 폴더블 전자 기기의 외관 상태 평가의 결과(예: 제1 내지 제6 딥러닝 평가 모델 각각에 의해 결정된 등급) 및/또는 폴더블 전자 기기의 내부 상태 평가의 결과를 기초로 폴더블 전자 기기의 가치를 결정할 수 있다.The electronic device value evaluation device 130 (or value determination module 1230) provides a result of evaluating the appearance condition of the foldable electronic device (e.g., a grade determined by each of the first to sixth deep learning evaluation models) and/or a folder. The value of a foldable electronic device can be determined based on the results of evaluating the internal state of the foldable electronic device.
다른 예를 들어, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 축소 형태의 롤러블 전자 기기를 촬영하여 획득한 복수의 이미지들 및 제1 내지 제4 딥러닝 평가 모델들(1410~1440)을 기초로 축소 형태의 롤러블 전자 기기의 각 평가 영역의 결함의 등급을 결정할 수 있다. For another example, the electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) uses a plurality of images obtained by photographing a miniature rollable electronic device and first to fourth deep learning evaluation models. Based on the fields 1410 to 1440, the level of defects in each evaluation area of the miniature rollable electronic device can be determined.
무인 매입 장치(110)는 촬영 박스 내에 있는 롤러블 전자 기기를 축소 형태에서 확장 형태로 변경할 수 있다. 또는 무인 매입 장치(110)는 사용자에게 롤러블 전자 기기를 축소 형태에서 확장 형태로 변경한 뒤 확장 형태에 있는 전자 기기를 무인 매입 장치(110)에 재투입할 것을 요청할 수 있다. 롤러블 전자 기기가 축소 형태에서 확장 형태로 변경되면, 화면과 측면이 확장될 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 복수의 제3 카메라들 중 하나 이상을 통해, 확장된 측면을 촬영함으로써 이미지(이하, 확장된 측면의 이미지)를 획득할 수 있다. 무인 매입 장치(110)는 촬영 박스 내의 제1 카메라를 통해 전자 기기의 확장된 화면을 촬영함으로써 이미지(이하, 확장된 화면의 이미지)를 획득할 수 있다.The unmanned embedding device 110 can change the rollable electronic device in the shooting box from a reduced form to an expanded form. Alternatively, the unmanned embedding device 110 may request the user to change the rollable electronic device from a reduced form to an expanded form and then reinsert the electronic device in the expanded form into the unmanned embedding device 110. When a rollable electronic device changes from a reduced form to an expanded form, the screen and sides can be expanded. The unmanned embedding device 110 may acquire an image (hereinafter referred to as an image of the expanded side) by photographing the expanded side through one or more of the plurality of third cameras in the shooting box. The unmanned embedding device 110 may acquire an image (hereinafter referred to as an image of the expanded screen) by photographing the expanded screen of the electronic device through the first camera in the shooting box.
전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 확장된 측면의 이미지와 제7 딥러닝 평가 모델을 기초로 롤러블 전자 기기의 제7 평가 영역(예: 확장된 측면)을 평가할 수 있다. 여기서, 제7 딥러닝 평가 모델은 롤러블 전자 기기의 제7 평가 영역의 결함을 검출하고 검출된 결함(또는 제7 평가 영역)의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 확장된 측면의 이미지를 제7 딥러닝 평가 모델에 입력할 수 있다. 제7 딥러닝 평가 모델은 확장된 측면의 이미지를 통해 롤러블 전자 기기의 제7 평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제7 마스크를 생성할 수 있다. 제7 딥러닝 평가 모델은 제7 마스크를 기초로 롤러블 전자 기기의 제7 평가 영역의 결함에 대한 등급을 결정할 수 있다. 실시 예에 따라, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 확장된 측면의 이미지와 제3 딥러닝 평가 모델(1430)을 기초로 롤러블 전자 기기의 제7 평가 영역(예: 확장된 측면)을 평가할 수 있다.The electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) is configured to determine the seventh evaluation area (e.g., the expanded side) of the rollable electronic device based on the image of the expanded side and the seventh deep learning evaluation model. can be evaluated. Here, the seventh deep learning evaluation model may be a deep learning evaluation model that detects defects in the seventh evaluation area of the rollable electronic device and determines the grade of the detected defect (or seventh evaluation area). For example, the electronic device value evaluation device 130 (or the external condition evaluation module 1220) may input an image of the expanded side surface into the seventh deep learning evaluation model. The seventh deep learning evaluation model predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the seventh evaluation area of the rollable electronic device through the extended side image. You can create a mask. The seventh deep learning evaluation model can determine the grade of a defect in the seventh evaluation area of the rollable electronic device based on the seventh mask. Depending on the embodiment, the electronic device value evaluation device 130 (or the external condition evaluation module 1220) performs a seventh evaluation of the rollable electronic device based on the expanded side image and the third deep learning evaluation model 1430. Areas (e.g. extended aspects) can be assessed.
전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 확장된 화면의 이미지와 제4 딥러닝 평가 모델(1440)을 기초로 롤러블 전자 기기의 제8 평가 영역(예: 확장된 화면)을 평가할 수 있다. 일례로, 전자 기기 가치 평가 장치(130)(또는 외관 상태 평가 모듈(1220))는 확장된 화면의 이미지를 제4 딥러닝 평가 모델(1440)에 입력할 수 있다. 위에서 설명한 것과 같이, 제4 딥러닝 평가 모델(1440)은 주어진 화면 이미지에서 화면의 결함 상태를 예측한 마스크를 생성하고 생성된 마스크를 기초로 화면의 결함의 등급을 결정하는 딥러닝 평가 모델일 수 있다. 제4 딥러닝 평가 모델(1440)은 확장된 화면의 이미지를 통해 롤러블 전자 기기의 제8평가 영역의 결함 상태(예: 결함의 위치, 결함의 종류, 및 결함의 정도 중 적어도 하나)를 예측한 제8 마스크를 생성할 수 있다. 제4 딥러닝 평가 모델(1440)은 제8 마스크를 기초로 롤러블 전자 기기의 제8 평가 영역의 결함에 대한 등급을 결정할 수 있다. The electronic device value evaluation device 130 (or the appearance condition evaluation module 1220) is based on the image of the expanded screen and the fourth deep learning evaluation model 1440 to determine the eighth evaluation area (e.g., expansion) of the rollable electronic device. screen) can be evaluated. For example, the electronic device value evaluation device 130 (or the external condition evaluation module 1220) may input an image of the expanded screen into the fourth deep learning evaluation model 1440. As described above, the fourth deep learning evaluation model 1440 may be a deep learning evaluation model that generates a mask predicting the defect state of the screen from a given screen image and determines the grade of the screen defect based on the generated mask. there is. The fourth deep learning evaluation model 1440 predicts the defect state (e.g., at least one of the location of the defect, the type of the defect, and the degree of the defect) of the eighth evaluation area of the rollable electronic device through the image of the expanded screen. An eighth mask can be created. The fourth deep learning evaluation model 1440 may determine the grade of a defect in the eighth evaluation area of the rollable electronic device based on the eighth mask.
전자 기기 가치 평가 장치(130)(또는 가치 결정 모듈(1230))은 롤러블 전자 기기의 외관 상태 평가의 결과(예: 제1 내지 제4 딥러닝 평가 모델 및 제7 딥러닝 평가 모델 각각에 의해 결정된 등급) 및/또는 롤러블 전자 기기의 내부 상태 평가의 결과를 기초로 롤러블 전자 기기의 가치를 결정할 수 있다.The electronic device value evaluation device 130 (or value determination module 1230) determines the results of the external state evaluation of the rollable electronic device (e.g., by each of the first to fourth deep learning evaluation models and the seventh deep learning evaluation model). The value of the rollable electronic device may be determined based on the determined rating) and/or the results of an evaluation of the internal condition of the rollable electronic device.
일 실시 예에 있어서, 무인 매입 장치(110)는 사용자로부터 웨어러블 기기(예: 스마트 워치)를 투입받을 수 있다. 전자 기기 가치 평가 장치(130)는 웨어러블 기기의 외관(예: 전면, 후면, 측면, 화면)을 평가할 수 있는 딥러닝 평가 모델들을 저장할 수 있다. 전자 기기 가치 평가 장치(130)는 웨어러블 기기를 촬영하여 획득한 이미지들 및 딥러닝 평가 모델들을 기초로 웨어러블 기기에 대한 외관 상태 평가를 수행할 수 있다. 전자 기기 가치 평가 장치(130)는 웨어러블 기기의 외관 상태 평가의 결과 및 웨어러블 기기의 내부 상태 평가의 결과를 기초로 웨어러블 기기의 가치를 결정할 수 있다.In one embodiment, the unmanned purchase device 110 may receive a wearable device (eg, a smart watch) from a user. The electronic device value evaluation device 130 may store deep learning evaluation models that can evaluate the appearance (e.g., front, back, side, screen) of the wearable device. The electronic device value evaluation device 130 may perform an external condition evaluation of the wearable device based on images obtained by photographing the wearable device and deep learning evaluation models. The electronic device value evaluation device 130 may determine the value of the wearable device based on the result of evaluating the external state of the wearable device and the result of evaluating the internal state of the wearable device.
도 16은 일 실시 예에 따른 딥러닝 모델을 트레이닝하는 컴퓨팅 장치의 구성을 설명하는 블록도이다.Figure 16 is a block diagram illustrating the configuration of a computing device for training a deep learning model according to an embodiment.
도 16을 참조하면, 딥러닝 모델을 트레이닝하는 컴퓨팅 장치(1600)는 메모리(1610) 및 프로세서(1620)를 포함할 수 있다.Referring to FIG. 16, a computing device 1600 that trains a deep learning model may include a memory 1610 and a processor 1620.
메모리(1610)는 하나 이상의 딥러닝 모델을 저장할 수 있다. 딥러닝 모델은 위에서 설명한 딥 뉴럴 네트워크에 기반할 수 있다. 딥러닝 모델은 주어진 입력 이미지에 이미지 세그멘테이션을 수행할 수 있다.Memory 1610 may store one or more deep learning models. The deep learning model can be based on the deep neural network described above. Deep learning models can perform image segmentation on given input images.
프로세서(1620)는 딥러닝 모델을 트레이닝할 수 있다.The processor 1620 can train a deep learning model.
프로세서(1620)는 결함에 대한 학습 이미지를 딥러닝 모델에 입력할 수 있고, 딥러닝 모델을 통해 학습 이미지로부터 결함의 상태를 예측한 마스크를 생성할 수 있다. 학습 이미지는, 예를 들어, 촬영 박스(210)가 결함이 있는 전자 기기를 촬영하여 획득된 이미지를 포함할 수 있다. The processor 1620 can input a learning image for a defect into a deep learning model and generate a mask predicting the state of the defect from the learning image through the deep learning model. The learning image may include, for example, an image acquired by the photographing box 210 photographing a defective electronic device.
프로세서(1620)는 생성된 마스크와 결함에 대한 레이블 마스크(labeled mask) 사이의 유사도를 연산할 수 있다.The processor 1620 may calculate the similarity between the generated mask and the labeled mask for the defect.
도 17a 내지 도 17c에 생성된 마스크와 레이블 마스크 각각의 일례가 도시된다. 도 9a에서 타겟 마스크는 레이블 마스크를 나타낼 수 있고 예측 마스크는 딥러닝 모델에 의해 생성된 마스크를 나타낼 수 있다.17A to 17C show examples of the generated mask and label mask, respectively. In FIG. 9A, the target mask may represent a label mask and the prediction mask may represent a mask generated by a deep learning model.
프로세서(1620)는 연산된 유사도가 임계값 미만인 경우 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1620)는 연산된 유사도가 임계값 이상인 경우, 딥러닝 모델에 대한 트레이닝을 종료할 수 있다.The processor 1620 may update at least one parameter in the deep learning model when the calculated similarity is less than a threshold. If the calculated similarity is greater than or equal to a threshold, the processor 1620 may end training for the deep learning model.
실시 예에 따라, 프로세서(1620)는 제1 학습 이미지(예: 제1 결함이 있는 전면이 촬영된 전면 이미지)를 제1 딥러닝 모델에 입력한 경우, 제1 딥러닝 모델을 이용하여 제1 학습 이미지로부터 전자 기기의 전면의 결함 상태를 예측한 제1 마스크를 생성할 수 있다. 촬영 박스(210)가 전면에 제1 결함이 있는 전자 기기를 제1 카메라를 통해 촬영함으로써 획득된 이미지가 제1 학습 이미지에 해당할 수 있다. 제1 딥러닝 모델은 제1 학습 이미지에 이미지 세그멘테이션을 수행하여 제1 학습 이미지로부터 전자 기기의 전면의 결함 상태를 예측한 제1 마스크를 생성할 수 있다. 프로세서(1620)는 제1 마스크와 제1 결함에 대한 레이블 마스크 사이의 제1 유사도를 연산할 수 있다. 프로세서(1620)는 연산된 제1 유사도가 임계값 미만인 경우 제1 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1620)는 연산된 제1 유사도가 임계값 이상인 경우, 제1 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제1 딥러닝 모델은 제1 딥러닝 평가 모델(1410)로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.Depending on the embodiment, when the processor 1620 inputs the first learning image (e.g., the front image in which the front surface with the first defect is photographed) into the first deep learning model, the processor 1620 uses the first deep learning model to A first mask that predicts the defect state of the front of the electronic device can be generated from the learning image. An image obtained by photographing an electronic device with a first defect on the front of the photographing box 210 using a first camera may correspond to the first learning image. The first deep learning model may perform image segmentation on the first learning image to generate a first mask that predicts the defect state of the front of the electronic device from the first learning image. The processor 1620 may calculate a first similarity between the first mask and the label mask for the first defect. The processor 1620 may update at least one parameter in the first deep learning model when the calculated first similarity is less than a threshold. If the calculated first similarity is greater than or equal to the threshold, the processor 1620 may end training for the first deep learning model. The first deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the first deep learning evaluation model 1410.
프로세서(1620)는 제2 학습 이미지(예: 제2 결함이 있는 후면을 촬영한 후면 이미지)를 제2 딥러닝 모델에 입력한 경우, 제2 딥러닝 모델을 이용하여 제2 학습 이미지로부터 전자 기기의 후면의 결함 상태를 예측한 제2 마스크를 생성할 수 있다. 촬영 박스(210)가 후면에 제2 결함이 있는 전자 기기를 제2 카메라를 통해 촬영함으로써 획득된 이미지가 제2 학습 이미지에 해당할 수 있다. 제2 딥러닝 모델은 제2 학습 이미지에 이미지 세그멘테이션을 수행하여 제2 학습 이미지로부터 전자 기기의 후면의 결함 상태를 예측한 제2 마스크를 생성할 수 있다. 프로세서(1620)는 제2 마스크와 제2 결함에 대한 레이블 마스크 사이의 제2 유사도를 연산할 수 있다. 프로세서(1620)는 연산된 제2 유사도가 임계값 미만인 경우 제2 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1620)는 연산된 제2 유사도가 임계값 이상인 경우, 제2 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제2 딥러닝 모델은 제2 딥러닝 평가 모델(1420)로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.When the processor 1620 inputs a second learning image (e.g., a rear image of a rear surface with a second defect) into a second deep learning model, the processor 1620 uses the second deep learning model to select an electronic device from the second learning image. A second mask predicting the defect state of the rear surface can be generated. An image obtained by photographing an electronic device with a second defect on the back of the photographing box 210 using a second camera may correspond to the second learning image. The second deep learning model may perform image segmentation on the second learning image to generate a second mask that predicts the defect state of the back of the electronic device from the second learning image. The processor 1620 may calculate a second similarity between the second mask and the label mask for the second defect. The processor 1620 may update at least one parameter in the second deep learning model when the calculated second similarity is less than the threshold. If the calculated second similarity is greater than or equal to the threshold, the processor 1620 may end training for the second deep learning model. The second deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the second deep learning evaluation model 1420.
프로세서(1620)는 제3 학습 이미지(예: 제3 결함이 있는 측면(또는 코너)가 촬영된 측면(또는 코너) 이미지)를 제3 딥러닝 모델에 입력한 경우, 제3 딥러닝 모델을 이용하여 제3 학습 이미지로부터 전자 기기의 측면(또는 코너)의 결함 상태를 예측한 제3 마스크를 생성할 수 있다. 촬영 박스(210)가 측면(또는 코너)에 제3 결함이 있는 전자 기기를 제3 카메라를 통해 촬영함으로써 획득된 이미지가 제3 학습 이미지에 해당할 수 있다. 제3 딥러닝 모델은 제3 학습 이미지에 이미지 세그멘테이션을 수행하여 제3 학습 이미지로부터 전자 기기의 측면(또는 코너)의 결함 상태를 예측한 제3 마스크를 생성할 수 있다. 프로세서(1620)는 제3 마스크와 제3 결함에 대한 레이블 마스크 사이의 제3 유사도를 연산할 수 있다. 프로세서(1620)는 연산된 제3 유사도가 임계값 미만인 경우 제3 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1620)는 연산된 제3 유사도가 임계값 이상인 경우, 제3 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제3 딥러닝 모델은 제3 딥러닝 평가 모델(1430)로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.When a third learning image (e.g., a side (or corner) image in which a third defective side (or corner) is photographed) is input to the third deep learning model, the processor 1620 uses the third deep learning model. Thus, a third mask that predicts the defect state of the side (or corner) of the electronic device can be generated from the third learning image. An image obtained by photographing an electronic device with a third defect on a side (or corner) of the shooting box 210 using a third camera may correspond to the third learning image. The third deep learning model may perform image segmentation on the third learning image to generate a third mask that predicts the defect state of the side (or corner) of the electronic device from the third learning image. The processor 1620 may calculate a third similarity between the third mask and the label mask for the third defect. The processor 1620 may update at least one parameter in the third deep learning model when the calculated third similarity is less than the threshold. If the calculated third similarity is greater than or equal to the threshold, the processor 1620 may end training for the third deep learning model. The third deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the third deep learning evaluation model 1430.
프로세서(1620)는 제4 학습 이미지(예: 제4 결함이 있는 화면이 촬영된 화면 이미지)를 제4 딥러닝 모델에 입력한 경우, 제4 딥러닝 모델을 이용하여 제4 학습 이미지로부터 전자 기기의 화면의 결함 상태를 예측한 제4 마스크를 생성할 수 있다. 촬영 박스(210)가 제4 결함이 있는 화면을 제1 카메라를 통해 촬영함으로써 획득된 이미지가 제4 학습 이미지에 해당할 수 있다. 제4 딥러닝 모델은 제4 학습 이미지에 이미지 세그멘테이션을 수행하여 제4 학습 이미지로부터 전자 기기의 화면의 결함 상태를 예측한 제4 마스크를 생성할 수 있다. 프로세서(1620)는 제4 마스크와 제4 결함에 대한 레이블 마스크 사이의 제4 유사도를 연산할 수 있다. 프로세서(1620)는 연산된 제4 유사도가 임계값 미만인 경우 제4 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1620)는 연산된 제4 유사도가 임계값 이상인 경우, 제4 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제4 딥러닝 모델은 제4 딥러닝 평가 모델(1440)로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.When a fourth learning image (e.g., a screen image in which a screen with a fourth defect is captured) is input to the fourth deep learning model, the processor 1620 uses the fourth deep learning model to select an electronic device from the fourth learning image. A fourth mask predicting the defect state of the screen can be generated. An image obtained when the shooting box 210 captures the screen with the fourth defect using the first camera may correspond to the fourth learning image. The fourth deep learning model may perform image segmentation on the fourth learning image to generate a fourth mask that predicts the defect state of the screen of the electronic device from the fourth learning image. The processor 1620 may calculate a fourth similarity between the fourth mask and the label mask for the fourth defect. The processor 1620 may update at least one parameter in the fourth deep learning model when the calculated fourth similarity is less than the threshold. If the calculated fourth similarity is greater than or equal to the threshold, the processor 1620 may end training for the fourth deep learning model. The fourth deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the fourth deep learning evaluation model 1440.
일 실시 예에 있어서, 프로세서(1620)는 제5 학습 이미지(예: 제5 결함이 있는 접힌 측면이 촬영된 이미지)를 제5 딥러닝 모델에 입력한 경우, 제5 딥러닝 모델을 이용하여 제5 학습 이미지로부터 폴더블 전자 기기의 접힌 부분에 해당하는 측면의 결함 상태를 예측한 제5 마스크를 생성할 수 있다. 촬영 박스(210)가 접힌 측면에 제5 결함이 있는 전자 기기를 제3 카메라를 통해 촬영함으로써 획득된 이미지가 제5 학습 이미지에 해당할 수 있다. 프로세서(1620)는 제5 마스크와 제5 결함에 대한 레이블 마스크 사이의 제5 유사도를 연산할 수 있다. 프로세서(1620)는 연산된 제5 유사도가 임계값 미만인 경우 제5 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1620)는 연산된 제5 유사도가 임계값 이상인 경우, 제5 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제5 딥러닝 모델은 제5 딥러닝 평가 모델로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.In one embodiment, when the processor 1620 inputs the fifth learning image (e.g., an image in which the folded side with the fifth defect is photographed) to the fifth deep learning model, the processor 1620 uses the fifth deep learning model to 5 From the learning image, a fifth mask that predicts the defect state of the side corresponding to the folded portion of the foldable electronic device can be generated. An image obtained by photographing an electronic device with a fifth defect on the side where the photographing box 210 is folded using a third camera may correspond to the fifth learning image. The processor 1620 may calculate a fifth similarity between the fifth mask and the label mask for the fifth defect. The processor 1620 may update at least one parameter in the fifth deep learning model when the calculated fifth similarity is less than the threshold. If the calculated fifth similarity is greater than or equal to the threshold, the processor 1620 may end training for the fifth deep learning model. The fifth deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as a fifth deep learning evaluation model.
일 실시 예에 있어서, 프로세서(1620)는 제6 학습 이미지(예: 제6 결함이 있는 서브 화면이 촬영된 이미지)를 제6 딥러닝 모델에 입력한 경우, 제6 딥러닝 모델을 이용하여 제6 학습 이미지로부터 폴더블 전자 기기의 서브 화면의 결함 상태를 예측한 제6 마스크를 생성할 수 있다. 촬영 박스(210)가 제6 결함이 있는 서브 화면을 제1 카메라를 통해 촬영함으로써 획득된 이미지가 제6 학습 이미지에 해당할 수 있다. 프로세서(1620)는 제6 마스크와 제6 결함에 대한 레이블 마스크 사이의 제6 유사도를 연산할 수 있다. 프로세서(1620)는 연산된 제6 유사도가 임계값 미만인 경우 제6 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1620)는 연산된 제6 유사도가 임계값 이상인 경우, 제6 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제6 딥러닝 모델은 제6 딥러닝 평가 모델로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다.In one embodiment, when the sixth learning image (e.g., an image in which a sixth defective sub-screen is captured) is input to the sixth deep learning model, the processor 1620 uses the sixth deep learning model to 6 A sixth mask that predicts the defect state of the sub-screen of the foldable electronic device can be generated from the learning image. An image obtained when the shooting box 210 captures the sub-screen with the sixth defect using the first camera may correspond to the sixth learning image. The processor 1620 may calculate a sixth similarity between the sixth mask and the label mask for the sixth defect. The processor 1620 may update at least one parameter in the sixth deep learning model when the calculated sixth similarity is less than the threshold. If the calculated sixth similarity is greater than or equal to the threshold, the processor 1620 may end training for the sixth deep learning model. The sixth deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as a sixth deep learning evaluation model.
일 실시 예에 있어서, 프로세서(1620)는 제7 학습 이미지(예: 제7 결함이 있는 확장된 측면이 촬영된 이미지)를 제7 딥러닝 모델에 입력한 경우, 제7 딥러닝 모델을 이용하여 제7 학습 이미지로부터 롤러블 전자 기기의 확장된 측면의 결함 상태를 예측한 제7 마스크를 생성할 수 있다. 촬영 박스(210)가 제7 결함이 있는 확장된 측면을 제3 카메라를 통해 촬영함으로써 획득된 이미지가 제7 학습 이미지에 해당할 수 있다. 프로세서(1620)는 제7 마스크와 제7 결함에 대한 레이블 마스크 사이의 제7 유사도를 연산할 수 있다. 프로세서(1620)는 연산된 제7 유사도가 임계값 미만인 경우 제7 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 프로세서(1620)는 연산된 제7 유사도가 임계값 이상인 경우, 제7 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. 트레이닝이 완료된 제7 딥러닝 모델은 제7 딥러닝 평가 모델로서 전자 기기 가치 평가 장치(130)에 탑재될 수 있다. 구현에 따라, 프로세서(1620)는 제7 학습 이미지를 통해 위 제3 딥러닝 모델을 트레이닝하여 제3 딥러닝 모델이 제7 마스크를 생성하도록 할 수 있다. In one embodiment, when the processor 1620 inputs the seventh learning image (e.g., an image of the expanded side with the seventh defect) into the seventh deep learning model, the processor 1620 uses the seventh deep learning model to A seventh mask predicting the defect state of the extended side of the rollable electronic device can be generated from the seventh learning image. An image obtained by photographing the expanded side of the photographing box 210 where the seventh defect is located through a third camera may correspond to the seventh learning image. The processor 1620 may calculate a seventh similarity between the seventh mask and the label mask for the seventh defect. The processor 1620 may update at least one parameter in the seventh deep learning model when the calculated seventh similarity is less than the threshold. If the calculated seventh similarity is greater than or equal to the threshold, the processor 1620 may end training for the seventh deep learning model. The seventh deep learning model for which training has been completed can be mounted on the electronic device value evaluation device 130 as the seventh deep learning evaluation model. Depending on implementation, the processor 1620 may train the third deep learning model using the seventh learning image and allow the third deep learning model to generate the seventh mask.
일 실시 예에 있어서, 프로세서(1620)는 위에서 설명한 트레이닝 방식과 유사하게, 외관에 결함이 있는 웨어러블 기기를 촬영한 학습 이미지들을 기초로 딥러닝 모델들 각각을 트레이닝하여 웨어러블 기기의 외관(예: 전면, 후면, 측면, 화면)을 평가할 수 있는 딥러닝 평가 모델들을 생성할 수 있다. In one embodiment, similar to the training method described above, the processor 1620 trains each of the deep learning models based on learning images taken of a wearable device with defects in the exterior to determine the exterior (e.g., front) of the wearable device. , back, side, and screen) can be created to create deep learning evaluation models.
도 18은 일 실시 예에 따른 컴퓨팅 장치의 딥러닝 모델 트레이닝 방법을 설명하는 흐름도이다.Figure 18 is a flowchart explaining a deep learning model training method of a computing device according to an embodiment.
도 18을 참조하면, 단계 1810에서, 컴퓨팅 장치(1600)는 결함에 대한 학습 이미지를 딥러닝 모델에 입력할 수 있다. Referring to FIG. 18, in step 1810, the computing device 1600 may input a training image for a defect into a deep learning model.
단계 1820에서, 컴퓨팅 장치(1600)는 딥러닝 모델을 통해 학습 이미지로부터 결함의 상태를 예측한 마스크를 생성할 수 있다.In step 1820, the computing device 1600 may generate a mask predicting the state of a defect from a learning image through a deep learning model.
단계 1830에서, 컴퓨팅 장치(1600)는 생성된 마스크와 결함에 대한 레이블 마스크 사이의 유사도를 연산할 수 있다.In step 1830, the computing device 1600 may calculate the similarity between the generated mask and the label mask for the defect.
단계 1840에서, 컴퓨팅 장치(1600)는 연산된 유사도가 임계값보다 작은지 여부를 판단할 수 있다.In step 1840, the computing device 1600 may determine whether the calculated similarity is less than a threshold.
컴퓨팅 장치(1600)는 연산된 유사도가 임계값 미만인 경우 단계 1050에서 딥러닝 모델 내의 적어도 하나의 파라미터를 업데이트할 수 있다. 컴퓨팅 장치(1600)는 단계 1810 내지 단계 1840을 반복 수행할 수 있다.If the calculated similarity is less than the threshold, the computing device 1600 may update at least one parameter in the deep learning model in step 1050. The computing device 1600 may repeatedly perform steps 1810 to 1840.
컴퓨팅 장치(1600)는 연산된 유사도가 임계값 이상인 경우, 단계 1860에서, 딥러닝 모델에 대한 트레이닝을 종료할 수 있다. If the calculated similarity is greater than or equal to the threshold, the computing device 1600 may end training for the deep learning model in step 1860.
도 16을 통해 설명한 실시 예는 도 18의 컴퓨팅 장치(1600)의 딥러닝 모델 트레이닝 방법에 적용될 수 있어, 상세한 설명을 생략한다.The embodiment described with reference to FIG. 16 can be applied to the deep learning model training method of the computing device 1600 of FIG. 18, so detailed description is omitted.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The embodiments described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, the devices, methods, and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, and a field programmable gate (FPGA). It may be implemented using a general-purpose computer or a special-purpose computer, such as an array, programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include multiple processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used on any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on a computer-readable recording medium.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 저장할 수 있으며 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. A computer-readable medium may store program instructions, data files, data structures, etc., singly or in combination, and the program instructions recorded on the medium may be specially designed and constructed for the embodiment or may be known and available to those skilled in the art of computer software. there is. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
위에서 설명한 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 또는 복수의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware devices described above may be configured to operate as one or multiple software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited drawings, those skilled in the art can apply various technical modifications and variations based on this. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments and equivalents of the claims also fall within the scope of the following claims.

Claims (14)

  1. 전자 기기를 촬영하는 촬영 박스(photographing box)에 있어서,In a photography box for photographing electronic devices,
    상기 전자 기기가 상기 촬영 박스 내로 투입되게 하는 투입부;an input unit that allows the electronic device to be input into the shooting box;
    상기 전자 기기가 안착되는 안착부;A seating portion on which the electronic device is seated;
    상기 안착된 전자 기기를 정해진 위치에 정렬시키는 정렬부;an alignment unit that aligns the mounted electronic device to a predetermined position;
    상기 전자 기기에 설치된 어플리케이션과 연동하여 상기 전자 기기에 단색 화면이 표시되도록 하는 앱 연동부;An app linkage unit that displays a single-color screen on the electronic device in conjunction with an application installed on the electronic device;
    주어진 촬영 환경에서 상기 정해진 위치에 정렬된 전자 기기를 촬영하는 촬영부; 및a photographing unit that photographs electronic devices aligned at the predetermined location in a given photographing environment; and
    상기 안착된 전자 기기가 상기 정해진 위치에 정렬하도록 상기 정렬부를 제어하고, 상기 안착된 전자 기기가 상기 정해진 위치에 정렬한 경우 상기 정렬된 전자 기기의 외관이 촬영되도록 상기 촬영부를 제어하며, 상기 정렬된 전자 기기의 화면 검사를 위해 상기 정렬된 전자 기기에 상기 단색 화면이 표시되도록 상기 앱 연동부를 제어하고, 상기 단색 화면이 촬영되도록 상기 촬영부를 제어하는 제어부Controlling the alignment unit to align the mounted electronic device at the predetermined position, controlling the photographing unit to capture an appearance of the aligned electronic device when the mounted electronic device is aligned at the predetermined position, and A control unit that controls the app linkage unit to display the monochromatic screen on the aligned electronic device for screen inspection of the electronic device, and controls the photographing unit to capture the monochromatic screen.
    를 포함하는,Including,
    촬영 박스. Shooting box.
  2. 제1항에 있어서, According to paragraph 1,
    상기 촬영부는,The filming department,
    상기 정렬된 전자 기기의 전면을 촬영하는 제1 카메라;a first camera that photographs the front of the aligned electronic devices;
    상기 정렬된 전자 기기의 후면을 촬영하는 제2 카메라;a second camera that photographs the rear of the aligned electronic devices;
    상기 정렬된 전자 기기의 측면들을 촬영하는 복수의 제3 카메라들; 및a plurality of third cameras that photograph sides of the aligned electronic devices; and
    조명을 제공하는 하나 이상의 광원One or more light sources providing illumination
    을 포함하는, Including,
    촬영 박스.Shooting box.
  3. 제1항에 있어서, According to paragraph 1,
    상기 정렬부는,The sorting unit,
    이동 가능한 이동바(bar)를 포함하고,Includes a movable bar,
    상기 제어부는,The control unit,
    상기 안착된 전자 기기가 상기 정해진 위치로 이동하도록 상기 이동바를 제어하고, 상기 안착된 전자 기기가 상기 정해진 위치로 이동한 경우 상기 이동바를 복귀시키는,Controlling the moving bar so that the mounted electronic device moves to the determined position, and returning the moving bar when the mounted electronic device moves to the determined position,
    촬영 박스.Shooting box.
  4. 제3항에 있어서, According to paragraph 3,
    상기 제어부는,The control unit,
    상기 안착된 전자 기기의 크기를 이용하여 상기 안착된 전자 기기가 상기 정해진 위치로 이동해야 하는 거리를 계산하고, 상기 계산된 거리를 기초로 상기 이동바를 제어하는,Calculating the distance that the mounted electronic device must move to the determined position using the size of the mounted electronic device, and controlling the moving bar based on the calculated distance,
    촬영 박스.Shooting box.
  5. 제1항에 있어서, According to paragraph 1,
    상기 촬영부는,The filming department,
    복수의 광원들; 및multiple light sources; and
    상기 광원들 중 제1 광원에 의해 출력된 빛이 상기 정렬된 전자 기기의 전면의 일 측에 제1 라인 조명으로 형성되도록 하고 상기 광원들 중 제2 광원에 의해 출력된 빛이 상기 전면의 다른 일 측에 제2 라인 조명으로 형성되도록 하는 제1 구조물The light output by the first light source among the light sources is formed as a first line illumination on one side of the front of the aligned electronic device, and the light output by the second light source among the light sources is formed on the other side of the front. A first structure to be formed with a second line lighting on the side
    을 포함하는,Including,
    촬영 박스.Shooting box.
  6. 제5항에 있어서, According to clause 5,
    상기 제어부는,The control unit,
    상기 제1 광원을 턴 온하고 상기 제2 광원을 턴 오프하여 상기 제1 라인 조명이 상기 전면의 상기 일 측에 형성된 경우 상기 전면이 촬영되도록 상기 촬영부를 제어하고, 상기 제1 광원을 턴 오프하고 상기 제2 광원을 턴 온하여 상기 제2 라인 조명이 상기 전면의 상기 다른 일 측에 형성된 경우 상기 전면이 촬영되도록 상기 촬영부를 제어하는, Turning on the first light source and turning off the second light source to control the photographing unit to capture the front surface when the first line lighting is formed on one side of the front surface, and turning off the first light source Turning on the second light source to control the photographing unit to photograph the front surface when the second line lighting is formed on the other side of the front surface,
    촬영 박스.Shooting box.
  7. 무인 매입 장치에 있어서,In the unmanned acquisition device,
    전자 기기를 촬영하는 촬영 박스; Shooting box for shooting electronic devices;
    상기 전자 기기가 촬영되어 획득된 이미지들 및 상기 전자 기기의 내부 상태의 평가 결과를 서버에 전송하고, 상기 이미지들 및 상기 평가 결과를 통해 결정된 상기 전자 기기의 가치를 상기 서버로부터 수신하는 시스템 제어부; 및a system control unit that transmits images obtained by photographing the electronic device and evaluation results of the internal state of the electronic device to a server, and receives a value of the electronic device determined through the images and the evaluation results from the server; and
    상기 수신된 가치를 표시하는 디스플레이Display indicating the received value
    를 포함하고,Including,
    상기 촬영 박스는,The shooting box is,
    상기 전자 기기가 상기 촬영 박스 내로 투입되게 하는 투입부;an input unit that allows the electronic device to be input into the shooting box;
    상기 전자 기기가 안착되는 안착부;A seating portion on which the electronic device is seated;
    상기 안착된 전자 기기를 정해진 위치에 정렬시키는 정렬부;an alignment unit that aligns the mounted electronic device to a predetermined position;
    상기 전자 기기에 설치된 어플리케이션과 연동하여 상기 전자 기기에 단색 화면이 표시되도록 하는 앱 연동부;An app linkage unit that displays a single-color screen on the electronic device in conjunction with an application installed on the electronic device;
    주어진 촬영 환경에서 상기 정해진 위치에 정렬된 전자 기기를 촬영하는 촬영부; 및a photographing unit that photographs electronic devices aligned at the predetermined location in a given photographing environment; and
    상기 안착된 전자 기기가 상기 정해진 위치에 정렬하도록 상기 정렬부를 제어하고, 상기 안착된 전자 기기가 상기 정해진 위치에 정렬한 경우 상기 정렬된 전자 기기의 외관이 촬영되도록 상기 촬영부를 제어하며, 상기 정렬된 전자 기기의 화면 검사를 위해 상기 정렬된 전자 기기에 상기 단색 화면이 표시되도록 상기 앱 연동부를 제어하고, 상기 단색 화면이 촬영되도록 상기 촬영부를 제어하는 제어부Controlling the alignment unit to align the mounted electronic device at the predetermined position, controlling the photographing unit to capture an appearance of the aligned electronic device when the mounted electronic device is aligned at the predetermined position, and A control unit that controls the app linkage unit to display the monochromatic screen on the aligned electronic device for screen inspection of the electronic device, and controls the photographing unit to capture the monochromatic screen.
    를 포함하는,Including,
    무인 매입 장치. Unmanned acquisition device.
  8. 제7항에 있어서, In clause 7,
    상기 촬영부는,The filming department,
    상기 안착된 전자 기기의 전면을 촬영하는 제1 카메라;a first camera that photographs the front of the mounted electronic device;
    상기 안착된 전자 기기의 후면을 촬영하는 제2 카메라;a second camera that photographs the rear of the mounted electronic device;
    상기 안착된 전자 기기의 측면들을 촬영하는 복수의 제3 카메라들; 및a plurality of third cameras that photograph side surfaces of the mounted electronic device; and
    하나 이상의 광원one or more light sources
    을 포함하는, Including,
    무인 매입 장치.Unmanned acquisition device.
  9. 제7항에 있어서, In clause 7,
    상기 정렬부는,The sorting unit,
    이동 가능한 이동바(bar)를 포함하고,Includes a movable bar,
    상기 제어부는,The control unit,
    상기 안착된 전자 기기가 상기 정해진 위치로 이동하도록 상기 이동바를 제어하고, 상기 안착된 전자 기기가 상기 정해진 위치로 이동한 경우 상기 이동바를 복귀시키는,Controlling the moving bar so that the mounted electronic device moves to the determined position, and returning the moving bar when the mounted electronic device moves to the determined position,
    무인 매입 장치. Unmanned acquisition device.
  10. 제9항에 있어서, According to clause 9,
    상기 제어부는,The control unit,
    상기 안착된 전자 기기의 크기를 이용하여 상기 안착된 전자 기기가 상기 정해진 위치로 이동해야 하는 거리를 계산하고, 상기 계산된 거리를 기초로 상기 이동바를 제어하는,Calculating the distance that the mounted electronic device must move to the determined position using the size of the mounted electronic device, and controlling the moving bar based on the calculated distance,
    무인 매입 장치.Unmanned acquisition device.
  11. 제9항에 있어서, According to clause 9,
    상기 촬영부는,The filming department,
    복수의 광원들; 및multiple light sources; and
    상기 광원들 중 제1 광원에 의해 출력된 빛이 상기 정렬된 전자 기기의 전면의 일 측에 제1 라인 조명으로 형성되도록 하고 상기 광원들 중 제2 광원에 의해 출력된 빛이 상기 전면의 다른 일 측에 제2 라인 조명으로 형성되도록 하는 제1 구조물The light output by the first light source among the light sources is formed as a first line illumination on one side of the front of the aligned electronic device, and the light output by the second light source among the light sources is formed on the other side of the front. A first structure to be formed with a second line lighting on the side
    을 포함하는,Including,
    무인 매입 장치.Unmanned acquisition device.
  12. 제11항에 있어서, According to clause 11,
    상기 제어부는,The control unit,
    상기 제1 광원을 턴 온하고 상기 제2 광원을 턴 오프하여 상기 제1 라인 조명이 상기 전면의 상기 일 측에 형성된 경우 상기 전면이 촬영되도록 상기 촬영부를 제어하고, 상기 제1 광원을 턴 오프하고 상기 제2 광원을 턴 온하여 상기 제2 라인 조명이 상기 전면의 상기 다른 일 측에 형성된 경우 상기 전면이 촬영되도록 상기 촬영부를 제어하는, Turning on the first light source and turning off the second light source to control the photographing unit to capture the front surface when the first line lighting is formed on one side of the front surface, and turning off the first light source Turning on the second light source to control the photographing unit to photograph the front surface when the second line lighting is formed on the other side of the front surface,
    무인 매입 장치.Unmanned acquisition device.
  13. 전자 기기를 촬영하는 촬영 박스의 동작 방법에 있어서,In a method of operating a photography box for photographing an electronic device,
    상기 촬영 박스 내에 안착된 전자 기기를 정해진 위치에 정렬시키는 단계;Aligning the electronic device mounted in the photographing box to a predetermined position;
    주어진 촬영 환경에서 상기 정해진 위치에 정렬된 전자 기기의 외관을 촬영하는 단계;Photographing the exterior of the electronic device aligned at the predetermined location in a given photographing environment;
    상기 전자 기기에 설치된 어플리케이션과 연동하여 상기 전자 기기에 단색 화면이 표시되도록 하는 단계;Displaying a single-color screen on the electronic device in conjunction with an application installed on the electronic device;
    상기 단색 화면을 표시하는 전자 기기를 촬영하는 단계Photographing an electronic device displaying the monochromatic screen
    를 포함하는,Including,
    촬영 박스의 동작 방법. How the shooting box works.
  14. 컴퓨터 판독 가능한 기록 매체에 저장된 소프트웨어로, 제13항의 동작 방법을 실행시키는, 컴퓨터 판독 가능한 기록 매체에 저장된 소프트웨어.Software stored in a computer-readable recording medium, which executes the operating method of claim 13.
PCT/KR2023/002445 2022-03-18 2023-02-21 Capture box for capturing electronic device, and unmanned purchasing device comprising same WO2023177105A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0034132 2022-03-18
KR20220034132 2022-03-18
KR10-2022-0092591 2022-07-26
KR1020220092591A KR20230136502A (en) 2022-03-18 2022-07-26 Photographing box and unmanned apparatus of purchasing electronic device

Publications (1)

Publication Number Publication Date
WO2023177105A1 true WO2023177105A1 (en) 2023-09-21

Family

ID=88023936

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/002445 WO2023177105A1 (en) 2022-03-18 2023-02-21 Capture box for capturing electronic device, and unmanned purchasing device comprising same

Country Status (1)

Country Link
WO (1) WO2023177105A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170019085A (en) * 2015-08-11 2017-02-21 에스케이 주식회사 Automatic Evaluation Method and Apparatus for Used Mobile Terminal
US20170156073A1 (en) * 2015-11-30 2017-06-01 Hongfujin Precision Electronics (Zhengzhou) Co.,Ltd. Testing machine and system for mobile phone
KR20210059148A (en) * 2019-11-14 2021-05-25 민팃(주) Purchase system of used mobile
KR102290802B1 (en) * 2019-03-29 2021-08-20 민팃(주) System for estimating value electronic device
KR102358898B1 (en) * 2020-08-24 2022-02-07 민팃(주) Method and apparatus of captureing object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170019085A (en) * 2015-08-11 2017-02-21 에스케이 주식회사 Automatic Evaluation Method and Apparatus for Used Mobile Terminal
US20170156073A1 (en) * 2015-11-30 2017-06-01 Hongfujin Precision Electronics (Zhengzhou) Co.,Ltd. Testing machine and system for mobile phone
KR102290802B1 (en) * 2019-03-29 2021-08-20 민팃(주) System for estimating value electronic device
KR20210059148A (en) * 2019-11-14 2021-05-25 민팃(주) Purchase system of used mobile
KR102358898B1 (en) * 2020-08-24 2022-02-07 민팃(주) Method and apparatus of captureing object

Similar Documents

Publication Publication Date Title
WO2014157930A1 (en) Image processing method and apparatus for display devices
WO2014104802A1 (en) Transparent display apparatus and method for controlling the same
WO2020204503A1 (en) Electronic device valuation system
WO2020171512A1 (en) Electronic device for recommending composition and operating method thereof
WO2018230864A2 (en) Method for sensing depth of object by considering external light and device implementing same
WO2019135475A1 (en) Electronic apparatus and control method thereof
WO2020138745A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
WO2019139310A1 (en) Autonomous driving apparatus and method for autonomous driving of a vehicle
WO2018021617A2 (en) Method for generating photo ticket and photo ticket generation device for operating same
WO2023120831A1 (en) De-identification method and computer program recorded in recording medium for executing same
WO2020045702A1 (en) Computer program and terminal for providing urinalysis using colorimetry table
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2020230931A1 (en) Robot generating map on basis of multi-sensor and artificial intelligence, configuring correlation between nodes and running by means of map, and method for generating map
WO2021006482A1 (en) Apparatus and method for generating image
WO2020085804A1 (en) Display apparatus of multi display system and control method thereof
WO2023177105A1 (en) Capture box for capturing electronic device, and unmanned purchasing device comprising same
WO2020017814A1 (en) Abnormal entity detection system and method
WO2022158628A1 (en) System for determining defect in display panel on basis of machine learning model
WO2019088407A1 (en) Camera module comprising complementary color filter array and electronic device comprising same
WO2023153812A1 (en) Electronic device for detecting object, and control method therefor
WO2023022537A1 (en) Ai-based vehicle disk defect detection system
WO2024076223A1 (en) Electronic apparatus value evaluation device and operation method thereof
WO2020149493A1 (en) Electronic device and method for controlling same
WO2023191312A1 (en) Method for evaluating exterior state and value of electronic device, and apparatus for evaluating value of electronic device
WO2023055033A1 (en) Method and apparatus for enhancing texture details of images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770985

Country of ref document: EP

Kind code of ref document: A1