WO2022260431A1 - 시트에 대한 주름 영역을 결정하는 방법 및 디바이스 - Google Patents

시트에 대한 주름 영역을 결정하는 방법 및 디바이스 Download PDF

Info

Publication number
WO2022260431A1
WO2022260431A1 PCT/KR2022/008086 KR2022008086W WO2022260431A1 WO 2022260431 A1 WO2022260431 A1 WO 2022260431A1 KR 2022008086 W KR2022008086 W KR 2022008086W WO 2022260431 A1 WO2022260431 A1 WO 2022260431A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wrinkle
area
determining
seat
Prior art date
Application number
PCT/KR2022/008086
Other languages
English (en)
French (fr)
Inventor
김호영
Original Assignee
주식회사 한울시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210075048A external-priority patent/KR102327595B1/ko
Priority claimed from KR1020210075047A external-priority patent/KR102327594B1/ko
Application filed by 주식회사 한울시스템 filed Critical 주식회사 한울시스템
Priority to EP22820558.9A priority Critical patent/EP4354122A1/en
Priority to CN202280003905.7A priority patent/CN115735118A/zh
Publication of WO2022260431A1 publication Critical patent/WO2022260431A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D65/00—Designing, manufacturing, e.g. assembling, facilitating disassembly, or structurally modifying motor vehicles or trailers, not otherwise provided for
    • B62D65/02—Joining sub-units or components to, or positioning sub-units or components with respect to, body shell or other sub-units or components
    • B62D65/14—Joining sub-units or components to, or positioning sub-units or components with respect to, body shell or other sub-units or components the sub-units or components being passenger compartment fittings, e.g. seats, linings, trim, instrument panels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Definitions

  • a method and device for determining a wrinkle area for a sheet are provided. More specifically, images of the back seat and cushion seat are acquired, and deep learning information used for image analysis of the back seat and cushion seat is acquired, and through this, the image of the back seat is acquired. and a method and device for obtaining a detail image including a problem area from a cushion seat image and determining a wrinkle area using the detail image.
  • a method and device for determining a wrinkle area for a sheet are provided. More specifically, an image of a seat is acquired, and it is determined whether a wrinkle evaluation value derived for a plurality of unit regions of the acquired image exceeds a threshold value, and responds to the wrinkle evaluation value exceeding the threshold value. It relates to a method and device for determining a wrinkle area for one or more unit areas to be.
  • This conventional automated process is characterized in that the same process is performed on most products because the process is performed using a preset motion control algorithm instead of manpower.
  • the problem to be solved according to the first embodiment of the present disclosure is to obtain wrinkles from the first image and the second image by using deep learning learning information used to analyze the first image of the back seat and the second image of the cushion seat.
  • the problem to be solved according to the second embodiment of the present disclosure is to obtain wrinkle evaluation values from a plurality of unit regions of an image, determine whether the derived wrinkle evaluation values exceed a threshold value, and determine whether the derived wrinkle evaluation value exceeds the threshold value.
  • An object of the present invention is to provide a method and a device for determining wrinkle areas of an image based on continuity of one or more unit areas corresponding to wrinkle evaluation values.
  • a method for determining a wrinkle area of a seat by a device includes a first image of the entire back seat. obtaining; acquiring a second image of the entire cushion seat; Acquiring deep learning learning information used to analyze images of the back seat and the cushion seat; determining a problem area from the first image and the second image using the deep learning learning information; obtaining a detail image of the problem area; and determining a wrinkle area using the detail image.
  • the determining of the problem area may include determining a plurality of areas by partitioning each of the first image and the second image in a predetermined manner; and determining one or more of the plurality of regions as the problem region by using the deep learning learning information, wherein the detail image is obtained by a camera pointing at the back seat or the cushion seat, and detecting the plurality of regions. It can be acquired in the process of moving on a traversing route.
  • the obtaining of the detail image may include determining a moving speed according to the position of the camera based on a preliminary analysis result of the problem area; and acquiring the detail image from the camera moving at the moving speed.
  • the deep learning learning information may be obtained based on an image analysis result of the test back seat and the test cushion seat constituting the test seat.
  • the acquiring of the deep learning learning information may include acquiring a test back sheet image from a first test camera pointing at the test back seat in a state in which a second light pointing at the test cushion seat is operating; Acquiring a test cushion seat image from a second test camera pointing at the test cushion seat in a state in which a first light pointing at the test back seat is operating; and acquiring the deep learning learning information using the test back seat image and the test cushion seat image.
  • determining a wrinkle type for the wrinkle area based on the wrinkle size and wrinkle depth corresponding to the wrinkle area; determining an ironing method including the number of times of ironing and the ironing time corresponding to the wrinkle type; and performing ironing on the wrinkled area based on the ironing method.
  • a device for determining a wrinkle area for a seat includes one or more cameras that acquire a first image of an entire back seat and a second image of an entire cushion seat; and a processor for obtaining deep learning learning information used to analyze the images of the back seat and the cushion seat, and determining a problem area from the first image and the second image by using the deep learning learning information.
  • the one or more cameras may obtain a detail image of the problem area, and the processor may determine a wrinkle area using the detail image.
  • a method for determining a wrinkle area of a seat by a device includes obtaining an image of the seat; determining a plurality of unit regions constituting the image and including one or more pixels; determining whether a wrinkle evaluation value derived for each of the plurality of unit regions exceeds a threshold value; The method may include determining a wrinkle area of the image based on continuity of one or more unit areas corresponding to the wrinkle evaluation value exceeding the threshold value.
  • each unit region constituting the plurality of unit regions may be a single pixel.
  • the threshold is determined by deep learning, and the determining of the threshold includes: performing the deep learning on the wrinkle region using a pre-stored learning model; and determining the threshold value for determining wrinkles in the plurality of unit regions based on a result of the deep learning learning, wherein the accuracy of the learning result of the deep learning learning is equal to or less than a preset value.
  • performing re-learning may further include.
  • the material of the sheet is leather, assigning a high weight in the order of the color of the sheet, the brightness of the lighting, the brightness and the saturation; If the material of the sheet is a fiber, assigning a high weight to the brightness of the light, the color of the sheet, the lightness, and the saturation in order; and determining the wrinkle evaluation value based on the weight.
  • a device for determining a wrinkle area for a seat includes at least one camera for acquiring an image of the seat; and determining a plurality of unit regions constituting the image and including one or more pixels, determining whether a wrinkle evaluation value derived for each of the plurality of unit regions exceeds a threshold value, and determining wrinkles exceeding the threshold value. and a processor for determining a wrinkle area of the image based on the continuity of one or more unit areas corresponding to the evaluation values.
  • efficiency is significantly improved compared to the conventional method of detecting wrinkles with the naked eye by determining one or more areas among a plurality of areas as a problem area with wrinkles or damage using a deep learning learning image.
  • wrinkle detection with high accuracy is performed by performing deep learning learning on wrinkle areas using a pre-stored learning model and repeatedly performing re-learning when the accuracy according to the deep learning learning result is low. It is possible.
  • efficiency can be significantly improved compared to the conventional method of detecting wrinkles on a sheet with the naked eye by learning about wrinkle areas through a deep learning learning method.
  • FIG. 1 is a block diagram schematically illustrating a configuration of a device according to an exemplary embodiment.
  • FIG. 2 is a flowchart illustrating each step of operating a device according to an embodiment.
  • FIG. 3 is a diagram schematically illustrating an example of a structure type according to an exemplary embodiment.
  • FIG. 4 is a diagram schematically illustrating an example of a robot type according to an embodiment.
  • FIG. 5 is a diagram schematically illustrating an example of determining a problem area according to an exemplary embodiment.
  • FIG. 6 is a block diagram schematically illustrating a configuration of a device according to an exemplary embodiment.
  • FIG. 7 is a flowchart illustrating each step of operating a device according to an embodiment.
  • FIG. 8 is a diagram schematically illustrating a wrinkle area determined for an image according to an exemplary embodiment.
  • FIG. 9 is a diagram schematically illustrating a marking image corresponding to a wrinkle area according to an exemplary embodiment.
  • FIG. 10 is a diagram schematically illustrating a resulting image according to an exemplary embodiment.
  • FIG. 11 is a diagram schematically illustrating structure types according to an exemplary embodiment.
  • spatially relative terms “below”, “beneath”, “lower”, “above”, “upper”, etc. It can be used to easily describe a component's correlation with other components. Spatially relative terms should be understood as encompassing different orientations of elements in use or operation in addition to the orientations shown in the drawings. For example, if you flip a component that is shown in a drawing, a component described as “below” or “beneath” another component will be placed “above” the other component. can Thus, the exemplary term “below” may include directions of both below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.
  • FIGS. 1 to 5 a first embodiment of the present disclosure will be described with reference to FIGS. 1 to 5 .
  • FIG. 1 is a block diagram schematically illustrating a configuration of a device 100 according to an exemplary embodiment.
  • the device 100 may include one or more cameras 110 and a processor 120 .
  • the camera 110 may obtain a first image 510 of the entire back seat and a second image 520 of the entire cushion seat.
  • the back seat may refer to a portion of the entire seat configured to support the back of the user's body
  • the cushion seat may refer to a portion of the entire seat configured to support the hip portion of the user's body.
  • the seat may further include a headrest capable of supporting the head of the user's body, and one or more cameras 110 may acquire a third image of the entire headrest.
  • the processor 120 may obtain deep learning learning information used for image analysis of the back seat and cushion seat, and determine a problem region from the first image 510 and the second image 520 using the deep learning learning information. have.
  • one or more cameras 110 may obtain a detail image of the problem area, and the processor 120 may determine a wrinkle area using the detail image.
  • the device 100 may further include a memory (not shown) for storing the first image 510 and the second image 520 .
  • the device 100 may further include a memory (not shown) for storing the first image 510 and the second image 520 .
  • a memory not shown
  • some of the components shown in FIG. 1 may be omitted.
  • the device 100 may be used by a user or a worker, and is equipped with a touch screen panel such as a mobile phone, a smart phone, a personal digital assistant (PDA), a portable multimedia player (PMP), a tablet PC, and the like. It may include a type of handheld-based wireless communication device, and in addition to this, devices with a base capable of installing and running applications, such as IPTV including desktop PCs, tablet PCs, laptop PCs, and set-top boxes, may also be used.
  • IPTV including desktop PCs, tablet PCs, laptop PCs, and set-top boxes
  • the device 100 may be implemented as a terminal such as a computer that operates through a computer program for realizing the functions described in this specification.
  • the device 100 may include a wrinkle area determination system (not shown) and a server (not shown), but is not limited thereto.
  • the server may provide an application displaying the determined wrinkle area and may provide a service supporting deep learning learning on the wrinkle area.
  • the description will focus on an embodiment in which the device 100 independently determines the wrinkle area according to an embodiment, but as described above, the wrinkle area may be determined through interworking with the server. That is, it can be seen that the device 100 and the server according to an embodiment may be integrated and implemented in terms of their functions, and the server may be omitted, and is not limited to any one embodiment.
  • the term device 100 has been described as a higher level concept encompassing a server, and accordingly, embodiments of providing an alarm in the device 100 may be performed by a server.
  • FIG. 2 is a flowchart illustrating each step in which the device 100 operates according to an embodiment.
  • the device 100 may acquire a first image 510 of the entire back seat and a second image 520 of the entire cushion seat.
  • the device 100 may include a structure type 300 and a robot type 400 .
  • the structure type 300 is equipped with a camera 110 and lights pointing at the back seat and the cushion seat so as to capture a first image through one or more cameras 110 and lighting control while the seat is being moved through a conveyor belt.
  • 510 and the second image 520 may be acquired.
  • the robot type 400 may be equipped with one or more cameras 110 and lights to move a path corresponding to the seat area, and the first image 510 and the second Image 520 may be obtained.
  • the structure type 300 may be used to determine the wrinkle area of the sheet, and the robot type 400 may be used to perform deep learning on the sheet wrinkle, but is not necessarily limited thereto.
  • the device 100 may obtain deep learning learning information used for analyzing images of the back seat and cushion seat.
  • the deep learning learning information may be used to determine a problem area including wrinkles in the first image 510 and the second image 510 obtained for the sheet. Deep learning learning information may be obtained based on image analysis results of the test back seat 310 and the test cushion seat 320 constituting the test seat for acquiring the deep learning learning information.
  • the device 100 uses a first test camera pointing at the test back seat 310 while the second light 360 pointing at the test cushion seat 320 is operating.
  • a second test camera 350 that acquires a back seat image from 330 (S1) and directs the test cushion seat 320 in a state in which the first light 340 that directs the test back seat 310 operates.
  • An image of the test cushion seat 320 may be obtained from (S2), and deep learning learning information may be acquired using the image of the test back seat 310 and the image of the test cushion seat 320 (S3).
  • the test cushion seat 320 is illuminated using the second test camera 350 pointing at the test cushion seat 320.
  • wrinkles do not clearly appear on the image because the light of the second light 360 is irradiated to the cushion sheet located in front of the second light 360, while the second light 360 operates.
  • the image of the test back sheet 310 is acquired using the first test camera 330, the wrinkle area is shaded by the second light 360, making it easy to determine wrinkles on the image.
  • the test cushion seat 320 is directed to the test cushion seat 320 using the second test camera 350.
  • step S3 the device 100 uses the image of the test back sheet 310 and the image of the test cushion sheet 320 acquired through steps S1 and S2 to determine the problem area including the wrinkled area present on the image.
  • Deep learning learning information can be obtained by performing deep learning learning on .
  • the device 100 may classify deep learning learning information into different categories according to conditions such as vehicle model, seat type, seat color, and the like, and store and manage the deep learning information. Accordingly, the device 100 may individually acquire deep learning learning information corresponding to the type and color of the test seat and the model to which it is applied. Thereafter, in the step of determining the problem area, deep learning learning information corresponding to the type and color of the seat to be used for determining the wrinkle area among the plurality of deep learning learning information and the model to be applied may be used.
  • the device 100 may determine a problem area from the first image 510 and the second image 520 using the deep learning learning information.
  • the device 100 partitions each of the first image 510 and the second image 520 in a preset manner (eg, division by preset unit region) into a plurality of regions ( 530), and using the deep learning learning information obtained in step S230, one or more areas among the plurality of areas 530 may be determined as a problem area.
  • a preset manner eg, division by preset unit region
  • the problem area may be an area including parts that cause quality deterioration, such as wrinkles and contamination of the sheet.
  • the device 100 may more precisely detect a problem area including fine wrinkles by dividing each image into a plurality of areas 530 to be subdivided.
  • the device 100 includes a plurality of areas 530 to include pixels corresponding to a preset number of pixels, which are the smallest unit areas of each image. ) can be partitioned, and wrinkles can be detected for each of the plurality of zones 530 partitioned using deep learning learning information. According to the detection result, the device 100 may detect at least one area including wrinkles among the plurality of areas 530 as the problem area. In this way, by determining the problem area with respect to the subdivided area, it is possible to determine the wrinkle area more precisely.
  • step S250 the device 100 may obtain a detail image of the problem area acquired in step S240, and may determine a wrinkle area using the detail image in step S260.
  • Such a detail image may be acquired while the camera 110 pointing at the back seat or the cushion seat moves along a path traversing the plurality of areas 530 .
  • the device 100 may be performed by a robot type 400 to determine a wrinkle area for a seat, and a camera 110 pointing at the back seat or cushion seat based on a preliminary analysis result for the problem area A moving speed according to the position of may be determined, and a detail image may be acquired from the camera 110 moving at the determined moving speed.
  • the device 100 primarily detects, for all of the problem areas, areas where it takes more than a certain time to recognize wrinkles, areas where it takes less than a certain amount of time, the number, depth and size of wrinkle areas, etc.
  • the preliminary analysis may be performed, and based on the preliminary analysis result, a preliminary analysis may be performed on a location of a relatively easy area or a relatively difficult area to detect wrinkles.
  • the device 100 may determine a moving speed faster than a preset speed or slower than a preset speed for an area where wrinkle detection is relatively easy or relatively difficult based on the preliminary analysis result.
  • the device 100 presets the moving speed of the camera 110 when the position of the camera 110 moving along a path traversing the problem area according to the result of the preliminary analysis corresponds to an area where wrinkles are relatively easy to detect. If the location of the camera 110 corresponds to an area where it is relatively difficult to detect wrinkles, the moving speed of the camera 110 is determined to be less than or equal to a preset speed so that the area can be moved quickly. For , you can make it move slowly.
  • the device 100 determines the moving speed of the camera 110 to be less than or equal to a preset speed so as to perform more precise wrinkle detection on areas where the difficulty of detecting wrinkles is determined to be high, such that a detail image of a preset number or more or a preset number It is possible to obtain detail images equal to or longer than the video length, and determine the movement speed of the camera 110 to be equal to or less than the preset speed for regions where the difficulty of detecting wrinkles is determined to be low. can be obtained As such, the device 100 may obtain a detail image for more efficient wrinkle detection by differently determining a moving speed of the camera 110 according to a preliminary analysis result even for the same problem area. Then, the device 100 may determine a wrinkle area based on the acquired detail image.
  • a simple deep learning learning model is applied to detect feature points on an image, or a detail image obtained in a different way according to the degree of wrinkles of a problem area partitioned into a plurality of areas 530, unlike the prior art based on an algorithm, is used. Since wrinkles are detected, very precise wrinkle detection becomes possible.
  • FIG. 3 is a diagram schematically illustrating an example of a structure type 300 according to an embodiment.
  • the device 100 includes a first test camera 330 and a first light 340 pointing at the test back seat 310 and a second test camera 350 pointing at the test cushion seat 320. And it may include a second light 360, it may be provided as a structure type (300).
  • the device 100 may turn off the first light 340 so that it does not operate when operating the second light 360 to obtain deep learning learning information, and from the first test camera 330 An image of the test back sheet 310 may be acquired.
  • the second light 360 may be turned off so as not to operate, and an image of the test cushion sheet 320 may be acquired from the second test camera 350 .
  • the remaining lights when the first light 340 or the second light 360 is operated, the remaining lights may not be turned off, but in order to obtain more accurate deep learning learning information, it may be desirable to turn off the remaining lights.
  • the second test camera 350 can be turned off so that it does not operate, and the test cushion seat 320 from the second test camera 350.
  • the structure type 300 may be configured to move a sheet (or test sheet) through a conveyor belt, and each test sheet image may be obtained while the sheet is being moved.
  • FIG. 4 is a diagram schematically illustrating an example of a robot type 400 according to an embodiment.
  • the device 100 may be provided as a robot type 400 equipped with one or more movable cameras 110 and an iron 410 . Accordingly, the device 100 may perform ironing on the wrinkle area using the iron 410 moving the area corresponding to the determined wrinkle area.
  • the device 100 may determine the moving speed of the camera 110 according to the position of the camera 110 based on the preliminary analysis result of the problem area.
  • the device 100 may obtain a detail image from the camera 110 moving the problem area according to the moving speed, and may determine the wrinkle area using the detail image.
  • the device 100 may determine a wrinkle type for the wrinkle area based on the wrinkle size and wrinkle depth corresponding to the determined wrinkle area.
  • the wrinkle types include a first type in which wrinkles are the most severe because the wrinkle size and wrinkle depth exceed preset values, and a second type in which wrinkles are intermediate because the wrinkle size and wrinkle depth fall within the range of preset values. It may include a third type, which is a type in which the wrinkles are weak against the type, wrinkle size, and wrinkle depth of a predetermined value or less.
  • the device 100 may determine an ironing method including the number of ironing times and the ironing time corresponding to the wrinkle type determined as at least one of the first type, the second type, and the third type, and the wrinkle area based on the determined ironing method. ironing can be performed.
  • the device 100 may perform ironing on the wrinkles based on an ironing method including a preset number of ironing times and an ironing time. have.
  • FIG. 5 is a diagram schematically illustrating an example of determining a problem area according to an exemplary embodiment.
  • the device 100 determines a plurality of regions 530 by partitioning each of a first image 510 and a second image 520 obtained from a back seat and a cushion seat in a predetermined manner.
  • the preset method may be a method of partitioning an area to include a preset number of pixels.
  • the device 100 may determine one or more of the plurality of regions 530 as a problem region based on deep learning learning information obtained from the test sheet image.
  • the device 100 may more precisely determine the wrinkle area by determining the problem area with respect to the subdivided area.
  • the device 100 may determine the material of the sheet according to the image as leather or fabric, and use the detail image according to the material of the sheet to determine wrinkles based on the continuity of pixels on the detail image. Priority can be determined by determining the area.
  • the detail image is an image that is obtained according to a preliminary analysis result and is used to determine the wrinkle area before the wrinkle area is determined, and may include information about the depth of the wrinkle, the length of the wrinkle, the area of the wrinkle, and the number of wrinkles. .
  • the device 100 may assign the highest weight to a portion having a wrinkle depth greater than or equal to a preset value according to the detail image, and determine the wrinkle area based on the assigned weight.
  • a second high weight may be assigned to a portion having a length of a wrinkle according to a detail image equal to or greater than a preset value.
  • a third high weight may be assigned to a portion in which the area of wrinkles according to the image is greater than or equal to a preset value.
  • the material of the determined sheet is a fiber
  • a second high weight may be assigned.
  • a third-ranked weight may be assigned to a portion having a wrinkle depth greater than or equal to a preset value.
  • the device 100 may determine the material of the sheet based on the first image 510 and the second image 520 in this way, and give different values to the wrinkles appearing on the detail image of the sheet made of the determined material. By determining the priority of determining the wrinkle area based on the weighted values, it is possible to more accurately determine the wrinkle and at the same time minimize damage to the sheet.
  • FIG. 6 is a block diagram schematically illustrating a configuration of a device 1000 according to an exemplary embodiment.
  • a device 1000 may include one or more cameras 1100 and a processor 1200.
  • the image 3000 of the seat obtained from the camera 1100 may include an image of the entire back seat 6100 (Back seat) and an image of the entire cushion seat 6200 (Cushion seat). .
  • the device 1000 may be provided as a structure type 6000 .
  • the camera 1100 may include a first test camera 6300 pointing at the back seat 6100 and a second test camera 6500 pointing at the cushion seat 6200 .
  • a first light 6400 directed at the back seat 6100 and a second light directed at the cushion seat 6200 and operating together with the camera 1100 to acquire an image 3000 from the camera 1100 ( 6600 may be further included in the structure type 6000 device 1000 .
  • the device 1000 may acquire the entire and detail images of the back seat 6100 and the entire and detail images of the cushion seat 6200 through the operation of each camera 1100 and lighting.
  • a detail image according to an embodiment is obtained according to a preliminary analysis result of pre-determining an area expected to be a wrinkle for each sheet, and the detail image may include an area expected to be a wrinkle determined according to a preliminary analysis result.
  • the processor 1200 determines a plurality of unit regions constituting the image 3000 and including one or more pixels with respect to the image 3000, and evaluates wrinkles derived for each of the plurality of unit regions. It is determined whether the value exceeds a threshold value, and a wrinkle region of the image 3000 may be determined based on the continuity of one or more unit regions 3100 corresponding to the wrinkle evaluation value exceeding the threshold value.
  • the device 1000 may further include a memory (not shown) for storing the image 3000 and a pre-stored learning model.
  • the device 1000 may further include a memory (not shown) for storing the image 3000 and a pre-stored learning model.
  • a memory not shown
  • the device 1000 may further include a memory (not shown) for storing the image 3000 and a pre-stored learning model.
  • some of the components shown in FIG. 6 may be omitted.
  • the device 1000 may be used by a user or a worker, and all devices having a touch screen panel such as a mobile phone, a smart phone, a personal digital assistant (PDA), a portable multimedia player (PMP), and a tablet PC. It may include a type of handheld-based wireless communication device, and in addition to this, devices with a base capable of installing and running applications, such as IPTV including desktop PCs, tablet PCs, laptop PCs, and set-top boxes, may also be used.
  • IPTV including desktop PCs, tablet PCs, laptop PCs, and set-top boxes
  • the device 1000 may be implemented as a terminal such as a computer that operates through a computer program for realizing the functions described in this specification.
  • the device 1000 may include a wrinkle area determination system (not shown) and a server (not shown), but is not limited thereto.
  • the server may provide an application displaying the determined wrinkle area and may provide a service supporting deep learning learning on the wrinkle area.
  • the description will focus on an embodiment in which the device 1000 independently determines the wrinkle area according to an embodiment, but as described above, the wrinkle area may be determined through interworking with the server. That is, it can be seen that the device 1000 and the server according to an embodiment may be integrated and implemented in terms of their functions, and the server may be omitted, and is not limited to any one embodiment. Also, the term device 1000 has been described as a higher level concept encompassing a server, and accordingly, embodiments of providing an alarm in the device 1000 may be performed by a server.
  • FIG. 7 is a flowchart illustrating each step in which the device 1000 operates according to an embodiment.
  • step S210 the device 1000 may acquire an image 3000 of the sheet.
  • the device 1000 may obtain an image 3000 of a sheet provided as a structure type 6000 .
  • the device 1000 controls the operation of the first test camera 6300, the second test camera 6500, the first light 6400, and the second light 6600 to control the operation of the back sheet 6100.
  • a first image and a second image of the cushion sheet 6200 may be obtained.
  • a method of obtaining each image of the seat may be implemented and implemented in various ways, but a preferred method according to the present disclosure is when the second light 6600 directed to the cushion seat 6200 operates in an ON state.
  • a first image of the back sheet 6100 is obtained from the test camera 6300, and when the first light 6400 directed toward the back sheet 6100 operates in an ON state, the second test camera 6500 It may be a method of obtaining a second image of the cushion seat 6200 .
  • This method can solve the problem that the wrinkle area is not clearly visible due to the lighting that irradiates the sheet in front when the camera 1100 and the light are directed in the same direction, and the camera 1100 and the light are directed in the same direction.
  • a shadow is formed in the wrinkled area formed by the irradiated light, thereby making the wrinkled area clearer.
  • the device 1000 may determine a plurality of unit regions constituting the image 3000 and including one or more pixels.
  • each unit area constituting a plurality of unit areas may be a single pixel.
  • a plurality of unit regions constituting the image 3000 may include a predetermined number of single pixels.
  • the shape of wrinkles such as size, area, and length, can be seen as being distributed in a fine form, so that the image 3000 is divided into a plurality of unit areas made up of pixels to effectively evaluate wrinkles. Derivation, and thus the wrinkle area can be determined.
  • the device 1000 may determine whether wrinkle evaluation values derived for each of the plurality of unit regions exceed a threshold value.
  • the device 1000 may derive wrinkle evaluation values for each of a plurality of unit areas.
  • the wrinkle evaluation value may be a value used to determine whether or not wrinkles exist in each of the plurality of unit regions or how many wrinkles are to be determined as NG.
  • the device 1000 may obtain wrinkle evaluation factors including at least one of lightness, saturation, brightness of lighting, and color of a sheet for a plurality of unit areas, and based on a combination result of the acquired wrinkle evaluation factors.
  • the wrinkle evaluation value can be determined.
  • the wrinkle evaluation element may include criterion elements for evaluating wrinkles, such as lightness, saturation, brightness of lighting, and color of a sheet for a plurality of unit regions (images). Since the device 1000 basically detects and determines the wrinkle area based on the sheet image 3000, the brightness, saturation, brightness of lighting, and the color of the sheet appearing in the acquired image 3000 are used to determine wrinkles. do.
  • criterion elements for evaluating wrinkles such as lightness, saturation, brightness of lighting, and color of a sheet for a plurality of unit regions (images). Since the device 1000 basically detects and determines the wrinkle area based on the sheet image 3000, the brightness, saturation, brightness of lighting, and the color of the sheet appearing in the acquired image 3000 are used to determine wrinkles. do.
  • the combination of wrinkle evaluation factors may be combined according to a wrinkle evaluation algorithm pre-stored for each of the obtained values of brightness, saturation, light brightness, and sheet color, and a wrinkle evaluation value may be determined based on the combination result.
  • the step of determining the wrinkle evaluation value may be determined differently depending on whether the material of the sheet is leather or fiber.
  • high weights may be assigned in the order of color of the sheet, brightness of lighting, brightness, and saturation, and the device 1000 may determine the wrinkle evaluation value based on the assigned weights. have.
  • the color of the seat often shows a stark color difference, such as black, white, or brown.
  • the accuracy is very low. Accordingly, since it may be more effective to first determine the color of the sheet and perform wrinkle detection therefor, the highest weight may be given to the color of the sheet.
  • the leather material used for manufacturing the seat was manufactured through a process such as surface treatment in consideration of various conveniences for contact with the user, it has a characteristic (glossy) of partially reflecting light of lighting compared to a fiber material. Accordingly, even if the brightness of the lighting is somewhat dark, a high weight of the second order may be given to the brightness of the lighting in that wrinkles can be detected to some extent due to the feature of partially reflecting the light of the lighting.
  • the shape of wrinkles appearing as shadows may not be clear because the image 3000 is dark, and if the brightness is too high, some of the wrinkles disappear because the image 3000 is bright. may occur, and since its importance is somewhat higher than chroma, a high weight in third place can be given to lightness.
  • Weights may be assigned.
  • the material of the sheet is a fiber
  • the light of the light is scattered by the surface structure of the fiber due to the nature of the fiber, it can be seen that it is very sensitive to the brightness of the light, and the highest weight can be given to the brightness of the light.
  • the color of the fiber sheet can be manufactured in various colors, it can be more effective to determine the color of the sheet and perform wrinkle detection for it, so that the color of the sheet can be given a second high weight.
  • the shape of wrinkles appearing as shadows may not be clear because the image 3000 is dark, and if the brightness is too high, some of the wrinkles disappear because the image 3000 is bright. may occur, and since its importance is somewhat higher than chroma, a high weight in third place can be given to lightness.
  • Weights may be assigned.
  • the device 1000 may determine the wrinkle evaluation value based on the weights given in different sizes and order according to the material of the sheet, and accordingly, it is possible to effectively detect wrinkles for each sheet to be a wrinkle detection target. .
  • the device 1000 may determine the threshold through deep learning.
  • the device 1000 may acquire a pre-stored learning model (eg, semantic segmentation) used for deep learning learning to determine wrinkles from a memory (not shown) or a server (not shown).
  • a pre-stored learning model may include previously labeled images of wrinkles of the sheet under various conditions (color, brightness, saturation, brightness of lighting, material of the sheet, etc.).
  • the device 1000 may perform deep learning learning on the wrinkle region in order to detect the wrinkle region on the image 3000 using the obtained pre-stored learning model, and based on the deep learning learning result, a plurality of A threshold value for determining wrinkles in a unit area may be determined.
  • re-learning using a pre-stored learning model may be repeatedly performed to improve accuracy.
  • the device 1000 may determine a wrinkle area of the image 3000 based on the continuity of one or more unit areas 3100 corresponding to the wrinkle evaluation value exceeding the threshold value. For example, unit regions corresponding to wrinkle evaluation values exceeding a critical value may be continuously connected, and unit regions whose continuity is equal to or greater than a preset value may be determined as wrinkle regions.
  • FIG. 8 is a diagram schematically illustrating a wrinkle area determined for an image 3000 according to an exemplary embodiment.
  • the device 1000 may determine one or more unit regions 3100 corresponding to wrinkle evaluation values exceeding a threshold as shown in the drawings. Since each unit area corresponds to a wrinkle evaluation value exceeding a threshold value, it may be an area corresponding to a wrinkle, and the wrinkle area of the image 3000 may be determined according to the continuity in which these areas are distributed. In addition, unit areas having continuity equal to or less than a preset value may correspond to a pattern, structure, or damage of a simple sheet, and in this case, it may not be determined as a wrinkle area.
  • the device 1000 determines the wrinkle area based on the continuity of one or more unit areas 3100 in which the wrinkle evaluation value exceeds the critical value, so that the pattern of the sheet, the sheet structure, or the damaged portion and wrinkles of the sheet are more clearly identified. It is possible to improve the accuracy of determining the wrinkle area by making the determination.
  • FIG. 9 is a diagram schematically illustrating a marking image 4100 corresponding to a wrinkle area according to an embodiment.
  • the device 1000 may obtain a marking image 4100 corresponding to the wrinkle area.
  • the marking image 4100 may be an image obtained to indicate a wrinkle area including the wrinkle area determined according to the contents described with reference to step S240 and FIG. 8 and a preset value range for the wrinkle area.
  • FIG. 10 is a diagram schematically illustrating a resulting image 5000 according to an exemplary embodiment.
  • the device 1000 may obtain coordinates of the wrinkle area of the image 3000 in the step of determining the wrinkle area, and display the wrinkle area on the image 3000 according to the obtained coordinates. .
  • the device 1000 matches the marking image 4100 corresponding to the wrinkle area to the image 3000 on which the wrinkle area is displayed to obtain a resultant image 5000 showing the wrinkle area and the marking image 4100 overlapping each other.
  • the result image 5000 obtained by matching the image 3000 on which the wrinkle area is displayed and the marking image 4100 is matched is provided to the user, so that the user can more easily determine the wrinkle area determination result with the naked eye.
  • FIG. 11 is a diagram schematically illustrating a structure type 6000 according to an exemplary embodiment.
  • a device 1000 may be provided as a structure type 6000 to obtain an image 3000 of a sheet using one or more cameras 1100 and lighting.
  • the device 1000 may include a first test camera 6300 pointing at the back seat 6100 and a second test camera 6500 pointing at the cushion seat 6200 .
  • a first light 6400 directed at the back seat 6100 and a second light 6600 directed at the cushion seat 6200, which operate in conjunction with the camera 1100 to acquire the image 3000, are of the structure type. (6000) may be further included in the device 1000.
  • the device 1000 may acquire the entire and detail images of the back seat 6100 and the entire and detail images of the cushion seat 6200 through the operation of each camera 1100 and lighting.
  • the device 1000 is provided with the structure type 6000 as described above, when the camera 1100 and the light are directed in the same direction, it is possible to solve the problem that the wrinkle area is not clearly visible due to the light irradiating the sheet from the front.
  • the direction of the camera 1100 and the light are determined to be different as described above, since the light of the light is irradiated in parallel with the sheet to be photographed, a shadow is formed in the wrinkled area formed by the irradiated light and wrinkles are formed. It has the effect of making the area clearer.
  • the device 1000 may determine a wrinkle level of a wrinkle area representing a degree of severity of wrinkles according to the wrinkle area.
  • the wrinkle level may be differently determined according to the material of the sheet.
  • high weights may be assigned in the order of wrinkle width, wrinkle depth, wrinkle length, and number of wrinkles, and the wrinkle level may be determined based on the assigned weights.
  • the width of the wrinkles formed on the sheet is generally large, and as the width of the wrinkles is large, it can be seen that wrinkles are formed over a wide area, so the highest weight can be given to the width of the wrinkles. Due to the nature of the leather material, when wrinkles are deeply formed, a second high weight may be given to the depth of wrinkles in that a more rapid wrinkle removal process is required.
  • the longer the length of the wrinkles the more severe the wrinkles, but can be removed relatively easily compared to the wrinkle width and wrinkle depth.
  • the greater the number of wrinkles the more severe the wrinkles, but due to the nature of the leather material, a relatively small number of wrinkles are formed and the importance is somewhat lower than the wrinkle width, wrinkle depth, and wrinkle length. can be granted
  • the highest weight can be given to the number of wrinkles in that the number of wrinkles is formed more than that of leather material because it is easily wrinkled with a relatively small force due to the nature of the fiber material, and wrinkles with a long length are leather. In that it is formed relatively frequently compared to the material, a second high weight can be given to the length of the wrinkles.
  • the device 1000 determines the wrinkle level for the wrinkle area from among a first level with the most severe wrinkles, a second level with moderate wrinkles, and a third level with slightly weaker wrinkles, based on weights that are differently assigned according to the material of the sheet. One may be determined, and based on the determined wrinkle level, an alarm requesting confirmation of whether or not a problem in the sheet manufacturing process has occurred may be provided.
  • the level for the wrinkle area is determined, and an alarm is provided according to the wrinkle level, thereby helping to quickly determine whether a problem in the manufacturing process has occurred.
  • the device 100 or 1000 according to the above-described embodiment may include one or more processors 120 or 1200 and/or one or more memories.
  • 1 and 6 show only essential components for explaining the devices 100 and 1000 according to an embodiment for convenience of description, but to configure a device corresponding to the invention such as a display (not shown).
  • the above-described operations in FIGS. 1 to 11 may be performed by organically combining various conventional configurations for
  • the memory may include volatile and/or non-volatile memory.
  • One or more memories may store instructions that, when executed by the one or more processors 120 or 1200, cause the one or more processors 120 or 1200 to perform operations.
  • a program or command is software stored in a memory, and may include an operating system for controlling server resources, an application, and/or middleware that provides various functions to applications so that applications can utilize resources of a device. can
  • One or more processors 120 or 1200 may control at least one component of a device connected to the processor 120 or 1200 by driving software (eg, a program or command).
  • the processors 120 and 1200 may perform operations such as various calculations, processing, data generation, and processing related to the present disclosure.
  • the processor 120 or 1200 may load data or the like from memory or store data in the memory.
  • At least one of the components of the devices 100 and 1000 may be omitted or another component may be added. Also, additionally or alternatively, some components may be integrated and implemented, or implemented as a singular or plural entity.
  • Steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, implemented in a software module executed by hardware, or implemented by a combination thereof.
  • a software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.

Abstract

본 개시의 제 1 실시 예에 따라, 백 시트(back seat)의 전체에 대한 제 1 이미지를 획득하는 단계; 쿠션 시트(cushion seat)의 전체에 대한 제 2 이미지를 획득하는 단계; 상기 백 시트 및 상기 쿠션 시트의 이미지의 분석에 이용되는 딥러닝 학습 정보를 획득하는 단계; 상기 딥러닝 학습 정보를 이용하여 상기 제 1 이미지 및 상기 제 2 이미지로부터 문제 영역을 결정하는 단계; 상기 문제 영역에 대한 디테일 이미지를 획득하는 단계; 및 상기 디테일 이미지를 이용하여 주름 영역을 결정하는 단계;를 포함하는, 방법이 개시된다.

Description

시트에 대한 주름 영역을 결정하는 방법 및 디바이스
본 개시의 제 1 실시 예에 따르면, 시트에 대한 주름 영역을 결정하기 위한 방법 및 디바이스에 관한 것이다. 보다 상세하게는 백 시트(Back seat)에 대한 이미지, 쿠션 시트(Cushion seat)에 대한 이미지를 획득하고, 백시트 및 쿠션 시트의 이미지 분석에 이용되는 딥러닝 학습 정보를 획득하여 이를 통해 백 시트 이미지 및 쿠션 시트 이미지로부터 문제 영역을 포함하는 디테일 이미지를 획득하고, 디테일 이미지를 이용하여 주름 영역을 결정하는 방법 및 디바이스에 관한 것이다.
또한, 본 개시의 제 2 실시 예에 따르면, 시트에 대한 주름 영역을 결정하기 위한 방법 및 디바이스에 관한 것이다. 보다 상세하게는 시트(Seat)에 대한 이미지를 획득하고, 획득된 이미지에 대한 복수의 단위 영역에 대해 도출된 주름 평가값이 임계치를 초과하는지 여부를 결정하여, 임계치를 초과하는 주름 평가값에 대응되는 하나 이상의 단위 영역에 대한 주름 영역을 결정하는 방법 및 디바이스에 관한 것이다.
제품 생산 효율 및 품질, 인건비 감소, 공정 제어 편의성 및 비대면 산업 발달 등의 이유로 각종 산업 환경에 대해 자동화 공정의 도입이 크게 증가하고 있으며, 이러한 자동화 공정은 차량 제조 공정에도 적용되어 내장재 및 외장재 등 다양한 차량용 제품들이 제조되고 있다.
이러한 종래 자동화 공정은 인력 대신 미리 설정된 동작 제어 알고리즘 등을 이용하여 공정을 수행하기 때문에 대부분의 제품에 동일한 공정이 수행된다는 특징이 있다.
그러나, 이러한 자동화 공정은 섬유 또는 가죽 등 변형에 민감하여 주름 제거 등에 대한 개별적인 추가 공정이 필요한 시트(Seat) 제품들에 대해서도 획일화된 공정으로 수행하기 때문에 균일한 품질이 보장되지 않고, 경우에 따라 품질 불량 제품이 대량으로 생산될 수 있다는 문제점이 존재한다.
특히, 시트와 같은 차량 실내 제품들의 편의성 및 품질 등에 대한 소비자 관심이 점차 높아지고 있고, 차량 실내에서 가장 큰 부피를 차지하고 있는 시트는 실질적으로 차량 운전자와의 접촉이 가장 많은 제품 중 하나라는 점에서 시트의 품질에 대한 소비자의 민감도가 높다고 볼 수 있음에도, 전체 시트 중 주름이 발생된 영역을 선택적으로 인식하거나, 인식된 영역에 대해 주름 여부를 판단하여 이를 제거하는 등의 기술은 일반적인 자동화 공정에 적용되지 않고 있어 지속적인 시간적, 비용적 손해가 발생하는 문제점이 존재한다.
본 개시의 제 1 실시 예에 따라 해결하고자 하는 과제는 백 시트에 대한 제 1 이미지 및 쿠션 시트에 대한 제 2 이미지의 분석에 이용되는 딥러닝 학습 정보를 이용하여 제 1 이미지 및 제 2 이미지로부터 주름과 관련된 문제 영역을 결정하고, 결정된 문제 영역에 대한 디테일 이미지를 획득하여 이로부터 주름 영역을 결정하는 방법 및 디바이스를 제공하는 것이다.
또한, 본 개시의 제 2 실시 예에 따라 해결하고자 하는 과제는 이미지에 대한 복수의 단위 영역으로부터 주름 평가값을 획득하고, 도출된 주름 평가값이 임계치를 초과하는지 여부를 결정하고, 임계치를 초과하는 주름 평가값에 대응되는 하나 이상의 단위 영역에 대한 연속성에 기초하여 이미지에 대한 주름 영역을 결정하는 방법 및 디바이스를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면에 따른 디바이스가 시트(seat)에 대한 주름 영역을 결정하는 방법은, 백 시트(back seat)의 전체에 대한 제 1 이미지를 획득하는 단계; 쿠션 시트(cushion seat)의 전체에 대한 제 2 이미지를 획득하는 단계; 상기 백 시트 및 상기 쿠션 시트의 이미지의 분석에 이용되는 딥러닝 학습 정보를 획득하는 단계; 상기 딥러닝 학습 정보를 이용하여 상기 제 1 이미지 및 상기 제 2 이미지로부터 문제 영역을 결정하는 단계; 상기 문제 영역에 대한 디테일 이미지를 획득하는 단계; 및 상기 디테일 이미지를 이용하여 주름 영역을 결정하는 단계;를 포함할 수 있다.
또한, 상기 문제 영역을 결정하는 단계는 상기 제 1 이미지 및 상기 제 2 이미지 각각을 기설정 방식으로 구획하여 복수개의 영역을 결정하는 단계; 상기 딥러닝 학습 정보를 이용하여 상기 복수개의 영역 중 하나 이상의 영역을 상기 문제 영역으로 결정하는 단계;를 포함하고, 상기 디테일 이미지는 상기 백 시트 또는 상기 쿠션 시트를 지향하는 카메라가 상기 복수개의 영역을 순회하는 경로로 이동하는 과정에서 획득될 수 있다.
또한, 상기 디테일 이미지를 획득하는 단계는 상기 문제 영역에 대한 사전 분석 결과에 기초하여 상기 카메라의 위치에 따른 이동 속도를 결정하는 단계; 및 상기 이동 속도로 이동하는 상기 카메라로부터 상기 디테일 이미지를 획득하는 단계;를 포함할 수 있다.
또한, 상기 딥러닝 학습 정보는 테스트 시트를 구성하는 테스트 백 시트 및 테스트 쿠션 시트에 대한 이미지 분석 결과에 기초하여 획득될 수 있다.
또한, 상기 딥러닝 학습 정보를 획득하는 단계는 상기 테스트 쿠션 시트를 지향하는 제 2 조명이 동작하는 상태에서 상기 테스트 백 시트를 지향하는 제 1 테스트 카메라로부터 테스트 백 시트 이미지를 획득하는 단계; 상기 테스트 백 시트를 지향하는 제 1 조명이 동작하는 상태에서 상기 테스트 쿠션 시트를 지향하는 제 2 테스트 카메라로부터 테스트 쿠션 시트 이미지를 획득하는 단계; 및 상기 테스트 백 시트 이미지 및 상기 테스트 쿠션 시트 이미지를 이용하여 상기 딥러닝 학습 정보를 획득하는 단계;를 포함할 수 있다.
또한, 상기 주름 영역에 대응되는 주름 크기 및 주름 깊이에 기초하여 상기 주름 영역에 대한 주름 유형을 결정하는 단계; 상기 주름 유형에 대응되는 다림질 횟수 및 다림질 시간을 포함하는 다림질 방식을 결정하는 단계; 및 상기 다림질 방식에 기초하여 상기 주름 영역에 대한 다림질을 수행하는 단계;를 더 포함할 수 있다.
본 개시의 제 2 측면에 따른 시트에 대한 주름 영역을 결정하는 디바이스는, 백 시트의 전체에 대한 제 1 이미지 및 쿠션 시트의 전체에 대한 제 2 이미지를 획득하는 하나 이상의 카메라; 및 상기 백 시트 및 상기 쿠션 시트의 이미지의 분석에 이용되는 딥러닝 학습 정보를 획득하고, 상기 딥러닝 학습 정보를 이용하여 상기 제 1 이미지 및 상기 제 2 이미지로부터 문제 영역을 결정하는 프로세서;를 포함하고, 상기 하나 이상의 카메라는 상기 문제 영역에 대한 디테일 이미지를 획득하고, 상기 프로세서는 상기 디테일 이미지를 이용하여 주름 영역을 결정할 수 있다.
또한, 상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 3 측면에 따른 디바이스가 시트(seat)에 대한 주름 영역을 결정하는 방법은, 상기 시트에 대한 이미지를 획득하는 단계; 상기 이미지를 구성하고 하나 이상의 픽셀을 포함하는 복수의 단위 영역을 결정하는 단계; 각각의 상기 복수의 단위 영역에 대해 도출된 주름 평가값이 임계치를 초과하는지 여부를 결정하는 단계; 상기 임계치를 초과하는 주름 평가값에 대응되는 하나 이상의 단위 영역에 대한 연속성에 기초하여 상기 이미지에 대한 주름 영역을 결정하는 단계;를 포함할 수 있다.
또한, 상기 복수의 단위 영역을 구성하는 각각의 단위 영역은 단일 픽셀일 수 있다.
또한, 상기 주름 영역을 상기 이미지에 디스플레이하는 단계; 상기 주름 영역에 대응되는 마킹 이미지를 획득하는 단계; 및 상기 이미지에 상기 마킹 이미지를 정합하여 결과 이미지를 획득하는 단계;를 더 포함할 수 있다.
또한, 상기 복수의 단위 영역에 대한 명도, 채도, 조명의 밝기 및 상기 시트의 색상 중 적어도 하나를 포함하는 주름 평가 요소를 획득하는 단계; 및 획득된 상기 주름 평가 요소의 조합 결과에 기초하여 상기 주름 평가값을 결정하는 단계;를 더 포함할 수 있다.
또한, 상기 임계치는 딥러닝 학습에 의해 결정되고, 상기 임계치를 결정하는 단계는 기저장된 학습 모델을 이용하여 상기 주름 영역에 대한 상기 딥러닝 학습을 수행하는 단계; 및 상기 딥러닝 학습에 따른 결과에 기초하여 상기 복수의 단위 영역에 대한 주름 여부를 결정하기 위한 상기 임계치를 결정하는 단계;를 포함하고, 상기 딥러닝 학습에 따른 학습 결과의 정확도가 기설정 값 이하인 경우 재 학습을 수행하는 단계;를 더 포함할 수 있다.
또한, 상기 시트의 소재가 가죽인 경우, 상기 시트의 색상, 상기 조명의 밝기, 상기 명도 및 상기 채도의 순서로 높은 가중치를 부여하는 단계; 상기 시트의 소재가 섬유인 경우, 상기 조명의 밝기, 상기 시트의 색상, 상기 명도 및 상기 채도의 순서로 높은 가중치를 부여하는 단계; 및 상기 가중치에 기초하여 상기 주름 평가값을 결정하는 단계;를 포함할 수 있다.
본 개시의 제 4 측면에 따른 시트(seat)에 대한 주름 영역을 결정하는 디바이스는, 상기 시트에 대한 이미지를 획득하는 하나 이상의 카메라; 및 상기 이미지를 구성하고 하나 이상의 픽셀을 포함하는 복수의 단위 영역을 결정하고, 각각의 상기 복수의 단위 영역에 대해 도출된 주름 평가값이 임계치를 초과하는지 여부를 결정하고, 상기 임계치를 초과하는 주름 평가값에 대응되는 하나 이상의 단위 영역에 대한 연속성에 기초하여 상기 이미지에 대한 주름 영역을 결정하는 프로세서;를 포함할 수 있다.
이 외에도 본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 개시의 일 실시 예에 따르면, 딥러닝 학습 이미지를 이용하여 복수개의 영역 중 하나 이상의 영역을 주름 또는 손상 등이 나타난 문제 영역으로 결정함으로써 육안으로 주름을 검출하는 종래 방식에 비해 효율성이 현저히 향상될 수 있다.
또한, 각각의 주름 유형에 대응되도록 다림질 방식을 결정함으로써 깊이, 면적 등이 상이한 주름들에 대한 최적의 다림질을 수행할 수 있게 되어 효과적인 주름 제거가 가능해진다.
또한, 본 개시의 일 실시 예에 따르면, 기저장된 학습 모델을 이용하여 주름 영역에 대한 딥러닝 학습을 수행하고, 딥러닝 학습 결과에 따른 정확도가 낮은 경우 재 학습을 반복 수행함으로써 정확도 높은 주름 검출이 가능하다.
또한, 딥러닝 학습 방법을 통해 주름 영역에 대해 학습함으로써 육안으로 시트에 대한 주름을 검출하는 종래 방식에 비해 효율성이 현저히 향상될 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 디바이스의 구성을 개략적으로 도시한 블록도이다.
도 2는 일 실시 예에 따른 디바이스가 동작하는 각 단계를 도시한 흐름도이다.
도 3은 일 실시 예에 따른 구조물 타입의 일 예를 개략적으로 도시한 도면이다.
도 4는 일 실시 예에 따른 로봇 타입의 일 예를 개략적으로 도시한 도면이다.
도 5는 일 실시 예에 따라 문제 영역을 결정하는 일 예를 개략적으로 도시한 도면이다.
도 6은 일 실시 예에 따른 디바이스의 구성을 개략적으로 도시한 블록도이다.
도 7은 일 실시 예에 따른 디바이스가 동작하는 각 단계를 도시한 흐름도이다.
도 8은 일 실시 예에 따른 이미지에 대해 결정된 주름 영역을 개략적으로 도시한 도면이다.
도 9는 일 실시 예에 따른 주름 영역에 대응되는 마킹 이미지를 개략적으로 도시한 도면이다.
도 10은 일 실시 예에 따른 결과 이미지를 개략적으로 도시한 도면이다.
도 11은 일 실시 예에 따른 구조물 타입을 개략적으로 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전 하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작 시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다.
이하에서는 도 1 내지 도 5를 참조하여 본 개시의 제 1 실시 예에 대해 설명하도록 한다.
도 1은 일 실시 예에 따른 디바이스(100)의 구성을 개략적으로 도시한 블록도이다.
도면을 참조하면, 디바이스(100)는 하나 이상의 카메라(110) 및 프로세서(120)를 포함할 수 있다.
카메라(110)는 백 시트(Back seat)의 전체에 대한 제 1 이미지(510) 및 쿠션 시트(Cushion seat)의 전체에 대한 제 2 이미지(520)를 획득할 수 있다.
백 시트는 전체 시트 중 사용자 신체 중 등 부분을 지지하도록 구성된 부분, 쿠션 시트는 전체 시트 중 사용자 신체 중 엉덩이 부분을 지지하도록 구성된 부분을 나타낼 수 있다.
일반적으로 백 시트와 쿠션 시트는 동일한 소재 및 동일한 색상으로 제조되는 경우 외에도, 각각 상이한 소재 및 상이한 색상으로 제조되는 경우가 존재할 수 있다. 또한, 시트에는 사용자 신체 중 머리 부분을 지지할 수 있는 헤드레스트(Headrest)가 더 포함될 수 있으며, 하나 이상의 카메라(110)는 헤드레스트의 전체에 대한 제 3 이미지를 획득할 수도 있다.
프로세서(120)는 백 시트 및 쿠션 시트의 이미지 분석에 이용되는 딥러닝 학습 정보를 획득하고, 딥러닝 학습 정보를 이용하여 제 1 이미지(510) 및 제 2 이미지(520)로부터 문제 영역을 결정할 수 있다.
또한, 하나 이상의 카메라(110)는 문제 영역에 대한 디테일 이미지를 획득하고, 프로세서(120)는 디테일 이미지를 이용하여 주름 영역을 결정할 수 있다.
전술한 구성들의 다양한 실시 예들은 아래의 도면들을 참조하여 아래에서 보다 상세히 설명하도록 한다.
더하여, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 디바이스(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 디바이스(100)는 제 1 이미지(510) 및 제 2 이미지(520)를 저장하는 메모리(미도시)를 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시 예에 따른 디바이스(100)는 사용자 또는 작업자에 의해 이용될 수 있고, 휴대폰, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC 등과 같이 터치 스크린 패널이 구비된 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있으며, 이 외에도 데스크탑 PC, 태블릿 PC, 랩탑 PC, 셋탑 박스를 포함하는 IPTV와 같이, 애플리케이션을 설치하고 실행할 수 있는 기반이 마련된 장치도 포함할 수 있다.
디바이스(100)는 본 명세서에서 설명되는 기능을 실현시키기 위한 컴퓨터 프로그램을 통해 동작하는 컴퓨터 등의 단말기로 구현될 수 있다.
일 실시 예에 따른 디바이스(100)는 주름 영역 결정 시스템(미도시) 및 서버(미도시)를 포함할 수 있으나, 이에 제한되지 않는다. 일 실시 예에 따른 서버는 결정된 주름 영역을 디스플레이하는 애플리케이션을 제공할 수 있으며, 주름 영역에 대한 딥러닝 학습 수행을 지원하는 서비스를 제공할 수 있다.
이하에서는 일 실시 예에 따른 디바이스(100)가 독립적으로 주름 영역을 결정하는 실시 예를 중심으로 서술하도록 하지만, 전술한 것처럼, 서버와의 연동을 통해 주름 영역을 결정할 수도 있다. 즉, 일 실시 예에 따른 디바이스(100)와 서버는 그 기능의 측면에서 통합 구현될 수 있고, 서버는 생략될 수도 있으며, 어느 하나의 실시 예에 제한되지 않음을 알 수 있다. 또한, 디바이스(100)라는 용어는 서버를 포괄하는 상위 개념으로 기재되었으며, 이에 따라 디바이스(100)에서 알람을 제공하는 실시 예들은 서버에 의해 수행될 수도 있다.
도 2는 일 실시 예에 따른 디바이스(100)가 동작하는 각 단계를 도시한 흐름도이다.
단계 S210 및 S220에서 디바이스(100)는 백 시트의 전체에 대한 제 1 이미지(510) 및 쿠션 시트의 전체에 대한 제 2 이미지(520)를 획득할 수 있다.
일 실시 예에서, 디바이스(100)는 구조물 타입(300) 및 로봇 타입(400)을 포함할 수 있다. 예를 들어, 구조물 타입(300)은 백 시트 및 쿠션 시트를 지향하는 카메라(110) 및 조명이 구비되어 컨베이어 벨트를 통해 시트가 이동되는 동안 하나 이상의 카메라(110) 및 조명 제어를 통해 제 1 이미지(510) 및 제 2 이미지(520)를 획득할 수 있다. 로봇 타입(400)은 하나 이상의 카메라(110) 및 조명을 구비하여 시트 영역에 대응되는 경로를 이동할 수 있도록 구성될 수 있으며, 카메라(110) 및 조명 제어를 통해 제 1 이미지(510) 및 제 2 이미지(520)를 획득할 수 있다.
일반적으로, 시트에 대한 주름 영역을 결정하기 위해서 구조물 타입(300)이 이용되고, 시트 주름에 대한 딥러닝 학습을 수행하기 위해 로봇 타입(400)이 이용될 수 있으나, 반드시 이에 제한되는 것은 아니다.
단계 S230 에서 디바이스(100)는 백 시트 및 쿠션 시트의 이미지의 분석에 이용되는 딥러닝 학습 정보를 획득할 수 있다.
일 실시 예에서 딥러닝 학습 정보는 시트에 대해 획득된 제 1 이미지(510) 및 제 2 에 대해 주름을 포함하는 문제 영역을 결정하기 위해 이용될 수 있다. 딥러닝 학습 정보를 획득하기 위한 테스트 시트를 구성하는 테스트 백 시트(310) 및 테스트 쿠션 시트(320)에 대한 이미지 분석 결과에 기초하여 획득될 수 있다.
예를 들어 딥러닝 학습 정보를 획득하기 위해, 디바이스(100)는 테스트 쿠션 시트(320)를 지향하는 제 2 조명(360)이 동작하는 상태에서 테스트 백 시트(310)를 지향하는 제 1 테스트 카메라(330)로부터 백 시트 이미지를 획득하고(S1), 테스트 백 시트(310)를 지향하는 제 1 조명(340)이 동작하는 상태에서 테스트 쿠션 시트(320)를 지향하는 제 2 테스트 카메라(350)로부터 테스트 쿠션 시트(320) 이미지를 획득하고(S2), 테스트 백 시트(310) 이미지 및 테스트 쿠션 시트(320) 이미지를 이용하여 딥러닝 학습 정보를 획득(S3)할 수 있다.
구체적으로, 단계 S1에서 테스트 쿠션 시트(320)를 지향하는 제 2 조명(360)이 동작하는 경우, 테스트 쿠션 시트(320)를 지향하는 제 2 테스트 카메라(350)를 이용하여 테스트 쿠션 시트(320) 이미지를 획득하게 되면 제 2 조명(360)의 광은 제 2 조명(360)의 정면에 위치한 쿠션 시트에 조사되기 때문에 이미지 상에 주름이 명확하게 나타나지 않는 반면, 제 2 조명(360)이 동작하는 경우 제 1 테스트 카메라(330)를 이용하여 테스트 백 시트(310) 이미지를 획득하게 되면 제 2 조명(360)에 의해 주름 영역에 그늘이 생겨 이미지 상에 주름을 판단하기에 용이할 수 있다.
이와 마찬가지로, 단계 S2에서 테스트 백 시트(310)를 지향하는 제 1 조명(340)이 동작하는 경우, 테스트 쿠션 시트(320)를 지향하는 제 2 테스트 카메라(350)를 이용하여 테스트 쿠션 시트(320) 이미지를 획득하게 되면 주름 영역이 이미지 상에서 주름을 판단하기에 용이할 수 있다.
이에 따라, 단계 S3에서 디바이스(100)는 단계 S1 및 단계 S2를 통해 획득된 테스트 백 시트(310) 이미지 및 테스트 쿠션 시트(320) 이미지를 이용하여 이미지 상에 존재하는 주름 영역을 포함하는 문제 영역에 대한 딥러닝 학습을 수행함으로써 딥러닝 학습 정보를 획득할 수 있다.
일 실시 예에서, 디바이스(100)는 차종, 시트 종류, 시트 색상 등의 조건에 따라서 딥러닝 학습 정보를 상이한 카테고리로 분류하여 저장, 관리할 수 있다. 이에 따라, 디바이스(100)는 테스트 시트의 종류, 색상, 적용되는 차종에 대응되는 딥러닝 학습 정보를 개별적으로 획득할 수 있다. 이후, 문제 영역을 결정하는 단계에서 복수의 딥러닝 학습 정보 중 주름 영역을 결정하기 위한 대상이 되는 시트의 종류, 색상 및 적용되는 차종에 대응되는 딥러닝 학습 정보가 이용될 수 있다.
단계 S240에서 디바이스(100)는 딥러닝 학습 정보를 이용하여 제 1 이미지(510) 및 제 2 이미지(520)로부터 문제 영역을 결정할 수 있다.
예를 들어, 도 5를 참조하면, 디바이스(100)는 제 1 이미지(510) 및 제 2 이미지(520) 각각을 기설정 방식(예: 기설정 단위 영역 별로 구획)으로 구획하여 복수개의 영역(530)을 결정할 수 있고, 단계 S230에서 획득된 딥러닝 학습 정보를 이용하여 복수개의 영역(530) 중 하나 이상의 영역을 문제 영역으로 결정할 수 있다.
구체적으로, 문제 영역은 시트 주름 및 오염 등 품질 저하 원인이 되는 부분을 포함하는 영역일 수 있다. 예를 들어 디바이스(100)는 각 이미지들을 세분화되도록 복수개의 영역(530)으로 구획함으로써 미세한 주름 등을 포함하는 문제 영역을 보다 정밀하게 검출할 수 있다.
예를 들면, 디바이스(100)는 제 1 이미지(510) 및 제 2 이미지(520)에 대해, 각 이미지의 최소 단위 영역인 픽셀을 기설정 개수 범위에 해당하는 픽셀을 포함하도록 복수개의 영역(530)을 구획할 수 있고, 딥러닝 학습 정보를 이용하여 구획된 복수개의 영역(530) 각각에 대해 주름을 검출할 수 있다. 디바이스(100)는 검출 결과에 따라 복수개의 영역(530) 중 주름을 포함하는 적어도 하나의 영역을 문제 영역으로 검출할 수 있다. 이처럼, 세분화된 영역에 대해 문제 영역을 결정함으로써 보다 정밀하게 주름 영역을 결정할 수 있다.
단계 S250에서 디바이스(100)는 단계 S240에서 획득된 문제 영역에 대한 디테일 이미지를 획득할 수 있고, 단계 S260에서는 디테일 이미지를 이용하여 주름 영역을 결정할 수 있다.
이러한 디테일 이미지는 백 시트 또는 쿠션 시트를 지향하는 카메라(110)가 복수개의 영역(530)을 순회하는 경로로 이동하는 과정에서 획득될 수 있다.
구체적으로, 디바이스(100)는 시트에 대한 주름 영역을 결정하기 위해 로봇 타입(400)으로 수행될 수 있고, 문제 영역에 대한 사전 분석 결과에 기초하여 백 시트 또는 쿠션 시트를 지향하는 카메라(110)의 위치에 따른 이동 속도를 결정할 수 있고, 결정된 이동 속도로 이동하는 카메라(110)로부터 디테일 이미지를 획득할 수 있다.
예를 들어, 디바이스(100)는 1차적으로 문제 영역들 전체에 대해서, 주름 인식에 일정 시간 이상 소요되는 영역, 일정 시간 이하로 소요되는 영역, 주름의 개수, 깊이 및 주름 영역의 크기 등을 검출하는 사전 분석을 수행하고, 사전 분석 결과에 기초하여 주름 검출이 비교적 쉬운 영역 또는 비교적 어려운 영역의 위치에 대한 사전 분석을 수행할 수 있다.
디바이스(100)는 이러한 사전 분석 결과에 기초하여 주름 검출이 비교적 쉬운 영역 또는 비교적 어려운 영역에 대한 기설정 속도 이상으로 이동 속도를 빠르게 결정하거나 기설정 속도 이하로 느리게 이동 속도를 결정할 수 있다.
예를 들어, 디바이스(100)는 사전 분석 결과에 따른 문제 영역을 순회하는 경로로 이동 중인 카메라(110)의 위치가 주름 검출이 비교적 쉬운 영역에 해당하는 경우 카메라(110)의 이동 속도를 기설정 속도 이상으로 결정하여 해당 영역에 대해서는 빠르게 이동하도록 할 수 있고, 카메라(110)의 위치가 주름 검출이 비교적 어려운 영역에 해당하는 경우 카메라(110)의 이동 속도를 기설정 속도 이하로 결정하여 해당 영역에 대해서는 느리게 이동하도록 할 수 있다.
디바이스(100)는 이와 같이 주름 검출 난이도가 높다고 판단되는 영역에 대해서는 보다 정밀한 주름 검출을 수행할 수 있도록 카메라(110)의 이동 속도를 기설정 속도 이하로 결정하여 기설정 개수 이상의 디테일 이미지 또는 기설정 영상 길이 이상의 디테일 이미지를 획득할 수 있고, 주름 검출 난이도가 낮다고 판단되는 영역에 대해서는 카메라(110)의 이동 속도를 기설정 속도 이하로 결정하여 기설정 개수 이하 또는 기설정 영상 길이 이하의 디테일 이미지를 획득할 수 있다. 이처럼 디바이스(100)는 동일한 문제 영역에 대해서도 사전 분석 결과에 따라 카메라(110)의 이동 속도를 상이하게 결정함으로써 보다 효율적인 주름 검출을 위한 디테일 이미지를 획득할 수 있다. 이후, 디바이스(100)는 획득된 디테일 이미지에 기초하여 주름 영역을 결정할 수 있다. 이에 따라, 이미지 상의 특징점 검출을 위해 단순 딥러닝 학습 모델을 적용하거나 알고리즘에 기반한 종래 기술과 달리 복수개의 영역(530)으로 구획된 문제 영역의 주름 정도에 따라서 상이한 방식으로 획득한 디테일 이미지를 이용하여 주름을 검출하기 때문에 매우 정밀한 주름 검출이 가능해진다.
도 3은 일 실시 예에 따른 구조물 타입(300)의 일 예를 개략적으로 도시한 도면이다.
도면을 참조하면, 디바이스(100)는 테스트 백 시트(310)를 지향하는 제 1 테스트 카메라(330) 및 제 1 조명(340), 테스트 쿠션 시트(320)를 지향하는 제 2 테스트 카메라(350) 및 제 2 조명(360)을 포함할 수 있고, 구조물 타입(300)으로 제공될 수 있다.
예를 들면, 디바이스(100)는 딥러닝 학습 정보를 획득하기 위해 제 2 조명(360)을 동작 시키는 경우 제 1 조명(340)이 동작하지 않도록 off 시킬 수 있고, 제 1 테스트 카메라(330)로부터 테스트 백 시트(310) 이미지를 획득할 수 있다. 또한, 제 1 조명(340)을 동작시키는 경우 제 2 조명(360)이 동작하지 않도록 off 시킬 수 있고, 제 2 테스트 카메라(350)로부터 테스트 쿠션 시트(320) 이미지를 획득할 수 있다.
다른 실시 예에서 제 1 조명(340) 또는 제 2 조명(360)을 동작시키는 경우 나머지 조명을 off 시키지 않을 수 있으나, 보다 정확한 딥러닝 학습 정보를 획득하기 위해서는 나머지 조명을 off 시키는 것이 바람직할 수 있다. 또한, 제 1 테스트 카메라(330)로부터 테스트 백 시트(310) 이미지를 획득하는 동안 제 2 테스트 카메라(350)가 동작하지 않도록 off 시킬 수 있고, 제 2 테스트 카메라(350)로부터 테스트 쿠션 시트(320) 이미지를 획득하는 동안 제 1 테스트 카메라(330)가 동작하지 않도록 off 시킬 수 있으나, 각 시트에 대한 다양한 이미지를 획득할수록 딥러닝 학습 정보의 정확도가 높아질 수 있다는 측면에서 나머지 카메라(110)의 동작을 off 시키지 않을 수도 있다.
일 실시 예에서 구조물 타입(300)은 컨베이어 벨트를 통해 시트(또는, 테스트 시트)를 이동시키도록 구성될 수 있고, 시트가 이동되는 과정에서 각 테스트 시트 이미지가 획득될 수 있다.
이처럼, 각각의 카메라(110) 및 조명의 동작을 제어함으로써 효과적인 딥러닝 학습 정보를 획득할 수 있다.
도 4는 일 실시 예에 따른 로봇 타입(400)의 일 예를 개략적으로 도시한 도면이다.
도면을 참조하면, 디바이스(100)는 이동 가능한 하나 이상의 카메라(110) 및 다리미(410)가 구비된 로봇 타입(400)으로 제공될 수 있다. 이에 따라, 디바이스(100)는 결정된 주름 영역에 대응되는 영역을 이동하는 다리미(410)를 이용하여 주름 영역에 대한 다림질을 수행할 수 있다.
일 실시 예에서, 디바이스(100)는 문제 영역에 대한 사전 분석 결과에 기초하여 카메라(110) 위치에 따라 카메라(110)의 이동 속도를 결정할 수 있다. 디바이스(100)는 이동 속도에 따라 문제 영역을 이동하는 카메라(110)로부터 디테일 이미지를 획득할 수 있고, 디테일 이미지를 이용하여 주름 영역을 결정할 수 있다.
일 실시 예에서, 디바이스(100)는 결정된 주름 영역에 대응되는 주름 크기 및 주름 깊이에 기초하여 주름 영역에 대한 주름 유형을 결정할 수 있다.
예를 들어, 주름 유형은 주름 크기 및 주름 깊이가 기설정 값을 초과하여 주름이 가장 심한 유형인 제 1 유형, 주름 크기 및 주름 깊이가 기설정 값의 범위에 해당하여 주름이 중간 정도인 제 2 유형, 주름 크기 및 주름 깊이가 기설정 값 이하에 대항하여 주름이 약한 유형인 제 3 유형을 포함할 수 있다.
또한, 디바이스(100)는 제 1 유형, 제 2 유형 및 제 3 유형 중 적어도 하나로 결정된 주름 유형에 대응되는 다림질 횟수 및 다림질 시간을 포함하는 다림질 방식을 결정할 수 있고, 결정된 다림질 방식에 기초하여 주름 영역에 대한 다림질을 수행할 수 있다.
예를 들어, 디바이스(100)는 하나 이상의 주름 영역에 대응되는 주름 유형을 제 1 유형으로 결정한 경우, 기설정된 다림질 횟수 및 다림질 시간을 포함하는 다림질 방식에 기초하여 주름 영역에 대한 다림질을 수행할 수 있다.
이처럼, 각각의 주름 영역 마다 상이한 크기 및 깊이에 따라서 주름 유형을 결정하고, 주름 유형에 해당하는 다림질 방식을 적용하여 다림질을 수행함으로써 각 주름 영역에 대해 가장 효과적인 방식으로 주름을 제거할 수 있다.
도 5는 일 실시 예에 따라 문제 영역을 결정하는 일 예를 개략적으로 도시한 도면이다.
도면을 참조하면, 예를 들어 디바이스(100)는 백 시트 및 구션 시트로부터 획득된 제 1 이미지(510) 및 제 2 이미지(520) 각각을 기설정 방식으로 구획하여 복수개의 영역(530)을 결정할 수 있다. 기설정 방식은 기설정 개수의 픽셀을 포함하도록 영역을 구획하는 방식일 수 있다. 또한, 디바이스(100)는 테스트 시트 이미지로부터 획득된 딥러닝 학습 정보에 기초하여 복수개의 영역(530) 중 하나 이상의 영역을 문제 영역으로 결정할 수 있다.
이처럼, 디바이스(100)는 세분화된 영역에 대해 문제 영역을 결정함으로써 보다 정밀하게 주름 영역을 결정할 수 있다.
일 실시 예에서, 디바이스(100)는 이미지에 따른 시트의 소재를 가죽 또는 섬유 등으로 결정할 수 있고, 시트의 소재에 따라서 디테일 이미지를 이용하여 디테일 이미지 상의 픽셀의 연속성에 기초하여 결정된 주름에 대해 주름 영역으로 결정하는 우선 순위를 결정할 수 있다. 디테일 이미지는 사전 분석 결과에 따라 획득되고, 주름 영역이 결정되기 전 주름 영역을 결정하기 위해 이용되는 이미지로 주름의 깊이, 주름의 길이, 주름의 영역 및 주름의 개수 등에 대한 정보를 포함할 수 있다.
예를 들어, 결정된 시트의 소재가 가죽인 경우, 가죽 표면에 형성되는 주름의 깊이는 다른 소재에 형성되는 주름의 깊이에 비해 비교적 깊기 때문에, 빠른 시간 안에 주름을 제거해야 주름으로 인한 손상을 최소화할 수 있다는 점에서 디바이스(100)는 디테일 이미지에 따른 주름의 깊이가 기설정 값 이상인 부분에 가장 높은 가중치를 부여할 수 있고, 부여된 가중치에 기초하여 주름 영역을 결정할 수 있다.
또한, 가죽 소재의 시트에 형성된 주름의 길이가 길수록 다소 심한 주름으로 볼 수 있으나, 인체 구조적 특징에 따라 시트의 형상이 제작되기 때문에 기설정 값 이상으로 긴 주름의 경우 시트 제작에 따라 형성되는 구조적 특징점일 수 있다는 점에서 디테일 이미지에 따른 주름의 길이가 기설정 값 이상인 부분에 2순위로 높은 가중치가 부여될 수 있다.
또한, 디테일 이미지에 따른 주름의 영역이 기설정 값 이상으로 넓은 경우 주름 영역으로 결정하여 이를 제거하도록 하는 것이 바람직하나, 가죽 소재를 활용하여 시트에 패턴을 형성하여 제작하는 경우가 존재할 수 있기 때문에 디테일 이미지에 따른 주름의 영역이 기설정 값 이상인 부분에 대해 3순위로 높은 가중치가 부여될 수 있다.
다른 실시 예에서, 결정된 시트의 소재가 섬유인 경우, 가죽 소재인 시트의 경우 깊이 형성되나 비교적 적은 수로 주름이 형성되나 섬유 소재인 시트의 경우 깊이가 얕은 대신 비교적 많은 수로 주름이 형성되기 때문에 이에 대한 주름 영역인지 여부를 판단하는 것이 가장 우선시 될 수 있어, 디바이스(100)는 디테일 이미지에 따른 주름의 영역이 기설정 값 이상인 부분에 대해 가장 높은 가중치를 부여할 수 있다.
또한, 디테일 이미지에 따른 주름의 길이가 길 경우 주름 영역으로 판단하는 것이 바람직할 수 있으나, 섬유 소재의 시트의 경우 봉제선과 같은 구조적 특징점이 다수 존재한다는 점에서 주름의 영역에 비해 더욱 집중적으로 주름 영역인지 여부를 판단해야하기 때문에 주름의 길이가 기설정 값 이상인 부분에 대해 2순위로 높은 가중치가 부여될 수 있다.
또한, 디테일 이미지에 따른 주름의 깊이가 기설정 값 이상인 경우 주름 영역으로 결정하는 것이 바람직할 수 있으나, 섬유 소재인 시트의 경우 가죽과 같은 다른 소재에 비해 주름이 비교적 얕게 형성되기 때문에 그 중요도가 다소 낮다는 점에서 주름의 깊이가 기설정 값 이상인 부분에 대해 3순위로 높은 가중치가 부여될 수 있다.
디바이스(100)는 이와 같이 제 1 이미지(510) 및 제 2 이미지(520)에 기초하여 시트의 소재를 결정할 수 있고, 결정된 소재로 제조된 시트에 대한 디테일 이미지 상에 나타난 주름에 대해 상이하게 부여된 가중치에 기초하여 주름 영역으로 결정하는 우선 순위를 결정함으로써, 주름에 대한 판단을 보다 정확하게 수행함과 동시에 시트의 손상을 최소화할 수 있다.
이하에서는 도 6 내지 도 11를 참조하여 본 개시의 제 2 실시 예에 대해 설명하도록 한다.
도 6은 일 실시 예에 따른 디바이스(1000)의 구성을 개략적으로 도시한 블록도이다.
도면을 참조하면, 디바이스(1000)는 하나 이상의 카메라(1100) 및 프로세서(1200)를 포함할 수 있다.
시트(seat)에 대한 이미지(3000)를 획득하는 카메라(1100)는 하나 이상일 수 있다. 이러한 카메라(1100)로부터 획득되는 시트에 대한 이미지(3000)는 백 시트(6100)(Back seat)의 전체에 대한 이미지 및 쿠션 시트(6200)(Cushion seat)의 전체에 대한 이미지를 포함할 수 있다.
예를 들어, 디바이스(1000)는 구조물 타입(6000)으로 제공될 수 있다. 이 경우 카메라(1100)는 백 시트(6100)를 지향하는 제 1 테스트 카메라(6300), 쿠션 시트(6200)를 지향하는 제 2 테스트 카메라(6500)를 포함할 수 있다. 또한, 카메라(1100)로부터 이미지(3000)를 획득하기 위해 카메라(1100)와 함께 동작하고 백 시트(6100)를 지향하는 제 1 조명(6400) 및 쿠션 시트(6200)를 지향하는 제 2 조명(6600)이 구조물 타입(6000) 디바이스(1000)에 더 포함될 수 있다. 디바이스(1000)는 각각의 카메라(1100) 및 조명의 동작을 통해 백 시트(6100) 전체 및 디테일 이미지, 쿠션 시트(6200) 전체 및 디테일 이미지를 획득할 수 있다.
일 실시 예에 따른 디테일 이미지는 각 시트에 대해 주름으로 예상되는 영역을 미리 판단하는 사전 분석 결과에 따라 획득되며, 이러한 디테일 이미지는 사전 분석 결과에 따라 결정된 주름으로 예상되는 영역을 포함할 수 있다.
일 실시 예에 따른 프로세서(1200)는 이미지(3000)에 대해, 이미지(3000)를 구성하고 하나 이상의 픽셀을 포함하는 복수의 단위 영역을 결정하고, 각각의 복수의 단위 영역에 대해 도출된 주름 평가값이 임계치를 초과하는지 여부를 결정하고, 임계치를 초과하는 주름 평가값에 대응되는 하나 이상의 단위 영역(3100)에 대한 연속성에 기초하여 이미지(3000)에 대한 주름 영역을 결정할 수 있다.
전술한 구성들의 다양한 실시 예들은 아래의 도면을 참조하여 아래에서 상세히 설명하도록 한다.
더하여, 도 6에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 디바이스(1000)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 디바이스(1000)는 이미지(3000) 및 기저장된 학습 모델을 저장하는 메모리(미도시)를 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 6에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시 예에 따른 디바이스(1000)는 사용자 또는 작업자에 의해 이용될 수 있고, 휴대폰, 스마트폰, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 태블릿 PC 등과 같이 터치 스크린 패널이 구비된 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있으며, 이 외에도 데스크탑 PC, 태블릿 PC, 랩탑 PC, 셋탑 박스를 포함하는 IPTV와 같이, 애플리케이션을 설치하고 실행할 수 있는 기반이 마련된 장치도 포함할 수 있다.
디바이스(1000)는 본 명세서에서 설명되는 기능을 실현시키기 위한 컴퓨터 프로그램을 통해 동작하는 컴퓨터 등의 단말기로 구현될 수 있다.
일 실시 예에 따른 디바이스(1000)는 주름 영역 결정 시스템(미도시) 및 서버(미도시)를 포함할 수 있으나, 이에 제한되지 않는다. 일 실시 예에 따른 서버는 결정된 주름 영역을 디스플레이하는 애플리케이션을 제공할 수 있으며, 주름 영역에 대한 딥러닝 학습 수행을 지원하는 서비스를 제공할 수 있다.
이하에서는 일 실시 예에 따른 디바이스(1000)가 독립적으로 주름 영역을 결정하는 실시 예를 중심으로 서술하도록 하지만, 전술한 것처럼, 서버와의 연동을 통해 주름 영역을 결정할 수도 있다. 즉, 일 실시 예에 따른 디바이스(1000)와 서버는 그 기능의 측면에서 통합 구현될 수 있고, 서버는 생략될 수도 있으며, 어느 하나의 실시 예에 제한되지 않음을 알 수 있다. 또한, 디바이스(1000)라는 용어는 서버를 포괄하는 상위 개념으로 기재되었으며, 이에 따라 디바이스(1000)에서 알람을 제공하는 실시 예들은 서버에 의해 수행될 수도 있다.
도 7는 일 실시 예에 따른 디바이스(1000)가 동작하는 각 단계를 도시한 흐름도이다.
단계 S210에서 디바이스(1000)는 시트에 대한 이미지(3000)를 획득할 수 있다.
일 실시 예에서, 디바이스(1000)는 구조물 타입(6000)으로 제공되어 시트에 대한 이미지(3000)를 획득할 수 있다. 이 경우, 디바이스(1000)는 제 1 테스트 카메라(6300), 제 2 테스트 카메라(6500), 제 1 조명(6400) 및 제 2 조명(6600)의 동작을 제어하여 백 시트(6100)에 대한 제 1 이미지 및 쿠션 시트(6200)에 대한 제 2 이미지를 획득할 수 있다.
시트에 대한 각 이미지를 획득하는 방법은 다양한 방식으로 구현, 실시될 수 있으나, 본 개시에 따른 바람직한 방법은 쿠션 시트(6200)를 지향하는 제 2 조명(6600)이 ON 상태로 동작하는 경우 제 1 테스트 카메라(6300)로부터 백 시트(6100)에 대한 제 1 이미지를 획득하고, 백 시트(6100)를 지향하는 제 1 조명(6400)이 ON 상태로 동작하는 경우 제 2 테스트 카메라(6500)로분터 쿠션 시트(6200)에 대한 제 2 이미지를 획득하는 방법일 수 있다.
이러한 방법은, 카메라(1100)와 조명이 지향하는 방향이 동일할 경우 시트를 정면으로 조사하는 조명에 의해 주름 영역이 명확히 보이지 않는다는 문제점을 해소할 수 있고, 카메라(1100) 및 조명이 지향하는 방향을 상기와 같이 상이하도록 결정하는 경우 조명의 광이 촬영 대상 시트와 평행하게 조사되기 때문에, 조사되는 광에 의해 굴곡으로 이루어진 주름 영역에 그림자가 생겨 주름 영역을 보다 명확하게 할 수 있다.
단계 S220에서 디바이스(1000)는 이미지(3000)를 구성하고 하나 이상의 픽셀을 포함하는 복수의 단위 영역을 결정할 수 있다.
예를 들어, 복수의 단위 영역을 구성하는 각각의 단위 영역은 단일 픽셀(Pixel)일 수 있다.
이미지(3000)를 구성하는 복수의 단위 영역은 기설정 개수의 단일 픽셀을 포함할 수 있다. 전체 시트 이미지(3000) 대비 주름의 크기, 영역, 길이 등 주름의 형태는 미세한 형태로 분포되어 있다고 볼 수 있어, 이미지(3000)를 픽셀 단위로 이루어진 복수의 단위 영역 별로 구획하여 효과적으로 주름 평가값을 도출, 이에 따른 주름 영역을 결정할 수 있다.
단계 S230에서 디바이스(1000)는 각각의 복수의 단위 영역에 대해 도출된 주름 평가값이 임계값을 초과하는지 여부를 결정할 수 있다.
예를 들어, 디바이스(1000)는 각각의 복수의 단위 영역에 대해 주름 평가값을 도출할 수 있다. 이러한 주름 평가값은 각각의 복수의 단위 영역에 주름이 존재하는지 여부 또는 어느 정도의 주름을 NG로 결정할 것인지 판단하기 위해 이용되는 값일 수 있다.
구체적으로, 디바이스(1000)는 복수의 단위 영역에 대한 명도, 채도, 조명의 밝기 및 시트의 색상 중 적어도 하나를 포함하는 주름 평가 요소를 획득할 수 있고, 획득된 주름 평가 요소의 조합 결과에 기초하여 주름 평가값을 결정할 수 있다.
예를 들어, 주름 평가 요소는 복수의 단위 영역(이미지)에 대한 명도, 채도, 조명의 밝기 및 시트의 색상과 같은 주름 평가를 위한 기준 요소를 포함할 수 있다. 디바이스(1000)는 기본적으로 시트 이미지(3000)에 기초하여 주름 영역을 검출, 결정하기 때문에 획득된 이미지(3000)에서 나타나는 명도, 채도, 조명의 밝기 및 시트의 색상을 이용하여 주름 여부를 판단하게 된다.
주름 평가 요소의 조합은 획득된 명도, 채도, 조명의 밝기 및 시트의 색상 각각의 값들에 대해 기저장된 주름 평가 알고리즘에 따라 조합될 수 있고, 조합 결과에 기초하여 주름 평가값이 결정될 수 있다.
다른 예에서, 주름 평가값을 결정하는 단계는 시트의 소재가 가죽인 경우 또는 섬유인 경우에 따라서 상이하게 결정될 수 있다.
구체적으로, 시트의 소재가 가죽인 경우, 시트의 색상, 조명의 밝기, 명도 및 채도의 순서로 높은 가중치가 부여될 수 있고, 디바이스(1000)는 부여된 가중치에 기초하여 주름 평가값을 결정할 수 있다.
시트의 소재가 가죽인 경우, 시트의 색상은 검정, 흰색 또는 갈색 등 극명한 색상 차이를 보이는 경우가 많다고 볼 수 있다. 이에 대해 시트의 색상을 고려하지 않고 주름을 검출하는 경우 그 정확도가 매우 떨어진다고 볼 수 있다. 이에 따라 시트의 색상을 가장 우선적으로 판단하고 이에 대한 주름 검출을 수행하는 것이 보다 효과적일 수 있기 때문에 시트의 색상에 가장 높은 가중치가 부여될 수 있다.
또한, 시트 제조에 이용되는 가죽 소재는 사용자와의 접촉에 대한 여러 편의성을 고려하여 표면 처리 등의 공정을 거쳐 제작되었기 때문에 섬유 재질에 비해 조명의 광을 일부 반사하는 특징(유광)이 존재한다. 이에 따라, 조명의 밝기가 다소 어둡더라도 조명의 광을 일부 반사하는 특징에 의해 어느 정도의 주름 검출이 가능하다는 점에서 조명의 밝기에 2순위로 높은 가중치가 부여될 수 있다.
또한, 이미지(3000)의 명도가 지나치게 낮은 경우 이미지(3000)가 어둡기 때문에 그림자로 나타나는 주름의 형태가 뚜렷하지 않을 수 있고, 명도가 지나치게 높은 경우 이미지(3000)가 밝기 때문에 주름의 일부가 사라지는 등의 문제가 생길 수 있고, 채도에 비해 그 중요도가 다소 높다는 점에서 명도에 3순위로 높은 가중치가 부여될 수 있다.
또한, 이미지(3000)의 채도가 높거나 낮은 경우 시트의 색상을 명확하게 판단하기 어렵거나 주름의 형태가 명확히 검출되지 않을 수 있으나 다른 요소들에 비해 그 중요도가 다소 낮다는 점에서 채도에 가장 낮은 가중치가 부여될 수 있다.
다른 예에서, 시트의 소재가 섬유인 경우, 섬유의 특성 상 조명의 광이 섬유 표면 구조에 의해 산란되기 때문에 조명의 밝기에 매우 민감하다고 볼 수 있어 조명의 밝기에 가장 높은 가중치가 부여될 수 있고, 섬유 시트의 색상이 다양한 색상으로 제조될 수 있어 시트의 색상을 판단하고 이에 대한 주름 검출을 수행하는 것이 보다 효과적일 수 있기 때문에 시트의 색상에 2순위로 높은 가중치가 부여될 수 있다.
또한, 이미지(3000)의 명도가 지나치게 낮은 경우 이미지(3000)가 어둡기 때문에 그림자로 나타나는 주름의 형태가 뚜렷하지 않을 수 있고, 명도가 지나치게 높은 경우 이미지(3000)가 밝기 때문에 주름의 일부가 사라지는 등의 문제가 생길 수 있고, 채도에 비해 그 중요도가 다소 높다는 점에서 명도에 3순위로 높은 가중치가 부여될 수 있다.
또한, 이미지(3000)의 채도가 높거나 낮은 경우 시트의 색상을 명확하게 판단하기 어렵거나 주름의 형태가 명확히 검출되지 않을 수 있으나 다른 요소들에 비해 그 중요도가 다소 낮다는 점에서 채도에 가장 낮은 가중치가 부여될 수 있다.
디바이스(1000)는 상술한 바와 같이 시트의 소재에 따라서 상이한 크기 및 순서로 부여되는 가중치에 기초하여 주름 평가값을 결정할 수 있으며, 이에 따라 주름 검출 대상이 되는 시트 각각에 대해 효과적인 주름 검출이 가능해진다.
일 실시 예에서 디바이스(1000)는 임계치를 딥러닝 학습을 통해 결정할 수 있다.
예를 들어, 디바이스(1000)는 주름 여부를 결정하기 위한 딥러닝 학습에 이용되는 기저장된 학습 모델(예: Semantic Segmentation)을 메모리(미도시) 또는 서버(미도시)로부터 획득할 수 있다. 이러한 기저장된 학습 모델은 사전에 다양한 조건(시트의 색상, 명도, 채도, 조명의 밝기, 시트의 소재 등)에서의 시트의 주름에 대한 라벨링 처리된 이미지를 포함할 수 있다.
이에 따라, 디바이스(1000)는 획득된 기저장 학습 모델을 이용하여 이미지(3000) 상에서 주름 영역을 검출하기 위해 주름 영역에 대한 딥러닝 학습을 수행할 수 있고, 딥러닝 학습 결과에 기초하여 복수의 단위 영역에 대한 주름 여부를 결정하기 위한 임계치를 결정할 수 있다.
일 실시 예에서 딥러닝 학습에 따른 학습 결과의 정확도가 기설정 값 이하인 경우, 기저장된 학습 모델을 이용한 재 학습을 반복적으로 수행하여 정확도를 향상시킬 수 있다.
단계 S240에서 디바이스(1000)는 임계치를 초과하는 주름 평가값에 대응되는 하나 이상의 단위 영역(3100)에 대한 연속성에 기초하여 이미지(3000)에 대한 주름 영역을 결정할 수 있다. 예를 들어, 임계치를 초과하는 주름 평가값에 대응되는 단위 영역들이 연속적으로 이어져, 연속성이 기설정 값 이상인 단위 영역들을 주름 영역으로 결정할 수 있다.
도 8은 일 실시 예에 따른 이미지(3000)에 대해 결정된 주름 영역을 개략적으로 도시한 도면이다.
도면을 참조하면, 디바이스(1000)는 임계치를 초과하는 주름 평가값에 대응되는 하나 이상의 단위 영역(3100)은 도면에 도시된 바와 같이 결정될 수 있다. 각각의 단위 영역들은 임계치를 초과하는 주름 평가값에 대응되므로 주름에 해당하는 영역일 수 있고, 이러한 영역들이 분포되어 있는 연속성에 따라 이미지(3000)에 대한 주름 영역을 결정할 수 있다. 또한, 연속성이 기설정 값 이하인 단위 영역들은 단순 시트의 패턴, 구조 또는 훼손 등에 해당할 수 있으며, 이러한 경우에는 주름 영역으로 결정하지 않을 수 있다.
이와 같이 디바이스(1000)는 주름 평가값이 임계치를 초과하는 하나 이상의 단위 영역(3100)에 대한 연속성에 기초하여 주름 영역을 결정함으로써, 시트의 패턴, 시트 구조 또는 시트가 훼손된 부분과 주름을 보다 명확히 판단하여 주름 영역 결정에 대한 정확도를 향상시킬 수 있다.
도 9는 일 실시 예에 따른 주름 영역에 대응되는 마킹 이미지(4100)를 개략적으로 도시한 도면이다.
도면을 참조하면, 디바이스(1000)는 주름 영역에 대응되는 마킹 이미지(4100)를 획득할 수 있다. 이러한 마킹 이미지(4100)는 단계 S240 및 도 8을 참조하여 설명한 내용에 따라 결정된 주름 영역 및 주름 영역에 대한 기설정된 값의 범위를 포함하여 주름 영역을 나타내도록 획득되는 이미지일 수 있다.
도 10는 일 실시 예에 따른 결과 이미지(5000)를 개략적으로 도시한 도면이다.
도면을 참조하면, 디바이스(1000)는 주름 영역을 결정하는 단계에서 이미지(3000)에 대한 주름 영역의 좌표를 획득할 수 있고, 획득된 좌표에 따라 주름 영역을 이미지(3000)에 디스플레이할 수 있다. 또한, 디바이스(1000)는 주름 영역이 디스플레이된 이미지(3000)에 주름 영역에 대응되는 마킹 이미지(4100)를 정합하여 주름 영역 및 마킹 이미지(4100)를 중첩되도록 나타내는 결과 이미지(5000)를 획득할 수 있다.
이와 같이, 주름 영역이 디스플레이된 이미지(3000)와 마킹 이미지(4100)가 정합된 결과 이미지(5000)가 사용자에게 제공됨으로써 주름 영역에 대한 판단 결과를 사용자가 육안으로 보다 쉽게 판단할 수 있다.
도 11은 일 실시 예에 따른 구조물 타입(6000)을 개략적으로 도시한 도면이다.
도면을 참조하면, 디바이스(1000)는 하나 이상의 카메라(1100) 및 조명을 이용하여 시트에 대한 이미지(3000)를 획득할 수 있도록 구조물 타입(6000)으로 제공될 수 있다.
예를 들어, 디바이스(1000)는 백 시트(6100)를 지향하는 제 1 테스트 카메라(6300), 쿠션 시트(6200)를 지향하는 제 2 테스트 카메라(6500)를 포함할 수 있다. 또한, 이미지(3000)를 획득하기 위해 카메라(1100)와 함께 동작하고 백 시트(6100)를 지향하는 제 1 조명(6400) 및 쿠션 시트(6200)를 지향하는 제 2 조명(6600)이 구조물 타입(6000) 디바이스(1000)에 더 포함될 수 있다. 디바이스(1000)는 각각의 카메라(1100) 및 조명의 동작을 통해 백 시트(6100) 전체 및 디테일 이미지, 쿠션 시트(6200) 전체 및 디테일 이미지를 획득할 수 있다.
이와 같은 구조물 타입(6000)으로 디바이스(1000)가 제공되면, 카메라(1100)와 조명이 지향하는 방향이 동일할 경우 시트를 정면으로 조사하는 조명에 의해 주름 영역이 명확히 보이지 않는다는 문제점을 해소할 수 있고, 카메라(1100) 및 조명이 지향하는 방향을 상기와 같이 상이하도록 결정하는 경우 조명의 광이 촬영 대상 시트와 평행하게 조사되기 때문에, 조사되는 광에 의해 굴곡으로 이루어진 주름 영역에 그림자가 생겨 주름 영역을 보다 명확하게 할 수 있는 효과가 있다.
일 실시 예에 따른 디바이스(1000)는 주름 영역에 따른 주름이 심한 정도를 나타내는 주름 영역의 주름 레벨을 결정할 수 있다.
구체적으로, 시트의 소재에 따라 주름 레벨이 상이하게 결정될 수 있다.
예를 들면, 시트의 소재가 가죽인 경우, 주름 폭, 주름 깊이, 주름 길이 및 주름 개수의 순서로 높은 가중치가 부여될 수 있고, 부여된 가중치에 기초하여 주름 레벨이 결정될 수 있다.
시트의 소재가 가죽인 경우, 일반적으로 시트에 형성되는 주름의 폭이 크고, 주름의 폭이 큰 만큼 넓은 면적에 대한 주름이 형성된 것으로 볼 수 있기 때문에 주름 폭에 가장 높은 가중치가 부여될 수 있고, 가죽 소재의 특성 상 주름이 깊게 형성되는 경우 보다 신속한 주름 제거 처리가 필요하다는 점에서 주름 깊이에 2순위로 높은 가중치가 부여될 수 있다.
또한, 주름의 길이가 길수록 주름 발생이 심한 것으로 볼 수 있으나, 주름 폭과 주름 깊이에 비해 비교적 쉽게 제거할 수 있어 중요도가 다소 낮다는 점에서 주름 길이에 3순위로 높은 가중치가 부여될 수 있고, 주름 개수가 많을수록 주름이 심한 것으로 볼 수 있으나, 가죽 소재의 특성 상 주름이 비교적 적은 수로 형성되고 주름 폭, 주름 깊이 및 주름 길이에 비해 중요도가 다소 낮다는 점에서 주름 개수에 4순위로 높은 가중치가 부여될 수 있다.
시트의 소재가 섬유인 경우, 섬유 소재의 특성 상 비교적 작은 힘으로도 쉽게 구겨져 주름 개수가 가죽 소재에 비해 많이 형성된다는 점에서 주름 개수에 가장 높은 가중치가 부여될 수 있고, 길이가 긴 주름이 가죽 소재에 비해 비교적 빈번하게 형성된다는 점에서 주름의 길이에 2순위로 높은 가중치가 부여될 수 있다.
또한, 소재의 경우 쉽게 구겨지는 만큼 쉽게 팽창하고, 복원력이 가죽 소재에 비해 좋아 깊은 주름이 비교적 덜 형성된다는 점에서 주름 깊이에 3순위로 높은 가중치가 부여될 수 있고, 상술한 이유로 주름의 폭 또한 좁게 나타나고, 일반적으로 형성되는 주름의 폭이 비교적 좁다는 점에서 그 중요도가 다소 낮아 주름 폭에 4순위로 높은 가중치가 부여될 수 있다.
디바이스(1000)는 이와 같이 시트의 소재에 따라서 상이하게 부여되는 가중치에 기초하여 주름 영역에 대한 주름 레벨을 주름이 가장 심한 제 1 레벨, 중간 정도인 제 2 레벨 및 주름이 다소 약한 제 3 레벨 중 어느 하나로 결정할 수 있고, 결정된 주름 레벨에 기초하여 시트 제조 공정 상의 문제가 발생했는지 여부에 대한 확인을 요청하는 취지의 알람을 제공할 수 있다.
이처럼, 시트의 소재에 따라 발생되는 주름의 특징이 상이하다는 점에 기초하여 주름 영역에 대한 레벨을 결정하고, 주름 레벨에 따른 알람을 제공함으로써 제조 공정 상의 문제가 발생했는지 여부를 신속하게 확인하도록 지원할 수 있다.
한편, 상술한 일 실시 예에 따른 디바이스(100, 1000)는 하나 이상의 프로세서(120, 1200) 및/또는 하나 이상의 메모리를 포함할 수 있다. 또한, 도 1 및 도 6에는 설명의 편의를 위해 일 실시 예에 따른 디바이스(100, 1000)를 설명하기 위한 필수적인 구성만이 도시되어 있지만, 디스플레이(미도시) 등 발명에 해당하는 장치를 구성하기 위한 종래의 여러 구성들이 유기적으로 결합되어 도 1내지 도 11에서 상술한 동작을 수행할 수도 있다.
또한, 메모리는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 하나 이상의 메모리는, 하나 이상의 프로세서(120, 1200)에 의한 실행 시, 하나 이상의 프로세서(120, 1200)가 연산을 수행하도록 하는 명령들을 저장할 수 있다. 본 개시에서, 프로그램 내지 명령은 메모리에 저장되는 소프트웨어로서, 서버의 리소스를 제어하기 위한 운영체제, 어플리케이션 및/또는 어플리케이션이 장치의 리소스들을 활용할 수 있도록 다양한 기능을 어플리케이션에 제공하는 미들 웨어 등을 포함할 수 있다.
하나 이상의 프로세서(120, 1200)는, 소프트웨어(예: 프로그램, 명령)를 구동하여 프로세서(120, 1200)에 연결된 장치의 적어도 하나의 구성요소를 제어할 수 있다. 또한 프로세서(120, 1200)는 본 개시와 관련된 다양한 연산, 처리, 데이터 생성, 가공 등의 동작을 수행할 수 있다. 또한 프로세서(120, 1200)는 데이터 등을 메모리로부터 로드하거나, 메모리에 저장할 수 있다
일 실시예에서는, 디바이스(100, 1000)의 구성요소들 중 적어도 하나가 생략되거나, 다른 구성요소가 추가될 수 있다. 또한 추가적으로(additionally) 또는 대체적으로(alternatively), 일부의 구성요소들이 통합되어 구현되거나, 단수 또는 복수의 개체로 구현될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (14)

  1. 디바이스가 시트(seat)에 대한 주름 영역을 결정하는 방법에 있어서,
    백 시트(back seat)의 전체에 대한 제 1 이미지를 획득하는 단계;
    쿠션 시트(cushion seat)의 전체에 대한 제 2 이미지를 획득하는 단계;
    상기 백 시트 및 상기 쿠션 시트의 이미지의 분석에 이용되는 딥러닝 학습 정보를 획득하는 단계;
    상기 딥러닝 학습 정보를 이용하여 상기 제 1 이미지 및 상기 제 2 이미지로부터 문제 영역을 결정하는 단계;
    상기 문제 영역에 대한 디테일 이미지를 획득하는 단계; 및
    상기 디테일 이미지를 이용하여 주름 영역을 결정하는 단계;를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 문제 영역을 결정하는 단계는
    상기 제 1 이미지 및 상기 제 2 이미지 각각을 기설정 방식으로 구획하여 복수개의 영역을 결정하는 단계; 및
    상기 딥러닝 학습 정보를 이용하여 상기 복수개의 영역 중 하나 이상의 영역을 상기 문제 영역으로 결정하는 단계;를 포함하고,
    상기 디테일 이미지는 상기 백 시트 또는 상기 쿠션 시트를 지향하는 카메라가 상기 복수개의 영역을 순회하는 경로로 이동하는 과정에서 획득되는, 방법.
  3. 제 1 항에 있어서,
    상기 디테일 이미지를 획득하는 단계는
    상기 문제 영역에 대한 사전 분석 결과에 기초하여 상기 카메라의 위치에 따른 이동 속도를 결정하는 단계; 및
    상기 이동 속도로 이동하는 상기 카메라로부터 상기 디테일 이미지를 획득하는 단계;를 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 딥러닝 학습 정보는
    테스트 시트를 구성하는 테스트 백 시트 및 테스트 쿠션 시트에 대한 이미지 분석 결과에 기초하여 획득되는, 방법.
  5. 제 4 항에 있어서,
    상기 딥러닝 학습 정보를 획득하는 단계는
    상기 테스트 쿠션 시트를 지향하는 제 2 조명이 동작하는 상태에서 상기 테스트 백 시트를 지향하는 제 1 테스트 카메라로부터 테스트 백 시트 이미지를 획득하는 단계;
    상기 테스트 백 시트를 지향하는 제 1 조명이 동작하는 상태에서 상기 테스트 쿠션 시트를 지향하는 제 2 테스트 카메라로부터 테스트 쿠션 시트 이미지를 획득하는 단계; 및
    상기 테스트 백 시트 이미지 및 상기 테스트 쿠션 시트 이미지를 이용하여 상기 딥러닝 학습 정보를 획득하는 단계;를 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 주름 영역에 대응되는 주름 크기 및 주름 깊이에 기초하여 상기 주름 영역에 대한 주름 유형을 결정하는 단계;
    상기 주름 유형에 대응되는 다림질 횟수 및 다림질 시간을 포함하는 다림질 방식을 결정하는 단계; 및
    상기 다림질 방식에 기초하여 상기 주름 영역에 대한 다림질을 수행하는 단계;를 더 포함하는, 방법.
  7. 시트에 대한 주름 영역을 결정하는 디바이스에 있어서,
    백 시트의 전체에 대한 제 1 이미지 및 쿠션 시트의 전체에 대한 제 2 이미지를 획득하는 하나 이상의 카메라; 및
    상기 백 시트 및 상기 쿠션 시트의 이미지의 분석에 이용되는 딥러닝 학습 정보를 획득하고, 상기 딥러닝 학습 정보를 이용하여 상기 제 1 이미지 및 상기 제 2 이미지로부터 문제 영역을 결정하는 프로세서;를 포함하고,
    상기 하나 이상의 카메라는 상기 문제 영역에 대한 디테일 이미지를 획득하고,
    상기 프로세서는 상기 디테일 이미지를 이용하여 주름 영역을 결정하는, 디바이스.
  8. 디바이스가 시트(seat)에 대한 주름 영역을 결정하는 방법에 있어서,
    상기 시트에 대한 이미지를 획득하는 단계;
    상기 이미지를 구성하고 하나 이상의 픽셀을 포함하는 복수의 단위 영역을 결정하는 단계;
    각각의 상기 복수의 단위 영역에 대해 도출된 주름 평가값이 임계치를 초과하는지 여부를 결정하는 단계; 및
    상기 임계치를 초과하는 주름 평가값에 대응되는 하나 이상의 단위 영역에 대한 연속성에 기초하여 상기 이미지에 대한 주름 영역을 결정하는 단계;를 포함하는, 방법.
  9. 제 8 항에 있어서,
    상기 복수의 단위 영역을 구성하는 각각의 단위 영역은 단일 픽셀인, 방법.
  10. 제 8 항에 있어서,
    상기 주름 영역을 상기 이미지에 디스플레이하는 단계;
    상기 주름 영역에 대응되는 마킹 이미지를 획득하는 단계; 및
    상기 이미지에 상기 마킹 이미지를 정합하여 결과 이미지를 획득하는 단계;를 더 포함하는, 방법.
  11. 제 8 항에 있어서,
    상기 복수의 단위 영역에 대한 명도, 채도, 조명의 밝기 및 상기 시트의 색상 중 적어도 하나를 포함하는 주름 평가 요소를 획득하는 단계; 및
    획득된 상기 주름 평가 요소의 조합 결과에 기초하여 상기 주름 평가값을 결정하는 단계;를 더 포함하는, 방법.
  12. 제 8 항에 있어서,
    상기 임계치는 딥러닝 학습에 의해 결정되고,
    상기 임계치를 결정하는 단계는
    기저장된 학습 모델을 이용하여 상기 주름 영역에 대한 상기 딥러닝 학습을 수행하는 단계; 및
    상기 딥러닝 학습에 따른 결과에 기초하여 상기 복수의 단위 영역에 대한 주름 여부를 결정하기 위한 상기 임계치를 결정하는 단계;를 포함하고,
    상기 딥러닝 학습에 따른 학습 결과의 정확도가 기설정 값 이하인 경우 재 학습을 수행하는 단계;를 더 포함하는, 방법.
  13. 제 11 항에 있어서,
    상기 주름 평가값을 결정하는 단계는
    상기 시트의 소재가 가죽인 경우, 상기 시트의 색상, 상기 조명의 밝기, 상기 명도 및 상기 채도의 순서로 높은 가중치를 부여하는 단계;
    상기 시트의 소재가 섬유인 경우, 상기 조명의 밝기, 상기 시트의 색상, 상기 명도 및 상기 채도의 순서로 높은 가중치를 부여하는 단계; 및
    상기 가중치에 기초하여 상기 주름 평가값을 결정하는 단계;를 포함하는, 방법.
  14. 시트(seat)에 대한 주름 영역을 결정하는 디바이스에 있어서,
    상기 시트에 대한 이미지를 획득하는 하나 이상의 카메라; 및
    상기 이미지를 구성하고 하나 이상의 픽셀을 포함하는 복수의 단위 영역을 결정하고, 각각의 상기 복수의 단위 영역에 대해 도출된 주름 평가값이 임계치를 초과하는지 여부를 결정하고, 상기 임계치를 초과하는 주름 평가값에 대응되는 하나 이상의 단위 영역에 대한 연속성에 기초하여 상기 이미지에 대한 주름 영역을 결정하는 프로세서;를 포함하는, 디바이스.
PCT/KR2022/008086 2021-06-09 2022-06-08 시트에 대한 주름 영역을 결정하는 방법 및 디바이스 WO2022260431A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22820558.9A EP4354122A1 (en) 2021-06-09 2022-06-08 Method and device for determining wrinkled region for seat
CN202280003905.7A CN115735118A (zh) 2021-06-09 2022-06-08 用于确定座椅的褶皱区域的方法和装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0075047 2021-06-09
KR1020210075048A KR102327595B1 (ko) 2021-06-09 2021-06-09 시트에 대한 주름 영역을 결정하는 방법 및 디바이스
KR10-2021-0075048 2021-06-09
KR1020210075047A KR102327594B1 (ko) 2021-06-09 2021-06-09 시트에 대한 주름 영역을 결정하는 방법 및 디바이스

Publications (1)

Publication Number Publication Date
WO2022260431A1 true WO2022260431A1 (ko) 2022-12-15

Family

ID=84425280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/008086 WO2022260431A1 (ko) 2021-06-09 2022-06-08 시트에 대한 주름 영역을 결정하는 방법 및 디바이스

Country Status (3)

Country Link
EP (1) EP4354122A1 (ko)
CN (1) CN115735118A (ko)
WO (1) WO2022260431A1 (ko)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256338A (ja) * 2009-03-30 2010-11-11 Panasonic Corp 撮像検査装置および撮像検査方法
JP2011154037A (ja) * 2011-04-01 2011-08-11 Hitachi Ltd レビューｓｅｍ
KR20140008191A (ko) * 2012-07-11 2014-01-21 현대자동차주식회사 자동차 시트의 주름 평가 시험방법
JP2017198510A (ja) * 2016-04-26 2017-11-02 古河電気工業株式会社 画像検査装置、画像検査方法及び画像検査プログラム
KR102079661B1 (ko) * 2019-05-24 2020-02-20 남현욱 인공지능형 스팀 전기다리미
KR102108956B1 (ko) * 2019-11-13 2020-05-12 주식회사 만컴퍼니 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
KR20200093559A (ko) * 2019-01-22 2020-08-05 주식회사 고영테크놀러지 기판 검사 장치 및 스크린 프린터의 결함 유형 결정 방법
KR102327595B1 (ko) * 2021-06-09 2021-11-17 주식회사 한울시스템 시트에 대한 주름 영역을 결정하는 방법 및 디바이스
KR102327594B1 (ko) * 2021-06-09 2021-11-18 주식회사 한울시스템 시트에 대한 주름 영역을 결정하는 방법 및 디바이스

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256338A (ja) * 2009-03-30 2010-11-11 Panasonic Corp 撮像検査装置および撮像検査方法
JP2011154037A (ja) * 2011-04-01 2011-08-11 Hitachi Ltd レビューｓｅｍ
KR20140008191A (ko) * 2012-07-11 2014-01-21 현대자동차주식회사 자동차 시트의 주름 평가 시험방법
JP2017198510A (ja) * 2016-04-26 2017-11-02 古河電気工業株式会社 画像検査装置、画像検査方法及び画像検査プログラム
KR20200093559A (ko) * 2019-01-22 2020-08-05 주식회사 고영테크놀러지 기판 검사 장치 및 스크린 프린터의 결함 유형 결정 방법
KR102079661B1 (ko) * 2019-05-24 2020-02-20 남현욱 인공지능형 스팀 전기다리미
KR102108956B1 (ko) * 2019-11-13 2020-05-12 주식회사 만컴퍼니 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
KR102327595B1 (ko) * 2021-06-09 2021-11-17 주식회사 한울시스템 시트에 대한 주름 영역을 결정하는 방법 및 디바이스
KR102327594B1 (ko) * 2021-06-09 2021-11-18 주식회사 한울시스템 시트에 대한 주름 영역을 결정하는 방법 및 디바이스

Also Published As

Publication number Publication date
EP4354122A1 (en) 2024-04-17
CN115735118A (zh) 2023-03-03

Similar Documents

Publication Publication Date Title
WO2019151735A1 (en) Vision inspection management method and vision inspection system
WO2015122677A1 (ko) 자동차의 트렁크 개방 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
WO2015076547A1 (ko) 가상 키보드를 모바일 단말에서 디스플레이하는 방법 및 모바일 단말
WO2019135475A1 (en) Electronic apparatus and control method thereof
WO2020032543A1 (en) Electronic device for adjusting image including multiple objects and control method thereof
WO2017131348A1 (en) Electronic apparatus and controlling method thereof
WO2018201638A1 (zh) 基于图像识别的信息采集方法、移动终端及存储介质
WO2020184798A1 (en) Display apparatus and control method thereof
WO2021215730A1 (ko) 사용자 입력에 기반하여 생성된 인공지능 모델을 이용하여 가상 결함 이미지를 생성하기 위한 컴퓨터 프로그램, 방법, 및 장치
WO2021002569A1 (en) Electronic apparatus and control method thereof
WO2020116680A1 (ko) 차량 번호판 검출 및 인식 시스템 및 방법
EP3649460A1 (en) Apparatus for optimizing inspection of exterior of target object and method thereof
EP3867825A1 (en) Method for processing data using neural network and electronic device for supporting the same
WO2015137666A1 (ko) 오브젝트 인식 장치 및 그 제어 방법
WO2020138745A1 (en) Image processing method, apparatus, electronic device and computer readable storage medium
WO2018070844A1 (ko) 에지 모델링을 위한 에지 블러 설정 방법
WO2016032039A1 (ko) 영상 투사 장치 및 그의 동작 방법
WO2022260431A1 (ko) 시트에 대한 주름 영역을 결정하는 방법 및 디바이스
WO2021145713A1 (ko) 가상 모델 생성 장치 및 방법
WO2021137585A1 (en) Display apparatus and method of controlling the same
WO2023022537A1 (ko) Ai 기반 차량 디스크 불량 검출 시스템
WO2022039575A1 (ko) 딥 러닝 기반 실시간 공정 감시 시스템 및 그 방법
WO2021091105A1 (en) Electronic apparatus and control method thereof
WO2021172921A1 (ko) 의료 영상 장치 및 의료 영상 처리 방법
WO2022119136A1 (ko) 스크린샷 이미지로부터 태그 정보를 추출하는 방법 및 시스템

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 17922175

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22820558

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022820558

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022820558

Country of ref document: EP

Effective date: 20240109