WO2025005385A1 - 패스너 체결 장치 및 그 제어 방법 - Google Patents

패스너 체결 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2025005385A1
WO2025005385A1 PCT/KR2024/002628 KR2024002628W WO2025005385A1 WO 2025005385 A1 WO2025005385 A1 WO 2025005385A1 KR 2024002628 W KR2024002628 W KR 2024002628W WO 2025005385 A1 WO2025005385 A1 WO 2025005385A1
Authority
WO
WIPO (PCT)
Prior art keywords
fastening
fastening member
module
covering
fastener
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2024/002628
Other languages
English (en)
French (fr)
Inventor
이동현
홍민정
김재훈
오윤성
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK On Co Ltd
Original Assignee
SK On Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230137409A external-priority patent/KR20250003265A/ko
Application filed by SK On Co Ltd filed Critical SK On Co Ltd
Priority to CN202480044660.1A priority Critical patent/CN121464018A/zh
Publication of WO2025005385A1 publication Critical patent/WO2025005385A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B23P19/04—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes for assembling or disassembling parts
    • B23P19/06—Screw or nut setting or loosening machines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01M—PROCESSES OR MEANS, e.g. BATTERIES, FOR THE DIRECT CONVERSION OF CHEMICAL ENERGY INTO ELECTRICAL ENERGY
    • H01M50/00—Constructional details or processes of manufacture of the non-active parts of electrochemical cells other than fuel cells, e.g. hybrid cells
    • H01M50/20—Mountings; Secondary casings or frames; Racks, modules or packs; Suspension devices; Shock absorbers; Transport or carrying devices; Holders
    • H01M50/233—Mountings; Secondary casings or frames; Racks, modules or packs; Suspension devices; Shock absorbers; Transport or carrying devices; Holders characterised by physical properties of casings or racks, e.g. dimensions
    • H01M50/242—Mountings; Secondary casings or frames; Racks, modules or packs; Suspension devices; Shock absorbers; Transport or carrying devices; Holders characterised by physical properties of casings or racks, e.g. dimensions adapted for protecting batteries against vibrations, collision impact or swelling

Definitions

  • the present disclosure relates to a fastener fastening device and a control method thereof.
  • Secondary batteries are batteries that can be repeatedly charged and discharged. With the development of the information and communication and display industries, they are widely used as a power source for portable electronic communication devices such as camcorders, mobile phones, tablet PCs (personal computers), and notebook PCs. In addition, battery packs containing secondary batteries are being developed recently to be used as a power source for eco-friendly vehicles such as electric vehicles.
  • each component may be fastened with screws or bolts.
  • Each component may be made of a low-rigidity material such as a thin aluminum plate manufactured by bending or a plastic material for insulation.
  • secondary batteries can be fastened with screws or bolts by an automatic fastening device (e.g., a nutrunner).
  • an automatic fastening device e.g., a nutrunner
  • materials to be fastened are regulated by jigs or datum pins, and the automatic fastening device moves to the position of the fastening hole and sequentially fastens the screws or bolts.
  • the center point of the fastening hole of the material may not coincide with the center point of the automatic fastening device.
  • a fastening failure e.g., screw or bolt inserted diagonally
  • component damage e.g., damage to the thread, expansion of the fastening hole, breakage of the bit of the fastening device, etc.
  • a fastener fastening device with improved fastening accuracy and a control method thereof can be provided.
  • a fastener fastening device and a control method thereof can be provided, wherein the working efficiency of the fastener fastening device is improved.
  • a fastener fastening device may include: a fastening module; a memory storing a learned artificial intelligence model; a camera module photographing a fastening area to which the fastener is to be fastened; and a processor for estimating information about the fastening area from an image photographed by the camera module using the artificial intelligence model, determining whether a specified reference fastening condition is satisfied based on the estimated information, and controlling the fastening module to fasten the fastener to the fastening area if the reference fastening condition is satisfied.
  • the reference fastening condition may include at least one of a fixation state between a first fastening member and a second fastening member arranged on an upper portion of the first fastening member, whether a first fastening hole formed in the first fastening member is covered, and a difference between a central axis of the fastening module and a central axis of the first fastening hole.
  • the processor may determine whether correction is possible if the reference fastening condition is not satisfied, and if the correction is possible, correct at least one of the position of the fastening module, the fastening angle of the fastener, the position of the second fastening member, the seating state of the second fastening member, and the size of the second fastening hole formed in the second fastening member to satisfy the reference fastening condition, and if the correction is impossible, may alarm that fastening of the fastener is impossible in the fastening area.
  • the processor can move the position of the fastening module so that the difference between the central axis of the fastening module and the central axis of the first fastening hole exceeds a specified reference value.
  • the processor may calculate a fastening angle based on a thickness of the second fastening member and a covering length of the second fastening member covering the first fastening hole when the second fastening member covers a portion of the first fastening hole, and control the fastening module to tilt by the calculated fastening angle.
  • the device further includes a processing module, wherein the processor calculates a covering length and a covering direction of the first fastening member covering the first fastening hole when the second fastening member covers a part of the first fastening hole, and controls the processing module to remove the second fastening member by the covering length in the covering direction.
  • the device further includes a pressurizing module
  • the processor is configured to calculate a covering length and a covering direction of the second fastening member covering the first fastening hole when the second fastening member covers a part of the first fastening hole, and control the pressurizing module to move the second fastening member by the covering length in the covering direction.
  • the device further includes a pressurizing module
  • the processor calculates an inclination angle of the second fastening member based on an actual diameter of the second fastening hole and a diameter of the second fastening hole calculated from the image when the second fastening member is tilted relative to the first fastening member at a predetermined angle, and controls the pressurizing module to press the second fastening member in a direction toward the first fastening member corresponding to the calculated inclination angle.
  • the processor may recognize a covering tendency based on covering directions for the plurality of first fastening holes when the first fastening member includes a plurality of first fastening holes, and may alarm that manipulation of the second fastening member is necessary based on the recognized covering tendency.
  • the processor may alert that a reset of the working environment is necessary if the correction occurs more than a specified number of times.
  • the processor can preprocess the captured image, analyze the preprocessed image using the artificial intelligence model, recognize the engagement area based on the analysis result, and estimate information related to the engagement area based on the recognition result.
  • a method for controlling a fastening device may include the steps of: using a camera module to capture an image related to a fastening area to which a fastener is fastened; using a pre-learned artificial intelligence model to estimate information about the fastening area from the captured image; based on the estimated information, determining whether a specified reference fastening condition is satisfied; and, if the reference fastening condition is satisfied, using a fastening module to fasten the fastener to the fastening area.
  • the step of determining whether the above-mentioned standard fastening condition is satisfied may include the step of determining a state of fixation between a first fastening member and a second fastening member arranged on top of the first fastening member; the step of determining whether a first fastening hole formed in the first fastening member is covered; and the step of determining whether a difference between the center axis of the fastening module and the center axis of the first fastening hole is within a specified standard value.
  • the method may further include the step of checking whether correction is possible if the reference fastening condition is not satisfied; and the step of alarming that fastening of the fastener in the fastening area is impossible if the correction is impossible.
  • the method may further include a step of correcting at least one of a position of the fastening module, a fastening angle of the fastener, a position of the second fastening member, a seating state of the second fastening member, and a size of a second fastening hole formed in the second fastening member, if the correction is possible.
  • the correcting step may include a step of moving a position of the fastening module such that the difference between the center coordinate of the first fastening hole and the center coordinate of the fastening module exceeds a specified reference value, thereby making the difference within the reference value.
  • the correcting step may include at least one of the following steps: calculating a fastening angle based on a thickness of the second fastening member and a covering length of the second fastening member covering the first fastening hole, and tilting the fastening module by the calculated fastening angle, when the second fastening member covers a portion of the first fastening hole; calculating a covering length and a covering direction of the first fastening member covering the first fastening hole, and removing the second fastening member by the covering length in the covering direction using a processing module; and calculating a covering length and a covering direction of the second fastening member covering the first fastening hole, and moving the second fastening member by the covering length in the covering direction using a pressurizing module.
  • the correcting step may include: calculating an inclination angle of the second fastening member based on an actual diameter of the second fastening hole and a diameter of the second fastening hole calculated from the image when the second fastening member is tilted relative to the first fastening member at a predetermined angle; and pressing the second fastening member in a direction toward the first fastening member via a pressurizing module in response to the calculated inclination angle.
  • the method may further include at least one of the steps of recognizing a covering tendency based on a covering direction for a plurality of first fastening holes when the first fastening member includes a plurality of first fastening holes, and alarming that manipulation of the second fastening member is necessary based on the recognized covering tendency; and the step of alarming that resetting of the working environment is necessary when the correction occurs a specified number of times or more.
  • the method further includes a step of preprocessing the captured image
  • the step of estimating the information may include a step of analyzing the preprocessed image using the artificial intelligence model, recognizing the fastening area based on the analysis result, and estimating information related to the fastening area based on the recognition result.
  • the fastening accuracy of a fastener fastening device can be improved.
  • the present disclosure can improve the fastening accuracy by performing fastening after the center of a fastening hole (e.g., a bolt hole or a screw hole) and the center of a fastener (e.g., a bolt, a screw, an anchor, a rivet, etc.) are substantially aligned (e.g., have a difference within a specified range).
  • the present disclosure can prevent various damages (e.g., damage to the threads of a bolt or screw, damage to the threads of a fastening hole, expansion of a fastening hole, and/or breakage of a bit of a fastener fastening device) that may occur when fastening incorrectly due to center misalignment as the fastening accuracy is improved.
  • various damages e.g., damage to the threads of a bolt or screw, damage to the threads of a fastening hole, expansion of a fastening hole, and/or breakage of a bit of a fastener fastening device
  • the efficiency (or effectiveness) of the fastener fastening device can be improved.
  • the present disclosure can improve the efficiency of the fastener fastening device by adjusting the fastening angle of the fastener and/or correcting the state of the fastening area (e.g., moving the case position, processing the case seating state, processing the size of the case hole) and then fastening the fastener when it is somewhat difficult to fasten the fastener into the fastening hole (e.g., when a part of the fastening hole is covered by the case, when the case (second fastening member) is not normally seated on the fastening member (first fastening member)).
  • the present disclosure can minimize work stoppages due to rework and/or inability to fasten due to incorrect fastening.
  • the present disclosure can reduce downtime of fastener fastening devices, improve quality, and improve scrap rates.
  • the present disclosure can improve production performance and/or production yield.
  • FIG. 1 is a schematic drawing of a fastener fastening device according to one embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating the configuration of a fastener fastening device according to one embodiment of the present disclosure.
  • FIG. 3 is a flowchart for explaining a control method of a fastener fastening device according to one embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an example of preprocessing an image according to one embodiment of the present disclosure.
  • FIG. 5a is a diagram illustrating an example of a fastening area recognized from an image according to one embodiment of the present disclosure.
  • FIG. 5b is a diagram illustrating an example of information on a connection area estimated from an image according to one embodiment of the present disclosure.
  • FIG. 6a is a drawing illustrating an example of correcting the position of a fastening module according to one embodiment of the present disclosure.
  • FIG. 6b is a drawing illustrating an example of correcting the tilting angle of a fastening module according to one embodiment of the present disclosure.
  • FIG. 6c is a drawing illustrating an example of correcting a fastening hole using a processing module according to one embodiment of the present disclosure.
  • FIG. 6d is a drawing illustrating an example of correcting the position of a fastening member using a pressurizing module according to one embodiment of the present disclosure.
  • FIG. 6e is a drawing illustrating an example of correcting the seating state of a fastening member using a pressurizing module according to one embodiment of the present disclosure.
  • first, second, etc. are used to describe various elements, components, and/or sections, it should be understood that these elements, components, and/or sections are not limited by these terms. These terms are merely used to distinguish one element, component, or section from other elements, components, or sections. Thus, it should be understood that a first element, a first component, or a first section referred to hereinafter may also be a second element, a second component, or a second section within the technical spirit of the present disclosure.
  • FIG. 1 is a schematic drawing of a fastener fastening device according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram illustrating a configuration of a fastener fastening device according to an embodiment of the present disclosure.
  • a fastener fastening device (100) can fasten a fastener (10) (e.g., a bolt, a screw, a rivet, an anchor, etc.) to a fastening hole of a fastening member (not shown).
  • the fastener fastening device (100) can couple (e.g., attach) a fastener (10) to a lower end of a fastening module (140), move the fastening module (140) to which the fastener (10) is coupled to an upper portion of the fastening hole, and then rotate the fastening module (140) to fasten the fastener (10) to the fastening hole.
  • a fastener e.g., a bolt, a screw, a rivet, an anchor, etc.
  • the fastener fastening device (100) can couple (e.g., attach) a fastener (10) to a lower end of a fastening module (140), move the fastening module (140) to which the fast
  • the fastener fastening device (100) may include a memory (110), a processor (120), a camera module (130), a fastening module (140), a position/tilt control module (150), a processing module (160), and a pressurizing module (170).
  • the memory (110) can store a program that controls the fastening operation of the fastener fastening device (100).
  • the memory (110) can store information necessary to control the fastening operation of the fastener fastening device (100).
  • the memory (110) can include a vision software program (111), an artificial intelligence model (112), and a PLC software program (113).
  • the vision software program (111) can control the camera module (130) to capture images of the fastening area.
  • the artificial intelligence model (112) can preprocess the captured image and estimate information about the fastening area (e.g., bolt hole recognition, center point coordinates, minimum diameter, maximum diameter, coordinates of each end point of the minimum diameter, coordinates of each end point of the maximum diameter, etc.).
  • the artificial intelligence model (112) can be pre-learned through learning data.
  • the artificial intelligence model (112) can include AI algorithms such as Mask R-CNN, YOLO, U-Net, etc.
  • a PLC (programmable logic controller) software program (113) can control the operation of the fastener fastening device (100).
  • the PLC software program (113) can control the position/tilt control module (150) to adjust the position movement and/or the tilt angle of the fastener fastening device (100) if correction of the position and/or tilt angle is required based on the estimated information.
  • the PLC software program (113) can control the processing module (160) to remove a portion of the second fastening member covering the first fastening hole when the first fastening hole of the first fastening member is covered by the second fastening member.
  • the PLC software program (113) can control the pressurizing module (170) to pressurize the second fastening member covering the first fastening hole to move the position of the second fastening member when the first fastening hole of the first fastening member is covered by the second fastening member. Additionally, the PLC software program (113) can control the pressurizing module (170) to pressurize the second fastening member to normally seat the second fastening member on the first fastening member when the first fastening member and the second fastening member are not normally seated.
  • the processor (120) can control the operation of the fastener fastening device (100). For example, the processor (120) can estimate information about a fastening area from an image captured by the camera module (130) using an artificial intelligence model (112), determine whether a specified reference fastening condition is satisfied based on the estimated information, and control the fastening module (140) to fasten the fastener (10) to the fastening area if the reference fastening condition is satisfied.
  • the processor (120) can determine whether correction is possible if the reference fastening condition is not satisfied, and if correction is possible, perform at least one of adjusting the position of the fastening module (10) and/or the fastening angle of the fastener (10) through the position/tilting control module (150), correcting the size of the second fastening hole formed in the second fastening member through the processing module (160), and correcting the position of the second fastening member and/or the settling state of the second fastening member through the pressurizing module (170) so as to satisfy the reference fastening condition. Meanwhile, the processor (120) can alarm that fastening of the fastener (10) to the fastening area is impossible if correction is impossible. A detailed description of this will be described later with reference to FIGS. 3 to 6e.
  • the camera module (130) can capture a fastening area where the fastener (10) is to be fastened.
  • the camera module (130) can be located next to the fastening module (140).
  • the fastening module (140) can fasten the fastener (10) to the fastening area.
  • the fastening module (140) can have a fastener (10) detachable (removable or attached) at one end.
  • the fastening module (140) can rotate the attached fastener (10) to fasten the fastener (10) to the joining area.
  • the position/tilt control module (150) can move the position of the fastening module (140). For example, the position/tilt control module (150) can move the position of the fastening module (140) so that the center of the fastening hole of the fastening area and the center of the fastening module (140) coincide (or are within a specified reference value) in order to accurately fasten the fastener (10) to the fastening area. A detailed description thereof will be described later with reference to FIG. 6a.
  • the position/tilt control module (150) can tilt the fastening module (140) within a specified range. For example, the position/tilt control module (150) can tilt the fastening module (140) by a tilting angle when the fastening hole of the fastening area is partially covered. A detailed description thereof will be described later with reference to FIG. 6b.
  • the machining module (160) can remove a part of the fastening member (not shown).
  • the machining module (160) can remove the fastening member covering the fastening hole when the fastening hole of the fastening area is partially covered.
  • the machining module (160) can be, for example, a grinder. A detailed description thereof will be described later with reference to FIG. 6c.
  • the pressurizing module (170) can pressurize the fastening member. For example, if a fastening hole of a fastening area is partially covered, the pressurizing module (170) can pressurize the fastening member covering the fastening hole to move the position of the fastening member. A detailed description thereof will be described later with reference to FIG. 6d.
  • the pressurizing module (170) can pressurize the second fastening member to normally seat the second fastening member on the first fastening member when the second fastening member is not normally seated on the first fastening member. A detailed description thereof will be described later with reference to FIG. 6e.
  • FIG. 3 is a flowchart for explaining a control method of a fastener fastening device according to an embodiment of the present disclosure
  • FIG. 4 is a diagram illustrating an example of preprocessing an image according to an embodiment of the present disclosure
  • FIG. 5a is a diagram illustrating an example of a fastening area recognized from an image according to an embodiment of the present disclosure
  • FIG. 5b is a diagram illustrating an example of information on a fastening area estimated from an image according to an embodiment of the present disclosure
  • FIG. 6a is a diagram illustrating an example of correcting a position of a fastening module according to an embodiment of the present disclosure
  • FIG. 4 is a diagram illustrating an example of preprocessing an image according to an embodiment of the present disclosure
  • FIG. 5a is a diagram illustrating an example of a fastening area recognized from an image according to an embodiment of the present disclosure
  • FIG. 5b is a diagram illustrating an example of information on a fastening area estimated from an image according to an embodiment
  • FIG. 6b is a diagram illustrating an example of correcting a tilting angle of a fastening module according to an embodiment of the present disclosure
  • FIG. 6c is a diagram illustrating an example of correcting a fastening hole using a processing module according to an embodiment of the present disclosure
  • FIG. 6d is a diagram illustrating an example of correcting a position of a fastening member using a pressurizing module according to an embodiment of the present disclosure
  • FIG. 6e is a diagram illustrating an example of correcting a seating state of a fastening member using a processing module according to an embodiment of the present disclosure.
  • a control method of a fastener fastening device may include a step (S310) of capturing an image related to a fastening area.
  • the fastener fastening device (100) may capture an image related to a fastening area where a fastener is to be fastened using a camera module (130).
  • the fastener fastening device (100) may move the camera module (130) to an upper portion of the fastening area and then capture the image of the fastening area.
  • the above fastening region may include at least two components (e.g., an upper case, a lower case, a busbar, an endplate, etc.) of a battery module (or a battery pack) that are fastened via fasteners.
  • the fastening region may include at least one fastening hole through which a fastener passes.
  • the control method may include a step (S320) of preprocessing the captured image.
  • the fastener fastening device (100) may preprocess the captured image into a form suitable for analysis of the artificial intelligence model (112) by using a pre-learned artificial intelligence model (112) (or an image processing program).
  • the preprocessing step (S320) may include a step (S410) of adjusting contrast and/or brightness, a step (S420) of masking a region of interest (ROI), a step (S430) of changing illuminance and/or noise, and a step (S440) of extracting a region of interest, as illustrated in FIG. 4. This is merely an example, and it will be apparent to those skilled in the art that the present disclosure is not limited thereto.
  • step S320 is intended to improve the recognition ability of the artificial intelligence model (112) for the captured image, and may be omitted if there is no need to improve the recognition ability of the artificial intelligence model (112) (e.g., if the quality of the captured image is suitable for analysis by the artificial intelligence model (112).
  • the control method may include a step (S330) of estimating information about the fastening region from a preprocessed (or photographed) image using an artificial intelligence model.
  • the fastener fastening device (100) may analyze the preprocessed (or photographed) image, recognize the fastening region, and estimate information about the fastening region.
  • an artificial intelligence model (112) even if a low-quality image is acquired due to various factors (e.g., brightness, focus, shape of threads, diffuse reflection, shape of taps, etc.), the accuracy of recognition of the fastening region and estimation of information may be improved.
  • the above-described fastening region may include a first fastening hole (510) (e.g., a bolt hole) related to a first fastening member (e.g., one of the components of a battery module) and a second fastening hole (520) (e.g., a case hole) related to a second fastening member (e.g., a case), as illustrated in FIG. 5A.
  • a first fastening hole (510) e.g., a bolt hole
  • a second fastening hole (520) e.g., a case hole
  • the boundary of the hole of the first fastening hole (510) including a screw thread (511) may be recognized along the screw thread (511).
  • Information about the above-described fastening region may include first information related to the first fastening hole (510) and second information related to the second fastening hole (520).
  • the first information may include coordinates of the center point (Cx, Cy) of the first fastening hole (see drawing identification symbol 531 of FIG. 5b), an area of the first fastening hole (see drawing identification symbol 532 of FIG. 5b), a minimum diameter (533a) and a maximum diameter (533b) of the first fastening hole (see drawing identification symbol 533 of FIG.
  • the second information may include a center position and a diameter of the second fastening hole (see drawing identification symbol 535 of FIG. 5b).
  • the above first information can be used to confirm (or determine) the covering ratio, covering direction, and trend of the first fastening hole.
  • the covering ratio of the first fastening hole (510) can be determined based on the recognized area through the following ⁇ Formula 1>.
  • the fastener fastening device (100) can determine that the first fastening hole is not covered if the recognized area is greater than or equal to the actual area, and can determine that a part of the first fastening hole is covered by another component (e.g., a case) if the recognized area is smaller than the actual area.
  • the covering ratio of the first fastening hole (510) may be determined based on the minimum diameter (533a) through the following ⁇ Formula 2>.
  • the fastener fastening device (100) can determine that the first fastening hole is not covered if the recognized minimum diameter (533a) is greater than or equal to the actual minimum diameter, and can determine that a part of the first fastening hole is covered by another component (e.g., a case) if the recognized minimum diameter (533a) is smaller than the actual minimum diameter.
  • the covering direction of the first fastening hole is calculated by the first direction vector (Equation 3) and Equation 4 below based on the coordinates of the center point and the coordinates of each end point of the minimum diameter. ) and the second direction vector ( ) can be confirmed based on this.
  • the first direction vector of the above ⁇ Formula 3> means the vector value from the center point coordinate (Cx, Cy) to one end point coordinate (x1, y1)
  • the second direction vector ( of the above ⁇ Equation 4> ) means a vector value from the center point coordinate (Cx, Cy) to the other end point coordinate (x2, y2).
  • the fastener fastening device (100) is a first direction vector ( ) and the second direction vector ( ) and determine that the first fastening hole (510) is covered in a direction with a smaller absolute value.
  • the fastener fastening device (100) may be in a state such as the identification symbol 534 of FIG. 5b, and may determine that the first direction vector ( ) is the absolute value of the second direction vector ( ) can be judged to have been issued from the lower left corner.
  • the above second information can be used to confirm (or determine) the fixation state of the first fastening member (201) and the second fastening member (202). For example, if the second fastening member (202) is not fixed (closely fixed) parallel to the first fastening member (201) but is fixed at a certain angle, the second fastening hole (520) of the second fastening member (202) is recognized as having an oval shape. Using this characteristic, the fastener fastening device (100) can determine that the second fastening member (202) is tilted when the second fastening hole (520) is recognized as having an oval shape, and can calculate the tilt angle of the second fastening member (202) through the following ⁇ Formula 5>.
  • the control method may include a step (S340) of checking whether the reference fastening condition is satisfied based on the estimated information.
  • the fastener fastening device (100) may check whether the fixation state between the fastening members (e.g., the first fastening member and the second fastening member), whether the first fastening hole is covered, and whether the difference between the central axis of the first fastening hole and the central axis of the fastening module satisfy specified conditions (e.g., within a reference value).
  • the fastener fastening device (100) may determine that the reference fastening condition is satisfied when the fixation state of the fastening members is good (e.g., in close contact), the first fastening hole is not covered by another element, and the difference between the central axis of the first fastening hole and the central axis of the fastening module (140) is within a specified reference value (e.g., 0.3 mm).
  • a specified reference value e.g., 0.3 mm
  • the control method can proceed to the step (S370) of fastening a fastener to a fastening area if the verification result of step S340 satisfies the fastening condition.
  • step S370 a detailed description of step S370 will be described later.
  • step S340 determines that the standard fastening condition is not satisfied as a result of the verification at step S340, it may proceed to step S350 to check whether correction is possible to satisfy the standard fastening condition.
  • the fastener fastening device (100) may check whether the standard fastening condition can be satisfied by correcting the position and/or state of at least one of the second fastening member and the fastening module (140).
  • the control method can proceed to the step of performing correction (S360) if the verification result of step S350 shows that correction is possible.
  • the fastener fastening device (100) can correct at least one of the position of the fastening module (140), the fastening angle, the position of the second fastening member, the fixing state of the second fastening member, and the size of the second fastening hole.
  • the fastener fastening device (100) can correct (e.g., move) the position of the fastening module so that the difference becomes less than or equal to the reference value (0.3 mm) when the difference between the center coordinate (601) of the first fastening hole (510) and the center coordinate (602) of the fastening module exceeds a specified reference value (0.3 mm), as illustrated in FIG. 6A.
  • the fastener fastening device (100) calculates the fastening angle ( ) can be tilted to fasten the fastener to the fastening area.
  • the fastening angle can be calculated through the following ⁇ Formula 6> based on the thickness (T) of the second fastening member (202) (e.g., case) and the covering length (L) of the second fastening member (202) covering the first fastening hole (510).
  • the covering length (L) of the above ⁇ Formula 6> is, as in ⁇ Formula 7> below, the actual radius of the first fastening hole ( ) and the first direction vector ( ) is the difference in length.
  • the fastener fastening device (100) can remove the second fastening member (202) by a covering length (L) using a machining module (160) (e.g., a grinder) when the second fastening member (202) covers a portion of the first fastening hole (510) as illustrated in FIG. 6c.
  • a machining module 160
  • the second fastening member (202) covers a portion of the first fastening hole (510) as illustrated in FIG. 6c.
  • the fastener fastening device (100) uses the pressurizing module (170) to push the second fastening member (202) in the direction of covering (or the first direction vector (L)) by the covering length (L) when the second fastening member (202) covers a part of the first fastening hole (510) as shown in FIG. 6d. ) can be moved in the direction of.
  • the fastener fastening device (100) has a second fastening member (202) at a certain angle with the first fastening member (201), as shown in FIG. 6e. ) is tilted and settled, the second fastening member (202) can be settled (e.g., in close contact) parallel to the first fastening member (201) by pressing the second fastening member (202) toward the first fastening member (201) using the pressurizing module (170).
  • the control method can perform a step (S370) of fastening a fastener to a fastening area.
  • the fastener fastening device (100) can fasten the fastener to the fastening area through the fastening module (140) (e.g., by rotating it).
  • the control method may proceed to the alarming step (S380) if the correction is not possible as a result of the confirmation at step S350.
  • the fastener fastening device (100) may output a designated sound effect through an audio output device (not shown), or may continuously output light of a designated color through an optical output device (not shown), or may output light in a designated pattern (e.g., blinking).
  • the fastener fastening device (100) may transmit a message to a designated electronic device (e.g., a management PC (personal computer), a manager's smart phone, etc.) notifying that fastening of the fastener is not possible.
  • a designated electronic device e.g., a management PC (personal computer), a manager's smart phone, etc.
  • control method may further include a step of recognizing a covering tendency based on the covering direction for a plurality of first fastening holes when the first fastening member includes a plurality of first fastening holes, and alarming that manipulation of the second fastening member is necessary based on the recognized covering tendency. For example, when covering in the lower left direction is confirmed a plurality of times, the fastener fastening device (100) may recognize the lower left as a covering tendency.
  • the fastener fastening device (100) may determine that the second fastening member covering the first fastening hole is misplaced in the upper right direction, and may generate an alarm (e.g., notify a manager) to correct the misplacement of the second fastening member (e.g., move the second fastening member in the lower left direction).
  • the alarm for the covering tendency is useful for responding to LOT-related errors that may occur due to different tolerances depending on the production period even for the same product. That is, the present disclosure can reduce the number of occurrences of errors and/or the number of corrections by appropriately adjusting the arrangement of the second fastening member in LOT units. That is, the present disclosure can improve production efficiency.
  • control method may further include a step of alarming that the work environment (e.g., a jig or a datum pin) needs to be reset or initialized when the above-described correction occurs more than a specified number of times.
  • the work environment e.g., a jig or a datum pin
  • the various correction examples and alarm examples described above may be used individually or at least two of them may be used in combination.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Electrochemistry (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Chemical & Material Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Automatic Assembly (AREA)
  • Insertion Pins And Rivets (AREA)

Abstract

본 개시는 패스너 체결 장치 및 그 제어 방법에 관한 것이다. 본 개시의 일 실시예에 따른 패스너 체결 장치는 체결 모듈; 기 학습된 인공지능 모델을 저장하는 메모리; 상기 패스너가 체결될 체결 영역을 촬영하는 카메라 모듈; 및 상기 인공지능 모델을 이용하여, 상기 카메라 모듈에 의해 촬영된 영상으로부터 상기 체결 영역에 대한 정보를 추정하고, 상기 추정된 정보를 기반으로 지정된 기준 체결 조건을 만족하는지 확인하고, 상기 기준 체결 조건을 만족하는 경우 상기 체결 영역에 상기 패스너를 체결하도록 상기 체결 모듈을 제어하는 프로세서를 포함할 수 있다. 이에 따라, 본 개시는 패스너 체결 장치의 체결 정확성 및/또는 작업 효율을 개선할 수 있다.

Description

패스너 체결 장치 및 그 제어 방법
본 개시는 패스너 체결 장치 및 그 제어 방법에 관한 것이다.
이차 전지(secondary battery)는 충전 및 방전을 반복할 수 있는 전지로서, 정보 통신 및 디스플레이 산업의 발전에 따라, 캠코더, 휴대폰, 태블릿 PC(personal computer), 노트북PC 등과 같은 휴대용 전자통신 기기들의 동력원으로 널리 적용되고 있다. 또한, 최근에는 전기 자동차와 같은 친환경 자동차의 동력원으로 이용하기 위해 이차 전지를 포함하는 전지 팩(battery pack)이 개발되고 있다.
이차 전지는, 이차 전지 모듈 혹은 차체의 진동/충격으로부터 보호하기 위해, 다양한 구성 요소들(예: 상부 케이스(upper case), 하부 케이스(lower case), 버스바(busbar), 엔드플레이트(endplate) 등의 자재)이 나사 또는 볼트로 체결될 수 있다. 각 구성 요소들은 절곡으로 제작된 얇은 알루미늄 판, 절연을 위한 플라스틱 소재 등 강성이 낮은 소재일 수 있다.
한편, 이차 전지는 자동 체결 장치(예: 너트러너)를 통해 나사 또는 볼트가 체결될 수 있다. 예를 들어, 체결하고자 하는 자재들을 지그류 혹은 데이텀 핀으로 규제하고, 자동 체결 장치가 체결 홀의 위치로 이동하며 나사 또는 볼트를 순차적으로 체결한다.
하지만, 다양한 원인(예: 조립 시 누적 공차, 순차적 체결으로 인한 유연한 자재의 비틀림 현상, LOT에 따른 각 자재의 공차가 달라짐 등)으로 인하여, 자재의 체결 홀의 중심점과 자동체결장치의 중심점이 일치하지 않는 경우가 발생할 수 있다. 이러한 경우 체결 불량(예: 나사 또는 볼트가 사선으로 삽입) 및/또는 부품 파손(예: 나사산(thread)의 손상, 체결 홀의 확장, 체결 장치의 비트 파손 등)이 발생할 수 있다.
본 개시의 일 측면에 따르면, 체결 정확성이 개선된 패스너 체결 장치 및 그 제어 방법을 제공할 수 있다.
본 개시의 다른 측면에 따르면, 패스너 체결 장치의 작업 효율이 개선된 패스너 체결 장치 및 그 제어 방법을 제공할 수 있다.
본 개시의 일 실시예에 따른 패스너 체결 장치는 체결 모듈; 기 학습된 인공지능 모델을 저장하는 메모리; 상기 패스너가 체결될 체결 영역을 촬영하는 카메라 모듈; 및 상기 인공지능 모델을 이용하여, 상기 카메라 모듈에 의해 촬영된 영상으로부터 상기 체결 영역에 대한 정보를 추정하고, 상기 추정된 정보를 기반으로 지정된 기준 체결 조건을 만족하는지 확인하고, 상기 기준 체결 조건을 만족하는 경우 상기 체결 영역에 상기 패스너를 체결하도록 상기 체결 모듈을 제어하는 프로세서를 포함할 수 있다.
일 실시 예에 따르면, 상기 기준 체결 조건은 제1 체결 부재 및 상기 제1 체결 부재의 상부에 배치되는 제2 체결 부재 간의 안착 상태, 상기 제1 체결 부재에 형성된 제1 체결 홀의 가림 여부, 및 상기 체결 모듈의 중심축과 상기 제1 체결 홀의 중심축 간의 차이 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 기준 체결 조건을 만족하지 않는 경우 보정이 가능한지 확인하고, 상기 보정이 가능한 경우 상기 기준 체결 조건을 만족하도록 상기 체결 모듈의 위치, 상기 패스너의 체결 각도, 상기 제2 체결 부재의 위치, 상기 제2 체결 부재의 안착 상태, 및 상기 제2 체결 부재에 형성된 제2 체결 홀의 크기 중 적어도 하나를 보정하고, 및 상기 보정이 불가능한 경우 상기 체결 영역에 상기 패스너의 체결이 불가능함을 알람할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 체결 모듈의 중심축과 상기 제1 체결 홀의 중심축 간의 차이가 지정된 기준값을 초과하는 경우 상기 차이가 상기 기준값 이내가 되도록 상기 체결 모듈의 위치를 이동할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 제2 체결 부재가 상기 제1 체결 홀의 일부를 가리고 있는 경우 상기 제2 체결 부재의 두께 및 상기 제1 체결 홀을 가리고 있는 상기 제2 체결 부재의 가림 길이를 기초로, 체결 각도를 계산하고, 및 상기 계산된 체결 각도만큼 기울이도록 상기 체결 모듈을 제어할 수 있다.
일 실시 예에 따르면, 상기 장치는 가공 모듈을 더 포함하고, 상기 프로세서는 상기 제2 체결 부재가 상기 제1 체결 홀의 일부를 가리고 있는 경우 상기 제1 체결 홀을 가리고 있는 상기 제1 체결 부재의 가림 길이 및 가림 방향을 계산하고, 및 상기 가림 방향으로 상기 가림 길이만큼 상기 제2 체결 부재를 제거하도록 상기 가공 모듈을 제어할 수 있다.
일 실시 예에 따르면, 상기 장치는 가압 모듈을 더 포함하고, 상기 프로세서는 상기 제2 체결 부재가 상기 제1 체결 홀의 일부를 가리고 있는 경우 상기 제1 체결 홀을 가리고 있는 상기 제2 체결 부재의 가림 길이 및 가림 방향을 계산하고, 및 상기 가림 방향으로 상기 가림 길이만큼 상기 제2 체결 부재를 이동시키도록 상기 가압 모듈을 제어할 수 있다.
일 실시 예에 따르면, 상기 장치는 가압 모듈을 더 포함하고, 상기 프로세서는 상기 제2 체결 부재가 상기 제1 체결 부재에 일정 각도 기울어져 안착된 경우 상기 제2 체결 홀의 실제 직경과 상기 영상으로부터 계산된 제2 체결 홀의 직경을 기초로, 상기 제2 체결 부재의 기울기 각도를 계산하고, 및 상기 계산된 기울기 각도에 대응하여, 상기 제2 체결 부재를 상기 제1 체결 부재를 향하는 방향으로 누르도록 상기 가압 모듈을 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 제1 체결 부재가 다수의 제1 체결 홀을 포함하는 경우 상기 다수의 체1 체결 홀에 대한 가림 방향을 기반으로, 가림 경향을 인식하고, 및 상기 인식된 가림 경향을 기반으로, 상기 제2 체결 부재에 대한 조작이 필요함을 알람할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 보정이 지정된 횟수 이상 발생하는 경우 작업 환경의 재설정이 필요함을 알람할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 상기 촬영된 영상을 전처리하고, 상기 인공지능 모델을 이용하여, 상기 전처리된 영상을 분석하고, 분석 결과를 기초로 상기 체결 영역의 인식하고, 인식 결과를 기반으로 상기 체결 영역과 관련된 정보를 추정할 수 있다.
본 개시의 일 실시 예에 따른 체결 장치의 제어 방법은 카메라 모듈을 이용하여, 패스너가 체결되는 체결 영역과 관련된 영상을 촬영하는 단계; 기 학습된 인공지능 모델을 이용하여, 상기 촬영된 영상으로부터 상기 체결 영역에 대한 정보를 추정하는 단계; 상기 추정된 정보를 기반으로, 지정된 기준 체결 조건을 만족하는지 확인하는 단계; 및 상기 기준 체결 조건을 만족하는 경우 체결 모듈을 이용하여 상기 체결 영역에 상기 패스너를 체결하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 기준 체결 조건을 만족하는지 확인하는 단계는 제1 체결 부재 및 상기 제1 체결 부재의 상부에 배치되는 제2 체결 부재 간의 안착 상태를 판단하는 단계; 상기 제1 체결 부재에 형성된 제1 체결 홀의 가림 여부를 판단하는 단계; 및 상기 체결 모듈의 중심축과 상기 제1 체결 홀의 중심축 간의 차이가 지정된 기준값 이내인지 확인하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 기준 체결 조건을 만족하지 않는 경우 보정이 가능한지 확인하는 단계; 및 상기 보정이 불가능한 경우 상기 체결 영역에 상기 패스너의 체결이 불가능함을 알람하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 보정이 가능한 경우 상기 체결 모듈의 위치, 상기 패스너의 체결 각도, 상기 제2 체결 부재의 위치, 상기 제2 체결 부재의 안착 상태, 및 상기 제2 체결 부재에 형성된 제2 체결 홀의 크기 중 적어도 하나를 보정하는 단계를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 보정하는 단계는 상기 제1 체결 홀의 중심 좌표와 상기 체결 모듈의 중심 좌표의 차이가 지정된 기준값을 초과하는 경우 상기 차이가 상기 기준값 이내가 되도록 상기 체결 모듈의 위치를 이동하는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 보정하는 단계는 상기 제2 체결 부재가 상기 제1 체결 홀의 일부를 가리고 있는 경우: 상기 제2 체결 부재의 두께 및 상기 제1 체결 홀을 가리고 있는 상기 제2 체결 부재의 가림 길이를 기초로, 체결 각도를 계산하고, 상기 계산된 체결 각도만큼 상기 체결 모듈을 기울이는 단계; 상기 제1 체결 홀을 가리고 있는 상기 제1 체결 부재의 가림 길이 및 가림 방향을 계산하고, 가공 모듈을 이용하여 상기 가림 방향으로 상기 가림 길이만큼 상기 제2 체결 부재를 제거하는 단계; 및 상기 제1 체결 홀을 가리고 있는 상기 제2 체결 부재의 가림 길이 및 가림 방향을 계산하고, 가압 모듈을 이용하여 상기 가림 방향으로 상기 가림 길이만큼 상기 제2 체결 부재를 이동시키는 단계 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 보정하는 단계는 상기 제2 체결 부재가 상기 제1 체결 부재에 일정 각도 기울어져 안착된 경우 상기 제2 체결 홀의 실제 직경과 상기 영상으로부터 계산된 제2 체결 홀의 직경을 기초로, 상기 제2 체결 부재의 기울기 각도를 계산하는 단계; 및 상기 계산된 기울기 각도에 대응하여, 가압 모듈을 통해 상기 제2 체결 부재를 상기 제1 체결 부재를 향하는 방향으로 누르는 단계를 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 제1 체결 부재가 다수의 제1 체결 홀을 포함하는 경우 상기 다수의 체1 체결 홀에 대한 가림 방향을 기반으로, 가림 경향을 인식하고, 상기 인식된 가림 경향을 기반으로, 상기 제2 체결 부재에 대한 조작이 필요함을 알람하는 단계; 및 상기 보정이 지정된 횟수 이상 발생하는 경우 작업 환경의 재설정이 필요함을 알람하는 단계 중 적어도 하나를 더 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은 상기 촬영된 영상을 전처리하는 단계를 더 포함하고, 상기 정보를 추정하는 단계는 상기 인공지능 모델을 이용하여, 상기 전처리된 영상을 분석하고, 분석 결과를 기초로 상기 체결 영역의 인식하고, 인식 결과를 기반으로 상기 체결 영역과 관련된 정보를 추정하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 패스너 체결 장치의 체결 정확성이 개선될 수 있다. 예를 들어, 본 개시는 체결 홀(예: 볼트 홀 또는 나사 홀)의 중심과 패스너(예: 볼트, 나사, 앵커, 리벳 등)의 중심을 실질적으로 일치(예: 지정된 범위 이내의 차이를 가짐)시킨 후 체결을 진행함에 따라 체결 정확성을 개선할 수 있다. 또한, 본 개시는 체결의 정확성이 개선됨에 따라 중심 불일치로 인한 오체결 시 발생할 수 있는 다양한 손상(예: 볼트 또는 나사의 나사산 손상, 체결 홀의 나사산 손상, 체결 홀의 확장, 및/또는 패스너 체결 장치의 비트 파손)을 방지할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 패스너 체결 장치의 능률(또는 효율)이 개선될 수 있다. 예를 들어, 본 개시는 패스너를 체결홀에 체결하기 다소 어려운 경우(예: 체결 홀의 일부가 케이스에 의해 가려진 경우, 체결부재(제1 체결 부재)에 케이스(제2 체결 부재)가 정상적으로 안착되지 않은 경우), 패스너의 체결 각도를 조정 및/또는 체결 영역의 상태를 보정(예: 케이스 위치를 이동, 케이스 안착 상태, 케이스 홀의 크기를 가공)한 후 패스너를 체결함에 따라 패스너 체결 장치의 능률을 개선할 수 있다.
본 개시는 오체결로 인한 재작업 및/또는 체결 불가능 상황에 따른 작업 중지를 최소화할 수 있다. 또한, 본 개시는 패스너 체결 장치의 비가동시간을 감소할 수 있고, 품질을 개선할 수 있고, 불량 폐기율을 개선할 수 있다. 또한, 본 개시는 생산실적 및/또는 생산수율을 개선할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 패스너 체결 장치를 개략적으로 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 패스너 체결 장치의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 패스너 체결 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 영상을 전처리하는 일 예를 도시한 도면이다.
도 5a는 본 개시의 일 실시예에 따른 영상으로부터 인식되는 체결 영역의 예를 도시한 도면이다.
도 5b는 본 개시의 일 실시예에 따른 영상으로부터 추정되는 체결 영역에 대한 정보의 예를 도시한 도면이다.
도 6a는 본 개시의 일 실시예에 따른 체결 모듈의 위치를 보정하는 예를 도시한 도면이다.
도 6b는 본 개시의 일 실시예에 따른 체결 모듈의 틸팅 각도를 보정하는 예를 도시한 도면이다.
도 6c는 본 개시의 일 실시예에 따른 가공 모듈을 이용하여 체결 홀을 보정하는 예를 도시한 도면이다.
도 6d는 본 개시의 일 실시예에 따른 가압 모듈을 이용하여 체결 부재의 위치를 보정하는 예를 도시한 도면이다.
도 6e는 본 개시의 일 실시예에 따른 가압 모듈을 이용하여 체결 부재의 안착 상태를 보정하는 예를 도시한 도면이다.
이하에서는, 첨부된 도면을 참조하여 본 개시에 대해 상세히 설명하기로 한다. 그러나, 이는 예시적인 것에 불과하고 본 개시가 예시적으로 설명된 구체적인 실시 형태로 제한되는 것은 아니다.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 개시의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
도 1은 본 개시의 일 실시 예에 따른 패스너 체결 장치를 개략적으로 도시한 도면이고, 도 2는 본 개시의 일 실시예에 따른 패스너 체결 장치의 구성을 도시한 블록도이다.
도 1 및 도 2를 참조하면, 본 개시의 일 실시 예에 따른 패스너 체결 장치(100)는 패스너(10)(예: 볼트, 나사, 리벳, 앵커 등)를 체결부재(미도시)의 체결 홀에 체결할 수 있다. 예를 들어, 패스너 체결 장치(100)는 체결 모듈(140)의 하단에 패스너(10)를 결합(예: 부착)하고, 패스너(10)가 결합된 체결 모듈(140)을 체결 홀의 상부로 이동시킨 후 체결 모듈(140)을 회전시켜 패스너(10)를 체결 홀에 체결할 수 있다. 이하에서는, 설명의 편의를 위하여, 배터리 모듈을 구성하는 구성들 중 적어도 일부를 패스너(볼트 또는 나사)로 체결하는 경우를 예로 하여 설명하기로 한다.
일 실시예에 따르면, 패스너 체결 장치(100)는 메모리(110), 프로세서(120), 카메라 모듈(130), 체결 모듈(140), 위치/틸팅 제어 모듈(150), 가공 모듈(160), 및 가압 모듈(170)을 포함할 수 있다.
메모리(110)는 패스너 체결 장치(100)의 체결 동작을 제어하는 프로그램을 저장할 수 있다. 또한, 메모리(110)는 패스너 체결 장치(100)의 체결 동작을 제어하는데 필요한 정보를 저장할 수 있다. 일 실시 예에 따르면, 메모리(110)는 비전 소프트웨어 프로그램(111), 인공지능 모델(112) 및 PLC 소프트웨어 프로그램(113)을 포함할 수 있다.
비전 소프트웨어 프로그램(111)은 카메라 모듈(130)을 제어하여 체결 영역을 촬영할 수 있다.
인공지능 모델(112)은 촬영된 영상을 전처리하고, 체결 영역에 대한 정보를 추정(예: 볼트 홀 인식, 중심점 좌표, 최소 직경, 최대 직경, 최소 직경의 각 끝점의 좌표, 최대 직경의 각 끝점의 좌표 등)할 수 있다. 인공지능 모델(112)은 학습 데이터를 통해 기 학습될 수 있다. 인공 지능 모델(112)은 Mask R-CNN, YOLO, U-Net 등과 같은 AI 알고리즘을 포함할 수 있다.
PLC(programable logic controller) 소프트웨어 프로그램(113)은 패스너 체결 장치(100)의 동작을 제어할 수 있다. 예를 들어, PLC 소프트웨어 프로그램(113)은 추정된 정보를 기초로 위치 및/또는 틸팅 각도의 보정이 필요한 경우 패스너 체결 장치(100)의 위치 이동 및/또는 틸팅 각도를 조절하도록 위치/틸팅 제어 모듈(150)을 제어할 수 있다. 또한, PLC 소프트웨어 프로그램(113)은 제1 체결 부재의 제1 체결 홀이 제2 체결 부재에 의해 가려진 경우 제1 체결 홀을 가리고 있는 제2 체결 부재의 일부를 제거하도록 가공 모듈(160)을 제어할 수 있다. 또한, PLC 소프트웨어 프로그램(113)은 제1 체결 부재의 제1 체결 홀이 제2 체결 부재에 의해 가려진 경우 제1 체결 홀을 가린 제2 체결 부재를 가압하여 제2 체결 부재의 위치를 이동시키도록 가압 모듈(170)을 제어할 수 있다. 또한, PLC 소프트웨어 프로그램(113)은 제1 체결 부재와 제2 체결 부재가 정상적으로 안착되지 않은 경우 제2 체결 부재를 제1 체결 부재에 정상적으로 안착시키기 위해 제2 체결 부재를 가압하도록 가압 모듈(170)을 제어할 수 있다.
프로세서(120)는 패스너 체결 장치(100)의 동작을 제어할 수 있다. 예를 들어, 프로세서(120)는 인공지능 모델(112)을 이용하여, 상기 카메라 모듈(130)에 의해 촬영된 영상으로부터 체결 영역에 대한 정보를 추정하고, 상기 추정된 정보를 기반으로 지정된 기준 체결 조건을 만족하는지 확인하고, 상기 기준 체결 조건을 만족하는 경우 체결 영역에 패스너(10)를 체결하도록 체결 모듈(140)을 제어할 수 있다. 또한, 프로세서(120)는 기준 체결 조건을 만족하지 않는 경우 보정이 가능한지 확인하고, 보정이 가능한 경우, 기준 체결 조건을 만족하도록 위치/틸팅 제어 모듈(150)을 통한 체결 모듈(10)의 위치 및/또는 패스너(10)의 체결 각도 조정, 가공 모듈(160)을 통한 제2 체결 부재에 형성된 제2 체결 홀의 크기 보정, 및 가압 모듈(170)을 통한 제2 체결 부재의 위치 및/또는 제2 체결 부재의 안착 상태 보정 중 적어도 하나를 수행할 수 있다. 한편, 프로세서(120)는 보정이 불가능한 경우 상기 체결 영역에 패스너(10)의 체결이 불가능함을 알람할 수 있다. 이에 대한 상세한 설명은 도 3 내지 도 6e을 참조하여 후술하기로 한다.
카메라 모듈(130)은 패스너(10)가 체결될 체결 영역을 촬영할 수 있다. 카메라 모듈(130)은 체결 모듈(140)의 옆에 위치할 수 있다.
체결 모듈(140)은 패스너(10)를 체결 영역에 체결할 수 있다. 예를 들어, 체결 모듈(140)은 일측 끝 부분에 패스너(10)가 탈착(탈거 또는 부착)될 수 있다. 체결 모듈(140)은 패스너(10)를 결합 영역에 체결하기 위해 부착된 패스너(10)를 회전시킬 수 있다.
위치/틸팅 제어 모듈(150)은 체결 모듈(140)의 위치를 이동시킬 수 있다. 예를 들어, 위치/틸팅 제어 모듈(150)은 패스너(10)를 체결 영역에 정확히 체결하기 위하여 체결 영역의 체결 홀의 중심과 체결 모듈(140)의 중심이 일치(또는 지정된 기준값 이내)하도록 체결 모듈(140)의 위치를 이동시킬 수 있다. 이에 대한 상세한 설명은 도 6a를 참조하여 후술하기로 한다. 또한, 위치/틸팅 제어 모듈(150)은 체결 모듈(140)을 지정된 범위 내에서 기울일 수 있다. 예를 들어, 위치/틸팅 제어 모듈(150)은 체결 영역의 체결 홀이 일부 가려진 경우 체결 모듈(140)을 틸팅 각도만큼 기울일 수 있다. 이에 대한 상세한 설명은 도 6b를 참조하여 후술하기로 한다.
가공 모듈(160)은 체결 부재(미도시)의 일부를 제거할 수 있다. 예를 들어, 가공 모듈(160)은 체결 영역의 체결 홀이 일부 가려진 경우 체결 홀을 가리고 있는 체결 부재를 제거할 수 있다. 가공 모듈(160)은, 예를 들어, 그라인더(grinder)일 수 있다. 이에 대한 상세한 설명은 도 6c를 참조하여 후술하기로 한다.
가압 모듈(170)은 체결 부재를 가압할 수 있다. 예를 들어, 가압 모듈(170)은 체결 영역의 체결 홀이 일부 가려진 경우 체결 홀을 가리고 있는 체결 부재를 가압하여 체결 부재의 위치를 이동시킬 수 있다. 이에 대한 상세한 설명은 도 6d를 참조하여 후술하기로 한다.
가압 모듈(170)은 제2 체결 부재가 제1 체결 부재에 정상적으로 안착되지 않은 경우 제2 체결 부재를 가압하여 제2 체결 부재를 제1 체결 부재에 정상적으로 안착시킬 수 있다. 이에 대한 상세한 설명은 도 6e를 참조하여 후술하기로 한다.
도 3은 본 개시의 일 실시예에 따른 패스너 체결 장치의 제어 방법을 설명하기 위한 흐름도이고, 도 4는 본 개시의 일 실시예에 따른 영상을 전처리하는 일 예를 도시한 도면이고, 도 5a는 본 개시의 일 실시예에 따른 영상으로부터 인식되는 체결 영역의 예를 도시한 도면이고, 도 5b는 본 개시의 일 실시예에 따른 영상으로부터 추정되는 체결 영역에 대한 정보의 예를 도시한 도면이고, 도 6a는 본 개시의 일 실시예에 따른 체결 모듈의 위치를 보정하는 예를 도시한 도면이고, 도 6b는 본 개시의 일 실시예에 따른 체결 모듈의 틸팅 각도를 보정하는 예를 도시한 도면이고, 도 6c는 본 개시의 일 실시예에 따른 가공 모듈을 이용하여 체결 홀을 보정하는 예를 도시한 도면이고, 도 6d는 본 개시의 일 실시예에 따른 가압 모듈을 이용하여 체결 부재의 위치를 보정하는 예를 도시한 도면이며, 도 6e는 본 개시의 일 실시예에 따른 가공 모듈을 이용하여 체결 부재의 안착 상태를 보정하는 예를 도시한 도면이다.
도 3 내지 도 6e를 참조하면, 본 개시의 일 실시예에 따른 패스너 체결 장치의 제어 방법(이하, 제어 방법)은 체결 영역과 관련된 영상을 촬영하는 단계(S310)를 포함할 수 있다. 예를 들어, 패스너 체결 장치(100)는 카메라 모듈(130)을 이용하여 패스너가 체결될 체결 영역과 관련된 영상을 촬영할 수 있다. 다른 예로, 패스너 체결 장치(100)는 카메라 모듈(130)을 체결 영역의 상부로 이동시킨 후 체결 영역을 촬영할 수 있다.
상기 체결 영역은 배터리 모듈(또는 배터리 팩)의 구성 요소들(예: 상부 케이스(upper case), 하부 케이스(lower case), 버스바(busbar), 엔드플레이트(endplate) 등) 중 패스너를 통해 체결되는 적어도 2개의 구성 요소를 포함할 수 있다. 체결 영역은 패스너가 관통하는 적어도 하나의 체결 홀을 포함할 수 있다.
제어 방법은 촬영된 영상을 전처리하는 단계(S320)를 포함할 수 있다. 예를 들어, 패스너 체결 장치(100)는 기 학습된 인공 지능 모델(112)(또는 이미지 처리 프로그램)을 이용하여 인공 지능 모델(112)의 분석에 적합한 형태로 상기 촬영된 영상을 전처리할 수 있다. 상기 전처리하는 단계(S320)는, 도 4에 도시된 바와 같이, 명암 및/또는 밝기를 조정하는 단계(S410), 관심영역(Region Of Interest: ROI)을 마스크하는 단계(S420), 조도 및/또는 노이즈를 변경하는 단계(S430) 및 관심영역을 추출하는 단계(S440)를 포함할 수 있다. 이는 일 예일 뿐, 본 개시가 이에 한정되지 않음은 통상의 기술자에게 있어 자명할 것이다. 한편, S320 단계는 촬영된 영상에 대한 인공 지능 모델(112)의 인식성을 개선하기 위한 것으로, 인공 지능 모델(112)의 인식성을 개선할 필요가 없는 경우(예: 촬영된 영상의 품질이 인공 지능 모델(112)의 분석에 적합한 경우) 생략될 수 있다.
제어 방법은 인공지능 모델을 이용하여 전처리된(또는 촬영된) 영상으로부터 상기 체결 영역에 대한 정보를 추정하는 단계(S330)를 포함할 수 있다. 예를 들어, 패스너 체결 장치(100)는 전처리된(또는 촬영된) 영상을 분석하고, 상기 체결 영역을 인식하고, 상기 체결 영역에 대한 정보를 추정할 수 있다. 본 개시의 일 실시 예는 인공지능 모델(112)을 이용함에 따라, 다양한 요인(예: 밝기, 초점, 나사산(thread)의 형상, 난반사, 탭(tap)의 형상 등)으로 인하여 낮은 품질의 영상이 획득되더라도 체결 영역의 인식 및 정보 추정의 정확성이 개선될 수 있다.
상기 체결 영역은, 도 5a에 도시된 바와 같이, 제1 체결 부재(예: 배터리 모듈의 구성 요소 중 하나)와 관련된 제1 체결 홀(510)(예: 볼트 홀) 및 제2 체결 부재(예: 케이스)와 관련된 제2 체결 홀(520)(예: 케이스 홀)을 포함할 수 있다. 이때, 나사 산(511)을 포함하는 제1 체결 홀(510)은 나사 산(511)을 따라 홀의 경계가 인식될 수 있다.
상기 체결 영역에 대한 정보는, 제1 체결 홀(510)과 관련된 제1 정보 및 제2 체결 홀(520)과 관련된 제2 정보를 포함할 수 있다. 상기 제1 정보는 제1 체결 홀의 중심점 좌표(Cx, Cy)(도 5b의 식별 부호 531 도면 참조), 제1 체결 홀의 면적(도 5b의 식별 부호 532 도면 참조), 제1 체결 홀의 최소 직경(533a) 및 최대 직경(533b)(도 5b의 식별 부호 533 도면 참조), 제1 체결 홀의 최소 직경의 각 끝점의 좌표((x1, y1), (x2, y2)) 및 최대 직경의 각 끝점의 좌표((x3, y3), (x4, y4))(도 5b의 식별 부호 534 도면 참조)를 포함할 수 있다. 상기 제2 정보는 제2 체결 홀의 중심 위치 및 직경(도 5b의 식별 부호 535 도면 참조)을 포함할 수 있다.
상기 제1 정보는 제1 체결 홀의 가림 비율, 가림 방향 및 경향(trend)을 확인(또는 판단)하는데 이용될 수 있다.
일 실시 예에 따르면, 상기 제1 체결 홀(510)의 가림 비율은, 인식된 면적을 기초로, 아래의 <식 1>을 통해 판단될 수 있다.
가림비율(%) =
Figure PCTKR2024002628-appb-img-000001
………… <식 1>
Figure PCTKR2024002628-appb-img-000002
상기 <식 1>에서, "
Figure PCTKR2024002628-appb-img-000003
"는 영상으로부터 인식된 제1 체결홀의 면적을 의미하고, "
Figure PCTKR2024002628-appb-img-000004
"는 볼트의 실제 면적(단면적)을 의미한다. 즉, 패스너 체결 장치(100)는 상기 인식된 면적이 실제 면적보다 크거나 같은 경우 제1 체결홀이 가려지지 않은 것으로 판단하고, 상기 인식된 면적이 실제 면적보다 작은 경우 제1 체결 홀의 일부가 다른 구성요소(예: 케이스)에 의해 가려진 것으로 판단할 수 있다.
다른 실시 예에 따르면, 상기 제1 체결 홀(510)의 가림 비율은, 최소 직경(533a)을 기초로, 아래의 <식 2>를 통해 판단될 수도 있다.
가림비율(%) =
Figure PCTKR2024002628-appb-img-000005
…………… <식 2>
Figure PCTKR2024002628-appb-img-000006
상기 <식 2>에서, "
Figure PCTKR2024002628-appb-img-000007
"는 인식된 최소 직경(533a)을 의미하고, "
Figure PCTKR2024002628-appb-img-000008
"는 볼트의 실제 최소 직경을 의미한다. 즉, 패스너 체결 장치(100)는 상기 인식된 최소 직경(533a)이 실제 최소 직경보다 크거나 같은 경우 제1 체결홀이 가려지지 않은 것으로 판단하고, 상기 인식된 최소 직경(533a)이 실제 최소 직경보다 작은 경우 제1 체결 홀의 일부가 다른 구성요소(예: 케이스)에 의해 가려진 것으로 판단할 수 있다.
일 실시 예에 따르면, 상기 제1 체결 홀의 가림 방향은, 중심점 좌표 및 최소 직경의 각 끝점의 좌표를 기초로, 아래의 <식 3> 및 <식 4>를 통해 계산되는 제1 방향 벡터(
Figure PCTKR2024002628-appb-img-000009
) 및 제2 방향 벡터(
Figure PCTKR2024002628-appb-img-000010
)를 기반으로 확인될 수 있다.
Figure PCTKR2024002628-appb-img-000011
…………… <식 3>
Figure PCTKR2024002628-appb-img-000012
………… <식 4>
상기 <식 3>의 제1 방향 벡터(
Figure PCTKR2024002628-appb-img-000013
)는 중심점 좌표(Cx, Cy)에서 일측 끝점 좌표(x1, y1)로의 벡터 값을 의미하고, 상기 <식 4>의 제2 방향 벡터(
Figure PCTKR2024002628-appb-img-000014
)는 중심점 좌표(Cx, Cy)에서 타측 끝점 좌표(x2, y2)로의 벡터 값을 의미한다. 패스너 체결 장치(100)는 제1 방향 벡터(
Figure PCTKR2024002628-appb-img-000015
)와 제2 방향 벡터(
Figure PCTKR2024002628-appb-img-000016
)의 절대 값을 비교하고, 절대 값이 작은 방향에서 제1 체결 홀(510)의 가림이 발생한 것으로 판단할 수 있다. 예를 들어, 패스너 체결 장치(100)는, 도 5b의 식별 부호 534 도면과 같은 상태에서, 제1 방향 벡터(
Figure PCTKR2024002628-appb-img-000017
)의 절대 값이 제2 방향 벡터(
Figure PCTKR2024002628-appb-img-000018
)의 절대 값보다 작은 경우 좌측하단에서 가림이 발행한 것으로 판단할 수 있다.
상기 제2 정보는 제1 체결 부재(201)와 제2 체결 부재(202)의 안착 상태를 확인(또는 판단)하는데 이용될 수 있다. 예를 들어, 제2 체결 부재(202)가 제1 체결 부재(201)와 평행하게 안착(밀착)되지 않고, 일정 각도 기울어져 안착되는 경우 제2 체결 부재(202)의 제2 체결 홀(520)은 타원형으로 인식된다. 이러한 특징을 이용하면, 패스너 체결 장치(100)는 제2 체결 홀(520)이 타원형으로 인식되는 경우 제2 체결 부재(202)가 기울어진 것으로 판단하고, 아래의 <식 5>를 통해, 제2 체결 부재(202)의 기울기 각도를 계산할 수 있다.
Figure PCTKR2024002628-appb-img-000019
…………… <식 5>
상기 <식 5>에서, "
Figure PCTKR2024002628-appb-img-000020
"는 제2 체결 홀(520)의 실제 직경을 의미하고, "
Figure PCTKR2024002628-appb-img-000021
"는 인식된 제2 체결 홀(520)의 최대 직경(즉, 타원의 장축 길이)을 의미하고, "
Figure PCTKR2024002628-appb-img-000022
"는 기울기 각도를 의미한다.
제어 방법은 추정된 정보를 기초로, 기준 체결 조건을 만족하는지 확인하는 단계(S340)를 포함할 수 있다. 예를 들어, 패스너 체결 장치(100)는 체결 부재들(예: 제1 체결 부재와 제2 체결 부재) 간의 안착 상태, 제1 체결 홀의 가림 여부, 및 제1 체결 홀의 중심축과 체결 모듈의 중심축의 차이가 지정된 조건(예: 기준값 이내)을 만족하는지 확인할 수 있다. 일 실시 예에 따르면, 패스너 체결 장치(100)는 체결 부재들의 안착 상태가 양호(예: 밀착)하고, 제1 체결 홀이 다른 요소에 의해 가려지지 않았으며, 제1 체결 홀의 중심축과 체결 모듈(140)의 중심축의 차이가 지정된 기준값(예: 0.3 mm) 이내인 경우 기준 체결 조건을 만족하는 것으로 판단할 수 있다.
제어 방법은, S340 단계의 확인 결과 기준 체결 조건을 만족하는 경우, 체결 영역에 패스너를 체결하는 단계(S370)로 진행할 수 있다. 여기서, S370 단계에 대한 상세한 설명은 후술하기로 한다.
반면에, 제어 방법은, S340 단계의 확인 결과 기준 체결 조건을 만족하지 않는 경우, 기준 체결 조건을 만족하도록 보정이 가능한지 확인하는 단계(S350)로 진행할 수 있다. 예를 들어, 패스너 체결 장치(100)는 제2 체결 부재 및 체결 모듈(140) 중 적어도 하나의 위치 및/또는 상태를 보정하여 기준 체결 조건을 만족할 수 있는지 확인할 수 있다.
제어 방법은, S350 단계의 확인 결과 보정이 가능한 경우, 보정을 진행하는 단계(S360)로 진행할 수 있다. 일 실시 예에 따르면, 상기 패스너 체결 장치(100)는 체결 모듈(140)의 위치, 체결 각도, 상기 제2 체결 부재의 위치, 상기 제2 체결 부재의 안착 상태, 및 제2 체결 홀의 크기 중 적어도 하나를 보정할 수 있다.
일 예에 따르면, 패스너 체결 장치(100)는, 도 6a에 도시된 바와 같이, 제1 체결 홀(510)의 중심 좌표(601)와 체결 모듈의 중심 좌표(602)의 차이가 지정된 기준값(0.3 mm)을 초과하는 경우 상기 차이가 상기 기준값 이하가 되도록 체결 모듈의 위치를 보정(예: 이동)할 수 있다. 예를 들어, 패스너 체결 장치(100)는 제1 체결 홀(510)의 중심 좌표(601)(Cx, Cy)에서 체결 모듈의 중심 좌표(602)(x, y)를 뺀 값(△x(= Cx - x), △y(= Cy - y))만큼 체결 모듈의 위치를 이동할 수 있다.
다른 예에 따르면, 패스너 체결 장치(100)는, 도 6b에 도시된 바와 같이 제2 체결 부재가 제1 체결 홀(510)의 일부를 가리고 있는 경우, 체결 모듈을 연산된 체결 각도(
Figure PCTKR2024002628-appb-img-000023
)만큼 기울여 패스너를 체결 영역에 체결할 수 있다. 상기 체결 각도는 제2 체결 부재(202)(예: 케이스)의 두께(T) 및 상기 제1 체결 홀(510)을 가리고 있는 제2 체결 부재(202)의 가림 길이(L)를 기초로 아래의 <식 6>을 통해 연산 될 수 있다.
Figure PCTKR2024002628-appb-img-000024
……… <식 6>
상기 <식 6>의 가림 길이(L)는, 아래의 <식 7>과 같이, 제1 체결 홀의 실제 반지름(
Figure PCTKR2024002628-appb-img-000025
)과 제1 방향 벡터(
Figure PCTKR2024002628-appb-img-000026
)의 길이의 차이다.
Figure PCTKR2024002628-appb-img-000027
…………… <식 7>
또 다른 예에 따르면, 패스너 체결 장치(100)는, 도 6c에 도시된 바와 같이 제2 체결 부재(202)가 제1 체결 홀(510)의 일부를 가리고 있는 경우, 가공 모듈(160)(예: 그라인더)을 이용하여 제2 체결 부재(202)를 가림 길이(L)만큼 제거할 수 있다.
또 다른 예에 따르면, 패스너 체결 장치(100)는, 도 6d에 도시된 바와 같이 제2 체결 부재(202)가 제1 체결 홀(510)의 일부를 가리고 있는 경우, 가압 모듈(170)을 이용하여 제2 체결 부재(202)를 가림 길이(L)만큼 가림 방향(또는 제1 방향 벡터(
Figure PCTKR2024002628-appb-img-000028
)의 방향)으로 이동시킬 수 있다.
또 다른 예에 따르면, 패스너 체결 장치(100)는, 도 6e에 도시된 바와 같이 제2 체결 부재(202)가 제1 체결 부재(201)와 일정 각도(
Figure PCTKR2024002628-appb-img-000029
)만큼 기울어져 안착된 경우, 가압 모듈(170)을 이용하여 제2 체결 부재(202)를 제1 체결 부재(201) 방향으로 가압하여 제2 체결 부재(202)를 제1 체결 부재(201)에 평행하게 안착(예: 밀착)시킬 수 있다.
상기 보정이 완료되면, 제어 방법은 체결 영역에 패스너를 체결하는 단계(S370)를 수행할 수 있다. 패스너 체결 장치(100)는 체결 모듈(140)을 통해(예: 회전 시켜) 패스너를 체결 영역에 체결할 수 있다.
한편, 제어 방법은, S350 단계의 확인 결과 보정이 불가능한 경우, 알람하는 단계(S380)로 진행할 수 있다. 예를 들어, 패스너 체결 장치(100)는 음향 출력 장치(미도시)를 통해 지정된 효과음을 출력하거나, 광 출력 장치(미도시)를 통해 지정된 색상의 광을 지속적으로 출력하거나, 지정된 패턴으로 출력(예: 깜박임)할 수 있다. 또는, 패스너 체결 장치(100)는 지정된 전자 장치(예: 관리 PC(personal computer), 관리자의 스마트 폰 등)로 패스너의 체결이 불가함을 알리는 메시지를 전송할 수 있다.
한편, 도시하지는 않았지만, 상기 제어 방법은 제1 체결 부재가 다수의 제1 체결 홀을 포함하는 경우 다수의 제1 체결 홀에 대한 가림 방향을 기초로 가림 경향을 인식하고, 상기 인식된 가림 경향을 기반으로, 상기 제2 체결 부재에 대한 조작이 필요함을 알람하는 단계를 더 포함할 수 있다. 예를 들어, 패스너 체결 장치(100)는 좌측하단 방향의 가림이 다수 확인되는 경우 좌측하단을 가림 경향으로 인식할 수 있다. 이러한 경우 패스너 체결 장치(100)는 제1 체결 홀을 덮는 제2 체결 부재가 우측상단 방향으로 오배치된 것으로 판단하고, 상기 제2 체결 부재의 오배치를 수정(예: 제2 체결 부재를 좌측하단 방향으로 이동)하도록 알람을 발생(예: 관리자에게 통지)할 수 있다. 상기 가림 경향에 대한 알람은 동일 제품이더라도 생산 시기에 따라 공차가 상이하여 발생할 수 있는 LOT성 에러의 대응에 유용하다. 즉, 본 개시는 제2 체결 부재를 배치를 LOT 단위로 적절하게 조정하여 에러 발생 횟수 및/또는 보정 횟수를 감소할 수 있다. 즉, 본 개시는 생산 효율을 개선시킬 수 있다.
또한, 상기 제어 방법은 상기 보정이 지정된 횟수 이상 발생하는 경우 작업 환경(예: 지그 또는 데이텀 핀)의 재설정 또는 초기화가 필요함을 알람하는 단계를 더 포함할 수 있다. 한편, 상술한 다양한 보정 예시들 및 알람 예시들은 각각 사용되거나, 적어도 2개가 혼합되어 사용될 수 있음은 통상의 기술자에게 있어 자명할 것이다.
위에서 설명된 내용은 단지 본 개시의 원리를 적용한 예시일 뿐이며, 본 발명의 범위를 벗어나지 않는 범위에서 다른 구성이 더 포함될 수 있다.

Claims (20)

  1. 패스너 체결 장치에 있어서,
    체결 모듈;
    기 학습된 인공지능 모델을 저장하는 메모리;
    상기 패스너가 체결될 체결 영역을 촬영하는 카메라 모듈; 및
    상기 인공지능 모델을 이용하여, 상기 카메라 모듈에 의해 촬영된 영상으로부터 상기 체결 영역에 대한 정보를 추정하고, 상기 추정된 정보를 기반으로 지정된 기준 체결 조건을 만족하는지 확인하고, 상기 기준 체결 조건을 만족하는 경우 상기 체결 영역에 상기 패스너를 체결하도록 상기 체결 모듈을 제어하는 프로세서를 포함하는 장치.
  2. 제1항에 있어서,
    상기 기준 체결 조건은
    제1 체결 부재 및 상기 제1 체결 부재의 상부에 배치되는 제2 체결 부재 간의 안착 상태, 상기 제1 체결 부재에 형성된 제1 체결 홀의 가림 여부, 및 상기 체결 모듈의 중심축과 상기 제1 체결 홀의 중심축 간의 차이 중 적어도 하나를 포함하는 장치.
  3. 제2항에 있어서,
    상기 프로세서는
    상기 기준 체결 조건을 만족하지 않는 경우 보정이 가능한지 확인하고,
    상기 보정이 가능한 경우 상기 기준 체결 조건을 만족하도록 상기 체결 모듈의 위치, 상기 패스너의 체결 각도, 상기 제2 체결 부재의 위치, 상기 제2 체결 부재의 안착 상태, 및 상기 제2 체결 부재에 형성된 제2 체결 홀의 크기 중 적어도 하나를 보정하고, 및
    상기 보정이 불가능한 경우 상기 체결 영역에 상기 패스너의 체결이 불가능함을 알람하는 장치.
  4. 제3항에 있어서,
    상기 프로세서는
    상기 체결 모듈의 중심축과 상기 제1 체결 홀의 중심축 간의 차이가 지정된 기준값을 초과하는 경우 상기 차이가 상기 기준값 이내가 되도록 상기 체결 모듈의 위치를 이동하는 장치.
  5. 제3항에 있어서,
    상기 프로세서는
    상기 제2 체결 부재가 상기 제1 체결 홀의 일부를 가리고 있는 경우 상기 제2 체결 부재의 두께 및 상기 제1 체결 홀을 가리고 있는 상기 제2 체결 부재의 가림 길이를 기초로, 체결 각도를 계산하고, 및
    상기 계산된 체결 각도만큼 기울이도록 상기 체결 모듈을 제어하는 장치.
  6. 제3항에 있어서,
    가공 모듈을 더 포함하고,
    상기 프로세서는
    상기 제2 체결 부재가 상기 제1 체결 홀의 일부를 가리고 있는 경우 상기 제1 체결 홀을 가리고 있는 상기 제1 체결 부재의 가림 길이 및 가림 방향을 계산하고, 및
    상기 가림 방향으로 상기 가림 길이만큼 상기 제2 체결 부재를 제거하도록 상기 가공 모듈을 제어하는 장치.
  7. 제3항에 있어서,
    가압 모듈을 더 포함하고,
    상기 프로세서는
    상기 제2 체결 부재가 상기 제1 체결 홀의 일부를 가리고 있는 경우 상기 제1 체결 홀을 가리고 있는 상기 제2 체결 부재의 가림 길이 및 가림 방향을 계산하고, 및
    상기 가림 방향으로 상기 가림 길이만큼 상기 제2 체결 부재를 이동시키도록 상기 가압 모듈을 제어하는 장치.
  8. 제3항에 있어서,
    가압 모듈을 더 포함하고,
    상기 프로세서는
    상기 제2 체결 부재가 상기 제1 체결 부재에 일정 각도 기울어져 안착된 경우 상기 제2 체결 홀의 실제 직경과 상기 영상으로부터 계산된 제2 체결 홀의 직경을 기초로, 상기 제2 체결 부재의 기울기 각도를 계산하고, 및
    상기 계산된 기울기 각도에 대응하여, 상기 제2 체결 부재를 상기 제1 체결 부재를 향하는 방향으로 누르도록 상기 가압 모듈을 제어하는 장치.
  9. 제3항에 있어서,
    상기 프로세서는
    상기 제1 체결 부재가 다수의 제1 체결 홀을 포함하는 경우 상기 다수의 체1 체결 홀에 대한 가림 방향을 기반으로, 가림 경향을 인식하고, 및
    상기 인식된 가림 경향을 기반으로, 상기 제2 체결 부재에 대한 조작이 필요함을 알람하는 장치.
  10. 제3항에 있어서,
    상기 프로세서는
    상기 보정이 지정된 횟수 이상 발생하는 경우 작업 환경의 재설정이 필요함을 알람하는 장치.
  11. 제1항에 있어서,
    상기 프로세서는
    상기 촬영된 영상을 전처리하고,
    상기 인공지능 모델을 이용하여, 상기 전처리된 영상을 분석하고,
    분석 결과를 기초로 상기 체결 영역의 인식하고,
    인식 결과를 기반으로 상기 체결 영역과 관련된 정보를 추정하는 장치.
  12. 체결 장치의 제어 방법에 있어서,
    카메라 모듈을 이용하여, 패스너가 체결되는 체결 영역과 관련된 영상을 촬영하는 단계;
    기 학습된 인공지능 모델을 이용하여, 상기 촬영된 영상으로부터 상기 체결 영역에 대한 정보를 추정하는 단계;
    상기 추정된 정보를 기반으로, 지정된 기준 체결 조건을 만족하는지 확인하는 단계; 및
    상기 기준 체결 조건을 만족하는 경우 체결 모듈을 이용하여 상기 체결 영역에 상기 패스너를 체결하는 단계를 포함하는 방법.
  13. 제12항에 있어서,
    상기 기준 체결 조건을 만족하는지 확인하는 단계는
    제1 체결 부재 및 상기 제1 체결 부재의 상부에 배치되는 제2 체결 부재 간의 안착 상태를 판단하는 단계;
    상기 제1 체결 부재에 형성된 제1 체결 홀의 가림 여부를 판단하는 단계; 및
    상기 체결 모듈의 중심축과 상기 제1 체결 홀의 중심축 간의 차이가 지정된 기준값 이내인지 확인하는 단계를 포함하는 방법.
  14. 제13항에 있어서,
    상기 기준 체결 조건을 만족하지 않는 경우 보정이 가능한지 확인하는 단계; 및
    상기 보정이 불가능한 경우 상기 체결 영역에 상기 패스너의 체결이 불가능함을 알람하는 단계를 더 포함하는 방법.
  15. 제14항에 있어서,
    상기 보정이 가능한 경우 상기 체결 모듈의 위치, 상기 패스너의 체결 각도, 상기 제2 체결 부재의 위치, 상기 제2 체결 부재의 안착 상태, 및 상기 제2 체결 부재에 형성된 제2 체결 홀의 크기 중 적어도 하나를 보정하는 단계를 더 포함하는 방법.
  16. 제15항에 있어서,
    상기 보정하는 단계는
    상기 제1 체결 홀의 중심 좌표와 상기 체결 모듈의 중심 좌표의 차이가 지정된 기준값을 초과하는 경우 상기 차이가 상기 기준값 이내가 되도록 상기 체결 모듈의 위치를 이동하는 단계를 포함하는 방법.
  17. 제15항에 있어서,
    상기 보정하는 단계는 상기 제2 체결 부재가 상기 제1 체결 홀의 일부를 가리고 있는 경우:
    상기 제2 체결 부재의 두께 및 상기 제1 체결 홀을 가리고 있는 상기 제2 체결 부재의 가림 길이를 기초로, 체결 각도를 계산하고, 상기 계산된 체결 각도만큼 상기 체결 모듈을 기울이는 단계;
    상기 제1 체결 홀을 가리고 있는 상기 제1 체결 부재의 가림 길이 및 가림 방향을 계산하고, 가공 모듈을 이용하여 상기 가림 방향으로 상기 가림 길이만큼 상기 제2 체결 부재를 제거하는 단계; 및
    상기 제1 체결 홀을 가리고 있는 상기 제2 체결 부재의 가림 길이 및 가림 방향을 계산하고, 가압 모듈을 이용하여 상기 가림 방향으로 상기 가림 길이만큼 상기 제2 체결 부재를 이동시키는 단계 중 적어도 하나를 포함하는 방법.
  18. 제15항에 있어서,
    상기 보정하는 단계는
    상기 제2 체결 부재가 상기 제1 체결 부재에 일정 각도 기울어져 안착된 경우 상기 제2 체결 홀의 실제 직경과 상기 영상으로부터 계산된 제2 체결 홀의 직경을 기초로, 상기 제2 체결 부재의 기울기 각도를 계산하는 단계; 및
    상기 계산된 기울기 각도에 대응하여, 가압 모듈을 통해 상기 제2 체결 부재를 상기 제1 체결 부재를 향하는 방향으로 누르는 단계를 포함하는 방법.
  19. 제15항에 있어서,
    상기 제1 체결 부재가 다수의 제1 체결 홀을 포함하는 경우 상기 다수의 체1 체결 홀에 대한 가림 방향을 기반으로, 가림 경향을 인식하고, 상기 인식된 가림 경향을 기반으로, 상기 제2 체결 부재에 대한 조작이 필요함을 알람하는 단계; 및
    상기 보정이 지정된 횟수 이상 발생하는 경우 작업 환경의 재설정이 필요함을 알람하는 단계 중 적어도 하나를 더 포함하는 방법.
  20. 제12항에 있어서,
    상기 촬영된 영상을 전처리하는 단계를 더 포함하고,
    상기 정보를 추정하는 단계는
    상기 인공지능 모델을 이용하여, 상기 전처리된 영상을 분석하고, 분석 결과를 기초로 상기 체결 영역의 인식하고, 인식 결과를 기반으로 상기 체결 영역과 관련된 정보를 추정하는 단계를 포함하는 방법.
PCT/KR2024/002628 2023-06-30 2024-02-29 패스너 체결 장치 및 그 제어 방법 Ceased WO2025005385A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202480044660.1A CN121464018A (zh) 2023-06-30 2024-02-29 紧固件紧固装置及其控制方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20230085056 2023-06-30
KR10-2023-0085056 2023-06-30
KR10-2023-0137409 2023-10-16
KR1020230137409A KR20250003265A (ko) 2023-06-30 2023-10-16 패스너 체결 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2025005385A1 true WO2025005385A1 (ko) 2025-01-02

Family

ID=93938696

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/002628 Ceased WO2025005385A1 (ko) 2023-06-30 2024-02-29 패스너 체결 장치 및 그 제어 방법

Country Status (2)

Country Link
CN (1) CN121464018A (ko)
WO (1) WO2025005385A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818201B2 (ja) * 1988-11-08 1996-02-28 株式会社小松製作所 ボルト，ナット締結装置および締結方法
EP0822029A1 (en) * 1995-04-11 1998-02-04 Matsushita Electric Industrial Co., Ltd. Method of screw hole recognition
JP2018103309A (ja) * 2016-12-26 2018-07-05 ファナック株式会社 組付動作を学習する機械学習装置および部品組付システム
JP2018140471A (ja) * 2017-02-28 2018-09-13 ファナック株式会社 制御装置及び機械学習装置
KR102335356B1 (ko) * 2019-10-07 2021-12-03 현대자동차 주식회사 체결공구 시스템 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818201B2 (ja) * 1988-11-08 1996-02-28 株式会社小松製作所 ボルト，ナット締結装置および締結方法
EP0822029A1 (en) * 1995-04-11 1998-02-04 Matsushita Electric Industrial Co., Ltd. Method of screw hole recognition
JP2018103309A (ja) * 2016-12-26 2018-07-05 ファナック株式会社 組付動作を学習する機械学習装置および部品組付システム
JP2018140471A (ja) * 2017-02-28 2018-09-13 ファナック株式会社 制御装置及び機械学習装置
KR102335356B1 (ko) * 2019-10-07 2021-12-03 현대자동차 주식회사 체결공구 시스템 및 그 제어 방법

Also Published As

Publication number Publication date
CN121464018A (zh) 2026-02-03

Similar Documents

Publication Publication Date Title
Mangold et al. Vision-based screw head detection for automated disassembly for remanufacturing
CN113601158A (zh) 基于视觉定位的螺栓上料预拧紧系统及控制方法
WO2013099373A1 (ja) 作業管理装置および作業管理システム
WO2020145597A1 (en) Battery including flexible circuit board connected from side of printed circuit board, and electronic device including the battery
JP6844582B2 (ja) ビス締め装置
US7424143B2 (en) Method for recognizing working position of a device transfer apparatus in semiconductor test handler
KR101469158B1 (ko) 카메라 렌즈 모듈 검사장치 및 그에 따른 검사방법
WO2023167498A1 (ko) 배터리 불량 검출 장치, 방법 및 시스템
WO2022114665A1 (ko) 태양전지 셀에 대한 이미지 분류 방법 및 장치
WO2018093219A1 (ko) 카메라 모듈
CN113522884A (zh) 一种自动修正极柱清洗轨迹的方法及装置
JP2013003773A (ja) 画像判別装置、画像特定装置、この画像特定装置を備えた作業工程管理システム、および、プログラム
CN118371989A (zh) 内存条的自动检测方法、装置、设备以及存储介质
WO2021177245A1 (ja) 画像処理装置、作業指示作成システム、作業指示作成方法
WO2025105825A1 (ko) 모바일 로봇을 스테이션으로 안내하는 시스템
KR20250003265A (ko) 패스너 체결 장치 및 그 제어 방법
KR101792499B1 (ko) 반도체 제조 장치의 티칭 방법
CN118578018B (zh) 焊接设备、焊接方法及装置
WO2015115764A1 (ko) 카메라 모듈
WO2019098429A1 (ko) 비전 시스템을 이용한 로봇 작업장 안전강화 시스템 및 방법
WO2012173285A1 (ko) 테스트 핸들러의 반도체 소자 비전검사 시스템 및 그 방법
CN121464018A (zh) 紧固件紧固装置及其控制方法
JPH0627299Y2 (ja) 位置決め治具
CN118617490A (zh) 自动上下料设备、自动上下料定位方法及定位标定方法
CN115297623A (zh) 异形电子元件插装控制方法、系统及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24832173

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE