WO2023120872A1 - 조광 부재를 포함하는 센서 어셈블리 및 이를 포함하는 전자 장치 - Google Patents

조광 부재를 포함하는 센서 어셈블리 및 이를 포함하는 전자 장치 Download PDF

Info

Publication number
WO2023120872A1
WO2023120872A1 PCT/KR2022/013777 KR2022013777W WO2023120872A1 WO 2023120872 A1 WO2023120872 A1 WO 2023120872A1 KR 2022013777 W KR2022013777 W KR 2022013777W WO 2023120872 A1 WO2023120872 A1 WO 2023120872A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
sensor assembly
control member
light control
image sensor
Prior art date
Application number
PCT/KR2022/013777
Other languages
English (en)
French (fr)
Inventor
김현우
홍현석
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP22911511.8A priority Critical patent/EP4372345A1/en
Priority to CN202280084835.2A priority patent/CN118435031A/zh
Priority to US17/961,131 priority patent/US12041336B2/en
Publication of WO2023120872A1 publication Critical patent/WO2023120872A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/24—Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/0061—Force sensors associated with industrial machines or actuators
    • G01L5/0076—Force sensors associated with manufacturing machines
    • G01L5/009—Force sensors associated with material gripping devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • the present disclosure relates to a sensor assembly. More specifically, the present disclosure relates to sensor assemblies that include dimming materials.
  • a tactile sensor is a sensor for determining the characteristics of the surface of an object. It can also be used to measure the softness or hardness of an object.
  • a tactile sensor may be mounted and used in various electronic devices (eg, industrial robots), and the need thereof is increasing in various industrial fields.
  • a tactile sensor typically acquires light reflected from the surface of an object with an image sensor (eg, a metal oxide semiconductor (CMOS)).
  • CMOS metal oxide semiconductor
  • tactile sensor In using a tactile sensor, various pieces of information about an object to be analyzed, such as not only surface information of an object but also distance information and object identification information, may be required. In this case, the tactile sensor and other sensors may be used in parallel.
  • a sensor assembly may include a housing including an opening, a circuit board disposed inside the housing, an image sensor electrically connected to the circuit board, and reflection of light from a light transmission state through which external light may be transmitted when power is applied. and a contact member disposed adjacent to the opening and through which light is transmitted.
  • the dimming member is disposed such that a longitudinal extension line of the dimming member and a longitudinal extension line of the contact member form a predetermined angle.
  • the image sensor is arranged to acquire image data behind the light control member.
  • the image sensor is arranged to receive light reflected from the light control member and light directly incident on the contact member.
  • a control method of a sensor assembly is provided. According to the application of a housing including an opening, a circuit board disposed inside the housing, an image sensor electrically connected to the circuit board, and power, light is reflected from a light transmission state through which external light can be transmitted.
  • the light control member comprises: a longitudinal extension line of the light control member; preparing a sensor assembly disposed such that an extension line of the contact member in the longitudinal direction forms a predetermined angle; adjusting the light control member to a light transmission state; identifying an external object existing beyond the light control member; Adjusting a member to a light reflection state, obtaining distance information between the external object and the sensor assembly, and acquiring surface tactile information of the external object.
  • an electronic device includes a sensor assembly and a circuit board electrically connected to the sensor assembly.
  • the sensor assembly includes a housing including an opening, an image sensor, a light control member that changes from a light transmitting state through which external light can pass through to a light reflection state through which light can be reflected, according to the application of power, and the opening. and a contact member through which light is transmitted.
  • the light control member is disposed such that an extension line in the longitudinal direction of the light control member and an extension line in the longitudinal direction of the contact member form a predetermined angle, and when the light control member is in a light transmitting state, the image sensor controls the light control. It is arranged to acquire image data of a rear side of the member, and when the light control member is in an on state, the image sensor is arranged to receive light reflected from the light control member and light directly incident on the contact member.
  • FIG. 1 is a schematic diagram of a sensor assembly according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram showing the internal structure of a sensor assembly according to an embodiment of the present disclosure.
  • FIG 3 is a view showing a field of view range of a sensor assembly according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating a process of identifying an object by a sensor assembly according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a distance recognition operation and a tactile sensing operation of a sensor assembly according to an exemplary embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating a control method of a sensor assembly according to an embodiment of the present disclosure.
  • FIG. 7A, 7B, and 7C are diagrams illustrating the flowchart of FIG. 6 by way of example, according to an embodiment of the present disclosure.
  • first, second, or first or secondary may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited.
  • a (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of this document may be implemented as software including one or more instructions stored in a storage medium readable by a machine.
  • the processor of the device may call at least one command among one or more commands stored from a storage medium and execute it. This enables the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • each component (eg, module or program) of the components described above may include a single object or a plurality of entities, and some of the plurality of entities are separated from other components. may be placed.
  • one or more components or operations among the corresponding components described above may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations are executed in a different order. may be added, omitted, or one or more other actions may be added.
  • 1 is a schematic diagram of a sensor assembly according to an embodiment of the present disclosure.
  • 2 is a diagram showing the internal structure of a sensor assembly according to an embodiment of the present disclosure.
  • the sensor assembly 10 may include all or part of a housing 100, an image sensor 120, a light control member 200, a contact member 300, and a connection part 11. there is.
  • the sensor assembly 10 can identify an object (eg, object 1 of FIG. 3) near the sensor assembly 10, and is capable of identifying an object (eg, object 1 of FIG. A distance may be determined, and tactile information of an object (eg, object 1 of FIG. 3 ) may be acquired.
  • the sensor assembly 10 may be electrically and/or physically connected to another external device (eg, an industrial robot) through the connection unit 11 .
  • the sensor assembly 10 may be controlled by a connected external electronic device (eg, an industrial robot).
  • a connected external electronic device eg, an industrial robot
  • movement of the sensor assembly 10 or internal operation of the sensor assembly 10 may be controlled by an electrical signal from a connected external electronic device.
  • the sensor assembly 10 is mounted on a hand of an industrial robot so that tactile information can be acquired when the industrial robot grabs an object.
  • the industrial robot can use the sensor assembly 10 to identify an object outside the sensor assembly 10 and determine the distance between the object and the sensor assembly 10 (for example, a finger of the industrial robot), , the tactile information of an object can be obtained by grabbing the object.
  • the sensor assembly 10 may include a power source therein or be operated by being connected to an external power source.
  • a circuit board (not shown) including a processor for adjusting light transmittance of the light control member 200 may be included.
  • the circuit board may be electrically connected to the image sensor 120 and/or the light control member 200 .
  • the processor may be programmed to process image information obtained from an image sensor (eg, the image sensor 120 of FIG. 3 ).
  • the sensor assembly 10 may be connected to a power source included in the external electronic device or a processor of the external electronic device.
  • the image sensor 120 may be a digital camera, that is, a camera for outputting image data as an electrical signal.
  • it may be a CCD camera.
  • the image sensor 120 of the present invention is not limited to a CCD camera, and for example, a digital camera using a C-MOS type image sensor may be used.
  • the housing 100 may form the exterior of the sensor assembly 10 .
  • the housing 100 may include a first surface 101 , a second surface 102 and a third surface 103 .
  • the first surface 101 may mean a bottom surface (a surface in the -Z-axis direction) of the housing 100 .
  • the second surface 102 and the third surface 103 may refer to both side surfaces of the housing 100 (both sides in the X-axis direction).
  • the second surface 102 and the third surface 103 may be disposed to face each other.
  • the outer edge region 102-1 of the second surface 102 and the first surface 101 may be disposed to have a predetermined angle.
  • the second surface 102 may be formed so that the width gradually decreases toward the first side (+y-axis direction) of the housing 100 .
  • the second surface 102 may be expressed as a tapered shape.
  • the outer edge region 102-1 of the second surface 102 may have a gently curved shape.
  • the second surface 102 and the third surface 103 may be symmetrical to each other.
  • the description of the second surface 102 may be equally or similarly applied to the third surface 103 .
  • the description of the outer edge area 102-1 of the second surface 102 may be applied to the outer edge area 103-1 of the third surface 103.
  • the light control member 200 may be disposed to form at least one surface of the housing 100 .
  • the light control member 200 may be disposed perpendicular to the second surface 102 and the third surface 103 so as to connect the second surface 102 and the third surface 103.
  • the light control member 200 may be disposed between the second surface 102 and the third surface 103 .
  • the light control member 200 may be disposed to cover an inner space of the housing formed between the second surface 102 and the third surface 103 .
  • the light control member 200 may be disposed to form a predetermined angle with the first surface 101 .
  • the sensor assembly 10 may achieve a stereo-camera effect.
  • the light control member 200 may be formed of a material whose light transmittance can be changed.
  • the reflectance of the light control member 200 may be changed according to the application of power. For example, when power is applied to the light control member 200 , light can be transmitted, and light from the outside can be incident into the housing 100 .
  • the light control member 200 may reflect light when power is cut off.
  • the light transmittance of the light control member 200 may be adjusted by a processor (not shown) included in the sensor assembly 10 or a processor included in a connected external electronic device.
  • the image sensor 120 may be disposed inside the housing 100 to face the first side (+y-axis direction). According to an embodiment, the image sensor 120 may be disposed to receive light incident through the light control member 200 . As another example, the image sensor 120 may be arranged to receive light incident through the aperture 104 . As another example, the image sensor 120 may be disposed to receive both light incident through the aperture 104 and reflected from the light control member 200 and light incident through the aperture 104 . In this regard, it will be described later.
  • the image sensor 120 may be various camera modules, but is not limited thereto. It will be appreciated that various configurations capable of receiving and sensing light may be used as long as the spirit of the present disclosure can be achieved.
  • the first surface 101 may include an opening 104 .
  • Light may be incident through the opening 104 and the image sensor 120 may receive it.
  • the contact member 300 may be disposed below the first surface 101 (in the -Z-axis direction).
  • the contact member 300 may be disposed to cover the opening 104 .
  • the contact member 300 may be formed of a material capable of transmitting light and being elastic.
  • the sensor assembly 10 may receive light incident through the contact member 300 and determine a distance between an object (eg, the object 1 of FIG. 3 ) and the sensor assembly 10. there is.
  • the contact member 300 may be formed of an elastic material.
  • the sensor assembly 10 may contact an object (eg, the object 1 of FIG. 3 ) through the contact member 300 and obtain tactile information of the object.
  • the contact member 300 may be formed of an optically transparent elastic body (eg, gel).
  • the contact member 300 may be formed of silicone resin such as silicone rubber, may be formed of other types of rubber or elastomer, as well as other optically transparent materials.
  • the contact member 300 may be made of a translucent material.
  • FIG 3 is a view showing a field of view range of a sensor assembly according to an embodiment of the present disclosure.
  • the image sensor 120 may be disposed to receive light from the opening 104 and the light control member 200 .
  • the description of the image sensor 120, the housing 100, and the light control member 200 of FIG. 3 may be applied to the contents of FIG. 1 .
  • the view angle range Rt may be adjusted according to the arrangement angle of the image sensor 120 .
  • a line extending vertically from the center of the sensing surface 121 of the image sensor 120 may correspond to the center line of the view angle range Rt.
  • the image sensor 120 may be disposed such that both the light control member 200 and the opening 104 are included within the view angle range Rt.
  • the view angle range Rt of the image sensor 120 may include a first view angle range R1 and a second view angle range R2.
  • the first view angle range R1 may refer to a view angle range of the image sensor 120 corresponding to the light control member 200
  • the second view angle range R2 may include the aperture 104 or the contact member. This may mean a field of view range of the image sensor 120 corresponding to (300).
  • the first view angle range R1 and/or the second view angle range R2 may be adjusted according to the arrangement angle of the image sensor 120 .
  • the view angle range Rt of the image sensor 120 includes a first view angle range R1 for receiving light incident through the light control member 200 and light incident through the opening 104 . It can also be expressed that it can be divided into a second view angle range R2 for
  • the image sensor 120 receives light incident through the light control member 200 in a first view angle range R1 and identifies an object outside the sensor assembly 10. can do.
  • the image sensor 120 receives light reflected through the light control member 200 in the first view angle range R1, and the sensor assembly 10 near the aperture 104 has an external object. It is possible to obtain tactile information about .
  • the image sensor 120 receives light incident through the aperture 104 in the second view angle range R2 and moves the sensor assembly 10 near the aperture 104 to an external object. It is possible to obtain tactile information about .
  • the first view angle range R1 and the second view angle range R2 may be equal to each other. However, this is not essential, and the first view angle range R1 and the second view angle range R2 may be configured in different ranges.
  • the image sensor 120 may be disposed such that the first view angle range R1 is larger than the second view angle range R2.
  • the first view angle range R1 and the second view angle range R2 are between at least a portion of the dimming member 200, the aperture 104, and/or the contact member 300 and the image sensor 120. It can be adjusted according to the arrangement relationship of According to one embodiment, the configuration of the sensor assembly 10 with respect to the normal (eg, the first axis (y-axis)) of the sensing surface 121 and the direction perpendicular (eg, the second axis (z-axis)) The field of view range of the image sensor 120 may be adjusted according to the area occupied by the light control member 200 , the opening 104 , and/or the contact member 300 .
  • a configuration that occupies a relatively wide area with respect to a direction perpendicular to the normal of the sensing surface 121 eg, the dimming member 200, the aperture 104, or the contact member 300
  • a corresponding field of view range could be wider
  • the image sensor 120 is disposed such that the normal of the sensing surface 121 extends parallel to or similar to the first axis (y-axis)
  • the light control member 200 extends along the first axis (y-axis) and the first axis (y-axis).
  • the first view angle range R1 corresponding to the light control member 200 is the aperture ( 104) or the second view angle range R2 corresponding to that of the contact member 300.
  • FIG. 4 is a diagram illustrating a process of identifying an object by a sensor assembly according to an embodiment of the present disclosure.
  • the sensor assembly 10 may acquire visual information of the object 1 . Descriptions of the sensor assembly 10 of FIGS. 1 to 3 may be applied to the sensor assembly 10 of FIG. 4 .
  • the sensor assembly 10 may identify an object 1 outside the sensor assembly 10.
  • the light control member 200 when the light control member 200 is in a light transmission state, the light control member 200 may transmit light reflected from the object 1 into the sensor assembly 10 .
  • the image sensor 120 may receive light transmitted from the light control member 200 and obtain visual information related to the object 1 outside the sensor assembly 10 .
  • the visual information may include shape information and color (RGB) information of the object 1 .
  • the image sensor 120 may obtain visual information of the object 1 existing in an area outside the sensor assembly 10 corresponding to the first view angle range R1 .
  • the sensor assembly 10 may acquire tactile information of the object 2 when the light control member 200 is in a light transmission state.
  • An operation of acquiring tactile information of an external object by the sensor assembly 10 can be equally applied when the light control member 200 is in a light transmission state or a light reflection state, and will be described with reference to FIG. 5 .
  • FIG. 5 is a diagram illustrating a distance recognition operation and a tactile sensing operation of a sensor assembly according to an exemplary embodiment of the present disclosure.
  • the sensor assembly 10 may acquire tactile information of an external object in contact with the sensor assembly 10 and/or distance information between the sensor assembly 10 and an external object.
  • contents of FIGS. 1 to 4 may be applied mutatis mutandis.
  • a configuration of the sensor assembly 10 of FIG. 5 may be the same as or similar to that of the sensor assembly 10 of FIGS. 1 to 4 .
  • the sensor assembly 10 may acquire distance information between the sensor assembly 10 and the object 2 - 1 outside the sensor assembly 10 .
  • light reflected from the object 2-1 may be incident into the housing 100 through the contact member 300 and/or the opening 104. Some of the light incident into the housing 100 may be directly transmitted to the image sensor 120 , and the remaining part may be reflected from the light control member 200 and transmitted to the image sensor 120 .
  • an operation in which the sensor assembly 10 obtains distance information of the object 2-1 may be operated when the light control member 200 is in a light reflection state.
  • the image sensor 120 may directly receive light incident through the opening 104 and/or the contact member 300 through the second view angle range R2 . Also, the image sensor 120 may receive light reflected from the light control member 200 through the first view angle range R1 . As the image sensor 120 receives light reflected through the light control member 200, an effect of adding a virtual image sensor 120-1 may be achieved.
  • the image sensor 120 includes the first image sensor 120 receiving light in the first view angle range r1 and the second image sensor 120- receiving light in the second view angle range r2.
  • the sensor assembly 10 may include a first image sensor (eg, a real image sensor) that obtains image information on light received in a first view angle range R1 by using one image sensor 120 . 120) and a second image sensor (e.g., virtual image sensor 120-1) that obtains image information on light received in the second view angle range R2. It can be. According to an embodiment, images obtained from two cameras (eg, the image sensor 120 and the virtual image sensor 120-1) having different positions of the same object (eg, the object 2-1). Based on the information, a processor (not shown) connected to the image sensor may obtain distance information between the sensor assembly 10 and the object 2-1.
  • a first image sensor eg, a real image sensor
  • a second image sensor e.g., virtual image sensor 120-1
  • images obtained from two cameras eg., the image sensor 120 and the virtual image sensor 120-1 having different positions of the same object (eg, the object 2-1).
  • a processor (not shown) connected to the image sensor may obtain distance information between
  • the sensor assembly 10 may obtain tactile information of the object 2 - 2 in contact with at least a part of the sensor assembly 10 .
  • the sensor assembly 10 may acquire tactile information of the surface of the object 2 - 2 in contact with the contact member 300 .
  • the contact member 300 may include a pattern.
  • the pattern changes the path of light passing through the contact member 300 when the contact member 300 contacts or presses the object 2-2, thereby obtaining tactile information on the surface of the object 2-2. It may mean a configuration that facilitates.
  • the pattern may be formed of a material easily deformable (eg, an elastic body). Also, the pattern may be formed of the same material as the contact member 300 .
  • the shape of the pattern may be changed in correspondence with the force acting on the pattern (or the contact member) while an external object is brought into contact with the contact member 300 or individually.
  • a path of light passing through the pattern is changed (as the pattern or the shape of the contact member 300 is changed) so that the image sensor 120 ), and a processor (not shown) may obtain surface tactile information of the object 2-2 by analyzing it.
  • a light source (not shown) may be disposed near the contact member 300 .
  • the light source may be a white light source, but is not limited thereto. Light generated by the light source may be incident into the contact member 300 . Accordingly, performance of obtaining surface information of the object 2 - 2 sensed by the contact member 300 may be improved.
  • FIG. 6 is a flowchart illustrating a control method of a sensor assembly according to an embodiment of the present disclosure.
  • FIG. 7A, 7B, and 7C are views illustrating the flowchart of FIG. 6 by way of example, according to an embodiment of the present disclosure.
  • the control method of the sensor assembly 20 includes an operation 1000 of identifying an external object, an operation 1001 of adjusting light transmittance of a light control member, and distance information to the object. It may include all or part of an operation 1002 of obtaining tactile information and/or an operation 1003 of obtaining tactile information of an object.
  • the sensor assembly 20 may include a first sensor assembly 20-1 and a second sensor assembly 20-2.
  • the first sensor assembly 20-1 and the second sensor assembly 20-2 may be connected to external electronic devices through connection members 21-1 and 21-2, respectively.
  • an external electronic device connected to two or more sensor assemblies 20-1 and 20-2 may operate to grab the object 3.
  • the first sensor assembly 20-1 and the second sensor assembly 20-2 may include the same components, and unless otherwise specified, the first sensor assembly 20-2 It is clarified in advance that the description of 1) may be applied to the second sensor assembly 20-2.
  • the external electronic device may be an industrial robot, and the connection members 21-1 and 21-2 may be fingers (or components corresponding thereto) of the industrial robot.
  • the sensor assembly 20 may identify an object 3 outside the sensor assembly 20 (1000).
  • the operation of identifying the external object 3 by the sensor assembly 20 may be applied as described above in FIG. 4 , so duplicate descriptions are omitted.
  • the external electronic device may recognize the existence of the object 3 or obtain visual information about the object 3 through the sensor assembly 20 .
  • the object 1 identification operation may be performed by at least one of the first sensor assembly 20-1 and/or the second sensor assembly 20-2.
  • at least one of the first sensor assembly 20-1 and/or the second sensor assembly 20-2 in which the object 1 identification operation is performed is a light control member (e.g., as shown in FIG. 4).
  • the light control member 200 may be adjusted to have a light transmission state.
  • the first sensor assembly 20-1 may identify the object 3 present in the sensing area A1.
  • the sensing area A1 may correspond to the aforementioned first view angle range (eg, the first view angle range r1 of FIG. 4 ).
  • the sensor assembly 20 when the object 3 is identified, the sensor assembly 20 may be moved to be adjacent to the object 3 by an external electronic device. For example, light reflected from the object 3 is transmitted to the inside of the sensor assembly 20 through a contact member (eg, the contact member 300 of FIG. 5 ) or an opening (eg, the opening 104 of FIG. 5 ). , the position of the sensor assembly 20 may be moved near the object 3 . As another example, in order to contact the object 1 or grab the object 3, the object 3 is positioned between the first sensor assembly 20-1 and/or the second sensor assembly 20-2, The position of the sensor assembly 20 may be moved.
  • a contact member eg, the contact member 300 of FIG. 5
  • an opening eg, the opening 104 of FIG. 5
  • the position of the sensor assembly 20 may be moved near the object 3 .
  • the object 3 in order to contact the object 1 or grab the object 3, the object 3 is positioned between the first sensor assembly 20-1 and/or the second sensor assembly 20-2, The position of the sensor assembly 20
  • the sensor assembly 20 may adjust light transmittance of a light control member (eg, the light control member 200 of FIG. 5 ) ( 1001 ).
  • the sensor assembly 20 may switch the light control member (eg, the light control member 200 of FIG. 5 ) into a light reflection state.
  • the sensor assembly 20 may acquire distance information to the object 3 (1002).
  • the first sensor assembly 20-1 and/or the second sensor assembly 20-2 transmits image information for determining the distance l1 and/or l2 to the object 3. can be obtained
  • An operation for the sensor assembly 20 to determine the distance information to the object 3 is the same as or similar to that described above with reference to FIG. 5 , so duplicate descriptions will be omitted.
  • the sensor assembly 20 may obtain tactile information of the object 3 (1003). Since all or part of the above description in FIG. 5 may be applied to the operation of the sensor assembly 20 to acquire tactile information of the object 3, duplicate descriptions will be omitted.
  • the position of the sensor assembly 20 may be moved so as to come into contact with the object 3 by a connected external electronic device (eg, an industrial robot).
  • a connected external electronic device eg, an industrial robot
  • the first sensor assembly 20-1 and/or the second sensor assembly 20-2 is configured so that a contact member (eg, the contact member 300 of FIG. 5) comes into contact with the object 1,
  • the location may be moved by external electronic devices connected to each other.
  • the external electronic device may grab the object 3 using the sensor assembly 20 .
  • the first sensor assembly 20-1 and the second sensor assembly 20-2 are formed as parts of an industrial robot, and the industrial robot includes the first sensor assembly 20-1 and the second sensor assembly 20. It is possible to grab the object (3) by adjusting the position of -2).
  • the first sensor assembly 20-1 and/or the second sensor assembly 20-2 are in contact with the object 1 or in a state of grabbing the object 3, and Surface tactile information of the object 3 may be obtained from light reflected from the surface.
  • multiple sensors are required or multiple sensors must be merged to form a problem in which the arrangement relationship between the sensors is complicated or the size of the merged sensors is increased. may occur.
  • one aspect of the present disclosure is to provide a sensor assembly capable of acquiring various types of information with a single sensor assembly by including a light control member capable of adjusting light transmittance.
  • a sensor assembly having a simple structure and miniaturization may be provided by providing a sensor assembly capable of obtaining various information of an external object corresponding to the light transmittance of the light control member.
  • a housing including an opening (eg, opening 104 in FIG. 3 ) (eg, housing 100 in FIG. 1 ), a circuit board disposed inside the housing; An image sensor electrically connected to the circuit board (e.g., the image sensor 120 of FIG. 3), when power is applied, from a light transmission state through which external light can pass through to a light reflection state through which light can be reflected.
  • a light control member for example, the light control member 200 of FIG. 3 configured to change transmittance, and a contact member disposed adjacent to the opening and through which light may pass (for example, the contact member 300 of FIG.
  • the light control member When viewed from the side, the light control member is arranged such that an extension line in the longitudinal direction of the light control member and an extension line in the longitudinal direction of the contact member form a predetermined angle, and when the light control member is in a light transmission state, the image A sensor is arranged to acquire an image over the light control member, and when the light control member is in a light reflecting state, the image sensor receives light reflected from the light control member and light directly incident through the contact member.
  • a sensor assembly arranged to do so may be provided.
  • the image sensor may include a first view angle range (eg, the first view angle range r1 of FIG. 3 ) for receiving light incident from the light control member and light incident from the opening or the contact member.
  • a sensor assembly including a second view angle range (eg, the second view angle range r2 of FIG. 3 ) for receiving light may be provided.
  • a sensor assembly configured such that the first view angle range is wider than the second view angle range may be provided.
  • the image sensor when the light control member is in a light reflection state, the image sensor may be provided with a sensor assembly capable of operating as a stereo-camera.
  • the image sensor may be provided with a sensor assembly capable of obtaining distance information from the sensor assembly to an external object located near the opening.
  • the sensor assembly may obtain tactile information on the surface of an external object in contact with the contact member.
  • a sensor assembly may further include a pattern formed on a surface or inside of the contact member in order to obtain the surface tactile information.
  • a sensor assembly further comprising a light source disposed adjacent to the contact member may be provided.
  • the light source operates when the light control member is in a light reflection state
  • a sensor assembly configured to transmit white light into the contact member may be provided.
  • the sensor assembly may identify an external object positioned behind the light control member.
  • a sensor assembly may be provided that further includes a connection part (eg, connection part 11 of FIG. 1 ) to be connected to an external electronic device.
  • a connection part eg, connection part 11 of FIG. 1
  • the external electronic device may be provided with a sensor assembly that is an industrial robot.
  • a housing eg, housing 100 in FIG. 1
  • An opening e.g., opening 104 in FIG. 1
  • An image sensor electrically connected to the circuit board (e.g., the image sensor 120 of FIG. 3), according to the application of power, from a light transmission state in which external light can be transmitted to a light reflection state in which light can be reflected.
  • a variable light control member eg, the light control member 200 of FIG. 3
  • a contact member eg, the contact member 300 of FIG. 3
  • the light control member prepares a sensor assembly (e.g., the sensor assembly 10 of FIG.
  • Step 1 1) disposed so that the longitudinal extension line of the light control member and the longitudinal extension line of the contact member form a predetermined angle. Step, adjusting the light control member to a light transmission state; identifying an external object existing beyond the light control member; A control method of a sensor assembly comprising adjusting the light control member to a light reflection state, obtaining distance information between the external object and the sensor assembly, and acquiring surface tactile information of the external object is provided. It can be.
  • the image sensor may include a first view angle range (eg, the first view angle range r1 of FIG. 3 ) for receiving light incident from the light control member and light incident from the opening or the contact member.
  • a control method of a sensor assembly including a second view angle range (eg, the second view angle range r2 of FIG. 3 ) for receiving light may be provided.
  • a control method of a sensor assembly in which the first view angle range is set to be wider than the second view angle range may be provided.
  • the image sensor when the light control member is in a light reflection state, the image sensor may operate as a stereo-camera.
  • a control method of a sensor assembly may be provided.
  • a method for controlling a sensor assembly may further include a pattern formed on a surface or inside of the contact member in order to obtain the surface tactile information.
  • the sensor assembly may be provided with a control method of the sensor assembly further including a connection part (eg, connection part 11 of FIG. 1 ) for being connected to an external electronic device.
  • a connection part eg, connection part 11 of FIG. 1
  • a control method of a sensor assembly in which the external electronic device is an industrial robot may be provided.
  • a sensor assembly (eg, sensor assembly 10 of FIG. 1 ) and a circuit board electrically connected to the sensor assembly may be included, and the sensor assembly may include an opening (eg, opening 104 of FIG. 3 ). )), an image sensor (eg, the image sensor 120 of FIG. 3 ), and a light transmission state in which external light can be transmitted according to the application of power.
  • a light control member (for example, the light control member 200 of FIG. 3 ) configured to change light transmittance to a light reflection state capable of reflecting light from the light control member, and a contact member disposed adjacent to the opening and through which light can be transmitted ( Example: Including the contact member 300 of FIG.
  • the light control member when viewed from the side, the light control member is arranged such that a longitudinal extension line of the light control member and a longitudinal extension line of the contact member form a predetermined angle,
  • the image sensor When the light control member is in a light transmission state, the image sensor is arranged to acquire an image beyond the light control member, and when the light control member is in a light reflection state, the image sensor transmits light reflected from the light control member and the contact member.
  • An electronic device arranged to receive the light directly incident on the ? may be provided.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)

Abstract

센서 어셈블리가 제공된다. 상기 센서 어셈블리는 개구를 포함하는 하우징, 상기 하우징 내부에 배치된 회로 기판; 상기 회로 기판과 전기적으로 연결된 이미지 센서, 전원의 인가에 따라, 외부의 광이 투과될 수 있는 광 투과 상태로부터 광을 반사시킬 수 있는 광 반사 상태로, 광 투과도가 변화되는 조광 부재 및 상기 개구와 인접하게 배치되고, 광이 투과될 수 있는 접촉 부재를 포함한다. 측면에서 볼 때, 상기 조광부재는, 상기 조광 부재의 길이 방향 연장선과 상기 접촉 부재의 길이 방향 연장선이 소정의 각도를 이루도록 배치된다. 상기 조광 부재가 광 투과 상태일 때, 상기 이미지 센서는 상기 조광 부재 너머의(over) 이미지를 획득하도록 배치되고, 상기 조광 부재가 광 반사 상태일 때, 상기 이미지 센서는 상기 조광 부재에서 반사된 광과 상기 접촉 부재를 통해 직접 입사된 광을 수신하도록 배치된다.

Description

조광 부재를 포함하는 센서 어셈블리 및 이를 포함하는 전자 장치
본 개시는 센서 어셈블리에 관한 것이다. 보다 구체적으로, 본 개시는 조광 재료를 포함하는 센서 어셈블리에 관한 것이다.
촉각 센서(tactile sensor)는 물체 표면의 특성을 판단하기 위한 센서이다. 또한, 물체의 부드러움이나 경도를 측정하는 데에 이용될 수도 있다. 촉각 센서는, 다양한 전자 장치(예를 들어, 산업용 로봇)에 장착되어 이용될 수 있으며 다양한 산업 분야에서 그 필요성이 증가되고 있다. 촉각 센서는, 통상적으로 물체의 표면에서 반사되는 광을 이미지 센서(예: 금속 산화물 반도체(CMOS))로 획득한다.
촉각 센서를 이용함에 있어, 물체의 표면 정보뿐만 아니라 물체와의 거리 정보, 물체의 식별 정보 등, 분석하고자 하는 대상에 관한 다양한 정보들이 함께 요구될 수 있다. 이러한 경우, 촉각 센서와 다른 센서들이 병렬적으로 이용될 수 있다.
상기 정보는 본 개시의 이해를 돕기 위한 배경 정보로서만 제공된다. 위의 내용 중 어느 것이 본 개시와 관련하여 선행 기술로 적용될 수 있는지 여부에 대한 결정이 내려지지 않았으며 어떠한 주장도 이루어지지 않았다.
본 개시의 일 실시예에 따르면, 센서 어셈블리가 제공된다. 상기 센서 어셈블리는 개구를 포함하는 하우징, 상기 하우징 내부에 배치된 회로 기판, 상기 회로 기판과 전기적으로 연결된 이미지 센서, 전원의 인가에 따라, 외부의 광이 투과될 수 있는 광 투과 상태로부터 광을 반사시킬 수 있는 광 반사 상태로 변화되는 조광 부재 및 상기 개구와 인접하게 배치되고, 광이 투과될 수 있는 접촉 부재를 포함할 수 있다. 측면에서 볼 때, 상기 조광부재는, 상기 조광 부재의 길이 방향 연장선과 상기 접촉 부재의 길이 방향 연장선이 소정의 각도를 이루도록 배치된다. 상기 조광 부재가 광 투과 상태일 때, 상기 이미지 센서는 상기 조광 부재 뒤쪽의 이미지 데이터를 획득하도록 배치된다. 상기 조광 부재가 on 상태일 때, 상기 이미지 센서는 상기 조광 부재에서 반사된 광과 상기 접촉 부재를 직접 입사된 광을 수신하도록 배치된다.
본 개시의 일 실시예에 따르면, 센서 어셈블리의 제어 방법이 제공된다. 상기 방법은 개구를 포함하는 하우징, 상기 하우징 내부에 배치된 회로 기판, 상기 회로 기판과 전기적으로 연결된 이미지 센서, 전원의 인가에 따라, 외부의 광이 투과될 수 있는 광 투과 상태로부터 광을 반사시킬 수 있는 광 반사 상태로 변화되는 조광 부재, 및 상기 개구와 인접하게 배치되고, 광이 투과될 수 있는 접촉 부재를 포함하고, 측면에서 볼 때, 상기 조광부재는, 상기 조광 부재의 길이 방향 연장선과 상기 접촉 부재의 길이 방향 연장선이 소정의 각도를 이루도록 배치되는 센서 어셈블리를 준비하는 단계, 상기 조광 부재를 광 투과 상태로 조절하는 단계, 상기 조광 부재 너머에 존재하는 외부 오브젝트를 식별하는 단계, 상기 조광 부재를 광 반사 상태로 조절하는 단계, 상기 외부 오브젝트와 상기 센서 어셈블리 사이의 거리 정보를 획득하는 단계, 및 상기 외부 오브젝트의 표면 촉각 정보를 획득하는 단계를 포함한다.
본 개시의 일 실시예에 따르면, 전자 장치가 제공된다. 상기 전자 장치는 센서 어셈블리 및 상기 센서 어셈블리와 전기적으로 연결된 회로기판을 포함한다. 상기 센서 어셈블리는, 개구를 포함하는 하우징, 이미지 센서, 전원의 인가에 따라, 외부의 광이 투과될 수 있는 광 투과 상태로부터 광을 반사시킬 수 있는 광 반사 상태로 변화되는 조광 부재, 및 상기 개구와 인접하게 배치되고, 광이 투과될 수 있는 접촉 부재를 포함한다. 측면에서 볼 때, 상기 조광부재는, 상기 조광 부재의 길이 방향 연장선과 상기 접촉 부재의 길이 방향 연장선이 소정의 각도를 이루도록 배치되고, 상기 조광 부재가 광 투과 상태일 때, 상기 이미지 센서는 상기 조광 부재 뒤쪽의 이미지 데이터를 획득하도록 배치되고, 상기 조광 부재가 on 상태일 때, 상기 이미지 센서는 상기 조광 부재에서 반사된 광과 상기 접촉 부재를 직접 입사된 광을 수신하도록 배치된다.
본 개시의 특정한 실시예들의 상술하거나 다른 양상들, 특징들 및 이점들은 첨부 도면과 함께 취해진 다음의 설명으로부터 더욱 명백할 것이다.
도 1은 본 개시의 일 실시예에 따른 센서 어셈블리를 개략적으로 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따른 센서 어셈블리의 내부 구조를 나타낸 도면이다.
도 3은 본 개시의 일 실시예에 따른 센서 어셈블리의 화각 범위를 나타낸 도면이다.
도 4는 본 개시의 일 실시예에 따라, 센서 어셈블리가 물체를 식별하는 과정을 나타낸 도면이다.
도 5는 본 개시의 일 실시예에 따른 센서 어셈블리의 거리 인식 동작 및 촉각 센싱 동작을 나타낸 도면이다.
도 6은 본 개시의 일 실시예에 따른 센서 어셈블리의 제어 방법을 나타낸 흐름도이다.
도 7a, 도 7b 및 도 7c는, 본 개시의 일 실시예에 따른, 도 6의 흐름도를 예시적으로 나타낸 도면이다.
도면 전체에 걸쳐 동일한 구성요소를 나타내기 위해 동일한 참조 번호가 사용된다.
첨부된 도면을 참조한 다음의 설명은 청구항들 및 그 균등물에 의해 정의된 바와 같은 본 개시의 다양한 실시예들의 포괄적인 이해를 돕기 위해 제공된다. 여기에는 이해를 돕기 위한 다양한 특정 세부 사항이 포함되어 있지만 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상의 지식을 가진 자는 본 개시의 범위를 벗어나지 않고 본 명세서에 기술된 다양한 실시예들의 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 명료함과 간결함을 위해 잘 알려진 기능 및 구성에 대한 설명은 생략될 수 있다.
아래의 설명 및 청구항에 사용된 용어 및 단어는 서지적 의미로 제한되지 않으며, 본 발명의 명확하고 일관된 이해를 가능하게 하기 위해 발명자가 단지 사용한 것이다. 따라서, 본 발명의 다양한 실시예들에 대한 다음의 설명은 첨부된 청구항들 및 그 균등물에 의해 정의된 것으로, 본 발명을 제한하기 위한 것이 아니라 단지 예시의 목적으로 제공된다는 것이 당업자에게 명백하다.
단수 형태 "일", "하나" 및 "상기"는 문맥이 명백하게 달리 지시하지 않는 한 복수 지시 대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어 "구성요소 표면"에 대한 언급은 그러한 표면 중 하나 이상에 대한 언급을 포함한다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 본 개시의 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine) 의해 읽을 수 있는 저장 매체(storage medium) 에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
본 개시의 다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 본 개시의 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 본 개시의 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 1은 본 개시의 일 실시예에 따른 센서 어셈블리를 개략적으로 나타낸 도면이다. 도 2는 본 개시의 일 실시예에 따른 센서 어셈블리의 내부 구조를 나타낸 도면이다.
도 1 및 도 2를 참조하면, 센서 어셈블리(10)는 하우징(100), 이미지 센서(120), 조광 부재(200), 접촉 부재(300) 및 연결부(11) 중 전부 또는 일부를 포함할 수 있다.
다양한 실시예에 따르면, 센서 어셈블리(10)는, 센서 어셈블리(10) 근처의 물체(예: 도 3의 오브젝트(1))를 식별 가능하고, 물체(예: 도 3의 오브젝트(1))와의 거리를 판단하며, 물체(예: 도 3의 오브젝트(1))의 촉각 정보를 획득할 수 있다.
일 실시예에 따르면, 센서 어셈블리(10)는, 연결부(11)를 통해 다른 외부 장치(예: 산업용 로봇)과 전기적으로 및/또는 물리적으로 연결될 수 있다. 센서 어셈블리(10)는 연결된 외부 전자 장치(예: 산업용 로봇)에 의해 제어될 수 있다. 예를 들어, 센서 어셈블리(10)의 위치 이동 또는 센서 어셈블리(10) 내부 동작은 연결된 외부 전자 장치에서의 전기적 신호에 의해 제어될 수 있다. 예를 들어, 센서 어셈블리(10)는, 산업용 로봇에 손에 장착되어, 산업용 로봇이 사물을 잡을 때 촉각 정보를 획득할 수 있도록 한다. 뿐만 아니라, 산업용 로봇은 센서 어셈블리(10)를 이용하여, 센서 어셈블리(10) 외부의 물체를 식별하고, 물체와 센서 어셈블리(10, 예를 들어 산업용 로봇의 손가락) 사이의 거리를 판단할 수 있으며, 물체를 그랩합으로써 물체의 촉각 정보를 획득할 수 있다.
일 실시예에 따르면, 센서 어셈블리(10)는, 내부에 전원을 포함하거나, 외부 전원과 연결되어 동작될 수 있다. 또한, 후술할 바와 같이, 조광 부재(200)의 광 투과도 조절을 위한 프로세서를 포함하는 회로기판(미도시)를 포함할 수 있다. 회로기판은 이미지 센서(120) 및/또는 조광 부재(200)와 전기적으로 연결될 수 있다. 또한, 프로세서는, 이미지 센서(예: 도 3의 이미지 센서(120))에서 획득된 이미지 정보를 처리하도록 프로그래밍 되어 있을 수도 있다. 일 실시예에서, 센서 어셈블리(10)는, 외부 전자 장치에 구비된 전원이나 외부 전자 장치의 프로세서와 연결될 수도 있다.
다양한 실시예에 따르면, 이미지 센서(120)는 디지털 카메라, 즉 이미지 데이터를 전기 신호로 출력하기 위한 카메라일 수 있다. 예를 들어, CCD 카메라일 수 있다.　다만, 본 발명의 이미지 센서(120)는 CCD 카메라에 한정되지 않고, 예를 들어 C-MOS형 이미지 센서를 사용한 디지털 카메라를 사용할 수도 있다.　
다양한 실시예에 따르면, 하우징(100)는 센서 어셈블리(10)의 외관을 형성할 수 있다. 하우징(100)은, 제1 면(101), 제2 면(102) 및 제3 면(103)을 포함할 수 있다. 일 실시예에 따르면, 제1 면(101)은, 하우징(100)의 밑면(-Z축 방향 면)을 의미할 수 있다. 또한, 제2 면(102) 및 제3 면(103)은, 하우징(100)의 양 측면(X축 방향에 대한 양측면)을 의미할 수 있다. 예를 들어, 제2 면(102)과 제3 면(103)은 서로 마주보도록 배치될 수 있다.
다양한 실시예에 따르면, 제2 면(102)의 외측 가장자리 영역(102-1)과 제1 면(101)은, 소정의 각도를 가지도록 배치될 수 있다. 일 실시예에 따르면, 제2 면(102)은, 하우징(100)의 제1 측(+y축 방향)으로 갈수록, 폭이 점점 좁아지도록 형성될 수 있다. 다른 예로, 제2 면(102)은, 테이퍼드(tapered) 형상이라고 표현할 수도 있다. 일 실시예에 따르면, 제2 면(102)의 외측 가장자리 영역(102-1)은, 완만한 곡선 형상을 가질 수 있다.
일 실시예에 따르면, 제2 면(102)과 제3 면(103)은 서로 대칭될 수 있다. 제2 면(102)에 대한 설명은, 제3 면(103)에 동일하거나 유사하게 적용될 수 있다. 예를 들어, 제3 면(103)의 외측 가장자리 영역(103-1)은, 제2 면(102)의 외측 가장자리 영역(102-1)에 대한 설명이 준용될 수 있다.
다양한 실시예에 따르면, 조광 부재(200)는, 하우징(100)의 적어도 일 면을 형성하도록 배치될 수 있다. 예를 들어, 조광 부재(200)는, 제2 면(102)과 제3 면(103)에 수직하도록 배치되어, 제2 면(102)과 제3 면(103)을 연결하도록 배치될 수 있다. 일 실시예에 따르면, 조광 부재(200)는 제2 면(102)과 제3 면(103) 사이에 배치될 수 있다. 예를 들어, 조광 부재(200)는 제2 면(102)과 제3 면(103) 사이에 형성된 하우징의 내부 공간을 커버하도록 배치될 수 있다. 일 실시예에 따르면, 조광 부재(200)는, 제1 면(101)과 소정의 각도를 이루도록 배치될 수 있다. 후술할 바와 같이, 조광 부재(200)가 제1 면(101)과 소정의 각도를 가짐으로써, 개구(104)를 통해 입사된 광이 조광 부재(200)에서 반사되어 이미지 센서(120)로 입사될 수 있다. 이로써, 다양한 실시예에 따른 센서 어셈블리(10)는 스테레오-카메라(stereo-camera) 효과를 달성할 수 있다.
다양한 실시예에 따르면, 조광 부재(200)는 광 투과도가 변경될 수 있는 재질로 형성될 수 있다. 일 실시예에 따르면, 조광 부재(200)는 전원의 인가에 따라 반사율이 변화될 수 있다. 예를 들어, 조광 부재(200)는 전원이 인가되면 광이 투과 가능하게 되고, 외부로부터 광이 하우징(100) 내부로 입사될 수 있다. 다른 예로, 조광 부재(200)는 전원이 차단되면 광의 반사가 가능할 수 있다. 다른 예로, 조광 부재(200)는, 센서 어셈블리(10)에 구비된 프로세서(미도시) 또는 연결된 외부 전자 장치에 구비된 프로세서에 의해 광 투과도가 조절될 수 있다.
다양한 실시예에 따르면, 이미지 센서(120)는 하우징(100)의 내부에서, 제1 측(+y축 방향)을 향하도록 배치될 수 있다. 일 실시예에 따르면, 이미지 센서(120)는, 조광 부재(200)를 투과하여 입사되는 광을 수신하도록 배치될 수 있다. 다른 예로, 이미지 센서(120)는, 개구(104)를 통해 입사되는 광을 수신하도록 배치될 수 있다. 또 다른 예로, 이미지 센서(120)는, 개구(104)로 입사되어 조광 부재(200)에서 반사된 광과 개구(104)를 통해 입사되는 광을 모두 수신하도록 배치될 수도 있다. 이에 관해서는, 후술하여 설명하도록 한다.
일 실시예에 따르면, 이미지 센서(120)는 다양한 카메라 모듈일 수 있으나, 이에 한정되지는 않는다. 본 개시의 사상을 달성할 수 있는 한, 광을 수신하고 감지할 수 있는 다양한 구성이 이용될 수 있음이 이해될 것이다.
다양한 실시예에 따르면, 제1 면(101)은 개구(104)를 포함할 수 있다. 개구(104)를 통해 광이 입사될 수 있고, 이미지 센서(120)는 이를 수신할 수 있다.
다양한 실시예에 따르면, 접촉 부재(300)는, 제1 면(101)의 하부(-Z축 방향)에 배치될 수 있다. 예를 들어, 접촉 부재(300)는 개구(104)를 덮도록 배치될 수 있다. 일 실시예에 따르면, 접촉 부재(300)는 광 투과 가능하고 탄성있는 재질로 형성될 수 있다. 예를 들어, 센서 어셈블리(10)는, 접촉 부재(300)를 통해 입사된 광을 수신하고, 물체(예: 도 3의 오브젝트(1))와 센서 어셈블리(10) 사이의 거리를 판단할 수 있다. 또한, 접촉 부재(300)는, 탄성있는 재질로 형성될 수 있다. 예를 들어, 센서 어셈블리(10)는, 접촉 부재(300)를 통해 물체(예: 도 3의 오브젝트(1))와 접촉하고, 물체의 촉각 정보를 획득할 수 있다. 다양한 실시예에 따르면, 접촉 부재(300)는 광학적으로 투명한 탄성체(예: 겔(gel))로 형성될 수 있다. 예를 들어, 접촉 부재(300)는, 실리콘 고무와 같은 실리콘 수지로 형성될 수 있고, 다른 유형의 고무 또는 엘라스토머(elastomer)로 형성될 수도 있을 뿐만 아니라, 그 외의 다른 광학적으로 투명한 재료로 제조될 수 있다.　다른 실시예로, 접촉 부재(300)는 반투명한 재질일 수도 있다.
도 3은본 개시의 일 실시예에 따른 센서 어셈블리의 화각 범위를 나타낸 도면이다.
도 3을 참조하면, 이미지 센서(120)는 개구(104) 및 조광 부재(200)로부터 광을 수광하도록 배치될 수 있다. 도 3의 이미지 센서(120), 하우징(100), 조광 부재(200)에 관한 설명은, 도 1의 내용이 준용될 수 있다.
다양한 실시예에 따르면, 이미지 센서(120)의 배치 각도에 따라, 화각 범위(Rt)가 조절될 수 있다. 예를 들어, 이미지 센서(120)의 센싱면(121)의 중심에서 수직으로 연장된 선은 화각 범위(Rt)의 중심선과 상응할 수 있다. 일 실시예에 따르면, 이미지 센서(120)는, 화각 범위(Rt) 내에 조광 부재(200) 및 개구(104)가 모두 포함되도록 배치될 수 있다.
다양한 실시예에 따르면, 이미지 센서(120)의 화각 범위(Rt)는, 제1 화각 범위(R1) 및 제2 화각 범위(R2)를 포함할 수 있다. 예를 들어, 제1 화각 범위(R1)는 조광 부재(200)와 상응하는 이미지 센서(120)의 화각 범위를 의미할 수 있고, 제2 화각 범위(R2)는, 개구(104) 또는 접촉 부재(300)와 상응하는 이미지 센서(120)의 화각 범위를 의미할 수 있다. 제1 화각 범위(R1) 및/또는 제2 화각 범위(R2)는, 이미지 센서(120)의 배치 각도에 따라 조절될 수 있음은 앞서 설명한 바와 같다. 다른 예시로, 이미지 센서(120)의 화각 범위(Rt)는, 조광 부재(200)를 통해 입사되는 광을 수신하기 위한 제1 화각 범위(R1) 및 개구(104)를 통해 입사되는 광을 수신하기 위한 제2 화각 범위(R2)로 양분될 수 있다고 표현할 수도 있다.
일 실시예에 따르면, 후술할 바와 같이, 이미지 센서(120)는 제1 화각 범위(R1)에서 조광 부재(200)를 투과하여 입사된 광을 수신하고, 센서 어셈블리(10) 외부의 물체를 식별할 수 있다. 다른 예로, 후술할 바와 같이, 이미지 센서(120)는, 제1 화각 범위(R1)에서 조광 부재(200)를 통해 반사된 광을 수신하고, 개구(104) 근처의 센서 어셈블리(10) 외부 물체에 대한 촉각 정보를 획득할 수 있다. 또 다른 예로, 후술할 바와 같이, 이미지 센서(120)는, 제2 화각 범위(R2)에서 개구(104)를 통해 입사된 광을 수신하여, 개구(104) 근처의 센서 어셈블리(10) 외부 물체에 대한 촉각 정보를 획득할 수 있다.
일 실시예에 따르면, 제1 화각 범위(R1)와 제2 화각 범위(R2)는 서로 동일할 수 있다. 다만, 이는 필수적인 것은 아니고, 제1 화각 범위(R1)와 제2 화각 범위(R2)는 서로 다른 범위로 구성될 수 있다. 예를 들어, 이미지 센서(120)는, 제1 화각 범위(R1)가 제2 화각 범위(R2) 보다 커지도록 배치될 수 있다.
다양한 실시예에서, 제1 화각 범위(R1)와 제2 화각 범위(R2)는, 조광 부재(200), 개구(104) 및/또는 접촉 부재(300) 중 적어도 일부와 이미지 센서(120) 사이의 배치 관계에 따라 조절될 수 있다. 일 실시예에 따르면, 센싱면(121)의 법선(예를 들어 제1 축(y축))과 수직한 방향(예를 들어 제2 축(z축))에 대한 센서 어셈블리(10)의 구성들(예: 조광 부재(200), 개구(104) 및/또는 접촉 부재(300))이 차지하는 영역에 따라, 이미지 센서(120)의 화각 범위가 조절될 수 있다. 예를 들어, 센싱면(121)의 법선과 수직한 방향에 대해 상대적으로 넓은 영역을 차지하는 구성(예: 조광 부재(200), 개구(104) 또는 접촉 부재(300))과 상응하는 화각 범위가 더 넓을 수 있다. 일 예로, 센싱면(121)의 법선이 제1 축(y축)과 평행하거나 이와 유사하게 연장되도록 이미지 센서(120)가 배치되는 경우, 조광 부재(200)가 제1 축(y축)과 수직 방향인 제2 축(z축)에 대해 개구(104) 또는 접촉 부재(300)에 비하여 넓은 면적을 가지도록 배치된다면, 조광 부재(200)와 상응하는 제1 화각 범위(R1)는 개구(104) 또는 접촉 부재(300)와 상응하는 제2 화각 범위(R2) 보다 넓을 수 있다.
이하의 설명에서는, 조광 부재(200)의 동작에 따라 센서 어셈블리(10)가 외부 물체에 관한 정보를 획득하는 것을 도면을 참조하여 설명하도록 한다.
도 4는 본 개시의 일 실시예에 따라, 센서 어셈블리가 물체를 식별하는 과정을 나타낸 도면이다.
도 4를 참조하면, 센서 어셈블리(10)는 오브젝트(1)의 시각 정보를 획득할 수 있다. 도 4의 센서 어셈블리(10)는, 도 1 내지 도 3의 센서 어셈블리(10)에 대한 설명이 준용될 수 있다.
다양한 실시예에 따르면, 센서 어셈블리(10)는, 센서 어셈블리(10) 외부 의 오브젝트(1)를 식별할 수 있다. 일 실시예에 따르면, 조광 부재(200)가 광 투과 상태인 경우, 조광 부재(200)는 오브젝트(1)에서 반사된 광을 센서 어셈블리(10) 내부로 투과시킬 수 있다. 이미지 센서(120)는, 조광 부재(200)에서 투과된 광을 수신하고, 센서 어셈블리(10) 외부의 오브젝트(1)와 관련된 시각 정보를 획득할 수 있다. 예를 들어, 시각 정보는 오브젝트(1)의 형상 정보, 색상(RGB) 정보를 포함할 수 있다. 일 실시예에 따르면, 이미지 센서(120)는, 제1 화각 범위(R1)와 상응하는 센서 어셈블리(10) 외부 영역에 존재하는 오브젝트(1)의 시각 정보를 획득할 수 있다.
다양한 실시예에 따르면, 센서 어셈블리(10)는, 조광 부재(200)가 광 투과 상태인 경우, 오브젝트(2)의 촉각 정보를 획득할 수 있다. 센서 어셈블리(10)가 외부 물체의 촉각 정보를 획득하는 동작은, 조광 부재(200)가 광 투과 상태이거나 광 반사 상태일 경우에 동일하게 적용될 수 있으므로, 도 5에서 설명하도록 한다.
도 5는 본 개시의 일 실시예에 따른 센서 어셈블리의 거리 인식 동작 및 촉각 센싱 동작을 나타낸 도면이다.
도 5를 참조하면, 센서 어셈블리(10)는, 센서 어셈블리(10)와 접촉된 외부 물체의 촉각 정보 및/또는 센서 어셈블리(10)와 외부 물체 사이의 거리 정보를 획득할 수 있다. 도 5의 실시예를 설명함에 있어, 도 1 내지 도 4의 내용이 준용될 수 있다. 도 5의 센서 어셈블리(10)의 구성은, 도 1 내지 도 4의 센서 어셈블리(10)의 구성과 동일하거나 유사할 수 있다.
다양한 실시예에 따르면, 센서 어셈블리(10)는, 센서 어셈블리(10)와 센서 어셈블리(10) 외부의 오브젝트(2-1) 사이의 거리 정보를 획득할 수 있다. 일 실시예에 따르면, 오브젝트(2-1)에서 반사된 광은, 접촉 부재(300) 및/또는 개구(104)를 통해 하우징(100) 내부로 입사될 수 있다. 하우징(100) 내부로 입사된 광 중 일부는 직접 이미지 센서(120)로 전달되고, 나머지 일부는 조광 부재(200)에서 반사되어 이미지 센서(120)로 전달될 수 있다. 예를 들어, 센서 어셈블리(10)가 오브젝트(2-1)의 거리 정보를 획득하는 동작은, 조광 부재(200)가 광 반사 상태일 때 동작될 수 있다.
일 실시예에 따르면, 이미지 센서(120)는, 제2 화각 범위(R2)를 통해 개구(104) 및/또는 접촉 부재(300)를 통해 입사된 광을 직접 수신할 수 있다. 또한, 이미지 센서(120)는, 제1 화각 범위(R1)를 통해 조광 부재(200)에서 반사된 광을 수신할 수 있다. 이미지 센서(120)가, 조광 부재(200)를 통해 반사된 광을 수신함으로 인하여, 가상의 이미지 센서(120-1)가 추가되는 효과가 달성될 수 있다. 예를 들어, 이미지 센서(120)는 제1 화각 범위(r1)에서 광을 수신하는 제1 이미지 센서(120)) 및 제2 화각 범위(r2)에서 광을 수신하는 제2 이미지 센서(120-1)로 분할될 수 있다고 표현할 수도 있다. 예를 들어, 센서 어셈블리(10)는, 하나의 이미지 센서(120)를 이용하여, 제1 화각 범위(R1)에서 수신된 광에 대한 이미지 정보를 획득하는 제1 이미지 센서(예: 현실 이미지 센서(120)) 및 제2 화각 범위(R2)에서 수신된 광에 대한 이미지 정보를 획득하는 제2 이미지 센서(예: 가상 이미지 센서(120-1))로 분할된 스테레오 카메라(stereo camera)로 구현될 수 있는 것이다. 일 실시예에 따르면, 동일한 물체(예: 오브젝트(2-1))에 관한, 위치가 다른 2개의 카메라(예: 이미지 센서(120) 및 가상의 이미지 센서(120-1))에서 획득된 이미지 정보에 기초하여, 이미지 센서와 연결된 프로세서(미도시)는 센서 어셈블리(10)와 오브젝트(2-1) 사이의 거리 정보를 획득할 수 있다.
다양한 실시예에 따르면, 센서 어셈블리(10)는, 센서 어셈블리(10)의 적어도 일부와 접촉된 오브젝트(2-2)의 촉각 정보를 획득할 수 있다. 일 실시예에 따르면, 센서 어셈블리(10)는, 접촉 부재(300)와 접촉된 오브젝트(2-2) 표면의 촉각 정보를 획득할 수 있다. 일 실시예에 따르면, 접촉 부재(300)는 패턴을 포함할 수 있다. 예를 들어, 패턴은 접촉 부재(300)가 오브젝트(2-2)에 접촉되거나 가압되면, 접촉 부재(300)를 통과하는 광의 경로를 변화시킴으로써, 오브젝트(2-2) 표면의 촉각 정보 획득을 용이하게 하는 구성을 의미할 수 있다. 다른 예로, 패턴은 형태 변형이 용이한 재료(예를 들어, 탄성체)로 형성될 수 있다. 또한, 패턴은 접촉 부재(300)와 동일한 재료로 형성될 수도 있다. 패턴은, 접촉 부재(300)와 함께 또는 개별적으로, 외부 객체가 접촉되면서 패턴(또는 접촉부재)에 작용하는 힘에 상응하여 그 형상이 변화될 수 있다. 일 실시예에 따르면, 오브젝트(2-2)가 접촉 부재(300)에 접촉되면, 패턴을 통과하는 광의 경로가 변환되어(패턴 또는 접촉 부재(300)의 형상이 변화됨에 따라) 이미지 센서(120)에 입사되고, 프로세서(미도시)는 이를 분석하여 오브젝트(2-2)의 표면 촉각 정보를 획득할 수 있다. 일 실시예에 따르면, 접촉 부재(300)의 근처에는 광원(미도시)이 배치될 수 있다. 예를 들어, 광원은 백색 광원일 수 있으나, 이에 한정되지는 않는다. 광원에서 생성된 광은 접촉 부재(300) 내부로 입사될 수 있다. 이로써, 접촉 부재(300)에서 감지하는 오브젝트(2-2)의 표면 정보 획득 성능이 향상될 수 있다.
도 6은 본 개시의 일 실시예에 따른 센서 어셈블리의 제어 방법을 나타낸 흐름도이다.
도 7a, 도 7b 및 도 7c는 본 개시의 일 실시예에 따른, 도 6의 흐름도를 예시적으로 나타낸 도면이다.
도 6 및 도 7a 내지 도 7c를 참조하면, 센서 어셈블리(20)의 제어 방법은, 외부 오브젝트를 식별하는 동작(1000), 조광 부재의 광 투과율을 조절하는 동작(1001), 오브젝트까지의 거리 정보를 획득하는 동작(1002) 및/또는 오브젝트의 촉각 정보를 획득하는 동작(1003) 중 전부 또는 일부를 포함할 수 있다.
일 실시예에 따르면, 센서 어셈블리(20)는 제1 센서 어셈블리(20-1) 및 제2 센서 어셈블리(20-2)를 포함할 수 있다. 제1 센서 어셈블리(20-1)와 제2 센서 어셈블리(20-2)는, 각각 연결부재(21-1, 21-2)를 통해 외부 전자 장치와 연결될 수 있다. 일 실시예에 따르면, 2 이상의 센서 어셈블리(20-1, 20-2)와 연결된 외부 전자 장치는, 오브젝트(3)를 그랩하도록 동작할 수 있다. 이하의 실시예를 설명함에 있어, 제1 센서 어셈블리(20-1)와 제2 센서 어셈블리(20-2)는 서로 동일한 구성을 포함할 수 있으며, 특별한 언급이 없는 한 제1 센서 어셈블리(20-1)에 대한 설명이 제2 센서 어셈블리(20-2)에 준용될 수 있음을 미리 밝혀 둔다. 일 실시예에 따르면, 외부 전자 장치는 산업용 로봇일 수 있으며, 연결부재(21-1, 21-2)는 산업용 로봇의 손가락(또는 이와 상응하는 구성)일 수 있다.
다양한 실시예에 따르면(도 6 및 도 7a를 참조하면), 센서 어셈블리(20)는, 센서 어셈블리(20) 외부의 오브젝트(3)를 식별할 수 있다(1000). 센서 어셈블리(20)가 외부 오브젝트(3)를 식별하는 동작은, 도 4에서 상술한 내용이 준용될 수 있으므로, 중복되는 설명은 생략한다.
일 실시예에 따르면, 센서 어셈블리(20)를 통해, 외부 전자 장치는 오브젝트(3)의 존재를 인식하거나, 오브젝트(3)에 관한 시각 정보를 획득할 수 있다. 일 실시예에 따르면, 제1 센서 어셈블리(20-1) 및/또는 제2 센서 어셈블리(20-2) 중 적어도 어느 하나에 의해 오브젝트(1) 식별 동작이 수행될 수 있다. 일 실시예에 따르면, 오브젝트(1) 식별 동작이 수행되는 제1 센서 어셈블리(20-1) 및/또는 제2 센서 어셈블리(20-2) 중 적어도 어느 하나는, 조광 부재(예: 도 4의 조광 부재(200))를 광 투과 상태를 가지도록 조절할 수 있다. 예를 들어, 제1 센서 어셈블리(20-1)는, 감지 영역(A1)에 존재하는 오브젝트(3)를 식별할 수 있다. 감지 영역(A1)는, 상술한 제1 화각 범위(예: 도 4의 제1 화각 범위(r1))와 상응할 수 있다. 일 실시예에 따르면, 오브젝트(3)가 식별되면, 센서 어셈블리(20)는, 외부 전자 장치에 의해 오브젝트(3)와 인접하도록 위치가 이동될 수 있다. 일 예로, 접촉 부재(예: 도 5의 접촉 부재(300)) 또는 개구(예: 도 5의 개구(104))를 통해 오브젝트(3)에서 반사된 광이 센서 어셈블리(20) 내부로 전달되도록, 센서 어셈블리(20)는 오브젝트(3) 근처로 위치가 이동될 수 있다. 다른 예로, 오브젝트(1)와 접촉되거나 오브젝트(3)를 그랩하기 위하여, 제1 센서 어셈블리(20-1) 및/또는 제2 센서 어셈블리(20-2) 사이에 오브젝트(3)가 위치되도록, 센서 어셈블리(20)의 위치가 이동될 수 있다.
다양한 실시예에 따르면(도 6 및 도 7b를 참조하면), 센서 어셈블리(20)는 조광 부재(예: 도 5의 조광 부재(200))의 광 투과도를 조절할 수 있다(1001). 일 실시예에 따르면, 오브젝트(3)가 식별되면, 센서 어셈블리(20)는 조광 부재(예: 도 5의 조광 부재(200))를 광 반사 상태로 전환할 수 있다. 상술한 바와 같이, 조광 부재(예: 도 5의 조광 부재(200))가 광 반사 상태로 전환되어, 센서 어셈블리(20)는 오브젝트(3)까지의 거리 정보를 획득할 수 있다(1002). 일 실시예에 따르면, 제1 센서 어셈블리(20-1) 및/또는 제2 센서 어셈블리(20-2)는, 오브젝트(3)까지의 거리(l1 및/또는 l2)를 판단하기 위한 이미지 정보를 획득할 수 있다. 센서 어셈블리(20)가 오브젝트(3)와의 거리 정보를 판단하기 위한 동작은, 도 5에서 상술한 바와 동일하거나 유사하므로, 중복되는 설명은 생략하도록 한다.
다양한 실시예에 따르면(도 6 및 도 7c를 참조하면), 센서 어셈블리(20)는 오브젝트(3)의 촉각 정보를 획득할 수 있다(1003). 센서 어셈블리(20)가 오브젝트(3)의 촉각 정보를 획득하는 동작은, 도 5에서 상술한 내용의 전부 또는 일부가 준용될 수 있으므로, 중복되는 설명은 생략하도록 한다.
일 실시예에 따르면, 센서 어셈블리(20)는, 연결된 외부 전자 장치(예: 산업용 로봇)에 의해, 오브젝트(3)와 접촉되도록 위치가 이동될 수 있다. 예를 들어, 제1 센서 어셈블리(20-1) 및/또는 제2 센서 어셈블리(20-2)는, 접촉 부재(예: 도 5의 접촉 부재(300))가 오브젝트(1)와 접촉되도록, 각각 연결된 외부 전자 장치에 의해 위치가 이동될 수 있다. 일 실시예에 따르면, 외부 전자 장치는, 센서 어셈블리(20)를 이용하여, 오브젝트(3)를 그랩할 수 있다. 예를 들어, 제1 센서 어셈블리(20-1) 및 제2 센서 어셈블리(20-2)는 산업용 로봇의 일부로 형성되고, 산업용 로봇은 제1 센서 어셈블리(20-1) 및 제2 센서 어셈블리(20-2)의 위치를 조절하여 오브젝트(3)를 그랩할 수 있다.
일 실시예에 따르면, 제1 센서 어셈블리(20-1) 및/또는 제2 센서 어셈블리(20-2)는 오브젝트(1)와 접촉되거나 오브젝트(3)를 그랩한 상태로, 오브젝트(3)의 표면으로부터 반사된 광으로부터 오브젝트(3)의 표면 촉각 정보를 획득할 수 있다.
하나의 전자 장치에서 물체의 여러 정보를 획득하는 경우, 여러 개의 센서가 필요하거나 복수의 센서들이 병합되어 형성되어야 하는 바, 센서들 간의 배치 관계가 복잡해지거나 병합된 센서의 크기가 비대해져야 하는 문제가 발생될 수 있다.
본 개시의 양상들은 적어도 위에서 언급된 문제 및/또는 단점을 해결하고 적어도 아래에서 설명되는 이점을 제공하는 것이다. 이에, 본 개시의 일 양상은 는, 광 투과도의 조절이 가능한 조광 부재를 포함함으로써, 단일의 센서 어셈블리로 다양한 정보를 획득할 수 있는 센서 어셈블리를 제공하는 것이다.
추가적인 양상들은 다음의 설명에서 부분적으로 설명될 것이고, 부분적으로는 설명으로부터 명백할 것이고, 또는 제시된 실시예들의 실행에 의해 학습될 수 있다.
본 개시의 다양한 실시예에 따르면, 조광 부재의 광 투과도에 상응하여 외부 물체의 여러 정보를 획득할 수 있는 센서 어셈블리가 제공됨으로써, 구조가 간단하고 소형화된 센서 어셈블리가 제공될 수 있다.
본 개시의 다른 양상들, 이점들 및 두드러진 특징들은 첨부 도면과 함께 본 발명의 다양한 실시예들을 개시하는 다음의 상세한 설명으로부터 당업자에게 명백할 것이다.
다양한 실시예에 따르면, 개구(예: 도 3의 개구(104))를 포함하는 하우징(예: 도 1의 하우징(100)), 상기 하우징 내부에 배치된 회로 기판; 상기 회로 기판과 전기적으로 연결된 이미지 센서(예: 도 3의 이미지 센서(120), 전원의 인가에 따라, 외부의 광이 투과될 수 있는 광 투과 상태로부터 광을 반사시킬 수 있는 광 반사 상태로 광 투과도가 변화되도록 구성된 조광 부재(예: 도 3의 조광 부재(200)); 및 상기 개구와 인접하게 배치되고, 광이 투과될 수 있는 접촉 부재(예: 도 3의 접촉 부재(300));를 포함하고, 측면에서 볼 때, 상기 조광부재는, 상기 조광 부재의 길이 방향 연장선과 상기 접촉 부재의 길이 방향 연장선이 소정의 각도를 이루도록 배치되고, 상기 조광 부재가 광 투과 상태일 때, 상기 이미지 센서는 상기 조광 부재 너머의(over) 이미지를 획득하도록 배치되고, 상기 조광 부재가 광 반사 상태일 때, 상기 이미지 센서는 상기 조광 부재에서 반사된 광과 상기 접촉 부재를 통해 직접 입사된 광을 수신하도록 배치된 센서 어셈블리가 제공될 수 있다.
일 실시예에 따르면, 상기 이미지 센서는, 상기 조광 부재로부터 입사되는 광을 수신하기 위한 제1 화각 범위(예: 도 3의 제1 화각 범위(r1))와 상기 개구 또는 상기 접촉 부재로부터 입사되는 광을 수신하기 위한 제2 화각 범위(예: 도 3의 제2 화각 범위(r2))를 포함하는 센서 어셈블리가 제공될 수 있다.
일 실시예에 따르면, 상기 제1 화각 범위는 상기 제2 화각 범위보다 넓도록 설정되는 센서 어셈블리가 제공될 수 있다.
일 실시예에 따르면, 상기 조광 부재가 광 반사 상태인 경우, 상기 이미지 센서는 스테레오-카메라로 동작 가능한 센서 어셈블리가 제공될 수 있다.
일 실시예에 따르면, 상기 이미지 센서는, 상기 센서 어셈블리로부터 상기 개구 근처에 위치한 외부 오브젝트까지의 거리 정보를 획득 가능한 센서 어셈블리가 제공될 수 있다.
일 실시예에 따르면, 상기 센서 어셈블리는, 상기 접촉 부재와 접촉된 외부 오브젝트의 표면 촉각 정보를 획득 가능한 센서 어셈블리가 제공될 수 있다.
일 실시예에 따르면, 상기 접촉 부재는, 상기 표면 촉각 정보를 획득하기 위하여, 표면 또는 내부에 형성된 패턴을 더 포함하는 센서 어셈블리가 제공될 수 있다.
일 실시예에 따르면, 상기 접촉 부재와 인접하게 배치된 광원;을 더 포함하는 센서 어셈블리가 제공될 수 있다.
일 실시예에 따르면, 상기 광원은, 상기 조광 부재가 광 반사 상태인 경우 동작하며, 상기 접촉 부재 내부로 백색 광을 전달하도록 구성된 센서 어셈블리가 제공될 수 있다.
일 실시예에 따르면, 상기 조광 부재가 광 투과 상태인 경우, 상기 센서 어셈블리는, 상기 조광 부재 뒤쪽에 위치하는 외부 오브젝트를 식별 가능한 센서 어셈블리가 제공될 수 있다.
일 실시예에 따르면, 외부 전자 장치와 연결되기 위한 연결부(예: 도 1의 연결부(11))를 더 포함하는 센서 어셈블리가 제공될 수 있다.
일 실시예에 따르면, 상기 외부 전자 장치는 산업용 로봇인 센서 어셈블리가 제공될 수 있다.
다양한 실시예에 따르면, 개구(예: 도 1의 개구(104))를 포함하는 하우징(예: 도 1의 하우징(100)), 상기 하우징 내부에 배치된 회로 기판; 상기 회로 기판과 전기적으로 연결된 이미지 센서(예: 도 3의 이미지 센서(120)), 전원의 인가에 따라, 외부의 광이 투과될 수 있는 광 투과 상태로부터 광을 반사시킬 수 있는 광 반사 상태로 변화되는 조광 부재(예: 도 3의 조광 부재(200)), 및 상기 개구와 인접하게 배치되고, 광이 투과될 수 있는 접촉 부재(예: 도 3의 접촉 부재(300)) 를 포함하고, 측면에서 볼 때, 상기 조광부재는, 상기 조광 부재의 길이 방향 연장선과 상기 접촉 부재의 길이 방향 연장선이 소정의 각도를 이루도록 배치되는 센서 어셈블리(예: 도 1의 센서 어셈블리(10))를 준비하는 단계, 상기 조광 부재를 광 투과 상태로 조절하는 단계 상기 조광 부재 너머에 존재하는 외부 오브젝트를 식별하는 단계; 상기 조광 부재를 광 반사 상태로 조절하는 단계, 상기 외부 오브젝트와 상기 센서 어셈블리 사이의 거리 정보를 획득하는 단계, 및 상기 외부 오브젝트의 표면 촉각 정보를 획득하는 단계를 포함하는 센서 어셈블리의 제어 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 이미지 센서는, 상기 조광 부재로부터 입사되는 광을 수신하기 위한 제1 화각 범위(예: 도 3의 제1 화각 범위(r1))와 상기 개구 또는 상기 접촉 부재로부터 입사되는 광을 수신하기 위한 제2 화각 범위(예: 도 3의 제2 화각 범위(r2))를 포함하는 센서 어셈블리의 제어 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 제1 화각 범위는 상기 제2 화각 범위보다 넓도록 설정되는 센서 어셈블리의 제어 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 조광 부재가 광 반사 상태인 경우, 상기 이미지 센서는 스테레오-카메라로 동작 가능한 센서 어셈블리의 제어 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 접촉 부재는, 상기 표면 촉각 정보를 획득하기 위하여, 표면 또는 내부에 형성된 패턴을 더 포함하는 센서 어셈블리의 제어 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 센서 어셈블리는, 외부 전자 장치와 연결되기 위한 연결부(예: 도 1의 연결부(11))를 더 포함하는 센서 어셈블리의 제어 방법이 제공될 수 있다.
일 실시예에 따르면, 상기 외부 전자 장치는 산업용 로봇인 센서 어셈블리의 제어 방법이 제공될 수 있다.
다양한 실시예에 따르면, 센서 어셈블리(예: 도 1의 센서 어셈블리(10)), 및 상기 센서 어셈블리와 전기적으로 연결된 회로기판을 포함하고, 상기 센서 어셈블리는, 개구(예: 도 3의 개구(104))를 포함하는 하우징(예: 도 3의 하우징(100)), 이미지 센서(예: 도 3의 이미지 센서(120)), 전원의 인가에 따라, 외부의 광이 투과될 수 있는 광 투과 상태로부터 광을 반사시킬 수 있는 광 반사 상태로 광 투과도가 변화되도록 구성된 조광 부재(예: 도 3의 조광 부재(200)), 및 상기 개구와 인접하게 배치되고, 광이 투과될 수 있는 접촉 부재(예: 도 3의 접촉 부재(300))를 포함하고, 측면에서 볼 때, 상기 조광부재는, 상기 조광 부재의 길이 방향 연장선과 상기 접촉 부재의 길이 방향 연장선이 소정의 각도를 이루도록 배치되고, 상기 조광 부재가 광 투과 상태일 때, 상기 이미지 센서는 상기 조광 부재 너머의 이미지를 획득하도록 배치되고, 상기 조광 부재가 광 반사 상태일 때, 상기 이미지 센서는 상기 조광 부재에서 반사된 광과 상기 접촉 부재를 직접 입사된 광을 수신하도록 배치된 전자 장치가 제공될 수 있다.
본 개시는 다양한 실시예들을 참조하여 도시되고 설명되었지만, 본 개시가 속하는 기술 분야의 통상의 지식을 가진 자라면 첨부된 청구항들 및 그 균등물에 의해 정의된 다음과 같은 본 개시의 범위를 벗어나지 않고, 형태 및 세부사항의 다양한 변경들이 이루어질 수 있음이 이해될 것이다.

Claims (14)

  1. 센서 어셈블리에 있어서,
    개구를 포함하는 하우징;
    상기 하우징 내부에 배치된 회로 기판;
    상기 회로 기판과 전기적으로 연결된 이미지 센서;
    전원의 인가에 따라, 외부의 광이 투과될 수 있는 광 투과 상태로부터 광을 반사시킬 수 있는 광 반사 상태로 광 투과도가 변화되도록 구성된 조광 부재; 및
    상기 개구와 인접하게 배치되고, 광이 투과될 수 있는 접촉 부재;를 포함하고,
    측면에서 볼 때, 상기 조광부재는, 상기 조광 부재의 길이 방향 연장선과 상기 접촉 부재의 길이 방향 연장선이 소정의 각도를 이루도록 배치되고,
    상기 조광 부재가 광 투과 상태일 때, 상기 이미지 센서는 상기 조광 부재 너머의(over) 이미지를 획득하도록 배치되고,
    상기 조광 부재가 광 반사 상태일 때, 상기 이미지 센서는 상기 조광 부재에서 반사된 광과 상기 접촉 부재를 통해 직접 입사된 광을 수신하도록 배치된 센서 어셈블리.
  2. 제1항에 있어서,
    상기 이미지 센서는, 상기 조광 부재로부터 입사되는 광을 수신하기 위한 제1 화각 범위와 상기 개구 또는 상기 접촉 부재로부터 입사되는 광을 수신하기 위한 제2 화각 범위를 포함하는 센서 어셈블리.
  3. 제1 항 또는 제2 항에 있어서,
    상기 제1 화각 범위는 상기 제2 화각 범위보다 넓도록 설정되는 센서 어셈블리.
  4. 이전의 청구항들 중 어느 하나에 있어서,
    상기 조광 부재가 광 반사 상태인 경우,
    상기 이미지 센서는 스테레오-카메라로 동작 가능한 센서 어셈블리.
  5. 이전의 청구항들 중 어느 하나에 있어서,
    상기 이미지 센서는, 상기 센서 어셈블리로부터 상기 개구 근처에 위치한 외부 오브젝트까지의 거리 정보를 획득 가능한 센서 어셈블리.
  6. 이전의 청구항들 중 어느 하나에 있어서,
    상기 센서 어셈블리는, 상기 접촉 부재와 접촉된 외부 오브젝트의 표면 촉각 정보를 획득 가능한 센서 어셈블리.
  7. 이전의 청구항들 중 어느 하나에 있어서,
    상기 접촉 부재는, 상기 표면 촉각 정보를 획득하기 위하여, 표면 또는 내부에 형성된 패턴을 더 포함하는 센서 어셈블리.
  8. 이전의 청구항들 중 어느 하나에 있어서,
    상기 접촉 부재와 인접하게 배치된 광원;을 더 포함하는 센서 어셈블리.
  9. 이전의 청구항들 중 어느 하나에 있어서,
    상기 광원은, 상기 조광 부재가 광 반사 상태인 경우 동작하며, 상기 접촉 부재 내부로 백색 광을 전달하도록 구성된 센서 어셈블리.
  10. 이전의 청구항들 중 어느 하나에 있어서,
    상기 조광 부재가 광 투과 상태인 경우,
    상기 센서 어셈블리는, 상기 조광 부재 뒤쪽에 위치하는 외부 오브젝트를 식별 가능한 센서 어셈블리.
  11. 이전의 청구항들 중 어느 하나에 있어서,
    외부 전자 장치와 연결되기 위한 연결부;를 더 포함하는 센서 어셈블리.
  12. 이전의 청구항들 중 어느 하나에 있어서,
    상기 외부 전자 장치는 산업용 로봇인 센서 어셈블리.
  13. 센서 어셈블리의 제어 방법에 있어서,
    상기 제1 항의 센서 어셈블리를 준비하는 단계;
    상기 조광 부재를 광 투과 상태로 조절하는 단계;
    상기 조광 부재 너머에 존재하는 외부 오브젝트를 식별하는 단계;
    상기 조광 부재를 광 반사 상태로 조절하는 단계;
    상기 외부 오브젝트와 상기 센서 어셈블리 사이의 거리 정보를 획득하는 단계; 및
    상기 외부 오브젝트의 표면 촉각 정보를 획득하는 단계;를 포함하는 센서 어셈블리의 제어 방법.
  14. 전자 장치에 있어서,
    상기 제1 항의 센서 어셈블리를 포함하는 전자 장치.
PCT/KR2022/013777 2021-12-24 2022-09-15 조광 부재를 포함하는 센서 어셈블리 및 이를 포함하는 전자 장치 WO2023120872A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22911511.8A EP4372345A1 (en) 2021-12-24 2022-09-15 Sensor assembly comprising dimming member, and electronic device comprising same
CN202280084835.2A CN118435031A (zh) 2021-12-24 2022-09-15 包括调光构件的传感器组件和包括该传感器组件的电子装置
US17/961,131 US12041336B2 (en) 2021-12-24 2022-10-06 Sensor assembly including light control member and electronic device including the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0187380 2021-12-24
KR1020210187380A KR20230097661A (ko) 2021-12-24 2021-12-24 조광 부재를 포함하는 센서 어셈블리 및 이를 포함하는 전자 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/961,131 Continuation US12041336B2 (en) 2021-12-24 2022-10-06 Sensor assembly including light control member and electronic device including the same

Publications (1)

Publication Number Publication Date
WO2023120872A1 true WO2023120872A1 (ko) 2023-06-29

Family

ID=86902776

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/013777 WO2023120872A1 (ko) 2021-12-24 2022-09-15 조광 부재를 포함하는 센서 어셈블리 및 이를 포함하는 전자 장치

Country Status (2)

Country Link
KR (1) KR20230097661A (ko)
WO (1) WO2023120872A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176137A (ja) * 1992-12-10 1994-06-24 Fujitsu Ltd 指紋像入力装置
JP2000288973A (ja) * 1999-04-05 2000-10-17 Agency Of Ind Science & Technol 触覚センサ
KR20090079626A (ko) * 2008-01-18 2009-07-22 상명대학교 산학협력단 비접촉식 지정맥 영상 취득 장치
KR20190083774A (ko) * 2018-01-05 2019-07-15 현대자동차주식회사 3 채널 카메라를 활용한 차간거리 산출 장치 및 방법
JP2021535373A (ja) * 2018-08-16 2021-12-16 エッセンリックス コーポレーション 表面色及び液体接触角の撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176137A (ja) * 1992-12-10 1994-06-24 Fujitsu Ltd 指紋像入力装置
JP2000288973A (ja) * 1999-04-05 2000-10-17 Agency Of Ind Science & Technol 触覚センサ
KR20090079626A (ko) * 2008-01-18 2009-07-22 상명대학교 산학협력단 비접촉식 지정맥 영상 취득 장치
KR20190083774A (ko) * 2018-01-05 2019-07-15 현대자동차주식회사 3 채널 카메라를 활용한 차간거리 산출 장치 및 방법
JP2021535373A (ja) * 2018-08-16 2021-12-16 エッセンリックス コーポレーション 表面色及び液体接触角の撮像方法

Also Published As

Publication number Publication date
KR20230097661A (ko) 2023-07-03

Similar Documents

Publication Publication Date Title
WO2021020937A1 (en) Camera bracket including audio signal path and electronic device including the camera bracket
WO2019164215A1 (en) Electronic device including movable flexible display
WO2019103565A1 (en) Arrangement structure for communication device and electronic device including the same
WO2021075726A1 (en) Foldable electronic device including electronic pen
WO2020209501A1 (en) Electronic device including rotatable camera
WO2021015473A1 (en) Electronic device including optical sensor module
WO2019212163A1 (en) Electronic device conduit structure and electronic device including same
WO2020045989A1 (ko) 카메라 보안 커버를 포함하는 전자 장치
WO2020027528A1 (ko) 도전성 핀의 적어도 일부를 지지하기 위한 지지 부분을 포함하는 커넥터 및 이를 포함하는 전자 장치
WO2021246668A1 (en) Electronic device including multiple printed circuit boards
WO2020060218A1 (en) Electronic device for improving phenomenon of visual recognition in partial area of display
WO2020145648A1 (en) Display assembly and electronic device including the same
EP3773177A1 (en) Biometric information sensing device and controlling method thereof
WO2023120872A1 (ko) 조광 부재를 포함하는 센서 어셈블리 및 이를 포함하는 전자 장치
WO2022203300A1 (ko) 통기 부재가 배치된 하우징 및 이를 포함하는 전자 장치
WO2022050620A1 (ko) 검출 회로 및 이를 포함하는 전자 장치
WO2021075831A1 (en) Camera module including position sensor
WO2020209644A1 (en) Flexible printed circuit board and electronic device including the same
EP4372345A1 (en) Sensor assembly comprising dimming member, and electronic device comprising same
WO2023136576A1 (ko) 광학식 촉각 센서
WO2020230959A1 (ko) 얼굴 피부 컬러 판정을 위한 인물 영상 촬영 용 컬러 팔레트 및 그를 이용한 방법 및 장치
WO2023149788A1 (ko) 부품을 포함하는 전자 장치
WO2024063378A1 (ko) 센서를 포함하는 전자 장치
WO2023068628A1 (ko) 근접 센싱 방법 및 전자 장치
WO2022075725A1 (ko) 전자 장치 및 전자 장치에서 피부 형광 측정 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22911511

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022911511

Country of ref document: EP

Ref document number: 22911511.8

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022911511

Country of ref document: EP

Effective date: 20240216

NENP Non-entry into the national phase

Ref country code: DE