WO2019160253A1 - Air conditioner for controlling wind direction toward indicated location by using artificial intelligence and method for controlling same - Google Patents

Air conditioner for controlling wind direction toward indicated location by using artificial intelligence and method for controlling same Download PDF

Info

Publication number
WO2019160253A1
WO2019160253A1 PCT/KR2019/000984 KR2019000984W WO2019160253A1 WO 2019160253 A1 WO2019160253 A1 WO 2019160253A1 KR 2019000984 W KR2019000984 W KR 2019000984W WO 2019160253 A1 WO2019160253 A1 WO 2019160253A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
air conditioner
wind
voice
Prior art date
Application number
PCT/KR2019/000984
Other languages
French (fr)
Korean (ko)
Inventor
윤상혁
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2019160253A1 publication Critical patent/WO2019160253A1/en

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/30—Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/50—Control or safety arrangements characterised by user interfaces or communication
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/79—Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling the direction of the supplied air
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00—Control inputs relating to users or occupants
    • F24F2120/10—Occupancy

Definitions

  • the present invention relates to an air conditioner for controlling the wind direction to the indicated position and a technique for controlling the same.
  • the air conditioner is installed to provide a more comfortable indoor environment for humans by discharging cold air into the room to adjust the indoor temperature to purify the indoor air to create a comfortable indoor environment.
  • an air conditioner includes an indoor unit installed indoors, an outdoor unit configured to supply a refrigerant to the indoor unit, which is composed of a compressor, a heat exchanger, and the like.
  • the air conditioner, the indoor unit and the outdoor unit can be controlled separately.
  • the air conditioner may be connected to at least one indoor unit to the outdoor unit, the refrigerant is supplied to the indoor unit in accordance with the requested operating state, and operated in the cooling or heating mode.
  • the indoor unit of the air conditioner provides wind in a set direction to change the indoor air to a specific temperature.
  • this setting is problematic in that it requires user control.
  • the invention of the application No. 10-2008-0012758 filed by the applicant of the present invention in the past the content of detecting a person in a two-dimensional image obtained by using a camera installed in the air conditioner is presented. Look in more detail in FIG.
  • FIG. 1 is a view showing a conventional air conditioner to adjust the wind direction by determining the position of the human body.
  • the indoor image is taken from the camera (S1)
  • the captured image is converted into a readable digital signal by image processing to generate image data.
  • the coordinates of the lowest end of the image area estimated to be the human body are measured and detected in the image data (S3), and the stored coordinate data is used to detect the coordinates.
  • the actual position in the indoor area is calculated and the position of the occupant is determined (S4, S5). And to adjust the wind direction and temperature (S6).
  • the prior art of FIG. 1 is a method of determining a location or distance of a person through a camera and sending wind in a corresponding direction. However, depending on personal preferences, some may want air conditioning, but some may never.
  • the prior art is controlled to send a wind to the user regardless of the user's intention, so that the user does not meet the user's needs in terms of ease of use, and generality available to everyone.
  • the user is to voice a specific position through the voice and to provide a way to adjust the wind direction in response to the air conditioner.
  • the air conditioner for controlling the wind direction to the indicated position includes an object recognition unit for recognizing an object in an image photographed by a camera unit in the air conditioner, a voice recognition unit for receiving a voice command indicating an object, and a voice command. It includes a control unit for controlling to send the wind blower to the position of the object included in.
  • an air conditioner for controlling a wind direction to a pointed position includes a communication unit for receiving information from a communication device for selecting a specific position in an image captured by a camera unit in an air conditioner, and a wind blowing unit corresponding to a position in the image It includes a control unit for controlling to send.
  • Method for controlling the wind direction of the air conditioner to the indicated position comprises the steps of recognizing the object in the image by taking an image included in the camera unit of the air conditioner blowing section of the air conditioner to send the wind; And when a voice command indicating a person among the objects is input, controlling the wind blowing unit to send wind using the time difference in which the voice is recognized and the object recognized result.
  • the user may voice input a specific location in the room without adjusting the fan of the air conditioner, and the air conditioner blows toward the desired location to provide the air conditioner wind accurately and comfortably. .
  • the air conditioner determines the location of the person from the location of the indoor objects and adjusts the time difference in which the voice is input. Wind direction can be adjusted to suit the user's voice command.
  • FIG. 1 is a view showing a conventional air conditioner to adjust the wind direction by determining the position of the human body.
  • FIG. 2 is a view showing the configuration of an air conditioning system according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a process of recognizing an object according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an object identification process according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a configuration in which an air conditioner disposed in a living room according to an embodiment of the present invention calculates positions of objects in the living room and sets a vector of wind corresponding thereto.
  • FIG. 6 is a diagram illustrating a process of instructing a user to recognize an object through an app according to an embodiment of the present invention.
  • FIG. 7 is a view showing an image displayed on the communication device according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a grid for each point and corresponding vector information in the image of FIG. 7 according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a process of performing grid-based control according to an embodiment of the present invention.
  • FIG. 10 is a view illustrating a process of identifying the position of the commander according to an embodiment of the present invention.
  • first, second, A, B, (a), and (b) can be used. These terms are only to distinguish the components from other components, and the terms are not limited in nature, order, order, or number of the components. If a component is described as being “connected”, “coupled” or “connected” to another component, that component may be directly connected to or connected to that other component, but between components It is to be understood that the elements may be “interposed” or each component may be “connected”, “coupled” or “connected” through other components.
  • the air conditioner finds the type and location of various objects in the image acquired by the camera.
  • the air conditioner provides a voice recognition function so that when a user speaks a specific object, the actual position of the corresponding object in the image is calculated to control the air conditioner wind direction in the direction of the object.
  • a device having a function of displaying an image such as a smartphone or a tablet computer, or a TV possessed by a user, outputs an image captured by the camera of the air conditioner.
  • the user selects or touches a specific position in the image photographed by the camera, the actual position of the corresponding direction is calculated so that the air conditioner wind direction can be controlled to the position.
  • the user can conveniently control the wind in the desired direction.
  • FIG. 2 is a view showing the configuration of an air conditioning system according to an embodiment of the present invention. Looking at the configuration of Figure 2, the components constituting the air conditioner 100 are presented.
  • the camera unit 110 photographs an image including objects within a range in which the air blowing unit 15 of the air conditioner can send wind.
  • the object recognizer 130 recognizes the object in the image.
  • the object recognition unit 130 may include an image data collection unit 132 that stores a plurality of images captured by the camera unit 110, and an identification information generation unit that stores objects as one or more identification information by classifying objects from the collected image data.
  • 134 may include an operation unit 136 for generating a direction vector for blowing to each separated object disposed on the image.
  • the voice recognition unit 120 receives a voice command including identification information identifying the recognized object.
  • the identification information for identifying the object may be a name of the object, a color of the object, a height or an area of the object, or a category of a thing in which the object is included. It can be a TV, a sofa, a curtain, or the like. You can direct people or give them specific directions, such as "upwards the TV.” Voice commands that include identifying information to indicate one of the objects, such as "to me,” may also be recognized.
  • the controller 150 compares the identification information of the object included in the voice command with the object recognized in the image and controls the blower 15 to send wind in the direction indicated by the voice command based on the object.
  • the communication unit 180 may communicate with an external server or communication device.
  • the communication unit 180 may receive data necessary for the object recognition unit 130 to recognize the object from the server and provide the data to the object recognition unit 130.
  • an image (or object identification information) of an object recognized in the image or an image photographed by the camera unit 110 may be transmitted to an external communication device (tablet, notebook, TV, smartphone, etc.).
  • the user may select specific location information (coordinate information) on the image by a touch or the like in the communication device, or information on selecting a specific object may be transmitted to the communication unit 180. Based on this information, the controller 150 may control the blower 15 to send wind in the direction indicated based on the object selected by the communication device.
  • the controller 150 may control the image captured by the camera 110 to be blown in a grid direction when the user selects a specific grid unit by dividing the entire image into grid units without a separate object recognition process.
  • the grid unit means one cell or grid in the entire grid.
  • the unit of the grid can be set in various ways, and the entire screen can be divided into N columns.
  • the controller 150 may subdivide the grid by pixel to calculate the selected point in the image as the pixel position in the image. Depending on the size of the grid, the control accuracy of the blowing can be variously determined.
  • the interface unit 140 may provide a function of displaying a current operation state or providing a button for turning on / off from the outside.
  • FIG. 3 is a diagram illustrating a process of recognizing an object according to an embodiment of the present invention.
  • the camera unit 110 captures an image (S21). Shooting of the image may be repeated for a predetermined time.
  • the object recognition unit 130 may identify the object where the change has occurred and the object where the change does not occur.
  • the object recognition unit 130 proceeds to learn for object recognition using the accumulated images (S22).
  • the identification information generator 134 may use the information from the outside to distinguish the image.
  • the identification information generation unit 134 may receive a plurality of images from an external server or communication devices through the communication unit 180.
  • the received image may include meta information describing the image.
  • the meta information includes meta information describing the entire image, meta information describing a specific area in the image, that is, a specific object, and the like.
  • the identification information generation unit 134 may proceed with the learning based on the image transmitted from the outside without the camera unit and the meta information about the image.
  • the image captured by the camera unit and external data may be continuously accumulated to identify objects having similarities among them and set identification information of the corresponding object (S23).
  • various indoor photographed images in which the air conditioner may be disposed may be provided to the identification information generator 134 as external data.
  • the external data may also include identification information about the photographed object as meta information.
  • the identification information generator 134 may accumulate for a predetermined period of time to learn each image.
  • each object when each object is identified in the image but each object is not identified, it may be continuously compared with other external images to calculate identification information about the object.
  • the object recognition unit 130 may check the location information of the object.
  • the object recognition unit may include images collected through the camera unit 150 disposed in the air conditioner, images and meta information collected from an external website, or images and meta information stored in a user's smartphone or tablet computer in the corresponding space. 130 can be used.
  • various algorithms may be applied for object detection, and the identification information generator 134 may apply a built-in model for detecting an object. I can learn.
  • the object recognition unit 130 may check the type or category of the object and the position in the space.
  • the position of the object may calculate two-dimensional position information (up, down, left, and right) based on the X-Y axis.
  • the camera 150 may further include a separate depth camera to calculate Z information (distance) by calculating depth information about each object.
  • the controller 150 may control not only the wind direction but also the wind speed or the air volume according to the position of the object.
  • the controller 150 may blow at a small wind speed and a small amount of air, but when blowing is directed at a distant object, the controller 150 may blow a large amount of air. It can also blow at high wind speeds and large amounts of air.
  • the image data collecting unit 132 collects image data (S31).
  • the collection includes both input data collected in a space where an air conditioner is disposed, and collection of various images photographed in various environments to generate a learning model from the outside.
  • the collected image is input to the identification information generator 134 (S32), and the identification information generator 134 generates a training and a model (S33).
  • the training may be repeated every N days after generating the model once.
  • the image data collecting unit 132 secures a predetermined amount or more of an image including various objects. External images not taken during this process may also be included for learning.
  • the identification information generator 134 generates a model by learning images collected by applying Faster RCNN, YOLO9000, Mask RCNN, and the like for learning-based object recognition using deep learning as an embodiment. The learning is repeated until it is above a certain level of reliability.
  • object identification and identification information are generated (S34).
  • the information calculated from the object identification may be the name, category, location, etc. of the object.
  • the identification information may include color information. For example, a user might say, "send a wind to the couch.” A voice command can be recognized, "send the wind towards the left black”.
  • the identification information about the object includes information for identifying the object in various ways such as location information, color information, or height information.
  • the identification information generator 134 provides the identified object information to the calculator 136 (S35), and the calculator 136 generates a direction vector corresponding to each object (S36).
  • the direction vector may constitute a direction table in pairs with the identified object information. It is generated in N time periods, but can be newly generated in response to changes every time a command is input.
  • the identification information generator 134 transmits the position of the object recognized in the image to the calculator 136.
  • an identification number may be assigned from the left side, and the operation unit 136 may be indicated to be the same object.
  • the calculation unit 136 generates a table by converting the position (X, Y) of each object on the image to the air conditioning vane reference direction vector.
  • the direction table may be updated once every N hours, or whenever a wind direction change command is input to recognize a person.
  • information may be accumulated in the identification information generation unit 134 about a fixed object (a sofa, a TV) and an object in which a change occurs (curtain, light bulb), and the like. After generating identification information, it may not be updated separately.
  • the controller 150 determines the switching direction of the air conditioner wind using the direction vector stored in the direction table of the calculator 136 to control the blower 15 to change the wind direction to the direction of the indicated object (S39).
  • FIG. 5 is a diagram illustrating a configuration in which an air conditioner disposed in a living room according to an embodiment of the present invention calculates positions of objects in the living room and sets a vector of wind corresponding thereto.
  • 40a illustrates an image of each object by photographing an image in a living room.
  • a rectangle is displayed around the bulb 41, the TV 42, the curtains 43 and 44, the chair 45, the table 46, and the sofa 47 to show that the object is recognized.
  • the position of each of these objects in the image and the vector value for blowing to these objects are indicated as 40b.
  • the controller 150 may control the fan of the blower 15 upward by 47 and 12 to the right, and then send the wind.
  • the air conditioner recognizes the object in the voice and changes the wind direction in the corresponding direction.
  • the object is an object included in the air conditioner camera image and the position of each object is secured through object recognition.
  • FIG. 6 is a diagram illustrating a process of instructing a user to recognize an object through an app according to an embodiment of the present invention.
  • the camera unit 110 of the air conditioner photographs the objects and the objects in the space as shown in 53 through the process of FIG. 4. Print out their information.
  • the camera unit 110 and the object recognition unit 130 may display a current object recognition progress state as shown in 52 to show a process of recognizing the object.
  • the air conditioner wind direction may be changed in the direction of the object.
  • the controller 150 determines that the selected objects are in a direction in which the wind can be blown so that the wind can be rotated and blown.
  • the controller 150 rotates up and down between the light bulb and the table to blow wind.
  • person 1 and person 2 mean objects recognized by determining a person from among currently recognized objects. Instead of the person 1 and the person 2 in the output method of 53, the output is so that it can be more easily identified as "a person near the air conditioner" and "a person far from the air conditioner".
  • the communication unit 180 transmits information about the recognized object to the communication device 200.
  • the identification information (name) of the object may be transmitted or an image of the object may be transmitted.
  • the communicator 180 receives selection information about a specific object from the communication device 200. Based on the selection information received by the communication unit 180, the controller 150 may control the blower to send wind in the direction indicated based on the selected object.
  • an image is obtained through the camera unit 110 disposed in the air conditioner, and information about which object is located at which position in the image is generated through an object recognition algorithm. Since the image is two-dimensional data, it is possible to predict the direction between the object and the air conditioner. In addition, when a user calls a name of a specific object by voice and sends a wind to the corresponding object, or as shown in FIG. 6, when the user selects an object through an app, the direction of the air conditioner may be switched in the direction of the object.
  • the image may be provided to the user's communication device 200 based on the grid, and the user may select a specific position among the images to control the direction of the wind.
  • the communication device 200 may check an image photographed by the camera unit 110 of the air conditioner from the communication unit 180 of the air conditioner. Here, only the image photographed by the camera unit 110 is displayed without recognition of each object. do. On this image, when the user selects a specific position and presses the "Apply Direction" button at the bottom, the wind of the blower 15 is provided in the selected direction.
  • the user can control the wind of the air conditioner by selecting a specific point.
  • FIG. 8 is a diagram illustrating a grid for each point and corresponding vector information in the image of FIG. 7 according to an embodiment of the present invention.
  • the controller 150 may store information of setting a grid of 7 ⁇ 6 for each image of FIG. 7.
  • the grid of FIG. 8 may not be displayed to the user.
  • Grid identification information G00 to G41 and the direction of air conditioner wind corresponding to each grid are displayed in grid table 60.
  • the controller 150 receives vector information on the grid selected from the grid table 60.
  • the direction of the wind may be controlled by extracting and corresponding to the vector information. That is, the control unit may generate the grid table 60 by obtaining the air conditioner vane reference direction value (or an additional value calculated for controlling in the corresponding direction) for each grid.
  • the controller 150 may generate a separate grid table 60 in response to the image photographed in response to the rotation of the camera unit 110.
  • FIG. 9 is a diagram illustrating a process of performing grid-based control according to an embodiment of the present invention.
  • the camera unit 110 captures an image and transmits the image to the communication device 200 (S61). Independently of transmission, the controller 150 converts the image into a grid (S62). Thereafter, the controller 150 generates a grid table 60 by mapping a blowing direction of an air conditioner corresponding to each grid (S63). Meanwhile, the communication unit 180 receives coordinate information about one or two points or more points of the image from the communication device 200 that receives the image (S64). The control unit 150 controls the blowing in the direction set in the grid corresponding to the coordinate information (S65).
  • the grid 110 may be generated by applying a rotation angle of the camera unit 110 to the image photographed by the camera unit 110 rotating.
  • the direction of the wind may be changed by rotating the fan of the blower 15 of the air conditioner in the corresponding direction.
  • the controller 150 controls the two points to be rotated left and right or up and down with the blower unit 15 as end points.
  • the controller 150 may control the fan of the blower 15 of the air conditioner to blow the air by changing directions to the three points.
  • the upper left grid is designated as G00
  • the grid immediately below the upper right is designated as G13.
  • the air conditioner is 30 degrees upward according to the information of the grid table 60. Blow the fan by changing the direction of the fan 45 degrees to the left.
  • the air blowing unit of the air conditioner may be rotated and blown within an angle range of 15 degrees upward and 45 degrees upward from the 30 ° and 45 ° left points. .
  • the user may touch a specific point in the operation process to increase the wind strength or stop the blowing of the air conditioner.
  • the user may touch a specific point in the operation process to increase the wind strength or stop the blowing of the air conditioner.
  • the user can remotely turn on / off the air conditioner using the communication device 200.
  • the communication unit 180 transmits the image photographed by the camera unit 110 to the communication device 200, and receives specific coordinate information in the image from the communication device 200.
  • the controller 150 controls the blower to send wind in the direction indicated based on the selected coordinate information. When two or more coordinates are selected in this process, the coordinates are rotated at the end of the blowing direction to allow blowing.
  • the controller 150 divides an image into two or more grids, and generates a direction vector for blowing air corresponding to each grid.
  • the communication unit 180 transmits an image to an external communication device, and receives grid selection information for selecting the grid in the image from the communication device.
  • the control unit controls the blower unit 15 to send wind using a direction vector corresponding to the grid included in the grid selection information.
  • the controller 150 divides the image acquired by the camera unit 110 of the air conditioner into K grids. For each grid, a grid table is generated as shown in FIG. 60 by matching a direction vector (or a control value for redirection) based on the air conditioner blade.
  • the direction can be calculated regardless of the distance between the object and the camera.
  • the same direction is projected to the same pixel.
  • the controller 150 uses the vector value corresponding to the touched grid to change the air conditioner wind direction to the corresponding position. 15).
  • the controller 150 controls the air conditioners to rotate and blow by setting the two locations as endpoints. Additionally, increasing the number of touches over a period of time may change the wind strength.
  • it is also possible to input voice by way of setting such an endpoint. "Rotating cold wind from sofa to TV" is a voice input to control the wind to rotate between the two places.
  • the controller 150 When there are a large number of users in the living room, they may be displayed as person 1 / person 2 among the recognized objects as shown in FIG. 6. In this case, when a specific person inputs a command to "send me a wind", the controller 150 should determine to which of the two people to send a wind. To this end, two or more voice recognition units may be disposed in the air conditioner.
  • the first voice recognition unit 120a and the second voice recognition unit 120b are disposed at left and right sides of the air conditioner according to an embodiment.
  • the voice recognition units 120a and 120b may identify the talker's position by distinguishing the time at which the voice is recognized.
  • the controller 150 may determine the direction of the person by calculating the time difference in which the voice is input to the first voice recognition unit 120a and the second voice recognition unit 120b.
  • the first voice recognition unit 120a and the second voice recognition unit 120b of the air conditioner may simultaneously recognize the voice as shown in FIG. 10.
  • the voice may be input to the first voice recognition unit 120a as shown in FIG.
  • the controller 150 checks the time difference between the first voice recognition unit 120a and the second voice recognition unit 120b and the position where the object is recognized as a person in the image, and inputs the command by voice. By checking the position of the blowing direction can be adjusted in the corresponding direction.
  • the first voice recognition unit 120a is arranged to receive the voice spoken from the first direction before the second voice recognition unit 120b.
  • the second voice recognition unit 120b is arranged to receive the voice uttered from the second direction before the first voice recognition unit 120a.
  • the controller 150 controls to send wind in the first direction or the middle direction between them in accordance with the time difference between the voices recognized by the first voice recognition unit 120a and the second voice recognition unit 120b. can do.
  • the air conditioner In order to change the wind direction of the air conditioner, it is adjusted in a desired direction by using a remote control button. The user was able to stop and switch the wind direction when the fan rotates and the wind reaches the desired direction. In this process, it takes time to adjust in the desired direction, and also in setting the direction, there is a problem that the direction setting is not made correctly due to the difference in adjustment time.
  • the air conditioner has a limitation that can be selected from only two options, such as rotation or blowing in a specific direction.
  • embodiments of the present invention increase convenience in setting the wind direction of the air conditioner.
  • the blowing direction may be controlled according to a user's instruction instead of unconditionally controlling the blowing direction toward a person.
  • a user's instruction instead of unconditionally controlling the blowing direction toward a person.
  • the air conditioner blows only in the direction of the person 1. Controlled. Therefore, it is possible to diversify according to a user's instruction, rather than being unconditionally blown by a person.
  • the present invention instead of blowing wind to a person through unconditional human body detection, it analyzes the position of the object with respect to the space based on the user's voice command or touch selection through the app, more conveniently and more intuitively.
  • the wind direction of the air conditioner can be adjusted more accurately.
  • the user may check the object recognized by the object recognition unit 130 of the air conditioner through the app.
  • an image is acquired through a camera of an air conditioner, and an object recognition algorithm is used to find out which object is located in an image.
  • the relationship between the position on the image and the direction of the air conditioner is then formulated.
  • the air conditioner can send wind in the direction of the object. Therefore, an object recognition unit for recognizing an object in the image photographed by the camera unit in the air conditioner, a voice recognition unit for receiving a voice command indicating the object, and controlling the wind to send the blower to the position of the object included in the voice command
  • An air conditioner including a control unit may be implemented.
  • the image is converted into K grids, and then the relationship between the position of the grid on the image and the air conditioner is modified. Then, if the user touches a desired place in the image taken by the air conditioner, the air conditioner wind direction is changed in the corresponding direction.
  • the air conditioner may include a communication unit which receives information from a communication device, which selects a specific position in the image captured by the camera unit in the air conditioner, and a control unit which controls the wind blowing unit to correspond to the position in the image.
  • the camera unit of the air conditioner implements a step of recognizing an object in the image by photographing an image included in a range within which a blowing unit of the air conditioner can send wind.
  • controlling the air blowing unit to send the wind by using the time difference and the object recognition result in which the voice is recognized in at least two voice recognition units.
  • the blowing direction of the air conditioner may be controlled based on the execution of the above-described steps.
  • the present invention is not necessarily limited to these embodiments, and all of the components are within the scope of the present invention. It can also be combined to operate selectively.
  • all of the components may be implemented in one independent hardware, each or all of the components may be selectively combined to perform some or all functions combined in one or a plurality of hardware.
  • It may be implemented as a computer program having a. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art.
  • Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention.
  • the storage medium of the computer program includes a storage medium including a magnetic recording medium, an optical recording medium and a semiconductor recording element.
  • the computer program for implementing an embodiment of the present invention includes a program module transmitted in real time through an external device.

Abstract

The present invention provides a technology relating to an air conditioner for controlling a wind direction toward an indicated location by using artificial intelligence and a method for controlling same. An air conditioner for controlling a wind direction toward an indicated location according to an embodiment of the present invention comprises: an object recognition unit for recognizing an object contained in an image captured by a camera unit disposed in the air conditioner; a voice recognition unit for receiving a voice command indicating an object; and a control unit for controlling wind from a blower unit to blow toward the location of the object indicated by the voice command.

Description

인공지능을 이용하여 지시된 위치로 풍향을 제어하는 에어컨 및 이를 제어하는 방법Air conditioner for controlling wind direction to the indicated position using artificial intelligence and method of controlling the same
본 발명은 지시된 위치로 풍향을 제어하는 에어컨 및 이를 제어하는 방법에 관한 기술이다.The present invention relates to an air conditioner for controlling the wind direction to the indicated position and a technique for controlling the same.
공기조화기는, 쾌적한 실내 환경을 조성하기 위해 실내로 냉온의 공기를 토출하여, 실내 온도를 조절하고, 실내 공기를 정화하도록 함으로서 인간에게 보다 쾌적한 실내 환경을 제공하기 위해 설치된다.The air conditioner is installed to provide a more comfortable indoor environment for humans by discharging cold air into the room to adjust the indoor temperature to purify the indoor air to create a comfortable indoor environment.
일반적으로 공기조화기는, 실내에 설치되는 실내기와, 압축기 및 열교환기 등으로 구성되어 실내기로 냉매를 공급하는 실외기를 포함한다.In general, an air conditioner includes an indoor unit installed indoors, an outdoor unit configured to supply a refrigerant to the indoor unit, which is composed of a compressor, a heat exchanger, and the like.
한편, 공기조화기는, 실내기 및 실외기가 분리되어 제어될 수 있다. 또한 공기조화기는, 실외기에 적어도 하나의 실내기가 연결될 수 있으며, 요청되는 운전 상태에 따라, 실내기로 냉매를 공급하여, 냉방 또는 난방모드로 운전된다.On the other hand, the air conditioner, the indoor unit and the outdoor unit can be controlled separately. In addition, the air conditioner may be connected to at least one indoor unit to the outdoor unit, the refrigerant is supplied to the indoor unit in accordance with the requested operating state, and operated in the cooling or heating mode.
또한, 공기조화기의 실내기는 특정한 온도로 실내 공기를 변화시키기 위해 설정된 방향으로 바람을 제공한다. 그런데, 이러한 설정은 사용자의 제어를 필요로 한다는 점에서 문제가 있다. 과거, 본 발명의 출원인이 출원하였던 출원번호 10-2008-0012758의 발명을 살펴보면, 에어컨에 설치된 카메라를 이용하여 획득한 2차원 이미지에서 사람을 검출하는 내용이 제시된다. 도 1에서 보다 상세히 살펴본다. In addition, the indoor unit of the air conditioner provides wind in a set direction to change the indoor air to a specific temperature. However, this setting is problematic in that it requires user control. Looking at the invention of the application No. 10-2008-0012758 filed by the applicant of the present invention in the past, the content of detecting a person in a two-dimensional image obtained by using a camera installed in the air conditioner is presented. Look in more detail in FIG.
도 1은 종래에 공기 조화기가 인체의 위치를 판단하여 풍향을 조절하는 과정을 보여주는 도면이다. 카메라로부터 실내 영상이 촬영되면(S1) 촬영된 영상을 영상처리하여 판독 가능한 디지털 신호로 변환되어 영상데이터가 생성된다. 1 is a view showing a conventional air conditioner to adjust the wind direction by determining the position of the human body. When the indoor image is taken from the camera (S1), the captured image is converted into a readable digital signal by image processing to generate image data.
그리고 인체를 감지하여(S2) 재실자가 감지된 경우, 영상데이터 내에서 인체인 것으로 추정되는 영상영역의 최하단의 좌표를 측정하여 검출하고(S3), 기 저장된 좌표데이터를 이용하여, 검출된 좌표에 따른 실내영역에서의 실제 위치를 산출하고, 재실자의 위치를 판단한다(S4, S5). 그리고 풍향 및 온도를 조절한다(S6).When the human body is detected by detecting the human body (S2), the coordinates of the lowest end of the image area estimated to be the human body are measured and detected in the image data (S3), and the stored coordinate data is used to detect the coordinates. The actual position in the indoor area is calculated and the position of the occupant is determined (S4, S5). And to adjust the wind direction and temperature (S6).
도 1의 종래 기술은 카메라를 통해 사람의 위치나 거리를 판단하여 해당 방향으로 바람을 보내는 방식이다. 그런데, 개인 취향에 따라 에어컨 바람을 원하는 경우도 있지만 절대 원하지 않는 경우도 있다. 종래 기술은 사용자의 의도와는 상관없이 무조건 사용자에게 바람을 보내도록 제어되므로 사용자가 번거롭지 않게 사용할 수 있는 편의성, 모든 사람들이 사용 가능한 일반성 측면에서 사용자 요구를 충족시키지 못한다. The prior art of FIG. 1 is a method of determining a location or distance of a person through a camera and sending wind in a corresponding direction. However, depending on personal preferences, some may want air conditioning, but some may never. The prior art is controlled to send a wind to the user regardless of the user's intention, so that the user does not meet the user's needs in terms of ease of use, and generality available to everyone.
이에, 사용자가 원하는 방식으로 에어컨이 송풍할 수 있도록 에어컨을 제어하되, 사용자가 원격에서도 방향을 정확하게 조절할 수 있는 방법이 필요하다. Thus, while controlling the air conditioner to blow the air conditioner in a manner desired by the user, there is a need for a method that allows the user to accurately adjust the direction even from a remote location.
본 명세서에서는 전술한 문제점을 해결하기 위한 것으로, 공기조화기의 팬을 조절하지 않고 사용자가 원하는 위치를 에어컨에게 제공하여 에어컨의 풍향을 조절하는 에어컨 및 풍향을 제어하는 방법을 제공하고자 한다. In the present specification, to solve the above-described problems, it is intended to provide an air conditioner and a method of controlling the air direction by adjusting the wind direction of the air conditioner by providing a desired position to the air conditioner without adjusting the fan of the air conditioner.
본 명세서에서는 사용자가 음성을 통해서 특정한 위치를 발성하고 에어컨이 이에 대응하여 풍향을 조절하는 방안을 제공하고자 한다. In the present specification, the user is to voice a specific position through the voice and to provide a way to adjust the wind direction in response to the air conditioner.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention, which are not mentioned above, can be understood by the following description, and more clearly by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
본 발명의 일 실시예에 의한 지시된 위치로 풍향을 제어하는 에어컨은 에어컨 내의 카메라부가 촬영한 이미지 내의 객체를 인식하는 객체 인식부와 객체를 지시하는 음성 명령을 수신하는 음성 인식부, 그리고 음성 명령에 포함된 객체의 위치로 송풍부의 바람을 보내도록 제어하는 제어부를 포함한다. The air conditioner for controlling the wind direction to the indicated position according to an embodiment of the present invention includes an object recognition unit for recognizing an object in an image photographed by a camera unit in the air conditioner, a voice recognition unit for receiving a voice command indicating an object, and a voice command. It includes a control unit for controlling to send the wind blower to the position of the object included in.
본 발명의 일 실시예에 의한 지시된 위치로 풍향을 제어하는 에어컨은 에어컨 내의 카메라부가 촬영한 이미지 내의 특정한 위치를 선택한 정보가 통신 장치로부터 수신하는 통신부와, 이미지 내의 위치에 대응하여 송풍부의 바람을 보내도록 제어하는 제어부를 포함한다.According to an embodiment of the present invention, an air conditioner for controlling a wind direction to a pointed position includes a communication unit for receiving information from a communication device for selecting a specific position in an image captured by a camera unit in an air conditioner, and a wind blowing unit corresponding to a position in the image It includes a control unit for controlling to send.
본 발명의 일 실시예에 의한 지시된 위치로 에어컨의 풍향을 제어하는 방법은 에어컨의 카메라부가 에어컨의 송풍부가 바람을 보낼 수 있는 범위 내에 포함된 이미지를 촬영하여 이미지 내에 객체를 인식하는 단계와, 상기 객체 중 사람을 지시하는 음성 명령어가 입력되면 둘 이상의 음성 인식부에 음성이 인식되는 시간차 및 객체 인식된 결과를 이용하여 송풍부의 바람을 보내도록 제어하는 단계를 포함한다. Method for controlling the wind direction of the air conditioner to the indicated position according to an embodiment of the present invention comprises the steps of recognizing the object in the image by taking an image included in the camera unit of the air conditioner blowing section of the air conditioner to send the wind; And when a voice command indicating a person among the objects is input, controlling the wind blowing unit to send wind using the time difference in which the voice is recognized and the object recognized result.
본 발명의 실시예들을 적용할 경우, 공기조화기의 팬을 조절하지 않고 실내의 특정한 위치를 사용자가 음성 입력하여 사용자가 원하는 위치를 향해 에어컨이 송풍하여 정확하고 쾌적하게 에어컨 바람을 제공할 수 있다. When the embodiments of the present invention are applied, the user may voice input a specific location in the room without adjusting the fan of the air conditioner, and the air conditioner blows toward the desired location to provide the air conditioner wind accurately and comfortably. .
본 발명의 실시예들을 적용할 경우, 둘 이상의 사용자가 위치한 상태에서 음성으로 사람을 기준으로 하는 위치를 입력할 경우, 에어컨은 실내 객체들의 위치에서 사람의 위치를 판별하고 음성이 입력된 시간차이를 이용하여 해당 사용자의 음성 명령에 적합하게 풍향을 조절할 수 있다. According to the embodiments of the present invention, when a user inputs a location based on a person by voice while two or more users are located, the air conditioner determines the location of the person from the location of the indoor objects and adjusts the time difference in which the voice is input. Wind direction can be adjusted to suit the user's voice command.
본 발명의 효과는 전술한 효과에 한정되지 않으며, 본 발명의 당업자들은 본 발명의 구성에서 본 발명의 다양한 효과를 쉽게 도출할 수 있다. The effects of the present invention are not limited to the above effects, and those skilled in the art can easily derive various effects of the present invention from the configuration of the present invention.
도 1은 종래에 공기 조화기가 인체의 위치를 판단하여 풍향을 조절하는 과정을 보여주는 도면이다.1 is a view showing a conventional air conditioner to adjust the wind direction by determining the position of the human body.
도 2는 본 발명의 일 실시예에 의한 에어컨 시스템의 구성을 보여주는 도면이다.2 is a view showing the configuration of an air conditioning system according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 의한 객체를 인식하는 과정을 보여주는 도면이다. 3 is a diagram illustrating a process of recognizing an object according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 의한 객체 식별 과정을 보여주는 도면이다.4 is a diagram illustrating an object identification process according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 의한 거실 내에 배치된 에어컨이 거실 내 객체들의 위치를 산출하여 이에 대응하는 바람의 벡터를 설정한 구성을 보여주는 도면이다. FIG. 5 is a diagram illustrating a configuration in which an air conditioner disposed in a living room according to an embodiment of the present invention calculates positions of objects in the living room and sets a vector of wind corresponding thereto.
도 6은 본 발명의 일 실시예에 의한 사용자가 앱을 통하여 객체를 인식하도록 명령하는 과정을 보여주는 도면이다.6 is a diagram illustrating a process of instructing a user to recognize an object through an app according to an embodiment of the present invention.
도 7은 본 발명의 일 실시예에 의한 통신 장치에 표시된 이미지를 보여주는 도면이다.7 is a view showing an image displayed on the communication device according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 의한 도 7의 이미지에 각 지점별 그리드 및 이에 대응하는 벡터 정보를 보여주는 도면이다.FIG. 8 is a diagram illustrating a grid for each point and corresponding vector information in the image of FIG. 7 according to an embodiment of the present invention.
도 9는 본 발명의 일 실시예에 의한 그리드 방식의 제어를 수행하는 과정을 보여주는 도면이다.9 is a diagram illustrating a process of performing grid-based control according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예에 의한 명령자의 위치를 파악하는 과정을 보여주는 도면이다.10 is a view illustrating a process of identifying the position of the commander according to an embodiment of the present invention.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.In order to clearly describe the present invention, parts irrelevant to the description are omitted, and like reference numerals designate like elements throughout the specification. In addition, some embodiments of the invention will be described in detail with reference to exemplary drawings. In adding reference numerals to components of each drawing, the same components may have the same reference numerals as much as possible even though they are shown in different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description may be omitted.
본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In describing the components of the present invention, terms such as first, second, A, B, (a), and (b) can be used. These terms are only to distinguish the components from other components, and the terms are not limited in nature, order, order, or number of the components. If a component is described as being "connected", "coupled" or "connected" to another component, that component may be directly connected to or connected to that other component, but between components It is to be understood that the elements may be "interposed" or each component may be "connected", "coupled" or "connected" through other components.
또한, 본 발명을 구현함에 있어서 설명의 편의를 위하여 구성요소를 세분화하여 설명할 수 있으나, 이들 구성요소가 하나의 장치 또는 모듈 내에 구현될 수도 있고, 혹은 하나의 구성요소가 다수의 장치 또는 모듈들에 나뉘어져서 구현될 수도 있다.In addition, in the implementation of the present invention may be described by subdividing the components for convenience of description, these components may be implemented in one device or module, or one component is a plurality of devices or modules It can also be implemented separately.
본 명세서에서는 객체를 인식하거나 또는 객체를 감지하는 알고리즘(Object Detection Algorithm)을 기반으로, 에어컨이 카메라를 통해 획득한 이미지 내의 다양한 물체들의 종류와 위치를 찾아낸다. 또한 본 명세서의 실시예에서 에어컨은 음성인식 기능을 제공하여 사용자가 특정 물체를 말하면 이미지 내의 해당 물체의 실제위치가 계산되어 물체의 방향으로 에어컨 바람 방향이 제어된다. In the present specification, based on an algorithm for detecting an object or detecting an object, the air conditioner finds the type and location of various objects in the image acquired by the camera. In addition, in the embodiment of the present disclosure, the air conditioner provides a voice recognition function so that when a user speaks a specific object, the actual position of the corresponding object in the image is calculated to control the air conditioner wind direction in the direction of the object.
뿐만 아니라, 사용자가 소지한 스마트폰 또는 태블릿 컴퓨터, 또는 TV와 같이 영상의 디스플레이 기능을 가지는 장치가 에어컨의 카메라가 촬영한 영상을 출력한다. 그리고 사용자는 카메라가 촬영한 이미지에서 특정 위치를 선택 또는 터치하면 해당 방향의 실제 위치가 계산되어 그 위치로 에어컨 바람 방향이 제어될 수 있도록 한다. 그 결과, 이를 통해 사용자는 편리하게 원하는 방향으로 바람을 제어할 수 있다.In addition, a device having a function of displaying an image, such as a smartphone or a tablet computer, or a TV possessed by a user, outputs an image captured by the camera of the air conditioner. When the user selects or touches a specific position in the image photographed by the camera, the actual position of the corresponding direction is calculated so that the air conditioner wind direction can be controlled to the position. As a result, the user can conveniently control the wind in the desired direction.
도 2는 본 발명의 일 실시예에 의한 에어컨 시스템의 구성을 보여주는 도면이다. 도 2의 구성을 살펴보면, 에어컨(100)을 구성하는 구성요소들이 제시된다. 카메라부(110)는 에어컨의 송풍부(15)가 바람을 보낼 수 있는 범위 내에 객체들이 포함된 이미지를 촬영한다. 객체 인식부(130)는 이미지에서 객체를 인식한다. 2 is a view showing the configuration of an air conditioning system according to an embodiment of the present invention. Looking at the configuration of Figure 2, the components constituting the air conditioner 100 are presented. The camera unit 110 photographs an image including objects within a range in which the air blowing unit 15 of the air conditioner can send wind. The object recognizer 130 recognizes the object in the image.
보다 상세히 객체인식부(130)는 카메라부(110)가 촬영한 이미지를 다수 저장하는 이미지 데이터 수집부(132), 수집된 이미지 데이터에서 객체를 구분하여 하나 이상의 식별 정보로 저장하는 식별 정보 생성부(134), 이미지 상에 배치된 각각의 구분된 객체에게 송풍하기 위한 방향 벡터를 생성하는 연산부(136)를 포함할 수 있다. In more detail, the object recognition unit 130 may include an image data collection unit 132 that stores a plurality of images captured by the camera unit 110, and an identification information generation unit that stores objects as one or more identification information by classifying objects from the collected image data. 134 may include an operation unit 136 for generating a direction vector for blowing to each separated object disposed on the image.
그리고 음성 인식부(120)는 인식된 객체를 식별하는 식별 정보가 포함된 음성 명령을 수신한다. 객체를 식별하는 식별 정보란, 객체의 명칭, 객체의 색상, 객체의 높이 혹은 면적, 또는 객체가 포함된 사물의 카테고리 등이 될 수 있다. TV, 소파, 커튼 등이 될 수 있다. 사람을 지시할 수도 있고 "TV 위쪽으로"와 같이 특정한 방향을 제시할 수 있다. "나에게"와 같이 객체 중 자신을 지시하도록 식별 정보가 포함된 음성 명령 역시 인식될 수 있다. The voice recognition unit 120 receives a voice command including identification information identifying the recognized object. The identification information for identifying the object may be a name of the object, a color of the object, a height or an area of the object, or a category of a thing in which the object is included. It can be a TV, a sofa, a curtain, or the like. You can direct people or give them specific directions, such as "upwards the TV." Voice commands that include identifying information to indicate one of the objects, such as "to me," may also be recognized.
이후, 제어부(150)는 음성 명령에 포함된 객체의 식별 정보와 이미지에서 인식된 객체를 비교하여 객체를 기준으로 음성 명령에서 지시된 방향으로 송풍부(15)가 바람을 보내도록 제어한다. Thereafter, the controller 150 compares the identification information of the object included in the voice command with the object recognized in the image and controls the blower 15 to send wind in the direction indicated by the voice command based on the object.
통신부(180)는 외부의 서버 또는 통신 장치와 통신을 수행할 수 있다. 일 실시예로 통신부(180)는 객체인식부(130)가 객체를 인식하는데 필요한 데이터를 서버로부터 수신하여 객체인식부(130)에 제공할 수 있다. 또는 외부의 통신 장치(태블릿, 노트북, TV, 스마트폰 등)에게 카메라부(110)가 촬영한 이미지 또는 이미지 내에서 인식된 객체의 이미지(또는 객체의 식별 정보)를 전송할 수 있다. The communication unit 180 may communicate with an external server or communication device. In an embodiment, the communication unit 180 may receive data necessary for the object recognition unit 130 to recognize the object from the server and provide the data to the object recognition unit 130. Alternatively, an image (or object identification information) of an object recognized in the image or an image photographed by the camera unit 110 may be transmitted to an external communication device (tablet, notebook, TV, smartphone, etc.).
이 경우, 사용자는 통신 장치에서 이미지 상의 특정 위치 정보(좌표 정보)를 터치 등으로 선택하거나, 특정한 객체를 선택한 정보가 통신부(180)에 전송될 수 있다. 이러한 정보에 기반하여 제어부(150)는 통신 장치에서 선택된 객체를 기준으로 지시된 방향으로 송풍부(15)가 바람을 보내도록 제어할 수 있다. In this case, the user may select specific location information (coordinate information) on the image by a touch or the like in the communication device, or information on selecting a specific object may be transmitted to the communication unit 180. Based on this information, the controller 150 may control the blower 15 to send wind in the direction indicated based on the object selected by the communication device.
또는 카메라부(110)가 촬영한 이미지에 대하여 별도의 객체 인식 과정 없이 전체 이미지를 그리드 단위로 나누어 사용자가 특정한 그리드 단위를 선택하면 해당 그리드 방향으로 송풍하도록 제어부(150)가 제어할 수 있다. Alternatively, the controller 150 may control the image captured by the camera 110 to be blown in a grid direction when the user selects a specific grid unit by dividing the entire image into grid units without a separate object recognition process.
그리드 단위는 전체 격자에서 하나의 칸 또는 그리드를 의미한다. 그리드의 단위는 다양하게 설정될 수 있으며, 전체 화면을 N개의 칸으로 나눌 수 있다. 뿐만 아니라, 제어부(150)는 그리드를 픽셀 단위로 세분화시켜서, 이미지 내에서 선택된 지점을 이미지 내의 픽셀 위치로 계산할 수 있다. 그리드의 크기에 따라 송풍의 제어 정밀도가 다양하게 결정될 수 있다. The grid unit means one cell or grid in the entire grid. The unit of the grid can be set in various ways, and the entire screen can be divided into N columns. In addition, the controller 150 may subdivide the grid by pixel to calculate the selected point in the image as the pixel position in the image. Depending on the size of the grid, the control accuracy of the blowing can be variously determined.
인터페이스부(140)는 현재 동작 상황을 표시하거나 외부로부터 온/오프를 할 수 있도록 버튼을 제공하는 등의 기능을 제공한다. The interface unit 140 may provide a function of displaying a current operation state or providing a button for turning on / off from the outside.
도 3은 본 발명의 일 실시예에 의한 객체를 인식하는 과정을 보여주는 도면이다. 카메라부(110)가 이미지를 촬영한다(S21). 이미지의 촬영은 일정 시간동안 반복하여 이루어질 수 있다. 이 과정에서 객체 인식부(130)는 변화가 발생한 객체와 변화가 발생하지 않은 객체를 식별할 수 있다. 3 is a diagram illustrating a process of recognizing an object according to an embodiment of the present invention. The camera unit 110 captures an image (S21). Shooting of the image may be repeated for a predetermined time. In this process, the object recognition unit 130 may identify the object where the change has occurred and the object where the change does not occur.
예를 들어, 소파나 TV 등의 가구나 붙박이식 전자제품의 경우 한번 설치되면 위치에 있어서 변화가 없다. 반면, 전등의 경우 켜지고 꺼지는 변화가 있다. 그리고 커튼이나 블라인드 역시 매번 상이한 형상의 이미지로 촬영될 수 있다. For example, furniture or built-in electronics such as sofas or TVs once installed, there is no change in position. On the other hand, there is a change in the case of the light on and off. Curtains and blinds can also be taken in different shapes each time.
객체 인식부(130)는 누적된 이미지들을 이용하여 객체 인식을 위한 학습을 진행한다(S22). 특히, 식별 정보 생성부(134)는 이미지를 구별하기 위해 외부로부터 정보를 이용할 수 있다. The object recognition unit 130 proceeds to learn for object recognition using the accumulated images (S22). In particular, the identification information generator 134 may use the information from the outside to distinguish the image.
일 실시예로, 식별 정보 생성부(134)는 통신부(180)를 통해 외부의 서버나 통신 장치들로부터 이미지를 다수 수신할 수 있다. 그리고 수신한 이미지에는 이미지를 설명하는 메타 정보가 포함될 수 있다. 메타 정보는 이미지 전체를 설명하는 메타 정보, 이미지 내의 특정한 영역, 즉 특정한 객체를 설명하는 메타 정보 등을 포함한다. In one embodiment, the identification information generation unit 134 may receive a plurality of images from an external server or communication devices through the communication unit 180. The received image may include meta information describing the image. The meta information includes meta information describing the entire image, meta information describing a specific area in the image, that is, a specific object, and the like.
식별 정보 생성부(134)는 카메라부가 촬영하지 않고 외부로부터 전달된 이미지 및 상기 이미지에 대한 메타 정보에 기반하여 학습을 진행할 수 있다. 일 실시예로 카메라부에서 촬영한 이미지와 외부의 데이터를 지속적으로 누적하여 이들 중에서 유사성이 있는 객체들을 확인하여 해당 객체의 식별 정보를 설정할 수 있다(S23). The identification information generation unit 134 may proceed with the learning based on the image transmitted from the outside without the camera unit and the meta information about the image. In an embodiment, the image captured by the camera unit and external data may be continuously accumulated to identify objects having similarities among them and set identification information of the corresponding object (S23).
예를 들어, 에어컨이 배치될 수 있는 다양한 실내 촬영 이미지들이 외부 데이터로 식별 정보 생성부(134)에 제공될 수 있다. 그리고 외부 데이터에는 촬영된 객체에 대한 식별 정보도 메타 정보로 포함될 수 있다. 식별 정보 생성부(134)는 일정 기간 동안 누적하여 각 이미지들을 학습할 수 있다. For example, various indoor photographed images in which the air conditioner may be disposed may be provided to the identification information generator 134 as external data. The external data may also include identification information about the photographed object as meta information. The identification information generator 134 may accumulate for a predetermined period of time to learn each image.
특히, 이미지 내에서 각각의 객체를 구분하였으나 각 객체가 어떤 사물인지 확인되지 않은 경우, 외부의 다른 이미지들과 지속적으로 비교하여 해당 객체에 대한 식별 정보를 산출할 수 있다. S22 및 S23 과정에서 객체의 판별이 이루어지면, 객체 인식부(130)는 해당 객체의 위치 정보를 확인할 수 있다. In particular, when each object is identified in the image but each object is not identified, it may be continuously compared with other external images to calculate identification information about the object. When the object is determined in steps S22 and S23, the object recognition unit 130 may check the location information of the object.
에어컨에 배치된 카메라부(150)를 통해 수집한 이미지, 그리고 외부의 웹사이트에서 수집한 이미지 및 메타 정보, 혹은 해당 공간의 사용자의 스마트폰, 태블릿 컴퓨터 등에 저장된 이미지 및 메타 정보 등을 객체 인식부(130)가 이용할 수 있다. The object recognition unit may include images collected through the camera unit 150 disposed in the air conditioner, images and meta information collected from an external website, or images and meta information stored in a user's smartphone or tablet computer in the corresponding space. 130 can be used.
이 과정에서 객체 인식(object detection)을 위해 다양한 알고리즘(Faster RCNN, YOLOv2, Mask RCNN)을 적용할 수 있으며, 식별 정보 생성부(134)는 이들 알고리즘을 적용하여 객체를 감지하기 위한 모델을 내장하고 학습할 수 있다. 객체가 구별된 경우, 해당 객체의 종류나 카테고리, 그리고 공간 내에서의 위치를 객체인식부(130)가 확인할 수 있다. In this process, various algorithms (Faster RCNN, YOLOv2, and Mask RCNN) may be applied for object detection, and the identification information generator 134 may apply a built-in model for detecting an object. I can learn. When the objects are distinguished, the object recognition unit 130 may check the type or category of the object and the position in the space.
객체의 위치는 X-Y 축에 기반한 2차원 위치 정보(상하-좌우)를 산출할 수 있다. 또는 카메라부(150)외에 별도의 뎁스 카메라부를 더 포함하여 각 객체에 대한 뎁스 정보를 산출하여 Z 정보(거리)를 산출할 수도 있다. 이 경우, 제어부(150)는 풍향뿐만 아니라 풍속 또는 풍량을 객체의 위치에 따라 제어할 수 있다. The position of the object may calculate two-dimensional position information (up, down, left, and right) based on the X-Y axis. Alternatively, the camera 150 may further include a separate depth camera to calculate Z information (distance) by calculating depth information about each object. In this case, the controller 150 may control not only the wind direction but also the wind speed or the air volume according to the position of the object.
예를 들어, 가까이 있는 객체를 타겟으로 송풍이 지시된 경우, 제어부(150)는 작은 풍속과 작은 풍량으로 송풍할 수 있으나, 멀리 있는 객체를 타겟으로 송풍이 지시된 경우, 제어부(150)는 큰 풍속과 큰 풍량으로 송풍할 수도 있다. For example, when blowing is directed to a nearby object, the controller 150 may blow at a small wind speed and a small amount of air, but when blowing is directed at a distant object, the controller 150 may blow a large amount of air. It can also blow at high wind speeds and large amounts of air.
도 4는 본 발명의 일 실시예에 의한 객체 식별 과정을 보여주는 도면이다. 도 4에서 이미지 데이터 수집부(132)는 이미지 데이터를 수집한다(S31). 이때 수집은 에어컨이 배치된 공간 내에서 촬영된 이미지 데이터를 수집(input data)하는 것과 외부로부터 학습 모델 생성을 위해 다양한 환경에서 촬영된 다양한 이미지를 수집(learning data)하는 것을 모두 포함한다. 4 is a diagram illustrating an object identification process according to an embodiment of the present invention. In FIG. 4, the image data collecting unit 132 collects image data (S31). In this case, the collection includes both input data collected in a space where an air conditioner is disposed, and collection of various images photographed in various environments to generate a learning model from the outside.
수집된 이미지는 식별 정보 생성부(134)에 입력되고(S32), 식별정보 생성부(134)는 학습 및 모델을 생성한다(S33). The collected image is input to the identification information generator 134 (S32), and the identification information generator 134 generates a training and a model (S33).
학습은 1회 모델을 생성한 후 N일 주기로 반복될 수도 있다. 에어컨의 카메라부(110)를 통해 이미지 데이터 수집부(132)는 다양한 물체를 포함한 이미지를 일정량 이상 확보한다. 이 과정에서 촬영하지 않은 외부의 이미지 역시 학습을 위해 포함될 수 있다. The training may be repeated every N days after generating the model once. Through the camera unit 110 of the air conditioner, the image data collecting unit 132 secures a predetermined amount or more of an image including various objects. External images not taken during this process may also be included for learning.
식별 정보 생성부(134)는 딥러닝을 일 실시예로 하는 학습 기반 객체 인식을 위해 Faster RCNN, YOLO9000, Mask RCNN 등을 적용하여 수집한 이미지를 학습하여 모델을 생성한다. 일정 신뢰도 이상이 될 때까지 학습은 반복된다.The identification information generator 134 generates a model by learning images collected by applying Faster RCNN, YOLO9000, Mask RCNN, and the like for learning-based object recognition using deep learning as an embodiment. The learning is repeated until it is above a certain level of reliability.
이후 객체 식별 및 식별 정보를 생성한다(S34). 이때 객체 식별에서 산출되는 정보는 해당 객체의 명칭이나 카테고리, 위치 등이 될 수 있다. 뿐만 아니라 식별 정보는 컬러 정보도 포함될 수 있다. 예를 들어 사용자가 "쇼파로 바람을 보내" 라고 말할 수 있으나. "왼쪽 검은 색 쪽으로 바람을 보내"라고 음성 명령이 인식될 수 있다. Thereafter, object identification and identification information are generated (S34). In this case, the information calculated from the object identification may be the name, category, location, etc. of the object. In addition, the identification information may include color information. For example, a user might say, "send a wind to the couch." A voice command can be recognized, "send the wind towards the left black".
따라서, 객체에 대한식별 정보는 위치 정보와 컬러 정보, 또는 높이 정보 등 다양하게 객체를 식별할 수 있는 정보를 포함한다. 식별정보 생성부(134)는 식별된 객체 정보를 연산부(136)에 제공하고(S35) 연산부(136)는 각 객체에 대응하는 방향 벡터를 생성한다(S36).Accordingly, the identification information about the object includes information for identifying the object in various ways such as location information, color information, or height information. The identification information generator 134 provides the identified object information to the calculator 136 (S35), and the calculator 136 generates a direction vector corresponding to each object (S36).
방향 벡터는 식별된 객체 정보와 한 쌍으로 방향 테이블을 구성할 수 있다. N시간 주기로 생성하되 명령 입력 시마다 변화에 대응하여 새로이 생성할 수 있다. 식별 정보 생성부(134) 내에 일정 신뢰도 이상의 학습모델이 생성되면 촬영된 이미지가 들어왔을 경우 식별 정보 생성부(134)는 이미지 내에서 인식된 물체의 위치를 연산부(136)에 전달한다.The direction vector may constitute a direction table in pairs with the identified object information. It is generated in N time periods, but can be newly generated in response to changes every time a command is input. When a learning model having a certain reliability or higher is generated in the identification information generator 134, when the photographed image is received, the identification information generator 134 transmits the position of the object recognized in the image to the calculator 136.
같은 종류의 물체가 인식되었을 경우 왼쪽부터 식별 번호를 할당할 수 있으며 같은 객체임을 연산부(136)에 지시할 수 있다. 연산부(136)는 이미지 상의 각 객체들의 위치(X, Y)를 에어컨 날개 기준 방향벡터로 변환하여 테이블을 생성한다.When an object of the same type is recognized, an identification number may be assigned from the left side, and the operation unit 136 may be indicated to be the same object. The calculation unit 136 generates a table by converting the position (X, Y) of each object on the image to the air conditioning vane reference direction vector.
여기서 에어컨이 설치된 공간의 물체의 위치의 변경 주기는 최소한 N시간 이상이므로 N시간에 1번씩 방향 테이블을 갱신하거나, 또는 사람을 인식하기 위해 바람방향전환 명령이 들어왔을 때마다 갱신할 수 있다.In this case, since the period of changing the position of the object in the space where the air conditioner is installed is at least N hours, the direction table may be updated once every N hours, or whenever a wind direction change command is input to recognize a person.
이 과정에서 주로 고정된 객체(쇼파, TV)와 변화가 발생하는 객체(커튼, 전구) 등에 대해 정보가 식별 정보 생성부(134) 내에 누적될 수 있으며, 변화가 발생하지 않는 객체에 대해서는 한번 객체 식별 정보를 생성한 후 별도로 업데이트하지 않을 수 있다. In this process, information may be accumulated in the identification information generation unit 134 about a fixed object (a sofa, a TV) and an object in which a change occurs (curtain, light bulb), and the like. After generating identification information, it may not be updated separately.
객체 대응 방향 벡터가 포함된 테이블이 생성되면, 사용자가 에어컨 바람 방향의 변경을 원할 경우 음성으로 물체의 종류를 말하거나 앱에서 물체의 종류를 터치를 통해 명령을 내린다(S38). 제어부(150)는 연산부(136)의 방향 테이블 내에 저장된 방향 벡터를 이용하여 에어컨 바람의 전환 방향을 판단하여 송풍부(15)를 제어하여 바람방향을 지시된 객체의 방향으로 변경한다(S39).When the table including the object correspondence direction vector is generated, when the user wants to change the air conditioner wind direction, the user speaks the type of the object by voice or commands an object by touching the type of the object in the app (S38). The controller 150 determines the switching direction of the air conditioner wind using the direction vector stored in the direction table of the calculator 136 to control the blower 15 to change the wind direction to the direction of the indicated object (S39).
도 5는 본 발명의 일 실시예에 의한 거실 내에 배치된 에어컨이 거실 내 객체들의 위치를 산출하여 이에 대응하는 바람의 벡터를 설정한 구성을 보여주는 도면이다. FIG. 5 is a diagram illustrating a configuration in which an air conditioner disposed in a living room according to an embodiment of the present invention calculates positions of objects in the living room and sets a vector of wind corresponding thereto.
40a는 거실 내의 이미지를 촬영하여 각 객체를 식별한 도면이다. 전구(41), TV(42), 커튼(43, 44), 의자(45), 테이블(46), 쇼파(47)의 주변에 사각형이 표시되어 객체로 인식되었음을 보여준다. 이들 각 객체들의 이미지 내에서의 위치 및 이들 객체로 송풍하기 위한 벡터 값은 40b와 같이 표시되어 있다. 40a illustrates an image of each object by photographing an image in a living room. A rectangle is displayed around the bulb 41, the TV 42, the curtains 43 and 44, the chair 45, the table 46, and the sofa 47 to show that the object is recognized. The position of each of these objects in the image and the vector value for blowing to these objects are indicated as 40b.
따라서, 사용자가 "전구 쪽으로 냉풍" 이라 명령어를 입력하면 제어부(150)는 송풍부(15)의 팬을 위로 47, 우측으로 12만큼 방향을 제어한 뒤, 바람을 보내도록 할 수 있다. Therefore, when a user inputs a command of “cold wind toward the bulb”, the controller 150 may control the fan of the blower 15 upward by 47 and 12 to the right, and then send the wind.
도 5와 같은 구성에서 사용자가 음성 명령을 통해 바람을 전환하고 싶은 방향에 배치된 객체의 명칭을 발성하면 에어컨은 음성에서 객체를 인식한 후 해당 방향으로 바람방향을 변경한다. 이 때 물체는 에어컨 카메라 이미지 내에 포함된 물체이며 객체 인식을 통해 각 객체의 위치가 확보된 상태이다.In the configuration as shown in FIG. 5, when the user speaks a name of an object arranged in a direction in which the user wants to switch the wind through a voice command, the air conditioner recognizes the object in the voice and changes the wind direction in the corresponding direction. At this time, the object is an object included in the air conditioner camera image and the position of each object is secured through object recognition.
도 6은 본 발명의 일 실시예에 의한 사용자가 앱을 통하여 객체를 인식하도록 명령하는 과정을 보여주는 도면이다. 스마트폰을 일 실시예로 하는 통신장치(200)의 앱에서 "Detection" 버튼(51)을 선택하면 에어컨의 카메라부(110)가 객체들을 촬영하고 도 4의 과정을 거쳐서 53과 같이 공간 내의 객체들의 정보를 출력한다. 여기서 카메라부(110) 및 객체인식부(130)가 객체를 인식하는 과정을 보여주기 위해 52와 같이 현재의 객체 인식 진행 상태를 표시할 수 있다. 6 is a diagram illustrating a process of instructing a user to recognize an object through an app according to an embodiment of the present invention. When the "Detection" button 51 is selected in the app of the communication device 200 using the smartphone as an embodiment, the camera unit 110 of the air conditioner photographs the objects and the objects in the space as shown in 53 through the process of FIG. 4. Print out their information. In this case, the camera unit 110 and the object recognition unit 130 may display a current object recognition progress state as shown in 52 to show a process of recognizing the object.
사용자는 53에 표시된 객체들 중에서 특정한 객체를 선택하면, 해당 객체의 방향으로 에어컨 바람 방향이 변경될 수 있다. 특정한 객체 둘 이상을 선택하면, 선택된 객체들을 바람이 송풍할 수 있는 방향의 범위로 제어부(150)가 판단하여 바람이 회전하며 송풍될 수 있도록 한다. When the user selects a specific object among the objects displayed on 53, the air conditioner wind direction may be changed in the direction of the object. When two or more specific objects are selected, the controller 150 determines that the selected objects are in a direction in which the wind can be blown so that the wind can be rotated and blown.
예를 들어 도 5와 같은 배치에서 사용자가 의자와 쇼파를 선택한 경우, 제어부(150)는 의자와 쇼파가 위치한 영역을 바람을 보낼 수 있는 경계로 설정하여 쇼파와 의자 사이를 경계로 하여 좌우 회전하며 바람을 송풍할 수 있도록 한다. 마찬가지로 전구와 테이블을 선택한 경우, 제어부(150)는 전구와 테이블 사이로 상하 회전하며 바람을 송풍할 수 있도록 한다. For example, when the user selects the chair and the sofa in the arrangement as shown in FIG. Allow air to blow. Similarly, when a light bulb and a table are selected, the controller 150 rotates up and down between the light bulb and the table to blow wind.
도 6에서 사람 1 및 사람 2는 현재 인식된 객체들 중에서 사람을 판단하여 인식된 객체를 의미한다. 53의 출력 방식으로 사람 1 및 사람 2 대신, "에어컨에 근접한 사람"과 "에어컨에서 멀리 있는 사람"으로 보다 쉽게 확인할 수 있도록 출력하는 것을 다른 실시예로 한다. In FIG. 6, person 1 and person 2 mean objects recognized by determining a person from among currently recognized objects. Instead of the person 1 and the person 2 in the output method of 53, the output is so that it can be more easily identified as "a person near the air conditioner" and "a person far from the air conditioner".
도 6의 실시예를 살펴보면, 통신부(180)는 인식된 객체에 대한 정보를 통신장치(200)에게 전송한다. 이때, 객체의 식별 정보(명칭)을 전송할 수도 있고 객체의 이미지를 전송할 수도 있다. 그리고 통신부(180)는 통신장치(200)로부터 특정 객체에 대한 선택 정보를 수신한다. 통신부(180)가 수신한 선택 정보에 기반하여 제어부(150)는 선택된 객체를 기준으로 지시된 방향으로 송풍부가 바람을 보내도록 제어할 수 있다. Referring to the embodiment of FIG. 6, the communication unit 180 transmits information about the recognized object to the communication device 200. In this case, the identification information (name) of the object may be transmitted or an image of the object may be transmitted. The communicator 180 receives selection information about a specific object from the communication device 200. Based on the selection information received by the communication unit 180, the controller 150 may control the blower to send wind in the direction indicated based on the selected object.
도 3 내지 도 6의 실시예에서는 에어컨에 배치된 카메라부(110)를 통해 이미지를 획득하고, 객체 인식 알고리즘을 통해 해당 이미지에서 어느 위치에 어떤 객체가 있는지에 대한 정보를 생성한다. 이미지는 2차원 데이터이므로 객체와 에어컨 사이의 방향 예측이 가능하다. 또한, 사용자가 음성으로 특정 객체의 명칭을 호명하며 해당 객체로 바람을 보내라고 말하거나, 도 6에서 살펴본 바와 같이 앱을 통해 객체를 선택할 경우 해당 객체의 방향으로 에어컨 방향이 전환될 수 있다.In the embodiments of FIGS. 3 to 6, an image is obtained through the camera unit 110 disposed in the air conditioner, and information about which object is located at which position in the image is generated through an object recognition algorithm. Since the image is two-dimensional data, it is possible to predict the direction between the object and the air conditioner. In addition, when a user calls a name of a specific object by voice and sends a wind to the corresponding object, or as shown in FIG. 6, when the user selects an object through an app, the direction of the air conditioner may be switched in the direction of the object.
한편, 본 발명의 다른 실시예에 의하면, 그리드 기반으로 이미지를 사용자의 통신 장치(200)에게 제공하고, 사용자가 이미지 중에서 특정 위치를 선택하여 바람의 방향을 제어할 수 있다.Meanwhile, according to another exemplary embodiment of the present invention, the image may be provided to the user's communication device 200 based on the grid, and the user may select a specific position among the images to control the direction of the wind.
도 7은 본 발명의 일 실시예에 의한 통신 장치에 표시된 이미지를 보여주는 도면이다. 통신장치(200)는 에어컨의 통신부(180)로부터 에어컨의 카메라부(110)가 촬영한 이미지를 확인할 수 있다 여기에는 각 객체들에 대한 인식 과정 없이 카메라부(110)가 촬영한 이미지만이 표시된다. 이 이미지 상에서 사용자가 특정 위치를 선택하고 하단의 "방향 적용" 버튼을 누르면 선택한 방향으로 송풍부(15)의 바람이 제공된다.7 is a view showing an image displayed on the communication device according to an embodiment of the present invention. The communication device 200 may check an image photographed by the camera unit 110 of the air conditioner from the communication unit 180 of the air conditioner. Here, only the image photographed by the camera unit 110 is displayed without recognition of each object. do. On this image, when the user selects a specific position and presses the "Apply Direction" button at the bottom, the wind of the blower 15 is provided in the selected direction.
이는 카메라부(110)와 물체 사이에 방향이 같은 경우 거리와 무관하게 같은 이미지 상의 방향으로 투영되므로, 사용자는 특정한 지점을 선택함으로써 에어컨의 바람을 제어할 수 있다.If the direction between the camera unit 110 and the object is the same, regardless of the distance is projected in the same direction on the image, the user can control the wind of the air conditioner by selecting a specific point.
도 8은 본 발명의 일 실시예에 의한 도 7의 이미지에 각 지점별 그리드 및 이에 대응하는 벡터 정보를 보여주는 도면이다. 도 7의 이미지에 대해 도 8과 같이 제어부(150)는 각 이미지 별로 7x6의 그리드를 설정한 정보를 저장할 수 있다. 도 8의 그리드는 사용자에게 표시되지 않을 수 있다. 그리드의 식별 정보(G00~~G41) 및 각 그리드에 대응하는 에어컨 바람의 방향이 그리드 테이블(60)에 표시된다. FIG. 8 is a diagram illustrating a grid for each point and corresponding vector information in the image of FIG. 7 according to an embodiment of the present invention. Referring to FIG. 8, the controller 150 may store information of setting a grid of 7 × 6 for each image of FIG. 7. The grid of FIG. 8 may not be displayed to the user. Grid identification information G00 to G41 and the direction of air conditioner wind corresponding to each grid are displayed in grid table 60.
사용자가 특정 그리드를 선택할 경우, 해당 그리드 좌표가 통신 장치(200)에서 통신부(180)를 통해 제어부(150)에게 제공되면, 제어부(150)는 그리드 테이블(60)에서 선택된 그리드에 대한 벡터 정보를 추출하여 벡터 정보에 대응하여 바람의 방향을 제어할 수 있다. 즉, 제어부는 각각의 그리드에 대해 에어컨 날개 기준 방향값(또는 해당 방향으로 제어하기 위해 추가 연산된 값)을 구하여 그리드 테이블(60)을 만들 수 있다.When the user selects a specific grid, when the corresponding grid coordinates are provided to the controller 150 through the communicator 180 in the communication device 200, the controller 150 receives vector information on the grid selected from the grid table 60. The direction of the wind may be controlled by extracting and corresponding to the vector information. That is, the control unit may generate the grid table 60 by obtaining the air conditioner vane reference direction value (or an additional value calculated for controlling in the corresponding direction) for each grid.
여기서 카메라부(110)가 다양한 각도로 회전이 가능하다면, 카메라부(110)의 회전에 대응하여 촬영된 이미지에 대응하여 별도의 그리드 테이블(60)을 제어부(150)가 생성할 수 있다. If the camera unit 110 can be rotated at various angles, the controller 150 may generate a separate grid table 60 in response to the image photographed in response to the rotation of the camera unit 110.
도 9는 본 발명의 일 실시예에 의한 그리드 방식의 제어를 수행하는 과정을 보여주는 도면이다. 9 is a diagram illustrating a process of performing grid-based control according to an embodiment of the present invention.
카메라부(110)가 이미지를 촬영하고 통신 장치(200)에 이미지를 송신한다(S61). 그리고, 송신과 독립적으로 제어부(150)는 이미지를 그리드로 변환한다(S62). 이후 제어부(150)는 각 그리드에 대응하는 에어컨의 송풍 방향을 매핑하여 그리드 테이블(60)을 생성한다(S63). 한편, 이미지를 수신한 통신 장치(200)로부터 통신부(180)가 사용자가 이미지의 한 지점 또는 두 지점, 또는 그 이상의 지점 등에 대한 좌표 정보를 수신한다(S64). 제어부(150)는 좌표 정보에 대응하는 그리드에 설정된 방향으로 송풍을 제어한다(S65). The camera unit 110 captures an image and transmits the image to the communication device 200 (S61). Independently of transmission, the controller 150 converts the image into a grid (S62). Thereafter, the controller 150 generates a grid table 60 by mapping a blowing direction of an air conditioner corresponding to each grid (S63). Meanwhile, the communication unit 180 receives coordinate information about one or two points or more points of the image from the communication device 200 that receives the image (S64). The control unit 150 controls the blowing in the direction set in the grid corresponding to the coordinate information (S65).
카메라부(110)가 고정된 경우, 카메라부(110)가 촬영하는 이미지의 방향은 고정될 수 있으므로, 이를 기반으로 하는 그리드 테이블 역시 고정될 수 있다. 반면 카메라부(110)가 회전 가능한 경우, 카메라부(110)가 회전하며 촬영한 이미지에 대해 카메라부(110)의 회전 각도를 적용하여 그리드 테이블을 생성할 수 있다.When the camera unit 110 is fixed, since the direction of the image photographed by the camera unit 110 may be fixed, a grid table based on this may also be fixed. On the other hand, when the camera unit 110 is rotatable, the grid 110 may be generated by applying a rotation angle of the camera unit 110 to the image photographed by the camera unit 110 rotating.
사용자가 한 곳을 터치한 경우 해당 방향으로 에어컨의 송풍부(15)의 팬을 회전시켜 바람의 방향을 변경할 수 있다. 두 지점을 선택한 경우, 제어부(150)가 두 지점을 각각 엔드 포인트(end point)로 하여 송풍부(15)과 좌우 혹은 상하 등으로 회전할 수 있도록 제어한다. 세 지점 혹은 그 이상을 선택한 경우, 제어부(150)가 에어컨의 송풍부(15)의 팬이 세 지점을 타겟으로 번갈아 방향을 변경하며 송풍하도록 제어할 수 있다. When the user touches one place, the direction of the wind may be changed by rotating the fan of the blower 15 of the air conditioner in the corresponding direction. When the two points are selected, the controller 150 controls the two points to be rotated left and right or up and down with the blower unit 15 as end points. When three or more points are selected, the controller 150 may control the fan of the blower 15 of the air conditioner to blow the air by changing directions to the three points.
예를 들어, 도 8에 살펴본 바와 같이, 좌측 최상단 그리드를 G00, 우측 최상단 바로 아래의 그리드를 G13이라 지정하며, 사용자가 G00만을 선택한 경우 그리드 테이블(60)의 정보에 따라 에어컨은 위로 30도, 왼쪽으로 45도 팬의 방향을 변경하여 송풍한다. 또한, 통신 장치(200)에서 G00 및 G13와 같이 두 영역을 터치한 경우 에어컨의 송풍부는 위로 30도 및 왼쪽 45도 지점에서 위로 15도 및 우측으로 45도의 각도 범위 내에서 회전하며 송풍할 수 있다. For example, as shown in FIG. 8, the upper left grid is designated as G00, and the grid immediately below the upper right is designated as G13. When the user selects only G00, the air conditioner is 30 degrees upward according to the information of the grid table 60. Blow the fan by changing the direction of the fan 45 degrees to the left. In addition, when the communication device 200 touches two areas, such as G00 and G13, the air blowing unit of the air conditioner may be rotated and blown within an angle range of 15 degrees upward and 45 degrees upward from the 30 ° and 45 ° left points. .
또한, 동작 과정에서 특정 지점을 사용자가 터치하여 바람의 세기를 증가시키거나 혹은 에어컨의 송풍을 중단시킬 수도 있다. 혹은 이미지 상에서 에어컨의 온/오프를 제어하는 버튼을 별도로 추가하여 통신 장치(200)를 이용하여 사용자가 원격에서 에어컨을 온/오프 할 수 있다. In addition, the user may touch a specific point in the operation process to increase the wind strength or stop the blowing of the air conditioner. Alternatively, by separately adding a button for controlling the on / off of the air conditioner on the image, the user can remotely turn on / off the air conditioner using the communication device 200.
도 7 내지 도 9를 정리하면 다음과 같다. 통신부(180)는 카메라부(110)가 촬영한 이미지를 통신 장치(200)에게 전송하고, 통신 장치(200)로부터 이미지 내의 특정한 좌표 정보를 수신한다. 제어부(150)는 선택된 좌표 정보를 기준으로 지시된 방향으로 송풍부가 바람을 보내도록 제어한다. 이 과정에서 둘 이상의 좌표가 선택된 경우, 해당 좌표를 송풍 방향의 끝단으로 하여 회전하며 송풍할 수 있도록 한다. 7 to 9 are summarized as follows. The communication unit 180 transmits the image photographed by the camera unit 110 to the communication device 200, and receives specific coordinate information in the image from the communication device 200. The controller 150 controls the blower to send wind in the direction indicated based on the selected coordinate information. When two or more coordinates are selected in this process, the coordinates are rotated at the end of the blowing direction to allow blowing.
제어부(150)는 이미지를 둘 이상의 그리드로 구분하여 각각의 그리드에 대응하여 송풍하기 위한 방향 벡터를 생성한다. 그리고 통신부(180)는 이미지를 외부의 통신 장치에게 송신하고, 통신 장치로부터 상기 이미지 내의 상기 그리드를 선택한 그리드 선택 정보를 수신한다. 그리고 제어부는 그리드 선택 정보에 포함된 그리드에 대응하는 방향 벡터를 이용하여 송풍부(15)가 바람을 보내도록 제어한다. The controller 150 divides an image into two or more grids, and generates a direction vector for blowing air corresponding to each grid. The communication unit 180 transmits an image to an external communication device, and receives grid selection information for selecting the grid in the image from the communication device. The control unit controls the blower unit 15 to send wind using a direction vector corresponding to the grid included in the grid selection information.
도 7 내지 도 9의 실시예를 적용하면, 에어컨의 카메라부(110)가 획득한 이미지를 제어부(150)가 K개의 그리드로 분할한다. 그리고 각각의 그리드들에 대하여 에어컨 날개를 기준으로 방향 벡터(또는 방향전환을 위한 제어값)와 매칭시켜 60과 같이 그리드 테이블을 생성한다. 여기서도 앞서 객체 인식과 마찬가지로 객체와 카메라 간 거리와는 상관없이 방향성을 산출할 수 있다. 7 to 9, the controller 150 divides the image acquired by the camera unit 110 of the air conditioner into K grids. For each grid, a grid table is generated as shown in FIG. 60 by matching a direction vector (or a control value for redirection) based on the air conditioner blade. Here, as in the object recognition, the direction can be calculated regardless of the distance between the object and the camera.
즉, 같은 방향일 경우 같은 픽셀에 프로젝션된다. 그 결과 사용자는 도 7 및 도 8과 같이 앱에서 확보한 이미지에서 원하는 위치를 터치하면 제어부(150)는 터치된 그리드에 해당하는 벡터 값을 이용하여 해당 위치로 에어컨 바람 방향이 전환되도록 송풍부(15)를 제어한다. 이 과정에서 이미지 내에서 위치 2곳을 터치하면 제어부(150)는 해당 위치 2곳을 엔드 포인트로 설정하여 에어컨 바람이 회전하며 송풍하도록 제어한다. 추가적으로 일정 시간동안 터치횟수를 증가시킬 경우 바람세기를 변화시킬 수도 있다. 물론, 이러한 엔드 포인트를 설정하는 방식에서 음성으로도 입력할 수 있다. "쇼파에서 TV까지 회전 냉풍"가 같이 음성 입력하여 두 곳 사이에서 바람이 회전할 수 있도록 제어한다. In other words, the same direction is projected to the same pixel. As a result, when the user touches a desired position in the image obtained by the app as shown in FIGS. 7 and 8, the controller 150 uses the vector value corresponding to the touched grid to change the air conditioner wind direction to the corresponding position. 15). In this process, when two locations are touched in the image, the controller 150 controls the air conditioners to rotate and blow by setting the two locations as endpoints. Additionally, increasing the number of touches over a period of time may change the wind strength. Of course, it is also possible to input voice by way of setting such an endpoint. "Rotating cold wind from sofa to TV" is a voice input to control the wind to rotate between the two places.
사용자가 거실에 다수 있을 경우, 도 6과 같이 인식된 객체 중에 사람 1/사람 2로 표시될 수 있다. 이 경우, 특정인이 "나에게 바람을 보내"라고 명령어를 입력하면, 제어부(150)는 두 명의 사람들 중 누구에게 바람을 보낼 것인지를 판단해야 한다. 이를 위해 에어컨에 둘 이상의 음성 인식부를 배치할 수 있다. When there are a large number of users in the living room, they may be displayed as person 1 / person 2 among the recognized objects as shown in FIG. 6. In this case, when a specific person inputs a command to "send me a wind", the controller 150 should determine to which of the two people to send a wind. To this end, two or more voice recognition units may be disposed in the air conditioner.
도 10은 본 발명의 일 실시예에 의한 명령자의 위치를 파악하는 과정을 보여주는 도면이다. 예를 들어, 에어컨의 좌우에 각각 제1음성 인식부(120a) 및 제2음성 인식부(120b)가 배치된 것을 일 실시예로 한다. 그리고 음성이 인식되면 각 음성 인식부들(120a, 120b)이 음성을 인식한 시간을 구별하여 발화자의 위치를 확인할 수 있다.10 is a view illustrating a process of identifying the position of the commander according to an embodiment of the present invention. For example, the first voice recognition unit 120a and the second voice recognition unit 120b are disposed at left and right sides of the air conditioner according to an embodiment. When the voice is recognized, the voice recognition units 120a and 120b may identify the talker's position by distinguishing the time at which the voice is recognized.
예를 들어, 도 5와 같은 이미지에서 소파(47)에 사람1이 있고 의자(45)에 사람 2가 위치한 실시예를 가정한다. 두 사람이 객체로 인식된 상태에서 "나에게 바람보내", "바람을 보내", "사람" 등과 같은 음성 명령이 인식되면, 특정한 사람에게 바람 방향을 전환해야 한다. 이 과정에서 제어부(150)는 제1음성 인식부(120a) 및 제2음성 인식부(120b)에 음성이 입력된 시간차를 계산하면 사람의 방향을 확인할 수 있다. For example, assume an embodiment in which the person 1 is placed on the sofa 47 and the person 2 is placed on the chair 45 in the image as shown in FIG. 5. If two people are recognized as objects and a voice command such as "send me wind", "send wind", "person", etc. is recognized, the wind direction must be diverted to a specific person. In this process, the controller 150 may determine the direction of the person by calculating the time difference in which the voice is input to the first voice recognition unit 120a and the second voice recognition unit 120b.
만약, 도 5의 구성에서 의자(45)에 사람 2가 위치한 경우 도 10과 같이 에어컨의 제1음성 인식부(120a) 및 제2음성 인식부(120b)가 동시에 음성을 인식할 수 있다. 반면, 소파(47)에 사람 1이 위치한 경우, 도 10과 같이 제1음성 인식부(120a)에 먼저 음성이 입력될 수 있다. If the person 2 is located in the chair 45 in the configuration of FIG. 5, the first voice recognition unit 120a and the second voice recognition unit 120b of the air conditioner may simultaneously recognize the voice as shown in FIG. 10. On the other hand, when the person 1 is located on the sofa 47, the voice may be input to the first voice recognition unit 120a as shown in FIG.
따라서 제어부(150)는 제1음성 인식부(120a) 및 제2음성 인식부(120b)가 음성을 인식한 시간 차와 이미지 내에서 사람으로 객체 인식된 위치를 확인하여 명령어를 음성으로 입력한 사람의 위치를 확인하여 해당 방향으로 송풍 방향을 조절할 수 있다.Therefore, the controller 150 checks the time difference between the first voice recognition unit 120a and the second voice recognition unit 120b and the position where the object is recognized as a person in the image, and inputs the command by voice. By checking the position of the blowing direction can be adjusted in the corresponding direction.
정리하면, 다음과 같다. 제1음성 인식부(120a)는 제1방향으로부터 발화된 음성을 제2음성 인식부(120b) 보다 먼저 수신하도록 배치된다. 그리고 제2음성 인식부(120b)는 제2방향으로부터 발화된 음성을 제1음성 인식부(120a) 보다 먼저 수신하도록 배치된다. 그리고 제어부(150)는 제1음성 인식부(120a) 및 제2음성 인식부(120b)에서 인식된 음성의 시간차에 따라 제1방향 또는 제2방향 이들 사이의 중간의 방향으로 바람을 보내도록 제어할 수 있다.In summary, it is as follows. The first voice recognition unit 120a is arranged to receive the voice spoken from the first direction before the second voice recognition unit 120b. The second voice recognition unit 120b is arranged to receive the voice uttered from the second direction before the first voice recognition unit 120a. The controller 150 controls to send wind in the first direction or the middle direction between them in accordance with the time difference between the voices recognized by the first voice recognition unit 120a and the second voice recognition unit 120b. can do.
종래에는 에어컨의 풍향을 변경하기 위해서는 리모컨 버튼을 이용하여 원하는 방향으로 조절한다. 그리고 사용자는 대기하며 팬이 회전하여 원하는 방향에 바람이 도달할 때 풍향의 전환을 스탑시킬 수 있었다. 이 과정에서 원하는 방향으로 조절하는데 있어 시간이 소요되며 또한 방향을 설정하는데 있어서도 조절 시간 차로 인해 방향 설정이 정확하게 이루어지지 않는 문제가 있었다. 또한, 에어컨에 대해서는 회전 또는 특정 방향으로의 송풍과 같이 두 개의 옵션 중에서만 선택이 가능하다는 한계가 있었다. Conventionally, in order to change the wind direction of the air conditioner, it is adjusted in a desired direction by using a remote control button. The user was able to stop and switch the wind direction when the fan rotates and the wind reaches the desired direction. In this process, it takes time to adjust in the desired direction, and also in setting the direction, there is a problem that the direction setting is not made correctly due to the difference in adjustment time. In addition, the air conditioner has a limitation that can be selected from only two options, such as rotation or blowing in a specific direction.
반면, 본 발명의 실시예를 적용할 경우, 원하는 방향으로 에어컨 바람을 제어할 수 있으며, 특정한 두 지점을 선택하여 에어컨의 회전 각도의 범위를 설정할 수도 있다. 즉, 에어컨의 바람 방향을 설정함에 있어서 본 발명의 실시예들은 편의성을 증가시킨다. On the other hand, when applying the embodiment of the present invention, it is possible to control the air conditioner wind in the desired direction, it is also possible to set a range of the rotation angle of the air conditioner by selecting two specific points. That is, embodiments of the present invention increase convenience in setting the wind direction of the air conditioner.
또한 무조건적으로 사람을 향해 송풍 방향을 제어하는 것이 아니라, 사용자의 지시에 따라 송풍 방향을 제어할 수 있다. 예를 들어, 도 10의 구성에서 사람 1이 "내게 바람을 보내"라고 음성 명령을 내리고, 사람 2가 "내겐 바람을 보내지 마"라고 음성 명령을 내리면, 에어컨은 사람 1의 방향으로만 송풍하도록 제어된다. 따라서, 사람에 따라 무조건 송풍되는 것이 아니라, 사용자의 지시에 따라 다변화시킬 수 있다. In addition, the blowing direction may be controlled according to a user's instruction instead of unconditionally controlling the blowing direction toward a person. For example, in the configuration of FIG. 10, when a person 1 gives a voice command "send me a wind" and a person 2 commands a voice command "don't send me a wind", the air conditioner blows only in the direction of the person 1. Controlled. Therefore, it is possible to diversify according to a user's instruction, rather than being unconditionally blown by a person.
본 발명을 적용할 경우, 무조건적인 인체 감지를 통해 사람에게 바람을 송풍하는 대신, 사용자의 음성 명령 또는 앱을 통한 터치 선택에 기반하여 공간에 대한 객체의 위치를 분석하여 더 편리하고, 더 직관적으로, 더 정확하게 에어컨의 바람 방향을 조절할 수 있다. 또한, 에어컨의 객체 인식부(130)가 인식한 객체를 앱을 통해 사용자가 확인할 수 있다. In the case of applying the present invention, instead of blowing wind to a person through unconditional human body detection, it analyzes the position of the object with respect to the space based on the user's voice command or touch selection through the app, more conveniently and more intuitively. The wind direction of the air conditioner can be adjusted more accurately. In addition, the user may check the object recognized by the object recognition unit 130 of the air conditioner through the app.
본 발명의 실시예를 적용하면, 에어컨의 카메라를 통해 이미지를 획득하고, 객체 인식 알고리즘을 통해 이미지 내에 어떤 물체가 어느 위치에 있는지 알아낸다. 그 후 이미지 상의 위치와 에어컨의 방향간의 관계를 수식화한다. According to an embodiment of the present invention, an image is acquired through a camera of an air conditioner, and an object recognition algorithm is used to find out which object is located in an image. The relationship between the position on the image and the direction of the air conditioner is then formulated.
그리고 사용자가 에어컨에 음성을 통해 물체를 말하거나 앱에서 물체를 입력하면 에어컨은 해당 물체의 방향으로 바람을 보낼 수 있다. 따라서, 에어컨 내의 카메라부가 촬영한 이미지 내의 객체를 인식하는 객체 인식부와 객체를 지시하는 음성 명령을 수신하는 음성 인식부, 그리고 음성 명령에 포함된 객체의 위치로 송풍부의 바람을 보내도록 제어하는 제어부를 포함하는 에어컨을 구현할 수 있다. When the user speaks an object through voice or inputs an object in the app, the air conditioner can send wind in the direction of the object. Therefore, an object recognition unit for recognizing an object in the image photographed by the camera unit in the air conditioner, a voice recognition unit for receiving a voice command indicating the object, and controlling the wind to send the blower to the position of the object included in the voice command An air conditioner including a control unit may be implemented.
본 발명의 실시예를 적용하면, 에어컨의 카메라를 통해 이미지를 획득 후 K개의 그리드로 변환한 뒤 이미지 상의 그리드의 위치와 에어컨의 방향간의 관계를 수식화한다. 그 뒤 사용자가 에어컨이 촬영한 이미지에서 원하는 곳을 터치하면 해당 방향으로 에어컨 바람 방향을 변경한다. According to an exemplary embodiment of the present invention, after obtaining an image through a camera of the air conditioner, the image is converted into K grids, and then the relationship between the position of the grid on the image and the air conditioner is modified. Then, if the user touches a desired place in the image taken by the air conditioner, the air conditioner wind direction is changed in the corresponding direction.
일정시간 내 터치횟수에 따라 바람세기 조절도 가능하다. 예를 들어 쇼파를 2번 터치할 경우 grade-2(중간 바람)의 강도로 바람을 송풍하고 쇼파를 3번 터치할 경우 grade-3(강한 바람)의 강도로 바람을 송풍할 수 있다. 따라서, 에어컨 내의 카메라부가 촬영한 이미지 내의 특정한 위치를 선택한 정보가 통신 장치로부터 수신하는 통신부와, 이미지 내의 위치에 대응하여 송풍부의 바람을 보내도록 제어하는 제어부를 포함하는 에어컨을 구현할 수 있다.Wind strength can be adjusted according to the number of touches within a certain time. For example, if you touch the sofa twice, you can blow the wind at the intensity of grade-2 (medium wind). If you touch the sofa three times, you can blow the wind at the intensity of grade-3 (strong wind). Accordingly, the air conditioner may include a communication unit which receives information from a communication device, which selects a specific position in the image captured by the camera unit in the air conditioner, and a control unit which controls the wind blowing unit to correspond to the position in the image.
본 발명의 실시예를 적용하면, 에어컨의 카메라부가 에어컨의 송풍부가 바람을 보낼 수 있는 범위 내에 포함된 이미지를 촬영하여 이미지 내에 객체를 인식하는 단계를 구현한다. 또한, 상기 객체 중 사람을 지시하는 음성 명령어가 입력되면 둘 이상의 음성 인식부에 음성이 인식되는 시간차 및 객체 인식된 결과를 이용하여 송풍부의 바람을 보내도록 제어하는 단계를 구현한다. 전술한 단계들의 실행에 기반하여 에어컨의 송풍 방향이 제어될 수 있다. According to an embodiment of the present invention, the camera unit of the air conditioner implements a step of recognizing an object in the image by photographing an image included in a range within which a blowing unit of the air conditioner can send wind. In addition, if a voice command indicating a person among the objects is input, controlling the air blowing unit to send the wind by using the time difference and the object recognition result in which the voice is recognized in at least two voice recognition units. The blowing direction of the air conditioner may be controlled based on the execution of the above-described steps.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다. Although all components constituting the embodiments of the present invention have been described as being combined or operating in combination, the present invention is not necessarily limited to these embodiments, and all of the components are within the scope of the present invention. It can also be combined to operate selectively. In addition, although all of the components may be implemented in one independent hardware, each or all of the components may be selectively combined to perform some or all functions combined in one or a plurality of hardware. It may be implemented as a computer program having a. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention. The storage medium of the computer program includes a storage medium including a magnetic recording medium, an optical recording medium and a semiconductor recording element. In addition, the computer program for implementing an embodiment of the present invention includes a program module transmitted in real time through an external device.
이상에서는 본 발명의 실시예를 중심으로 설명하였지만, 통상의 기술자의 수준에서 다양한 변경이나 변형을 가할 수 있다. 따라서, 이러한 변경과 변형이 본 발명의 범위를 벗어나지 않는 한 본 발명의 범주 내에 포함되는 것으로 이해할 수 있을 것이다.In the above description, the embodiments of the present invention have been described, but various changes and modifications can be made at the level of ordinary skill. Therefore, it will be understood that such changes and modifications are included within the scope of the present invention without departing from the scope of the present invention.
-부호의 설명-Explanation of sign
10: 실외기 15: 송풍부10: outdoor unit 15: blower
100: 에어컨100: air conditioner
110, 카메라부 120: 음성인식부110, camera unit 120: voice recognition unit
130: 객체인식부 150: 제어부130: object recognition unit 150: control unit
200: 통신장치200: communication device

Claims (12)

  1. 에어컨의 송풍부가 바람을 보낼 수 있는 범위 내에 객체들이 포함된 이미지를 촬영하는 카메라부; A camera unit for capturing an image including objects within a range in which an air blowing unit of the air conditioner can send wind;
    상기 이미지에서 객체를 인식하는 객체 인식부;An object recognition unit recognizing an object in the image;
    상기 인식된 객체를 식별하는 식별 정보가 포함된 음성 명령을 수신하는 음성 인식부; 및A voice recognition unit configured to receive a voice command including identification information identifying the recognized object; And
    상기 음성 명령에 포함된 객체의 식별 정보와 상기 이미지에서 인식된 객체를 비교하여 상기 객체를 기준으로 음성 명령에서 지시된 방향으로 상기 송풍부가 바람을 보내도록 제어하는 제어부를 포함하는, 지시된 위치로 풍향을 제어하는 에어컨. And a control unit for comparing the identification information of the object included in the voice command with the object recognized in the image to control the blower to send wind in the direction indicated by the voice command based on the object. Air conditioner to control wind direction.
  2. 제1항에 있어서,The method of claim 1,
    상기 객체 인식부는 The object recognition unit
    상기 카메라부가 촬영한 이미지를 다수 저장하는 이미지 데이터 수집부;An image data collector configured to store a plurality of images captured by the camera unit;
    싱기 수집된 이미지 데이터에서 객체를 구분하여 하나 이상의 식별 정보로 저장하는 식별 정보 생성부; 및An identification information generation unit for classifying objects from the collected image data and storing the object as one or more identification information; And
    상기 이미지 상에 배치된 상기 구분된 객체에게 송풍하기 위한 방향 벡터를 생성하는 연산부를 포함하는, 지시된 위치로 풍향을 제어하는 에어컨.And an operation unit for generating a direction vector for blowing to the divided object disposed on the image.
  3. 제2항에 있어서,The method of claim 2,
    상기 식별 정보 생성부는 상기 카메라부가 촬영하지 않고 외부로부터 전달된 이미지 및 상기 이미지에 대한 메타 정보에 기반하여 상기 객체를 구분하는, 지시된 위치로 풍향을 제어하는 에어컨.And the identification information generator is configured to classify the object based on the image transmitted from the outside without the camera unit and the meta information on the image.
  4. 제1항에 있어서,The method of claim 1,
    상기 식별 정보는 상기 객체의 명칭, 상기 객체의 색상, 상기 객체의 높이 혹은 면적, 또는 상기 객체가 포함된 사물의 카테고리 중 어느 하나를 포함하는, 지시된 위치로 풍향을 제어하는 에어컨.And the identification information includes any one of a name of the object, a color of the object, a height or an area of the object, or a category of an object in which the object is included.
  5. 제1항에 있어서,The method of claim 1,
    상기 인식된 객체 또는 상기 이미지를 통신 장치에게 전송하여 특정한 객체에 대한 선택 정보 또는 상기 이미지 내에서 선택된 좌표 정보를 수신하는 통신부를 더 포함하며, The communication unit may further include a communication unit configured to transmit the recognized object or the image to a communication device to receive selection information on a specific object or coordinate information selected in the image.
    상기 제어부는 상기 통신 장치에서 선택된 객체 또는 선택된 좌표 정보를 기준으로 지시된 방향으로 상기 송풍부가 바람을 보내도록 제어하는, 지시된 위치로 풍향을 제어하는 에어컨.And the control unit controls the wind direction to the indicated position to control the blower to send wind in the direction indicated based on the selected object or the selected coordinate information in the communication device.
  6. 제5항에 있어서,The method of claim 5,
    상기 제어부는 상기 이미지를 둘 이상의 그리드로 구분하여 상기 그리드에 대응하여 송풍하기 위한 방향 벡터를 생성하며, The control unit divides the image into two or more grids and generates a direction vector for blowing in correspondence to the grids.
    상기 통신부는 상기 이미지를 외부의 통신 장치에게 송신하고, 상기 통신 장치로부터 상기 이미지 내의 상기 그리드를 선택한 그리드 선택 정보를 수신하며, The communication unit transmits the image to an external communication device, and receives grid selection information for selecting the grid in the image from the communication device,
    상기 제어부는 상기 그리드 선택 정보에 포함된 그리드에 대응하는 방향 벡터를 이용하여 상기 송풍부가 바람을 보내도록 제어하는, 지시된 위치로 풍향을 제어하는 에어컨.And the control unit controls the wind direction to the indicated position to control the blower to send wind using a direction vector corresponding to the grid included in the grid selection information.
  7. 제1항에 있어서, The method of claim 1,
    상기 에어컨은 제1음성 인식부 및 제2음성 인식부를 포함하며, The air conditioner includes a first voice recognition unit and a second voice recognition unit,
    상기 제1음성 인식부는 제1방향으로부터 발화된 음성을 상기 제2음성 인식부 보다 먼저 수신하며; The first voice recognition unit receives a voice spoken from a first direction before the second voice recognition unit;
    상기 제2음성 인식부는 제2방향으로부터 발화된 음성을 상기 제1음성 인식부 보다 먼저 수신하며, The second voice recognition unit receives a voice spoken from a second direction before the first voice recognition unit,
    상기 제어부는 상기 제1음성인식부 및 상기 제2음성인식부에서 인식된 음성의 시간차에 따라 상기 제1방향 또는 제2방향으로 상기 송풍부가 바람을 보내도록 제어하는, 지시된 위치로 풍향을 제어하는 에어컨.The control unit controls the wind direction to the instructed position to control the blowing unit to send the wind in the first direction or the second direction according to the time difference between the voice recognized by the first voice recognition unit and the second voice recognition unit Air conditioning.
  8. 에어컨의 송풍부가 바람을 보낼 수 있는 범위 내에 객체들이 포함된 이미지를 촬영하는 카메라부; A camera unit for capturing an image including objects within a range in which an air blowing unit of the air conditioner can send wind;
    상기 이미지를 둘 이상의 그리드로 구분하여 상기 그리드에 대응하여 송풍하기 위한 방향 벡터를 생성하는 제어부; 및A controller configured to divide the image into two or more grids and generate a direction vector for blowing the air corresponding to the grids; And
    상기 이미지를 외부의 통신 장치에게 송신하고, 상기 통신 장치로부터 상기 이미지 내의 상기 그리드를 선택한 그리드 선택 정보를 수신하는 통신부를 포함하며, A communication unit for transmitting the image to an external communication device and receiving grid selection information for selecting the grid in the image from the communication device,
    상기 제어부는 상기 그리드 선택 정보에 포함된 그리드에 대응하는 방향 벡터를 이용하여 상기 송풍부가 바람을 보내도록 제어하는, 지시된 위치로 풍향을 제어하는 에어컨.And the control unit controls the wind direction to the indicated position to control the blower to send wind using a direction vector corresponding to the grid included in the grid selection information.
  9. 제8항에 있어서,The method of claim 8,
    상기 통신부가 수신한 그리드 선택 정보가 둘 이상의 그리드를 지시하는 경우, 상기 제어부는 상기 둘 이상의 그리드를 포함하는 범위 내에서 상기 송풍부가 바람을 보내도록 제어하는, 지시된 위치로 풍향을 제어하는 에어컨.And when the grid selection information received by the communication unit indicates two or more grids, the controller controls the wind blowing unit to send wind within a range including the two or more grids.
  10. 에어컨의 카메라부가 에어컨의 송풍부가 바람을 보낼 수 있는 범위 내에 객체들이 포함된 이미지를 촬영하는 단계; Photographing an image including objects within a range in which a camera unit of the air conditioner can blow the wind of the air conditioner;
    상기 에어컨의 객체 인식부가 상기 이미지에서 객체를 인식하여 상기 객체에 대한 식별 정보를 생성하는 단계;Generating an identification information on the object by recognizing an object in the image by an object recognition unit of the air conditioner;
    상기 에어컨의 음성 인식부가 상기 인식된 객체를 식별하는 식별 정보가 포함된 음성 명령을 수신하는 단계; 및Receiving, by a voice recognition unit of the air conditioner, a voice command including identification information for identifying the recognized object; And
    상기 에어컨의 제어부가 상기 음성 명령에 포함된 객체의 식별 정보와 상기 이미지에서 인식된 객체를 비교하여 상기 객체를 기준으로 음성 명령에서 지시된 방향으로 상기 송풍부가 바람을 보내도록 제어하는 단계를 포함하는, 지시된 위치로 에어컨의 풍향을 제어하는 방법. And controlling, by the controller of the air conditioner, the blowing unit to send wind in a direction indicated by the voice command based on the object by comparing the identification information of the object included in the voice command with the object recognized in the image. , To control the wind direction of the air conditioner to the indicated position.
  11. 제10항에 있어서,The method of claim 10,
    상기 에어컨의 통신부가 상기 인식된 객체 또는 상기 이미지를 통신 장치에게 전송하여 특정한 객체에 대한 선택 정보 또는 상기 이미지 내에서 선택된 좌표 정보를 수신하는 단계; 및 A communication unit of the air conditioner transmitting the recognized object or the image to a communication device to receive selection information on a specific object or coordinate information selected in the image; And
    상기 제어부가 상기 통신 장치에서 선택된 객체 또는 선택된 좌표 정보를 기준으로 지시된 방향으로 상기 송풍부가 바람을 보내도록 제어하는 단계를 더 포함하는, 지시된 위치로 에어컨의 풍향을 제어하는 방법.And controlling, by the control unit, the blower to send wind in a direction indicated based on a selected object or selected coordinate information in the communication device.
  12. 제10항에 있어서, The method of claim 10,
    상기 에어컨은 제1음성 인식부 및 제2음성 인식부를 포함하며, The air conditioner includes a first voice recognition unit and a second voice recognition unit,
    제1방향으로부터 발화된 음성을 상기 제1음성 인식부가 상기 제2음성 인식부보다 먼저 수신하는 단계; 및 Receiving the voice uttered from the first direction by the first voice recognition unit before the second voice recognition unit; And
    상기 제어부는 상기 제1방향으로 상기 송풍부가 바람을 보내도록 제어하는, 지시된 위치로 에어컨의 풍향을 제어하는 방법.And the control unit controls the wind direction of the air conditioner to the indicated position to control the blowing unit to send wind in the first direction.
PCT/KR2019/000984 2018-02-13 2019-01-23 Air conditioner for controlling wind direction toward indicated location by using artificial intelligence and method for controlling same WO2019160253A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180017900A KR102121785B1 (en) 2018-02-13 2018-02-13 Air-conditioner controlling direction of the wind using artificial intelligence by instructed position and method of controlling thereof
KR10-2018-0017900 2018-02-13

Publications (1)

Publication Number Publication Date
WO2019160253A1 true WO2019160253A1 (en) 2019-08-22

Family

ID=67620031

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000984 WO2019160253A1 (en) 2018-02-13 2019-01-23 Air conditioner for controlling wind direction toward indicated location by using artificial intelligence and method for controlling same

Country Status (2)

Country Link
KR (1) KR102121785B1 (en)
WO (1) WO2019160253A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110715429A (en) * 2019-10-21 2020-01-21 广东美的制冷设备有限公司 Air conditioner, control method and system thereof and storage medium
CN110864440A (en) * 2019-11-20 2020-03-06 珠海格力电器股份有限公司 Air supply method, air supply device and air conditioner
CN110953663A (en) * 2019-11-04 2020-04-03 佛山市云米电器科技有限公司 Fan with quick heating control function
CN112378053A (en) * 2020-11-02 2021-02-19 珠海格力电器股份有限公司 Air conditioner control method and device, storage medium and air conditioner
CN114234386A (en) * 2021-12-23 2022-03-25 珠海格力电器股份有限公司 Control method and device for air outlet of air outlet device and air outlet system
CN114576804A (en) * 2020-11-30 2022-06-03 阿里巴巴（中国）有限公司 Intelligent air supply method, equipment and system

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111442502B (en) * 2020-04-07 2022-06-28 青岛海尔空调器有限总公司 Air supply control method and system of air conditioner
CN111787609A (en) * 2020-07-09 2020-10-16 北京中超伟业信息安全技术股份有限公司 Personnel positioning system and method based on human body voiceprint characteristics and microphone base station
KR20220060670A (en) * 2020-11-05 2022-05-12 엘지전자 주식회사 Home appliance and Method for controlling thereof
CN112797590A (en) * 2021-01-11 2021-05-14 珠海格力电器股份有限公司 Air conditioner control method and device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10259941A (en) * 1997-03-18 1998-09-29 Sanden Corp Bathroom air conditioning device
KR20090087364A (en) * 2008-02-12 2009-08-17 엘지전자 주식회사 Air conditioner and controlling method thereof
JP2011012907A (en) * 2009-07-03 2011-01-20 Fujitsu General Ltd Air conditioner
KR20150015886A (en) * 2013-08-02 2015-02-11 엘지전자 주식회사 Air conditioner and controlling method thereof
JP5836741B2 (en) * 2011-09-30 2015-12-24 日立アプライアンス株式会社 Air conditioning control terminal and air conditioning control setting operation method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04344049A (en) * 1991-05-20 1992-11-30 Hitachi Ltd Air conditioner
JP2002350555A (en) * 2001-05-28 2002-12-04 Yamaha Motor Co Ltd Human presence detector
JP5020222B2 (en) * 2008-12-08 2012-09-05 三菱電機株式会社 Air conditioner
KR20140065590A (en) * 2012-11-16 2014-05-30 엘지전자 주식회사 Air conditioner and method for operating the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10259941A (en) * 1997-03-18 1998-09-29 Sanden Corp Bathroom air conditioning device
KR20090087364A (en) * 2008-02-12 2009-08-17 엘지전자 주식회사 Air conditioner and controlling method thereof
JP2011012907A (en) * 2009-07-03 2011-01-20 Fujitsu General Ltd Air conditioner
JP5836741B2 (en) * 2011-09-30 2015-12-24 日立アプライアンス株式会社 Air conditioning control terminal and air conditioning control setting operation method
KR20150015886A (en) * 2013-08-02 2015-02-11 엘지전자 주식회사 Air conditioner and controlling method thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110715429A (en) * 2019-10-21 2020-01-21 广东美的制冷设备有限公司 Air conditioner, control method and system thereof and storage medium
CN110953663A (en) * 2019-11-04 2020-04-03 佛山市云米电器科技有限公司 Fan with quick heating control function
CN110864440A (en) * 2019-11-20 2020-03-06 珠海格力电器股份有限公司 Air supply method, air supply device and air conditioner
CN112378053A (en) * 2020-11-02 2021-02-19 珠海格力电器股份有限公司 Air conditioner control method and device, storage medium and air conditioner
CN114576804A (en) * 2020-11-30 2022-06-03 阿里巴巴（中国）有限公司 Intelligent air supply method, equipment and system
CN114234386A (en) * 2021-12-23 2022-03-25 珠海格力电器股份有限公司 Control method and device for air outlet of air outlet device and air outlet system

Also Published As

Publication number Publication date
KR20190097902A (en) 2019-08-21
KR102121785B1 (en) 2020-06-26

Similar Documents

Publication Publication Date Title
WO2019160253A1 (en) Air conditioner for controlling wind direction toward indicated location by using artificial intelligence and method for controlling same
WO2016182374A1 (en) Remote control method and device using wearable device
WO2017188801A1 (en) Optimum control method based on multi-mode command of operation-voice, and electronic device to which same is applied
WO2011065653A2 (en) User adaptive display apparatus and display method
WO2019156272A1 (en) Location-based voice recognition system through voice command
JP6104143B2 (en) Device control system and device control method
KR102507254B1 (en) Home automation system using real-time indoor image
JP2012172910A (en) System for operating indoor environmental control device
WO2014189186A1 (en) Method for controlling electronic device using ip camera having function of wireless remote controller
CN104076988B (en) A kind of display methods, display control method and electronic equipment
WO2013077643A1 (en) Apparatus and method for providing augmented reality service for mobile terminal
JP5958462B2 (en) Imaging apparatus, imaging method, and program
WO2018004036A1 (en) Monitoring apparatus and system
WO2019221479A1 (en) Air conditioner and control method thereof
Kowalski et al. Multi Low-resolution Infrared Sensor Setup for Privacy-preserving Unobtrusive Indoor Localization.
WO2023149603A1 (en) Thermal-image-monitoring system using plurality of cameras
WO2019189179A1 (en) Information management system
WO2019225912A1 (en) Method for controlling air conditioner by recognizing zone on basis of artificial intelligence, server, and air conditioner
JP2019002634A (en) Controller for air-conditioner and air-conditioner system
JP6495696B2 (en) Image collecting apparatus, image collecting method, and computer program
JP2019090582A (en) Air conditioner
WO2021162241A1 (en) Method and device for controlling image sensor
CN203824005U (en) Air conditioner and air conditioner control system
WO2019135568A1 (en) Terminal having movable built-in camera
WO2023148800A1 (en) Control device, control system, control method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19754149

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19754149

Country of ref document: EP

Kind code of ref document: A1