WO2023134743A1 - 调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序 - Google Patents

调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序 Download PDF

Info

Publication number
WO2023134743A1
WO2023134743A1 PCT/CN2023/072077 CN2023072077W WO2023134743A1 WO 2023134743 A1 WO2023134743 A1 WO 2023134743A1 CN 2023072077 W CN2023072077 W CN 2023072077W WO 2023134743 A1 WO2023134743 A1 WO 2023134743A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
lighting
adjustment
robot
intelligent
Prior art date
Application number
PCT/CN2023/072077
Other languages
English (en)
French (fr)
Inventor
高斌
Original Assignee
达闼机器人股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 达闼机器人股份有限公司 filed Critical 达闼机器人股份有限公司
Publication of WO2023134743A1 publication Critical patent/WO2023134743A1/zh

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Definitions

  • the present disclosure relates to the field of intelligent control, in particular to a method for adjusting intelligent lighting equipment, a robot, electronic equipment, a storage medium and a computer program.
  • the purpose of the embodiments of the present invention is to provide a method for adjusting intelligent lighting equipment, a robot, an electronic device, a storage medium, and a computer program to intelligently select the corresponding lighting mode for the user, so as to make the lighting effect of the environment and the target object better, Suitable for shooting or identification, improve the lighting effect of intelligent lighting equipment, and solve the above problems.
  • an embodiment of the present invention provides a method for adjusting a smart lighting device, including:
  • the classification of the lighting patterns generated by the intelligent lighting equipment through the convolutional neural network classifier includes:
  • the image ID of the environment image corresponds to different lighting modes according to different lighting parameters when the robot is shooting.
  • the environment image is acquired by the robot, and according to the environment image and the Smart lighting equipment builds a digital twin scene, including:
  • a digital twin scene is constructed according to the mapping relationship between the environment image and the intelligent lighting equipment.
  • the inputting the environmental image into the convolutional neural network classifier, and obtaining multiple illumination modes corresponding to the environmental image include:
  • the method further includes:
  • a control instruction for the smart lighting device is generated according to the corresponding relationship.
  • the acquiring parameter settings of the intelligent lighting device corresponding to the illumination mode according to the selection instruction includes:
  • the acquisition of the user's lighting mode selection instruction through input or identification includes:
  • the user's lighting mode selection instruction is obtained through speech recognition, gesture recognition, action recognition and/or expression recognition.
  • parameter adjustment of the intelligent lighting equipment includes:
  • the method also includes:
  • the method also includes:
  • Lighting and lighting adjustments are performed on the target object according to the selected lighting mode.
  • an apparatus for adjusting a smart lighting device including:
  • the classification module is used to classify the lighting patterns generated by the intelligent lighting equipment through the convolutional neural network classifier;
  • the scene construction module is used to obtain the environment image by the robot, and construct a digital twin scene according to the environment image and the intelligent lighting equipment;
  • an illumination mode acquisition module configured to input the environment image into the convolutional neural network classifier, and acquire a plurality of illumination modes corresponding to the environment image;
  • An instruction module configured to receive a selection instruction of the lighting mode of the environment image
  • a parameter acquisition module configured to acquire parameter settings of the intelligent lighting device corresponding to the illumination mode according to the selection instruction
  • An adjustment module configured to adjust the parameters of the smart lighting device in the digital twin scene according to the parameter settings.
  • classification module is used to include:
  • the image ID of the environment image corresponds to different lighting modes according to different lighting parameters when the robot is shooting.
  • scene construction module is used to include:
  • a digital twin scene is constructed according to the mapping relationship between the environment image and the intelligent lighting equipment.
  • the illumination mode acquisition module is configured to include:
  • the device also includes:
  • a relationship establishing module configured to establish a corresponding relationship between the illumination mode and the lighting parameters of the intelligent lighting device
  • An instruction generation module configured to generate a control instruction for the smart lighting device according to the correspondence.
  • parameter acquisition module is configured to include:
  • the acquisition of the user's lighting mode selection instruction through input or identification includes:
  • the user's lighting mode selection instruction is obtained through speech recognition, gesture recognition, action recognition and/or expression recognition.
  • the adjustment module is used to include:
  • the device also includes:
  • a mapping module configured to map the parameter adjustment of the smart lighting device in the digital twin scene to the parameter adjustment of the smart lighting device in a real scene.
  • the device also includes:
  • An identification module configured to identify the target object in the environmental image acquired by the robot
  • the target light adjustment module is configured to perform lighting and lighting adjustment on the target object according to the selected lighting mode.
  • an embodiment of the present disclosure provides a robot, including:
  • At least one memory for storing computer readable instructions
  • At least one processor configured to run the computer-readable instructions, so that the robot implements the method according to any one of the above first aspects.
  • an electronic device including:
  • At least one memory for storing computer readable instructions
  • At least one processor configured to run the computer-readable instructions, so that the electronic device implements the method described in any one of the above first aspects.
  • an embodiment of the present disclosure provides a non-transitory computer-readable storage medium for storing computer-readable instructions.
  • the computer-readable instructions When executed by a computer, the computer implements the above-mentioned first aspect. any one of the methods described.
  • another embodiment of the present disclosure provides a computer program product, including instructions, which, when run on a computer, cause the computer to execute the method described above.
  • An embodiment of the present disclosure discloses a method for adjusting intelligent lighting equipment, a robot, an electronic device, a storage medium, and a computer program.
  • the method includes: classifying the lighting patterns generated by the intelligent lighting equipment through a convolutional neural network classifier;
  • the robot acquires an environmental image, and constructs a digital twin scene according to the environmental image and the intelligent lighting device; inputs the environmental image into the convolutional neural network classifier, and acquires multiple lighting modes corresponding to the environmental image; receiving a selection instruction of the lighting mode of the environment image; acquiring the parameter setting of the intelligent lighting device corresponding to the lighting mode according to the selection instruction; performing the intelligent lighting in the digital twin scene according to the parameter setting
  • the device performs parameter adjustment.
  • the purpose of the embodiments of the present invention is to provide a method for adjusting intelligent lighting equipment, a robot, an electronic device, a storage medium, and a computer program to intelligently select the corresponding lighting mode for the user, so as to make the lighting effect of the environment and the target object better, Suitable for shooting or identification, improving the lighting effect of intelligent lighting equipment
  • FIG. 1 is a schematic flowchart of a method for adjusting lighting of an intelligent lighting device provided by an embodiment of the present disclosure
  • FIG. 2 is a schematic diagram of a convolutional neural network classifier model provided by an embodiment of the present disclosure
  • Fig. 3 is a schematic diagram of an apparatus for adjusting lighting of a smart lighting device according to another embodiment of the present disclosure
  • Fig. 4 is a schematic structural diagram of an electronic device provided by another embodiment of the present disclosure.
  • the term “comprise” and its variations are open-ended, ie “including but not limited to”.
  • the term “based on” is “based at least in part on”.
  • the term “one embodiment” means “at least one embodiment”; the term “another embodiment” means “at least one further embodiment”; the term “some embodiments” means “at least some embodiments.” Relevant definitions of other terms will be given in the description below.
  • Fig. 1 is a schematic flowchart of a method for adjusting the lighting of a smart device provided by an embodiment of the present disclosure.
  • the method provided by this embodiment can be executed by an electronic device or robot and its control device, and the device can be implemented as software or software Combination with hardware, the device can be integrated in a device in the control system, such as terminal equipment.
  • the method includes the following steps:
  • Step S101 Classify the illumination patterns generated by the intelligent lighting device by a convolutional neural network classifier.
  • the smart device in the home, office area or public place is connected to the Internet, and is connected to the server through a network cable, Wifi or Bluetooth.
  • the server can obtain various data of the smart device through the network or smart connection, including the status and location of the device, as well as the service mode and various adjustable parameters of the smart device.
  • the server can obtain the GPS positioning information of the robot and the location of the smart device through the network.
  • the robot and the intelligent lighting equipment in the environment are connected through the network.
  • the intelligent lighting equipment includes but not limited to: smart TV, smart lamp, smart LED light, smart ceiling lamp, smart night light, smart bedside lamp, smart table lamp, smart hanging lamp Lights, mobile phones, smart speakers, etc.
  • the above smart lighting devices are just examples and not limited thereto.
  • the robot can be a wheeled simulation robot, a sweeping robot, a smart speaker, a vending machine, various intelligent interactive devices, etc., or it can be a drone, a smart car, a balance car, etc.
  • the smart lighting device is equipped with sensors and communication technologies such as Wi-Fi/Bluetooth/Bluetooth MESH/UVW/ultrasonic/infrared, which can realize communication with the robot/smart lighting device.
  • Intelligent lighting equipment also includes: intelligent shading and/or reflective equipment, including but not limited to: intelligent shading cloth, intelligent shading board, etc.
  • intelligent lighting equipment includes but is not limited to: the fixed position can not be rotated and can be moved at the same time, the fixed position can be rotated by itself, the movable position can be moved, and the height can be adjusted up and down at the same time, and the movable position can be adjusted up and down at the same time.
  • Intelligent lighting device parameter settings include but are not limited to: adjusting the position of the device, adjusting the angle of the device, adjusting the height of the device, adjusting the color of the light, adjusting the brightness, adjusting the color temperature, streamer and so on.
  • classifying the lighting patterns generated by the intelligent lighting device through the convolutional neural network classifier includes: in the convolutional neural network classifier, the standard image corresponding to the environment image and the lighting pattern of the classification mark Comparing; calculating the parameter similarity between the environmental image and the standard image through image parameters; marking the environmental image with the parameter similarity greater than the first threshold as the lighting mode corresponding to the standard image, and recording the marked The image ID of the environment image.
  • the image ID of the environment image corresponds to different lighting modes according to different lighting parameters when the robot is shooting.
  • each environmental image corresponds to an image ID, such as image ID1, image ID2, ..., image Idn in the figure, each image ID has multiple lighting modes, such as lighting mode 1, lighting mode 2, ..., lighting mode N in the figure, and different
  • the image IDs may all have the same lighting mode, for example, the image ID1 and the image ID3 both have the lighting mode of the "Rembrandt light" effect.
  • Each lighting mode corresponds to the device parameter setting of each intelligent lighting device.
  • lighting mode 1 corresponds to device parameter setting 1
  • lighting mode 2 corresponds to device parameter setting 2
  • lighting mode N corresponds to device parameter setting N.
  • the picture ID corresponding to the illumination mode is the reference picture
  • the environment image is compared with the reference picture, and the reference image whose corresponding similarity is higher than a certain threshold is selected.
  • Select the lighting mode from the reference image above and set the device parameters corresponding to the lighting mode as the final adjustment target of the smart lighting device.
  • this training model it is also possible to light each intelligent lighting device and take pictures, and then arrange and combine them to synthesize different synthetic images, so as to record the device parameter settings of the synthetic images.
  • the synthesized image that achieves the mode effect may correspond to the image ID corresponding to the reference image.
  • the convolutional neural network classifier performs classification through a deep learning algorithm model, which includes: the color and brightness of the light source obtained by the subject, the position of the light source, different people corresponding to different scenes, the position of the light and the brightness of the light source /color, the corresponding description keywords and usage scenarios, for example: in the close-up scene of the target person A, a main light source of red 2000 lumens is used on the light-receiving surface, and an auxiliary light source of blue 500 lumens is used on the light-receiving surface to perform ring lighting. Dramatic effect can be obtained; target person B For the bust scene, use 1 key light source and 1 gobo to perform Rembrandt lighting to obtain contrast effects.
  • a deep learning algorithm model which includes: the color and brightness of the light source obtained by the subject, the position of the light source, different people corresponding to different scenes, the position of the light and the brightness of the light source /color, the corresponding description keywords and usage scenarios, for example: in the close-up scene of the
  • the lighting models include: flat light/surface light mode, Paramount lighting (butterfly light) mode, ring lighting mode, Rembrandt lighting mode, image-connected lighting mode, split lighting (a Side light and shadow) mode, wide light mode, thin light mode and so on.
  • Paramount light (butterfly light) mode the light source is placed above the camera so that it can look down on the subject from a height. When the light source hits it from above, it creates a shadow under the nose, which looks like a butterfly shape. This lighting mode makes the subject look stylish in the lens, and will create shadows on the cheeks and chin, so the cheekbones will be more prominent, and the face will look thinner and the chin sharper. Raises the charm of the object.
  • Ring lighting mode on the basis of Paramount light, the light source should be slightly higher than the eye level and 30-40 degrees to the camera (according to the situation of individual faces), and the light is still projected from above to the subject's face superior. It casts a shadow on the subject's face a little lower on the neck, the shadow of the nose is not connected to the shadow of the cheek, but slightly downwards, and the light source is not so high that it loses the eyelight, which can create More drama.
  • Rembrandt lighting mode place the light source at a high place, at a position of 45-60 degrees to the subject, and it forms a small triangle on one side of the subject's face. This results in a highly contrasting image, and can be used to convey that the subject is going through the darkest period of their life. If the Rembrandt light is too dark for you, add a reflector to soften the shadows. Unlike the ring lighting, the shadows of the nose and cheeks are connected, but more importantly, the eyes on the other side of the shadow still have a catch light to maintain a sharp look, and the photo also has a sense of drama.
  • Image connection mode when shooting, the subject should turn slightly away from the light source.
  • the light source must be positioned higher than the head, so that the shadow of the nose is connected with the shadow of the cheek.
  • not everyone is suitable for this lighting method. People with large cheekbones will be more ideal, while people with a low nose bridge will find it difficult to light.
  • split lighting one side light and shadow
  • the light source is placed at 90 degrees to the left or right of the object, and can be slightly moved forward or backward to accommodate different surface shapes. The lighting has to follow the subject's face, and when the head is turned, the light should follow. In this mode, the face is divided into two, one side is bright and the other side is dark, which will create a stronger sense of drama, suitable for characters with strong personality or temperament, such as artists, musicians, etc., of course, the masculinity will also be stronger. It can also be used to show the hidden secrets or dark side of the subject.
  • Broad light mode This is not a specific lighting setting, but a style, no matter split, ring or Rembrandt can be used.
  • the method is actually very simple, that is, let the side receiving the light turn to the lens, so that the side receiving the light will look wider, and then the whole face will look larger and wider, which is suitable for people with thin faces.
  • Thin light mode just the opposite of wide light, the darker side faces the camera, so that the face looks sharper and more three-dimensional and atmospheric.
  • Step S102 The robot acquires an environment image, and constructs a digital twin scene according to the environment image and the intelligent lighting device.
  • the robot is provided with a visual sensor, such as an image camera, a depth camera, a laser radar and/or an ultrasonic wave, etc., wherein the image camera is used for taking pictures or taking pictures, and real-time acquisition of what the robot wants to collect environment image or target image.
  • the robot and the intelligent lighting devices in the environment are connected through the network.
  • the robot can be a wheeled simulation robot, a sweeping robot, a smart speaker, a vending machine, various intelligent interactive devices, etc., or it can be a drone, a smart car, a balance car, etc.
  • the vision sensor of the robot Through the vision sensor of the robot, the environmental image of the environment where the robot is located can be collected, and at the same time, the target object in the image can be recognized.
  • the acquisition of an environmental image by a robot, and constructing a digital twin scene based on the environmental image and the intelligent lighting device includes: capturing the environmental image by the visual sensor of the robot; identifying the intelligent lighting device in the environmental image; Establishing a mapping relationship between the intelligent lighting equipment in the digital twin scene and the intelligent lighting equipment in the real scene; constructing a digital twin scene according to the mapping relationship between the environmental image and the intelligent lighting equipment.
  • Step S103 Input the environment image into the convolutional neural network classifier, and obtain the Multiple lighting modes for environment images.
  • an unrecorded movie/camera lens is input into the deep learning algorithm model for detection, and a lighting mode is output.
  • the mode includes: different people correspond to different scenes, lighting positions and the brightness and color of the light source, as well as the corresponding mode description keywords, such as Avatar mode.
  • the inputting the environmental image into the convolutional neural network classifier, and obtaining a plurality of illumination modes corresponding to the environmental image includes: inputting the environmental image acquired by the robot into the convolutional neural network A classifier; identifying the environment image, acquiring an image ID corresponding to the environment image; acquiring multiple illumination modes corresponding to the environment image according to the image ID.
  • Step S104 Receive a selection instruction of the illumination mode of the environment image.
  • the robot is configured with a smart camera, a lidar and/or a depth camera, and acquires the area and 3D shape of each target object or person in the scene through the lidar and depth camera.
  • the selection instruction of the lighting mode can be obtained by inputting or identifying the user's lighting mode selection instruction, which specifically includes: obtaining the user's lighting mode selection instruction through key input and/or touch screen input; or, through voice recognition, gesture recognition, Action recognition and/or expression recognition obtains the user's lighting mode selection instruction.
  • Automatic control method 1 adjust the light through image recognition of face shape or emotion:
  • a depth camera and lidar at the camera position, which can capture facial expressions, body movements and gesture changes in real time;
  • Automatic control method 2 through timbre, or emotion in words:
  • the camera and the smart device perceive each other's position through UWB/ultrasonic waves, and map it to the scene of the digital twin;
  • the smart curtains are closed, the shading board blocks the natural light windows, and the spotlights are used to beam light.
  • the lighting effect corresponds to the expression of multiple voices.
  • the user can make an input selection through the button and generate a selection instruction.
  • the user can make a touch screen selection through the touch screen button or area, and generate a selection instruction.
  • Step S105 Obtain parameter settings of the smart lighting device corresponding to the lighting mode according to the selection instruction.
  • each lighting mode corresponds to parameter setting of at least one intelligent lighting device.
  • the acquiring the parameter setting of the intelligent lighting device corresponding to the lighting mode according to the selection command includes: obtaining the user's lighting mode selection command through input or identification; according to the lighting parameters of the smart lighting device The mapping relationship among them is used to obtain the parameters corresponding to the illumination mode. Number setting; get the adjustable range of the parameter setting.
  • the camera used for shooting is an adjustable camera, and the parameters include but are not limited to: ISO, Shutter, EV, aperture, focal length, inner light lumen, light source equipment installed on the camera, the position of the camera, and the illumination lumen can be adjusted.
  • the parameters of the adjustable intelligent light source can be adjusted, including but not limited to: on/off/projection range/angle/brightness and color of the light source.
  • the area illuminated (or affected area) is used to obtain the degree of light received by the surface of the subject, which is expressed by the luminous flux received per unit area.
  • E represents the illuminance
  • S represents the area
  • the texture/reflectivity and physical properties of adjustable objects can be recorded and selected.
  • the environment image in the real world, there is an intelligent light meter that faces the light source at the subject position to obtain the illuminance value. Adjust the brightness of other lights according to the light ratio value, and the corresponding parameters can also be adjusted in the virtual scene, which can simulate the light receiving area corresponding to the light and dark steps projected by the light source on the object.
  • Step S106 Perform parameter adjustment on the smart lighting device in the digital twin scene according to the parameter setting.
  • adjusting the parameters of the smart lighting device includes but is not limited to: adjusting the position, angle, height, light color, brightness, and color temperature of the smart lighting device. Ratio adjustment and/or streamer adjustment.
  • Light ratio measurements include but are not limited to:
  • the parameter adjustment of the smart lighting device includes: adjusting the position, angle, height, light color, brightness, and color of the smart lighting device. temperature adjustment, light ratio adjustment and/or streamer adjustment.
  • the method further includes: establishing a correspondence between the lighting mode and the lighting parameters of the intelligent lighting device; according to the corresponding The relationship generates the control instruction of the intelligent lighting device.
  • the method for adjusting an intelligent lighting device further includes: mapping the parameter adjustment of the intelligent lighting device in the digital twin scene to the parameter adjustment of the intelligent lighting device in a real scene.
  • the method for adjusting the intelligent lighting device further includes: identifying a target object in the environment image acquired by the robot; and performing lighting and lighting adjustment on the target object according to the selected lighting mode.
  • Fig. 3 is a schematic diagram of an apparatus for adjusting a smart lighting device according to another embodiment of the present disclosure.
  • the device for interacting between the robot and the smart device includes: a classification module 301 , a scene construction module 302 , an illumination mode acquisition module 303 , an instruction module 304 , a parameter acquisition module 305 and an adjustment module 306 . in:
  • the classification module 301 is configured to classify the illumination patterns generated by the intelligent lighting device through a convolutional neural network classifier.
  • the classification module is specifically configured to: compare the environmental image with the standard image corresponding to the illumination mode of the classification mark in the convolutional neural network classifier; The parameter similarity of the standard image; marking the environmental image whose parameter similarity is greater than a first threshold as the illumination mode corresponding to the standard image, and recording the image ID of the marked environmental image.
  • the image ID of the environment image corresponds to different lighting modes according to different lighting parameters when the robot is shooting.
  • the scene construction module 302 is configured to obtain an environment image by a robot, and construct a digital twin scene according to the environment image and the intelligent lighting device.
  • the robot is provided with a visual sensor, such as an image camera, a depth camera, a laser radar and/or an ultrasonic wave, etc., wherein the image camera is used for taking pictures or taking pictures, and real-time acquisition of environmental images or targets that the robot wants to collect image.
  • the robot and various smart lights in the environment Optical devices are connected through the network.
  • the robot can be a wheeled simulation robot, a sweeping robot, a smart speaker, a vending machine, various intelligent interactive devices, etc., or it can be a drone, a smart car, a balance car, etc.
  • the vision sensor of the robot Through the vision sensor of the robot, the environmental image of the environment where the robot is located can be collected, and at the same time, the target object in the image can be recognized.
  • the scene construction module is specifically used to include: taking an environmental image through the visual sensor of the robot; identifying the intelligent lighting equipment in the environmental image; establishing the intelligent lighting equipment in the digital twin scene and the intelligent lighting equipment in the real scene.
  • the illumination mode acquisition module 303 is configured to input the environment image into the convolutional neural network classifier, and acquire multiple illumination modes corresponding to the environment image.
  • an unrecorded movie/camera lens is input into the deep learning algorithm model for detection, and a lighting mode is output.
  • the mode includes: different people correspond to different scenes, lighting positions, light source brightness and color , and the corresponding mode description keywords, such as Avatar mode.
  • the illumination pattern acquisition module is specifically configured to: input the environment image acquired by the robot into the convolutional neural network classifier; identify the environment image, and acquire the image ID corresponding to the environment image; The image ID is used to obtain multiple lighting modes corresponding to the environment image.
  • the instruction module 304 is configured to receive a selection instruction of the lighting mode of the environment image.
  • the selection instruction is obtained through input or recognition, specifically including: obtaining the user's lighting mode selection instruction through key input and/or touch screen input; or through voice recognition, gesture recognition, action recognition and/or Expression recognition obtains the user's lighting mode selection instruction.
  • the parameter acquiring module 305 is configured to acquire parameter settings of the smart lighting device corresponding to the lighting mode according to the selection instruction.
  • the parameter acquisition module is specifically used to: obtain the user's lighting mode selection instruction through input or identification; obtain the parameter setting corresponding to the lighting mode according to the mapping relationship between the lighting parameters of the intelligent lighting device; obtain The adjustable range of the parameter setting.
  • the adjustment module 306 is configured to adjust all the parameters in the digital twin scene according to the parameter settings Adjust the parameters of the intelligent lighting equipment described above.
  • the adjusted module is specifically used for: adjusting the position, angle, height, light color, brightness, color temperature, light ratio and/or streamer of the intelligent lighting device.
  • the device includes:
  • a mapping module configured to map the parameter adjustment of the smart lighting device in the digital twin scene to the parameter adjustment of the smart lighting device in a real scene.
  • the device includes:
  • a relationship establishing module configured to establish a corresponding relationship between the illumination mode and the lighting parameters of the intelligent lighting device
  • An instruction generation module configured to generate a control instruction for the smart lighting device according to the correspondence.
  • the device also includes:
  • An identification module configured to identify the target object in the environmental image acquired by the robot
  • the target light adjustment module is configured to perform lighting and lighting adjustment on the target object according to the selected lighting mode.
  • the device shown in FIG. 3 can execute the method of the embodiment shown in FIG. 1 .
  • the device shown in FIG. 3 can execute the method of the embodiment shown in FIG. 1 .
  • FIG. 4 it shows a schematic structural diagram of an electronic device 400 suitable for implementing another embodiment of the present disclosure.
  • the terminal equipment in the embodiment of the present disclosure may include but not limited to such as mobile phone, notebook computer, digital broadcast receiver, PDA (personal digital assistant), PAD (tablet computer), PMP (portable multimedia player), vehicle terminal (such as mobile terminals such as car navigation terminals) and fixed terminals such as digital TVs, desktop computers and the like.
  • the electronic device shown in FIG. 4 is only an example, and should not limit the functions and application scope of the embodiments of the present disclosure.
  • the electronic device 400 may include a processing device (such as a central processing unit, a graphics processor, etc.) 401 that can execute various appropriate actions and processes according to programs stored in a read only memory (ROM) 402 or loaded from a storage device 408 into a random access memory (RAM) 403 .
  • ROM read only memory
  • RAM random access memory
  • various programs and data necessary for the operation of the electronic device 400 are also stored.
  • the processing device 401 , ROM 402 , and RAM 403 are connected to each other through a communication line 404 .
  • An input/output (I/O) interface 405 is also connected to the communication line 404 .
  • the following devices can be connected to the I/O interface 405: input devices 406 including, for example, a touch screen, touchpad, keyboard, mouse, camera, microphone, accelerometer, gyroscope, etc.; including, for example, a liquid crystal display (LCD), speaker, vibration an output device 407 such as a computer; a storage device 408 including, for example, a magnetic tape, a hard disk, etc.; and a communication device 409.
  • the communication means 409 may allow the electronic device 400 to perform wireless or wired communication with other devices to exchange data. While FIG. 4 shows electronic device 400 having various means, it should be understood that implementing or having all of the means shown is not a requirement. More or fewer means may alternatively be implemented or provided.
  • embodiments of the present disclosure include a computer program product, which includes a computer program carried on a non-transitory computer readable medium, where the computer program includes program code for executing the method shown in the flowchart.
  • the computer program may be downloaded and installed from a network via communication means 409, or from storage means 408, or from ROM 402.
  • the processing device 401 When the computer program is executed by the processing device 401, the above-mentioned functions defined in the methods of the embodiments of the present disclosure are performed.
  • the above-mentioned computer-readable medium in the present disclosure may be a computer-readable signal medium or a computer-readable storage medium or any combination of the above two.
  • a computer readable storage medium may be, for example, but not limited to, an electrical, magnetic, optical, electromagnetic, infrared, or semiconductor system, device, or device, or any combination thereof. More specific examples of computer-readable storage media may include, but are not limited to, electrical connections with one or more wires, portable computer diskettes, hard disks, random access memory (RAM), read-only memory (ROM), erasable Programmable read-only memory (EPROM or flash memory), optical fiber, portable compact disk read-only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the above.
  • a computer-readable storage medium may be any tangible medium that contains or stores a program that can be used by or in conjunction with an instruction execution system, apparatus, or device.
  • a computer-readable signal medium may include a data signal propagated in baseband or as part of a carrier wave carrying computer-readable program code therein. Such propagated data signals may take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • a computer-readable signal medium may also be any computer-readable medium other than a computer-readable storage medium, which can send, propagate, or transmit a program for use by or in conjunction with an instruction execution system, apparatus, or device .
  • Program code embodied on a computer readable medium may be transmitted by any appropriate medium, including but not limited to: wires, optical cables, RF (radio frequency), etc., or any suitable combination of the above.
  • the client and the server can communicate using any currently known or future network protocols such as HTTP (HyperText Transfer Protocol, Hypertext Transfer Protocol), and can communicate with digital data in any form or medium
  • HTTP HyperText Transfer Protocol
  • the communication eg, communication network
  • Examples of communication networks include local area networks (“LANs”), wide area networks (“WANs”), internetworks (e.g., the Internet), and peer-to-peer networks (e.g., ad hoc peer-to-peer networks), as well as any currently known or future developed network of.
  • the above-mentioned computer-readable medium may be included in the above-mentioned electronic device, or may exist independently without being incorporated into the electronic device.
  • the above-mentioned computer-readable medium carries one or more programs, and when the above-mentioned one or more programs are executed by the electronic device, the electronic device: executes the interaction method in the above-mentioned embodiment.
  • Computer program code for carrying out operations of the present disclosure may be written in one or more programming languages, or combinations thereof, including but not limited to object-oriented programming languages—such as Java, Smalltalk, C++, and Includes conventional procedural programming languages - such as the "C" language or similar programming languages.
  • the program code may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer, or entirely on the remote computer or server. OK.
  • the remote computer can be connected to the user computer through any kind of network, including a local area network (LAN) or a wide area network (WAN), or it can be connected to an external computer (such as through an Internet service provider). Internet connection).
  • LAN local area network
  • WAN wide area network
  • Internet service provider such as AT&T, MCI, Sprint, EarthLink, MSN, GTE, etc.
  • each block in a flowchart or block diagram may represent a module, program segment, or portion of code that contains one or more logical functions for implementing specified executable instructions.
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or they may sometimes be executed in the reverse order, depending upon the functionality involved.
  • each block of the block diagrams and/or flowchart illustrations, and combinations of blocks in the block diagrams and/or flowchart illustrations can be implemented by a dedicated hardware-based system that performs the specified functions or operations , or may be implemented by a combination of dedicated hardware and computer instructions.
  • the units involved in the embodiments described in the present disclosure may be implemented by software or by hardware. Wherein, the name of a unit does not constitute a limitation of the unit itself under certain circumstances.
  • FPGAs Field Programmable Gate Arrays
  • ASICs Application Specific Integrated Circuits
  • ASSPs Application Specific Standard Products
  • SOCs System on Chips
  • CPLD Complex Programmable Logical device
  • a machine-readable medium may be a tangible medium that may contain or store a program for use by or in conjunction with an instruction execution system, apparatus, or device.
  • a machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium.
  • a machine-readable medium may include, but is not limited to, electronic, magnetic, optical, electromagnetic, infrared, or semiconductor systems, apparatus, or devices, or any suitable combination of the foregoing.
  • machine-readable storage media would include one or more wire-based electrical connections, portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable Programmable read-only memory (EPROM or flash memory), optical fiber, compact disk read-only memory (CD-ROM), optical storage, magnetic storage, or any suitable combination of the foregoing.
  • RAM random access memory
  • ROM read only memory
  • EPROM or flash memory erasable programmable Programmable read-only memory
  • CD-ROM compact disk read-only memory
  • magnetic storage or any suitable combination of the foregoing.
  • an electronic device including: at least one processor; and a memory connected in communication with the at least one processor; wherein, the memory stores information that can be used by the Instructions executed by at least one processor, the instructions being executed by the at least one processor, so that the at least one processor can execute any one of the methods in the foregoing first aspect.
  • non-transitory computer-readable storage medium which is characterized in that the non-transitory computer-readable storage medium stores computer instructions, and the computer instructions are used to cause a computer to execute the aforementioned Any one of the methods of the first aspect.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

本公开提供了一种调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序，所述方法包括：通过卷积神经网络分类器对智能灯光设备生成的光照模式进行分类；通过机器人获取环境图像，并根据所述环境图像与所述智能灯光设备构建数字孪生场景；将所述环境图像输入所述卷积神经网络分类器，并获取所述环境图像对应的多个光照模式；接收所述环境图像的光照模式的选择指令；根据所述选择指令获取所述光照模式对应的所述智能灯光设备的参数设置；根据所述参数设置在所述数字孪生场景中对所述智能灯光设备进行参数调整。通过本公开的方法，能够不依靠人力频繁调整灯光设备，以更高的效率、更低的成本选择合适的光照模型，以达到预期的打光效果，从而实现电影级的灯光效果，最终获得合适的画面效果。

Description

调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序
交叉引用
本申请要求2022年01月13日递交的、申请号为“202210039500.0”、发明名称为“调节智能灯光设备的方法、机器人及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及智能控制领域，尤其涉及一种调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序。
背景技术
随着智能设备的不断发展，智能设备的控制越来越智能化。现实中，人们在拍照时，拍摄光线往往很难满足最佳拍摄条件，要么灯光过暗，要么灯光过亮，要么灯光不够均匀等等。
目前，在拍摄电影/短片的时候，碰到场景灯光不满足拍摄条件时，往往需要灯光师和摄影师配合，手动去移动光源/反光板/吸光板的位置，并且需求反复移动，根据不同的场景，负责人指挥灯光师去调节灯光位置/角度/亮度，费时费力，且这些灯光设备通常只支持单独控制，而单独的灯光设备对环境的灯光效果影响有限，造成极差的用户体验。
发明内容
基于以上提出的问题，如何不依靠大量的人力频繁调整灯光设备，以更高的效率、更低的成本选择合适的光照模型，以达到预期的打光效果，从而实现 电影级的灯光效果，最终获得合适的画面效果。
本发明实施方式的目的在于提供一种调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序，为用户智能化的选取对应的光照模式，使环境以及目标对象的灯光效果更佳，适宜拍摄或识别，提高智能灯光设备的灯光效果，解决上述问题。
为了实现上述目的，第一方面，本发明的实施例提供了一种调节智能灯光设备的方法，包括：
通过卷积神经网络分类器对智能灯光设备生成的光照模式进行分类；
通过机器人获取环境图像，并根据所述环境图像与所述智能灯光设备构建数字孪生场景；
将所述环境图像输入所述卷积神经网络分类器，并获取所述环境图像对应的多个光照模式；
接收所述环境图像的光照模式的选择指令；
根据所述选择指令获取所述光照模式对应的所述智能灯光设备的参数设置；
根据所述参数设置在所述数字孪生场景中对所述智能灯光设备进行参数调整。
进一步的，所述通过卷积神经网络分类器对智能灯光设备生成的光照模式进行分类，包括：
在所述卷积神经网络分类器中将所述环境图像与分类标记的光照模式对应的标准图像进行比对；
通过图像参数计算所述环境图像与所述标准图像的参数相似度；
将所述参数相似度大于第一阈值的环境图像标记为所述标准图像对应的光照模式，并记录被标记的环境图像的图像ID。
进一步的，所述环境图像的图像ID根据所述机器人拍摄时的灯光参数的不同而对应不同的光照模式。
进一步的，所述通过机器人获取环境图像，并根据所述环境图像与所述 智能灯光设备构建数字孪生场景，包括：
通过机器人的视觉传感器拍摄环境图像；
识别所述环境图像中的智能灯光设备；
建立所述数字孪生场景中所述智能灯光设备与现实场景中所述智能灯光设备的映射关系；
根据环境图像和所述智能灯光设备的映射关系构建数字孪生场景。
进一步的，所述将所述环境图像输入所述卷积神经网络分类器，并获取所述环境图像对应的多个光照模式，包括：
将所述机器人获取的环境图像输入所述卷积神经网络分类器；
识别所述环境图像，获取所述环境图像对应的图像ID；
根据所述图像ID获取所述环境图像对应的多个光照模式。
进一步的，在所述接收所述环境图像的光照模式的选择指令的步骤之前，所述方法还包括：
建立所述光照模式与所述智能灯光设备的灯光参数之间的对应关系；
根据所述对应关系生成所述智能灯光设备的控制指令。
进一步的，所述根据所述选择指令获取所述光照模式对应的所述智能灯光设备的参数设置，包括：
通过输入或识别获取用户的光照模式选择指令；
根据所述智能灯光设备的灯光参数之间的映射关系获取所述光照模式对应的参数设置；
获取所述参数设置的可调节范围。
进一步的，所述通过输入或识别获取用户的光照模式选择指令，包括：
通过按键输入和/或触屏输入获取用户的光照模式选择指令；或者，
通过语音识别、手势识别、动作识别和/或表情识别获取用户的光照模式选择指令。
进一步的，所述对所述智能灯光设备进行参数调整，包括：
对所述智能灯光设备进行位置调整、角度调整、高低调整、光的颜色调 整、亮度调整、色温调整、光比调整和/或流光调整。
进一步的，所述方法还包括：
将所述数字孪生场景中对所述智能灯光设备进行参数调整映射至现实场景中所述智能灯光设备的参数调整。
进一步的，所述方法还包括：
识别所述机器人获取的环境图像中的目标对象；
根据选择的光照模式对所述目标对象进行打光和布光调整。
第二方面，本公开实施例提供一种调节智能灯光设备的装置，包括：
分类模块，用于通过卷积神经网络分类器对智能灯光设备生成的光照模式进行分类；
场景构建模块，用于通过机器人获取环境图像，并根据所述环境图像与所述智能灯光设备构建数字孪生场景；
光照模式获取模块，用于将所述环境图像输入所述卷积神经网络分类器，并获取所述环境图像对应的多个光照模式；
指令模块，用于接收所述环境图像的光照模式的选择指令；
参数获取模块，用于根据所述选择指令获取所述光照模式对应的所述智能灯光设备的参数设置；
调整模块，用于根据所述参数设置在所述数字孪生场景中对所述智能灯光设备进行参数调整。
进一步的，所述分类模块，用于包括：
在所述卷积神经网络分类器中将所述环境图像与分类标记的光照模式对应的标准图像进行比对；
通过图像参数计算所述环境图像与所述标准图像的参数相似度；
将所述参数相似度大于第一阈值的环境图像标记为所述标准图像对应的光照模式，并记录被标记的环境图像的图像ID。
进一步的，所述环境图像的图像ID根据所述机器人拍摄时的灯光参数的不同而对应不同的光照模式。
进一步的，所述场景构建模块，用于包括：
通过机器人的视觉传感器拍摄环境图像；
识别所述环境图像中的智能灯光设备；
建立所述数字孪生场景中所述智能灯光设备与现实场景中所述智能灯光设备的映射关系；
根据环境图像和所述智能灯光设备的映射关系构建数字孪生场景。
进一步的，所述光照模式获取模块，用于包括：
将所述机器人获取的环境图像输入所述卷积神经网络分类器；
识别所述环境图像，获取所述环境图像对应的图像ID；
根据所述图像ID获取所述环境图像对应的多个光照模式。
进一步的，所述装置还包括：
关系建立模块，用于建立所述光照模式与所述智能灯光设备的灯光参数之间的对应关系；
指令生成模块，用于根据所述对应关系生成所述智能灯光设备的控制指令。
进一步的，所述参数获取模块，用于包括：
通过输入或识别获取用户的光照模式选择指令；
根据所述智能灯光设备的灯光参数之间的映射关系获取所述光照模式对应的参数设置；
获取所述参数设置的可调节范围。
进一步的，所述通过输入或识别获取用户的光照模式选择指令，包括：
通过按键输入和/或触屏输入获取用户的光照模式选择指令；或者，
通过语音识别、手势识别、动作识别和/或表情识别获取用户的光照模式选择指令。
进一步的，所述调整模块，用于包括：
对所述智能灯光设备进行位置调整、角度调整、高低调整、光的颜色调整、亮度调整、色温调整、光比调整和/或流光调整。
进一步的，所述装置还包括：
映射模块，用于将所述数字孪生场景中对所述智能灯光设备进行参数调整映射至现实场景中所述智能灯光设备的参数调整。
进一步的，所述装置还包括：
识别模块，用于识别所述机器人获取的环境图像中的目标对象；
目标光线调整模块，用于根据选择的光照模式对所述目标对象进行打光和布光调整。
第三方面，本公开实施例提供一种机器人，包括：
至少一个存储器，用于存储计算机可读指令；以及
至少一个处理器，用于运行所述计算机可读指令，使得所述机器人实现根据上述第一方面中任意一项所述的方法。
第四方面，本公开实施例提供一种电子设备，包括：
至少一个存储器，用于存储计算机可读指令；以及
至少一个处理器，用于运行所述计算机可读指令，使得所述电子设备实现上述第一方面中任意一项所述的方法。
第五方面，本公开实施例提供一种非暂态计算机可读存储介质，用于存储计算机可读指令，当所述计算机可读指令由计算机执行时，使得所述计算机实现上述第一方面中任意一项所述的方法。
第六方面，本公开另一实施例提供了一种计算机程序产品，包括指令，当其在计算机上运行时，使得计算机执行上述所述的方法。
本公开实施例公开了一种调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序，所述方法包括：通过卷积神经网络分类器对智能灯光设备生成的光照模式进行分类；通过机器人获取环境图像，并根据所述环境图像与所述智能灯光设备构建数字孪生场景；将所述环境图像输入所述卷积神经网络分类器，并获取所述环境图像对应的多个光照模式；接收所述环境图像的光照模式的选择指令；根据所述选择指令获取所述光照模式对应的所述智能灯光设备的参数设置；根据所述参数设置在所述数字孪生场景中对所述智能灯光 设备进行参数调整。通过本公开的调节智能灯光设备灯光的方法，能够不依靠人力频繁调整灯光设备，以更高的效率、更低的成本选择合适的光照模型，以达到预期的打光效果，从而实现电影级的灯光效果，最终获得合适的画面效果。同时，机器人进行目标识别时，如何给物体打光，让机器人获得更准确的识别率以及获得更好的拍摄效果。
本发明实施方式的目的在于提供一种调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序，为用户智能化的选取对应的光照模式，使环境以及目标对象的灯光效果更佳，适宜拍摄或识别，提高智能灯光设备的灯光效果
上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1为本公开一实施例提供的调节智能灯光设备灯光的方法流程示意图；
图2为本公开一实施例提供的卷积神经网络分类器模型示意图；
图3为本公开另一实施例提供的调节智能灯光设备灯光的装置示意图；
图4为本公开另一实施例提供的电子设备的结构示意图。
具体实施方式
为了能够更清楚地描述本公开的技术内容，下面结合具体实施例来进行进一步的描述。
以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而 且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。下面参考附图详细描述公开的各实施方式。
基于本公开实施例的技术方案，解决了下述技术问题：
如何不依靠大量的人力频繁调整灯光设备，以更高的效率、更低的成本选择合适的光照模型，以达到预期的打光效果，从而实现不同脸型对应不同数量&位置&亮度的灯光，不同的音色&不同的情绪&不同的语音&不同的肢体动作&人和物的不同景深层级，来实现电影级的灯光效果，最终获得合适的画面效果。
同时，机器人进行目标识别时，如何给目标物打光，让机器人获得更准确的识别率？
图1为本公开实施例提供的调节智能设备灯光的方法的流程示意图，本实施例提供的方法可以由一电子设备或机器人及其控制装置来执行，该装置可以实现为软件，或者实现为软件和硬件的组合，该装置可以集成设置在控制系统中的某设备中，比如终端设备中。如图1所示，该方法包括如下步骤：
步骤S101：通过卷积神经网络分类器对智能灯光设备生成的光照模式进行分类。
在步骤S101中，本公开实施例中，本公开实施例中，家庭中、办公区或公共场合中的智能设备是联网的，且与服务器通过网线、Wifi或蓝牙连接。服务器可以通过网络或智能连接获取所述智能设备的各种数据，包括设备的状态和位置，以及智能设备的服务模式、各种可调节参数等。服务器可以通过网络获取机器人的GPS定位信息，以及获取智能设备的位置。机器人与环境中的各智能灯光设备是通过网络进行连接，智能灯光设备包括不限于：智能电视，智能灯，智能LED灯，智能吸顶灯，智能夜灯，智能床头灯，智能台灯，智能挂灯，手机，智能音响等，以上智能灯光设备仅是作为示例，不限于此。例如机器人可以是轮式仿真机器人、扫地机器人、智能音箱、自动售货机、各种智能交互设备等，还可以是无人机、智能汽车、平衡车等。可选的，智能灯光设备配置Wi-Fi/蓝牙/蓝牙MESH/UVW/超声波/红外等传感器和通信技术，可实现和机器人/智能灯光设备进行通信。智能灯光设备还包括：智能遮光和/或反光设备，包括不限于：智能遮光布，智能遮光板等。智能灯光设备形态包括不限于：固定位置不可转动同时可移动的，固定位置可自身转动，可移动位置，可移动位置同时可上下调整高度，可移动位置同时可上下调整高度同时可左右转动朝向等。智能灯光设备参数设置包括不限于：调节设备位置，调节设备角度，调节设备高低，调整光的颜色，调整亮度，调节色温，流光等等。
具体的，所述通过卷积神经网络分类器对智能灯光设备生成的光照模式进行分类，包括：在所述卷积神经网络分类器中将所述环境图像与分类标记的光照模式对应的标准图像进行比对；通过图像参数计算所述环境图像与所述标准图像的参数相似度；将所述参数相似度大于第一阈值的环境图像标记为所述标准图像对应的光照模式，并记录被标记的环境图像的图像ID。其中，所述环境图像的图像ID根据所述机器人拍摄时的灯光参数的不同而对应不同的光照模式。
结合附图2，该图示出了本公开一实施例提供的卷积神经网络分类器模型示意图，如图所示，在卷积神经网络分类器(模型)中，每个环境图像对应一个图像ID，如图中的图像ID1、图像ID2、…、图像Idn，每个图像ID具有多个光照模式，如图中的光照模式1、光照模式2、……、光照模式N，同时，不同的图像ID可能都具有同一光照模式，如图像ID1和图像ID3都具有“伦勃朗光”效果的光照模式。每一光照模式对应每一智能灯光设备的设备参数设置，如图中的光照模式1对应设备参数设置1、光照模式2对应设备参数设置2、……、光照模式N对应设备参数设置N。其中，在卷积神经网络分类器(模型)中，光照模式对应的图片ID为基准图片，通过环境图像与所述基准图片进行比对，选择对应相似度高于一定阈值的基准图像，根据所述基准图像选取光照模式，并根据光照模式对应的设备参数设置作为智能灯光设备的最终调整目标。在该训练模型中，也可把每个智能灯光设备分别打光进行拍照，然后排列组合分别合成不同的合成图，从而记录合成图的设备参数设置。其中合成图达到模式效果的可对应基准图片对应的图片ID。
本实施例中，卷积神经网络分类器通过深度学习算法模型进行分类，该模型包括：被摄体所获得光源颜色亮度，光源位置，不同的人对应不同的场景，打光的位置和光源亮度/色彩，对应的描述关键词和使用场景，例如：目标人物A特写场景时，受光面使用1个主光源红色2000流明，被光面使用1个辅助光源蓝色500流明，进行环形布光，可以获得戏剧效果；目标人物B 半身像场景时，使用1个主光源和1个遮光板，进行伦勃朗布光，可以获得反差效果。
本公开实施例中，光照模型包括：平光/面光模式、派拉蒙布光(蝴蝶光)模式、环形布光模式、伦勃朗布光模式、影像相连布光模式、分割布光(一侧光影)模式、显宽光模式、显瘦光模式等等。
具体的：
a)平光/面光模式：光源置于相机旁边，正对被拍对象。这种模式表现平淡，不会让拍摄看起来更有深度，但可以表现出干净简单的画面。
b)派拉蒙布光(蝴蝶光)模式：光源置于相机之上，让它可以从高处俯视被拍者。当光源从上面打下来时，会在鼻子下面形成阴影，看起来像蝴蝶形状。这种布光模式让被摄者在镜头中看起来很有范儿，会制造出面颊与下巴的阴影，因此会更突出两颊颧骨，并且让面孔看起来更瘦、下巴更尖，能提升对象的魅力。
c)环形布光模式：在派拉蒙光基础上，光源要稍稍高于眼水平及30-40度于相机(根据个别面孔情况)，依然是让光从上面打下来投射到被拍者脸上。它会在被拍者脸部脖子稍低一点位置上留下阴影，鼻子的投影并不会与面颊阴影相连，而是稍稍朝向下，同时光源也没有过高，以致失去眼神光，这可以创造更多戏剧效果。
d)伦勃朗布光模式：将光源放在高处，被拍摄者45-60度的位置，它在被拍者脸部一边形成了一个小三角。这样可以得到高度对比效果的画面，并且可以用这个角度来表达被拍摄者正在经历人生中最灰暗的时期。如果伦勃朗光对你来说太暗了，可以增加一个反光板来弱化阴影。与环形布光不同，鼻子与面颊的影子是相连的，不过更重要是阴影那边的眼睛，依然有眼神光，以保持炯炯有神的面貌，并且照片也具戏剧感。
e)影像相连模式：拍摄时对象要稍稍转离光源，当然光源位置也需高过头部，让鼻子的影与面颊的影相连。不过并非所有人都适合这种布光方式，颧骨较大的人会比较理想，而鼻梁不够高的人则较难布光。
f)分割布光(一侧光影)模式：光源以90度置于对象的左边或右边，可稍稍移前或后，以迁就不同面形。布光须跟随对象的面孔而改变，头部转向的时候，灯光也应跟随。该模式下面孔一分为二，一边亮，一边暗，会制造出较强烈的戏剧感，适合个性或气质较强的人物例如艺术家、音乐家等，当然阳刚味也会较重。也可以用来表现被拍者隐藏的秘密或者不为人知的阴暗面。
g)显宽光模式：这不是一种特定布光设定，而是一种风格，不论分割、环形或伦勃朗都可以用。方法其实很简单，就是让受光的那一边面转向镜头，于是受光的面会看起来较宽阔，然后面部整体看来都较大较阔，适合面形瘦削的人。
h)显瘦光模式：与显宽光正好相反，较暗的那一面朝向镜头，这样面部看起来尖削一点，而且更有立体感与气氛。
步骤S102：通过机器人获取环境图像，并根据所述环境图像与所述智能灯光设备构建数字孪生场景。
在步骤S102中，本公开中，其中机器人上设置有视觉传感器，例如图像摄像头、深度摄像头、激光雷达和/或超声波，等等，其中图像摄像头用于拍照或摄像，实时采集机器人想要采集的环境图像或目标图像。机器人与环境中的各智能灯光设备是通过网络进行连接。例如机器人可以是轮式仿真机器人、扫地机器人、智能音箱、自动售货机、各种智能交互设备等，还可以是无人机、智能汽车、平衡车等。通过所述机器人的视觉传感器，可以采集机器人所处环境的环境图像，同时可以识别所述图像中的目标物。
具体的，所述通过机器人获取环境图像，并根据所述环境图像与所述智能灯光设备构建数字孪生场景，包括：通过机器人的视觉传感器拍摄环境图像；识别所述环境图像中的智能灯光设备；建立所述数字孪生场景中所述智能灯光设备与现实场景中所述智能灯光设备的映射关系；根据环境图像和所述智能灯光设备的映射关系构建数字孪生场景。
步骤S103：将所述环境图像输入所述卷积神经网络分类器，并获取所述 环境图像对应的多个光照模式。
在步骤S103中，本公开实施例中，在深度学习算法模型中输入一段未录入的电影/摄像中镜头进行检测，输出一个照明模式，模式包括：不同的人对应不同的场景，打光的位置和光源亮度和颜色，以及对应的模式描述关键词，例如阿凡达模式。
具体的，所述将所述环境图像输入所述卷积神经网络分类器，并获取所述环境图像对应的多个光照模式，包括：将所述机器人获取的环境图像输入所述卷积神经网络分类器；识别所述环境图像，获取所述环境图像对应的图像ID；根据所述图像ID获取所述环境图像对应的多个光照模式。
步骤S104：接收所述环境图像的光照模式的选择指令。
在步骤S104中，本公开实施例中，机器人配置智能相机、激光雷达和/或深度摄像头，通过激光雷达和深度摄像头获取场景中每个目标物体或人物的面积和3D形状。其中，光照模式的选择指令，可以通过输入或识别获取用户的光照模式选择指令，具体包括：通过按键输入和/或触屏输入获取用户的光照模式选择指令；或者，通过语音识别、手势识别、动作识别和/或表情识别获取用户的光照模式选择指令。
具体的：
1.自动控制方式一：通过图像识别脸型或情绪来调整灯光：
a)摄像机位置有个深度摄像头和激光雷达，实时捕捉五官面部表情，肢体动作和手势的变化；
b)输入深度学习的模型；
c)根据深度学习的模型，调整灯光的变化(变化范围可配置)。
2.自动控制方式二：通过音色，或者话语中的情绪：
a)至少一个麦克风，实时获取人的语音；
b)输入深度学习的模型，包括对应的话语中的情绪来调整显示不同的光。
3.手动控制方式一：数字孪生
a)通过目标人或物前方的摄像头和/或深度摄像头，获取周围智能设备所 在位置，映射到数字孪生的场景中；
b)或者，摄像头和智能设备通过UWB/超声波，感知对方位置，映射到数字孪生的场景中；
c)在数字孪生的三维空间中，可以看到机器人/智能设备/人所在位置，在屏幕上点击拖拽调整智能设备，可以调整智能设备的光源&遮光板的位置，来控制光线；或者，点击屏幕中被拍摄目标周围的光线区域，进行联动调节多个灯光亮度和位置。
4.手动控制方式二：物联网
a)通过语音/屏幕等屏幕媒介，把智能窗帘拉上，遮光板把自然光窗户挡着，利用聚光灯束光。
5.手动控制方式二：语音输入
a)深度学习模型中，灯光效果对应多种语音的表达。
b)语音输入，我要“伦勃朗光”的效果，我要“酷”的效果，我要“苹果发布会”的效果。
6.按键输入控制：
通过在机器人或终端设备上设置照明模式按键，用户可通过该按键进行输入选择，生成选择指令。
7.触屏输入控制：
通过在机器人或终端设备上设置照明模式触屏按键或区域，用户可通过该触屏按键或区域进行触屏选择，生成选择指令。
步骤S105：根据所述选择指令获取所述光照模式对应的所述智能灯光设备的参数设置。
在步骤S105中，本公开实施例中，每一照明模式对应至少一个智能灯光设备的参数设置。
具体的，所述根据所述选择指令获取所述光照模式对应的所述智能灯光设备的参数设置，包括：通过输入或识别获取用户的光照模式选择指令；根据所述智能灯光设备的灯光参数之间的映射关系获取所述光照模式对应的参 数设置；获取所述参数设置的可调节范围。
本公开实施例中，用于拍摄的摄像头为可调节摄像头，参数包括不限于：ISO，Shutter,EV，光圈，焦距，内侧光流明，摄像头上设置光源设备，摄像头的位置，照射流明可调节。
本公开实施例中，可调节智能光源参数可调节包括但不限于：光源的开启关闭/投射范围/角度/亮度和色彩，数字孪生世界中，开启智能光源得到流明，打向被摄体，得到照亮(或者影响的区域)的面积，获得被摄体表面的受光程度，以单位面积所接受的光通量来表示，E表示照度，S表示面积，F表示光通量，即E(照度)＝F(流明)/S(平方米)
可选的，可调节物体的材质/反光率和物理属性可记录并选择。
根据环境图像，在真实世界中，有一个智能测光表，在被摄体位置朝向光源，获得照度值。根据光比数值调节其他灯的亮度，同时相应的参数也在虚拟场景中可调节，可模拟光源投射到物体上的明暗阶梯对应的受光面积。
步骤S106：根据所述参数设置在所述数字孪生场景中对所述智能灯光设备进行参数调整。
在步骤S106中，本公开实施例中，对智能灯光设备进行参数调整包括但不限于：对所述智能灯光设备进行位置调整、角度调整、高低调整、光的颜色调整、亮度调整、色温调整、光比调整和/或流光调整。
其中，关于光比调整，控制光比，光比大小决定画面的明暗、反差，形成不同的影调色彩形式和不同的造型效果和艺术气氛。光比测量包括不限于：
a)在同一景物中，不同光源之间的照度值之比，或者同一反光率物体表面的受光部分与阴影、投影部分的亮度值之比
b)景物中相邻部位在同一光源照射下不同反光率表面之间亮与暗度值之比，例如景物中人物与背景，人脸与服装等。
c)景物中最高亮度与最低亮度部位之间的亮度值或者照度值之比。
具体的，所述对所述智能灯光设备进行参数调整，包括：对所述智能灯光设备进行位置调整、角度调整、高低调整、光的颜色调整、亮度调整、色 温调整、光比调整和/或流光调整。
另外，在所述接收所述环境图像的光照模式的选择指令的步骤之前，所述方法还包括：建立所述光照模式与所述智能灯光设备的灯光参数之间的对应关系；根据所述对应关系生成所述智能灯光设备的控制指令。
此外，所述调节智能灯光设备的方法还包括：将所述数字孪生场景中对所述智能灯光设备进行参数调整映射至现实场景中所述智能灯光设备的参数调整。
此外，所述调节智能灯光设备的方法还包括：识别所述机器人获取的环境图像中的目标对象；根据选择的光照模式对所述目标对象进行打光和布光调整。
图3为本公开另一实施例提供的一种调节智能灯光设备的装置示意图。该机器人与智能设备交互的装置包括：分类模块301、场景构建模块302、光照模式获取模块303、指令模块304、参数获取模块305和调整模块306。其中：
所述分类模块301，用于通过卷积神经网络分类器对智能灯光设备生成的光照模式进行分类。
具体的，所述分类模块，具体用于：在所述卷积神经网络分类器中将所述环境图像与分类标记的光照模式对应的标准图像进行比对；通过图像参数计算所述环境图像与所述标准图像的参数相似度；将所述参数相似度大于第一阈值的环境图像标记为所述标准图像对应的光照模式，并记录被标记的环境图像的图像ID。其中，所述环境图像的图像ID根据所述机器人拍摄时的灯光参数的不同而对应不同的光照模式。
所述场景构建模块302，用于通过机器人获取环境图像，并根据所述环境图像与所述智能灯光设备构建数字孪生场景。
本公开实施例中，机器人上设置有视觉传感器，例如图像摄像头、深度摄像头、激光雷达和/或超声波，等等，其中图像摄像头用于拍照或摄像，实时采集机器人想要采集的环境图像或目标图像。机器人与环境中的各智能灯 光设备是通过网络进行连接。例如机器人可以是轮式仿真机器人、扫地机器人、智能音箱、自动售货机、各种智能交互设备等，还可以是无人机、智能汽车、平衡车等。通过所述机器人的视觉传感器，可以采集机器人所处环境的环境图像，同时可以识别所述图像中的目标物。
所述场景构建模块，具体用于包括：通过机器人的视觉传感器拍摄环境图像；识别所述环境图像中的智能灯光设备；建立所述数字孪生场景中所述智能灯光设备与现实场景中所述智能灯光设备的映射关系；根据环境图像和所述智能灯光设备的映射关系构建数字孪生场景。
所述光照模式获取模块303，用于将所述环境图像输入所述卷积神经网络分类器，并获取所述环境图像对应的多个光照模式。
本公开实施例中，在深度学习算法模型中输入一段未录入的电影/摄像中镜头进行检测，输出一个照明模式，模式包括：不同的人对应不同的场景，打光的位置和光源亮度和颜色，以及对应的模式描述关键词，例如阿凡达模式。
具体的，所述光照模式获取模块，具体用于：将所述机器人获取的环境图像输入所述卷积神经网络分类器；识别所述环境图像，获取所述环境图像对应的图像ID；根据所述图像ID获取所述环境图像对应的多个光照模式。
所述指令模块304，用于接收所述环境图像的光照模式的选择指令。
所述指令模块中，所述选择指令通过输入或识别获取，具体包括：通过按键输入和/或触屏输入获取用户的光照模式选择指令；或者，通过语音识别、手势识别、动作识别和/或表情识别获取用户的光照模式选择指令。
所述参数获取模块305，用于根据所述选择指令获取所述光照模式对应的所述智能灯光设备的参数设置。
具体的，所述参数获取模块，具体用于：通过输入或识别获取用户的光照模式选择指令；根据所述智能灯光设备的灯光参数之间的映射关系获取所述光照模式对应的参数设置；获取所述参数设置的可调节范围。
所述调整模块306，用于根据所述参数设置在所述数字孪生场景中对所 述智能灯光设备进行参数调整。
具体的，所调整模块，具体用于：对所述智能灯光设备进行位置调整、角度调整、高低调整、光的颜色调整、亮度调整、色温调整、光比调整和/或流光调整。
此外，所述装置还包括：
映射模块，用于将所述数字孪生场景中对所述智能灯光设备进行参数调整映射至现实场景中所述智能灯光设备的参数调整。
此外，所述装置还包括：
关系建立模块，用于建立所述光照模式与所述智能灯光设备的灯光参数之间的对应关系；
指令生成模块，用于根据所述对应关系生成所述智能灯光设备的控制指令。
所述装置还包括：
识别模块，用于识别所述机器人获取的环境图像中的目标对象；
目标光线调整模块，用于根据选择的光照模式对所述目标对象进行打光和布光调整。
图3所示装置可以执行图1所示实施例的方法，本实施例未详细描述的部分，可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述，在此不再赘述。
下面参考图4，其示出了适于用来实现本公开另一实施例的电子设备400的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示，电子设备400可以包括处理装置(例如中央处理器、图形 处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过通信线路404彼此相连。输入/输出(I/O)接口405也连接至通信线路404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM 402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在 本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText Transfer Protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：执行上述实施例中的交互方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执 行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编 程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面中的任一所述方法。
根据本公开的一个或多个实施例，提供了一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行前述第一方面中的任一所述方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (26)

  1. 一种调节智能灯光设备的方法，其特征在于，包括：
    通过卷积神经网络分类器对智能灯光设备生成的光照模式进行分类；
    通过机器人获取环境图像，并根据所述环境图像与所述智能灯光设备构建数字孪生场景；
    将所述环境图像输入所述卷积神经网络分类器，并获取所述环境图像对应的多个光照模式；
    接收所述环境图像的光照模式的选择指令；
    根据所述选择指令获取所述光照模式对应的所述智能灯光设备的参数设置；
    根据所述参数设置在所述数字孪生场景中对所述智能灯光设备进行参数调整。
  2. 根据权利要求1所述的方法，其特征在于，所述通过卷积神经网络分类器对智能灯光设备生成的光照模式进行分类，包括：
    在所述卷积神经网络分类器中将所述环境图像与分类标记的光照模式对应的标准图像进行比对；
    通过图像参数计算所述环境图像与所述标准图像的参数相似度；
    将所述参数相似度大于第一阈值的环境图像标记为所述标准图像对应的光照模式，并记录被标记的环境图像的图像ID。
  3. 根据权利要求2所述的方法，其特征在于，所述环境图像的图像ID根据所述机器人拍摄时的灯光参数的不同而对应不同的光照模式。
  4. 根据权利要求1所述的方法，其特征在于，所述通过机器人获取环境图像，并根据所述环境图像与所述智能灯光设备构建数字孪生场景，包括：
    通过机器人的视觉传感器拍摄环境图像；
    识别所述环境图像中的智能灯光设备；
    建立所述数字孪生场景中所述智能灯光设备与现实场景中所述智能灯光设备的映射关系；
    根据环境图像和所述智能灯光设备的映射关系构建数字孪生场景。
  5. 根据权利要求1至4中任一项所述的方法，其特征在于，所述将所述环境图像输入所述卷积神经网络分类器，并获取所述环境图像对应的多个光照模式，包括：
    将所述机器人获取的环境图像输入所述卷积神经网络分类器；
    识别所述环境图像，获取所述环境图像对应的图像ID；
    根据所述图像ID获取所述环境图像对应的多个光照模式。
  6. 根据权利要求1所述的方法，其特征在于，在所述接收所述环境图像的光照模式的选择指令的步骤之前，所述方法还包括：
    建立所述光照模式与所述智能灯光设备的灯光参数之间的对应关系；
    根据所述对应关系生成所述智能灯光设备的控制指令。
  7. 根据权利要求1或5所述的方法，其特征在于，所述根据所述选择指令获取所述光照模式对应的所述智能灯光设备的参数设置，包括：
    通过输入或识别获取用户的光照模式选择指令；
    根据所述智能灯光设备的灯光参数之间的映射关系获取所述光照模式对应的参数设置；
    获取所述参数设置的可调节范围。
  8. 根据权利要求7所述的方法，其特征在于，所述通过输入或识别获取用户的光照模式选择指令，包括：
    通过按键输入和/或触屏输入获取用户的光照模式选择指令；或者，
    通过语音识别、手势识别、动作识别和/或表情识别获取用户的光照模式选择指令。
  9. 根据权利要求1所述的方法，其特征在于，所述对所述智能灯光设备进行参数调整，包括：
    对所述智能灯光设备进行位置调整、角度调整、高低调整、光的颜色调 整、亮度调整、色温调整、光比调整和/或流光调整。
  10. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    将所述数字孪生场景中对所述智能灯光设备进行参数调整映射至现实场景中所述智能灯光设备的参数调整。
  11. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    识别所述机器人获取的环境图像中的目标对象；
    根据选择的光照模式对所述目标对象进行打光和布光调整。
  12. 一种调节智能灯光设备的装置，其特征在于，包括：
    分类模块，用于通过卷积神经网络分类器对智能灯光设备生成的光照模式进行分类；
    场景构建模块，用于通过机器人获取环境图像，并根据所述环境图像与所述智能灯光设备构建数字孪生场景；
    光照模式获取模块，用于将所述环境图像输入所述卷积神经网络分类器，并获取所述环境图像对应的多个光照模式；
    指令模块，用于接收所述环境图像的光照模式的选择指令；
    参数获取模块，用于根据所述选择指令获取所述光照模式对应的所述智能灯光设备的参数设置；
    调整模块，用于根据所述参数设置在所述数字孪生场景中对所述智能灯光设备进行参数调整。
  13. 根据权利要求12所述的装置，其特征在于，所述分类模块，用于包括：
    在所述卷积神经网络分类器中将所述环境图像与分类标记的光照模式对应的标准图像进行比对；
    通过图像参数计算所述环境图像与所述标准图像的参数相似度；
    将所述参数相似度大于第一阈值的环境图像标记为所述标准图像对应的光照模式，并记录被标记的环境图像的图像ID。
  14. 根据权利要求13所述的装置，其特征在于，所述环境图像的图像 ID根据所述机器人拍摄时的灯光参数的不同而对应不同的光照模式。
  15. 根据权利要求12所述的装置，其特征在于，所述场景构建模块，用于包括：
    通过机器人的视觉传感器拍摄环境图像；
    识别所述环境图像中的智能灯光设备；
    建立所述数字孪生场景中所述智能灯光设备与现实场景中所述智能灯光设备的映射关系；
    根据环境图像和所述智能灯光设备的映射关系构建数字孪生场景。
  16. 根据权利要求12至15中任一项所述的装置，其特征在于，所述光照模式获取模块，用于包括：
    将所述机器人获取的环境图像输入所述卷积神经网络分类器；
    识别所述环境图像，获取所述环境图像对应的图像ID；
    根据所述图像ID获取所述环境图像对应的多个光照模式。
  17. 根据权利要求12所述的装置，其特征在于，所述装置还包括：
    关系建立模块，用于建立所述光照模式与所述智能灯光设备的灯光参数之间的对应关系；
    指令生成模块，用于根据所述对应关系生成所述智能灯光设备的控制指令。
  18. 根据权利要求12或16所述的装置，其特征在于，所述参数获取模块，用于包括：
    通过输入或识别获取用户的光照模式选择指令；
    根据所述智能灯光设备的灯光参数之间的映射关系获取所述光照模式对应的参数设置；
    获取所述参数设置的可调节范围。
  19. 根据权利要求18所述的装置，其特征在于，所述通过输入或识别获取用户的光照模式选择指令，包括：
    通过按键输入和/或触屏输入获取用户的光照模式选择指令；或者，
    通过语音识别、手势识别、动作识别和/或表情识别获取用户的光照模式选择指令。
  20. 根据权利要求12所述的装置，其特征在于，所述调整模块，用于包括：
    对所述智能灯光设备进行位置调整、角度调整、高低调整、光的颜色调整、亮度调整、色温调整、光比调整和/或流光调整。
  21. 根据权利要求12所述的装置，其特征在于，所述装置还包括：
    映射模块，用于将所述数字孪生场景中对所述智能灯光设备进行参数调整映射至现实场景中所述智能灯光设备的参数调整。
  22. 根据权利要求12所述的装置，其特征在于，所述装置还包括：
    识别模块，用于识别所述机器人获取的环境图像中的目标对象；
    目标光线调整模块，用于根据选择的光照模式对所述目标对象进行打光和布光调整。
  23. 一种机器人，包括：
    至少一个存储器，用于存储计算机可读指令；以及
    至少一个处理器，用于运行所述计算机可读指令，使得所述机器人实现根据权利要求1-11中任意一项所述的方法。
  24. 一种电子设备，其特征在于，包括：
    至少一个存储器，用于存储计算机可读指令；以及
    至少一个处理器，用于运行所述计算机可读指令，使得所述电子设备实现根据权利要求1-11中任意一项所述的方法。
  25. 一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行根据权利要求1-11任一项所述调节智能灯光设备的方法的步骤。
  26. 一种计算机程序，包括指令，当其在计算机上运行时，使得计算机执行根据权利要求1-11任一项所述调节智能灯光设备的方法。
PCT/CN2023/072077 2022-01-13 2023-01-13 调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序 WO2023134743A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210039500.0 2022-01-13
CN202210039500.0A CN114364099B (zh) 2022-01-13 2022-01-13 调节智能灯光设备的方法、机器人及电子设备

Publications (1)

Publication Number Publication Date
WO2023134743A1 true WO2023134743A1 (zh) 2023-07-20

Family

ID=81109508

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/072077 WO2023134743A1 (zh) 2022-01-13 2023-01-13 调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序

Country Status (2)

Country Link
CN (1) CN114364099B (zh)
WO (1) WO2023134743A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116963357A (zh) * 2023-09-20 2023-10-27 深圳市靓科光电有限公司 一种灯具的智能配置控制方法、系统及介质
CN117202430A (zh) * 2023-09-20 2023-12-08 浙江炯达能源科技有限公司 用于智慧灯杆的节能控制方法及系统
CN117241445A (zh) * 2023-11-10 2023-12-15 深圳市卡能光电科技有限公司 组合式氛围灯自适应场景的智能调试方法及系统
CN118042689A (zh) * 2024-04-02 2024-05-14 深圳市华电照明有限公司 光学图像识别的灯光控制方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114364099B (zh) * 2022-01-13 2023-07-18 达闼机器人股份有限公司 调节智能灯光设备的方法、机器人及电子设备
CN114913310B (zh) * 2022-06-10 2023-04-07 广州澄源电子科技有限公司 一种led虚拟场景灯光控制方法
CN116073446B (zh) * 2023-03-07 2023-06-02 天津天元海科技开发有限公司 基于灯塔多能源环境集成供电系统的智能供电方法和装置
CN117042253A (zh) * 2023-07-11 2023-11-10 昆山恩都照明有限公司 一种智能led灯具、控制系统和方法
CN117952981B (zh) * 2024-03-27 2024-06-21 常州星宇车灯股份有限公司 一种基于cnn卷积神经网络的智能室内灯检测装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999551A (zh) * 2011-12-14 2014-08-20 皇家飞利浦有限公司 用于控制照明的方法和装置
CN111713181A (zh) * 2017-12-20 2020-09-25 昕诺飞控股有限公司 使用增强现实的照明和物联网设计
CN112492224A (zh) * 2020-11-16 2021-03-12 广州博冠智能科技有限公司 一种用于摄录机的自适应场景补光方法及装置
WO2021244918A1 (en) * 2020-06-04 2021-12-09 Signify Holding B.V. A method of configuring a plurality of parameters of a lighting device
CN113824884A (zh) * 2021-10-20 2021-12-21 深圳市睿联技术股份有限公司 拍摄方法与装置、摄影设备及计算机可读存储介质
CN114364099A (zh) * 2022-01-13 2022-04-15 达闼机器人有限公司 调节智能灯光设备的方法、机器人及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205693941U (zh) * 2016-06-17 2016-11-16 合肥三川自控工程有限责任公司 多功能消防应急照明和疏散灯具及智能控制系统
CN108989539B (zh) * 2017-06-02 2019-07-05 广东夏野日用电器有限公司 一种信息终端
WO2019090503A1 (zh) * 2017-11-08 2019-05-16 深圳传音通讯有限公司 一种智能终端的图像拍摄方法及图像拍摄系统
CN108805919A (zh) * 2018-05-23 2018-11-13 Oppo广东移动通信有限公司 光效处理方法、装置、终端及计算机可读存储介质
CN112804914A (zh) * 2018-09-21 2021-05-14 上海诺基亚贝尔股份有限公司 镜子
US10895977B2 (en) * 2019-04-22 2021-01-19 Forever Gifts, Inc. Smart vanity mirror speaker system
CN110248450B (zh) * 2019-04-30 2021-11-12 广州富港生活智能科技有限公司 一种结合人物进行灯光控制的方法及装置
IT201900011304A1 (it) * 2019-07-10 2021-01-10 Rebernig Supervisioni Srl Metodo di controllo adattativo di illuminazione e Sistema di illuminazione adattativo
CN111741230B (zh) * 2019-11-21 2021-06-29 天津九安医疗电子股份有限公司 一种摄像头
CN111182233B (zh) * 2020-01-03 2021-07-02 宁波方太厨具有限公司 拍摄空间自动补光的控制方法及系统
CN111586941A (zh) * 2020-04-24 2020-08-25 苏州华普物联科技有限公司 一种基于神经网络算法的智能照明控制方法
CN113900384B (zh) * 2021-10-13 2024-06-25 达闼科技（北京）有限公司 机器人与智能设备交互的方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999551A (zh) * 2011-12-14 2014-08-20 皇家飞利浦有限公司 用于控制照明的方法和装置
CN111713181A (zh) * 2017-12-20 2020-09-25 昕诺飞控股有限公司 使用增强现实的照明和物联网设计
WO2021244918A1 (en) * 2020-06-04 2021-12-09 Signify Holding B.V. A method of configuring a plurality of parameters of a lighting device
CN112492224A (zh) * 2020-11-16 2021-03-12 广州博冠智能科技有限公司 一种用于摄录机的自适应场景补光方法及装置
CN113824884A (zh) * 2021-10-20 2021-12-21 深圳市睿联技术股份有限公司 拍摄方法与装置、摄影设备及计算机可读存储介质
CN114364099A (zh) * 2022-01-13 2022-04-15 达闼机器人有限公司 调节智能灯光设备的方法、机器人及电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116963357A (zh) * 2023-09-20 2023-10-27 深圳市靓科光电有限公司 一种灯具的智能配置控制方法、系统及介质
CN116963357B (zh) * 2023-09-20 2023-12-01 深圳市靓科光电有限公司 一种灯具的智能配置控制方法、系统及介质
CN117202430A (zh) * 2023-09-20 2023-12-08 浙江炯达能源科技有限公司 用于智慧灯杆的节能控制方法及系统
CN117202430B (zh) * 2023-09-20 2024-03-19 浙江炯达能源科技有限公司 用于智慧灯杆的节能控制方法及系统
CN117241445A (zh) * 2023-11-10 2023-12-15 深圳市卡能光电科技有限公司 组合式氛围灯自适应场景的智能调试方法及系统
CN117241445B (zh) * 2023-11-10 2024-02-02 深圳市卡能光电科技有限公司 组合式氛围灯自适应场景的智能调试方法及系统
CN118042689A (zh) * 2024-04-02 2024-05-14 深圳市华电照明有限公司 光学图像识别的灯光控制方法及系统
CN118042689B (zh) * 2024-04-02 2024-06-11 深圳市华电照明有限公司 光学图像识别的灯光控制方法及系统

Also Published As

Publication number Publication date
CN114364099B (zh) 2023-07-18
CN114364099A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
WO2023134743A1 (zh) 调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序
US11381778B2 (en) Hybrid texture map to be used during 3D video conferencing
US11829524B2 (en) Moving content between a virtual display and an extended reality environment
US11765332B2 (en) Virtual 3D communications with participant viewpoint adjustment
WO2022227393A1 (zh) 图像拍摄方法及装置、电子设备和计算机可读存储介质
CN112034984B (zh) 一种虚拟模型处理方法、装置、电子设备和存储介质
US20230146178A1 (en) Attention based audio adjustment in virtual environments
CN108701355A (zh) Gpu优化和在线基于单高斯的皮肤似然估计
CN107408003A (zh) 信息处理设备、信息处理方法和程序
JP2005323139A (ja) 会議記録装置、会議記録方法、設計方法およびプログラム
US10261749B1 (en) Audio output for panoramic images
CN109472738A (zh) 图像光照校正方法及装置、电子设备和存储介质
CN109618088A (zh) 具有光照识别与重现功能的智能化拍摄系统及方法
US11830129B2 (en) Object relighting using neural networks
CN115439595A (zh) 一种面向ar的室内场景动态光照在线估计方法与装置
US20230144893A1 (en) Automatic Artificial Reality World Creation
US10816814B2 (en) Imaging device
JP2024518888A (ja) 仮想３ｄ通信のための方法及びシステム
CN115686194A (zh) 一种虚拟影像实时可视化及交互的方法、系统及装置
WO2023086277A1 (en) Automatic artificial reality world creation
CN117424969A (zh) 灯光控制方法、装置、移动终端及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23740084

Country of ref document: EP

Kind code of ref document: A1