WO2022211083A1 - 登録システム、空気調和システム及び登録プログラム - Google Patents

登録システム、空気調和システム及び登録プログラム Download PDF

Info

Publication number
WO2022211083A1
WO2022211083A1 PCT/JP2022/016825 JP2022016825W WO2022211083A1 WO 2022211083 A1 WO2022211083 A1 WO 2022211083A1 JP 2022016825 W JP2022016825 W JP 2022016825W WO 2022211083 A1 WO2022211083 A1 WO 2022211083A1
Authority
WO
WIPO (PCT)
Prior art keywords
user terminal
specific range
unit
real space
information
Prior art date
Application number
PCT/JP2022/016825
Other languages
English (en)
French (fr)
Inventor
亜光 魏
雄一 村井
Original Assignee
ダイキン工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ダイキン工業株式会社 filed Critical ダイキン工業株式会社
Priority to US18/550,014 priority Critical patent/US20240175597A1/en
Priority to EP22781292.2A priority patent/EP4319183A1/en
Priority to CN202280023032.6A priority patent/CN117044225A/zh
Publication of WO2022211083A1 publication Critical patent/WO2022211083A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • F24F11/52Indication arrangements, e.g. displays
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • F24F11/52Indication arrangements, e.g. displays
    • F24F11/526Indication arrangements, e.g. displays giving audible indications
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • F24F11/54Control or safety arrangements characterised by user interfaces or communication using one central controller connected to several sub-controllers
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • F24F11/56Remote control
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63Electronic processing
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/70Control systems characterised by their outputs; Constructional details thereof
    • F24F11/72Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure
    • F24F11/79Control systems characterised by their outputs; Constructional details thereof for controlling the supply of treated air, e.g. its pressure for controlling the direction of the supplied air
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00Control inputs relating to users or occupants
    • F24F2120/10Occupancy

Definitions

  • This disclosure relates to a registration system, an air conditioning system, and a registration program.
  • Patent Literature 1 describes an air conditioning system that controls the amount and direction of airflow so that the air to be blown does not hit a specific area where a user holding a portable transmitter exists in real space. disclosed.
  • the present disclosure provides a registration system, an air conditioning system, and a registration program for registering a specific range to be controlled in real space.
  • a first aspect of the present disclosure includes: A registration system having a control unit and a storage unit, The control unit A specific range in the real space determined based on the position information of the user terminal in the real space and the content of the operation on the user terminal is registered in the storage unit.
  • a second aspect of the present disclosure is the registration system according to the first aspect,
  • the control unit A specific range in the real space is determined based on the trajectory of the position information of the user terminal when a movement operation is performed on the user terminal, and registered in the storage unit.
  • a third aspect of the present disclosure is the registration system according to the first aspect,
  • the user terminal is capable of accepting an instruction operation
  • the control unit A peripheral range based on the position information of the user terminal when the user terminal receives the instruction operation is determined as the specific range and registered in the storage unit.
  • a fourth aspect of the present disclosure is the registration system according to the first aspect,
  • the user terminal is capable of accepting an instruction operation,
  • the control unit A peripheral range based on the position information in the real space of the object identified by the user terminal receiving the instruction operation is determined as the specific range in the real space and registered in the storage unit.
  • a fifth aspect of the present disclosure is the registration system according to the fourth aspect,
  • the user terminal is capable of accepting a selection instruction operation,
  • the control unit determining, as the specific range in the real space, a peripheral range based on the position information in the real space of the part of the object specified by the user terminal receiving the selection instruction operation, and storing the peripheral range in the storage unit; sign up.
  • a sixth aspect of the present disclosure is the registration system according to the first aspect,
  • the user terminal is capable of accepting a setting operation
  • the control unit A size or shape of the specific range is determined based on a setting operation received by the user terminal.
  • a seventh aspect of the present disclosure is the registration system according to the sixth aspect,
  • the user terminal is capable of accepting a setting operation
  • the control unit Position information of the user terminal when the user terminal receives the start point setting operation, or position information used as a reference when determining the specific range, and when the user terminal receives the end point setting operation
  • the size of the specific range is determined based on the location information of the user terminal.
  • An eighth aspect of the present disclosure is the registration system according to the fourth aspect,
  • the user terminal is an imaging device; a display device for displaying an image captured by the imaging device;
  • the control unit of the user terminal An object included in the image is specified as the target object.
  • a ninth aspect of the present disclosure is the registration system according to the fourth aspect,
  • the user terminal is an imaging device; a display device that displays an image captured by the imaging device on a screen and allows pointing to a position on the screen where the image is displayed;
  • the control unit of the user terminal Among a plurality of objects included in the image, an object at the pointed position is specified as the target object.
  • a tenth aspect of the present disclosure is the registration system according to the first aspect,
  • the user terminal is having a display device for displaying an image,
  • the control unit of the user terminal An image showing the specific range is superimposed on the image and displayed on the display device.
  • An eleventh aspect of the present disclosure is the registration system according to the tenth aspect,
  • the user terminal is having an imaging device,
  • the control unit of the user terminal A three-dimensional image representing the specific range, which is generated based on position information and posture information of the user terminal in real space, is superimposed on the image captured by the imaging device and displayed.
  • a twelfth aspect of the present disclosure is the registration system according to the first aspect,
  • the user terminal has an output device,
  • the output device notifies a stimulus when the user terminal is positioned in a specific range in the real space.
  • a thirteenth aspect of the present disclosure is the registration system according to the first aspect,
  • the user terminal has an output device,
  • the output device notifies different stimuli according to the positional relationship between the specific range in the real space and the user terminal.
  • a fourteenth aspect of the present disclosure is the registration system according to the fourth aspect,
  • the user terminal has an output device, When the user terminal is located in a specific range in the real space, the output device Notifying a different stimulus depending on whether the specific range is determined by the position information of the object in the real space, or When the specific range is determined by the position information of the object in the real space, different stimuli are notified depending on whether the object is a person.
  • a fifteenth aspect of the present disclosure is the registration system according to the first aspect,
  • the user terminal has a sensor,
  • the control unit of the user terminal By collating the shape data of the real space with the data measured by the sensor, the position information of the user terminal in the real space is calculated.
  • a sixteenth aspect of the present disclosure is the registration system according to the fifteenth aspect, the sensor is an imaging device, The control unit of the user terminal, Positional information of the user terminal in the real space is calculated by collating the three-dimensional data in the real space with a map generated from the captured image captured by the imaging device.
  • a seventeenth aspect of the present disclosure is the registration system according to the first aspect,
  • the control unit Positional information of the user terminal in real space is calculated based on data measured by a three-dimensional position measuring sensor installed in the real space.
  • An eighteenth aspect of the present disclosure is the registration system according to the seventeenth aspect,
  • the three-dimensional position measurement sensor is composed of a plurality of imaging devices with different mounting positions,
  • the control unit Positional information of the user terminal in real space is calculated by matching captured images captured by each of the plurality of imaging devices.
  • a nineteenth aspect of the present disclosure is the registration system according to the first aspect,
  • the control unit Positional information of the user terminal in the real space is calculated by matching data measured by the sensor of the user terminal with data measured by the sensor installed in the real space.
  • a twentieth aspect of the present disclosure is the registration system according to the first aspect,
  • the user terminal is capable of accepting an air conditioning instruction operation
  • the control unit When the user terminal receives an air-conditioning instruction operation, air-conditioning control is performed for a specific range within the real space registered in the storage unit.
  • a twenty-first aspect of the present disclosure is the registration system according to the twentieth aspect,
  • the control unit By using a plurality of air conditioners attached to the real space, different air conditioning controls are performed for a specific range in the real space registered in the storage unit and a non-specific range other than the specific range.
  • the air conditioning system according to the twenty-second aspect of the present disclosure includes A registration system according to any of the first to twenty-first aspects.
  • the registration program includes: a registration step of registering, in a storage unit, a specific range in the real space determined based on the position information of the user terminal in the real space and the operation content of the user terminal; is executed by the control unit.
  • FIG. 1 is a diagram showing an example of the system configuration of an air conditioning system.
  • FIG. 2 is a diagram showing an example of a real space to which the air conditioning system is applied.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of a control device and a hardware configuration of a user terminal;
  • FIG. 4 is a diagram showing an example of operation modes of the air conditioning system and an operation screen.
  • Drawing 5 is a figure showing an example of functional composition of a control device in a specific mode of operation.
  • FIG. 6 is a first diagram showing a specific example of the functional configuration of the specific range input unit and specific range determination processing.
  • FIG. 7 is a second diagram showing a specific example of the functional configuration of the specific range input unit and specific range determination processing.
  • FIG. 1 is a diagram showing an example of the system configuration of an air conditioning system.
  • FIG. 2 is a diagram showing an example of a real space to which the air conditioning system is applied.
  • FIG. 3 is a diagram illustrating an
  • FIG. 8 is a third diagram showing a specific example of the functional configuration of the specific range input unit and specific range determination processing.
  • FIG. 9 is a fourth diagram showing a functional configuration of the specific range input unit and a specific example of specific range determination processing.
  • FIG. 10 is a fifth diagram showing a specific example of the functional configuration of the specific range input unit and specific range determination processing.
  • FIG. 11 is a sixth diagram showing a specific example of the functional configuration of the specific range input unit and specific range determination processing.
  • FIG. 12 is a diagram illustrating a functional configuration of a specific range input unit and a specific example of specific range deletion processing.
  • FIG. 13 is a diagram illustrating a functional configuration of a specific range input unit and a specific example of specific range movement processing.
  • FIG. 14 is a diagram showing a specific example of the functional configuration of the specific range input unit and the driving information input process.
  • FIG. 15 is a diagram showing a specific example of the functional configuration of the specific range input unit and the driving information reversing process.
  • FIG. 16 is a first diagram showing a functional configuration of a specific range output unit and a specific example of specific range output processing.
  • FIG. 17 is a first flowchart showing the flow of specific range registration processing in the specific operation mode.
  • FIG. 18 is a second flowchart showing the flow of specific range registration processing in the specific operation mode.
  • FIG. 19 is a diagram showing an example of air conditioning control by an air conditioning system.
  • FIG. 20 is a diagram illustrating an example of functional configurations of a control device and a user terminal in a specific operation mode; FIG.
  • FIG. 21 is a diagram illustrating a specific example of the functional configuration of the transmission unit and the specific range output unit and specific range display processing.
  • FIG. 22 is a second diagram illustrating a functional configuration of the specific range output unit and a specific example of specific range output processing.
  • FIG. 23 is a diagram illustrating a calculation example of coordinate information indicating the position of a user terminal in real space.
  • FIG. 24 is a diagram illustrating an example of a functional configuration of a user terminal; 25 is a diagram illustrating an example of a functional configuration of a specific range input unit;
  • FIG. 26 is a first diagram showing a specific example of center position determination processing.
  • FIG. 27 is a second diagram showing a specific example of center position determination processing.
  • FIG. 28 is a third diagram showing a specific example of center position determination processing.
  • FIG. 29 is a fourth diagram showing a specific example of center position determination processing.
  • FIG. 1 is a diagram showing an example of the system configuration of an air conditioning system.
  • the air conditioning system 100 has an air conditioning device 110, an imaging device 120, a display device 130, and a user terminal 140.
  • the air conditioner 110 and the user terminal 140 are connected via wireless communication.
  • the air conditioner 110 includes, for example, an indoor unit 111 of a domestic air conditioner, an indoor unit 112a of a commercial air conditioner, an edge device 112b (control device), an operation panel 112c, and the like.
  • the indoor unit 111 performs air conditioning control of the real space. Specifically, the indoor unit 111 - Various instructions and various information transmitted from the user terminal 140 via wireless communication, - A photographed image (for example, an RGB image) transmitted from the imaging device 120, - Data measured by the sensor of the indoor unit 111, Based on this, the built-in control device operates to control air conditioning in the real space. Note that the indoor unit 111 may incorporate the imaging device 120 . In addition, the indoor unit 111 transmits various information generated by the operation of the built-in control device to the user terminal 140 or the display device 130 via wireless communication.
  • the indoor unit 112a controls the air conditioning of the real space.
  • the indoor unit 112a - Various instructions and various information transmitted from the operation panel 112c or transmitted from the user terminal 140 via wireless communication, - A photographed image transmitted from the imaging device 120, - data measured by the sensor of the indoor unit 112a, , the edge device 112b (control device) operates to control the air conditioning of the real space.
  • the indoor unit 112a transmits various information generated by the operation of the edge device 112b to the user terminal 140 or the display device 130 via wireless communication.
  • the operation panel 112 c may function as the display device 130 .
  • a control device built into the indoor unit 111, and - An edge device 112b connected to the indoor unit 112a can perform air conditioning control for a specific range in the real space, which is different from that for a non-specific range (a range other than the specific range).
  • the imaging device 120 includes, for example, an indoor security camera 121, a surveillance camera 122, and the like.
  • the security camera 121, the surveillance camera 122, and the like photograph the inside of the real space in which the indoor unit 111 of the home air conditioner is installed and the inside of the real space in which the indoor unit 112a of the commercial air conditioner is installed. is transmitted to the air conditioner 110 .
  • the display device 130 includes, for example, a monitor 131 and the like.
  • the monitor 131 and the like are installed in the real space where the indoor unit 111 of the home air conditioner is installed or in the real space where the indoor unit 112a of the commercial air conditioner is installed. Also, the monitor 131 and the like display a display image generated by the control device built in the indoor unit 111 or the edge device 112b connected to the indoor unit 112a.
  • the user terminal 140 includes, for example, a smartphone 141, a remote controller 142 for a home air conditioner, a wearable device (not shown), and the like.
  • a smartphone 141 , a remote controller 142 , a wearable device (not shown), or the like is held (or worn) by a user in real space, and transmits various instructions and various information input by the user to the air conditioner 110 . This allows the user to register a specific range in real space via the user terminal 140 .
  • the smartphone 141, the remote control 142, the wearable device (not shown), etc. notify the user of the registered specific range based on various information transmitted from the air conditioner 110. Thereby, the user can grasp through the user terminal 140 which range is registered as the specific range in the real space.
  • FIG. 2 is a diagram showing an example of a real space to which the air conditioning system is applied.
  • the real space 210 is the room of the user 211 .
  • An air conditioning system 100 applied to a real space 210 has an indoor unit 111 with an imaging device 120 built therein and a smartphone 141 .
  • a control device (not shown) of the indoor unit 111 identifies each position in the real space 210 by coordinate information based on the coordinate axis 212 .
  • the real space 220 is the office of users 221 and 222 .
  • the air conditioning system 100 applied to the real space 220 has an indoor unit 112a, an edge device 112b (not shown), an operation panel 112c, a security camera 121, a monitor 131, and a smart phone 141.
  • the edge device 112 b (not shown) identifies each position in the real space 220 by coordinate information based on the coordinate axis 223 .
  • FIG. 3 is a diagram showing an example of the hardware configuration of the control device and the hardware configuration of the user terminal.
  • FIG. 3 shows an example of the hardware configuration of the control device of the air conditioner 110 .
  • the control device of the air conditioner 110 has a processor 301, a memory 302, and an auxiliary storage device 303.
  • the control device of the air conditioner 110 also has an I/F (Interface) device 304 and a communication device 305 . It should be noted that each piece of hardware of the controller of the air conditioner 110 is interconnected via a bus 306 .
  • the processor 301 has various computing devices such as a CPU (Central Processing Unit).
  • the processor 301 reads various programs (for example, a registration program to be described later) onto the memory 302 and executes them.
  • programs for example, a registration program to be described later
  • the memory 302 has main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 301 and the memory 302 form a so-called computer (a “control unit” as hardware), and the processor 301 executes various programs read on the memory 302, thereby the control device of the air conditioner 110 , realize various functions.
  • the auxiliary storage device 303 is an example of a storage unit, and stores various programs and various data used when the various programs are executed by the processor 301 .
  • the I/F device 304 is a connection device that connects the control device of the air conditioner 110 and other devices.
  • Other devices in this embodiment include an imaging device 120 and a display device 130 .
  • the other device includes the radio wave transmitting/receiving device 310, which is an example of the sensor included in the indoor unit 111 of the air conditioner 110 or the sensor included in the indoor unit 112a.
  • the radio wave transmitting/receiving device 310 is, for example, a TOF depth sensor (an example of a three-dimensional position measurement sensor) that acquires radio wave information (a reflected signal of laser light) by scanning the real space with laser light.
  • Coordinate information (a so-called depth map) indicating the positions of multiple objects in the real space 210 or 220 is calculated by using the radio wave information in any direction in the real space 210 or 220 acquired by the radio wave transmitting/receiving device 310. be able to.
  • the communication device 305 is a communication device that transmits and receives information between the control device of the air conditioner 110 and the user terminal 140 .
  • FIG. 3 shows an example of the hardware configuration of the user terminal 140.
  • the user terminal 140 has a processor 321, a memory 322, an auxiliary storage device 323, a communication device 324, an operation device 325, and a display device 326.
  • the user terminal 140 also has an imaging device 327 , an acceleration sensor 328 , an audio input device 329 , an audio output device 330 and a vibration device 331 .
  • Each piece of hardware of the user terminal 140 is interconnected via a bus 332 .
  • the processor 321 has various computing devices such as a CPU (Central Processing Unit).
  • the processor 321 reads various programs (for example, an air conditioning operation program to be described later) onto the memory 322 and executes them.
  • programs for example, an air conditioning operation program to be described later
  • the memory 322 has main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 321 and the memory 322 form a so-called computer (a “controller” as hardware), and the processor 321 executes various programs read on the memory 322, thereby allowing the user terminal 140 to perform various functions. come true.
  • the auxiliary storage device 323 stores various programs and various data used when the various programs are executed by the processor 321 .
  • the communication device 324 is a communication device that transmits and receives information between the user terminal 140 and the controller of the air conditioner 110 .
  • the operation device 325 receives various instructions from the users 211, 221, 222, etc. to the user terminal 140.
  • Display device 326 displays a display image based on various information transmitted from the control device of air conditioner 110 .
  • the image capturing device 327 captures images of the real spaces 210 and 220, for example.
  • the acceleration sensor 328 measures the acceleration of the user terminal 140 in three axial directions.
  • the voice input device 329 inputs voices of the users 211, 221, 222, and the like.
  • the audio output device 330 outputs sounds based on various information transmitted from the control device of the air conditioner 110, for example.
  • the vibration device 331 outputs vibration based on various information transmitted from the control device of the air conditioner 110, for example.
  • FIG. 4 is a diagram showing an example of operation modes of the air conditioning system and an operation screen.
  • 4a in FIG. 4 shows the operation mode when the air conditioning system 100 operates. As shown in 4a of FIG. 4, the air conditioning system 100 transitions to either the "normal operation mode” or the "specific operation mode” during operation.
  • Normal operation mode is a mode in which the air conditioning system 100 is operated based on conventional operation information and air conditioning control of the real spaces 210 and 220 is performed.
  • the “specific operation mode” is a mode in which air conditioning control is performed based on different operation information between the specific range and the non-specific range when operating the air conditioning system 100 .
  • FIG. 4 shows an example of an operation screen displayed on the user terminal 140 when the air conditioning system 100 is operated in the specific operation mode.
  • the screen transitions to the operation screen 400 of the specific driving mode.
  • the operation screen 400 includes an operation information display field 411 , a specific range input field 413 , a “specific range display” button 414 , an “operation information input” button 415 , a “start” button 416 , and a “stop” button 417 .
  • the driving information display column 411 displays driving information set in a specific range. If there are multiple specific ranges, the driving information is displayed for each specific range.
  • the specific range input field 413 includes instruction buttons used by the users 211, 221, 222, etc. to input the specific range.
  • the "input range” button is a button that is pressed when instructing to start inputting a specific range.
  • the “increase/decrease” button is a button that is pressed when entering the size of a specific range. Instead of pressing the "increase/decrease” button to enter the size of the specific range in the "radius information" input field ("Rmm” in the figure), a setting operation is performed to set the value indicating the size of the specific range. may be entered directly into the "radius information" input field.
  • the "target shooting” button is a button that is pressed when shooting an object to make the area of the object a specific range.
  • the imaging device 327 is activated by pressing the "object shooting” button, and shooting is started.
  • the “delete range” button is a button that is pressed when deleting a specific range that has already been registered.
  • the “range move” button is a button that is pressed to move a specific range that has already been registered.
  • the "reverse” button is the operating information used when performing air conditioning control for a specific range that has already been registered, and the operating information used when performing air conditioning control for a non-specific range different from the specific range. This is a button that is pressed when replacing the .
  • the imaging device 327 When the “display specific range” button 414 is pressed, the imaging device 327 is activated, and the captured image captured by the imaging device 327 is displayed on the display screen. Display images based on the various information are superimposed and displayed.
  • the "input driving information” button 415 is a button that is pressed when the users 211, 221, 222, etc. input driving information. By pressing the "input driving information” button 415, items that can be input in the specific driving mode are displayed, and the users 211, 221, 222, etc. input driving information corresponding to each item.
  • the driving information may be configured so that the same content can be registered for each specific range, or can be configured so that different content can be registered for each position within the same specific range. Also, the history of the driving information registered in the past may be read out and registered in another specific range. Furthermore, the driving information associated with each of the currently registered specific ranges may be configured so that it can be registered by replacing it between the specific ranges.
  • a “start” button 416 is a button for an air conditioning instruction operation used when instructing the air conditioner 110 to start air conditioning control in a specific operation mode.
  • a “stop” button 417 is a button for an air conditioning instruction operation used when instructing the air conditioner 110 to stop air conditioning control in a specific operation mode.
  • Drawing 5 is a figure showing an example of functional composition of a control device in a specific mode of operation.
  • the control device of the air conditioner 110 is installed with a registration program, and by executing the program, the control device of the air conditioner 110 has the specific range input unit 501, the air conditioning control unit 502 , functions as a specific range output unit 503 .
  • the specific range input unit 501 is based on various instructions and various information transmitted from the user terminal 140, the captured image transmitted from the imaging device 120, the data measured by the sensor of the indoor unit 111, and the like. Determine information. Further, the specific range input unit 501 registers the determined specific range and operation information in the air conditioning control unit 502 . Specifically, the specific range input unit 501 notifies the air conditioning control unit 502 of the determined specific range and the operation information. As a result, the air conditioning control unit 502 stores in the specific range and operation information storage unit, which is a storage area available to the air conditioning control unit 502, of the auxiliary storage device 303 of the control device of the air conditioner 110. FIG.
  • the air conditioning control unit 502 performs air conditioning control based on the specific range and operation information registered by the specific range input unit 501 .
  • the specific range output unit 503 transmits to the display device 130 an image (specific range image) for notifying the users 211, 221, 222, etc. of the specific range registered in the air conditioning control unit 502.
  • FIG. 6 is a first diagram showing a specific example of the functional configuration of the specific range input unit and specific range determination processing.
  • the specific range input unit 501 includes a captured image acquisition unit 601, a radio wave information acquisition unit 602, a position information acquisition unit 603, an operation content acquisition unit 604, a radius information specification unit 605, and a specific range determination unit 607. have.
  • a captured image acquisition unit 601 acquires a captured image captured by the imaging device 120 and notifies the position information acquisition unit 603 of it.
  • the radio wave information acquisition unit 602 acquires the radio wave information transmitted and received by the radio wave transmission/reception device 310 and notifies the position information acquisition unit 603 of it.
  • the position information acquisition unit 603 calculates coordinate information (x, y, z) indicating the position of the user terminal 140 in the real space 210 or 220 based on the notified captured image and radio wave information.
  • the radio wave information acquisition unit 602 calculates coordinate information indicating the positions of a plurality of objects in real space based on the radio wave information, and selects, from the calculated coordinate information indicating the positions of the plurality of objects, based on the captured image. and extracts coordinate information indicating the position of the user terminal 140 whose image has been recognized.
  • the operation content acquisition unit 604 acquires the operation content transmitted from the user terminal 140 .
  • the example of FIG. 6 shows that the "range input” button is pressed and the “increase/decrease” button is pressed as the operation contents.
  • the specific range determination unit 607 When the operation content acquisition unit 604 acquires a range input instruction by pressing the “input range” button, the specific range determination unit 607 is notified of the range input instruction. Note that when the operation content acquisition unit 604 notifies the range input instruction, the specific range determination unit 607 converts the coordinate information notified by the position information acquisition unit 603 into center position information indicating the position of the center point of the specific range. Retain as (x 0 , y 0 , z 0 ).
  • the operation content acquiring unit 604 acquires tap information by tapping the “increase/decrease” button n times (by repeating the tap operation), the radius information specifying unit 605 is notified of the tap information. .
  • the operation content acquiring unit 604 acquires tap information by pressing the “increase/decrease” button for t seconds (by continuing the pressing operation for a predetermined time), the tap information is sent to the radius information specifying unit 605. Notice.
  • the radius information specifying unit 605 calculates radius information (R) based on the tap information notified from the operation content acquiring unit 604 and notifies the specified range determining unit 607 of it.
  • a radius information specifying unit 605 calculates radius information (R) proportional to the number of taps (the number of repetitions) or the long press time (continuous time).
  • the specific range determination unit 607 refers to the shape storage unit 610 and acquires shape information of the predetermined shape of the specific range.
  • the example of FIG. 6 shows how spherical shape information is acquired by referring to the shape storage unit 610 .
  • the shape information acquired by referring to the shape storage unit 610 is not limited to spherical shape information, and may be any other three-dimensional shape information such as conical shape information.
  • the specific range determining unit 607 obtains the center position information (x 0 , y 0 , z 0 ) of the specific range, the radius information (R) notified by the radius information specifying unit 605, and the shape storage unit 610 A specific range 621 is determined based on the spherical shape information. That is, the specific range determination unit 607 determines the peripheral range based on the center position information as the specific range 621 .
  • the example in FIG. 6 shows how the specific range 620 is generated based on the tap information in the middle.
  • the user 211 can adjust the size of the specific range by adjusting the number of taps or the long press time.
  • the user terminal 140 - By the user 211 tapping the "increase/decrease” button, or ⁇ By pressing and holding A predetermined stimulus (sound, light, or vibration) may be notified to the user 211 each time the radius information (R) changes by a certain amount. Thereby, the user 211 can grasp that the radius information (R) has changed by a certain amount.
  • a predetermined stimulus sound, light, or vibration
  • FIG. 7 is a second diagram showing a specific example of the functional configuration of the specific range input unit and specific range determination processing.
  • the specific range input unit 501 has a captured image acquisition unit 601 , radio wave information acquisition unit 602 , position information acquisition unit 603 , operation content acquisition unit 701 , and specific range determination unit 607 .
  • the operation content acquisition unit 701 acquires the operation content transmitted from the user terminal 140 .
  • the example of FIG. 7 shows a state in which the "range input” button is pressed and the radius information (R) is directly input in the "radius information” input field.
  • the specific range determination unit 607 When the operation content acquisition unit 701 acquires a range input instruction by pressing the “input range” button, the specific range determination unit 607 is notified of the range input instruction. Note that when the operation content acquisition unit 604 notifies the range input instruction, the specific range determination unit 607 converts the coordinate information notified by the position information acquisition unit 603 into center position information (x 0 , y 0 ) of the specific range. , z 0 ).
  • the radius information (R) is acquired by directly inputting the radius information (R) in the "radius information" input field, the radius information (R) is sent to the specific range determination unit. 607 is notified.
  • FIG. 8 is a third diagram showing a specific example of the functional configuration of the specific range input unit and specific range determination processing.
  • the specific range input unit 501 includes a captured image acquisition unit 601, a radio wave information acquisition unit 602, a position information acquisition unit 603, an operation content acquisition unit 801, a center position and radius information calculation unit 802, and a specific range determination unit.
  • a part 803 is provided.
  • the photographed image acquisition unit 601 to the position information acquisition unit 603 have already been explained using FIG. 6, so the explanation is omitted here.
  • the position information acquisition unit 603 notifies the center position and radius information calculation unit 802 of the calculated coordinate information.
  • the operation content acquisition unit 801 acquires the operation content transmitted from the user terminal 140 and notifies the center position and radius information calculation unit 802 of it.
  • the example of FIG. 8 shows, as the operation content, that the range input instruction is notified by pressing the "range input” button.
  • the user 211 performs a movement operation on the user terminal 140 after pressing the "range input” button, and draws an arc locus in the real space 210. specifies the position and size of a specific range.
  • the center position and radius information calculation unit 802 receives the coordinate information (coordinate information ( Obtain x 1 , y 1 , z 1 , ) to (x m , y m , z m )).
  • center position and radius information calculation unit 802 calculates the center point is calculated and notified to the specific range determination unit 803 .
  • center position and radius information calculation unit 802 calculates the center position information ( x 0 , y 0 , z 0 ). Furthermore, the center position and radius information calculation unit 802 notifies the specified range determination unit 803 of the calculated maximum value as radius information (R).
  • the specific range determination unit 803 refers to the shape storage unit 610 and acquires shape information of the predetermined shape of the specific range.
  • the example of FIG. 8 shows how spherical shape information is acquired by referring to the shape storage unit 610 .
  • the shape information acquired by referring to the shape storage unit 610 is not limited to spherical shape information, and may be any other three-dimensional shape information such as conical shape information.
  • the specific range determination unit 803 acquires the center position information (x 0 , y 0 , z 0 ) and the radius information (R) notified from the center position and radius information calculation unit 802 and the shape storage unit 610 A specific range 621 is determined based on the obtained spherical shape information. That is, the specific range determination unit 803 determines the peripheral range based on the center position information as the specific range 621 .
  • FIG. 9 is a fourth diagram showing a functional configuration of the specific range input unit and a specific example of specific range determination processing.
  • the specific range input unit 501 includes a captured image acquisition unit 601, a radio wave information acquisition unit 602, a position information acquisition unit 603, an operation content acquisition unit 801, a center position and radius information calculation unit 802, and a projection direction determination unit. It has a section 901 and a specific range determination section 902 .
  • the projection direction determination unit 901 notifies the specific range determination unit 902 of the imaging direction when the imaging device 120 images the user terminal 140 as the projection direction.
  • the specific range determination unit 902 refers to the shape storage unit 610 and acquires shape information of the predetermined shape of the specific range.
  • the example of FIG. 9 shows how spherical shape information is acquired by referring to the shape storage unit 610 .
  • the specific range determination unit 902 acquires the center position information (x 0 , y 0 , z 0 ) and the radius information (R) notified from the center position and radius information calculation unit 802 and the shape storage unit 610 The specific range is calculated based on the obtained spherical shape information. Furthermore, based on the projection direction notified from the projection direction determination unit 901, the specific range determination unit 902 shifts the position of the center point by a predetermined amount in the projection direction while maintaining the size and shape of the calculated specific range. Position information (x' 0 , y' 0 , z' 0 ) is calculated. Accordingly, the specific range determination unit 902 determines the projection area as the specific range 621 . That is, the specific range determination unit 902 determines the peripheral range based on the center position information as the specific range 621 .
  • coordinate information (coordinate information (x 1 , y 1 , z 1 , ) to (x m , y m , z m )) is obtained based on an image captured by the imaging device 120 in a shooting direction. project to Then, a projection area specified by the coordinate information after projection (an area specified based on the center position information, the radius information (R), and the spherical shape information) is determined as the specified range.
  • FIG. 10 is a fifth diagram showing a specific example of the functional configuration of the specific range input unit and specific range determination processing.
  • the specific range input unit 501 includes a captured image acquisition unit 601, a radio wave information acquisition unit 602, a position information acquisition unit 603, an operation content acquisition unit 801, a center position and radius information calculation unit 802, and a projection direction determination unit. It has a section 1001 and a specific range determination section 1002 .
  • the projection direction determination unit 1001 determines a predetermined direction according to the positional relationship between the user terminal 140 and the user 211 as the projection direction, and notifies the specified range determination unit 1002 of the determined projection direction.
  • the specific range determination unit 1002 refers to the shape storage unit 610 and acquires shape information of the predetermined shape of the specific range.
  • the example of FIG. 10 shows how spherical shape information is acquired by referring to the shape storage unit 610 .
  • the specific range determination unit 1002 acquires the center position information (x 0 , y 0 , z 0 ) and the radius information (R) notified from the center position and radius information calculation unit 802 and the shape storage unit 610 The specific range is calculated based on the obtained spherical shape information. Furthermore, based on the projection direction notified from the projection direction determination unit 1001, the specific range determination unit 1002 shifts the position of the center point by a predetermined amount in the projection direction while maintaining the size and shape of the calculated specific range. Position information (x' 0 , y' 0 , z' 0 ) is calculated. Thereby, the specific range determination unit 1002 determines the projection area as the specific range 621 . That is, the specific range determination unit 1002 determines the peripheral range based on the center position information as the specific range 621 .
  • the specific range is calculated and then projected, but the specific range may be calculated after the trajectory based on the movement operation on the user terminal 140 is projected.
  • coordinate information (coordinate information (x 1 , y 1 , z 1 , ) to (x m , y m , z m )) is specified from the captured image captured by the imaging device 120. , is projected based on the positional relationship between the user 211 and the user terminal 140 . Then, a projection area specified by the coordinate information after projection (an area specified based on the center position information, the radius information (R), and the spherical shape information) is determined as the specified range.
  • FIG. 11 is a sixth diagram showing a specific example of the functional configuration of the specific range input unit and specific range determination processing.
  • the specific range input unit 501 includes a captured image acquisition unit 601, a radio wave information acquisition unit 602, a position information acquisition unit 603, an operation content acquisition unit 1101, a target region calculation unit 1102, and a specific range determination unit 1103. have.
  • the operation content acquisition unit 1101 acquires the operation content transmitted from the user terminal 140 .
  • the operation contents first, the "range input” button is pressed, and then the "target shooting” button is pressed.
  • the operation content acquisition unit 1101 acquires a range input instruction when the "range input” button is pressed.
  • shooting is instructed by pressing the shutter button (not shown). is acquired and notified to the target area calculation unit 1102 .
  • the target area calculation unit 1102 retains the coordinate information notified from the position information acquisition unit 603 when the operation content acquisition unit 1101 notifies the shooting instruction.
  • the position coordinates held at this time become the reference position information (x b , y b , z b ) which is the coordinate information of the user terminal 140 at the time of shooting, which is used when calculating the coordinate information of the target area.
  • the operation content acquisition unit 1101 acquires a captured image from the user terminal 140 by pressing the shutter button (not shown), it notifies the target area calculation unit 1102 of the captured image.
  • the target area calculation unit 1102 Based on the reference position information ( xb , yb , zb ), the target area calculation unit 1102 identifies the target object included in the captured image, and determines the area of the target object (target area) in the real space 210. Calculate coordinate information.
  • the target area calculation unit 1102 refers to the layout information storage unit 1104 when specifying the target object included in the captured image based on the reference position information (x b , y b , z b ).
  • the object name of each object for example, foliage plant, chair, etc. placed in the real space 210 is associated with the coordinate information (shape data such as three-dimensional data) of the object area. It is assumed that the layout information obtained is stored in advance.
  • the target area calculation unit 1102 calculates an object name corresponding to the object included in the captured image and associated with the coordinate information near the reference position information (x b , y b , z b ). , from the layout information. Then, the target area calculation unit 1102 notifies the specific range determination unit 1103 of the coordinate information of the object area associated with the specified object name as the coordinate information of the area (target area) of the photographed object.
  • the specific range determination unit 1103 determines the coordinate information of the target region notified by the target region calculation unit 1102 as the specific range 621 .
  • FIG. 12 is a diagram showing a specific example of the functional configuration of the specific range input unit and specific range deletion processing.
  • the specific range input unit 501 includes a captured image acquisition unit 601, a radio wave information acquisition unit 602, a position information acquisition unit 603, an operation content acquisition unit 1201, a deletion target determination unit 1202, and a specific range deletion unit 1203. have.
  • the photographed image acquisition unit 601 to the position information acquisition unit 603 have already been explained using FIG. 6, so the explanation is omitted here.
  • the position information acquisition unit 603 notifies the deletion target determination unit 1202 of the calculated coordinate information.
  • the operation content acquisition unit 1201 acquires the operation content transmitted from the user terminal 140 and notifies the deletion target determination unit 1202 of it.
  • the example of FIG. 12 shows, as the operation content, that the "delete range” button is pressed, and the range deletion instruction is notified.
  • the deletion target determination unit 1202 converts the coordinate information notified by the position information acquisition unit 603 into deletion position information (x d , y d , z d ).
  • the deletion target determination unit 1202 reads specific range information already registered in the air conditioning control unit 502 and determines a specific range including the deletion position information (x d , y d , z d ). Furthermore, the deletion target determination unit 1202 notifies the specific range deletion unit 1203 of the determined specific range as a deletion target specific range.
  • the specific range deletion unit 1203 deletes the specific range notified by the deletion target determination unit 1202 from the specific range information already registered in the air conditioning control unit 502 .
  • the specific range deletion unit 1203 deletes the specific range to be deleted when the "delete range” button is pressed while the user terminal 140 is located within the specific range to be deleted. .
  • FIG. 13 is a diagram showing a specific example of the functional configuration of the specific range input unit and specific range movement processing.
  • the specific range input unit 501 includes a captured image acquisition unit 601, a radio wave information acquisition unit 602, a position information acquisition unit 603, an operation content acquisition unit 1301, a moving object determination unit 1302, and a specific range update unit 1303. have.
  • the photographed image acquisition unit 601 to the position information acquisition unit 603 have already been explained using FIG. 6, so the explanation is omitted here.
  • the position information acquisition unit 603 notifies the moving object determination unit 1302 of the calculated coordinate information.
  • the operation content acquisition unit 1301 acquires the operation content transmitted from the user terminal 140 and notifies the movement target determination unit 1302 of it.
  • the example of FIG. 13 shows, as the operation content, that a range movement start instruction and a range movement end instruction are notified by pressing the "movement range" button.
  • the movement target determination unit 1302 converts the coordinate information notified from the position information acquisition unit 603 into the pre-movement position information (x t , y t , z t ).
  • the moving object determination unit 1302 reads the specific range information already registered in the air conditioning control unit 502 and determines the specific range including the pre-movement position information (x t , y t , z t ). Further, the movement target determination unit 1302 acquires pre-movement center position information (x 0 , y 0 , z 0 ), which is center position information of the determined specific range.
  • the movement target determination unit 1302 when the movement target determination unit 1302 receives a range movement end instruction from the operation content acquisition unit 1301 after the user terminal 140 is operated to move, the movement target determination unit 1302 converts the coordinate information notified from the position information acquisition unit 603 into the post-movement position. It is held as information (x' t , y' t , z' t ).
  • moving object determination section 1302 calculates the difference between the pre-movement position information (x t , y t , z t ) and the post-movement position information (x′ t , y′ t , z′ t ) as the pre-movement center Add to position information (x 0 , y 0 , z 0 ). As a result, the moving object determination unit 1302 calculates post-movement center position information (x' 0 , y' 0 , z' 0 ).
  • the moving object determination unit 1302 notifies the specific range updating unit 1303 of the calculated post-movement center position information (x′ 0 , y′ 0 , z′ 0 ).
  • the specific range update unit 1303 updates the correspondence information already registered in the air conditioning control unit 502 . Update the specified range information.
  • the specific range updating unit 1303 updates the movement target. Move a specific range of
  • FIG. 14 is a diagram showing a specific example of the functional configuration of the specific range input unit and the operation information input process.
  • the specific range input unit 501 includes a captured image acquisition unit 601, a radio wave information acquisition unit 602, a position information acquisition unit 603, an operation content acquisition unit 1401, a driving information acquisition unit 1402, and a driving information setting unit 1403. have.
  • the photographed image acquisition unit 601 to the position information acquisition unit 603 have already been explained using FIG. 6, so the explanation is omitted here.
  • the position information acquisition unit 603 notifies the driving information acquisition unit 1402 of the calculated coordinate information.
  • the operation content acquisition unit 1401 acquires the operation content transmitted from the user terminal 140 and notifies the operation information acquisition unit 1402 of it.
  • the example of FIG. 14 shows a state in which a driving information input instruction is notified by pressing the "input driving information" button 415 as the operation content. Furthermore, the example of FIG. 14 shows how the driving information is notified as the driving information is input as the operation content.
  • the driving information acquisition unit 1402 converts the coordinate information notified from the position information acquisition unit 603 into the input position information (x i , y i , z i ). hold as
  • the driving information acquisition unit 1402 reads specific range information already registered in the air conditioning control unit 502 and determines a specific range that includes the input position information (x i , y i , z i ). Furthermore, the driving information acquisition unit 1402 notifies the driving information setting unit 1403 of the determined specific range together with the notified driving information.
  • the driving information setting unit 1403 registers the driving information notified from the driving information acquiring unit 1402 as the driving information of the notified specific range in association with the specific range.
  • the driving information setting unit 1403 operates when the user terminal 140 is located within the specific range in which the driving information is to be registered and the "input driving information" button is pressed to input the driving information. , the driving information is registered in association with the specific range.
  • FIG. 15 is a diagram showing a specific example of the functional configuration of the specific range input unit and the driving information reversing process.
  • the specific range input unit 501 includes a captured image acquisition unit 601, a radio wave information acquisition unit 602, a position information acquisition unit 603, an operation content acquisition unit 1501, a reversing instruction acquisition unit 1502, and a driving information update unit 1503. have.
  • the photographed image acquisition unit 601 to the position information acquisition unit 603 have already been explained using FIG. 6, so the explanation is omitted here.
  • the position information acquisition unit 603 notifies the reversal instruction acquisition unit 1502 of the calculated coordinate information.
  • the operation content acquisition unit 1501 acquires the operation content transmitted from the user terminal 140 and notifies the reversing instruction acquisition unit 1502 of it.
  • the example of FIG. 15 shows, as the operation content, that a reverse instruction is notified by pressing the "reverse" button.
  • the reversing instruction acquiring unit 1502 holds the coordinate information notified from the position information acquiring unit 603 as reversing position information (x r , yr , z r ) when the reversing instruction is notified from the operation content acquiring unit 1501 . do.
  • the reversal instruction acquisition unit 1502 reads specific range information already registered in the air conditioning control unit 502 and determines a specific range that includes the reversal position information (x r , yr , z r ) . Further, the reversal instruction acquisition unit 1502 reads the driving information associated with the determined specific range and the driving information associated with the non-specific range, and notifies the driving information update unit 1503 of them.
  • the driving information updating unit 1503 replaces the driving information associated with the specific range notified by the reversing instruction acquiring unit 1502 and the driving information associated with the non-specific range, and updates the operating information after the replacement with the air conditioning control unit. Register in section 502 .
  • the driving information updating unit 1503 updates the driving information of the specific range. is replaced with driving information of a non-specific range.
  • FIG. 16 is a first diagram showing a functional configuration of a specific range output unit and a specific example of specific range output processing.
  • the specific range output unit 503 has a specific range information acquisition unit 1601 , a captured image acquisition unit 1602 and a specific range image generation unit 1603 .
  • the specific range information acquisition unit 1601 reads the specific range information registered in the air conditioning control unit 502 and notifies the specific range image generation unit 1603.
  • a captured image acquisition unit 1602 acquires a captured image captured by the imaging device 120 and notifies the specific range image generation unit 1603 of it.
  • the specific range image generation unit 1603 generates an image showing the specific range based on the specific range information notified from the specific range information acquisition unit 1601. Further, the specific range image generation unit 1603 superimposes the generated image indicating the specific range on the captured image notified from the captured image acquisition unit 1602 at a position corresponding to the specific range information, thereby generating a specific range image. Generate.
  • the specific range image generating unit 1603 displays the captured image or the specific range image on the monitor 131 by transmitting the captured image or the generated specific range image to the monitor 131 .
  • FIG. 16 shows how a captured image 1611 is displayed on the monitor 131 and how a specific range image 1612 is displayed on the monitor 131 .
  • 17 and 18 are first and second flowcharts showing the flow of specific range registration processing in the specific operation mode.
  • step S1701 the specific range input unit 501 calculates the coordinate information of the user terminal 140.
  • step S1702 the specific range input unit 501 determines whether or not a range input instruction has been acquired. If it is determined in step S1702 that the range input instruction has not been obtained (NO in step S1702), the process proceeds to step S1706.
  • step S1702 determines in step S1702 that a range input instruction has been obtained (YES in step S1702). the process proceeds to step S1703.
  • step S ⁇ b>1703 the specific range input unit 501 acquires the operation content for the user terminal 140 .
  • step S1704 the specific range input unit 501 determines the specific range based on the coordinate information of the user terminal 140 and the details of the operation on the user terminal 140, and generates specific range information.
  • step S1705 the specific range input unit 501 registers the generated specific range information in the air conditioning control unit 502.
  • step S1706 the specific range input unit 501 determines whether or not a range deletion instruction has been acquired. If it is determined in step S1706 that the range deletion instruction has not been acquired (NO in step S1706), the process proceeds to step S1709.
  • step S1706 determines in step S1706 that the range deletion instruction has been acquired (YES in step S1706).
  • step S ⁇ b>1707 the specific range input unit 501 determines the specific range to be deleted based on the coordinate information of the user terminal 140 .
  • step S1708 the specific range input unit 501 deletes the specific range information of the determined specific range.
  • step S1709 the specific range input unit 501 determines whether or not a range movement start instruction and a range movement end instruction have been acquired. If it is determined in step S1709 that the range movement start instruction and range movement end instruction have not been acquired (NO in step S1709), the process proceeds to step S1801 in FIG.
  • step S1709 determines whether the range movement start instruction and range movement end instruction have been acquired (YES in step S1709). If it is determined in step S1709 that the range movement start instruction and range movement end instruction have been acquired (YES in step S1709), the process proceeds to step S1710.
  • step S1710 the specific range input unit 501 determines the specific range to be moved based on the coordinate information of the user terminal 140.
  • step S1711 the specific range input unit 501 moves the determined specific range, and registers the specific range information of the specific range after movement.
  • step S1801 the specific range input unit 501 determines whether or not a driving information input instruction has been acquired. If it is determined in step S1801 that the operation information input instruction has not been acquired (NO in step S1801), the process proceeds to step S1804.
  • step S1801 determines whether a driving information input instruction has been acquired (if YES in step S1801), the process proceeds to step S1802.
  • step S1802 the specific range input unit 501 determines the specific range for which driving information is to be registered based on the coordinate information of the user terminal 140.
  • step S1803 the specific range input unit 501 registers driving information in association with the determined specific range.
  • step S1804 the specific range input unit 501 determines whether or not a reverse instruction has been acquired. If it is determined in step S1804 that the reversal instruction has not been acquired (NO in step S1804), the process proceeds to step S1807.
  • step S1804 determines whether a reversal instruction has been acquired (if YES in step S1804). If it is determined in step S1804 that a reversal instruction has been acquired (if YES in step S1804), the process proceeds to step S1805.
  • step S1805 the specific range input unit 501 determines the specific range in which the driving information is to be inverted based on the coordinate information of the user terminal 140.
  • step S1806 the specific range input unit 501 reverses the driving information associated with the determined specific range and the driving information associated with the non-specific range, and registers the reversed driving information.
  • step S1807 the specific range input unit 501 determines whether or not to end the specific driving mode. When it is determined in step S1807 to continue the specific operation mode (in the case of NO in step S1807), the process returns to step S1701 in FIG.
  • step S1807 determines whether the specific range registration process in the specific operation mode is finished.
  • FIG. 19 is a diagram showing an example of air conditioning control by an air conditioning system.
  • the operation information is registered so that the blown air hits the specific range 621, and the operation information is registered so that the blown air does not hit the specific ranges 1901 and 1902. It shows how it is registered.
  • the user 211 can freely change the size and shape of the specific range to be controlled, and for one user 211, the specific Multiple ranges can be registered.
  • the air conditioning system 100 includes - It has an air conditioner capable of air conditioning control and a user terminal for a specific range in real space. - Registering the specific range determined based on the position information of the user terminal in real space and the details of the operation on the user terminal.
  • the specific range output unit has been described as being implemented in the controller of the air conditioner 110 .
  • the specific range output unit may be implemented in the user terminal 140, for example.
  • the second embodiment will be described below, focusing on differences from the first embodiment.
  • FIG. 20 is a diagram showing an example of functional configurations of the control device and the user terminal in the specific operation mode.
  • the control device of the air conditioner 110 functions as a specific range input unit 501, an air conditioning control unit 502, and a transmission unit 2001 by executing a registration program.
  • the transmission unit 2001 transmits to the user terminal 140 various types of information for notifying the users 211, 221, 222, etc. of the specific range registered by the air conditioning control unit 502.
  • the user terminal 140 functions as the specific range output unit 2002 by executing the air conditioning operation program.
  • the specific range output unit 2002 performs processing for notifying the users 211, 221, 222, etc. of the specific range based on the various information transmitted from the transmission unit 2001.
  • FIG. 21 is a diagram illustrating functional configurations of a transmission unit and a specific range output unit, and a specific example of specific range output processing.
  • the transmission unit 2001 has a captured image acquisition unit 2101, a radio wave information acquisition unit 2102, a location information acquisition unit 2103, a location information transmission unit 2104, a specific range information acquisition unit 2105, and a specific range transmission unit 2106. .
  • a captured image acquisition unit 2101 acquires a captured image captured by the imaging device 120 and notifies the position information acquisition unit 2103 of it.
  • the radio wave information acquisition unit 2102 acquires the radio wave information received by the radio wave transmission/reception device 310 and notifies the location information acquisition unit 2103 of it.
  • the position information acquisition unit 2103 calculates coordinate information (x, y, z) indicating the position of the user terminal 140 in the real space 210 or 220 based on the notified captured image and radio wave information.
  • the position information transmission section 2104 transmits the coordinate information (x, y, z) calculated by the position information acquisition section 2103 to the specific range output section 2002 of the user terminal 140 .
  • the specific range information acquisition unit 2105 reads the specific range information registered in the air conditioning control unit 502 and notifies the specific range transmission unit 2106 of it.
  • the specific range transmission section 2106 transmits the specific range information notified by the specific range information acquisition section 2105 to the specific range output section 2002 .
  • the specific range output unit 2002 has a position information acquisition unit 2111, a specific range information acquisition unit 2112, a specific range image generation unit 2113, a captured image acquisition unit 2114, and a display control unit 2115.
  • the position information acquisition unit 2111 acquires the coordinate information (x, y, z) transmitted from the position information transmission unit 2104 and notifies the specific range image generation unit 2113 of it.
  • the specific range information acquisition unit 2112 acquires the specific range information transmitted from the specific range transmission unit 2106 and notifies the specific range image generation unit 2113 of it.
  • the specific range image generation unit 2113 Based on the coordinate information (x, y, z) notified from the position information acquisition unit 2111, the specific range image generation unit 2113 identifies where in the real space the user terminal 140 is currently located. Further, the specific range image generating unit 2113 identifies which direction the user terminal 140 is currently facing (attitude of the user terminal 140) based on the output of the acceleration sensor 328. FIG. Further, the specific range image generation unit 2113 calculates coordinate information of each position within the shooting range when the imaging device 327 of the user terminal 140 shoots from the identified position and direction (coordinate information and orientation information). Furthermore, the specific range image generation unit 2113 applies the specific range information notified from the specific range information acquisition unit 2112 to the coordinate information of each position within the imaging range.
  • the specific range information acquisition unit 2112 generates an image of the specific range oriented according to the orientation of the user terminal 140 at the position within the captured image when the imaging device 327 of the user terminal 140 starts capturing. be able to.
  • the specific range image generation unit 2113 notifies the display control unit 2115 of the generated specific range image (three-dimensional image).
  • the captured image acquisition unit 2114 is operated by pressing the “Display specific range” button 414 on the operation screen 400 of the user terminal 140, and when the specific range display instruction is given and the image capture by the imaging device 327 is started, the imaging device 327, the photographed image is acquired. Also, the captured image acquisition unit 2114 notifies the display control unit 2115 of the acquired captured image.
  • the display control unit 2115 generates a display image by superimposing the specific range image notified from the specific range image generation unit 2113 on the captured image notified from the captured image acquisition unit 2114 . Also, the display control unit 2115 displays the generated display image on the display screen of the display device 326 of the user terminal 140 .
  • the user 211 presses the “display specific range” button 414 on the operation screen 400 of the user terminal 140 at a position specified by the coordinate information (x, y, z). It shows a state in which a range display instruction is given and shooting is started.
  • FIG. 21 shows a case where specific range information has been registered for a foliage plant 2120 arranged in the real space 210 .
  • a display image 2122 in which the specific range image is superimposed on the photographed image 2121 photographed from the side of the foliage plant 2120 is displayed. .
  • a display image 2132 in which a specific range image is superimposed on a photographed image 2131 photographed from directly above the foliage plant 2120 is displayed.
  • the user 211 can see which position in the real space 210 is registered as the specific range. can be grasped via the user terminal 140.
  • the air conditioning system 100 has, in addition to the functions described in the first embodiment, ⁇ Display a 3D image showing a specific range, generated based on the position information and posture information of the user terminal in the real space, superimposed on the photographed image taken by performing the photographing operation on the user terminal. It has the function to
  • the second embodiment it is possible to obtain the same effects as those of the first embodiment, and the user can grasp the registered specific range via the user terminal 140. become able to.
  • the notification method for notifying the user of the specific range information is not limited to this.
  • the user terminal 140 outputs a predetermined stimulus (sound, light, or vibration) to determine whether the user terminal 140 is positioned within a specific range or outside a specific range (within a non-specific range) in real space. to notify the user.
  • a predetermined stimulus sound, light, or vibration
  • the third embodiment will be described below, focusing on the differences from the first and second embodiments.
  • FIG. 22 is a second diagram illustrating a functional configuration of the specific range output unit and a specific example of specific range output processing.
  • the specific range output unit 2002 has a position information acquisition unit 2111, a specific range information acquisition unit 2112, a positional relationship determination unit 2201, and an output device control unit 2202.
  • the position information acquisition unit 2111 has the same function as the position information acquisition unit 2111 described with reference to FIG.
  • the relationship determination unit 2201 is notified.
  • the specific range information acquisition unit 2112 has the same function as the specific range information acquisition unit 2112 described with reference to FIG. to notify.
  • the positional relationship determination unit 2201 identifies where the user terminal 140 is currently located in real space based on the coordinate information (x, y, z) notified from the position information acquisition unit 2111 . Also, the positional relationship determination unit 2201 determines the positional relationship between the specific range and the user terminal 140 based on the specific range information notified from the specific range information acquisition unit 2112 . Furthermore, the positional relationship determination unit 2201 notifies the output device control unit 2202 of the determined positional relationship.
  • the output device control unit 2202 controls the output device (the display device 326, the audio output device 330, or the vibration device 331) based on the positional relationship notified by the positional relationship determination unit 2201, and controls light, sound, or vibration. Notify the user by outputting. Thereby, the user can grasp the positional relationship between the specific range and the user terminal 140 .
  • the output device control unit 2202 may control the display device 326 to output light, or may control an LED (not shown) to output light.
  • the example of FIG. 22 shows the user 211 holding the user terminal 140 at the position specified by the coordinate information (x, y, z). Also, the example of FIG. 22 shows how a specific range 621 is registered.
  • the output device control unit 2202 outputs any one of light, sound, and vibration, When it is positioned, it is controlled so as not to output any light, sound or vibration.
  • the output device control unit 2202 may, for example, determine whether the user terminal 140 is positioned within the specific range 621 or outside the specific range 621 depending on whether the magnitude of vibration, sound volume, or image content is different. , the output may be controlled such that the color or amount of light varies.
  • the output device control unit 2202 outputs light when the user terminal 140 is positioned within the specific range 621, and sounds or vibrates when the user terminal 140 is positioned outside the specific range 621. may be controlled to switch stimuli, such as outputting .
  • the output device control unit 2202 changes the range corresponding to the coordinate information (x, y, z) from within the specific range 621 to outside the specific range 621. (within a non-specific range), control the output.
  • the output device control unit 2202 specifies the range corresponding to the coordinate information (x, y, z) from outside the specified range 621 (within the non-specified range). If it changes into range 621, it controls the output.
  • the output device control unit 2202 may control to increase the output of any one of sound, light, and vibration. good. Further, for example, the output device control unit 2202 may perform control to reduce the output of any one of sound, light, and vibration when the user terminal 140 approaches the boundary surface of the specific range 621 within the specific range 621. good.
  • the output device control unit 2202 when the user terminal 140 is positioned within the specific range 621 and outputs any one of light, sound, and vibration, the output device control unit 2202 outputs the corresponding driving information.
  • the output may be controlled accordingly.
  • different driving information is registered for each of a plurality of specific ranges. will change either the color or the amount of
  • the magnitude of vibration, sound volume, and image content may change. , either the color or the amount of light will change.
  • the user 211 can determine which range in the real space is registered as the specific range, and ⁇ What kind of driving information is registered can be grasped via the user terminal 140 .
  • the air conditioning system 100 has, in addition to the functions described in the first embodiment, ⁇ It has a function to control the output according to the movement operation on the user terminal.
  • the third embodiment it is possible to obtain the same effects as those of the first embodiment, and the user can grasp the registered specific range via the user terminal 140. .
  • a three-dimensional position measurement sensor is configured by a plurality of imaging devices 120 with different mounting positions in the real space 210 or 220, - A photographed image photographed by the first imaging device 120; - A photographed image photographed by the second imaging device 120, ⁇ A photographed image photographed by the ⁇ -th imaging device 120, may be matched to calculate coordinate information indicating the position of the user terminal 140 in the real space.
  • SLAM Simultaneous Localization and Mapping
  • the three-dimensional position measurement sensor is configured by the imaging device 120 attached via an arm in the real space 210 or 220, and the user terminal 140 receives high-intensity light that the imaging device 120 can receive.
  • Install the emitting sensor, - Three-dimensional space data acquired from a captured image captured while swinging the imaging device 120; - Relative position data between the user terminal 140 and the imaging device 120, which is obtained by the imaging device 120 receiving high-brightness light emitted by the user terminal 140; may be used to calculate coordinate information indicating the position of the user terminal 140 in the real space.
  • the coordinate information indicating the position of the user terminal 140 in the real space is obtained by using data acquired by a device other than the user terminal 140 (air The description has been given assuming that it is calculated by the control device of the harmony device).
  • the coordinate information indicating the position of the user terminal 140 in real space may be calculated by the user terminal 140 using data acquired by the user terminal 140 .
  • an API Application Programming Interface
  • Layout information shape data such as three-dimensional data
  • the real space 210 or 220 may be used to calculate coordinate information indicating the position of the user terminal 140 in real space.
  • FIG. 23 is a diagram showing a calculation example of coordinate information indicating the position of the user terminal in real space.
  • the calculation example in FIG. 23 shows how the user terminal 140 constantly captures images of the real space 210 or 220 while the user terminal 140 is being operated to move.
  • a captured image 2301 and a captured image 2302 indicate captured images captured at different times.
  • the user terminal 140 can calculate the feature point X
  • the depth distances l 1 , l 2 from can be calculated.
  • the coordinate information (a, b, c) of the object 2303 is obtained in advance as the layout information of the object.
  • the user terminal 140 presents the current coordinate information ( x , y, z ) can be calculated.
  • the configuration, number, and arrangement of sensors for calculating coordinate information indicating the position of the user terminal 140 in real space are arbitrary, and a combination suitable for the real space environment is selected.
  • the fifth embodiment a case will be described in which an area in which an object or person in the real space exists, or a part of them exists, is registered as a specific range.
  • the coordinate information of the object region of the object is not stored in advance, and is calculated each time. I will explain the case where
  • FIG. 24 is a diagram illustrating an example of a functional configuration of a user terminal
  • the user terminal 140 functions as a captured image acquisition unit 2401, a depth map generation unit 2402, an object detection unit 2403, and a center position determination unit 2404 by executing an air conditioning operation program.
  • a captured image acquisition unit 2401 acquires a captured image captured by the imaging device 327 and notifies the depth map generation unit 2402 and the object detection unit 2403 of it.
  • the object detection unit 2403 detects objects included in the captured image acquired by the captured image acquisition unit 2401, extracts objects of a type specified by the user from among the detected objects, and generates a depth map.
  • the generation unit 2402 is notified.
  • a depth map generation unit 2402 is an API that generates a depth map based on a captured image.
  • a depth map generation unit 2402 generates a depth map in the real space 210 or 220 based on the captured image notified from the captured image acquisition unit 2401 .
  • the depth map generation unit 1422 identifies a region corresponding to the object notified by the object detection unit 2403 in the generated depth map, and notifies the center position determination unit 2404 of it.
  • the center position determination unit 2404 calculates the center position information of the object notified by the object detection unit 2403 based on the depth map of the area specified by the depth map generation unit 2402 .
  • the center position determination unit 2404 transmits the calculated center position information to the controller of the air conditioner 110 .
  • the center position information acquisition unit 2501 acquires center position information from the user terminal 140 and notifies it to the specific range determination unit 2502 .
  • the specific range determination unit 2502 refers to the shape storage unit 610 and acquires shape information (for example, spherical shape information) of a predetermined shape of the specific range. Further, the specific range determination unit 607 obtains the center position information notified from the center position information acquisition unit 2501, the radius information (R) notified from the radius information specification unit 605, and the spherical shape information acquired from the shape storage unit 610. and to determine the specific range information.
  • shape information for example, spherical shape information
  • FIG. 26 is a first diagram showing a specific example of center position determination processing.
  • the captured image acquisition unit 2401 displays the captured image 2610 on the display screen
  • the object detection unit 2403 displays the captured image.
  • a plurality of objects contained in 2610 are detected.
  • the depth map generator 2402 generates a depth map based on the captured image 2610 .
  • the user 211 By displaying the captured image 2610, the user 211 performs an instruction operation regarding the type of target object to be detected.
  • the example of FIG. 26 shows a state in which the user 211 designates "object" as the type of object to be detected.
  • the object detection unit 2403 designates “object” as the type of object to be detected
  • the object that is closest to the user terminal 140 among the detected objects is specified as the object, and the specified object is detected.
  • the object is notified to the depth map generator 2402 . Note that the example of FIG. 26 shows how the “desk” closest to the user terminal 140 is specified as the object.
  • the depth map generation unit 2402 identifies the area of the identified object from the generated depth map and notifies the center position determination unit 2404.
  • the center position determination unit 2404 calculates the center position information of the object based on the notified depth map of the region of the object.
  • reference numeral 2620 indicates center position information calculated by the center position determining section 2404 .
  • the center position information indicated by reference numeral 2620 is input to the specific range input unit 501, and the peripheral range based on the center position information is determined as the specific range 2630.
  • FIG. 27 is a second diagram showing a specific example of center position determination processing.
  • the captured image acquisition unit 2401 displays the captured image 2710 on the display screen
  • the object detection unit 2403 displays the captured image.
  • a plurality of objects contained in 2710 are detected.
  • the depth map generation unit 2402 generates a depth map based on the captured image 2710 .
  • the user 211 performs an instruction operation on the type of target object to be detected.
  • the user 211 selects, as types of objects to be detected, It shows how to indicate a "person”.
  • the object detection unit 2403 identifies the person closest to the user terminal 140 among the plurality of detected objects as the object, and detects the identified object. The object is notified to the depth map generator 2402 . Note that the example of FIG. 27 shows how the user 222 closest to the user terminal 140 is specified as the object.
  • the depth map generation unit 2402 identifies the area of the identified object from the generated depth map and notifies the center position determination unit 2404.
  • the center position determination unit 2404 calculates the center position information of the object based on the notified depth map of the region of the object.
  • reference numeral 2720 indicates center position information calculated by the center position determining section 2404 .
  • the center position information indicated by reference numeral 2720 is input to the specific range input unit 501, and the peripheral range based on the center position information is determined as the specific range 2730.
  • FIG. 28 is a third diagram showing a specific example of center position determination processing.
  • the captured image acquisition unit 2401 displays the captured image 2810 on the display screen
  • the object detection unit 2403 displays the captured image 2810 on the display screen.
  • a plurality of objects contained in 2810 are detected.
  • the depth map generator 2402 generates a depth map based on the captured image 2810 .
  • the user 211 performs a selection instruction operation for the part of the object to be detected.
  • the example of FIG. 28 shows how the user 211 selects and instructs the "head" of a "person” as the part of the object to be detected.
  • the object detection unit 2403 selects and instructs the “head” of the “person” as the part of the object to be detected, the object detection unit 2403 selects the head of the person closest to the user terminal 140 among the plurality of detected objects as the object. , and notifies the depth map generation unit 2402 of the identified object.
  • the example of FIG. 28 shows how the head of user 222 closest to user terminal 140 is identified as the object.
  • the depth map generation unit 2402 identifies the area of the identified object from the generated depth map and notifies the center position determination unit 2404.
  • the center position determination unit 2404 calculates the center position information of the object based on the notified depth map of the region of the object.
  • reference numeral 2820 indicates center position information calculated by the center position determining section 2404 .
  • the center position information indicated by reference numeral 2820 is input to the specific range input unit 501, and the peripheral range based on the center position information is determined as the specific range 2830.
  • FIG. 29 is a fourth diagram showing a specific example of center position determination processing.
  • the captured image acquisition unit 2401 displays the captured image 2910 on the display screen
  • the object detection unit 2403 displays the captured image 2910.
  • a plurality of objects contained in 2810 are detected.
  • the depth map generator 2402 generates a depth map based on the captured image 2910 .
  • the user 211 When the captured image 2910 is displayed, the user 211 performs an instruction operation on the object to be detected. It is assumed that the display screen on which the photographed image 2910 is displayed can be pointed.
  • the example of FIG. 29 shows how the user 211 points to the position of "notebook PC" on the display screen, and thus the instruction operation for the target object to be detected is accepted.
  • the object detection unit 2403 designates and operates the “notebook PC” as the object to be detected, the object detection unit 2403 identifies the designated “notebook PC” as the object among the plurality of detected objects, and detects the identified object. The object is notified to the depth map generator 2402 .
  • the depth map generation unit 2402 identifies the area of the identified object from the generated depth map and notifies the center position determination unit 2404.
  • the center position determination unit 2404 calculates the center position information of the object based on the notified depth map of the region of the object.
  • reference numeral 2920 indicates center position information calculated by the center position determining section 2404 .
  • the center position information indicated by reference numeral 2920 is input to the specific range input unit 501, and the peripheral range based on the center position information is determined as the specific range 2930.
  • the air conditioning system 100 is -
  • the user terminal is capable of accepting an instruction operation for an object, and the surrounding area based on the center position information in the real space of the object accepted by the user terminal is determined as the specific area.
  • the user terminal can accept a selection instruction operation for a part of the object, and the peripheral range based on the center position information in the real space of the part of the object accepted by the user terminal is determined as the specific range.
  • the display screen on which the captured image captured by the imaging device of the user terminal is displayed is configured so that pointing is possible, and the user terminal selects the object at the pointed position among the plurality of objects included in the captured image as the target. Identify as a thing.
  • the temperature, wind direction, and air volume are set as the operating information associated with the specific range, but the registration items that can be registered as the operating information associated with the specific range are not limited to these.
  • the specific range input unit 501 has been described as being implemented in the control device within the air conditioner 110, but the specific range input unit 501 is implemented by a device other than the control device within the air conditioner 110. may be implemented in Alternatively, it may be implemented in a device outside air conditioner 110 (an arbitrary device within air conditioning system 100).
  • the specific range output unit 503 is implemented in the control device or the user terminal 140 in the air conditioner 110, but the specific range output unit 503 is implemented in the air conditioner 110 It may be implemented in a device other than the controller. Alternatively, it may be implemented in a device other than the air conditioning device 110 and the user terminal 140 (any device within the air conditioning system 100).
  • the air conditioning system 100 has been described as having the air conditioning device 110, the imaging device 120, the display device 130, and the user terminal 140.
  • the configuration of the air conditioning system 100 is not limited to this, and may include a server device that controls a plurality of air conditioning devices 110, for example.
  • the specific range input unit 501 and the specific range output unit 503 may be implemented in the server device.
  • the size of the specific range is determined by a predetermined setting operation, but the shape of the specific range may be determined by a predetermined setting operation. .
  • the setting operation for determining the size of the specific range the tap operation n times and the pressing operation continued for a predetermined time were exemplified.
  • the setting operation for determination is not limited to these.
  • the specific range may be configured to determine the size of
  • the specified It may be configured to determine the size of the range.
  • the specific range image (three-dimensional image) is superimposed on the captured image captured by the imaging device 327 of the user terminal 140 has been described.
  • the specific range image may be superimposed on the image (still image) of the real space 210 or 220 to which the layout information in the real space 210 or 220 is linked. This is because if the coordinate information of the real space 210 or 220 is associated with each position of the still image, the specific range image can be superimposed appropriately.
  • variations of the method of notifying the user of a predetermined stimulus (sound, light, or vibration) by the output device control unit 2202 have been described, but variations of the method of notifying the user include It is not limited to this.
  • the specific range is determined by the center position information in the real space of the object. It may be configured to notify different stimuli. Specifically, the stimulus when the user terminal 140 is positioned within the specific range is determined depending on whether the specific range is determined to be a region in which no target object exists or when the region in which the target object exists is determined as the specific range. It may be configured differently.
  • a different stimulus is notified depending on whether the object is a person or not.
  • the user terminal 140 can specify whether the object is a person or an object other than a person. It may be configured to provide a different stimulus when positioned within the range.
  • the smartphone 141, the remote control 142, the wearable device, etc. are exemplified as the user terminal 140, but the user terminal 140 does not have to be an electronic device.
  • the user terminal 140 does not have to be an electronic device.
  • the housing may have any shape, and may be, for example, a rod-shaped member.
  • each of the above embodiments has been described as being realized in an air conditioning system, but the target system is not limited to an air conditioning system, and a specific range is determined in real space, and the determined specific range is determined. Any other system may be used as long as it is a registration system for registration. That is, the air conditioning system described in each of the above embodiments is an application example of the registration system.
  • Air conditioning system 110 Air conditioning device 120: Imaging device 130: Display device 140: User terminal 210, 220: Real space 326: Display device 327: Imaging device 330: Audio output device 331: Vibration device 400: Operation screen 501 : Specific range input unit 503 : Specific range output unit 601 : Captured image acquisition unit 602 : Radio wave information acquisition unit 603 : Position information acquisition unit 604 : Operation content acquisition unit 605 : Radius information specification unit 607 : Specific range determination unit 701 : Operation Content acquisition unit 801: Operation content acquisition unit 802: Center position and radius information calculation unit 803: Specific range determination unit 902: Specific range determination unit 1001: Projection direction determination unit 1002: Specific range determination unit 1101: Operation content acquisition unit 1102: Target area calculation unit 1103: Specific range determination unit 1111: Operation content acquisition unit 1112: Reference position calculation unit 1113: Target region calculation unit 1114: Specific range determination unit 1201: Operation content acquisition unit 1202: Dele

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Air Conditioning Control Device (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)

Abstract

実空間において制御対象となる特定範囲を登録する登録システム、空気調和システム及び登録プログラムを提供する。登録システムは、制御部と記憶部とを有し、前記制御部は、ユーザ端末の実空間における位置情報と、前記ユーザ端末に対する操作内容とに基づいて決定した前記実空間内の特定範囲を、前記記憶部に登録する。

Description

登録システム、空気調和システム及び登録プログラム
 本開示は、登録システム、空気調和システム及び登録プログラムに関する。
 空気調和システム等のように、実空間の快適性を向上させるシステムにおいては、例えば、ユーザがいる特定範囲に対して、他の範囲とは異なる空調制御を行う場合がある。一例として、下記特許文献1等には、実空間において、携帯型発信機を保持するユーザがいる特定範囲に対して、送風する空気があたらないように、風量及び風向を制御する空気調和システムが開示されている。
特開2017-211149号公報
 しかしながら、上記空気調和システムの場合、空調制御の制御対象となる特定範囲の大きさや形状が予め登録されており、ユーザが自由に変えることができないといった問題がある。
 本開示は、実空間において制御対象となる特定範囲を登録する登録システム、空気調和システム及び登録プログラムを提供する。
 本開示の第1の態様は、
 制御部と記憶部とを有する登録システムであって、
 前記制御部は、
 ユーザ端末の実空間における位置情報と、前記ユーザ端末に対する操作内容とに基づいて決定した前記実空間内の特定範囲を、前記記憶部に登録する。
 本開示の第1の態様によれば、実空間において制御対象となる特定範囲を登録する登録システムを提供することができる。
 また、本開示の第2の態様は、第1の態様に記載の登録システムであって、
 前記制御部は、
 前記ユーザ端末に対して移動操作が行われた場合の前記ユーザ端末の位置情報の軌跡に基づいて、前記実空間内の特定範囲を決定し、前記記憶部に登録する。
 また、本開示の第3の態様は、第1の態様に記載の登録システムであって、
 前記ユーザ端末は指示操作を受け付け可能であり、
 前記制御部は、
 前記ユーザ端末が指示操作を受け付けた際の前記ユーザ端末の位置情報を基準とする周辺範囲を、前記特定範囲として決定し、前記記憶部に登録する。
 また、本開示の第4の態様は、第1の態様に記載の登録システムであって、
 前記ユーザ端末は指示操作を受け付け可能であり、
 前記制御部は、
 前記ユーザ端末が指示操作を受け付けたことにより特定された対象物の前記実空間における位置情報を基準とする周辺範囲を、前記実空間内の特定範囲として決定し、前記記憶部に登録する。
 また、本開示の第5の態様は、第4の態様に記載の登録システムであって、
 前記ユーザ端末は選択指示操作を受け付け可能であり、
 前記制御部は、
 前記ユーザ端末が選択指示操作を受け付けたことにより特定された前記対象物の部位の前記実空間における位置情報を基準とする周辺範囲を、前記実空間内の特定範囲として決定し、前記記憶部に登録する。
 また、本開示の第6の態様は、第1の態様に記載の登録システムであって、
 前記ユーザ端末は設定操作を受け付け可能であり、
 前記制御部は、
 前記特定範囲の大きさまたは形状を、前記ユーザ端末が受け付けた設定操作に基づいて決定する。
 また、本開示の第7の態様は、第6の態様に記載の登録システムであって、
 前記ユーザ端末は設定操作を受け付け可能であり、
 前記制御部は、
 前記ユーザ端末が始点の設定操作を受け付けた際の前記ユーザ端末の位置情報、または、前記特定範囲を決定する際に基準とした位置情報と、前記ユーザ端末が終点の設定操作を受け付けた際の前記ユーザ端末の位置情報とに基づいて、前記特定範囲の大きさを決定する。
 また、本開示の第8の態様は、第4の態様に記載の登録システムであって、
 前記ユーザ端末は、
 撮像装置と、
 前記撮像装置により撮影された画像を表示する表示装置と、を有し、
 前記ユーザ端末の制御部は、
 前記画像に含まれる物体を、前記対象物として特定する。
 また、本開示の第9の態様は、第4の態様に記載の登録システムであって、
 前記ユーザ端末は、
 撮像装置と、
 前記撮像装置により撮影された画像を画面に表示するとともに、画像が表示された画面上の位置をポインティング可能な表示装置と、を有し、
 前記ユーザ端末の制御部は、
 前記画像に含まれる複数の物体のうち、ポインティングされた位置の物体を、前記対象物として特定する。
 また、本開示の第10の態様は、第1の態様に記載の登録システムであって、
 前記ユーザ端末は、
 画像を表示する表示装置を有し、
 前記ユーザ端末の制御部は、
 前記画像に、前記特定範囲を示す画像を重畳して前記表示装置に表示する。
 また、本開示の第11の態様は、第10の態様に記載の登録システムであって、
 前記ユーザ端末は、
 撮像装置を有し、
 前記ユーザ端末の制御部は、
 前記撮像装置により撮影された画像に、前記ユーザ端末の実空間における位置情報及び姿勢情報に基づいて生成された、前記特定範囲を示す3次元の画像を重畳して表示する。
 また、本開示の第12の態様は、第1の態様に記載の登録システムであって、
 前記ユーザ端末は、出力装置を有し、
 前記実空間内の特定範囲に前記ユーザ端末が位置する場合に、前記出力装置は刺激を通知する。
 また、本開示の第13の態様は、第1の態様に記載の登録システムであって、
 前記ユーザ端末は、出力装置を有し、
 前記出力装置は、前記実空間内の特定範囲と、前記ユーザ端末との位置関係に応じて、異なる刺激を通知する。
 また、本開示の第14の態様は、第4の態様に記載の登録システムであって、
 前記ユーザ端末は、出力装置を有し、
 前記実空間内の特定範囲に前記ユーザ端末が位置する場合に、前記出力装置は、
  前記特定範囲が前記対象物の前記実空間における位置情報により決定されたのか否かに応じて異なる刺激を通知する、または、
  前記特定範囲が前記対象物の前記実空間における位置情報により決定されていた場合には、前記対象物が人であるか否かに応じて、異なる刺激を通知する。
 また、本開示の第15の態様は、第1の態様に記載の登録システムであって、
 前記ユーザ端末は、センサを有し、
 前記ユーザ端末の制御部は、
 前記実空間の形状データと、前記センサにより測定されたデータとを照合することで、前記ユーザ端末の実空間における位置情報を算出する。
 また、本開示の第16の態様は、第15の態様に記載の登録システムであって、
 前記センサは撮像装置であり、
 前記ユーザ端末の制御部は、
 前記実空間内の3次元データと、前記撮像装置により撮影された撮影画像から生成したマップとを照合することで、前記ユーザ端末の実空間における位置情報を算出する。
 また、本開示の第17の態様は、第1の態様に記載の登録システムであって、
 前記制御部は、
 前記実空間内に取り付けられた3次元位置計測センサにより測定されたデータに基づいて、前記ユーザ端末の実空間における位置情報を算出する。
 また、本開示の第18の態様は、第17の態様に記載の登録システムであって、
 前記3次元位置計測センサは、取り付け位置の異なる複数の撮像装置により構成され、
 前記制御部は、
 前記複数の撮像装置それぞれにより撮影された撮影画像をマッチングさせることで、前記ユーザ端末の実空間における位置情報を算出する。
 また、本開示の第19の態様は、第1の態様に記載の登録システムであって、
 前記制御部は、
 前記ユーザ端末が有するセンサにより測定されたデータと、前記実空間内に取り付けられたセンサにより測定されたデータとを照合することで、前記ユーザ端末の実空間における位置情報を算出する。
 また、本開示の第20の態様は、第1の態様に記載の登録システムであって、
 前記ユーザ端末は空調指示操作を受け付け可能であり、
 前記制御部は、
 前記ユーザ端末が空調指示操作を受け付けた場合に、前記記憶部に登録された前記実空間内の特定範囲に対して空調制御を行う。
 また、本開示の第21の態様は、第20の態様に記載の登録システムであって、
 前記制御部は、
 前記実空間に取り付けられた複数の空気調和装置を用いることで、前記記憶部に登録された前記実空間内の特定範囲と、特定範囲以外の非特定範囲とで、異なる空調制御を行う。
 また、本開示の第22の態様に係る空気調和システムは、
 第1乃至第21のいずれかの態様に記載の登録システムを含む。
 本開示の第22の態様によれば、実空間において制御対象となる特定範囲を登録する空気調和システムを提供することができる。
 また、本開示の第23の態様に係る登録プログラムは、
 ユーザ端末の実空間における位置情報と、前記ユーザ端末に対する操作内容とに基づいて決定した前記実空間内の特定範囲を、記憶部に登録する登録工程、
 を制御部に実行させる。
 本開示の第23の態様によれば、実空間において制御対象となる特定範囲を登録する登録プログラムを提供することができる。
図1は、空気調和システムのシステム構成の一例を示す図である。 図2は、空気調和システムが適用される実空間の一例を示す図である。 図3は、制御装置のハードウェア構成及びユーザ端末のハードウェア構成の一例を示す図である。 図4は、空気調和システムの運転モードと、操作画面の一例を示す図である。 図5は、特定運転モードにおける制御装置の機能構成の一例を示す図である。 図6は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第1の図である。 図7は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第2の図である。 図8は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第3の図である。 図9は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第4の図である。 図10は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第5の図である。 図11は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第6の図である。 図12は、特定範囲入力部の機能構成及び特定範囲削除処理の具体例を示す図である。 図13は、特定範囲入力部の機能構成及び特定範囲移動処理の具体例を示す図である。 図14は、特定範囲入力部の機能構成及び運転情報入力処理の具体例を示す図である。 図15は、特定範囲入力部の機能構成及び運転情報反転処理の具体例を示す図である。 図16は、特定範囲出力部の機能構成及び特定範囲出力処理の具体例を示す第1の図である。 図17は、特定運転モードにおける特定範囲登録処理の流れを示す第1のフローチャートである。 図18は、特定運転モードにおける特定範囲登録処理の流れを示す第2のフローチャートである。 図19は、空気調和システムによる空調制御の一例を示す図である。 図20は、特定運転モードにおける制御装置及びユーザ端末の機能構成の一例を示す図である。 図21は、送信部及び特定範囲出力部の機能構成及び特定範囲表示処理の具体例を示す図である。 図22は、特定範囲出力部の機能構成及び特定範囲出力処理の具体例を示す第2の図である。 図23は、ユーザ端末の実空間における位置を示す座標情報の算出例を示す図である。 図24は、ユーザ端末の機能構成の一例を示す図である。 図25は、特定範囲入力部の機能構成の一例を示す図である。 図26は、中心位置決定処理の具体例を示す第1の図である。 図27は、中心位置決定処理の具体例を示す第2の図である。 図28は、中心位置決定処理の具体例を示す第3の図である。 図29は、中心位置決定処理の具体例を示す第4の図である。
 以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
 [第1の実施形態]
 <空気調和システムのシステム構成>
 はじめに、第1の実施形態にかかる空気調和システムのシステム構成について説明する。図1は、空気調和システムのシステム構成の一例を示す図である。
 図1に示すように、空気調和システム100は、空気調和装置110と、撮像装置120と、表示装置130と、ユーザ端末140とを有する。空気調和装置110と、ユーザ端末140とは、無線通信を介して接続される。
 空気調和装置110は、例えば、家庭用空気調和装置の室内機111や、業務用空気調和装置の室内機112a、エッジ装置112b(制御装置)及び操作パネル112c等を含む。
 室内機111は、実空間の空調制御を行う。具体的には、室内機111は、
・ユーザ端末140から無線通信を介して送信される各種指示及び各種情報、
・撮像装置120から送信される撮影画像(例えば、RGB画像)、
・室内機111が有するセンサにより測定されたデータ、
に基づいて、内蔵する制御装置が動作し、実空間の空調制御を行う。なお、室内機111は、撮像装置120を内蔵していてもよい。また、室内機111は、内蔵する制御装置が動作することで生成した各種情報を、無線通信を介してユーザ端末140に送信する、あるいは、表示装置130に送信する。
 同様に、室内機112aは、実空間の空調制御を行う。具体的には、室内機112aは、
・操作パネル112cから送信される、またはユーザ端末140から無線通信を介して送信される各種指示及び各種情報、
・撮像装置120から送信される撮影画像、
・室内機112aが有するセンサにより測定されたデータ、
に基づいて、エッジ装置112b(制御装置)が動作し、実空間の空調制御を行う。
 また、室内機112aは、エッジ装置112bが動作することで生成した各種情報を、無線通信を介してユーザ端末140に送信する、あるいは、表示装置130に送信する。なお、操作パネル112cは、表示装置130として機能してもよい。
 第1の実施形態において、
・室内機111に内蔵された制御装置、及び、
・室内機112aに接続されたエッジ装置112b、
は、実空間内の特定範囲に対して、非特定範囲(特定範囲以外の範囲)とは異なる空調制御を行うことが可能である。
 撮像装置120は、例えば、室内の防犯カメラ121、監視カメラ122等を含む。防犯カメラ121、監視カメラ122等は、家庭用空気調和装置の室内機111が設置された実空間内や、業務用空気調和装置の室内機112aが設置された実空間内を撮影し、撮影画像を空気調和装置110に送信する。
 表示装置130は、例えば、モニタ131等を含む。モニタ131等は、家庭用空気調和装置の室内機111が設置された実空間内や、業務用空気調和装置の室内機112aが設置された実空間内に設置される。また、モニタ131等は、室内機111に内蔵された制御装置または室内機112aに接続されたエッジ装置112bにおいて生成された表示画像を表示する。
 ユーザ端末140は、例えば、スマートフォン141や、家庭用空気調和装置のリモコン142、ウェアラブル機器(不図示)等を含む。スマートフォン141やリモコン142、ウェアラブル機器(不図示)等は、実空間内のユーザによって保持され(あるいは装着され)、ユーザによって入力された各種指示や各種情報を、空気調和装置110に送信する。これにより、ユーザはユーザ端末140を介して実空間において特定範囲を登録することができる。
 また、スマートフォン141やリモコン142、ウェアラブル機器(不図示)等は、空気調和装置110から送信される各種情報に基づいて、登録された特定範囲をユーザに通知する。これにより、ユーザは、実空間において、どの範囲が特定範囲として登録されているのかを、ユーザ端末140を介して把握することができる。
 <実空間の具体例>
 次に、空気調和システム100が適用される実空間の具体例について説明する。図2は、空気調和システムが適用される実空間の一例を示す図である。
 図1において、実空間210は、ユーザ211の自室である。実空間210に適用された空気調和システム100は、撮像装置120が内蔵された室内機111と、スマートフォン141とを有する。なお、室内機111の制御装置(不図示)は、実空間210内の各位置を、座標軸212に基づく座標情報により識別する。
 一方、実空間220は、ユーザ221、222の執務室である。実空間220に適用された空気調和システム100は、室内機112a、エッジ装置112b(不図示)、操作パネル112cと、防犯カメラ121と、モニタ131と、スマートフォン141とを有する。なお、エッジ装置112b(不図示)は、実空間220内の各位置を、座標軸223に基づく座標情報により識別する。
 <制御装置及びユーザ端末のハードウェア構成>
 次に、空気調和装置110の室内機111に内蔵された制御装置または空気調和装置110の室内機112aに接続されたエッジ装置112b(制御装置)のハードウェア構成と、ユーザ端末140のハードウェア構成とについて、図3を用いて説明する。
 図3は、制御装置のハードウェア構成及びユーザ端末のハードウェア構成の一例を示す図である。
 (1)制御装置のハードウェア構成
 このうち、図3の3aは、空気調和装置110の制御装置のハードウェア構成の一例を示している。図3の3aに示すように、空気調和装置110の制御装置は、プロセッサ301、メモリ302、補助記憶装置303を有する。また、空気調和装置110の制御装置は、I/F(Interface)装置304、通信装置305を有する。なお、空気調和装置110の制御装置の各ハードウェアは、バス306を介して相互に接続されている。
 プロセッサ301は、CPU(Central Processing Unit)等の各種演算デバイスを有する。プロセッサ301は、各種プログラム(例えば、後述する登録プログラム等)をメモリ302上に読み出して実行する。
 メモリ302は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ301とメモリ302とは、いわゆるコンピュータ(ハードウェアとしての「制御部」)を形成し、プロセッサ301が、メモリ302上に読み出した各種プログラムを実行することで、空気調和装置110の制御装置は、各種機能を実現する。
 補助記憶装置303は記憶部の一例であり、各種プログラムや、各種プログラムがプロセッサ301によって実行される際に用いられる各種データを格納する。
 I/F装置304は、空気調和装置110の制御装置と、他の装置とを接続する接続デバイスである。本実施形態において他の装置には、撮像装置120、表示装置130が含まれる。また、本実施形態において他の装置には、空気調和装置110の室内機111が有するセンサまたは室内機112aが有するセンサの一例である、電波送受信装置310が含まれる。電波送受信装置310は、例えば、実空間内をレーザ光によりスキャンすることで電波情報(レーザ光の反射信号)を取得する、TOF方式の深度センサ(3次元位置計測センサの一例)である。電波送受信装置310が取得する、実空間210または220内の任意の方向の電波情報を用いることで、実空間210または220内の複数の物体の位置を示す座標情報(いわゆる深度マップ)を算出することができる。
 通信装置305は、空気調和装置110の制御装置と、ユーザ端末140との間で情報を送受信する通信デバイスである。
 (2)ユーザ端末のハードウェア構成
 一方、図3の3bは、ユーザ端末140のハードウェア構成の一例を示している。図3の3bに示すように、ユーザ端末140は、プロセッサ321、メモリ322、補助記憶装置323、通信装置324、操作装置325、表示装置326を有する。また、ユーザ端末140は、撮像装置327、加速度センサ328、音声入力装置329、音声出力装置330、振動装置331を有する。なお、ユーザ端末140の各ハードウェアは、バス332を介して相互に接続されている。
 プロセッサ321は、CPU(Central Processing Unit)等の各種演算デバイスを有する。プロセッサ321は、各種プログラム(例えば、後述する空調操作プログラム等)をメモリ322上に読み出して実行する。
 メモリ322は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ321とメモリ322とは、いわゆるコンピュータ(ハードウェアとしての「制御部」)を形成し、プロセッサ321が、メモリ322上に読み出した各種プログラムを実行することで、ユーザ端末140は、各種機能を実現する。
 補助記憶装置323は、各種プログラムや、各種プログラムがプロセッサ321によって実行される際に用いられる各種データを格納する。
 通信装置324は、ユーザ端末140と、空気調和装置110の制御装置との間で情報を送受信する通信デバイスである。
 操作装置325は、ユーザ端末140に対するユーザ211、221、222等からの各種指示を受け付ける。表示装置326は、空気調和装置110の制御装置から送信された各種情報に基づく表示画像を表示する。
 撮像装置327は、例えば、実空間210、220内を撮影する。加速度センサ328は、ユーザ端末140の3軸方向の加速度を測定する。音声入力装置329は、ユーザ211、221、222等の音声を入力する。音声出力装置330は、例えば、空気調和装置110の制御装置から送信された各種情報に基づく音を出力する。振動装置331は、例えば、空気調和装置110の制御装置から送信された各種情報に基づく振動を出力する。
 <運転モード及び操作画面>
 次に、空気調和システム100が稼働する際に、ユーザ端末にて上記空調操作プログラムが実行されることで実現される運転モードと、ユーザ端末140に表示される操作画面について説明する。図4は、空気調和システムの運転モードと、操作画面の一例を示す図である。
 このうち、図4の4aは、空気調和システム100が稼働する際の運転モードを示している。図4の4aに示すように、空気調和システム100では、稼働中に「通常運転モード」または「特定運転モード」のいずれかに遷移する。
 「通常運転モード」とは、空気調和システム100を従来の運転情報に基づいて稼働させ、実空間210、220の空調制御を行うモードである。一方、「特定運転モード」とは、空気調和システム100を稼働させる際、特定範囲と非特定範囲とで異なる運転情報のもとで空調制御を行うモードである。
 また、図4の4bは、特定運転モードで空気調和システム100を稼働させる際に、ユーザ端末140に表示される操作画面の一例を示している。図4の4bに示すように、「特定運転」ボタン412が押下されることで、特定運転モードの操作画面400に遷移する。操作画面400には、運転情報表示欄411、特定範囲入力欄413、「特定範囲表示」ボタン414、「運転情報入力」ボタン415、「開始」ボタン416、「停止」ボタン417が含まれる。
 運転情報表示欄411には、特定範囲に設定された運転情報が表示される。特定範囲が複数ある場合には、特定範囲ごとに運転情報が表示される。図4の例は、“特定範囲1”に、運転情報として、温度=「XX℃」、風向=「当たらない」、風量=「0」が設定された様子を示している。
 特定範囲入力欄413には、ユーザ211、221、222等が特定範囲を入力する際に用いる指示ボタンが含まれる。「範囲入力」ボタンは、特定範囲の入力開始を指示する際に押圧操作されるボタンである。
 「増減」ボタンは、特定範囲の大きさを入力する際に押圧操作されるボタンである。なお、「増減」ボタンを押圧操作して「半径情報」入力欄(図中の“Rmm”)に特定範囲の大きさを入力する代わりに、設定操作を行い、特定範囲の大きさを示す数値を直接「半径情報」入力欄に入力してもよい。
 「対象撮影」ボタンは、対象物の領域を特定範囲とすべく対象物を撮影する際に、押圧操作されるボタンである。「対象撮影」ボタンが押圧操作されることで撮像装置327が起動し、撮影が開始される。
 「範囲削除」ボタンは、既に登録されている特定範囲を削除する際に押圧操作されるボタンである。「範囲移動」ボタンは、既に登録されている特定範囲を移動する際に押圧操作されるボタンである。
 「反転」ボタンとは、既に登録されている特定範囲に対して空調制御を行う場合に用いられる運転情報と、特定範囲とは異なる非特定範囲に対して空調制御を行う場合に用いられる運転情報とを、入れ替える際に押圧操作されるボタンである。
 「特定範囲表示」ボタン414は、押圧操作されることで、撮像装置327が起動し、撮像装置327により撮影された撮影画像を表示画面に表示するとともに、空気調和装置110の制御装置から送信された各種情報に基づく表示画像を重畳して表示する。
 「運転情報入力」ボタン415は、ユーザ211、221、222等が運転情報を入力する際に押圧操作されるボタンである。「運転情報入力」ボタン415が押圧操作されることで、特定運転モードにおいて入力可能な項目が表示され、ユーザ211、221、222等は、各項目に対応する運転情報を入力する。
 なお、運転情報は、特定範囲ごとに同一の内容が登録できるように構成してもよいし、同一の特定範囲内の各位置に対して異なる内容が登録できるように構成してもよい。また、過去に登録された運転情報の履歴を読み出して、他の特定範囲に対して登録できるように構成してもよい。更に、現在登録されている特定範囲それぞれに対応付けられた運転情報を、特定範囲間で入れ替えて登録できるように構成してもよい。
 「開始」ボタン416は、特定運転モードによる空調制御を開始するよう、空気調和装置110に指示する際に用いられる、空調指示操作のためのボタンである。「停止」ボタン417は、特定運転モードによる空調制御を停止するよう、空気調和装置110に指示する際に用いられる、空調指示操作のためのボタンである。
 <制御装置の機能構成>
 次に、特定運転モードにおける空気調和装置110の制御装置の機能構成について説明する。図5は、特定運転モードにおける制御装置の機能構成の一例を示す図である。上述したように、空気調和装置110の制御装置には、登録プログラムがインストールされており、当該プログラムが実行されることにより、空気調和装置110の制御装置は、特定範囲入力部501、空調制御部502、特定範囲出力部503として機能する。
 特定範囲入力部501は、ユーザ端末140から送信された各種指示及び各種情報、撮像装置120から送信される撮影画像、室内機111が有するセンサにより測定されたデータ等に基づいて、特定範囲及び運転情報を決定する。また、特定範囲入力部501は、決定した特定範囲及び運転情報を、空調制御部502に登録する。具体的には、特定範囲入力部501は、決定した特定範囲及び運転情報を空調制御部502に通知する。これにより、空調制御部502は、空気調和装置110の制御装置が有する補助記憶装置303のうち、空調制御部502が利用可能な記憶領域である、特定範囲及び運転情報記憶部に格納する。
 空調制御部502は、特定範囲入力部501により登録された、特定範囲及び運転情報に基づいて、空調制御を行う。
 特定範囲出力部503は、空調制御部502に登録された特定範囲を、ユーザ211、221、222等に通知するための画像(特定範囲画像)を、表示装置130に送信する。
 <特定範囲入力部の機能構成及び特定範囲決定処理の具体例>
 次に、特定範囲入力部501の機能構成(ここでは、特定範囲の決定に関わる機能構成)の詳細と、特定範囲決定処理の具体例について、(1)~(6)のパターンについて説明する。
 (1)パターン1
 図6は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第1の図である。図6に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部604、半径情報特定部605、特定範囲決定部607を有する。
 撮影画像取得部601は、撮像装置120により撮影された撮影画像を取得し、位置情報取得部603に通知する。
 電波情報取得部602は、電波送受信装置310により送受信された電波情報を取得し、位置情報取得部603に通知する。
 位置情報取得部603は、通知された撮影画像と電波情報とに基づいて、ユーザ端末140の、実空間210または220内における位置を示す座標情報(x,y,z)を算出する。例えば、電波情報取得部602は、電波情報に基づいて実空間内の複数の物体の位置を示す座標情報を算出し、算出した複数の物体の位置を示す座標情報の中から、撮影画像に基づいて画像認識されたユーザ端末140の位置を示す座標情報を抽出する。
 操作内容取得部604は、ユーザ端末140より送信される操作内容を取得する。図6の例は、操作内容として、「範囲入力」ボタンが押圧操作され、「増減」ボタンが押圧操作された様子を示している。
 操作内容取得部604では、「範囲入力」ボタンが押圧操作されたことにより、範囲入力指示を取得すると、当該範囲入力指示を特定範囲決定部607に通知する。なお、特定範囲決定部607では、操作内容取得部604より範囲入力指示が通知された際に、位置情報取得部603より通知された座標情報を、特定範囲の中心点の位置を示す中心位置情報(x,y、z)として保持する。
 また、操作内容取得部604では、「増減」ボタンがn回タップされたことにより(タップ操作が繰り返されたことにより)、タップ情報を取得すると、当該タップ情報を半径情報特定部605に通知する。あるいは、操作内容取得部604では、「増減」ボタンがt秒長押しされたことにより(押圧操作が所定時間継続したことにより)、タップ情報を取得すると、当該タップ情報を半径情報特定部605に通知する。
 半径情報特定部605は、操作内容取得部604より通知されたタップ情報に基づいて、半径情報(R)を算出し、特定範囲決定部607に通知する。半径情報特定部605では、タップ回数(繰り返された回数)または長押し時間(継続した時間)に比例した半径情報(R)を算出する。
 特定範囲決定部607は、形状記憶部610を参照し、特定範囲の所定形状の形状情報を取得する。図6の例は、形状記憶部610を参照することで、球形状情報を取得した様子を示している。ただし、形状記憶部610を参照することで取得する形状情報は、球形状情報に限定されず、例えば、円錐形状情報等、他の任意の立体形状情報であってもよい。
 また、特定範囲決定部607は、特定範囲の中心位置情報(x,y、z)と、半径情報特定部605より通知された半径情報(R)と、形状記憶部610より取得した球形状情報とに基づいて、特定範囲621を決定する。つまり、特定範囲決定部607は、中心位置情報を基準とする周辺範囲を特定範囲621として決定する。
 図6の例は、途中のタップ情報に基づいて、特定範囲620が生成された様子を示している。このように、図6の例によれば、ユーザ211は、タップ回数または長押し時間を調整することで、特定範囲の大きさを調整することができる。
 なお、ユーザ端末140は、
・ユーザ211が、「増減」ボタンをタップすることにより、あるいは、
・長押しすることにより、
半径情報(R)が一定量変化するごとに、所定の刺激(音、光、または振動)をユーザ211に通知してもよい。これにより、ユーザ211は、半径情報(R)が一定量変化したことを把握することができる。
 (2)パターン2
 図7は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第2の図である。図7に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部701、特定範囲決定部607を有する。
 このうち、撮影画像取得部601~位置情報取得部603は、図6を用いて説明済みであるため、ここでは説明を省略する。
 操作内容取得部701は、ユーザ端末140より送信される操作内容を取得する。図7の例は、操作内容として、「範囲入力」ボタンが押圧操作され、「半径情報」入力欄に、半径情報(R)が直接入力された様子を示している。
 操作内容取得部701では、「範囲入力」ボタンが押圧操作されたことにより、範囲入力指示を取得すると、当該範囲入力指示を特定範囲決定部607に通知する。なお、特定範囲決定部607では、操作内容取得部604より範囲入力指示が通知された際に、位置情報取得部603より通知された座標情報を、特定範囲の中心位置情報(x,y、z)として保持する。
 また、操作内容取得部701では、「半径情報」入力欄に、半径情報(R)が直接入力されたことより、半径情報(R)を取得すると、当該半径情報(R)を特定範囲決定部607に通知する。
 なお、特定範囲決定部607による特定範囲621の決定方法は、図6と同様であるため、ここでは説明を省略する。
 (3)パターン3
 図8は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第3の図である。図8に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部801、中心位置及び半径情報算出部802、特定範囲決定部803を有する。
 このうち、撮影画像取得部601~位置情報取得部603は、図6を用いて説明済みであるため、ここでは説明を省略する。ただし、図8の場合、位置情報取得部603は、算出した座標情報を、中心位置及び半径情報算出部802に通知する。
 操作内容取得部801は、ユーザ端末140より送信される操作内容を取得し、中心位置及び半径情報算出部802に通知する。図8の例は、操作内容として、「範囲入力」ボタンが押圧操作されたことで、範囲入力指示が通知された様子を示している。
 なお、図8に示すように、パターン3の場合、ユーザ211は、「範囲入力」ボタンを押圧操作した後に、ユーザ端末140に対して移動操作を行い、実空間210内に円弧の軌跡を描くことで、特定範囲の位置及び大きさを指定する。
 具体的には、中心位置及び半径情報算出部802は、操作内容取得部801より範囲入力指示が通知された後に、位置情報取得部603から通知された、移動操作中の座標情報(座標情報(x,y,z,)~(x,y,z))を取得する。
 また、中心位置及び半径情報算出部802は、取得した座標情報(座標情報(x,y,z,)~(x,y,z))に基づいて、円弧の中心点の位置を示す中心位置情報(x,y、z)を算出し、特定範囲決定部803に通知する。
 また、中心位置及び半径情報算出部802は、取得した座標情報(座標情報(x,y,z,)~(x,y,z))のうち、中心位置情報(x,y、z)からの距離の最大値を算出する。更に、中心位置及び半径情報算出部802は、算出した最大値を、半径情報(R)として、特定範囲決定部803に通知する。
 特定範囲決定部803は、形状記憶部610を参照し、特定範囲の所定形状の形状情報を取得する。図8の例は、形状記憶部610を参照することで、球形状情報を取得した様子を示している。ただし、形状記憶部610を参照することで取得する形状情報は、球形状情報に限定されず、例えば、円錐形状情報等、他の任意の立体形状情報であってもよい。
 また、特定範囲決定部803は、中心位置及び半径情報算出部802より通知された、中心位置情報(x,y、z)と、半径情報(R)と、形状記憶部610より取得した球形状情報とに基づいて、特定範囲621を決定する。つまり、特定範囲決定部803は、中心位置情報を基準とする周辺範囲を特定範囲621として決定する。
 (4)パターン4
 図9は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第4の図である。図9に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部801、中心位置及び半径情報算出部802、射影方向判定部901、特定範囲決定部902を有する。
 このうち、撮影画像取得部601~位置情報取得部603は、図6を用いて説明済みであるため、ここでは説明を省略する。また、操作内容取得部801~中心位置及び半径情報算出部802は、図8を用いて説明済みであるため、ここでは説明を省略する。
 射影方向判定部901は、撮像装置120がユーザ端末140を撮影した際の撮影方向を射影方向として、特定範囲決定部902に通知する。
 特定範囲決定部902は、形状記憶部610を参照し、特定範囲の所定形状の形状情報を取得する。図9の例は、形状記憶部610を参照することで、球形状情報を取得した様子を示している。
 また、特定範囲決定部902は、中心位置及び半径情報算出部802より通知された、中心位置情報(x,y,z)と、半径情報(R)と、形状記憶部610より取得した球形状情報とに基づいて、特定範囲を算出する。更に、特定範囲決定部902は、射影方向判定部901より通知された射影方向に基づいて、算出した特定範囲の大きさと形状とを維持したまま中心点の位置を射影方向に所定量ずらし、中心位置情報(x’,y’,z’)を算出する。これにより、特定範囲決定部902は、射影領域を特定範囲621として決定する。つまり、特定範囲決定部902は、中心位置情報を基準とする周辺範囲を特定範囲621として決定する。
 なお、図9の例では、特定範囲を算出してから射影する場合について説明したが、ユーザ端末140に対する移動操作に基づく軌跡を射影してから、特定範囲を算出してもよい。具体的には、はじめに、座標情報(座標情報(x,y,z,)~(x,y,z))を、撮像装置120により撮影された撮影画像に基づき撮影方向に射影する。そして、射影後の座標情報により特定される射影領域(中心位置情報と、半径情報(R)と、球形状情報とに基づいて特定される領域)を、特定範囲として決定する。
 (5)パターン5
 図10は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第5の図である。図10に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部801、中心位置及び半径情報算出部802、射影方向判定部1001、特定範囲決定部1002を有する。
 このうち、撮影画像取得部601~位置情報取得部603は、図6を用いて説明済みであるため、ここでは説明を省略する。また、操作内容取得部801~中心位置及び半径情報算出部802は、図8を用いて説明済みであるため、ここでは説明を省略する。
 射影方向判定部1001は、ユーザ端末140とユーザ211との位置関係に応じた所定方向を、射影方向として判定し、判定した射影方向を特定範囲決定部1002に通知する。
 特定範囲決定部1002は、形状記憶部610を参照し、特定範囲の所定形状の形状情報を取得する。図10の例は、形状記憶部610を参照することで、球形状情報を取得した様子を示している。
 また、特定範囲決定部1002は、中心位置及び半径情報算出部802より通知された、中心位置情報(x,y,z)と、半径情報(R)と、形状記憶部610より取得した球形状情報とに基づいて、特定範囲を算出する。更に、特定範囲決定部1002は、射影方向判定部1001より通知された射影方向に基づいて、算出した特定範囲の大きさと形状とを維持したまま中心点の位置を射影方向に所定量ずらし、中心位置情報(x’,y’,z’)を算出する。これにより、特定範囲決定部1002は、射影領域を特定範囲621として決定する。つまり、特定範囲決定部1002は、中心位置情報を基準とする周辺範囲を特定範囲621として決定する。
 なお、図10の例では、特定範囲を算出してから射影する場合について説明したが、ユーザ端末140に対する移動操作に基づく軌跡を射影してから、特定範囲を算出してもよい。
 具体的には、はじめに、座標情報(座標情報(x,y,z,)~(x,y,z))を、撮像装置120により撮影された撮影画像から特定される、ユーザ211とユーザ端末140との位置関係に基づき射影する。そして、射影後の座標情報により特定される射影領域(中心位置情報と、半径情報(R)と、球形状情報とに基づいて特定される領域)を、特定範囲として決定する。
 (6)パターン6
 図11は、特定範囲入力部の機能構成及び特定範囲決定処理の具体例を示す第6の図である。図11に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部1101、対象領域算出部1102、特定範囲決定部1103を有する。
 このうち、撮影画像取得部601~位置情報取得部603は、図6を用いて説明済みであるため、ここでは説明を省略する。
 操作内容取得部1101は、ユーザ端末140より送信される操作内容を取得する。図11の例は、操作内容として、はじめに、「範囲入力」ボタンが押圧操作され、その後、「対象撮影」ボタンが押圧操作された様子を示している。
 操作内容取得部1101では、「範囲入力」ボタンが押圧操作されることにより、範囲入力指示を取得する。また、操作内容取得部1101では、「対象撮影」ボタンが押圧操作されることにより、ユーザ端末140にて撮影が開始された後、シャッタボタン(不図示)が押圧操作されることにより、撮影指示を取得し、対象領域算出部1102に通知する。なお、対象領域算出部1102では、操作内容取得部1101より撮影指示が通知された際に、位置情報取得部603より通知された座標情報を保持する。このとき保持される位置座標は、対象領域の座標情報を算出する際に用いられる、撮影時のユーザ端末140の座標情報である基準位置情報(x,y,z)となる。
 また、操作内容取得部1101では、シャッタボタン(不図示)が押圧操作されたことにより、ユーザ端末140より撮影画像を取得すると、当該撮影画像を対象領域算出部1102に通知する。
 対象領域算出部1102では、基準位置情報(x,y,z)に基づいて、撮影画像に含まれる対象物を特定し、実空間210内での対象物の領域(対象領域)の座標情報を算出する。
 なお、対象領域算出部1102では、基準位置情報(x,y,z)に基づいて、撮影画像に含まれる対象物を特定するにあたり、レイアウト情報格納部1104を参照する。レイアウト情報格納部1104には、実空間210内に配された各物体(例えば、観葉植物、椅子等)の物体名と、物体領域の座標情報(3次元データ等の形状データ)とが対応付けられたレイアウト情報が予め格納されているものとする。
 したがって、対象領域算出部1102では、撮影画像に含まれる物体に対応する物体名であって、基準位置情報(x,y,z)近傍の座標情報が対応付けられている物体名を、レイアウト情報の中から特定する。そして、対象領域算出部1102では、特定した物体名に対応付けられた物体領域の座標情報を、撮影された対象物の領域(対象領域)の座標情報として、特定範囲決定部1103に通知する。
 特定範囲決定部1103は、対象領域算出部1102より通知された対象領域の座標情報を、特定範囲621として決定する。
 <特定範囲入力部の機能構成及び特定範囲削除処理の具体例>
 次に、特定範囲入力部501の機能構成(ここでは、特定範囲の削除に関わる機能構成)の詳細と、特定範囲削除処理の具体例について説明する。
 図12は、特定範囲入力部の機能構成及び特定範囲削除処理の具体例を示す図である。図12に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部1201、削除対象判定部1202、特定範囲削除部1203を有する。
 このうち、撮影画像取得部601~位置情報取得部603は、図6を用いて説明済みであるため、ここでは説明を省略する。ただし、図12の場合、位置情報取得部603は、算出した座標情報を、削除対象判定部1202に通知する。
 操作内容取得部1201は、ユーザ端末140より送信される操作内容を取得し、削除対象判定部1202に通知する。図12の例は、操作内容として、「範囲削除」ボタンが押圧操作されたことで、範囲削除指示が通知された様子を示している。
 削除対象判定部1202は、操作内容取得部1201より範囲削除指示が通知された際に、位置情報取得部603より通知された座標情報を、特定範囲の削除対象の判定に用いる削除位置情報(x,y、z)として保持する。
 また、削除対象判定部1202は、空調制御部502に既に登録されている特定範囲情報を読み出し、削除位置情報(x,y、z)が含まれる特定範囲を判定する。更に、削除対象判定部1202は、判定した特定範囲を削除対象の特定範囲として、特定範囲削除部1203に通知する。
 特定範囲削除部1203は、空調制御部502に既に登録されている特定範囲情報から、削除対象判定部1202より通知された特定範囲を削除する。
 このように、特定範囲削除部1203は、ユーザ端末140が削除対象の特定範囲内に位置している状態で「範囲削除」ボタンが押圧操作された場合に、当該削除対象の特定範囲を削除する。
 <特定範囲入力部の機能構成及び特定範囲移動処理の具体例>
 次に、特定範囲入力部501の機能構成(ここでは、特定範囲の移動に関わる機能構成)の詳細と、特定範囲移動処理の具体例について説明する。
 図13は、特定範囲入力部の機能構成及び特定範囲移動処理の具体例を示す図である。図13に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部1301、移動対象判定部1302、特定範囲更新部1303を有する。
 このうち、撮影画像取得部601~位置情報取得部603は、図6を用いて説明済みであるため、ここでは説明を省略する。ただし、図13の場合、位置情報取得部603は、算出した座標情報を、移動対象判定部1302に通知する。
 操作内容取得部1301は、ユーザ端末140より送信される操作内容を取得し、移動対象判定部1302に通知する。図13の例は、操作内容として、「範囲移動」ボタンが押圧操作されたことで、範囲移動開始指示及び範囲移動終了指示が通知された様子を示している。
 移動対象判定部1302は、操作内容取得部1301より範囲移動開始指示が通知された際に、位置情報取得部603より通知された座標情報を、移動前位置情報(x,y,z)として保持する。
 また、移動対象判定部1302は、空調制御部502に既に登録されている特定範囲情報を読み出し、移動前位置情報(x,y,z)が含まれる特定範囲を判定する。更に、移動対象判定部1302は、判定した特定範囲の中心位置情報である移動前中心位置情報(x,y,z)を取得する。
 また、移動対象判定部1302は、ユーザ端末140に対する移動操作後、操作内容取得部1301より範囲移動終了指示が通知された際に、位置情報取得部603より通知された座標情報を、移動後位置情報(x’,y’,z’)として保持する。
 また、移動対象判定部1302は、移動前位置情報(x,y,z)と、移動後位置情報(x’,y’,z’)との差分を、移動前中心位置情報(x,y,z)に加算する。これにより、移動対象判定部1302は、移動後中心位置情報(x’,y’,z’)を算出する。
 更に、移動対象判定部1302は、算出した移動後中心位置情報(x’,y’,z’)を特定範囲更新部1303に通知する。
 特定範囲更新部1303は、移動対象判定部1302より通知された移動後中心位置情報(x’,y’,z’)に基づいて、空調制御部502に既に登録されている、対応する特定範囲情報を更新する。
 このように、特定範囲更新部1303は、ユーザ端末140が移動対象の特定範囲内に位置している状態で「範囲移動」ボタンが押圧操作され、移動操作が行われた場合に、当該移動対象の特定範囲を移動する。
 <特定範囲入力部の機能構成及び運転情報入力処理の具体例>
 次に、特定範囲入力部501の機能構成(ここでは、運転情報の入力に関わる機能構成)の詳細と、運転情報入力処理の具体例について説明する。
 図14は、特定範囲入力部の機能構成及び運転情報入力処理の具体例を示す図である。図14に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部1401、運転情報取得部1402、運転情報設定部1403を有する。
 このうち、撮影画像取得部601~位置情報取得部603は、図6を用いて説明済みであるため、ここでは説明を省略する。ただし、図14の場合、位置情報取得部603は、算出した座標情報を、運転情報取得部1402に通知する。
 操作内容取得部1401は、ユーザ端末140より送信される操作内容を取得し、運転情報取得部1402に通知する。図14の例は、操作内容として、「運転情報入力」ボタン415が押圧操作されたことで、運転情報入力指示が通知された様子を示している。更に、図14の例は、操作内容として、運転情報が入力されたことで、運転情報が通知された様子を示している。
 運転情報取得部1402は、操作内容取得部1401より運転情報入力指示が通知された際に、位置情報取得部603より通知された座標情報を、入力位置情報(x,y,z)として保持する。
 また、運転情報取得部1402は、空調制御部502に既に登録されている特定範囲情報を読み出し、入力位置情報(x,y,z)が含まれる特定範囲を判定する。更に、運転情報取得部1402は、判定した特定範囲を、通知された運転情報とともに、運転情報設定部1403に通知する。
 運転情報設定部1403は、運転情報取得部1402より通知された運転情報を、通知された特定範囲の運転情報として、特定範囲と対応付けて登録する。
 このように、運転情報設定部1403は、ユーザ端末140が運転情報を登録しようとしている特定範囲内に位置している状態で「運転情報入力」ボタンが押圧操作され、運転情報が入力された場合に、当該特定範囲に対応付けて運転情報を登録する。
 <特定範囲入力部の機能構成及び運転情報反転処理の具体例>
 次に、特定範囲入力部501の機能構成(ここでは、運転情報の反転に関わる機能構成)の詳細と、運転情報反転処理の具体例について説明する。図15は、特定範囲入力部の機能構成及び運転情報反転処理の具体例を示す図である。図15に示すように、特定範囲入力部501は、撮影画像取得部601、電波情報取得部602、位置情報取得部603、操作内容取得部1501、反転指示取得部1502、運転情報更新部1503を有する。
 このうち、撮影画像取得部601~位置情報取得部603は、図6を用いて説明済みであるため、ここでは説明を省略する。ただし、図15の場合、位置情報取得部603は、算出した座標情報を、反転指示取得部1502に通知する。
 操作内容取得部1501は、ユーザ端末140より送信される操作内容を取得し、反転指示取得部1502に通知する。図15の例は、操作内容として、「反転」ボタンが押圧操作されたことで、反転指示が通知された様子を示している。
 反転指示取得部1502は、操作内容取得部1501より反転指示が通知された際に、位置情報取得部603より通知された座標情報を、反転位置情報(x,y,z)として保持する。
 また、反転指示取得部1502は、空調制御部502に既に登録されている特定範囲情報を読み出し、反転位置情報(x,y,z)が含まれる特定範囲を判定する。更に、反転指示取得部1502は、判定した特定範囲に対応付けられた運転情報と、非特定範囲に対応付けられた運転情報とを読み出し、運転情報更新部1503に通知する。
 運転情報更新部1503は、反転指示取得部1502より通知された特定範囲に対応付けられた運転情報と、非特定範囲に対応付けられた運転情報とを入れ替え、入れ替え後の運転情報を、空調制御部502に登録する。
 このように、運転情報更新部1503は、ユーザ端末140が運転情報を反転しようとしている特定範囲内に位置している状態で「反転」ボタンが押圧操作された場合に、当該特定範囲の運転情報を、非特定範囲の運転情報と入れ替える。
 <特定範囲出力部の機能構成及び特定範囲表示処理の具体例>
 次に、特定範囲出力部503の機能構成(ここでは、特定範囲の表示に関わる機能構成)の詳細と、特定範囲表示処理の具体例について説明する。図16は、特定範囲出力部の機能構成及び特定範囲出力処理の具体例を示す第1の図である。図16に示すように、特定範囲出力部503は、特定範囲情報取得部1601、撮影画像取得部1602、特定範囲画像生成部1603を有する。
 特定範囲情報取得部1601は、空調制御部502に登録されている特定範囲情報を読み出し、特定範囲画像生成部1603に通知する。
 撮影画像取得部1602は、撮像装置120により撮影された撮影画像を取得し、特定範囲画像生成部1603に通知する。
 特定範囲画像生成部1603は、特定範囲情報取得部1601より通知された特定範囲情報に基づいて、特定範囲を示す画像を生成する。また、特定範囲画像生成部1603は、撮影画像取得部1602より通知された撮影画像上の、特定範囲情報に応じた位置に、生成した特定範囲を示す画像を重畳することで、特定範囲画像を生成する。
 また、特定範囲画像生成部1603は、撮影画像または生成した特定範囲画像をモニタ131に送信することで、モニタ131に、撮影画像または特定範囲画像を表示する。
 図16の例は、モニタ131に撮影画像1611を表示した様子、及び、モニタ131に特定範囲画像1612を表示した様子をそれぞれ示している。
 <特定運転モードにおける特定範囲登録処理の流れ>
 次に、空気調和システム100の特定運転モードにおける特定範囲登録処理の流れについて説明する。図17及び図18は、特定運転モードにおける特定範囲登録処理の流れを示す第1及び第2のフローチャートである。
 ステップS1701において、特定範囲入力部501は、ユーザ端末140の座標情報を算出する。
 ステップS1702において、特定範囲入力部501は、範囲入力指示を取得したか否かを判定する。ステップS1702において、範囲入力指示を取得していないと判定した場合には(ステップS1702においてNOの場合には)、ステップS1706に進む。
 一方、ステップS1702において、特定範囲入力部501は、範囲入力指示を取得したと判定した場合には(ステップS1702においてYESの場合には)、ステップS1703に進む。
 ステップS1703において、特定範囲入力部501は、ユーザ端末140に対する操作内容を取得する。
 ステップS1704において、特定範囲入力部501は、ユーザ端末140の座標情報と、ユーザ端末140に対する操作内容とに基づいて、特定範囲を決定し、特定範囲情報を生成する。
 ステップS1705において、特定範囲入力部501は、生成した特定範囲情報を空調制御部502に登録する。
 ステップS1706において、特定範囲入力部501は、範囲削除指示を取得したか否かを判定する。ステップS1706において、範囲削除指示を取得していないと判定した場合には(ステップS1706においてNOの場合には)、ステップS1709に進む。
 一方、ステップS1706において、特定範囲入力部501は、範囲削除指示を取得したと判定した場合には(ステップS1706においてYESの場合には)、ステップS1707に進む。
 ステップS1707において、特定範囲入力部501は、ユーザ端末140の座標情報に基づいて、削除対象の特定範囲を判定する。
 ステップS1708において、特定範囲入力部501は、判定した特定範囲の特定範囲情報を削除する。
 ステップS1709において、特定範囲入力部501は、範囲移動開始指示及び範囲移動終了指示を取得したか否かを判定する。ステップS1709において、範囲移動開始指示及び範囲移動終了指示を取得していないと判定した場合には(ステップS1709においてNOの場合には)、図18のステップS1801に進む。
 一方、ステップS1709において、範囲移動開始指示及び範囲移動終了指示を取得したと判定した場合には(ステップS1709においてYESの場合には)、ステップS1710に進む。
 ステップS1710において、特定範囲入力部501は、ユーザ端末140の座標情報に基づいて、移動対象の特定範囲を判定する。
 ステップS1711において、特定範囲入力部501は、判定した特定範囲を移動させ、移動後の特定範囲の特定範囲情報を登録する。
 ステップS1801において、特定範囲入力部501は、運転情報入力指示を取得したか否かを判定する。ステップS1801において、運転情報入力指示を取得していないと判定した場合には(ステップS1801においてNOの場合には)、ステップS1804に進む。
 一方、ステップS1801において、運転情報入力指示を取得したと判定した場合には(ステップS1801においてYESの場合には)、ステップS1802に進む。
 ステップS1802において、特定範囲入力部501は、ユーザ端末140の座標情報に基づいて、運転情報を登録しようとしている特定範囲を判定する。
 ステップS1803において、特定範囲入力部501は、判定した特定範囲に対応付けて運転情報を登録する。
 ステップS1804において、特定範囲入力部501は、反転指示を取得したか否かを判定する。ステップS1804において、反転指示を取得していないと判定した場合には(ステップS1804においてNOの場合には)、ステップS1807に進む。
 一方、ステップS1804において、反転指示を取得したと判定した場合には(ステップS1804においてYESの場合には)、ステップS1805に進む。
 ステップS1805において、特定範囲入力部501は、ユーザ端末140の座標情報に基づいて、運転情報を反転しようとしている特定範囲を判定する。
 ステップS1806において、特定範囲入力部501は、判定した特定範囲に対応付けられた運転情報と非特定範囲に対応付けられた運転情報とを反転させ、反転後の運転情報を登録する。
 ステップS1807において、特定範囲入力部501は、特定運転モードを終了するか否かを判定する。ステップS1807において、特定運転モードを継続すると判定した場合には(ステップS1807においてNOの場合には)、図17のステップS1701に戻る。
 一方、ステップS1807において、特定運転モードを終了すると判定した場合には(ステップS1807においてYESの場合には)、特定運転モードにおける特定範囲登録処理を終了する。
 <空気調和システムの動作例>
 次に、空気調和システム100の動作例について説明する。図19は、空気調和システムによる空調制御の一例を示す図である。図19の例は、特定範囲621に対しては、送風される空気があたるように運転情報が登録され、特定範囲1901及び1902に対しては、送風される空気があたらないように運転情報が登録された様子を示している。
 このように、第1の実施形態に係る空気調和システム100によれば、制御対象となる特定範囲の大きさや形状をユーザ211が自由に変えることができるとともに、一人のユーザ211に対して、特定範囲を複数登録することができる。
 <まとめ>
 以上の説明から明らかなように、第1の実施形態に係る空気調和システム100は、
・実空間内の特定範囲に対して、空調制御が可能な空気調和装置と、ユーザ端末とを有する。
・ユーザ端末の実空間における位置情報と、ユーザ端末に対する操作内容とに基づいて決定した特定範囲を登録する。
 これにより、第1の実施形態によれば、実空間において制御対象となる特定範囲を登録する空気調和システム及び登録プログラムを提供することができる。
 [第2の実施形態]
 上記第1の実施形態では、特定範囲出力部が、空気調和装置110の制御装置において実現されるものとして説明した。しかしながら、特定範囲出力部は、例えば、ユーザ端末140において実現されてもよい。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
 <制御装置及びユーザ端末の機能構成>
 はじめに、第2の実施形態に係る空気調和システムにおける、空気調和装置110の制御装置の機能構成、及び、ユーザ端末140の機能構成について説明する。
 図20は、特定運転モードにおける制御装置及びユーザ端末の機能構成の一例を示す図である。図20に示すように、第2の実施形態において、空気調和装置110の制御装置は、登録プログラムを実行することで、特定範囲入力部501、空調制御部502、送信部2001として機能する。
 このうち、特定範囲入力部501、空調制御部502は、上記第1の実施形態において図5を用いて説明済みであるため、ここでは説明を省略する。
 送信部2001は、空調制御部502により登録された特定範囲を、ユーザ211、221、222等に通知するための各種情報を、ユーザ端末140に送信する。
 一方、第2の実施形態において、ユーザ端末140は、空調操作プログラムを実行することで、特定範囲出力部2002として機能する。
 特定範囲出力部2002は、送信部2001より送信された各種情報に基づいて、ユーザ211、221、222等に対して、特定範囲を通知する処理を行う。
 <送信部及び特定範囲出力部の機能構成、特定範囲出力処理の具体例>
 次に、送信部2001及び特定範囲出力部2002の機能構成(ここでは、特定範囲出力処理に関わる機能構成)の詳細と、特定範囲出力処理の具体例について説明する。図21は、送信部及び特定範囲出力部の機能構成と、特定範囲出力処理の具体例を示す図である。
 図21に示すように、送信部2001は、撮影画像取得部2101、電波情報取得部2102、位置情報取得部2103、位置情報送信部2104、特定範囲情報取得部2105、特定範囲送信部2106を有する。
 撮影画像取得部2101は、撮像装置120により撮影された撮影画像を取得し、位置情報取得部2103に通知する。
 電波情報取得部2102は、電波送受信装置310により受信された電波情報を取得し、位置情報取得部2103に通知する。
 位置情報取得部2103は、通知された撮影画像と電波情報とに基づいて、ユーザ端末140の、実空間210または220内における位置を示す座標情報(x,y,z)を算出する。
 位置情報送信部2104は、位置情報取得部2103により算出された座標情報(x,y,z)を、ユーザ端末140の特定範囲出力部2002に送信する。
 特定範囲情報取得部2105は、空調制御部502に登録されている特定範囲情報を読み出し、特定範囲送信部2106に通知する。
 特定範囲送信部2106は、特定範囲情報取得部2105より通知された特定範囲情報を、特定範囲出力部2002に送信する。
 一方、特定範囲出力部2002は、位置情報取得部2111、特定範囲情報取得部2112、特定範囲画像生成部2113、撮影画像取得部2114、表示制御部2115を有する。
 位置情報取得部2111は、位置情報送信部2104より送信された座標情報(x,y,z)を取得し、特定範囲画像生成部2113に通知する。
 特定範囲情報取得部2112は、特定範囲送信部2106より送信された特定範囲情報を取得し、特定範囲画像生成部2113に通知する。
 特定範囲画像生成部2113は、位置情報取得部2111より通知された座標情報(x,y,z)に基づいて、ユーザ端末140が、現在、実空間内のどこに位置しているかを識別する。また、特定範囲画像生成部2113は、加速度センサ328の出力に基づいて、ユーザ端末140が、現在、どの方向を向いているか(ユーザ端末140の姿勢)を識別する。また、特定範囲画像生成部2113は、識別した位置及び方向(座標情報及び姿勢情報)から、ユーザ端末140の撮像装置327が撮影した場合の撮影範囲内の各位置の座標情報を算出する。更に、特定範囲画像生成部2113は、撮影範囲内の各位置の座標情報に対して、特定範囲情報取得部2112より通知された特定範囲情報を当てはめる。
 これにより、特定範囲情報取得部2112は、ユーザ端末140の撮像装置327が、撮影を開始した場合の撮影画像内の位置に、ユーザ端末140の向きに応じた向きの特定範囲の画像を生成することができる。なお、特定範囲画像生成部2113では、生成した特定範囲画像(3次元の画像)を、表示制御部2115に通知する。
 撮影画像取得部2114は、ユーザ端末140の操作画面400において、「特定範囲表示」ボタン414が押圧操作され、特定範囲表示指示が行われることで撮像装置327による撮影が開始されると、撮像装置327より、撮影された撮影画像を取得する。また、撮影画像取得部2114は、取得した撮影画像を表示制御部2115に通知する。
 表示制御部2115は、撮影画像取得部2114より通知された撮影画像に、特定範囲画像生成部2113より通知された特定範囲画像を重ね合わせることで、表示画像を生成する。また、表示制御部2115は、生成した表示画像をユーザ端末140の表示装置326の表示画面に表示する。
 図21の例は、ユーザ211が、座標情報(x,y,z)により特定される位置で、ユーザ端末140の操作画面400において、「特定範囲表示」ボタン414を押圧操作したことで、特定範囲表示指示を行い、撮影が開始された様子を示している。
 また、図21の例は、実空間210内に配された観葉植物2120について特定範囲情報が登録されていた場合を示している。この場合、ユーザ端末140の表示装置326の表示画面には、例えば、観葉植物2120を真横から撮影した撮影画像2121に対して、特定範囲画像が重畳された表示画像2122が表示されることになる。
 また、ユーザ端末140の表示装置326の表示画面には、例えば、観葉植物2120を真上から撮影した撮影画像2131に対して、特定範囲画像が重畳された表示画像2132が表示されることになる。
 このように、実空間210内の登録された特定範囲を、ユーザ端末140の拡張現実機能を用いて可視化することで、ユーザ211は、実空間210内のどの位置が特定範囲として登録されているのかを、ユーザ端末140を介して把握することができる。
 <まとめ>
 以上の説明から明らかなように、第2の実施形態に係る空気調和システム100は、上記第1の実施形態において説明した機能に加えて、
・ユーザ端末に対して撮影操作が行われることで撮影された撮影画像に、ユーザ端末の実空間における位置情報及び姿勢情報に基づいて生成された、特定範囲を示す3次元画像を重畳して表示する機能を有する。
 これにより、第2の実施形態によれば、上記第1の実施形態と同様の効果を享受することができるとともに、ユーザは、登録された特定範囲を、ユーザ端末140を介して把握することができるようになる。
 [第3の実施形態]
 上記第2の実施形態では、ユーザ端末140の撮像装置327により撮影された撮影画像に、特定範囲画像を重ね合わせた表示画像を、ユーザ端末140の表示画面に表示することで、登録された特定範囲情報をユーザに通知する場合について説明した。
 しかしながら、特定範囲情報をユーザに通知する通知方法はこれに限定されない。例えば、ユーザ端末140が、実空間において特定範囲内に位置しているのか、特定範囲外(非特定範囲内)に位置しているのかを、所定の刺激(音、光、または振動)を出力することで、ユーザに通知してもよい。
 以下、第3の実施形態について、上記第1及び第2の実施形態との相違点を中心に説明する。
 <ユーザ端末における特定範囲出力部の機能構成、特定範囲出力処理の具体例>
 はじめに、ユーザ端末140における特定範囲出力部2002の機能構成(ここでは、特定範囲出力処理に関わる機能構成)の詳細と、特定範囲出力処理の具体例について説明する。図22は、特定範囲出力部の機能構成及び特定範囲出力処理の具体例を示す第2の図である。
 図22に示すように、特定範囲出力部2002は、位置情報取得部2111、特定範囲情報取得部2112、位置関係判定部2201、出力装置制御部2202を有する。
 位置情報取得部2111は、図21で説明した位置情報取得部2111と同様の機能を有しており、位置情報送信部2104より送信された座標情報(x,y,z)を取得し、位置関係判定部2201に通知する。
 特定範囲情報取得部2112は、図21で説明した特定範囲情報取得部2112と同様の機能を有しており、特定範囲送信部2106より送信された特定範囲情報を取得し、位置関係判定部2201に通知する。
 位置関係判定部2201は、位置情報取得部2111より通知された座標情報(x,y,z)に基づいて、ユーザ端末140が、現在、実空間内のどこに位置しているかを識別する。また、位置関係判定部2201は、特定範囲情報取得部2112より通知された特定範囲情報に基づいて、特定範囲とユーザ端末140との位置関係を判定する。更に、位置関係判定部2201は、判定した位置関係を出力装置制御部2202に通知する。
 出力装置制御部2202は、位置関係判定部2201より通知された位置関係に基づいて、出力装置(表示装置326、音声出力装置330、または、振動装置331)を制御し、光、音または振動を出力することでユーザに通知する。これにより、ユーザは、特定範囲とユーザ端末140との位置関係を把握することができる。なお、出力装置制御部2202は、表示装置326を制御して光を出力してもよいし、不図示のLEDを制御して光を出力してもよい。
 図22の例は、ユーザ211が、座標情報(x,y,z)により特定される位置で、ユーザ端末140を保持している様子を示している。また、図22の例は、特定範囲621が登録されている様子を示している。
 かかる状況のもと、出力装置制御部2202は、例えば、ユーザ端末140が、特定範囲621内に位置している場合には、光、音、振動のいずれかを出力し、特定範囲621外に位置している場合には、光、音、振動のいずれも出力しないように制御する。
 あるいは、出力装置制御部2202は、例えば、ユーザ端末140が、特定範囲621内に位置している場合と、特定範囲621外に位置している場合とで、振動の大きさ、音量、画像内容、光の色または量が変わるように出力を制御してもよい。
 あるいは、出力装置制御部2202は、例えば、ユーザ端末140が、特定範囲621内に位置している場合には、光を出力し、特定範囲621外に位置している場合には、音または振動を出力するなど、刺激を切り替えるように制御してもよい。
 いずれにしても、出力装置制御部2202は、ユーザ端末140に対して移動操作が行われた際、座標情報(x、y、z)に対応する範囲が、特定範囲621内から特定範囲621外(非特定範囲内)へと変化した場合に、出力を制御する。あるいは、出力装置制御部2202は、ユーザ端末140に対して移動操作が行われた際、座標情報(x、y、z)に対応する範囲が、特定範囲621外(非特定範囲内)から特定範囲621内へと変化した場合に、出力を制御する。
 また、出力装置制御部2202は、例えば、特定範囲621内において、特定範囲621の中心位置にユーザ端末140が近づくと、音、光、振動のいずれかの出力を大きくするように制御してもよい。また、出力装置制御部2202は、例えば、特定範囲621内において、特定範囲621の境界面にユーザ端末140が近づくと、音、光、振動のいずれかの出力を小さくするように制御してもよい。
 また、出力装置制御部2202は、例えば、ユーザ端末140が、特定範囲621内に位置していることで、光、音、振動のいずれかを出力する場合にあっては、対応する運転情報に応じて、出力を制御してもよい。この場合、例えば、複数の特定範囲それぞれに異なる運転情報が登録されており、ユーザ端末140が、当該複数の特定範囲を跨いで移動した場合には、振動の大きさ、音量、画像内容、光の色または量のいずれかが変化することになる。
 なお、1つの特定範囲内の各位置で異なる運転情報が登録されている場合にあっては、ユーザ端末140が当該1つの特定範囲内を移動する間に、振動の大きさ、音量、画像内容、光の色または量のいずれかが変化することになる。
 このように、登録された特定範囲をユーザが把握できるよう、ユーザ端末140の出力機能を用いて出力を制御することで、
・ユーザ211は、実空間内のどの範囲が特定範囲として登録されているのか、及び、
・どのような運転情報が登録されているのか、
を、ユーザ端末140を介して把握することができる。
 <まとめ>
 以上の説明から明らかなように、第3の実施形態に係る空気調和システム100は、上記第1の実施形態において説明した機能に加えて、
・ユーザ端末に対する移動操作に応じて出力を制御する機能を有する。
 これにより、第3の実施形態によれば、上記第1の実施形態と同様の効果を享受することができるとともに、ユーザは登録された特定範囲を、ユーザ端末140を介して把握することができる。
 [第4の実施形態]
 上記第1の実施形態では、ユーザ端末140の実空間における位置を示す座標情報を算出するにあたり、
・電波送受信装置310(3次元位置計測センサの一例)により取得された電波情報(レーザ光の反射信号)と、
・撮像装置120により撮影された撮影画像(RGB画像)と、
を用いる場合について説明した。
 しかしながら、ユーザ端末140の実空間における位置を示す座標情報を算出する方法はこれに限定されない。例えば、3次元位置計測センサを、実空間210または220内の取り付け位置の異なる複数の撮像装置120により構成し、
・第1の撮像装置120により撮影された撮影画像、
・第2の撮像装置120により撮影された撮影画像、
・・・
・第αの撮像装置120により撮影された撮影画像、
をマッチングさせることで、ユーザ端末140の実空間における位置を示す座標情報を算出してもよい。
 あるいは、SLAM(Simultaneous Localization and Mapping)技術を用いて、ユーザ端末140の実空間における位置を示す座標情報を算出してもよい。具体的には、3次元位置計測センサを、実空間210または220内にアームを介して取り付けた撮像装置120により構成するとともに、ユーザ端末140に、撮像装置120が受光可能な高輝度の光を放出するセンサを取付け、
・撮像装置120をスイングさせながら撮影した撮影画像により取得された3次元空間データと、
・ユーザ端末140により放出された高輝度の光を撮像装置120が受光することで取得された、ユーザ端末140と撮像装置120との相対位置データと、
を照合することで、ユーザ端末140の実空間における位置を示す座標情報を算出してもよい。
 また、上記第1の実施形態及び本実施形態では、ユーザ端末140の実空間における位置を示す座標情報を、ユーザ端末140以外の装置が取得したデータを用いて、ユーザ端末140以外の装置(空気調和装置の制御装置)が算出するものとして説明した。
 しかしながら、ユーザ端末140の実空間における位置を示す座標情報は、ユーザ端末140が取得したデータを用いて、ユーザ端末140が算出するように構成してもよい。具体的には、ユーザ端末140の撮像装置327で撮影した撮影画像に基づいて深度マップを生成することが可能なAPI(Application Programming Interface)を、ユーザ端末140に配し、
・撮像装置327で撮影した撮影画像から、APIを用いて生成した深度マップと、
・実空間210または220内のレイアウト情報(3次元データ等の形状データ)、
とを照合することで、ユーザ端末140の実空間における位置を示す座標情報を算出してもよい。
 図23は、ユーザ端末の実空間における位置を示す座標情報の算出例を示す図である。図23の算出例は、ユーザ端末140に対する移動操作の間、ユーザ端末140が実空間210または220内を常時撮影した様子を示している。
 図23において、撮影画像2301及び撮影画像2302は、異なる時刻に撮影された撮影画像を示している。図23に示すように、異なる位置から撮影された撮影画像2301及び撮影画像2302を用いることで、ユーザ端末140では、エピポーラ幾何に基づき、実空間210または220内に配された物体の特徴点Xからの深度距離l、lを算出することができる。
 ここで、物体のレイアウト情報として、物体2303の座標情報(a,b,c)が予め取得されていたとする。この場合、ユーザ端末140では、当該物体の座標情報(a,b,c)と、算出した深度距離l、lとに基づいて、ユーザ端末140の現在の座標情報(x,y,z)を算出することができる。
 このように、ユーザ端末140の実空間における位置を示す座標情報を算出するためのセンサの構成、数及び配置は任意であり、実空間の環境に適した組み合わせが選択されるものとする。
 [第5の実施形態]
 上記第1の実施形態では、主に、実空間内の所定の領域(対象物が存在していない領域)を、特定範囲として登録する場合について説明した。あるいは、上記第1の実施形態において、対象物が存在している領域を特定範囲として登録する場合にあっては、当該対象物が存在している物体領域の座標情報が予め格納されているものとして説明した。
 これに対して、第5の実施形態では、実空間内の対象物または人、あるいはそれらの部位が存在している領域を特定範囲として登録する場合について説明する。また、第5の実施形態では、対象物(あるいはその部位)が存在している領域を特定範囲として登録するにあたり、当該対象物の物体領域の座標情報が予め格納されておらず、その都度算出するケースについて説明する。
 <ユーザ端末の機能構成>
 はじめに、第5の実施形態に係るユーザ端末140の機能構成(ここでは、基準位置算出処理に関わる機能構成)の詳細について説明する。図24は、ユーザ端末の機能構成の一例を示す図である。
 第5の実施形態において、ユーザ端末140は、空調操作プログラムを実行することで、撮影画像取得部2401、深度マップ生成部2402、対象物検出部2403、中心位置決定部2404として機能する。
 撮影画像取得部2401は、撮像装置327により撮影された撮影画像を取得し、深度マップ生成部2402及び対象物検出部2403に通知する。
 対象物検出部2403は、撮影画像取得部2401により取得された撮影画像に含まれる対象物を検出し、検出した対象物の中から、ユーザにより指定された種別の対象物を抽出し、深度マップ生成部2402に通知する。
 深度マップ生成部2402は、撮影画像に基づいて深度マップを生成するAPIである。深度マップ生成部2402は、撮影画像取得部2401より通知された撮影画像に基づいて、実空間210または220内の深度マップを生成する。
 また、深度マップ生成部1422は、生成した深度マップにおいて、対象物検出部2403により通知された対象物に対応する領域を特定し、中心位置決定部2404に通知する。
 中心位置決定部2404は、深度マップ生成部2402により特定された領域の深度マップに基づいて、対象物検出部2403より通知された対象物の中心位置情報を算出する。
 また、中心位置決定部2404は、算出した中心位置情報を、空気調和装置110の制御装置に送信する。
 <特定範囲入力部の機能構成>
 次に、第5の実施形態に係る空気調和装置110の制御装置において、登録プログラムが実行されることで実現される特定範囲入力部501の機能構成(ここでは、特定範囲の決定に関わる機能構成)について説明する。図25は、特定範囲入力部の機能構成の一例を示す図である。図6に示した特定範囲入力部との相違点は、図25の場合、中心位置情報取得部2501を有する点、及び、特定範囲決定部2502の機能が、図6の特定範囲決定部607の機能とは異なる点である。
 中心位置情報取得部2501は、ユーザ端末140より中心位置情報を取得し、特定範囲決定部2502に通知する。
 特定範囲決定部2502は、形状記憶部610を参照し、特定範囲の所定形状の形状情報(例えば、球形状情報)を取得する。また、特定範囲決定部607は、中心位置情報取得部2501より通知された中心位置情報と、半径情報特定部605より通知された半径情報(R)と、形状記憶部610より取得した球形状情報とに基づいて、特定範囲情報を決定する。
 <中心位置決定処理の具体例>
 次に、ユーザ端末140による中心位置決定処理の具体例について、(1)~(4)のパターンについて説明する。
 (1)パターン1
 図26は、中心位置決定処理の具体例を示す第1の図である。図26に示すように、ユーザ端末140の撮像装置327が実空間220を撮影することで、撮影画像取得部2401では、撮影画像2610を表示画面に表示し、対象物検出部2403では、撮影画像2610に含まれる複数の物体を検出する。更に、深度マップ生成部2402では、撮影画像2610に基づいて、深度マップを生成する。
 撮影画像2610が表示されることで、ユーザ211は、検出すべき対象物の種別について指示操作を行う。図26の例は、ユーザ211が、検出すべき対象物の種別として、“モノ”を指示した様子を示している。
 対象物検出部2403では、検出すべき対象物の種別として、“モノ”が指示されると、検出した複数の物体のうち、ユーザ端末140に最も近い物体を対象物として特定し、特定した対象物を深度マップ生成部2402に通知する。なお、図26の例は、ユーザ端末140に最も近い“机”が対象物として特定された様子を示している。
 対象物が特定されると、深度マップ生成部2402は、生成した深度マップから、特定された対象物の領域を識別し、中心位置決定部2404に通知する。
 中心位置決定部2404では、通知された対象物の領域の深度マップに基づいて、対象物の中心位置情報を算出する。図26において、符号2620は、中心位置決定部2404により算出された中心位置情報を示している。
 なお、符号2620に示す中心位置情報は、特定範囲入力部501に入力され、中心位置情報を基準とする周辺範囲が特定範囲2630として決定される。
 (2)パターン2
 図27は、中心位置決定処理の具体例を示す第2の図である。図27に示すように、ユーザ端末140の撮像装置327が実空間220を撮影することで、撮影画像取得部2401では、撮影画像2710を表示画面に表示し、対象物検出部2403では、撮影画像2710に含まれる複数の物体を検出する。更に、深度マップ生成部2402では、撮影画像2710に基づいて、深度マップを生成する。
 撮影画像2710が表示されることで、ユーザ211は、検出すべき対象物の種別について指示操作を行う。図27の例は、ユーザ211が、検出すべき対象物の種別として、
“人”を指示した様子を示している。
 対象物検出部2403では、検出すべき対象物の種別として、“人”が指示されると、検出した複数の物体のうち、ユーザ端末140に最も近い人を対象物として特定し、特定した対象物を深度マップ生成部2402に通知する。なお、図27の例は、ユーザ端末140に最も近いユーザ222が対象物として特定された様子を示している。
 対象物が特定されると、深度マップ生成部2402は、生成した深度マップから、特定された対象物の領域を識別し、中心位置決定部2404に通知する。
 中心位置決定部2404では、通知された対象物の領域の深度マップに基づいて、対象物の中心位置情報を算出する。図27において、符号2720は、中心位置決定部2404により算出された中心位置情報を示している。
 なお、符号2720に示す中心位置情報は、特定範囲入力部501に入力され、中心位置情報を基準とする周辺範囲が特定範囲2730として決定される。
 (3)パターン3
 図28は、中心位置決定処理の具体例を示す第3の図である。図28に示すように、ユーザ端末140の撮像装置327が実空間220を撮影することで、撮影画像取得部2401では、撮影画像2810を表示画面に表示し、対象物検出部2403では、撮影画像2810に含まれる複数の物体を検出する。更に、深度マップ生成部2402では、撮影画像2810に基づいて、深度マップを生成する。
 撮影画像2810が表示されることで、ユーザ211は、検出すべき対象物の部位について選択指示操作を行う。図28の例は、ユーザ211が、検出すべき対象物の部位として、“人”の“頭”を選択指示した様子を示している。
 対象物検出部2403では、検出すべき対象物の部位として、“人”の“頭”が選択指示されると、検出した複数の物体のうち、ユーザ端末140に最も近い人の頭を対象物として特定し、特定した対象物を深度マップ生成部2402に通知する。図28の例は、ユーザ端末140に最も近いユーザ222の頭が対象物として特定された様子を示している。
 対象物が特定されると、深度マップ生成部2402は、生成した深度マップから、特定された対象物の領域を識別し、中心位置決定部2404に通知する。
 中心位置決定部2404では、通知された対象物の領域の深度マップに基づいて、対象物の中心位置情報を算出する。図28において、符号2820は、中心位置決定部2404により算出された中心位置情報を示している。
 なお、符号2820に示す中心位置情報は、特定範囲入力部501に入力され、中心位置情報を基準とする周辺範囲が特定範囲2830として決定される。
 (4)パターン4
 図29は、中心位置決定処理の具体例を示す第4の図である。図29に示すように、ユーザ端末140の撮像装置327が実空間220を撮影することで、撮影画像取得部2401では、撮影画像2910を表示画面に表示し、対象物検出部2403では、撮影画像2810に含まれる複数の物体を検出する。更に、深度マップ生成部2402では、撮影画像2910に基づいて、深度マップを生成する。
 撮影画像2910が表示されることで、ユーザ211は、検出すべき対象物について指示操作を行う。なお、撮影画像2910が表示される表示画面は、ポインティング可能であるとする。図29の例は、表示画面上の“ノートPC”の位置がユーザ211によりポインティングされたことで、検出すべき対象物についての指示操作を受け付けた様子を示している。
 対象物検出部2403では、検出すべき対象物として“ノートPC”が指示操作されると、検出した複数の物体のうち、指示操作された“ノートPC”を対象物として特定し、特定した対象物を深度マップ生成部2402に通知する。
 対象物が特定されると、深度マップ生成部2402は、生成した深度マップから、特定された対象物の領域を識別し、中心位置決定部2404に通知する。
 中心位置決定部2404では、通知された対象物の領域の深度マップに基づいて、対象物の中心位置情報を算出する。図29において、符号2920は、中心位置決定部2404により算出された中心位置情報を示している。
 なお、符号2920に示す中心位置情報は、特定範囲入力部501に入力され、中心位置情報を基準とする周辺範囲が特定範囲2930として決定される。
 <まとめ>
 以上の説明から明らかなように、第5の実施形態に係る空気調和システム100は、
・ユーザ端末が対象物の指示操作を受け付け可能であり、ユーザ端末が受け付けた対象物の実空間における中心位置情報を基準とする周辺範囲を、特定範囲として決定する。
・ユーザ端末が対象物の部位の選択指示操作を受け付け可能であり、ユーザ端末が受け付けた対象物の部位の実空間における中心位置情報を基準とする周辺範囲を、特定範囲として決定する。
・ユーザ端末の撮像装置により撮影された撮影画像が表示される表示画面が、ポインティング可能に構成され、ユーザ端末は、撮影画像に含まれる複数の物体のうち、ポインティングされた位置の物体を、対象物として特定する。
 これにより、第5の実施形態によれば、対象物が存在している領域を特定範囲として登録することが可能になるとともに、ユーザ端末に表示される撮影画像を介して、対象物を特定することが可能になる。
 [その他の実施形態]
 上記各実施形態では、特定範囲に対応付けられる運転情報として、温度、風向、風量を設定するように構成したが、特定範囲に対応付けられる運転情報として登録可能な登録項目はこれらに限定されない。
 また、上記各実施形態では、特定範囲入力部501が空気調和装置110内の制御装置において実現されるものとして説明したが、特定範囲入力部501は、空気調和装置110内の制御装置以外の装置において実現されてもよい。あるいは、空気調和装置110外の装置(空気調和システム100内の任意の装置)において実現されてもよい。
 同様に、上記各実施形態では、特定範囲出力部503が空気調和装置110内の制御装置またはユーザ端末140において実現されるものとして説明したが、特定範囲出力部503は、空気調和装置110内の制御装置以外の装置において実現されてもよい。あるいは、空気調和装置110及びユーザ端末140以外の装置(空気調和システム100内の任意の装置)において実現されてもよい。
 また、上記各実施形態では、空気調和システム100が、空気調和装置110と、撮像装置120と、表示装置130と、ユーザ端末140とを有するものとして説明した。しかしながら、空気調和システム100の構成はこれに限定されず、例えば、複数の空気調和装置110を制御するサーバ装置が含まれていてもよい。また、サーバ装置が含まれる場合にあっては、特定範囲入力部501、特定範囲出力部503は、当該サーバ装置において実現されてもよい。
 また、上記各実施形態では、所定の設定操作により、特定範囲の大きさが決定されるものとして説明したが、所定の設定操作により、特定範囲の形状が決定されるように構成してもよい。
 また、上記第1の実施形態では、特定範囲の大きさを決定する際の設定操作として、n回のタップ操作と、所定時間の継続した押圧操作とを例示したが、特定範囲の大きさを決定する際の設定操作は、これらに限定されない。例えば、ユーザ端末140に対して、始点の設定操作が行われた際のユーザ端末140の座標情報と、終点の設定操作が行われた際のユーザ端末140の座標情報とに基づいて、特定範囲の大きさを決定するように構成してもよい。
 あるいは、中心位置情報を基準とする周辺範囲が特定範囲として決定された場合にあっては、終点の設定操作が行われた際のユーザ端末の座標情報と、中心位置情報とに基づいて、特定範囲の大きさを決定するように構成してもよい。
 また、上記第2の実施形態では、ユーザ端末140の撮像装置327が撮影した撮影画像に、特定範囲画像(3次元の画像)を重畳する場合について説明としたが、特定範囲画像を重畳する対象は、撮影画像に限定されない。例えば、実空間210または220内のレイアウト情報が紐付けられた、実空間210または220の画像(静止画像)に、特定範囲画像を重畳してもよい。静止画像の各位置において、実空間210または220の座標情報が紐付けられていれば、特定範囲画像を適切に重畳させることができるからである。
 また、上記第3の実施形態では、出力装置制御部2202による、所定の刺激(音、光または振動)についてのユーザへの通知方法のバリエーションについて説明したが、ユーザへの通知方法のバリエーションは、これに限定されない。
 例えば、上記第5の実施形態のように、対象物についての指示操作が受け付け可能である場合には、特定範囲が対象物の実空間における中心位置情報により決定されたのか否かに応じて、異なる刺激を通知するように構成してもよい。具体的には、対象物が存在しない領域を特定範囲として決定した場合と、対象物が存在する領域を特定範囲として決定した場合とで、ユーザ端末140が特定範囲内に位置した際の刺激が異なるように構成してもよい。
 また、上記第5の実施形態のように、対象物として“人”の指示操作が受け付け可能である場合には、対象物が人であるか否かに応じて、異なる刺激を通知するように構成してもよい。具体的には、対象物が存在する領域が特定範囲として決定された場合であって、当該対象物が人であった場合と、人以外の物体であった場合とで、ユーザ端末140が特定範囲内に位置した際の刺激が異なるように構成してもよい。
 また、上記各実施形態では、ユーザ端末140として、スマートフォン141や、リモコン142、ウェアラブル機器等を例示したが、ユーザ端末140は、電子機器でなくてもよい。例えば、上記第1の実施形態において説明したパターン3~パターン5のように、ユーザ端末140に対する移動操作により、特定範囲が決定される場合にあっては、電子機器が内蔵されていない単なる筐体であってもよい。この場合、筐体の形状は任意であり、例えば、棒状の部材であってもよい。
 また、上記各実施形態は、空気調和システムにおいて実現されるものとして説明したが、対象とするシステムは、空気調和システムに限定されず、実空間内において特定範囲を決定し、決定した特定範囲を登録する登録システムであれば、他のシステムであってもよい。つまり、上記各実施形態において説明した空気調和システムは、登録システムの一適用例である。
 以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
 本出願は、2021年3月31日に出願された日本国特許出願第2021-059231号に基づきその優先権を主張するものであり、同日本国特許出願の全内容を参照することにより本願に援用する。
 100       :空気調和システム
 110       :空気調和装置
 120       :撮像装置
 130       :表示装置
 140       :ユーザ端末
 210、220   :実空間
 326       :表示装置
 327       :撮像装置
 330       :音声出力装置
 331       :振動装置
 400       :操作画面
 501       :特定範囲入力部
 503       :特定範囲出力部
 601       :撮影画像取得部
 602       :電波情報取得部
 603       :位置情報取得部
 604       :操作内容取得部
 605       :半径情報特定部
 607       :特定範囲決定部
 701       :操作内容取得部
 801       :操作内容取得部
 802       :中心位置及び半径情報算出部
 803       :特定範囲決定部
 902       :特定範囲決定部
 1001      :射影方向判定部
 1002      :特定範囲決定部
 1101      :操作内容取得部
 1102      :対象領域算出部
 1103      :特定範囲決定部
 1111      :操作内容取得部
 1112      :基準位置算出部
 1113      :対象領域算出部
 1114      :特定範囲決定部
 1201      :操作内容取得部
 1202      :削除対象判定部
 1203      :特定範囲削除部
 1301      :操作内容取得部
 1302      :移動対象判定部
 1303      :特定範囲更新部
 1401      :操作内容取得部
 1402      :運転情報取得部
 1403      :運転情報設定部
 1501      :操作内容取得部
 1502      :反転指示取得部
 1503      :運転情報更新部
 1601      :特定範囲情報取得部
 1602      :撮影画像取得部
 1603      :特定範囲画像生成部
 1611      :撮影画像
 1612      :特定範囲画像
 1901、1902 :特定範囲
 2001      :送信部
 2002      :特定範囲出力部
 2101      :撮影画像取得部
 2102      :電波情報取得部
 2103      :位置情報取得部
 2104      :位置情報送信部
 2105      :特定範囲情報取得部
 2106      :特定範囲送信部
 2111      :位置情報取得部
 2112      :特定範囲情報取得部
 2113      :特定範囲画像生成部
 2114      :撮影画像取得部
 2115      :表示制御部
 2121、2131 :撮影画像
 2122、2132 :表示画像
 2201      :位置関係判定部
 2202      :出力装置制御部
 2401      :撮影画像取得部
 2402      :深度マップ生成部
 2403      :対象物検出部
 2404      :中心位置決定部
 2501      :中心位置情報取得部
 2502      :特定範囲決定部

Claims (23)

  1.  制御部と記憶部とを有する登録システムであって、
     前記制御部は、
     ユーザ端末の実空間における位置情報と、前記ユーザ端末に対する操作内容とに基づいて決定した前記実空間内の特定範囲を、前記記憶部に登録する、
     登録システム。
  2.  前記制御部は、
     前記ユーザ端末に対して移動操作が行われた場合の前記ユーザ端末の位置情報の軌跡に基づいて、前記実空間内の特定範囲を決定し、前記記憶部に登録する、請求項1に記載の登録システム。
  3.  前記ユーザ端末は指示操作を受け付け可能であり、
     前記制御部は、
     前記ユーザ端末が指示操作を受け付けた際の前記ユーザ端末の位置情報を基準とする周辺範囲を、前記特定範囲として決定し、前記記憶部に登録する、請求項1に記載の登録システム。
  4.  前記ユーザ端末は指示操作を受け付け可能であり、
     前記制御部は、
     前記ユーザ端末が指示操作を受け付けたことにより特定された対象物の前記実空間における位置情報を基準とする周辺範囲を、前記実空間内の特定範囲として決定し、前記記憶部に登録する、請求項1に記載の登録システム。
  5.  前記ユーザ端末は選択指示操作を受け付け可能であり、
     前記制御部は、
     前記ユーザ端末が選択指示操作を受け付けたことにより特定された前記対象物の部位の前記実空間における位置情報を基準とする周辺範囲を、前記実空間内の特定範囲として決定し、前記記憶部に登録する、請求項4に記載の登録システム。
  6.  前記ユーザ端末は設定操作を受け付け可能であり、
     前記制御部は、
     前記特定範囲の大きさまたは形状を、前記ユーザ端末が受け付けた設定操作に基づいて決定する、請求項1に記載の登録システム。
  7.  前記ユーザ端末は設定操作を受け付け可能であり、
     前記制御部は、
     前記ユーザ端末が始点の設定操作を受け付けた際の前記ユーザ端末の位置情報、または、前記特定範囲を決定する際に基準とした位置情報と、前記ユーザ端末が終点の設定操作を受け付けた際の前記ユーザ端末の位置情報とに基づいて、前記特定範囲の大きさを決定する、請求項6に記載の登録システム。
  8.  前記ユーザ端末は、
     撮像装置と、
     前記撮像装置により撮影された画像を表示する表示装置と、を有し、
     前記ユーザ端末の制御部は、
     前記画像に含まれる物体を、前記対象物として特定する、請求項4に記載の登録システム。
  9.  前記ユーザ端末は、
     撮像装置と、
     前記撮像装置により撮影された画像を画面に表示するとともに、画像が表示された画面上の位置をポインティング可能な表示装置と、を有し、
     前記ユーザ端末の制御部は、
     前記画像に含まれる複数の物体のうち、ポインティングされた位置の物体を、前記対象物として特定する、請求項4に記載の登録システム。
  10.  前記ユーザ端末は、
     画像を表示する表示装置を有し、
     前記ユーザ端末の制御部は、
     前記画像に、前記特定範囲を示す画像を重畳して前記表示装置に表示する、請求項1に記載の登録システム。
  11.  前記ユーザ端末は、
     撮像装置を有し、
     前記ユーザ端末の制御部は、
     前記撮像装置により撮影された画像に、前記ユーザ端末の実空間における位置情報及び姿勢情報に基づいて生成された、前記特定範囲を示す3次元の画像を重畳して表示する、請求項10に記載の登録システム。
  12.  前記ユーザ端末は、出力装置を有し、
     前記実空間内の特定範囲に前記ユーザ端末が位置する場合に、前記出力装置は刺激を通知する、請求項1に記載の登録システム。
  13.  前記ユーザ端末は、出力装置を有し、
     前記出力装置は、前記実空間内の特定範囲と、前記ユーザ端末との位置関係に応じて、異なる刺激を通知する、請求項1に記載の登録システム。
  14.  前記ユーザ端末は、出力装置を有し、
     前記実空間内の特定範囲に前記ユーザ端末が位置する場合に、前記出力装置は、
      前記特定範囲が前記対象物の前記実空間における位置情報により決定されたのか否かに応じて異なる刺激を通知する、または、
      前記特定範囲が前記対象物の前記実空間における位置情報により決定されていた場合には、前記対象物が人であるか否かに応じて、異なる刺激を通知する、
     請求項4に記載の登録システム。
  15.  前記ユーザ端末は、センサを有し、
     前記ユーザ端末の制御部は、
     前記実空間の形状データと、前記センサにより測定されたデータとを照合することで、前記ユーザ端末の実空間における位置情報を算出する、請求項1に記載の登録システム。
  16.  前記センサは撮像装置であり、
     前記ユーザ端末の制御部は、
     前記実空間内の3次元データと、前記撮像装置により撮影された撮影画像から生成したマップとを照合することで、前記ユーザ端末の実空間における位置情報を算出する、請求項15に記載の登録システム。
  17.  前記制御部は、
     前記実空間内に取り付けられた3次元位置計測センサにより測定されたデータに基づいて、前記ユーザ端末の実空間における位置情報を算出する、請求項1に記載の登録システム。
  18.  前記3次元位置計測センサは、取り付け位置の異なる複数の撮像装置により構成され、
     前記制御部は、
     前記複数の撮像装置それぞれにより撮影された撮影画像をマッチングさせることで、前記ユーザ端末の実空間における位置情報を算出する、請求項17に記載の登録システム。
  19.  前記制御部は、
     前記ユーザ端末が有するセンサにより測定されたデータと、前記実空間内に取り付けられたセンサにより測定されたデータとを照合することで、前記ユーザ端末の実空間における位置情報を算出する、請求項1に記載の登録システム。
  20.  前記ユーザ端末は空調指示操作を受け付け可能であり、
     前記制御部は、
     前記ユーザ端末が空調指示操作を受け付けた場合に、前記記憶部に登録された前記実空間内の特定範囲に対して空調制御を行う、請求項1に記載の登録システム。
  21.  前記制御部は、
     前記実空間に取り付けられた複数の空気調和装置を用いることで、前記記憶部に登録された前記実空間内の特定範囲と、特定範囲以外の非特定範囲とで、異なる空調制御を実行する、請求項20に記載の登録システム。
  22.  請求項1乃至21のいずれか1項に記載の登録システムを含む空気調和システム。
  23.  ユーザ端末の実空間における位置情報と、前記ユーザ端末に対する操作内容とに基づいて決定した前記実空間内の特定範囲を、記憶部に登録する登録工程、
     を制御部に実行させるための登録プログラム。
PCT/JP2022/016825 2021-03-31 2022-03-31 登録システム、空気調和システム及び登録プログラム WO2022211083A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/550,014 US20240175597A1 (en) 2021-03-31 2022-03-31 Registration system, air conditioning system and registration program
EP22781292.2A EP4319183A1 (en) 2021-03-31 2022-03-31 Registration system, air-conditioning system, and registration program
CN202280023032.6A CN117044225A (zh) 2021-03-31 2022-03-31 登记系统、空调系统和登记程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021059231 2021-03-31
JP2021-059231 2021-03-31

Publications (1)

Publication Number Publication Date
WO2022211083A1 true WO2022211083A1 (ja) 2022-10-06

Family

ID=83459646

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/016825 WO2022211083A1 (ja) 2021-03-31 2022-03-31 登録システム、空気調和システム及び登録プログラム

Country Status (5)

Country Link
US (1) US20240175597A1 (ja)
EP (1) EP4319183A1 (ja)
JP (2) JP7189484B2 (ja)
CN (1) CN117044225A (ja)
WO (1) WO2022211083A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099971A (ja) * 2000-09-22 2002-04-05 Sanyo Electric Co Ltd 緊急通報システム及び緊急通報装置
JP2009020007A (ja) * 2007-07-12 2009-01-29 Denso Corp 車載ナビゲーション装置及び車載ナビゲーションシステム
JP2010154124A (ja) * 2008-12-24 2010-07-08 Kyocera Corp 携帯端末、携帯端末の制御方法およびプログラム
JP2012257119A (ja) * 2011-06-09 2012-12-27 Jvc Kenwood Corp 携帯型受信機および放送受信方法
JP2016080602A (ja) * 2014-10-20 2016-05-16 パイオニア株式会社 端末装置、エネルギー供給装置、サーバ装置、航行可能範囲表示方法、航行可能範囲表示プログラムおよび記録媒体
JP2017201745A (ja) * 2016-05-02 2017-11-09 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2017211149A (ja) 2016-05-26 2017-11-30 三菱電機ビルテクノサービス株式会社 空気調和機
JP2018063537A (ja) * 2016-10-12 2018-04-19 株式会社東芝 ホームネットワーク、電子機器、処理装置および表示方法
JP2021059231A (ja) 2019-10-07 2021-04-15 住友ゴム工業株式会社 空気入りタイヤ

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099971A (ja) * 2000-09-22 2002-04-05 Sanyo Electric Co Ltd 緊急通報システム及び緊急通報装置
JP2009020007A (ja) * 2007-07-12 2009-01-29 Denso Corp 車載ナビゲーション装置及び車載ナビゲーションシステム
JP2010154124A (ja) * 2008-12-24 2010-07-08 Kyocera Corp 携帯端末、携帯端末の制御方法およびプログラム
JP2012257119A (ja) * 2011-06-09 2012-12-27 Jvc Kenwood Corp 携帯型受信機および放送受信方法
JP2016080602A (ja) * 2014-10-20 2016-05-16 パイオニア株式会社 端末装置、エネルギー供給装置、サーバ装置、航行可能範囲表示方法、航行可能範囲表示プログラムおよび記録媒体
JP2017201745A (ja) * 2016-05-02 2017-11-09 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2017211149A (ja) 2016-05-26 2017-11-30 三菱電機ビルテクノサービス株式会社 空気調和機
JP2018063537A (ja) * 2016-10-12 2018-04-19 株式会社東芝 ホームネットワーク、電子機器、処理装置および表示方法
JP2021059231A (ja) 2019-10-07 2021-04-15 住友ゴム工業株式会社 空気入りタイヤ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JEONG YONGJIN, RYO KURAZUME, YUMI IWASHITA, TSUTOMU HASEGAWA: "Global Localization for Mobile Robot using Large-scale 3D Environmental Map and RGB-D Camera", JOURNAL OF THE ROBOTICS SOCIETY OF JAPAN, vol. 31, no. 9, 1 January 2013 (2013-01-01), pages (68) 896 - (78) 906, XP055974433, ISSN: 0289-1824, DOI: 10.7210/jrsj.31.896 *

Also Published As

Publication number Publication date
EP4319183A1 (en) 2024-02-07
US20240175597A1 (en) 2024-05-30
JP7189484B2 (ja) 2022-12-14
JP2023025145A (ja) 2023-02-21
JP2022159213A (ja) 2022-10-17
CN117044225A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
US9858643B2 (en) Image generating device, image generating method, and program
US9179182B2 (en) Interactive multi-display control systems
JP5136060B2 (ja) 画像処理装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体と撮像装置
JP6843164B2 (ja) プログラム、方法、および情報処理装置
US10917560B2 (en) Control apparatus, movable apparatus, and remote-control system
US20210263168A1 (en) System and method to determine positioning in a virtual coordinate system
US20080225137A1 (en) Image information processing apparatus
JP2001008232A (ja) 全方位映像出力方法と装置
JP6788845B2 (ja) 遠隔通信方法、遠隔通信システム及び自律移動装置
JP2019169154A (ja) 端末装置およびその制御方法、並びにプログラム
JP2009010728A (ja) カメラ設置支援装置
CN112581571B (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
JP2008511877A (ja) 装置制御方法
JP2005341060A (ja) カメラ制御装置
JP2005063225A (ja) 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
TW202041882A (zh) 擴增實境系統及決定移動感測器型號與安裝位置的方法
WO2022211083A1 (ja) 登録システム、空気調和システム及び登録プログラム
GB2581248A (en) Augmented reality tools for lighting design
CN115904188A (zh) 户型图的编辑方法、装置、电子设备及存储介质
CN115731349A (zh) 户型图的展示方法、装置、电子设备及存储介质
WO2022269887A1 (ja) ウェアラブル端末装置、プログラムおよび画像処理方法
JP2022014758A (ja) 情報処理装置及びプログラム
JP4631634B2 (ja) 情報出力システム及び情報出力方法
US20230300314A1 (en) Information processing apparatus, information processing system, and information processing method
WO2021215246A1 (ja) 画像処理装置、画像処理方法、および、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22781292

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18550014

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280023032.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 202317064329

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2022781292

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022781292

Country of ref document: EP

Effective date: 20231031

NENP Non-entry into the national phase

Ref country code: DE