WO2022009874A1 - 電子機器、制御方法、及びプログラム - Google Patents

電子機器、制御方法、及びプログラム Download PDF

Info

Publication number
WO2022009874A1
WO2022009874A1 PCT/JP2021/025445 JP2021025445W WO2022009874A1 WO 2022009874 A1 WO2022009874 A1 WO 2022009874A1 JP 2021025445 W JP2021025445 W JP 2021025445W WO 2022009874 A1 WO2022009874 A1 WO 2022009874A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
virtual object
camera
controller
image
Prior art date
Application number
PCT/JP2021/025445
Other languages
English (en)
French (fr)
Inventor
聖 村井
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to JP2022535340A priority Critical patent/JP7503136B2/ja
Publication of WO2022009874A1 publication Critical patent/WO2022009874A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools

Definitions

  • the present invention relates to electronic devices, control methods, and programs.
  • the electronic device includes a camera, a display for displaying an image being imaged by the camera, and a first virtual object representing the intensity of electromagnetic waves or the loudness of sound within the imaging range of the camera. It is provided with a controller that superimposes the image being captured and displays it on the display.
  • the control method according to the second aspect is a method of controlling an electronic device.
  • the control method is to display an image being imaged by a camera on a display, and to superimpose a first virtual object representing the intensity or loudness of an electromagnetic wave within the image pickup range of the camera on the image being imaged. It has to be displayed on the display.
  • the program according to the third aspect is a process of displaying an image being imaged by a camera on a display on an electronic device, and a first virtual object representing the intensity or loudness of an electromagnetic wave within the image pickup range of the camera.
  • the process of superimposing the image being imaged and displaying it on the display is executed.
  • FIG. It is a figure which shows the display example of the planar virtual object which is the 1st virtual object which concerns on modification 2.
  • FIG. It is a figure which shows the display example of the 1st virtual object which concerns on modification 3.
  • the purpose of this disclosure is to make it easier for the user to understand the strength of electromagnetic waves and the loudness of sound by associating them with the actual environment.
  • the electronic device can be a communication terminal such as a smartphone terminal or a tablet terminal.
  • the electronic device is not limited to such a communication terminal, and may be, for example, a personal computer or a wearable terminal.
  • FIG. 1 is a diagram showing a system including an electronic device 100 according to an embodiment.
  • the electronic device 100 connects to the communication network NW by wireless communication and communicates with the server 200 via the communication network NW.
  • the electronic device 100 may be connectable to the external device 300 by wire or wirelessly.
  • the external device 300 is an earphone, a headset, an external memory, an external camera, or the like that can be connected to the electronic device 100 by wire or wirelessly.
  • the electronic device 100 includes a touch panel display 110, a physical button 113, a microphone 121a, a speaker 122a, and a camera 130.
  • the touch panel display 110 is provided with its display surface exposed from the housing 101 of the electronic device 100.
  • the touch panel display 110 has a touch panel 111 and a display 112.
  • the touch panel 111 receives an operation input (touch input) to the electronic device 100.
  • a method for detecting touch for example, there are a resistance film method and a capacitance method, but any method may be used.
  • the display 112 outputs video.
  • the display 112 displays an image on the screen.
  • the display 112 is, for example, a liquid crystal display or an organic EL (Electroluminescence) display.
  • the display 112 is provided so as to overlap the touch panel 111, and the display area of the display 112 overlaps with the touch panel 111.
  • the physical button 113 accepts an operation input (press) to the electronic device 100.
  • the physical button 113 includes, for example, a power button, a home button, and the like.
  • the microphone 121a accepts voice input to the electronic device 100. Further, the microphone 121a collects surrounding sounds.
  • the speaker 122a outputs audio. Further, the speaker 122a outputs the voice of a telephone, information of various programs, and the like by voice.
  • the camera 130 electronically captures an image using an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Sensor).
  • the camera 130 is an out-camera that captures an object facing the opposite surface of the touch panel display 110.
  • the camera 130 may be an in-camera that captures an object facing the touch panel display 110.
  • FIG. 2 is a diagram showing a functional block configuration of the electronic device 100 according to the embodiment.
  • the electronic device 100 includes a touch panel 111, a display 112, a physical button 113, a voice input unit 121, a voice output unit 122, a camera 130, a sensor 140, and a storage unit 150. It has a communication interface 161, a connection unit 162, a battery 170, and a controller 180.
  • the touch panel 111 inputs a signal corresponding to the touch operation to the controller 180.
  • the display 112 displays an image on the screen based on the signal input from the controller 180.
  • the voice input unit 121 inputs a signal corresponding to the voice received to the controller 180 to the controller 180.
  • the voice input unit 121 may be the microphone 121a shown in FIG. 1 or may be an input interface to which an external microphone can be connected.
  • the voice output unit 122 outputs voice based on the signal input from the controller 180.
  • the audio output unit 122 may be the speaker 122a shown in FIG. 1 or may be an output interface to which an external speaker can be connected.
  • the camera 130 converts the captured image into an electronic signal and outputs the image signal to the controller 180.
  • the sensor 140 detects various physical quantities and data, and outputs the detection result to the controller 180.
  • the sensor 140 includes at least one of a position sensor 141, an acceleration sensor 142, and a geomagnetic sensor 143. At least one of these sensors may be provided in the external device 300.
  • the position sensor 141 detects the position of the own device and outputs the position data to the controller 180.
  • the position sensor 141 may include a GNSS (Global Navigation Satellite System) receiver.
  • the GNSS receiver performs positioning based on the GNSS satellite signal, and outputs GNSS position data indicating the geographical position (latitude / longitude) of the own device to the controller 180.
  • the acceleration sensor 142 detects the acceleration applied to the own device and outputs the acceleration data to the controller 180.
  • the acceleration sensor 142 may be a multi-axis acceleration sensor including a plurality of acceleration sensors.
  • the geomagnetic sensor 143 detects the geomagnetism and outputs the direction data based on the detected geomagnetism to the controller 180.
  • the storage unit 150 includes at least one memory for storing programs and data.
  • the storage unit 150 is also used as a work area for temporarily storing the processing result of the controller 180.
  • the storage unit 150 may include any non-transitory storage medium such as a semiconductor storage medium and a magnetic storage medium.
  • the storage unit 150 may include a plurality of types of storage media.
  • the storage unit 150 may include a combination of a portable storage medium such as a memory card, an optical disk, or a magneto-optical disk, and a reading device for the storage medium.
  • the storage unit 150 may include a storage device used as a temporary storage area such as a RAM (Random Access Memory).
  • the communication interface 161 communicates wirelessly.
  • the wireless communication standards supported by the communication interface 161 include, for example, cellular communication standards such as 2G, 3G, and 4G, short-range wireless communication standards, and the like.
  • Examples of short-range wireless communication standards include IEEE802.11, Bluetooth (registered trademark), IrDA (Infrared Data Association), NFC (Near Field Communication), and / or WPAN (Wireless Person Area).
  • WPAN communication standards include, for example, ZigBee®.
  • the communication interface 161 may be provided in the external device 300.
  • connection unit 162 is an interface that is electrically connected to the external device 300.
  • the connection unit 162 may be any interface as long as it is electrically connected to the external device 300, and is, for example, a USB (Universal Serial Bus) interface.
  • USB Universal Serial Bus
  • the battery 170 stores electric power for driving its own device.
  • the battery 170 is a secondary battery such as, for example, a lithium ion battery.
  • the controller 180 is an arithmetic processing unit.
  • the arithmetic processing unit includes, but is not limited to, for example, a CPU (Central Processing Unit), a SOC (System-on-Chip), an MCU (Micro Control Unit), an FPGA (Field-Programmable Gate Array), and a coprocessor. .. Further, the controller 180 includes a GPU (Graphics Processing Unit), a VRAM (Video RAM), and the like, and causes the display 112 to execute drawing.
  • the controller 180 comprehensively controls the operation of the electronic device 100 to realize various functions.
  • the controller 180 executes various controls based on the operation input detected by the touch panel 111 and / or the physical button 113.
  • the server 200 has a simulator 201 that simulates electromagnetic waves.
  • the electronic device 100 may have the simulator 201.
  • electromagnetic waves are waves that propagate through changes in electric and magnetic fields.
  • radio waves and light are included in electromagnetic waves.
  • the simulator 201 performs a radio wave simulation, particularly a simulation on the strength of radio waves (radio wave strength) will be described.
  • the simulator 201 may perform an optical simulation, particularly a simulation relating to the intensity of light.
  • the radio wave intensity may be RSSI (Received Signal Strength Indicator) or RSRP (Reference Signal Received Power).
  • the radio wave intensity may be an index in which interference and noise are taken into consideration, for example, SINR (Signal to Interference and Noise power Ratio) or RSRQ (Reference Signal Received Quality).
  • the simulator 201 performs a radio wave simulation using a virtual environment simulating a real environment, and transmits information based on the simulation result to the electronic device 100.
  • the real environment refers to the environment in the real space where the source of radio waves (for example, a radio base station) is placed.
  • the actual environment is a factory, an office, or the like.
  • a virtual environment is built in advance in the simulator 201.
  • layout information including the structure of the factory and the arrangement of industrial equipment is preliminarily incorporated in the virtual environment.
  • layout information including the floor plan of the office and the arrangement of desks is preliminarily incorporated in the virtual environment.
  • the virtual environment may be modified or constructed by image recognition processing from the image obtained by the camera 130 of the electronic device 100.
  • the radio wave to be the target of the radio wave simulation may be a radio wave in a high frequency band such as a millimeter wave band or a sub 6 GHz band. Since the high frequency band has high straightness and is less likely to cause diffraction, it is difficult to design a communication area including the arrangement of radio base stations, and it is difficult to utilize the high frequency band.
  • a high frequency band such as a millimeter wave band or a sub 6 GHz band. Since the high frequency band has high straightness and is less likely to cause diffraction, it is difficult to design a communication area including the arrangement of radio base stations, and it is difficult to utilize the high frequency band.
  • the electronic device 100 displays information based on the simulation result of the simulator 201 on the display 112.
  • the user can appropriately determine the position where the wireless base station is arranged or rearranged in the factory, office, or the like based on the simulation result, even if the user does not have advanced knowledge about the communication area design.
  • AR display control Next, AR (Augmented Reality) display control in the electronic device 100 according to the embodiment will be described.
  • the electronic device 100 includes a camera 130 and a display 112 that displays an image being imaged by the camera 130.
  • the controller 180 controls the display 112 so as to display the image being captured by the camera 130 in real time.
  • the controller 180 superimposes a virtual object (hereinafter, referred to as “first virtual object”) representing the radio wave intensity within the imaging range of the camera 130 on the image being imaged and displays it on the display 112.
  • first virtual object a virtual object representing the radio wave intensity within the imaging range of the camera 130 on the image being imaged and displays it on the display 112.
  • the controller 180 controls the display mode of the first virtual object based on the radio wave intensity within the imaging range of the camera 130. As a result, the user can easily recognize the radio field strength depending on the display mode of the first virtual object.
  • the controller 180 controls the display mode of the first virtual object based on the result of the radio wave simulation for calculating the radio wave intensity within the imaging range of the camera 130.
  • the simulator 201 of the server 200 executes the radio wave simulation, and the controller 180 acquires information based on the result of the radio wave simulation from the server 200 via the communication interface 161.
  • the controller 180 may execute the radio wave simulation and acquire the simulation result by itself.
  • the controller 180 is a first virtual object so as to represent the radio wave intensity within the changed image pickup range based on the result of the radio wave simulation.
  • the display mode of is changed.
  • the imaging condition of the camera 130 includes, for example, at least one of the position, orientation, and angle of view of the camera 130.
  • the user points the camera 130 at a position where he / she wants to check the radio field strength while carrying the electronic device 100.
  • the user can grasp the radio wave intensity in relation to the actual environment by checking the image being captured and the first virtual object displayed on the display 112.
  • the image being imaged displayed on the display 112 is changed, and the display mode of the first virtual object is changed so as to represent the radio wave intensity at the other position. ..
  • the user can smoothly confirm the radio wave strength at each position.
  • the radio wave simulation is executed in a virtual environment. Therefore, when executing the radio wave simulation, the server 200 (simulator 201) needs to specify the imaging range in the virtual environment corresponding to the imaging range in the real environment and acquire the simulation result in the specified imaging range.
  • the server 200 needs to specify the imaging range in the virtual environment corresponding to the imaging range in the real environment and acquire the simulation result in the specified imaging range.
  • the radio wave simulation may be performed by combining two or more of these three methods.
  • the controller 180 transmits, for example, the detection results of the position sensor 141, the acceleration sensor 142, and the geomagnetic sensor 143 to the server 200 via the communication interface 161.
  • the controller 180 may further transmit camera parameters such as the angle of view of the camera 130 to the server 200.
  • the server 200 (simulator 201) is a camera based on the position indicated by the detection result of the position sensor 141, the inclination (elevation angle, depression angle) indicated by the detection result of the acceleration sensor 142, and the direction indicated by the detection result of the geomagnetic sensor 143.
  • the imaging range of 130 is specified.
  • the server 200 (simulator 201) may further specify the imaging range of the camera 130 based on the camera parameters.
  • the server 200 (simulator 201) transmits the simulation result in the specified imaging range to the electronic device 100.
  • the server 200 (simulator 201) may transmit drawing information for drawing the first virtual object to the electronic device 100.
  • the marker is placed in the actual environment.
  • a marker is a figure having a specific pattern to be recognized.
  • the controller 180 detects a marker included in the image captured by the camera 130, the controller 180 transmits marker information about the detected marker to the server 200 via the communication interface 161.
  • the server 200 specifies the imaging range of the camera 130 based on the marker information.
  • the server 200 (simulator 201) may further specify the imaging range of the camera 130 based on the camera parameters.
  • the server 200 (simulator 201) transmits the simulation result in the specified imaging range to the electronic device 100.
  • the server 200 (simulator 201) may transmit drawing information for drawing the first virtual object to the electronic device 100.
  • the object in the real environment is recognized by the image recognition process for the captured image.
  • the controller 180 transmits the video data from the camera 130 to the server 200 via the communication interface 161.
  • the server 200 (simulator 201) recognizes an object in a real environment by image recognition processing for video data and specifies an imaging range of the camera 130.
  • the server 200 (simulator 201) may specify the position of the recognized object and specify the imaging range of the camera 130 by the matching process between the recognized object and the object in the virtual environment.
  • the server 200 (simulator 201) transmits the simulation result in the specified imaging range to the electronic device 100.
  • the server 200 (simulator 201) may transmit drawing information for drawing the first virtual object to the electronic device 100.
  • FIG. 3 is a diagram showing an operation example of the electronic device 100 according to the embodiment.
  • step S101 the controller 180 starts AR display control.
  • the controller 180 starts the AR display control in response to the reception of the user operation for activating the AR display control application by the touch panel 111.
  • step S102 the controller 180 starts control to display the image being captured by the camera 130 on the display 112 in real time.
  • the display 112 displays the image being captured by the camera 130.
  • step S103 the controller 180 acquires the simulation result of the radio field intensity within the imaging range of the camera 130.
  • step S104 the controller 180 superimposes a virtual object (first virtual object) representing the radio wave intensity within the imaging range of the camera 130 on the image being imaged by the camera 130 and displays it on the display 112.
  • a virtual object first virtual object representing the radio wave intensity within the imaging range of the camera 130 on the image being imaged by the camera 130 and displays it on the display 112.
  • step S105 the controller 180 determines whether or not the imaging range of the camera 130 has been changed.
  • the controller 180 may make a determination in step S105 based on the detection result of at least one of the position sensor 141, the acceleration sensor 142, and the geomagnetic sensor 143, or the determination in step S105 based on the video data from the camera 130. May be done.
  • step S103 the controller 180 acquires the simulation result of the radio wave intensity within the changed imaging range. Then, the controller 180 changes the display mode of the first virtual object so as to represent the acquired simulation result.
  • step S106 determines whether or not to end the AR display control.
  • step S106: YES the AR display control is terminated. If the AR display control is not terminated (step S106: NO), the controller 180 returns the process to step S105.
  • FIG. 4 and 5 are diagrams for explaining a screen display example according to an embodiment.
  • the simulator 201 calculates the radio field intensity by radio wave simulation for each cube obtained by dividing the virtual environment into cube groups having grid widths at equal intervals.
  • a cube group is composed of a total of 27 cubes having three lengths, three widths, and three heights.
  • the simulation result of the radio field strength is assigned to each cube.
  • the controller 180 superimposes a first virtual object including an individual object individually assigned to each cube on the image being imaged and displays it on the display 112.
  • FIG. 5 shows an example in which the image being imaged is an office image. Further, FIG. 5 shows an example in which each individual object is a translucent sphere.
  • Each individual object represents the signal strength in the corresponding cube.
  • an individual object expresses the radio field intensity in the corresponding cube by the color of the individual object or the size of the individual object.
  • the radio field strength is expressed by the color of an individual object, “red” may be assigned to the radio wave strength “high”, “yellow” may be assigned to the radio wave strength “medium”, and “blue” may be assigned to the radio wave strength “low”.
  • the radio field strength by the size of an individual object the “large” size is assigned to the radio field strength "high”
  • the “medium” size is assigned to the radio field strength "medium”
  • the "small” size is assigned to the radio field strength "low”. May be good.
  • the user can grasp the radio field strength in the actual environment (office) three-dimensionally.
  • the user can specify a position where the radio wave strength is weak based on the screen display, change the installation position of the radio base station, or install a radio wave reflector.
  • the camera 130, the display 112 displaying the image being imaged by the camera 130, and the first virtual object representing the radio wave intensity within the imaging range of the camera 130 are superimposed on the image being imaged. It has a controller 180 to be displayed on the display 112. This makes it easy for the user to understand the radio field strength in relation to the actual environment.
  • the radio wave simulation is executed in the virtual environment, but the virtual environment does not always exactly match the real environment. If the radio wave simulation is performed using a virtual environment that does not match the real environment, the correct radio wave strength cannot be calculated.
  • the controller 180 according to the first modification superimposes a virtual object (hereinafter, referred to as “second virtual object”) representing an object within the imaging range of the camera 130 on the image being imaged in the virtual environment used for the radio wave simulation. Is displayed on the display 112. In other words, the controller 180 causes the display 112 to display an object constituting the simulation condition of the radio wave simulation as a second virtual object.
  • second virtual object a virtual object representing an object within the imaging range of the camera 130 on the image being imaged in the virtual environment used for the radio wave simulation.
  • the controller 180 may display the second virtual object on the display 112 at the same time as the first virtual object.
  • the controller 180 may display the first virtual object on top of the second virtual object when the first virtual object and the second virtual object overlap at least partially.
  • the controller 180 may display the second virtual object on the display 112 at a timing different from the display timing of the first virtual object. For example, the controller 180 may switch between the display of the first virtual object and the display of the second virtual object according to the user operation.
  • FIG. 6 is a diagram showing a display example of the second virtual object according to the modification example 1.
  • the controller 180 superimposes a second virtual object representing an object within the imaging range of the camera 130 on the image being imaged and displays it on the display 112 in the virtual environment used for the radio wave simulation.
  • FIG. 6 shows an example in which the object represented by the second virtual object is a sofa, and the sofa is not installed in the actual environment.
  • the user performs a user operation on the electronic device 100 (touch panel 111) to add a second virtual object representing the sofa before newly installing the sofa in the real environment.
  • the simulator 201 performs re-simulation using a virtual environment reflecting the addition of the sofa, and changes the display mode of the first virtual object representing the radio field intensity based on the result of the re-simulation. This allows the user to understand the effect of adding a sofa on the signal strength.
  • a sofa may be installed in the actual environment.
  • the image being captured by the camera 130 includes the sofa.
  • the controller 180 superimposes a second virtual object representing an object (here, a sofa) within the imaging range of the camera 130 on the image being imaged on the display 112 in the virtual environment used for the radio wave simulation. Display.
  • the user electronically moves the second virtual object to the position of the sofa included in the image being captured.
  • This is performed for the device 100 (touch panel 111).
  • the simulation conditions virtual environment
  • the simulator 201 performs re-simulation using a virtual environment in which the movement of the second virtual object is reflected, and changes the display mode of the first virtual object representing the radio wave intensity based on the result of the re-simulation.
  • FIG. 7 is a diagram showing the operation according to the modification example 1.
  • an example of displaying the second virtual object on the display 112 at the same time as the first virtual object will be described.
  • step S201 the controller 180 starts AR display control.
  • the controller 180 starts the AR display control in response to the reception of the user operation for activating the AR display control application by the touch panel 111.
  • step S202 the controller 180 starts control to display the image being captured by the camera 130 on the display 112 in real time.
  • the display 112 displays the image being captured by the camera 130.
  • step S203 the controller 180 acquires the simulation result of the radio wave intensity in the image pickup range of the camera 130 and the information about the object in the image pickup range of the camera 130 in the virtual environment used for the radio wave simulation from the simulator 201.
  • step S204 the controller 180 represents a virtual object (first virtual object) representing the radio field intensity within the image pickup range of the camera 130 and a virtual object (first virtual object) representing an object within the image pickup range of the camera 130 in the virtual environment used for the radio wave simulation.
  • the second virtual object is superimposed on the image being captured by the camera 130 and displayed on the display 112.
  • step S205 the controller 180 determines whether or not the imaging range of the camera 130 has been changed.
  • the controller 180 may make a determination in step S205 based on the detection result of at least one of the position sensor 141, the acceleration sensor 142, and the geomagnetic sensor 143, or the determination in step S205 based on the video data from the camera 130. May be done.
  • step S203 the controller 180 is within the image pickup range of the camera 130 in the virtual environment and the simulation result of the radio wave intensity in the changed image pickup range.
  • Information about the object is acquired from the simulator 201, and the display of the first virtual object and the second virtual object is updated.
  • step S206 the controller 180 determines whether or not to end the AR display control.
  • the AR display control is terminated (step S206: YES)
  • this flow is terminated. If the AR display control is not terminated (step S206: NO), the controller 180 returns the process to step S205.
  • FIG. 8 is a diagram showing another operation according to the modification example 1.
  • the operation shown in FIG. 8 is started, for example, by a user operation on the touch panel 111 as a trigger.
  • step S301 the controller 180 determines whether or not there has been a user operation representing the movement, addition, or deletion of the second virtual object.
  • step S302 the controller 180 is the result of re-simulation using the virtual environment in which the user operation is reflected. Is obtained from the simulator 201.
  • step S303 the controller 180 changes the display mode of the first virtual object based on the result of the re-simulation.
  • the controller 180 changes the display mode of the first virtual object based on the result of the re-simulation using the virtual environment reflecting the movement. ..
  • the controller 180 changes the display mode of the first virtual object based on the result of the re-simulation using the virtual environment reflecting the addition. ..
  • the controller 180 changes the display mode of the first virtual object based on the result of the re-simulation using the virtual environment in which the deletion is reflected. ..
  • each individual object (each sphere in FIG. 5) included in the first virtual object representing the radio field strength, and the user can grasp the sense of depth. There are difficult concerns. Further, in the case of the screen display example as shown in FIG. 5, since the direction in which the radio wave travels (radio wave traveling direction) cannot be expressed, the user cannot grasp the radio wave traveling direction.
  • the controller 180 causes the display 112 to display a planar virtual object parallel to the floor surface of the space included in the image being captured as the first virtual object representing the radio wave intensity.
  • the planar virtual object is a first virtual object that displays information in the horizontal direction.
  • FIG. 9 is a diagram showing a display example of a planar virtual object which is the first virtual object according to the modification example 2.
  • a room is assumed as a real environment. It is assumed that the floor surface, the wall # 1, the wall # 2, and the pillar shown in FIG. 9 are objects existing in the actual environment. It is assumed that the information of the floor surface, the wall # 1, the wall # 2, and the pillar is also incorporated in the virtual environment used for the radio wave simulation.
  • the planar virtual object is the first virtual object parallel to the floor surface of the space included in the image being captured.
  • the planar virtual object is a translucent virtual object.
  • the controller 180 causes the display 112 to display the planar virtual object that expresses the radio wave intensity by the shade of color or the type of color for each region (area A to C) included in the planar virtual object.
  • the radio base station which is the source of radio waves
  • the radio field intensity in the region A near the wall # 1 is the highest.
  • the region B separated from the wall # 1 has a lower radio field strength than the region A.
  • the radio field strength is expressed by the type of color, “red” may be assigned to the region A having the radio wave strength "high”, and “yellow” may be assigned to the region B having the radio wave strength "low”.
  • the radio field intensity is expressed by the shade of color, “dark red” may be assigned to the region A having the radio wave strength "high”, and "light red” may be assigned to the region B having the radio wave strength "low”. According to such a screen display example, the user can easily grasp the depth of the distribution of the radio field intensity.
  • Area C is an area where radio waves do not pass because there is a pillar between it and the source of radio waves.
  • the controller 180 causes the display 112 to display the region C through which radio waves do not pass in the planar virtual object in a predetermined color (for example, black or white). As a result, the user can grasp that the area C is an area through which radio waves do not pass.
  • the controller 180 causes the display 112 to display a planar virtual object including a symbol or a figure indicating the direction in which the radio wave travels (radio wave traveling direction).
  • FIG. 9 shows an example of displaying an arrow as a symbol indicating the radio wave traveling direction
  • the present invention is not limited to the arrow, and any symbol or figure indicating the radio wave traveling direction can be used. As a result, the user can easily grasp the radio wave traveling direction.
  • the controller 180 may display the average value of the radio wave intensity in the height direction in the planar virtual object.
  • the controller 180 may display the radio field intensity at the specified height.
  • the controller 180 may continuously change the display so as to display the radio field intensity at the corresponding height in response to the user operation of moving the planar virtual object in the height direction.
  • the controller 180 may display the planar virtual objects individually assigned to each radio wave source on the display 112 at different heights and different colors.
  • the controller 180 is assigned to the planar virtual object A and the radio base station B assigned to the radio base station A.
  • the planar virtual object B is displayed on the display 112.
  • the controller 180 causes the planar virtual object A and the planar virtual object B to be displayed on the display 112 at different heights and different colors. This makes it easier for the user to distinguish between the two planar virtual objects. Further, by displaying the planar virtual object A and the planar virtual object B at the same time, the user can grasp the existence of the dead region that neither the radio base station A nor the radio base station B covers.
  • the controller 180 may display the planar virtual objects individually assigned to each radio wave source on the display 112 at different timings. For example, the controller 180 may switch between the display of the planar virtual object A and the display of the planar virtual object B according to the user operation.
  • Modification 3 is an example of improving the screen display of the first virtual object representing the radio field intensity, as in the modification 2.
  • the controller 180 causes the display 112 to display the first virtual object associated with the object included in the image being captured by the camera 130.
  • the object refers to an object existing in the real environment, but may be an object existing in the virtual environment.
  • the first virtual object contains at least one of a numerical value, a symbol, a figure, and a character representing an object or a radio field intensity in the vicinity of the object.
  • the radio wave strength may be represented by, for example, a symbol or a figure of the number of antennas, and the radio wave strength is “high”, “medium”, and so on. It may be represented by characters such as "low” and "zero".
  • the first virtual object By displaying the first virtual object in association with the object in this way, it becomes easier for the user to grasp which object the radio field intensity is for. Further, by displaying the first virtual object only on the object, it is possible to prevent the first virtual object from occupying most of the display area of the display 112, so that the image being captured by the camera 130 can be prevented from being occupied. Visibility can be improved.
  • FIG. 10 is a diagram showing a display example of the first virtual object according to the modification example 3.
  • an office is assumed as a real environment.
  • the desk and chair shown in FIG. 10 are assumed to be objects existing in the real environment. It is assumed that the desk and chair information is also incorporated in the virtual environment used for the radio wave simulation.
  • the object associated with the first virtual object is a desk
  • the object may be equipment such as industrial equipment.
  • the controller 180 superimposes the first virtual object on at least a part of the object and displays it on the display 112.
  • first virtual objects first virtual object # 1 to first virtual object # 4 displayed on top of each of the four desks are illustrated.
  • Each first virtual object is a numerical value representing the radio field intensity at the corresponding desk.
  • the controller 180 may display the first virtual object on the display 112 with the object designated by the user operation as the object among the plurality of objects included in the image being captured by the camera 130. That is, the user may be able to specify the object to which the first virtual object is assigned. Thereby, the object for displaying the first virtual object can be limited.
  • the controller 180 may omit the display of the first virtual object for the object whose entire image is not included in the image captured by the camera 130 among the plurality of objects included in the image captured by the camera 130.
  • the first virtual object is not displayed for an object that includes only a part at the edge of the display area of the display 112. Thereby, the object for displaying the first virtual object can be limited.
  • the controller 180 is the target located in front of the plurality of first virtual objects. Only the first virtual object corresponding to the object may be displayed on the display 112. That is, the controller 180 does not display the first virtual object on the display 112 for the object located behind the object located in front. This makes it possible to improve the visibility of the first virtual object.
  • the controller 180 may display a numerical value indicating the radio wave intensity on the display 112 for each region of a predetermined range in the object, and may display a boundary line representing the region of the predetermined range on the display 112.
  • FIG. 11 is a diagram showing another screen display example according to the modification example 3.
  • FIG. 11A when displaying one first virtual object for one object, if a large object or a large wall surface is the object, the numerical value changes for each part of the object. I can't express it.
  • the upper left portion shown in FIG. 11A has a radio field intensity of “30”, while the lower right portion shown in FIG. 11A has a radio wave strength of “100”.
  • "60" is displayed as a numerical value of the average radio field intensity.
  • the controller 180 displays a numerical value (representative value such as an average value) representing the radio wave intensity on the display 112 for each region of a predetermined range in the object, and also displays the predetermined value.
  • a border representing the area of the range is displayed on the display 112.
  • the region in a predetermined range means a region in which the value range of the numerical value of the radio wave intensity is in a specific range.
  • the representative value is “10”, the representative value is “50”, the representative value is “70”, and the representative value is “90”. It is divided into a total of four areas with a certain area by a boundary line. As a result, even when a large object or a large wall surface is the object, the change in the numerical value for each part of the object can be expressed.
  • FIG. 12 is a diagram showing another screen display example according to the modification example 3.
  • FIG. 12B when there is a user operation to move the numerical value on the displayed object, the controller 180 is a new numerical value representing the radio wave intensity at the position of the movement destination by the user operation. Is displayed on the display 112.
  • FIG. 12B shows an example in which the numerical value changes in the order of “30”, “80”, and “50” according to the movement. As a result, even when a large object or a large wall surface is the object, the change in the numerical value for each part of the object can be expressed.
  • the controller 180 may be displayed on the display 112 in such a manner that the first virtual object is attached to the object.
  • FIG. 13 is a diagram showing another screen display example according to the modification example 3.
  • FIG. 13 shows an example of numerically displaying the radio field strength of the floor surface and the wall surface of the corridor in the room.
  • the controller 180 displays the first virtual object (numerical value) at an angle corresponding to the depth. This makes it easier for the user to grasp the position of the object associated with the first virtual object (numerical value).
  • FIG. 13A shows an example of displaying the first virtual object (numerical value) in a manner of being attached to the floor surface in front, and the displayed numerical value is not angled.
  • FIG. 13B shows an example of displaying the first virtual object (numerical value) in a manner of being attached to the wall surface, and since the numerical value to be displayed is angled, the numerical value is displayed toward the back side. Is shrinking.
  • FIG. 13C shows an example in which the first virtual object (numerical value) is displayed in a manner of being attached to a distant floor surface, and since the numerical values to be displayed are angled, the numerical values are numerical values in the vertical direction. The display is compressed.
  • Modification 4 is an embodiment for improving the screen display. As described above, when the first virtual object is displayed on the image being imaged by the camera 130, there is a problem that the visibility of the image being imaged by the camera 130 is lowered.
  • the controller 180 When the object included in the image being captured by the camera 130 overlaps with the first virtual object, the controller 180 according to the fourth modification superimposes a line representing the outline of the object on the first virtual object and displays it on the display 112. .. This makes it possible to improve the visibility of the object hidden behind the first virtual object.
  • the object included in the image being captured by the camera 130 means an object existing in the real environment, but may be an object existing in the virtual environment.
  • FIG. 14 is a diagram showing a screen display example according to the modification example 4.
  • the controller 180 causes the display 112 to display the image being captured by the camera 130.
  • FIG. 14A shows an example in which the objects included in the image being captured by the camera 130 are a plurality of microwave ovens and shelves.
  • the controller 180 causes the display 112 to display the first virtual object that expresses the radio wave intensity by the shade of color or the type of color over the entire image being captured by the camera 130.
  • FIG. 14B shows an example of expressing the radio wave intensity by the shade of color. Here, the image being captured by the camera 130 is hidden by the first virtual object, and the visibility of the image is reduced. In FIG. 14B, it is assumed that the radio field intensity on the left side where the color is light is high and the radio wave intensity on the right side where the color is dark is low.
  • the controller 180 superimposes the first virtual object on the image being imaged by the camera 130 and displays it on the display 112, and at the same time, displays the outline of the object included in the image being imaged by the camera 130.
  • the line to be represented is superimposed on the first virtual object and displayed on the display 112.
  • the user can grasp the outline of the object included in the image being captured by the camera 130, so that the object hidden by the first virtual object can be roughly grasped.
  • the user can grasp that the radio wave intensity is lowered from the position of the second object (microwave oven) from the front based on the screen display as shown in FIG. 14 (c).
  • FIG. 15 is a diagram showing a method of extracting the contour of the object according to the modified example 4.
  • the controller 180 identifies a place where the depth of the object is cut off when viewed from the viewpoint (that is, the position of the camera 130), extracts the specified place, and borders the object.
  • the controller 180 does not border the portion where the depth of the object is continuous when viewed from the viewpoint (that is, the position of the camera 130). That is, the controller 180 does not border the image in a range where the distance from the position imaged by the camera 130 to the position of the object included in the image is continuous, and the object included in the image from the position imaged by the camera 130. The image is bordered for the range where the distance to the position of is not continuous.
  • the controller 180 may display a first virtual object representing the actually measured radio field intensity on the display 112.
  • the controller 180 may periodically measure the radio field intensity using the communication interface 161 and display a first virtual object representing each measurement result on the display 112.
  • the simulator 201 may perform a simulation related to sound (sound wave).
  • the "radio wave intensity" in the above-described embodiment may be read as "loudness”.
  • the controller 180 causes the display 112 to display a first virtual object representing the loudness calculated by the sound wave simulation.
  • a program may be provided that causes a computer to execute each process performed by the electronic device 100.
  • the program may be recorded on a computer-readable medium.
  • Computer-readable media can be used to install programs on a computer.
  • the computer-readable medium on which the program is recorded may be a non-transient recording medium.
  • the non-transient recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

電子機器１００は、カメラ１３０と、カメラ１３０で撮像中の映像を表示するディスプレイ１１２と、カメラ１３０の撮像範囲内における電磁波の強さ又は音の大きさを表す第１仮想オブジェクトを撮像中の映像に重ねてディスプレイ１１２に表示させるコントローラ１８０とを備える。

Description

電子機器、制御方法、及びプログラム
　本発明は、電子機器、制御方法、及びプログラムに関する。
　従来、実環境における位置ごとの電磁波の強さや音の大きさを仮想環境におけるシミュレーションにより算出し、シミュレーション結果を表示する方法が知られている（例えば、特許文献１参照）。このような方法によれば、ユーザは、電磁波の強さや音の大きさを実際に測定しなくても、シミュレーション結果に基づいて電磁波や音の発生源を配置又は再配置する位置を決定できる。
国際公開第２０１９／１７６７４７号
　第１の態様に係る電子機器は、カメラと、前記カメラで撮像中の映像を表示するディスプレイと、前記カメラの撮像範囲内における電磁波の強さ又は音の大きさを表す第１仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させるコントローラとを備える。
　第２の態様に係る制御方法は、電子機器を制御する方法である。前記制御方法は、カメラで撮像中の映像をディスプレイに表示させることと、前記カメラの撮像範囲内における電磁波の強さ又は音の大きさを表す第１仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させることとを有する。
　第３の態様に係るプログラムは、電子機器に、カメラで撮像中の映像をディスプレイに表示させる処理と、前記カメラの撮像範囲内における電磁波の強さ又は音の大きさを表す第１仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させる処理とを実行させる。
一実施形態に係る電子機器を含むシステムを示す図である。 一実施形態に係る電子機器の機能ブロック構成を示す図である。 一実施形態に係る電子機器の動作例を示す図である。 一実施形態に係る画面表示例を説明するための図である。 一実施形態に係る画面表示例を説明するための図である。 変更例１に係る第２仮想オブジェクトの表示例を示す図である。 変更例１に係る動作を示す図である。 変更例１に係る他の動作を示す図である。 変更例２に係る第１仮想オブジェクトである面状仮想オブジェクトの表示例を示す図である。 変更例３に係る第１仮想オブジェクトの表示例を示す図である。 変更例３に係る他の画面表示例を示す図である。 変更例３に係る他の画面表示例を示す図である。 変更例３に係る他の画面表示例を示す図である。 変更例４に係る画面表示例を示す図である。 変更例４に係る物体の輪郭の抽出方法を示す図である。
　電磁波や音は目に見えないため、シミュレーションにより算出される電磁波の強さや音の大きさを実環境と関連付けてユーザが把握することが難しいという問題がある。
　そこで、本開示は、電磁波の強さや音の大きさを実環境と関連付けてユーザが把握することを容易にすることを目的とする。
　図面を参照して実施形態に係る電子機器について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
　一実施形態に係る電子機器は、例えばスマートフォン端末又はタブレット端末のような通信端末とすることができる。しかしながら、電子機器はそのような通信端末に限定されるものではなく、例えば、パーソナルコンピュータ又はウェアラブル端末等であってもよい。
　（電子機器の構成）
　まず、一実施形態に係る電子機器の構成について説明する。図１は、一実施形態に係る電子機器１００を含むシステムを示す図である。
　図１に示すように、電子機器１００は、無線通信により通信ネットワークＮＷに接続し、通信ネットワークＮＷを介してサーバ２００との通信を行う。電子機器１００は、外部機器３００と有線又は無線で接続可能であってもよい。外部機器３００は、電子機器１００に有線又は無線で接続可能なイヤホン、ヘッドセット、外部メモリ、又は外部カメラ等である。
　電子機器１００は、タッチパネルディスプレイ１１０と、物理ボタン１１３と、マイク１２１ａと、スピーカ１２２ａと、カメラ１３０とを有する。
　タッチパネルディスプレイ１１０は、その表示面が電子機器１００の筐体１０１から露出して設けられる。タッチパネルディスプレイ１１０は、タッチパネル１１１と、ディスプレイ１１２とを有する。タッチパネル１１１は、電子機器１００への操作入力（タッチ入力）を受け付ける。タッチを検出する方法としては、例えば抵抗膜方式や静電容量方式があるが、任意の方式でよい。
　ディスプレイ１１２は、映像出力を行う。ディスプレイ１１２は、映像を画面上に表示する。ディスプレイ１１２は、例えば液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。タッチパネルディスプレイ１１０において、ディスプレイ１１２はタッチパネル１１１と重なるように設けられており、ディスプレイ１１２の表示領域はタッチパネル１１１と重複している。
　物理ボタン１１３は、電子機器１００への操作入力（押下）を受け付ける。物理ボタン１１３は、例えば、電源ボタン及びホームボタン等を含む。
　マイク１２１ａは、電子機器１００への音声入力を受け付ける。また、マイク１２１ａは、周囲の音声を集音する。スピーカ１２２ａは、音声出力を行う。また、スピーカ１２２ａは、電話の音声や各種プログラムの情報等を音声で出力する。
　カメラ１３０は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを用いて電子的に映像を撮像する。カメラ１３０は、タッチパネルディスプレイ１１０の反対側の面に面している物体を撮像するアウトカメラである。カメラ１３０は、タッチパネルディスプレイ１１０に面している物体を撮像するインカメラであってもよい。
　図２は、一実施形態に係る電子機器１００の機能ブロック構成を示す図である。
　図２に示すように、電子機器１００は、タッチパネル１１１と、ディスプレイ１１２と、物理ボタン１１３と、音声入力部１２１と、音声出力部１２２と、カメラ１３０と、センサ１４０と、記憶部１５０と、通信インターフェイス１６１と、接続部１６２と、バッテリ１７０と、コントローラ１８０とを有する。
　タッチパネル１１１は、タッチ操作に対応する信号をコントローラ１８０に入力する。ディスプレイ１１２は、コントローラ１８０から入力された信号に基づいて映像を画面上に表示する。
　音声入力部１２１は、入力を受け付けた音声に対応する信号をコントローラ１８０に入力する。音声入力部１２１は、図１に示すマイク１２１ａであってもよいし、外部マイクを接続可能な入力インターフェイスであってもよい。
　音声出力部１２２は、コントローラ１８０から入力された信号に基づいて、音声を出力する。音声出力部１２２は、図１に示すスピーカ１２２ａであってもよいし、外部スピーカを接続可能な出力インターフェイスであってもよい。
　カメラ１３０は、撮像した映像を電子信号に変換し、画像信号をコントローラ１８０に出力する。
　センサ１４０は、各種の物理量及びデータを検出し、検出結果をコントローラ１８０に出力する。センサ１４０は、位置センサ１４１、加速度センサ１４２、及び地磁気センサ１４３のうち少なくとも１つを含む。これらのセンサのうち少なくとも１つが外部機器３００に設けられていてもよい。
　位置センサ１４１は、自機器の位置を検出し、位置データをコントローラ１８０に出力する。位置センサ１４１は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）受信機を含んでもよい。ＧＮＳＳ受信機は、ＧＮＳＳ衛星信号に基づいて測位を行い、自機器の地理的な位置（緯度・経度）を示すＧＮＳＳ位置データをコントローラ１８０に出力する。
　加速度センサ１４２は、自機器に加わる加速度を検出し、加速度データをコントローラ１８０に出力する。加速度センサ１４２は、複数の加速度センサを含む多軸加速度センサであってもよい。
　地磁気センサ１４３は、地磁気を検出し、検出した地磁気に基づく方角データをコントローラ１８０に出力する。
　記憶部１５０は、プログラム及びデータを記憶する少なくとも１つのメモリを含む。記憶部１５０は、コントローラ１８０の処理結果を一時的に記憶する作業領域としても利用される。記憶部１５０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。記憶部１５０は、複数の種類の記憶媒体を含んでもよい。記憶部１５０は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部１５０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
　通信インターフェイス１６１は、無線により通信する。通信インターフェイス１６１によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラ通信規格や、近距離無線の通信規格等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、及び／又はＷＰＡＮ（Ｗｉｒｅｌｅｓｓ　Ｐｅｒｓｏｎａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。通信インターフェイス１６１は、外部機器３００に設けられていてもよい。
　接続部１６２は、外部機器３００と電気的に接続されるインターフェイスである。接続部１６２は、外部機器３００と電気的に接続されるインターフェイスであればどのようなものであってもよいが、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）インターフェイスである。
　バッテリ１７０は、自機器を駆動するための電力を蓄える。バッテリ１７０は、例えば、リチウムイオンバッテリ等の二次電池である。
　コントローラ１８０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、及びコプロセッサを含むが、これらに限定されない。また、コントローラ１８０は、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＶＲＡＭ（Ｖｉｄｅｏ　ＲＡＭ）等を含み、ディスプレイ１１２に描画を実行させる。コントローラ１８０は、電子機器１００の動作を統括的に制御して各種の機能を実現する。コントローラ１８０は、タッチパネル１１１及び／又は物理ボタン１１３が検出した操作入力に基づいて各種制御を実行する。
　（シミュレータ）
　次に、一実施形態に係るシミュレータについて説明する。図１に示すように、サーバ２００は、電磁波に関するシミュレーションを行うシミュレータ２０１を有する。一実施形態において、サーバ２００がシミュレータ２０１を有する一例について説明するが、電子機器１００がシミュレータ２０１を有していてもよい。
　なお、電磁波とは、電場及び磁場の変化を伝搬する波をいう。例えば、電波及び光が電磁波に含まれる。以下において、シミュレータ２０１が電波シミュレーション、特に、電波の強さ（電波強度）に関するシミュレーションを行う一例について説明する。但し、シミュレータ２０１が光シミュレーション、特に、光の強さに関するシミュレーションを行ってもよい。
　電波強度は、ＲＳＳＩ（Ｒｅｃｅｉｖｅｄ　Ｓｉｇｎａｌ　Ｓｔｒｅｎｇｔｈ　Ｉｎｄｉｃａｔｏｒ）又はＲＳＲＰ（Ｒｅｆｅｒｅｎｃｅ　Ｓｉｇｎａｌ　Ｒｅｃｅｉｖｅｄ　Ｐｏｗｅｒ）であってもよい。電波強度は、干渉や雑音が考慮された指標、例えば、ＳＩＮＲ（Ｓｉｇｎａｌ　ｔｏ　Ｉｎｔｅｒｆｅｒｅｎｃｅ　ａｎｄ　Ｎｏｉｓｅ　ｐｏｗｅｒ　Ｒａｔｉｏ）又はＲＳＲＱ（Ｒｅｆｅｒｅｎｃｅ　Ｓｉｇｎａｌ　Ｒｅｃｅｉｖｅｄ　Ｑｕａｌｉｔｙ）であってもよい。
　シミュレータ２０１は、実環境を模擬した仮想環境を用いて電波シミュレーションを行い、シミュレーション結果に基づく情報を電子機器１００に送信する。実環境とは、電波の発生源（例えば、無線基地局）を配置する対象となる現実空間の環境をいう。例えば、実環境は、工場又はオフィス等である。
　シミュレータ２０１には仮想環境が予め構築されている。実環境が工場である場合、工場の構造及び産業機器の配置等を含むレイアウト情報が仮想環境に予め組み込まれている。実環境がオフィスである場合、オフィスの間取り及び机の配置等を含むレイアウト情報が仮想環境に予め組み込まれている。なお、電子機器１００のカメラ１３０により得られた映像から画像認識処理により仮想環境が修正又は構築されてもよい。
　電波シミュレーションの対象となる電波は、ミリ波帯又はサブ６ＧＨｚ帯等の高周波帯の電波であってもよい。高周波帯は、直進性が高く回折が起きにくいため、無線基地局の配置を含む通信エリア設計が難しく、活用が難しい周波数帯である。
　電子機器１００（コントローラ１８０）は、シミュレータ２０１のシミュレーション結果に基づく情報をディスプレイ１１２上で表示する。これにより、ユーザは、通信エリア設計に関する高度な知識を有していなくても、シミュレーション結果に基づいて、無線基地局を工場又はオフィス等に配置又は再配置する位置を適切に決定できる。
　（ＡＲ表示制御）
　次に、一実施形態に係る電子機器１００におけるＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示制御について説明する。
　一実施形態に係る電子機器１００は、カメラ１３０と、カメラ１３０で撮像中の映像を表示するディスプレイ１１２とを有する。具体的には、コントローラ１８０は、カメラ１３０で撮像中の映像をリアルタイムに表示するようにディスプレイ１１２を制御する。
　コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度を表す仮想オブジェクト（以下、「第１仮想オブジェクト」と呼ぶ）を撮像中の映像に重ねてディスプレイ１１２に表示させる。このような第１仮想オブジェクトを撮像中の映像に重ねてディスプレイ１１２に表示させることにより、電波強度を実環境（すなわち、撮像中の映像）と関連付けてユーザが把握することが容易になる。
　コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度に基づいて第１仮想オブジェクトの表示態様を制御する。これにより、第１仮想オブジェクトの表示態様によりユーザが電波強度を容易に認識できる。
　コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度を計算する電波シミュレーションの結果に基づいて、第１仮想オブジェクトの表示態様を制御する。ここで、サーバ２００のシミュレータ２０１が電波シミュレーションを実行し、電波シミュレーションの結果に基づく情報をコントローラ１８０が通信インターフェイス１６１を介してサーバ２００から取得する。但し、コントローラ１８０が電波シミュレーションを実行してシミュレーション結果を自ら取得してもよい。
　コントローラ１８０は、カメラ１３０の撮像条件の変更に応じてカメラ１３０の撮像範囲が変更されると、電波シミュレーションの結果に基づいて、変更された撮像範囲内における電波強度を表すように第１仮想オブジェクトの表示態様を変更する。カメラ１３０の撮像条件は、例えば、カメラ１３０の位置、向き、及び画角のうち少なくとも１つを含む。
　例えば、ユーザは、工場又はオフィス等において、電子機器１００を持ち運びながら、電波強度を確認したい位置にカメラ１３０を向ける。このとき、ユーザは、ディスプレイ１１２に表示される撮像中の映像及び第１仮想オブジェクトを確認することで、電波強度を実環境と関連付けてユーザが把握できる。そして、別の位置にカメラ１３０を向けると、ディスプレイ１１２に表示される撮像中の映像が変更されるとともに、当該別の位置における電波強度を表すように第１仮想オブジェクトの表示態様が変更される。これにより、ユーザは、位置ごとの電波強度の確認を円滑に行うことができる。
　なお、電波シミュレーションは仮想環境上で実行される。そのため、電波シミュレーションを実行する場合、サーバ２００（シミュレータ２０１）は、実環境における撮像範囲に対応する仮想環境における撮像範囲を特定し、特定した撮像範囲におけるシミュレーション結果を取得する必要がある。このような方法としては、例えば、位置ベースの取得方法、マーカを用いる映像ベースの取得方法、及びマーカを用いない映像ベースの取得方法の３つがある。電波シミュレーションは、これら３つの方法のうち２以上の方法を組み合わせて実施されてもよい。
　位置ベースの取得方法の場合、コントローラ１８０は、例えば、位置センサ１４１、加速度センサ１４２、及び地磁気センサ１４３のそれぞれの検出結果を、通信インターフェイス１６１を介してサーバ２００に送信する。コントローラ１８０は、カメラ１３０の画角等のカメラパラメータをサーバ２００にさらに送信してもよい。サーバ２００（シミュレータ２０１）は、位置センサ１４１の検出結果が示す位置と、加速度センサ１４２の検出結果が示す傾き（仰角、俯角）と、地磁気センサ１４３の検出結果が示す方角とに基づいて、カメラ１３０の撮像範囲を特定する。サーバ２００（シミュレータ２０１）は、カメラパラメータにさらに基づいてカメラ１３０の撮像範囲を特定してもよい。サーバ２００（シミュレータ２０１）は、特定した撮像範囲におけるシミュレーション結果を電子機器１００に送信する。サーバ２００（シミュレータ２０１）は、第１仮想オブジェクトを描画するための描画情報を電子機器１００に送信してもよい。
　マーカを用いる映像ベースの取得方法の場合、実環境にマーカが配置される。マーカとは、認識の対象となるための特定のパターンを持った図形をいう。コントローラ１８０は、カメラ１３０が撮像する映像に含まれるマーカを検出すると、検出したマーカに関するマーカ情報を、通信インターフェイス１６１を介してサーバ２００に送信する。サーバ２００（シミュレータ２０１）は、マーカ情報に基づいてカメラ１３０の撮像範囲を特定する。サーバ２００（シミュレータ２０１）は、カメラパラメータにさらに基づいてカメラ１３０の撮像範囲を特定してもよい。サーバ２００（シミュレータ２０１）は、特定した撮像範囲におけるシミュレーション結果を電子機器１００に送信する。サーバ２００（シミュレータ２０１）は、第１仮想オブジェクトを描画するための描画情報を電子機器１００に送信してもよい。
　マーカを用いない映像ベースの取得方法の場合、撮像映像に対する画像認識処理により実環境における物体を認識する。コントローラ１８０は、カメラ１３０からの映像データを、通信インターフェイス１６１を介してサーバ２００に送信する。サーバ２００（シミュレータ２０１）は、映像データに対する画像認識処理により実環境における物体を認識してカメラ１３０の撮像範囲を特定する。サーバ２００（シミュレータ２０１）は、認識した物体と仮想環境中の物体とのマッチング処理により、認識した物体の位置を特定してカメラ１３０の撮像範囲を特定してもよい。サーバ２００（シミュレータ２０１）は、特定した撮像範囲におけるシミュレーション結果を電子機器１００に送信する。サーバ２００（シミュレータ２０１）は、第１仮想オブジェクトを描画するための描画情報を電子機器１００に送信してもよい。
　（電子機器の動作例）
　次に、一実施形態に係る電子機器１００の動作例について説明する。図３は、一実施形態に係る電子機器１００の動作例を示す図である。
　図３に示すように、ステップＳ１０１において、コントローラ１８０は、ＡＲ表示制御を開始する。例えば、コントローラ１８０は、ＡＲ表示制御アプリケーションを起動するユーザ操作をタッチパネル１１１が受け付けたことに応じて、ＡＲ表示制御を開始する。
　ステップＳ１０２において、コントローラ１８０は、カメラ１３０で撮像中の映像をリアルタイムにディスプレイ１１２に表示する制御を開始する。ディスプレイ１１２は、カメラ１３０で撮像中の映像を表示する。
　ステップＳ１０３において、コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度のシミュレーション結果を取得する。
　ステップＳ１０４において、コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度を表す仮想オブジェクト（第１仮想オブジェクト）をカメラ１３０で撮像中の映像の上に重ねてディスプレイ１１２に表示させる。
　ステップＳ１０５において、コントローラ１８０は、カメラ１３０の撮像範囲が変更されたか否かを判定する。コントローラ１８０は、位置センサ１４１、加速度センサ１４２、及び地磁気センサ１４３のうち少なくとも１つの検出結果に基づいてステップＳ１０５の判定を行ってもよいし、カメラ１３０からの映像データに基づいてステップＳ１０５の判定を行ってもよい。
　カメラ１３０の撮像範囲が変更された場合（ステップＳ１０５：ＹＥＳ）、ステップＳ１０３において、コントローラ１８０は、変更された撮像範囲内における電波強度のシミュレーション結果を取得する。そして、コントローラ１８０は、取得したシミュレーション結果を表すように第１仮想オブジェクトの表示態様を変更する。
　一方、カメラ１３０の撮像範囲が変更されていない場合（ステップＳ１０５：ＮＯ）、ステップＳ１０６において、コントローラ１８０は、ＡＲ表示制御を終了するか否かを判定する。ＡＲ表示制御を終了する場合（ステップＳ１０６：ＹＥＳ）、本フローが終了する。ＡＲ表示制御を終了しない場合（ステップＳ１０６：ＮＯ）、コントローラ１８０は、ステップＳ１０５に処理を戻す。
　（画面表示例）
　次に、一実施形態に係る画面表示例について説明する。図４及び図５は、一実施形態に係る画面表示例を説明するための図である。
　図４に示すように、シミュレータ２０１は、仮想環境を等間隔のグリッド幅を持つ立方体群に分割して得られた立方体ごとに、電波シミュレーションにより電波強度を計算する。図４に示す例において、縦３つ、横３つ、高さ３つの合計２７個の立方体により立方体群が構成される一例を示している。各立方体には、電波強度のシミュレーション結果が割り当てられる。
　図５に示すように、コントローラ１８０は、立方体ごとに個別に割り当てられた個別オブジェクトを含む第１仮想オブジェクトを撮像中の映像に重ねてディスプレイ１１２に表示させる。図５において、撮像中の映像がオフィスの映像である一例を示している。また、図５において、各個別オブジェクトが半透明の球体である一例を示している。
　各個別オブジェクトは、対応する立方体における電波強度を表す。例えば、個別オブジェクトは、対応する立方体における電波強度を個別オブジェクトの色又は個別オブジェクトの大きさで表現する。電波強度を個別オブジェクトの色で表現する場合、電波強度「高」に「赤色」、電波強度「中」に「黄色」、電波強度「低」に「青色」が割り当てられてもよい。電波強度を個別オブジェクトの大きさで表現する場合、電波強度「高」に「大」サイズ、電波強度「中」に「中」サイズ、電波強度「低」に「小」サイズが割り当られてもよい。
　このような画面表示例によれば、ユーザは、実環境（オフィス）における電波強度を三次元的に把握できる。これにより、例えば電波強度の弱い位置を画面表示に基づいてユーザが特定し、無線基地局の設置位置を変更したり、電波の反射板を設置したりすることができる。
　（実施形態のまとめ）
　一実施形態に係る電子機器１００は、カメラ１３０と、カメラ１３０で撮像中の映像を表示するディスプレイ１１２と、カメラ１３０の撮像範囲内における電波強度を表す第１仮想オブジェクトを撮像中の映像に重ねてディスプレイ１１２に表示させるコントローラ１８０とを有する。これにより、電波強度を実環境と関連付けてユーザが把握することが容易になる。
　（変更例１）
　次に、実施形態の変更例１について説明する。
　上述のように、電波シミュレーションは仮想環境上で実行されるが、仮想環境が実環境と完全に一致しているとは限らない。実環境と一致しない仮想環境を用いて電波シミュレーションを行うと、正しい電波強度を計算することができない。
　また、工場又はオフィス等の稼動開始前において無線基地局の設置位置を決定しようとするような場合、産業機器又は机等の物体の配置を検討しつつ、電波強度を実環境と関連付けて把握したいというニーズがある。さらに、工場又はオフィス等のレイアウト変更時に、レイアウト変更後の実環境における電波強度の状況を把握したいというニーズもある。
　そこで、変更例１に係るコントローラ１８０は、電波シミュレーションに用いる仮想環境においてカメラ１３０の撮像範囲内にある物体を表す仮想オブジェクト（以下、「第２仮想オブジェクト」と呼ぶ）を撮像中の映像に重ねてディスプレイ１１２に表示させる。言い換えると、コントローラ１８０は、電波シミュレーションのシミュレーション条件を構成する物体を第２仮想オブジェクトとしてディスプレイ１１２に表示させる。
　これにより、ユーザは、シミュレーション条件（仮想環境）が実環境と一致しているかを確認可能になるため、シミュレーション結果が適切なものであるか否かを判断できる。
　なお、コントローラ１８０は、第２仮想オブジェクトを第１仮想オブジェクトと同時にディスプレイ１１２に表示させてもよい。コントローラ１８０は、第１仮想オブジェクト及び第２仮想オブジェクトが少なくとも部分的に重複する場合、第２仮想オブジェクトに重ねて第１仮想オブジェクトを表示してもよい。
　コントローラ１８０は、第１仮想オブジェクトの表示タイミングと異なるタイミングで第２仮想オブジェクトをディスプレイ１１２に表示させてもよい。例えば、コントローラ１８０は、ユーザ操作に応じて第１仮想オブジェクトの表示と第２仮想オブジェクトの表示とを切り替えてもよい。
　図６は、変更例１に係る第２仮想オブジェクトの表示例を示す図である。
　図６に示すように、コントローラ１８０は、電波シミュレーションに用いる仮想環境においてカメラ１３０の撮像範囲内にある物体を表す第２仮想オブジェクトを撮像中の映像に重ねてディスプレイ１１２に表示させる。図６において、第２仮想オブジェクトが表す物体がソファーである一例を示しており、実環境においてソファーが設置されていない。
　例えば、ユーザは、実環境において新たにソファーを設置する前に、ソファーを表す第２仮想オブジェクトを追加するユーザ操作を電子機器１００（タッチパネル１１１）に対して行う。この場合、シミュレータ２０１は、ソファーの追加が反映された仮想環境を用いた再シミュレーションを行い、再シミュレーションの結果に基づいて、電波強度を表す第１仮想オブジェクトの表示態様を変更する。これにより、ユーザは、ソファーの追加が電波強度に与える影響を把握できる。
　或いは、実環境においてソファーが設置されていてもよい。この場合、カメラ１３０で撮像中の映像にソファーが含まれることになる。このような状況下において、コントローラ１８０は、電波シミュレーションに用いる仮想環境においてカメラ１３０の撮像範囲内にある物体（ここでは、ソファー）を表す第２仮想オブジェクトを撮像中の映像に重ねてディスプレイ１１２に表示させる。
　ここで、撮像中の映像に含まれるソファーの位置と第２仮想オブジェクトの位置とが異なる場合、ユーザは、撮像中の映像に含まれるソファーの位置に第２仮想オブジェクトを移動させるユーザ操作を電子機器１００（タッチパネル１１１）に対して行う。これにより、シミュレーション条件（仮想環境）を実環境と一致させることができるため、適切なシミュレーション結果を得ることが可能になる。この場合、シミュレータ２０１は、第２仮想オブジェクトの移動が反映された仮想環境を用いた再シミュレーションを行い、再シミュレーションの結果に基づいて、電波強度を表す第１仮想オブジェクトの表示態様を変更する。
　図７は、変更例１に係る動作を示す図である。ここでは、第２仮想オブジェクトを第１仮想オブジェクトと同時にディスプレイ１１２に表示させる一例について説明する。
　図７に示すように、ステップＳ２０１において、コントローラ１８０は、ＡＲ表示制御を開始する。例えば、コントローラ１８０は、ＡＲ表示制御アプリケーションを起動するユーザ操作をタッチパネル１１１が受け付けたことに応じて、ＡＲ表示制御を開始する。
　ステップＳ２０２において、コントローラ１８０は、カメラ１３０で撮像中の映像をリアルタイムにディスプレイ１１２に表示する制御を開始する。ディスプレイ１１２は、カメラ１３０で撮像中の映像を表示する。
　ステップＳ２０３において、コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度のシミュレーション結果と、電波シミュレーションに用いる仮想環境においてカメラ１３０の撮像範囲内にある物体に関する情報をシミュレータ２０１から取得する。
　ステップＳ２０４において、コントローラ１８０は、カメラ１３０の撮像範囲内における電波強度を表す仮想オブジェクト（第１仮想オブジェクト）と、電波シミュレーションに用いる仮想環境においてカメラ１３０の撮像範囲内にある物体を表す仮想オブジェクト（第２仮想オブジェクト）とをカメラ１３０で撮像中の映像の上に重ねてディスプレイ１１２に表示させる。
　ステップＳ２０５において、コントローラ１８０は、カメラ１３０の撮像範囲が変更されたか否かを判定する。コントローラ１８０は、位置センサ１４１、加速度センサ１４２、及び地磁気センサ１４３のうち少なくとも１つの検出結果に基づいてステップＳ２０５の判定を行ってもよいし、カメラ１３０からの映像データに基づいてステップＳ２０５の判定を行ってもよい。
　カメラ１３０の撮像範囲が変更された場合（ステップＳ２０５：ＹＥＳ）、ステップＳ２０３において、コントローラ１８０は、変更された撮像範囲内における電波強度のシミュレーション結果と、仮想環境においてカメラ１３０の撮像範囲内にある物体に関する情報とをシミュレータ２０１から取得し、第１仮想オブジェクト及び第２仮想オブジェクトの表示を更新する。
　一方、カメラ１３０の撮像範囲が変更されていない場合（ステップＳ２０５：ＮＯ）、ステップＳ２０６において、コントローラ１８０は、ＡＲ表示制御を終了するか否かを判定する。ＡＲ表示制御を終了する場合（ステップＳ２０６：ＹＥＳ）、本フローが終了する。ＡＲ表示制御を終了しない場合（ステップＳ２０６：ＮＯ）、コントローラ１８０は、ステップＳ２０５に処理を戻す。
　図８は、変更例１に係る他の動作を示す図である。図８に示す動作は、例えばタッチパネル１１１に対するユーザ操作をトリガとして開始される。
　図８に示すように、ステップＳ３０１において、コントローラ１８０は、第２仮想オブジェクトの移動、追加、又は削除を表すユーザ操作があったか否かを判定する。
　第２仮想オブジェクトの移動、追加、又は削除を表すユーザ操作があった場合（ステップＳ３０１：ＹＥＳ）、ステップＳ３０２において、コントローラ１８０は、当該ユーザ操作が反映された仮想環境を用いた再シミュレーションの結果をシミュレータ２０１から取得する。ステップＳ３０３において、コントローラ１８０は、再シミュレーションの結果に基づいて第１仮想オブジェクトの表示態様を変更する。
　例えば、コントローラ１８０は、第２仮想オブジェクトの移動を表すユーザ操作があった場合、当該移動が反映された仮想環境を用いた再シミュレーションの結果に基づいて、第１仮想オブジェクトの表示態様を変更する。
　或いは、コントローラ１８０は、第２仮想オブジェクトの追加を表すユーザ操作があった場合、当該追加が反映された仮想環境を用いた再シミュレーションの結果に基づいて、第１仮想オブジェクトの表示態様を変更する。
　或いは、コントローラ１８０は、第２仮想オブジェクトの削除を表すユーザ操作があった場合、当該削除が反映された仮想環境を用いた再シミュレーションの結果に基づいて、第１仮想オブジェクトの表示態様を変更する。
　（変更例２）
　次に、実施形態の変更例２について説明する。
　図５に示したような画面表示例の場合、電波強度を表す第１仮想オブジェクトに含まれる各個別オブジェクト（図５における各球体）の前後関係が分かり難く、ユーザが奥行き感を把握することが難しい懸念がある。また、図５に示したような画面表示例の場合、電波の進む方向（電波進行方向）を表現できないため、ユーザが電波進行方向を把握できない。
　そこで、変更例２に係るコントローラ１８０は、電波強度を表す第１仮想オブジェクトとして、撮像中の映像に含まれる空間の床面に対して並行な面状仮想オブジェクトをディスプレイ１１２に表示させる。面状仮想オブジェクトは、水平方向に情報を表示する第１仮想オブジェクトである。電波強度を表す第１仮想オブジェクトとして面状仮想オブジェクトをディスプレイ１１２に表示させることにより、ユーザが奥行き感を把握し易くなる。
　図９は、変更例２に係る第１仮想オブジェクトである面状仮想オブジェクトの表示例を示す図である。図９において、ある部屋を実環境として想定している。図９に示す床面、壁＃１、壁＃２、及び柱は、実環境に存在する物体であるものとする。電波シミュレーションに用いる仮想環境においても、床面、壁＃１、壁＃２、及び柱のそれぞれの情報が組み込まれているものとする。
　図９に示すように、面状仮想オブジェクトは、撮像中の映像に含まれる空間の床面に対して並行な第１仮想オブジェクトである。図９において、面状仮想オブジェクトは半透明の仮想オブジェクトである。コントローラ１８０は、面状仮想オブジェクトに含まれる領域（領域Ａ乃至領域Ｃ）ごとに電波強度を色の濃淡又は色の種類で表現する面状仮想オブジェクトをディスプレイ１１２に表示させる。
　図９において、電波の発生源である無線基地局が壁＃１側に設置されているものとしている。このため、壁＃１の近傍の領域Ａにおける電波強度が最も高い。壁＃１から離間した領域Ｂは、領域Ａに比べて電波強度が低い。電波強度を色の種類で表現する場合、電波強度「高」である領域Ａに「赤色」、電波強度「低」である領域Ｂに「黄色」が割り当てられてもよい。電波強度を色の濃淡で表現する場合、電波強度「高」である領域Ａに「濃い赤色」、電波強度「低」である領域Ｂに「薄い赤色」が割り当てられてもよい。このような画面表示例によれば、ユーザが電波強度の分布の奥行きを容易に把握できる。
　領域Ｃは、電波の発生源との間に柱が存在しており、電波が通らない領域である。コントローラ１８０は、面状仮想オブジェクトにおいて電波が通らない領域Ｃを所定の色（例えば、黒色又は白色）でディスプレイ１１２に表示させる。これにより、ユーザは、領域Ｃが電波の通らない領域であることを把握できる。
　また、コントローラ１８０は、電波の進む方向（電波進行方向）を表す記号又は図形を含む面状仮想オブジェクトをディスプレイ１１２に表示させる。図９において、電波進行方向を表す記号として矢印を表示する一例を示しているが、矢印に限定されるものではなく、電波進行方向を表す任意の記号又は図形を用いることができる。これにより、ユーザは、電波進行方向を容易に把握できる。
　なお、コントローラ１８０は、面状仮想オブジェクトにおいて、高さ方向については電波強度の平均値を表示してもよい。コントローラ１８０は、面状仮想オブジェクトの高さがユーザ操作により指定された場合、指定された高さにおける電波強度を表示してもよい。コントローラ１８０は、面状仮想オブジェクトを高さ方向に移動させるユーザ操作に応じて、対応する高さにおける電波強度を表示するように連続的に表示を変化させてもよい。
　図９において、電波の発生源が１つである場合を想定しているが、電波の発生源が複数である場合を想定してもよい。コントローラ１８０は、電波の発生源が複数ある場合、電波の発生源ごとに個別に割り当てられた面状仮想オブジェクトを、互いに異なる高さ、且つ、互いに異なる色でディスプレイ１１２に表示させてもよい。
　例えば、１つの部屋において無線基地局Ａ及び無線基地局Ｂのそれぞれから電波が到来する場合、コントローラ１８０は、無線基地局Ａに割り当てられた面状仮想オブジェクトＡと無線基地局Ｂに割り当てられた面状仮想オブジェクトＢとをディスプレイ１１２に表示させる。ここで、コントローラ１８０は、面状仮想オブジェクトＡと面状仮想オブジェクトＢとを互いに異なる高さ且つ異なる色でディスプレイ１１２に表示させる。これにより、２つの面状仮想オブジェクトをユーザが区別することが容易になる。また、面状仮想オブジェクトＡと面状仮想オブジェクトＢとを同時に表示することにより、ユーザは、無線基地局Ａ及び無線基地局Ｂのいずれもカバーしていない不感領域の存在を把握できる。
　コントローラ１８０は、電波の発生源が複数ある場合、電波の発生源ごとに個別に割り当てられた面状仮想オブジェクトを互いに異なるタイミングでディスプレイ１１２に表示させてもよい。例えば、コントローラ１８０は、ユーザ操作に応じて面状仮想オブジェクトＡの表示と面状仮想オブジェクトＢの表示とを切り替えてもよい。
　（変更例３）
　次に、実施形態の変更例３について説明する。変更例３は、変更例２と同様に、電波強度を表す第１仮想オブジェクトの画面表示を改善する実施例である。
　変更例３に係るコントローラ１８０は、カメラ１３０で撮像中の映像に含まれる対象物と対応付けられた第１仮想オブジェクトをディスプレイ１１２に表示させる。ここで、対象物とは、実環境に存在する物体をいうが、仮想環境に存在する物体であってもよい。
　第１仮想オブジェクトは、対象物又は対象物の近傍における電波強度を表す数値、記号、図形、及び文字の少なくとも１つを含む。以下において、数値により電波強度を表す一例について説明するが、第１仮想オブジェクトは、電波強度を例えばアンテナ本数の記号又は図形で表されてもよいし、電波強度を「高」、「中」、「低」、「ゼロ」といった文字で表されてもよい。
　このように、第１仮想オブジェクトを対象物と対応付けて表示することにより、どの対象物についての電波強度であるのかをユーザが把握しやすくなる。また、対象物に限定して第１仮想オブジェクトを表示することにより、ディスプレイ１１２の表示領域の大部分を第１仮想オブジェクトが占有してしまうことを回避できるため、カメラ１３０で撮像中の映像の視認性を改善できる。
　図１０は、変更例３に係る第１仮想オブジェクトの表示例を示す図である。図１０において、オフィスを実環境として想定している。図１０に示す机及び椅子は、実環境に存在する物体であるものとする。電波シミュレーションに用いる仮想環境においても、机及び椅子の情報が組み込まれているものとする。
　ここでは、第１仮想オブジェクトと対応付けられる対象物が机である一例について説明する。なお、実環境が工場である場合、対象物が産業機器等の機材であってもよい。
　図１０に示すように、コントローラ１８０は、第１仮想オブジェクトを対象物の少なくとも一部に重ねてディスプレイ１１２に表示させる。図１０において、４つの机のそれぞれに重ねて表示される４つの第１仮想オブジェクト（第１仮想オブジェクト＃１乃至第１仮想オブジェクト＃４）を例示している。各第１仮想オブジェクトは、対応する机における電波強度を表す数値である。
　コントローラ１８０は、カメラ１３０で撮像中の映像に含まれる複数の物体のうちユーザ操作により指定された物体を対象物として、第１仮想オブジェクトをディスプレイ１１２に表示させてもよい。すなわち、第１仮想オブジェクトを割り当てる対象物をユーザが指定可能であってもよい。これにより、第１仮想オブジェクトを表示する対象物を限定できる。
　コントローラ１８０は、カメラ１３０で撮像中の映像に含まれる複数の対象物のうち、カメラ１３０で撮像中の映像に全体が含まれない対象物に対する第１仮想オブジェクトの表示を省略してもよい。例えば、ディスプレイ１１２の表示領域の端に一部のみが含まれる対象物については第１仮想オブジェクトを表示しない。これにより、第１仮想オブジェクトを表示する対象物を限定できる。
　コントローラ１８０は、カメラ１３０で撮像中の映像に含まれる複数の対象物に対応する複数の第１仮想オブジェクトが少なくとも部分的に重複する場合、当該複数の第１仮想オブジェクトのうち手前に位置する対象物に対応する第１仮想オブジェクトのみをディスプレイ１１２に表示させてもよい。すなわち、コントローラ１８０は、手前に位置する対象物の奥に位置する対象物については第１仮想オブジェクトをディスプレイ１１２に表示させない。これにより、第１仮想オブジェクトの視認性を改善できる。
　コントローラ１８０は、対象物における所定範囲の領域ごとに、電波強度を表す数値をディスプレイ１１２に表示させるとともに、当該所定範囲の領域を表す境界線をディスプレイ１１２に表示させてもよい。図１１は、変更例３に係る他の画面表示例を示す図である。
　図１１（ａ）に示すように、１つの対象物に対して１つの第１仮想オブジェクトを表示する場合、大型の物体や大きな壁面を対象物とすると、対象物の部位ごとの数値の変化を表現しきれない。図１１（ａ）に示す左上の部位は電波強度が「３０」であるが、図１１（ａ）に示す右下の部位は電波強度が「１００」である。図１１（ａ）の例では、平均的な電波強度の数値として「６０」を表示している。
　このため、図１１（ｂ）に示すように、コントローラ１８０は、対象物における所定範囲の領域ごとに、電波強度を表す数値（平均値等の代表値）をディスプレイ１１２に表示させるとともに、当該所定範囲の領域を表す境界線をディスプレイ１１２に表示させる。ここで、所定範囲の領域とは、電波強度の数値の値域が特定の範囲にある領域をいう。図１１（ｂ）に示す例では、代表値が「１０」である領域と、代表値が「５０」である領域と、代表値が「７０」である領域と、代表値が「９０」である領域との合計４つの領域に境界線により区分されている。これにより、大型の物体や大きな壁面を対象物とする場合であっても、対象物の部位ごとの数値の変化を表現できる。
　コントローラ１８０は、電波強度を表す数値をディスプレイ１１２に表示させた後、当該数値を移動させるユーザ操作があった場合、ユーザ操作による移動先の位置における電波強度を表す新たな数値をディスプレイ１１２に表示させてもよい。図１２は、変更例３に係る他の画面表示例を示す図である。
　図１２（ａ）に示すように、１つの対象物に対して１つの第１仮想オブジェクトを表示する場合、大型の物体や大きな壁面を対象物とすると、対象物の部位ごとの数値の変化を表現しきれない。
　このため、図１２（ｂ）に示すように、コントローラ１８０は、表示された対象物上で数値を移動させるユーザ操作があった場合、ユーザ操作による移動先の位置における電波強度を表す新たな数値をディスプレイ１１２に表示させる。図１２（ｂ）において、数値が移動に応じて「３０」、「８０」、及び「５０」の順に変化する一例を示している。これにより、大型の物体や大きな壁面を対象物とする場合であっても、対象物の部位ごとの数値の変化を表現できる。
　コントローラ１８０は、第１仮想オブジェクトを対象物に貼付ける態様でディスプレイ１１２に表示させてもよい。図１３は、変更例３に係る他の画面表示例を示す図である。図１３において、室内の廊下の床面及び壁面の電波強度を数値で表示する一例を示している。コントローラ１８０は、第１仮想オブジェクト（数値）を奥行きに応じた角度を付けて表示する。これにより、ユーザは、第１仮想オブジェクト（数値）と対応付けられた対象物の位置を把握しやすくなる。
　図１３（ａ）は、手前の床面に貼付ける態様で第１仮想オブジェクト（数値）を表示する例を示しており、表示する数値には角度が付けられていない。図１３（ｂ）は、壁面に貼付ける態様で第１仮想オブジェクト（数値）を表示する例を示しており、表示する数値には角度が付けられているため、奥側に向かって数値の表示が縮小している。図１３（ｃ）は、遠くの床面に貼付ける態様で第１仮想オブジェクト（数値）を表示する例を示しており、表示する数値には角度が付けられているため、縦方向に数値の表示が圧縮されている。
　（変更例４）
　次に、実施形態の変更例４について説明する。変更例４は、画面表示を改善する実施例である。上述したように、カメラ１３０で撮像中の映像に重ねて第１仮想オブジェクトを表示すると、カメラ１３０で撮像中の映像の視認性が低下する問題がある。
　変更例４に係るコントローラ１８０は、カメラ１３０で撮像中の映像に含まれる物体が第１仮想オブジェクトと重複する場合、当該物体の輪郭を表す線を第１仮想オブジェクトに重ねてディスプレイ１１２に表示させる。これにより、第１仮想オブジェクトの奥に隠れた物体の視認性を改善できる。なお、カメラ１３０で撮像中の映像に含まれる物体とは、実環境に存在する物体をいうが、仮想環境に存在する物体であってもよい。
　図１４は、変更例４に係る画面表示例を示す図である。
　図１４（ａ）に示すように、コントローラ１８０は、カメラ１３０で撮像中の映像をディスプレイ１１２に表示させる。図１４（ａ）において、カメラ１３０で撮像中の映像に含まれる物体が複数の電子レンジ及び棚である一例を示している。
　図１４（ｂ）に示すように、コントローラ１８０は、電波強度を色の濃淡又は色の種類で表現する第１仮想オブジェクトを、カメラ１３０で撮像中の映像の全体にわたってディスプレイ１１２に表示させる。図１４（ｂ）において、電波強度を色の濃淡で表現する一例を示している。ここで、第１仮想オブジェクトによりカメラ１３０で撮像中の映像が隠れており、当該映像の視認性が低下している。なお、図１４（ｂ）において、色が薄い左側の電波強度が高く、色が濃い右側の電波強度が低いものとしている。
　図１４（ｃ）に示すように、コントローラ１８０は、カメラ１３０で撮像中の映像に第１仮想オブジェクトを重ねてディスプレイ１１２に表示させるとともに、カメラ１３０で撮像中の映像に含まれる物体の輪郭を表す線を第１仮想オブジェクトに重ねてディスプレイ１１２に表示させる。これにより、ユーザは、カメラ１３０で撮像中の映像に含まれる物体の輪郭を把握できるため、第１仮想オブジェクトにより隠れてしまった物体を大まかに把握できる。また、ユーザは、図１４（ｃ）に示すような画面表示に基づいて、手前から２個目の物体（電子レンジ）の位置から電波強度が低くなることを把握できる。
　図１５は、変更例４に係る物体の輪郭の抽出方法を示す図である。
　図１５（ａ）に示すように、コントローラ１８０は、視点（すなわち、カメラ１３０の位置）から見て物体の深度が断絶する箇所を特定し、特定した箇所を抽出して縁取りをする。一方、図１５（ａ）に示すように、コントローラ１８０は、視点（すなわち、カメラ１３０の位置）から見て物体の深度が連続する箇所については縁取りをしない。すなわち、コントローラ１８０は、カメラ１３０で撮像する位置から映像に含まれる物体の位置までの距離が連続する範囲に対しては映像に縁取りを行わず、カメラ１３０で撮像する位置から映像に含まれる物体の位置までの距離が連続しない範囲に対しては映像に縁取りを行う。
　（その他の実施形態）
　上述の実施形態及び各変更例は、任意に組み合わせて実施可能である。例えば、変更例１と変更例２乃至４とを組み合わせてもよいし、変更例４と変更例２又は３とを組み合わせてもよい。
　上述の実施形態において、コントローラ１８０が、電波シミュレーションにより計算された電波強度を表す第１仮想オブジェクトをディスプレイ１１２に表示させる一例について説明した。しかしながら、コントローラ１８０は、実際に測定した電波強度を表す第１仮想オブジェクトをディスプレイ１１２に表示させてもよい。例えば、コントローラ１８０は、通信インターフェイス１６１を用いて電波強度を周期的に測定し、各測定結果を表す第１仮想オブジェクトをディスプレイ１１２に表示させてもよい。
　上述の実施形態において、シミュレータ２０１が電波シミュレーションを行う一例について説明したが、シミュレータ２０１が音（音波）に関するシミュレーションを行ってもよい。この場合、上述の実施形態における「電波強度」を「音の大きさ」と読み替えてもよい。具体的には、コントローラ１８０は、音波シミュレーションにより計算された音の大きさを表す第１仮想オブジェクトをディスプレイ１１２に表示させる。
　電子機器１００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。
　以上、図面を参照して一実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　本願は、日本国特許出願第２０２０－１１７７９６号（２０２０年７月８日出願）の優先権を主張し、その内容の全てが本願明細書に組み込まれている。

Claims (11)

  1. 　カメラと、
    　前記カメラで撮像中の映像を表示するディスプレイと、
    　前記カメラの撮像範囲内における電磁波の強さ又は音の大きさを表す第１仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させるコントローラと、を備える
    　電子機器。
  2. 　前記コントローラは、前記撮像範囲内における電磁波の強さ又は音の大きさを計算するシミュレーションの結果に基づいて、前記第１仮想オブジェクトの表示態様を制御する
    　請求項１に記載の電子機器。
  3. 　前記コントローラは、前記カメラの撮像条件の変更に応じて前記撮像範囲が変更されると、前記シミュレーションの結果に基づいて、前記変更された撮像範囲内における電磁波の強さ又は音の大きさを表すように前記第１仮想オブジェクトの表示態様を変更する
    　請求項２に記載の電子機器。
  4. 　前記コントローラは、前記シミュレーションに用いる仮想環境において前記撮像範囲内にある物体を表す第２仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させる
    　請求項２又は３に記載の電子機器。
  5. 　前記コントローラは、前記第２仮想オブジェクトの移動を表すユーザ操作があった場合、前記移動が反映された前記仮想環境を用いた再シミュレーションの結果に基づいて、前記第１仮想オブジェクトの表示態様を変更する
    　請求項４に記載の電子機器。
  6. 　前記コントローラは、前記第２仮想オブジェクトの追加を表すユーザ操作があった場合、前記追加が反映された前記仮想環境を用いた再シミュレーションの結果に基づいて、前記第１仮想オブジェクトの表示態様を変更する
    　請求項４に記載の電子機器。
  7. 　前記コントローラは、前記第２仮想オブジェクトの削除を表すユーザ操作があった場合、前記削除が反映された前記仮想環境を用いた再シミュレーションの結果に基づいて、前記第１仮想オブジェクトの表示態様を変更する
    　請求項４に記載の電子機器。
  8. 　前記シミュレーションに用いる仮想環境を等間隔のグリッド幅を持つ立方体群に分割して得られた立方体ごとに、前記シミュレーションにより電磁波の強さ又は音の大きさが計算される場合、前記コントローラは、前記立方体ごとに個別に割り当てられた個別オブジェクトを含む前記第１仮想オブジェクトを前記ディスプレイに表示させ、
    　前記個別オブジェクトは、対応する立方体における電磁波の強さ又は音の大きさを表す
    　請求項２乃至７のいずれか１項に記載の電子機器。
  9. 　前記個別オブジェクトは、前記対応する立方体における電磁波の強さ又は音の大きさを前記個別オブジェクトの色又は前記個別オブジェクトの大きさで表現する
    　請求項８に記載の電子機器。
  10. 　電子機器を制御する制御方法であって、
    　カメラで撮像中の映像をディスプレイに表示させることと、
    　前記カメラの撮像範囲内における電磁波の強さ又は音の大きさを表す第１仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させることと、を有する
    　制御方法。
  11. 　電子機器に、
    　カメラで撮像中の映像をディスプレイに表示させる処理と、
    　前記カメラの撮像範囲内における電磁波の強さ又は音の大きさを表す第１仮想オブジェクトを前記撮像中の映像に重ねて前記ディスプレイに表示させる処理と、を実行させる
    　プログラム。
PCT/JP2021/025445 2020-07-08 2021-07-06 電子機器、制御方法、及びプログラム WO2022009874A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022535340A JP7503136B2 (ja) 2020-07-08 2021-07-06 電子機器、制御方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-117796 2020-07-08
JP2020117796 2020-07-08

Publications (1)

Publication Number Publication Date
WO2022009874A1 true WO2022009874A1 (ja) 2022-01-13

Family

ID=79553243

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025445 WO2022009874A1 (ja) 2020-07-08 2021-07-06 電子機器、制御方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7503136B2 (ja)
WO (1) WO2022009874A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10181218B1 (en) * 2016-02-17 2019-01-15 Steelcase Inc. Virtual affordance sales tool
WO2019176748A1 (ja) * 2018-03-12 2019-09-19 パナソニックＩｐマネジメント株式会社 電波環境解析装置および電波環境解析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10181218B1 (en) * 2016-02-17 2019-01-15 Steelcase Inc. Virtual affordance sales tool
WO2019176748A1 (ja) * 2018-03-12 2019-09-19 パナソニックＩｐマネジメント株式会社 電波環境解析装置および電波環境解析方法

Also Published As

Publication number Publication date
JP7503136B2 (ja) 2024-06-19
JPWO2022009874A1 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
US11120616B2 (en) Method for implementing virtual scene conversion and related apparatus
US11256384B2 (en) Method, apparatus and device for view switching of virtual environment, and storage medium
US11458395B2 (en) Method for displaying information in a virtual environment
EP3822918A1 (en) Image rendering method and apparatus, and storage medium
CN104024984B (zh) 便携式设备、虚拟现实系统及方法
CN108465240A (zh) 标记点位置显示方法、装置、终端及计算机可读存储介质
CN111968247B (zh) 三维房屋空间的构建方法、装置、电子设备及存储介质
KR101690311B1 (ko) 증강현실객체 배치, 공유 및 전시 시스템 및 배치, 공유 및 전시 방법
EP3832605B1 (en) Method and device for determining potentially visible set, apparatus, and storage medium
WO2021164315A1 (zh) 热点图的显示方法、装置、计算机设备及可读存储介质
KR101680667B1 (ko) 이동 단말기 및 이동 단말기의 제어방법
CN113205515B (zh) 目标检测方法、装置、及计算机存储介质
US20230072762A1 (en) Method and apparatus for displaying position mark, device, and storage medium
CN108917766B (zh) 一种导航方法和移动终端
CN105303591B (zh) 在拼图上叠加地点信息的方法、终端及服务器
CN106034173A (zh) 移动终端及其控制方法
CN110170170A (zh) 一种信息显示方法及终端设备
WO2022009874A1 (ja) 電子機器、制御方法、及びプログラム
WO2022009872A1 (ja) 電子機器、制御方法、及びプログラム
US20160134719A1 (en) Methods and systems for displaying graphic representations in a user interface
CN111754564B (zh) 视频展示方法、装置、设备及存储介质
CN109739399A (zh) 一种图标选择控制方法、终端及计算机可读存储介质
CN111090482A (zh) 一种模拟纸质材料显示的内容输出方法及电子设备
CN109144630B (zh) 一种色温调节方法及终端
CN109194943B (zh) 一种图像处理方法及终端设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21837542

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022535340

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21837542

Country of ref document: EP

Kind code of ref document: A1