WO2023242917A1 - スマートグラスシステム、スマートグラス連携方法、サーバー装置およびサーバープログラム - Google Patents

スマートグラスシステム、スマートグラス連携方法、サーバー装置およびサーバープログラム Download PDF

Info

Publication number
WO2023242917A1
WO2023242917A1 PCT/JP2022/023666 JP2022023666W WO2023242917A1 WO 2023242917 A1 WO2023242917 A1 WO 2023242917A1 JP 2022023666 W JP2022023666 W JP 2022023666W WO 2023242917 A1 WO2023242917 A1 WO 2023242917A1
Authority
WO
WIPO (PCT)
Prior art keywords
smart glasses
display
image
server device
user
Prior art date
Application number
PCT/JP2022/023666
Other languages
English (en)
French (fr)
Inventor
昌平 飯島
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2024518233A priority Critical patent/JP7515769B2/ja
Priority to PCT/JP2022/023666 priority patent/WO2023242917A1/ja
Priority to TW111134472A priority patent/TW202349942A/zh
Publication of WO2023242917A1 publication Critical patent/WO2023242917A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information

Definitions

  • the present disclosure relates to a system in which smart glasses and a server device operate in cooperation.
  • smart glasses that project information tailored to reality onto transparent glasses is being considered for work in factories and other facilities. For example, the following use cases are envisioned.
  • a worker looks at manufacturing equipment through smart glasses, specific equipment is detected.
  • the operating status or error information of detected devices is displayed on smart glasses as augmented reality.
  • the operator performs maintenance work according to the displayed information.
  • object detection and display content generation have generally been realized by applications on smart glasses.
  • server-processed systems will be realized.
  • data such as moving images is transferred to a server, and each calculation and processing is executed on the server side.
  • smart glasses are mainly responsible for display.
  • the basic system includes smart glasses, a server, and a wireless base station.
  • a wireless base station is used for communication between the smart glasses and the server.
  • Smart glasses send images taken by the on-board camera to a server.
  • the server performs object detection using the images sent from the smart glasses. Object detection is performed using means such as AI, and detects objects registered in advance. AI is an abbreviation for artificial intelligence.
  • the server acquires data to be displayed corresponding to the detected object from the database, and generates an image to be displayed based on the acquired data.
  • the server also determines information such as the display position and display size based on the position of the detected object.
  • the server then sends the generated image and information such as the display position and display size back to the smart glasses.
  • the smart glasses receive images and information and display the received images on the smart glasses according to the received information.
  • Patent Document 1 discloses a method for stably distributing video in a virtual space from a distribution server to a client terminal.
  • processing such as object detection performed by the server and communication between the smart glasses and the server require time. Therefore, the vision of the person wearing the smart glasses may have changed between the time the image is captured with the smart glasses and the image is displayed on the smart glasses. If the field of view has changed, and the image is displayed on the smart glasses, the image will block the wearer's view, reducing work efficiency.
  • the present disclosure aims to enable images to be displayed on smart glasses only when the vision of the wearer of the smart glasses is stable.
  • the smart glasses system of the present disclosure includes: Smart glasses that have a camera and a display, are worn by a user, transmit a moving image obtained by shooting using the camera, receive a display image, and display the display image on the display; Receive the moving image, perform object detection using the moving image, generate an image indicating information related to the detected object detected by the object detection as the display image, and determine whether the user's field of view has changed.
  • a server device that performs a visual field change determination and transmits the displayed image to the smart glasses when it is determined that the user's visual field has not changed; Equipped with
  • images can be displayed on smart glasses only when the vision of the wearer of the smart glasses is stable.
  • FIG. 1 is a configuration diagram of a smart glasses system 100 in Embodiment 1.
  • FIG. 2 is a configuration diagram of smart glasses 200 in Embodiment 1.
  • FIG. 3 is a configuration diagram of a server device 300 in the first embodiment.
  • 1 is a flowchart of a smart glasses cooperation method (smart glasses) in Embodiment 1.
  • 1 is a flowchart of a smart glasses cooperation method (server device) in Embodiment 1.
  • FIG. 2 is a configuration diagram of smart glasses 200 in Embodiment 2.
  • 7 is a flowchart of a smart glasses cooperation method (smart glasses) in Embodiment 2.
  • 12 is a flowchart of a smart glasses cooperation method (server device) in Embodiment 2.
  • FIG. 1 is a configuration diagram of a smart glasses system 100 in Embodiment 1.
  • FIG. 2 is a configuration diagram of smart glasses 200 in Embodiment 1.
  • FIG. 3 is a configuration diagram of a server device 300 in the first embodiment.
  • FIG. 3 is a configuration diagram of a server device 300 in Embodiment 3.
  • 12 is a flowchart of a smart glasses cooperation method (server device) in Embodiment 3.
  • FIG. 2 is a hardware configuration diagram of smart glasses 200 in an embodiment.
  • FIG. 3 is a hardware configuration diagram of a server device 300 in an embodiment.
  • Embodiment 1 The smart glasses system 100 will be described based on FIGS. 1 to 5.
  • the configuration of the smart glasses system 100 will be explained based on FIG. 1.
  • the smart glasses system 100 includes smart glasses 200, a server device 300, and a wireless base station 110.
  • Smart glasses 200 and server device 300 communicate with each other via wireless base station 110.
  • Wireless base station 110 communicates with smart glasses 200 and server device 300, respectively.
  • the wireless base station 110 communicates with the smart glasses 200 wirelessly and communicates with the server device 300 by wire.
  • the smart glasses system 100 is used, for example, in an FA system.
  • FA is an abbreviation for Factory Automation.
  • a user who wears smart glasses 200 is referred to as a wearer.
  • the configuration of smart glasses 200 will be explained based on FIG. 2.
  • the smart glasses 200 are a computer that includes hardware such as a processor 201, a memory 202, a storage 203, a communication device 204, a camera 205, and a display 206. These pieces of hardware are connected to each other via signal lines.
  • the processor 201 is an IC that performs arithmetic processing and controls other hardware.
  • processor 201 is a CPU, DSP, or GPU.
  • IC is an abbreviation for Integrated Circuit.
  • CPU is an abbreviation for Central Processing Unit.
  • Memory 202 is a volatile or non-volatile storage device. Memory 202 is also called main storage or main memory. For example, memory 202 is a RAM. The data stored in memory 202 is saved in storage 203 as needed. RAM is an abbreviation for Random Access Memory.
  • Storage 203 is a nonvolatile storage device.
  • storage 203 is ROM, flash memory, or a combination thereof. Data stored in storage 203 is loaded into memory 202 as needed.
  • ROM is an abbreviation for Read Only Memory.
  • the communication device 204 is a receiver and a transmitter.
  • communication device 204 is a communication chip. Communication between smart glasses 200 is performed using communication device 204.
  • the camera 205 photographs the range of the wearer's field of view at each time, and outputs the image obtained by photographing at each time.
  • the display 206 displays images in the wearer's field of vision.
  • the smart glasses 200 include elements such as a control section 211, a transfer section 212, a reception section 213, and a display section 214. These elements are implemented in software.
  • the storage 203 stores a smart glasses program for causing the computer to function as a control section 211, a transfer section 212, a reception section 213, and a display section 214.
  • the smart glasses program is loaded into memory 202 and executed by processor 201.
  • the storage 203 further stores an OS. At least a portion of the OS is loaded into memory 202 and executed by processor 201.
  • Processor 201 executes the smart glasses program while executing the OS.
  • OS is an abbreviation for Operating System.
  • Input/output data of the smart glasses program is stored in the storage unit 290.
  • Memory 202 functions as storage section 290.
  • a storage device such as the storage 203, a register in the processor 201, and a cache memory in the processor 201 may function as the storage unit 290 instead of the memory 202 or together with the memory 202.
  • the smart glasses 200 may include a plurality of processors that replace the processor 201.
  • the smart glasses program can be recorded (stored) in a computer-readable manner on a non-volatile recording medium such as an optical disk or flash memory.
  • the configuration of the server device 300 will be explained based on FIG. 3.
  • the server device 300 is a computer equipped with hardware such as a processor 301, a memory 302, a storage 303, and a communication device 304T input/output interface 305. These pieces of hardware are connected to each other via signal lines.
  • a processor 301 is an IC that performs arithmetic processing and controls other hardware.
  • processor 301 is a CPU.
  • Memory 302 is a volatile or non-volatile storage device. Memory 302 is also called main storage or main memory.
  • memory 302 is a RAM. Data stored in memory 302 is saved in storage 303 as needed.
  • Storage 303 is a nonvolatile storage device.
  • storage 303 is a ROM, HDD, flash memory, or a combination thereof. Data stored in storage 303 is loaded into memory 302 as needed.
  • the storage 303 stores a display information database 381.
  • Communication device 304 is a receiver and transmitter.
  • communication device 304 is a communication chip or NIC.
  • NIC Network Interface Card
  • the input/output interface 305 is a port to which an input device and an output device are connected.
  • the input/output interface 305 is a USB terminal
  • the input device is a keyboard and a mouse
  • the output device is a display.
  • Input/output of the server device 300 is performed using an input/output interface 305.
  • USB is an abbreviation for Universal Serial Bus.
  • the server device 300 includes elements such as a control section 311, a reception section 312, a detection section 313, a determination section 314, a generation section 315, and a transmission section 316. These elements are implemented in software.
  • the storage 303 stores server programs for causing the computer to function as a control section 311 , a reception section 312 , a detection section 313 , a determination section 314 , a generation section 315 , and a transmission section 316 .
  • the server program is loaded into memory 302 and executed by processor 301.
  • the storage 303 further stores an OS. At least a portion of the OS is loaded into memory 302 and executed by processor 301.
  • the processor 301 executes the server program while executing the OS.
  • Input/output data of the server program is stored in the storage section 390.
  • Memory 302 functions as storage section 390.
  • a storage device such as the storage 303, a register in the processor 301, and a cache memory in the processor 301 may function as the storage unit 390 instead of the memory 302 or together with the memory 302.
  • the server device 300 may include a plurality of processors that replace the processor 301.
  • the server program can be recorded (stored) in a computer-readable manner on a nonvolatile recording medium such as an optical disk or a flash memory.
  • the operation procedure of the smart glasses system 100 corresponds to a smart glasses cooperation method.
  • the operation procedure of smart glasses 200 corresponds to the processing procedure by a smart glasses program.
  • a smart glasses program is also referred to as an application or an application program.
  • the operation procedure of the server device 300 corresponds to the processing procedure by the server program.
  • a server program is also called an application or an application program.
  • the control unit 211 communicates with the server device 300 .
  • the control unit 211 receives the instruction to start the application, starts the application (smart glasses program), and starts the application operation.
  • the control unit 211 activates the camera 205, and the camera 205 starts photographing.
  • Steps S101 to S103 are continuously executed until the application operation ends.
  • the application operation ends as follows.
  • the control unit 211 receives the instruction to terminate the application, stops the application, and terminates the application operation.
  • the control unit 211 releases the communication connection with the server device 300.
  • Steps S101 to S103 will be explained below.
  • the camera 205 outputs a moving image.
  • the moving image includes images (frames) at each time.
  • Transfer unit 212 receives moving images and transfers the moving images to server device 300.
  • step S ⁇ b>102 if display data is transmitted from the server device 300 , the receiving unit 213 receives the display data from the server device 300 . If display data has been received, the process advances to step S103.
  • step S103 the display unit 214 displays a display image on the display 206 based on the display data.
  • the display image is displayed as follows.
  • the display data includes a display image, display position information, and display size information.
  • the display image is an image that shows information (related information) related to the object shown in the moving image.
  • the display position information specifies the position (display position) at which the display image is displayed.
  • the display size information specifies the size at which the display image is displayed (display size).
  • the display unit 214 displays a display image at a specified position and at a specified size.
  • the displayed image is projected onto the lenses of the smart glasses 200, for example. Objects and displayed images can be seen in the wearer's field of vision.
  • the control unit 311 is communicatively connected to the smart glasses 200 .
  • the control unit 311 receives the instruction to start the application, starts the application (server program), and starts the application operation.
  • Steps S111 to S115 are continuously executed until the application operation ends.
  • the application operation ends as follows.
  • the control unit 311 receives the instruction to terminate the application, stops the application, and terminates the application operation.
  • the control unit 311 releases the communication connection with the smart glasses 200.
  • Steps S111 to S115 will be explained below.
  • step S ⁇ b>111 if the moving image is transferred from the smart glasses 200 , the receiving unit 312 receives the moving image from the smart glasses 200 . If a moving image has been received, the process proceeds to step S112.
  • the detection unit 313 performs object detection using the moving image.
  • Object detection is a process of detecting an object appearing in an image. Furthermore, object detection identifies the type of detected object.
  • Object detection is performed, for example, as follows.
  • the trained model is stored in storage unit 390 in advance.
  • the trained model is generated by machine learning using artificial intelligence (AI) or the like.
  • the detection unit 313 receives each image of the moving image as input and calculates a learned model. This allows object detection results to be obtained for each image.
  • step S113 If an object is detected in the object detection, the process advances to step S113. If no object is detected in the object detection, the process proceeds to step S111.
  • step S113 the determination unit 314 performs visual field change determination based on the change in the moving image.
  • the visual field change determination is a process of determining whether the wearer's visual field has changed.
  • the visual field change determination is performed as follows.
  • the determination unit 314 compares the detected image and the latest image, and calculates the size of the difference between the images.
  • the detected image is an image in which an object is detected during object detection.
  • the latest image is the image with the latest time among the received moving images.
  • the determination unit 314 compares the magnitude of the difference between the images with a difference threshold. If the magnitude of the difference between the images is greater than the difference threshold, the determination unit 314 determines that the wearer's field of view has changed. If the magnitude of the difference between the images is less than or equal to the difference threshold, the determination unit 314 determines that the wearer's field of view has not changed.
  • step S111 If it is determined that the wearer's field of vision has changed, the process advances to step S111. If it is determined that the wearer's field of vision has not changed, the process advances to step S114.
  • step S114 the generation unit 315 generates display data regarding the detected object.
  • the detected object is an object detected by object detection.
  • Display data is generated as follows.
  • related information is registered for each type of object.
  • Related information is information related to an object.
  • the generation unit 315 acquires related information corresponding to the type of detected object from the display information database 381.
  • the generation unit 315 generates an image showing the acquired related information.
  • the generated image is the display image.
  • the generation unit 315 determines the display position and display size based on the position and size of the detected object in the detected image.
  • the generation unit 315 then generates data including the display image, display position information, and display size information.
  • the generated data is display data.
  • step S115 the transmitter 316 transmits the display data to the smart glasses 200.
  • Embodiment 1 has the following effects. By comparing images when an object is detected, it can be determined whether the wearer of the smart glasses is in a stable situation, almost stationary. By generating images and displaying them on the smart glasses only under stable conditions, it is possible to avoid needlessly blocking the view of the wearer of the smart glasses.
  • server processing such as object detection and image display need only be executed when the wearer of the smart glasses is in a stable situation, almost stationary.
  • images are displayed only when the wearer's field of vision is stable, thereby avoiding blocking the wearer's field of vision.
  • the work efficiency of the person wearing the smart glasses does not decrease.
  • Embodiment 2 With regard to the mode in which the movement of the smart glasses 200 is measured to determine a change in line of sight, the main differences from the first embodiment will be explained based on FIGS. 6 to 8.
  • the configuration of smart glasses system 100 is similar to the configuration in Embodiment 1. However, the configuration of smart glasses 200 is partially different from the configuration in the first embodiment.
  • Smart glasses 200 further include an inertial sensor 207.
  • the inertial sensor 207 performs sensing. Specifically, the inertial sensor 207 measures the movement of the smart glasses 200 at each time, and outputs sensor data obtained by measurement at each time.
  • inertial sensor 207 is a gyro sensor and an acceleration sensor.
  • the control unit 211 starts an application (smart glasses program) and starts application operation.
  • the control unit 211 activates the camera 205 and the inertial sensor 207, the camera 205 starts photographing, and the inertial sensor 207 starts measuring.
  • Steps S201 to S203 like steps S101 to S103 in the first embodiment, are continuously executed until the application operation ends.
  • step S201 the camera 205 outputs a moving image. Additionally, the inertial sensor 207 outputs sensor data. The sensor data includes measured values at each time. The transfer unit 212 receives the moving image and sensor data, and transfers the moving image and sensor data to the server device 300.
  • step S202 the receiving unit 213 receives display data from the server device 300.
  • Step S202 is the same as step S102 in the first embodiment.
  • step S203 the display unit 214 displays a display image on the display 206 based on the display data.
  • Step S203 is the same as step S103 in the first embodiment.
  • Steps S211 to S215 are continuously executed while the application operation in server device 300 continues.
  • step S ⁇ b>211 when the moving image and sensor data are transferred from the smart glasses 200 , the receiving unit 312 receives the moving image and the sensor data from the smart glasses 200 . If the moving image and sensor data have been received, the process advances to step S212.
  • step S212 the determination unit 314 performs visibility change determination based on the sensor data.
  • the determination unit 314 calculates the magnitude of movement of the smart glasses 200 with reference to the sensor data. For example, the determination unit 314 calculates the amount of movement of the smart glasses 200 and the amount of change in the posture of the smart glasses 200. The determination unit 314 compares the magnitude of the movement of the smart glasses 200 with a movement threshold. If the magnitude of the movement of the smart glasses 200 is greater than the movement threshold, the determination unit 314 determines that the wearer's field of vision has changed. If the magnitude of the movement of the smart glasses 200 is less than or equal to the movement threshold, the determination unit 314 determines that the wearer's field of vision has not changed.
  • step S211 If it is determined that the wearer's field of vision has changed, the process advances to step S211. If it is determined that the wearer's field of vision has not changed, the process advances to step S213.
  • step S213 the detection unit 313 executes object detection using the moving image.
  • Step S213 is the same as step S112 in the first embodiment.
  • step S214 the generation unit 315 generates display data regarding the detected object.
  • Step S214 is the same as step S114 in the first embodiment.
  • step S215 the transmitter 316 transmits the display data to the smart glasses 200.
  • Step S215 is the same as step S115 in the first embodiment.
  • Embodiment 2 has the following effects. By generating images and displaying them on the smart glasses only when the smart glasses are in stable condition, it is possible to avoid needlessly blocking the view of the person wearing the smart glasses.
  • Embodiment 3 With regard to a mode for increasing the accuracy of object detection, the main differences from Embodiment 2 will be explained based on FIGS. 9 and 10.
  • the configuration of smart glasses system 100 is similar to the configuration in Embodiment 1. However, the configuration of server device 300 is partially different from the configuration in the first embodiment.
  • the configuration of the server device 300 will be explained based on FIG. 9.
  • the server device 300 further includes an element called an estimator 317.
  • the server program further causes the computer to function as the estimator 317.
  • a location information database 382 is stored in the storage 303. Details of the location information database 382 will be described later.
  • Steps S311 to S316 are continuously executed while the application operation in server device 300 continues.
  • step S311 the receiving unit 312 receives the moving image and sensor data from the smart glasses 200.
  • Step S311 is the same as step S211 in the second embodiment.
  • step S312 the determination unit 314 performs visibility change determination based on the sensor data.
  • Step S312 is the same as step S212 in the second embodiment.
  • step S311 If it is determined that the wearer's field of view has changed, the process advances to step S313.
  • the estimation unit 317 estimates the position of the smart glasses 200 based on the sensor data. For example, the estimation unit 317 estimates the position of the smart glasses 200 by performing inertial navigation using sensor data.
  • step S314 the detection unit 313 performs object detection using the moving image.
  • the location information database 382 indicates the location of each of a plurality of devices. Specifically, in the location information database 382, location information is registered for each device. The location information indicates the identifier, type, and installation location of the device. The installation location is the location where the device is installed.
  • the detection unit 313 detects one or more devices existing around the estimated position of the smart glasses 200 using the position information database 382. Specifically, the detection unit 313 extracts position information indicating a position whose distance from the estimated position of the smart glasses 200 is equal to or less than a distance threshold from the position information database 382. The devices indicated by each piece of extracted position information are devices existing around the smart glasses 200. Then, the detection unit 313 performs object detection using the moving image for one or more of the detected devices. A detected object is any one or more detected devices.
  • step S315 the generation unit 315 generates display data regarding the detected object.
  • Step S315 is the same as step S214 in the second embodiment.
  • step S316 the transmitter 316 transmits the display data to the smart glasses 200.
  • Step S316 is the same as step S215 in the second embodiment.
  • Embodiment 3 has the following effects.
  • the accuracy of object detection is improved. This reduces the possibility that incorrect information will be displayed on the smart glasses. Further, it is possible to avoid unnecessary blocking of the vision of the person wearing the smart glasses.
  • Embodiment 3 may be implemented in combination with Embodiment 1. Specifically, in the third embodiment, the determination unit 314 may perform visibility change determination based on a change in a moving image.
  • Smart glasses 200 include a processing circuit 209.
  • the processing circuit 209 is hardware that implements the control section 211, the transfer section 212, the reception section 213, and the display section 214.
  • the processing circuit 209 may be dedicated hardware or may be the processor 201 that executes a program stored in the memory 202.
  • processing circuit 209 is dedicated hardware, processing circuit 209 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof.
  • ASIC is an abbreviation for Application Specific Integrated Circuit.
  • FPGA is an abbreviation for Field Programmable Gate Array.
  • the smart glasses 200 may include a plurality of processing circuits that replace the processing circuit 209.
  • processing circuit 209 some functions may be realized by dedicated hardware, and the remaining functions may be realized by software or firmware.
  • the functions of the smart glasses 200 can be realized by hardware, software, firmware, or a combination thereof.
  • the server device 300 includes a processing circuit 309.
  • the processing circuit 309 is hardware that implements the control section 311, the reception section 312, the detection section 313, the determination section 314, the generation section 315, the transmission section 316, and the estimation section 317.
  • the processing circuit 309 may be dedicated hardware or may be the processor 301 that executes a program stored in the memory 302.
  • processing circuit 309 is dedicated hardware, processing circuit 309 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof.
  • ASIC is an abbreviation for Application Specific Integrated Circuit.
  • FPGA is an abbreviation for Field Programmable Gate Array.
  • the server device 300 may include a plurality of processing circuits that replace the processing circuit 309.
  • processing circuit 309 some functions may be realized by dedicated hardware, and the remaining functions may be realized by software or firmware.
  • the functions of the server device 300 can be realized by hardware, software, firmware, or a combination thereof.
  • the "unit" of each element of the smart glasses 200 or the server device 300 may be read as “process”, “process”, “circuit”, or “circuitry”.
  • 100 smart glasses system 110 wireless base station, 200 smart glasses, 201 processor, 202 memory, 203 storage, 204 communication device, 205 camera, 206 display, 207 inertial sensor, 209 processing circuit, 211 control unit, 212 transfer unit, 213 Receiving unit, 214 Display unit, 290 Storage unit, 300 Server device, 301 Processor, 302 Memory, 303 Storage, 304 Communication device, 305 Input/output interface, 309 Processing circuit, 311 Control unit, 312 Receiving unit, 313 Detection unit, 314 Determination unit, 315 Generation unit, 316 Transmission unit, 317 Estimation unit, 381 Display information database, 382 Position information database, 390 Storage unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

スマートグラス（２００）は、カメラとディスプレイを有し、ユーザーに装着され、前記カメラを使った撮影によって得られる動画像を送信する。サーバー装置（３００）は、前記動画像を受信し、前記動画像を使って物体検出を行い、前記物体検出によって検出された検出物体に関連する情報を示す表示画像を生成し、前記ユーザーの視界が変わったか判定する視界変化判定を行い、前記ユーザーの視界が変わらなかったと判定した場合に前記表示画像を送信する。前記スマートグラスは、前記表示画像を受信し、前記表示画像を前記ディスプレイに表示する。

Description

スマートグラスシステム、スマートグラス連携方法、サーバー装置およびサーバープログラム
　本開示は、スマートグラスとサーバー装置が連携して動作するシステムに関するものである。
　工場等での作業に、透過型のグラスに現実に合わせた情報を投影するスマートグラスを使用することが検討されている。
　例えば、次のようなユースケースが想定される。作業者が製造機器をスマートグラス越しに見て特定の機器が検出される。検出された機器の稼働状況またはエラー情報を拡張現実としてスマートグラスに表示させる。表示された情報に従って作業者が保守作業を行う。
　従来、このようなユースケースでは、物体の検出および表示内容の生成はスマートグラス上のアプリケーションで実現することが一般的である。
　一方、５Ｇのような高速低遅延通信が普及すると、サーバー処理型システムの実現が考えられる。サーバー処理型システムでは、動画像等のデータがサーバーに転送され、各計算および処理がサーバー側で実行される。そして、スマートグラスは、表示を主に担う。サーバー処理型システムの実現により、スマートグラスのコストを抑える、電池の消費を抑える、アプリケーションの維持管理のための手間を抑える、といった目的を達成し得る。
　基本となるシステムは、スマートグラスとサーバーと無線基地局を備える。無線基地局は、スマートグラスとサーバーの間の通信のために使用される。
　スマートグラスは、搭載されたカメラによる撮影で得られた画像をサーバーへ送信する。
　サーバーは、スマートグラスから送られてきた画像を使って物体検出を行う。物体検出は、ＡＩ等の手段を用いて行われ、事前に登録された物体を検出する。ＡＩは人工知能の略称である。
　物体が検出された場合、サーバーは、検出された物体に対応させて表示すべきデータをデータベースから取得し、取得したデータに基づいて表示する画像を生成する。また、サーバーは、検出された物体の位置に基づいて、表示位置および表示サイズなどの情報を決定する。そして、サーバーは、生成された画像と、表示位置および表示サイズなどの情報と、をスマートグラスに送り返す。
　スマートグラスは、画像および情報を受信し、受信した情報に従ってスマートグラス上に受信した画像を表示する。
　特許文献１は、配信サーバーからクライアント端末へ仮想空間の映像を安定して配信する方法を開示している。
特開２０１８－１６６２７９号公報
　サーバー処理型システムでは、サーバーで実行される物体検出等の処理、および、スマートグラスとサーバーの間の通信、に時間を要する。
　そのため、スマートグラスでの画像の取得からスマートグラスでの画像の表示までの間に、スマートグラスの装着者の視界が変わっている可能性がある。
　視界が変わっていた場合、スマートグラス上に画像が表示されると、画像が装着者の視界を遮ってしまい、作業効率が落ちてしまう。
　特許文献１の方法において、配信内容とクライアント端末の状態が合わない可能性は排除できず、サービスの特性上、安易に表示を取りやめることもできない。
　本開示は、スマートグラスの装着者の視界が安定しているときにだけスマートグラスに画像を表示できるようにすることを目的とする。
　本開示のスマートグラスシステムは、
　カメラとディスプレイを有し、ユーザーに装着され、前記カメラを使った撮影によって得られる動画像を送信し、表示画像を受信し、前記表示画像を前記ディスプレイに表示するスマートグラスと、
　前記動画像を受信し、前記動画像を使って物体検出を行い、前記物体検出によって検出された検出物体に関連する情報を示す画像を前記表示画像として生成し、前記ユーザーの視界が変わったか判定する視界変化判定を行い、前記ユーザーの視界が変わらなかったと判定した場合に前記表示画像を前記スマートグラスへ送信するサーバー装置と、
を備える。
　本開示によれば、スマートグラスの装着者の視界が安定しているときにだけスマートグラスに画像を表示することができる。
実施の形態１におけるスマートグラスシステム１００の構成図。 実施の形態１におけるスマートグラス２００の構成図。 実施の形態１におけるサーバー装置３００の構成図。 実施の形態１におけるスマートグラス連携方法（スマートグラス）のフローチャート。 実施の形態１におけるスマートグラス連携方法（サーバー装置）のフローチャート。 実施の形態２におけるスマートグラス２００の構成図。 実施の形態２におけるスマートグラス連携方法（スマートグラス）のフローチャート。 実施の形態２におけるスマートグラス連携方法（サーバー装置）のフローチャート。 実施の形態３におけるサーバー装置３００の構成図。 実施の形態３におけるスマートグラス連携方法（サーバー装置）のフローチャート。 実施の形態におけるスマートグラス２００のハードウェア構成図。 実施の形態におけるサーバー装置３００のハードウェア構成図。
　実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
　実施の形態１．
　スマートグラスシステム１００について、図１から図５に基づいて説明する。
＊＊＊構成の説明＊＊＊
　図１に基づいて、スマートグラスシステム１００の構成を説明する。
　スマートグラスシステム１００は、スマートグラス２００と、サーバー装置３００と、無線基地局１１０と、を備える。
　スマートグラス２００とサーバー装置３００は、無線基地局１１０を介して互いに通信する。
　無線基地局１１０は、スマートグラス２００とサーバー装置３００のそれぞれと通信する。具体的には、無線基地局１１０は、スマートグラス２００と無線で通信し、サーバー装置３００と有線で通信する。
　スマートグラスシステム１００は、例えばＦＡシステムで利用される。ＦＡは、ファクトリーオートメーションの略称である。
　スマートグラス２００を装着するユーザーを、装着者と称する。
　図２に基づいて、スマートグラス２００の構成を説明する。
　スマートグラス２００は、プロセッサ２０１とメモリ２０２とストレージ２０３と通信装置２０４とカメラ２０５とディスプレイ２０６といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
　プロセッサ２０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ２０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。
　ＩＣは、Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔの略称である。
　ＣＰＵは、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略称である。
　メモリ２０２は揮発性または不揮発性の記憶装置である。メモリ２０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ２０２はＲＡＭである。メモリ２０２に記憶されたデータは必要に応じてストレージ２０３に保存される。
　ＲＡＭは、Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙの略称である。
　ストレージ２０３は不揮発性の記憶装置である。例えば、ストレージ２０３は、ＲＯＭ、フラッシュメモリまたはこれらの組み合わせである。ストレージ２０３に記憶されたデータは必要に応じてメモリ２０２にロードされる。
　ＲＯＭは、Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙの略称である。
　通信装置２０４はレシーバ及びトランスミッタである。例えば、通信装置２０４は通信チップである。スマートグラス２００の通信は通信装置２０４を用いて行われる。
　カメラ２０５は、装着者の視界となる範囲を各時刻に撮影し、各時刻の撮影によって得られた画像を出力する。
　ディスプレイ２０６は、装着者の視界に画像を表示する。
　スマートグラス２００は、制御部２１１と転送部２１２と受信部２１３と表示部２１４といった要素を備える。これらの要素はソフトウェアで実現される。
　ストレージ２０３には、制御部２１１と転送部２１２と受信部２１３と表示部２１４としてコンピュータを機能させるためのスマートグラスプログラムが記憶されている。スマートグラスプログラムは、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
　ストレージ２０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ２０２にロードされて、プロセッサ２０１によって実行される。
　プロセッサ２０１は、ＯＳを実行しながら、スマートグラスプログラムを実行する。
　ＯＳは、Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍの略称である。
　スマートグラスプログラムの入出力データは記憶部２９０に記憶される。
　メモリ２０２は記憶部２９０として機能する。但し、ストレージ２０３、プロセッサ２０１内のレジスタおよびプロセッサ２０１内のキャッシュメモリなどの記憶装置が、メモリ２０２の代わりに、又は、メモリ２０２と共に、記憶部２９０として機能してもよい。
　スマートグラス２００は、プロセッサ２０１を代替する複数のプロセッサを備えてもよい。
　スマートグラスプログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
　図３に基づいて、サーバー装置３００の構成を説明する。
　サーバー装置３００は、プロセッサ３０１とメモリ３０２とストレージ３０３と通信装置３０４Ｔ入出力インタフェース３０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
　プロセッサ３０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ３０１はＣＰＵである。
　メモリ３０２は揮発性または不揮発性の記憶装置である。メモリ３０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ３０２はＲＡＭである。メモリ３０２に記憶されたデータは必要に応じてストレージ３０３に保存される。
　ストレージ３０３は不揮発性の記憶装置である。例えば、ストレージ３０３は、ＲＯＭ、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。ストレージ３０３に記憶されたデータは必要に応じてメモリ３０２にロードされる。例えば、ストレージ３０３には、表示情報データベース３８１が記憶される。
　通信装置３０４はレシーバ及びトランスミッタである。例えば、通信装置３０４は通信チップまたはＮＩＣである。サーバー装置３００の通信は通信装置３０４を用いて行われる。
　ＮＩＣは、Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄの略称である。
　入出力インタフェース３０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース３０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。サーバー装置３００の入出力は入出力インタフェース３０５を用いて行われる。
　ＵＳＢは、Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓの略称である。
　サーバー装置３００は、制御部３１１と受信部３１２と検出部３１３と判定部３１４と生成部３１５と送信部３１６といった要素を備える。これらの要素はソフトウェアで実現される。
　ストレージ３０３には、制御部３１１と受信部３１２と検出部３１３と判定部３１４と生成部３１５と送信部３１６としてコンピュータを機能させるためのサーバープログラムが記憶されている。サーバープログラムは、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
　ストレージ３０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ３０２にロードされて、プロセッサ３０１によって実行される。
　プロセッサ３０１は、ＯＳを実行しながら、サーバープログラムを実行する。
　サーバープログラムの入出力データは記憶部３９０に記憶される。
　メモリ３０２は記憶部３９０として機能する。但し、ストレージ３０３、プロセッサ３０１内のレジスタおよびプロセッサ３０１内のキャッシュメモリなどの記憶装置が、メモリ３０２の代わりに、又は、メモリ３０２と共に、記憶部３９０として機能してもよい。
　サーバー装置３００は、プロセッサ３０１を代替する複数のプロセッサを備えてもよい。
　サーバープログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
＊＊＊動作の説明＊＊＊
　スマートグラスシステム１００の動作の手順はスマートグラス連携方法に相当する。
　スマートグラス２００の動作の手順はスマートグラスプログラムによる処理の手順に相当する。スマートグラスプログラムはアプリケーションまたはアプリケーションプログラムともいう。
　サーバー装置３００の動作の手順はサーバープログラムによる処理の手順に相当する。サーバープログラムはアプリケーションまたはアプリケーションプログラムともいう。
　図４に基づいて、スマートグラス連携方法におけるスマートグラス２００の動作を説明する。
　ステップＳ１０１の前に以下の処理が実行される。
　制御部２１１は、サーバー装置３００と通信接続する。
　制御部２１１は、アプリケーション開始の指示を受け、アプリケーション（スマートグラスプログラム）を起動し、アプリケーション動作を開始する。
　アプリケーション動作が開始されると、制御部２１１はカメラ２０５を起動し、カメラ２０５は撮影を開始する。
　ステップＳ１０１からステップＳ１０３は、アプリケーション動作が終了するまで、継続して実行される。
　アプリケーション動作は以下のように終了する。
　制御部２１１は、アプリケーション終了の指示を受け、アプリケーションを停止し、アプリケーション動作を終了する。
　制御部２１１は、サーバー装置３００との通信接続を解除する。
　以下に、ステップＳ１０１からステップＳ１０３を説明する。
　ステップＳ１０１において、カメラ２０５は動画像を出力する。動画像は、各時刻の画像（フレーム）を含む。
　転送部２１２は、動画像を受け付け、動画像をサーバー装置３００へ転送する。
　ステップＳ１０２において、サーバー装置３００から表示データが送信された場合、受信部２１３は、サーバー装置３００から表示データを受信する。
　表示データが受信された場合、処理はステップＳ１０３に進む。
　ステップＳ１０３において、表示部２１４は、表示データに基づいて表示画像をディスプレイ２０６に表示する。
　表示画像は、以下のように表示される。
　表示データは、表示画像、表示位置情報および表示サイズ情報を含む。
　表示画像は、動画像に映った物体に関連する情報（関連情報）を示す画像である。
　表示位置情報は、表示画像を表示させる位置（表示位置）を指定する。
　表示サイズ情報は、表示画像を表示させるサイズ（表示サイズ）を指定する。
　表示部２１４は、表示画像を指定された位置に指定されたサイズで表示する。
　表示画像は、例えばスマートグラス２００のレンズに投影される。装着者の視界には、物体と表示画像が見える。
　図５に基づいて、スマートグラス連携方法におけるサーバー装置３００の動作を説明する。
　ステップＳ１１１の前に以下の処理が実行される。
　制御部３１１は、スマートグラス２００と通信接続する。
　制御部３１１は、アプリケーション開始の指示を受け、アプリケーション（サーバープログラム）を起動し、アプリケーション動作を開始する。
　ステップＳ１１１からステップＳ１１５は、アプリケーション動作が終了するまで、継続して実行される。
　アプリケーション動作は以下のように終了する。
　制御部３１１は、アプリケーション終了の指示を受け、アプリケーションを停止し、アプリケーション動作を終了する。
　制御部３１１は、スマートグラス２００との通信接続を解除する。
　以下に、ステップＳ１１１からステップＳ１１５を説明する。
　ステップＳ１１１において、スマートグラス２００から動画像が転送された場合、受信部３１２は、スマートグラス２００から動画像を受信する。
　動画像が受信された場合、処理はステップＳ１１２に進む。
　ステップＳ１１２において、検出部３１３は、動画像を使って物体検出を実行する。
　物体検出は、画像に映った物体を検出する処理である。さらに、物体検出は、検出された物体の種類を識別する。
　物体検出は、例えば、以下のように実行される。
　学習済みモデルが記憶部３９０に予め記憶される。学習済みモデルは、人工知能（ＡＩ）などを利用した機械学習によって生成される。
　検出部３１３は、動画像の各画像を入力にして学習済みモデルを演算する。これにより、画像ごとに物体検出の結果が得られる。
　物体検出において物体が検出された場合、処理はステップＳ１１３に進む。
　物体検出において物体が検出されなかった場合、処理はステップＳ１１１に進む。
　ステップＳ１１３において、判定部３１４は、動画像の変化に基づいて視界変化判定を実行する。
　視界変化判定は、装着者の視界が変わったか判定する処理である。
　具体的には、視界変化判定は以下のように実行される。
　判定部３１４は、検出画像と最新画像を比較し、画像の差分の大きさを算出する。
　検出画像は、物体検出において物体が検出された画像である。
　最新画像は、受信された動画像のうち最も時刻が新しい画像である。
　判定部３１４は、画像の差分の大きさを差分閾値と比較する。
　画像の差分の大きさが差分閾値より大きい場合、判定部３１４は、装着者の視界が変わったと判定する。
　画像の差分の大きさが差分閾値以下である場合、判定部３１４は、装着者の視界が変わらなかったと判定する。
　装着者の視界が変わったと判定された場合、処理はステップＳ１１１に進む。
　装着者の視界が変わらなかったと判定された場合、処理はステップＳ１１４に進む。
　ステップＳ１１４において、生成部３１５は、検出物体についての表示データを生成する。
　検出物体は、物体検出によって検出された物体である。
　表示データは、以下のように生成される。
　表示情報データベース３８１には、物体の種類ごとに関連情報が登録されている。
　関連情報は、物体に関連する情報である。
　まず、生成部３１５は、検出物体の種類に対応する関連情報を表示情報データベース３８１から取得する。
　次に、生成部３１５は、取得した関連情報を示す画像を生成する。生成される画像が表示画像である。
　さらに、生成部３１５は、検出画像における検出物体の位置および大きさに基づいて、表示位置および表示サイズを決定する。
　そして、生成部３１５は、表示画像と表示位置情報と表示サイズ情報を含むデータを生成する。生成されるデータが表示データである。
　ステップＳ１１５において、送信部３１６は、表示データをスマートグラス２００へ送信する。
＊＊＊実施の形態１の効果＊＊＊
　実施の形態１は以下のような効果を奏する。
　物体検出時の画像比較により、スマートグラスの装着者が静止に近い安定した状況であるか否かを判定できる。そして、安定した状況でのみ画像を生成してスマートグラスに表示させることで、スマートグラスの装着者の視界を無駄に遮ることを避けることができる。
　スマートグラスが工場で活用される用途、例えば保守作業を支援するアプリケーションの利用シーンを想定する。
　この場合、スマートグラスの装着者が静止に近い安定した状況であるときのみ、物体検出等のサーバー処理および画像表示が実行されればよい。
　この特徴を利用してスマートグラスの装着者の視界が安定しているときのみ画像が表示されることで、スマートグラスの装着者の視界を遮ることを避ける。
　その結果、スマートグラスの装着者の作業効率が落ちない。
　実施の形態２．
　スマートグラス２００の動きを計測して視線変化判定を行う形態について、主に実施の形態１と異なる点を図６から図８に基づいて説明する。
＊＊＊構成の説明＊＊＊
　スマートグラスシステム１００の構成は、実施の形態１における構成と同様である。
　但し、スマートグラス２００の構成は、実施の形態１における構成と一部異なる。
　図６に基づいて、スマートグラス２００の構成を説明する。
　スマートグラス２００は、さらに、慣性センサ２０７を備える。
　慣性センサ２０７はセンシングを行う。具体的には、慣性センサ２０７は、スマートグラス２００の動きを各時刻に計測し、各時刻の計測によって得られたセンサデータを出力する。例えば、慣性センサ２０７はジャイロセンサおよび加速度センサである。
＊＊＊動作の説明＊＊＊
　図７に基づいて、スマートグラス連携方法におけるスマートグラス２００の動作を説明する。
　制御部２１１は、アプリケーション（スマートグラスプログラム）を起動し、アプリケーション動作を開始する。
　アプリケーション動作が開始されると、制御部２１１はカメラ２０５と慣性センサ２０７を起動し、カメラ２０５は撮影を開始し、慣性センサ２０７は計測を開始する。
　ステップＳ２０１からステップＳ２０３は、実施の形態１のステップＳ１０１からステップＳ１０３と同じく、アプリケーション動作が終了するまで継続して実行される。
　ステップＳ２０１において、カメラ２０５は動画像を出力する。
　また、慣性センサ２０７はセンサデータを出力する。センサデータは、各時刻の計測値を含む。
　転送部２１２は、動画像とセンサデータを受け付け、動画像とセンサデータをサーバー装置３００へ転送する。
　ステップＳ２０２において、受信部２１３は、サーバー装置３００から表示データを受信する。
　ステップＳ２０２は、実施の形態１のステップＳ１０２と同じである。
　ステップＳ２０３において、表示部２１４は、表示データに基づいて表示画像をディスプレイ２０６に表示する。
　ステップＳ２０３は、実施の形態１のステップＳ１０３と同じである。
　図８に基づいて、スマートグラス連携方法おけるサーバー装置３００の動作を説明する。
　ステップＳ２１１からステップＳ２１５は、実施の形態１のステップＳ１１１からステップＳ１１５と同じく、サーバー装置３００におけるアプリケーション動作が継続している間、継続して実行される。
　ステップＳ２１１において、スマートグラス２００から動画像およびセンサデータが転送された場合、受信部３１２は、スマートグラス２００から動画像およびセンサデータを受信する。
　動画像およびセンサデータが受信された場合、処理はステップＳ２１２に進む。
　ステップＳ２１２において、判定部３１４は、センサデータに基づいて視界変化判定を実行する。
　具体的には、視界変化判定は以下のように実行される。
　判定部３１４は、センサデータを参照してスマートグラス２００の動きの大きさを算出する。例えば、判定部３１４は、スマートグラス２００の移動量およびスマートグラス２００の姿勢の変化量を算出する。
　判定部３１４は、スマートグラス２００の動きの大きさを動き閾値と比較する。
　スマートグラス２００の動きの大きさが動き閾値より大きい場合、判定部３１４は、装着者の視界が変わったと判定する。
　スマートグラス２００の動きの大きさが動き閾値以下である場合、判定部３１４は、装着者の視界が変わらなかったと判定する。
　装着者の視界が変わったと判定された場合、処理はステップＳ２１１に進む。
　装着者の視界が変わらなかったと判定された場合、処理はステップＳ２１３に進む。
　ステップＳ２１３において、検出部３１３は、動画像を使って物体検出を実行する。
　ステップＳ２１３は、実施の形態１のステップＳ１１２と同じである。
　ステップＳ２１４において、生成部３１５は、検出物体についての表示データを生成する。
　ステップＳ２１４は、実施の形態１のステップＳ１１４と同じである。
　ステップＳ２１５において、送信部３１６は、表示データをスマートグラス２００へ送信する。
　ステップＳ２１５は、実施の形態１のステップＳ１１５と同じである。
＊＊＊実施の形態２の効果＊＊＊
　実施の形態２は以下のような効果を奏する。
　スマートグラスの状態が安定した状況でのみ画像を生成してスマートグラスに表示させることで、スマートグラスの装着者の視界を無駄に遮ることを避けることができる。
　実施の形態３．
　物体検出の精度を高める形態について、主に実施の形態２と異なる点を図９から図１０に基づいて説明する。
＊＊＊構成の説明＊＊＊
　スマートグラスシステム１００の構成は、実施の形態１における構成と同様である。
　但し、サーバー装置３００の構成は、実施の形態１における構成と一部異なる。
　図９に基づいて、サーバー装置３００の構成を説明する。
　サーバー装置３００は、さらに、推定部３１７という要素を備える。
　サーバープログラムは、さらに、推定部３１７としてコンピュータを機能させる。
　ストレージ３０３には、位置情報データベース３８２が記憶される。
　位置情報データベース３８２の詳細については後述する。
＊＊＊動作の説明＊＊＊
　スマートグラス連携方法におけるスマートグラス２００の動作は、実施の形態２における動作と同じである。
　図１０に基づいて、スマートグラス連携方法おけるサーバー装置３００の動作を説明する。
　ステップＳ３１１からステップＳ３１６は、実施の形態２のステップＳ２１１からステップＳ２１５と同じく、サーバー装置３００におけるアプリケーション動作が継続している間、継続して実行される。
　ステップＳ３１１において、受信部３１２は、スマートグラス２００から動画像およびセンサデータを受信する。
　ステップＳ３１１は、実施の形態２のステップＳ２１１と同じである。
　ステップＳ３１２において、判定部３１４は、センサデータに基づいて視界変化判定を実行する。
　ステップＳ３１２は、実施の形態２のステップＳ２１２と同じである。
　装着者の視界が変わったと判定された場合、処理はステップＳ３１１に進む。
　装着者の視界が変わらなかったと判定された場合、処理はステップＳ３１３に進む。
　ステップＳ３１３において、推定部３１７は、センサデータに基づいてスマートグラス２００の位置を推定する。
　例えば、推定部３１７は、センサデータを使って慣性航法を実行することによって、スマートグラス２００の位置を推定する。
　ステップＳ３１４において、検出部３１３は、動画像を使って物体検出を実行する。
　物体検出は以下のように実行される。
　位置情報データベース３８２は、複数の機器のそれぞれの位置を示す。具体的には、位置情報データベース３８２には、機器ごとに位置情報が登録されている。位置情報は機器について識別子と種類と設置位置を示す。設置位置は、機器が設置されている位置である。
　検出部３１３は、スマートグラス２００の推定位置の周辺に存在する１つ以上の機器を、位置情報データベース３８２を使って検出する。具体的には、検出部３１３は、スマートグラス２００の推定位置からの距離が距離閾値以下である位置を示す位置情報を位置情報データベース３８２から抽出する。抽出された各位置情報に示される機器が、スマートグラス２００の周辺に存在する機器である。
　そして、検出部３１３は、検出された１つ以上の機器を対象にして、動画像を使って物体検出を実行する。検出物体は、検出された１つ以上の機器のいずれかである。
　物体検出において物体が検出された場合、処理はステップＳ３１５に進む。
　物体検出において物体が検出されなかった場合、処理はステップＳ３１１に進む。
　ステップＳ３１５において、生成部３１５は、検出物体についての表示データを生成する。
　ステップＳ３１５は、実施の形態２のステップＳ２１４と同じである。
　ステップＳ３１６において、送信部３１６は、表示データをスマートグラス２００へ送信する。
　ステップＳ３１６は、実施の形態２のステップＳ２１５と同じである。
＊＊＊実施の形態３の効果＊＊＊
　実施の形態３は以下のような効果を奏する。
　物体検出の精度が向上する。そして、誤った情報がスマートグラスに表示される可能性が低減される。また、スマートグラスの装着者の視界を無駄に遮ることを避けることができる。
＊＊＊実施の形態３の補足＊＊＊
　実施の形態３は、実施の形態１と組み合わせて実施されてもよい。具体的には、実施の形態３において、判定部３１４は、動画像の変化に基づいて視界変化判定を行ってもよい。
＊＊＊実施の形態の補足＊＊＊
　図１１に基づいて、スマートグラス２００のハードウェア構成を説明する。
　スマートグラス２００は処理回路２０９を備える。
　処理回路２０９は、制御部２１１と転送部２１２と受信部２１３と表示部２１４を実現するハードウェアである。
　処理回路２０９は、専用のハードウェアであってもよいし、メモリ２０２に格納されるプログラムを実行するプロセッサ２０１であってもよい。
　処理回路２０９が専用のハードウェアである場合、処理回路２０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
　ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔの略称である。
　ＦＰＧＡは、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙの略称である。
　スマートグラス２００は、処理回路２０９を代替する複数の処理回路を備えてもよい。
　処理回路２０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
　このように、スマートグラス２００の機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。
　図１２に基づいて、サーバー装置３００のハードウェア構成を説明する。
　サーバー装置３００は処理回路３０９を備える。
　処理回路３０９は、制御部３１１と受信部３１２と検出部３１３と判定部３１４と生成部３１５と送信部３１６と推定部３１７を実現するハードウェアである。
　処理回路３０９は、専用のハードウェアであってもよいし、メモリ３０２に格納されるプログラムを実行するプロセッサ３０１であってもよい。
　処理回路３０９が専用のハードウェアである場合、処理回路３０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
　ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔの略称である。
　ＦＰＧＡは、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙの略称である。
　サーバー装置３００は、処理回路３０９を代替する複数の処理回路を備えてもよい。
　処理回路３０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
　このように、サーバー装置３００の機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。
　各実施の形態は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
　スマートグラス２００またはサーバー装置３００の各要素の「部」は、「処理」、「工程」、「回路」または「サーキットリ」と読み替えてもよい。
　１００　スマートグラスシステム、１１０　無線基地局、２００　スマートグラス、２０１　プロセッサ、２０２　メモリ、２０３　ストレージ、２０４　通信装置、２０５　カメラ、２０６　ディスプレイ、２０７　慣性センサ、２０９　処理回路、２１１　制御部、２１２　転送部、２１３　受信部、２１４　表示部、２９０　記憶部、３００　サーバー装置、３０１　プロセッサ、３０２　メモリ、３０３　ストレージ、３０４　通信装置、３０５　入出力インタフェース、３０９　処理回路、３１１　制御部、３１２　受信部、３１３　検出部、３１４　判定部、３１５　生成部、３１６　送信部、３１７　推定部、３８１　表示情報データベース、３８２　位置情報データベース、３９０　記憶部。

Claims (10)

  1. 　カメラとディスプレイを有し、ユーザーに装着され、前記カメラを使った撮影によって得られる動画像を送信し、表示画像を受信し、前記表示画像を前記ディスプレイに表示するスマートグラスと、
    　前記動画像を受信し、前記動画像を使って物体検出を行い、前記物体検出によって検出された検出物体に関連する情報を示す画像を前記表示画像として生成し、前記ユーザーの視界が変わったか判定する視界変化判定を行い、前記ユーザーの視界が変わらなかったと判定した場合に前記表示画像を前記スマートグラスへ送信するサーバー装置と、
    を備えるスマートグラスシステム。
  2. 　前記サーバー装置は、前記動画像の変化に基づいて前記視界変化判定を行う
    請求項１に記載のスマートグラスシステム。
  3. 　前記サーバー装置は、前記視界変化判定の前に前記物体検出を行い、前記物体検出によって前記検出物体が検出された場合に前記視界変化判定を行う
    請求項２に記載のスマートグラスシステム。
  4. 　前記スマートグラスは、慣性センサを有し、前記慣性センサによって得られるセンサデータを送信し、
    　前記サーバー装置は、前記センサデータを受信し、前記センサデータに基づいて前記視界変化判定を行う
    請求項１に記載のスマートグラスシステム。
  5. 　前記サーバー装置は、前記物体検出を行う前に前記視界変化判定を行い、前記ユーザーの視界が変わらなかったと判定した場合に前記物体検出を行う
    請求項４に記載のスマートグラスシステム。
  6. 　前記サーバー装置は、前記センサデータに基づいて前記スマートグラスの位置を推定し、推定された位置の周辺に存在する１つ以上の機器を複数の機器のそれぞれの位置を示す位置情報データベースを使って検出し、検出された１つ以上の機器を対象にして前記物体検出を行う
    請求項４または請求項５に記載のスマートグラスシステム。
  7. 　前記スマートグラスは、慣性センサを有し、前記慣性センサによって得られるセンサデータを送信し、
    　前記サーバー装置は、前記センサデータに基づいて前記スマートグラスの位置を推定し、推定された位置の周辺に存在する１つ以上の機器を複数の機器のそれぞれの位置を示す位置データベースを使って検出し、検出された１つ以上の機器を対象にして前記物体検出を行う
    請求項１から請求項３のいずれか１項に記載のスマートグラスシステム。
  8. 　スマートグラスが、カメラとディスプレイを有し、ユーザーに装着され、前記カメラを使った撮影によって得られる動画像を送信し、
    　サーバー装置が、前記動画像を受信し、前記動画像を使って物体検出を行い、前記物体検出によって検出された検出物体に関連する情報を示す表示画像を生成し、前記ユーザーの視界が変わったか判定する視界変化判定を行い、前記ユーザーの視界が変わらなかったと判定した場合に前記表示画像を送信し、
    　前記スマートグラスが、前記表示画像を受信し、前記表示画像を前記ディスプレイに表示する
    スマートグラス連携方法。
  9. 　ユーザーに装着されたスマートグラスから動画像を受信する受信部と、
    　前記動画像を使って物体検出を行う検出部と、
    　前記物体検出によって検出された検出物体に関連する情報を示す表示画像を生成する生成部と、
    　前記ユーザーの視界が変わったか判定する視界変化判定を行う判定部と、
    　前記ユーザーの視界が変わらなかったと判定した場合に前記表示画像を前記スマートグラスへ送信する送信部と、
    を備えるサーバー装置。
  10. 　ユーザーに装着されたスマートグラスから動画像を受信する受信処理と、
    　前記動画像を使って物体検出を行う検出処理と、
    　前記物体検出によって検出された検出物体に関連する情報を示す表示画像を生成する生成処理と、
    　前記ユーザーの視界が変わったか判定する視界変化判定を行う判定処理と、
    　前記ユーザーの視界が変わらなかったと判定した場合に前記表示画像を前記スマートグラスへ送信する送信処理と、
    をコンピュータに実行させるためのサーバープログラム。
PCT/JP2022/023666 2022-06-13 2022-06-13 スマートグラスシステム、スマートグラス連携方法、サーバー装置およびサーバープログラム WO2023242917A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024518233A JP7515769B2 (ja) 2022-06-13 スマートグラスシステム、スマートグラス連携方法、サーバー装置およびサーバープログラム
PCT/JP2022/023666 WO2023242917A1 (ja) 2022-06-13 2022-06-13 スマートグラスシステム、スマートグラス連携方法、サーバー装置およびサーバープログラム
TW111134472A TW202349942A (zh) 2022-06-13 2022-09-13 智慧眼鏡系統、智慧眼鏡連動方法、伺服器裝置以及伺服器程式產品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023666 WO2023242917A1 (ja) 2022-06-13 2022-06-13 スマートグラスシステム、スマートグラス連携方法、サーバー装置およびサーバープログラム

Publications (1)

Publication Number Publication Date
WO2023242917A1 true WO2023242917A1 (ja) 2023-12-21

Family

ID=89192601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/023666 WO2023242917A1 (ja) 2022-06-13 2022-06-13 スマートグラスシステム、スマートグラス連携方法、サーバー装置およびサーバープログラム

Country Status (2)

Country Link
TW (1) TW202349942A (ja)
WO (1) WO2023242917A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020003860A1 (ja) * 2018-06-26 2020-01-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2022004130A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 情報処理装置、情報処理方法、および記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020003860A1 (ja) * 2018-06-26 2020-01-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2022004130A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 情報処理装置、情報処理方法、および記憶媒体

Also Published As

Publication number Publication date
JPWO2023242917A1 (ja) 2023-12-21
TW202349942A (zh) 2023-12-16

Similar Documents

Publication Publication Date Title
CN102834799B (zh) 在真实环境的视图中显示虚拟信息的方法
CN108604393B (zh) 信息处理系统、信息处理装置、信息处理方法以及计算机可读取的存储介质
CN113874870A (zh) 基于图像的定位
CN111623881A (zh) 基于图像处理的双光摄像机测温方法及相关设备
EP1501051A2 (en) Position and orientation detection method and apparatus
KR20180101746A (ko) 증강 현실 컨텐츠를 제공하기 위한 방법, 전자 기기 및 시스템
CN109117684A (zh) 用于在双目增强现实设备上选择性扫描的系统和方法
US20230185387A1 (en) Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
CN108427479B (zh) 可穿戴设备、环境图像数据的处理系统、方法及可读介质
US20200355925A1 (en) Rendering visual information regarding an apparatus
JP2018116343A (ja) センサ支援システム、端末、センサおよびセンサ支援方法
US20210157396A1 (en) System and method related to data fusing
CN110895676A (zh) 动态对象跟踪
CN110688002B (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
WO2023242917A1 (ja) スマートグラスシステム、スマートグラス連携方法、サーバー装置およびサーバープログラム
CN109753158B (zh) 一种vr设备延时的确定方法及控制终端
JP7515769B2 (ja) スマートグラスシステム、スマートグラス連携方法、サーバー装置およびサーバープログラム
US20200301144A1 (en) Display device, display control method, and display system
KR101777328B1 (ko) 스마트 글래스와 모바일 장치를 이용하여 상품에 관련된 데이터를 제공하는 방법
KR20160099981A (ko) 패턴을 가지는 입체표식기를 이용한 복수 사용자를 포함하는 쌍방향 인식이 가능한 가상현실 장치
JP7027127B2 (ja) 携帯型装置、制御方法及びプログラム
JP6929037B2 (ja) 情報処理装置、情報処理方法、プログラム
US20210357017A1 (en) Motion matching in virtual environments
EP4016253A1 (en) System and method related to data fusing
JP2020187623A (ja) 姿勢推定システム、姿勢推定装置、誤差補正方法及び誤差補正プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22946737

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024518233

Country of ref document: JP

Kind code of ref document: A