JPWO2017099077A1 - 通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラム - Google Patents

通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラム Download PDF

Info

Publication number
JPWO2017099077A1
JPWO2017099077A1 JP2017555078A JP2017555078A JPWO2017099077A1 JP WO2017099077 A1 JPWO2017099077 A1 JP WO2017099077A1 JP 2017555078 A JP2017555078 A JP 2017555078A JP 2017555078 A JP2017555078 A JP 2017555078A JP WO2017099077 A1 JPWO2017099077 A1 JP WO2017099077A1
Authority
JP
Japan
Prior art keywords
communication
communication path
unit
image
relay device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017555078A
Other languages
English (en)
Other versions
JP6577598B2 (ja
Inventor
良雄 宮崎
良雄 宮崎
克嘉 大西
克嘉 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2017099077A1 publication Critical patent/JPWO2017099077A1/ja
Application granted granted Critical
Publication of JP6577598B2 publication Critical patent/JP6577598B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/02Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/06Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas at the transmitting station
    • H04B7/0686Hybrid systems, i.e. switching and simultaneous transmission
    • H04B7/0695Hybrid systems, i.e. switching and simultaneous transmission using beam selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W40/00Communication routing or communication path finding
    • H04W40/02Communication route or path selection, e.g. power-based or shortest path routing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Radio Transmission System (AREA)

Abstract

通信品質が高い通信経路の特定に要する時間を短くできる通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラムを提供する。画像取得部(72)は、通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得する。通信経路特定部(74)は、画像取得部(72)が取得する画像に基づいて、通信装置と通信相手との通信における反射面での反射を経由する通信経路を特定する。

Description

本発明は、通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラムに関する。
通信装置と通信相手との間の通信経路が電波を遮蔽する遮蔽物で遮られると通信品質が悪くなる。このことはミリ波のような直進性が強い電波による無線通信では特に顕著である。
このように通信品質が悪くなった際に、例えば様々な方向の通信経路のなかから通信品質が高い通信経路を特定した上で、当該通信経路が通信に用いられるよう通信経路を変更することで、通信品質は回復する。
しかし様々な方向の通信経路のなかから通信品質が高い通信経路を特定する場合は、個々の通信経路について通信品質を確認する必要があり、その結果、通信品質が高い通信経路の特定に一定程度の時間がかかってしまう。
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、通信品質が高い通信経路の特定に要する時間を短くできる通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラムを提供することにある。
上記課題を解決するために、本発明に係る通信経路特定装置は、通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得する画像取得部と、前記画像に基づいて、前記通信装置と前記通信相手との通信における反射面での反射を経由する通信経路を特定する通信経路特定部と、を含む。
本発明の一態様では、前記通信経路特定部は、前記通信装置と前記通信相手との間の通信の通信品質が所定の品質より低くなった際に、前記通信経路を特定する。
あるいは、前記通信経路特定部は、前記通信装置と前記通信相手との間の電波の遮蔽物の存在が確認された際に、前記通信経路を特定する。
また、本発明に係るヘッドマウントディスプレイは、ヘッドマウントディスプレイであって、前記ヘッドマウントディスプレイ及び当該ヘッドマウントディスプレイの通信相手の少なくとも一方がおかれた環境の画像を取得する画像取得部と、前記画像に基づいて、前記ヘッドマウントディスプレイと前記通信相手との通信における反射面での反射を経由する通信経路を特定する通信経路特定部と、を含む。
また、本発明に係る通信経路特定方法は、通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得するステップと、前記画像に基づいて、前記通信装置と前記通信相手との通信における反射面での反射を経由する通信経路を特定するステップと、を含む。
また、本発明に係るプログラムは、通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得する手順、前記画像に基づいて、前記通信装置と前記通信相手との通信における反射面での反射を経由する通信経路を特定する手順、をコンピュータに実行させる。
本発明の一実施形態に係る映像表示システムの全体構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 本発明の一実施形態に係る中継装置の構成の一例を示す図である。 本実施形態に係る映像表示システムが部屋に配置されている様子の一例を模式的に示す図である。 本実施形態に係る映像表示システムが部屋に配置されている様子の一例を模式的に示す図である。 セクタレベルスイープにおける主ビーム方向の複数の候補の一例を模式的に示すセクタ候補図である。 セクタ候補図における角度φ及び角度θの組合せと、主ビーム方向との対応関係の一例を説明する説明図である。 本発明の一実施形態に係る中継装置で実装される機能の一例を示す機能ブロック図である。 1次候補セクタデータの一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイにおいて行われる処理の流れの一例を示すフロー図である。
以下、本発明の一実施形態について、図面を参照しながら説明する。
図1は、本発明の一実施形態に係る映像表示システム10の全体構成の一例を示す図である。図2Aは、本実施形態に係るヘッドマウントディスプレイ(HMD)12の構成の一例を示す図である。図2Bは、本実施形態に係る中継装置16の構成の一例を示す図である。
図1に示すように、本実施形態に係る映像表示システム10は、HMD12とエンタテインメント装置14と中継装置16とディスプレイ18とカメラマイクユニット20とコントローラ22とを含んでいる。
本実施形態に係るHMD12には、例えば図2Aに示すように、制御部30、記憶部32、通信部34、入出力部36、表示部38、センサ部40、音声出力部42が含まれる。
制御部30は、例えばHMD12にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。
記憶部32は、例えばROMやRAM等の記憶素子などである。記憶部32には、制御部30によって実行されるプログラムなどが記憶される。
通信部34は、例えばアレイアンテナが内蔵された無線LANモジュールなどの通信インタフェースである。本実施形態では図1に示すように、通信部34は、HMD12の前側上方に配置されている。
入出力部36は、例えばHDMI(登録商標)(High-Definition Multimedia Interface)ポート、USBポート、AUXポートなどの入出力ポートである。
表示部38は、HMD12の前側に配置されている、例えば液晶ディスプレイや有機ELディスプレイ等のディスプレイであり、エンタテインメント装置14が生成する映像などを表示させる。また表示部38は、HMD12の筐体に収容される。表示部38は、例えばエンタテインメント装置14が出力して中継装置16で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部38は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部38は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。
センサ部40は、例えば加速度センサやモーションセンサなどといったセンサである。センサ部40は、HMD12の回転量、移動量などの計測結果を所定のフレームレートで、制御部30に出力する。
音声出力部42は、例えばヘッドホンやスピーカ等であり、エンタテインメント装置14が生成する音声データが表す音声などを出力する。音声出力部42は、例えばエンタテインメント装置14が出力して中継装置16で中継される音声信号を受信して、当該音声信号が表す音声を出力する。
本実施形態に係るエンタテインメント装置14は、例えばゲームコンソール、DVDプレイヤ、Blu−ray(登録商標)プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置14は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置14は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置16を経由して、HMD12やディスプレイ18に出力する。
本実施形態に係る中継装置16は、エンタテインメント装置14から出力される映像信号や音声信号を中継してHMD12やディスプレイ18に出力するコンピュータである。
本実施形態に係る中継装置16には、例えば図2Bに示すように、制御部50、記憶部52、通信部54、入出力部56が含まれる。
制御部50は、例えば制御回路、又は、中継装置16にインストールされるプログラムに従って動作するCPU等のプログラム制御デバイスである。
記憶部52は、例えばROMやRAM等の記憶素子などである。記憶部52には、制御部50によって実行されるプログラムなどが記憶される。
通信部54は、例えばアレイアンテナが内蔵された無線LANモジュールなどの通信インタフェースなどである。本実施形態では、図1に示すように、中継装置16の前側に、通信部54が含まれている。
入出力部56は、HDMI(登録商標)(High-Definition Multimedia Interface)ポート、USBポートなどの入出力ポートである。
本実施形態に係るディスプレイ18は、例えば液晶ディスプレイ等であり、エンタテインメント装置14から出力される映像信号が表す映像などを表示させる。
本実施形態に係るカメラマイクユニット20は、例えば被写体を撮像した画像をエンタテインメント装置14に出力するカメラ20a及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置14に出力するマイク20bを含んでいる。また本実施形態に係るカメラ20aはステレオカメラである。
HMD12と中継装置16とは、例えば、無線通信によるデータの送受信が互いに可能になっている。エンタテインメント装置14と中継装置16とは、例えば、HDMIケーブルやUSBケーブルなどを介して接続されている。中継装置16とディスプレイ18とは、例えば、HDMIケーブルなどを介して接続されている。エンタテインメント装置14とカメラマイクユニット20とは、例えば、AUXケーブルなどを介して接続されている。
本実施形態に係るコントローラ22は、エンタテインメント装置14に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ22が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ22を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ22は、操作入力に対応付けられる入力データをエンタテインメント装置14に出力する。また本実施形態に係るコントローラ22は、USBポートを備えている。そしてコントローラ22は、USBケーブルでエンタテインメント装置14と接続することで、有線で入力データをエンタテインメント装置14に出力することができる。また本実施形態に係るコントローラ22は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置14に出力することができるようにもなっている。
図3A及び図3Bは、本実施形態に係る映像表示システム10が部屋60に配置されている様子の一例を模式的に示す図である。図3Aに示すように、映像表示システム10が配置された部屋には、ソファー、花瓶、カーテン、ライトなどといった様々な物体が配置されている。図3Aに示す状況では、HMD12は、HMD12と中継装置16とを結ぶ直線に沿った通信経路A0で中継装置16との間で通信を行っていることとする。また本実施形態では、HMD12と中継装置16との間では60GHz帯などといったミリ波による無線通信が行われていることとする。
ここで例えば、図3Bに示すように、HMD12と中継装置16との間の通信経路上に、金属製の収納箱などといった、電波を通さない遮蔽物62が配置されたとする。こうなるとHMD12と中継装置16との間の通信における通信品質が低下する。なお本実施形態における通信品質としては、例えば、信号対雑音比(S/N比)や受信強度などが挙げられる。
すると図3Bに示すように、本実施形態では、例えば、HMD12と中継装置16との間の通信における通信経路A0は、天井64や壁66などといった反射面での反射を経由する通信経路に変更される。図3Bには、天井64を反射面とする通信経路A1と、窓が配置された壁66を反射面とする通信経路A2と、が示されている。また図3Bには、通信経路A1による通信において電波が反射する、天井64上の点の位置P1が示されている。また図3Bには、通信経路A2による通信において電波が反射する、壁66上の点の位置P2が示されている。
60GHz帯などといったミリ波は直進性が強いため、通信経路を適切に調整しないと通信品質の確保が難しい。本実施形態では上述のようにして、遮蔽物62によって遮蔽されない通信経路である、反射面での反射を経由する通信経路がHMD12と中継装置16との間の通信で用いられるよう調整することで通信品質が確保されることとなる。
そして中継装置16の主ビーム方向は、上述のように調整される通信経路に基づいて設定される。主ビーム方向を設定する技術の一例としてビームフォーミングが知られている。ビームフォーミングの処理は、セクタレベルスイープの処理とビームリファインメントの処理とから構成される。セクタレベルスイープでは主ビーム方向の複数の候補のうちから通信が行われた際の通信品質が高い方向が中継装置16の主ビーム方向として決定される。セクタレベルスイープによって中継装置16の主ビーム方向が決定されると、その決定された中継装置16の主ビーム方向を微調整するビームリファインメントの処理が実行される。なおセクタレベルスイープもビームリファインメントも、HMD12の通信部34と中継装置の通信部54との間の通信(ネゴシエーション)によって行われる。
図4は、セクタレベルスイープにおける主ビーム方向の複数の候補の一例を模式的に示すセクタ候補図である。図5は、図4に示すセクタ候補図における角度φ及び角度θの組合せと、主ビーム方向との対応関係の一例を説明する説明図である。
図4に示すセクタ候補図に×印で示されている点のそれぞれが、セクタレベルスイープにおける主ビーム方向の候補を表している。以下、当該候補を1次候補セクタと呼ぶこととする。図4の例では、112個の1次候補セクタが設定されている。そしてこれらの1次候補セクタのそれぞれは、角度φと角度θとの組合せに対応付けられる。以下、角度φと角度θとの組合せを主ビーム角度パラメータ(φ,θ)と呼ぶこととする。
本実施形態では例えば、中継装置16に内蔵されたアレイアンテナが配置されている面に垂直な方向であって、中継装置16の後側から前側に向かう方向が、図5におけるX軸正方向に相当することとする。図3A及び図3Bに示すように、中継装置16は、その前側がHMD12の方を向くように配置されている。また中継装置16に内蔵されたアレイアンテナが配置されている面に沿った方向であって、中継装置16の右側から左側に向かう方向(図3A及び図3Bにおいては概ね左から右に向かう方向)が、図5におけるY軸正方向に相当することとする。また中継装置16に内蔵されたアレイアンテナが配置されている面に沿った方向であって、X軸正方向から見てY軸正方向を反時計回りに90度回転させた方向をZ軸正方向とする。そして本実施形態では図5に示すように、Z軸正方向から見た際における、X軸を基準として反時計回りを正とした角度を角度φとする。また、Z軸正方向となす角度を角度θとする。例えば、X軸正方向に相当する主ビーム角度パラメータ(φ,θ)は(0,+90)となる。なお本実施形態では主ビーム角度パラメータの値の単位は「度」であることとする。また本実施形態では、−180≦φ<+180であり、0≦θ≦180であることとする。
従来のセクタレベルスイープでは、HMD12と中継装置16との間でのネゴシエーションが行われていた。そして当該ネゴシエーションにおいて、セクタ候補図に配置された112個の1次候補セクタのすべてについて、それぞれの1次候補セクタに対応付けられる方向を主ビーム方向とする通信を行った際の通信品質が確認されていた。そして最も通信品質が高い1次候補セクタに対応付けられる方向が主ビーム方向として決定されていた。
一方本実施形態では、カメラ20aが撮影する画像に基づいて反射面を経由する通信経路が特定される。そして図4に示すセクタ候補図に配置された112個の1次候補セクタのうちから、特定される通信経路に対応付けられる一部が2次候補セクタとして選択される。この2次候補セクタの選択の際には、HMD12と中継装置16との間での通信(ネゴシエーション)は不要である。そして本実施形態では、ネゴシエーションにおいて、選択される2次候補セクタのすべてについて、それぞれの2次候補セクタに対応付けられる方向を主ビーム方向とする通信を行った際の通信品質が確認される。そして最も通信品質が高い2次候補セクタに対応付けられる方向が主ビーム方向として決定される。
図4には、2次候補セクタであるか否かの境界である絞り込み領域Rの例が2個示されている(R1及びR2)。
本実施形態では例えば、主ビーム角度パラメータ(φ,θ)の値(0,+60)に対応付けられる主ビーム方向での通信が行われている際に、遮蔽物62により通信経路が遮蔽されたとする。
本実施形態ではカメラ20aが撮影する画像に基づいて反射面を経由する通信経路A1及び通信経路A2が特定される。そして通信経路A1及び通信経路A2による通信を行う際のHMD12の主ビーム方向に対応付けられる主ビーム角度パラメータ(φ,θ)の値が特定される。ここでは例えば、通信経路A1に対応付けられる主ビーム角度パラメータ(φ,θ)の値として(0,+30)が特定され、通信経路A2に対応付けられる主ビーム角度パラメータ(φ,θ)の値として(−60,+60)が特定されることとする。
そして図4に示すセクタ候補図において、通信経路A1に対応付けられる領域R1、及び、通信経路A2に対応付けられる領域R2が、絞り込み領域Rとして特定される。ここでは例えば、主ビーム角度パラメータ(φ,θ)=(0,+30)である点を中心にして半径が所定の角度(ここでは例えば20度)に相当する長さである円形の領域が、通信経路A1に対応付けられる領域R1として特定されることとなる。また、主ビーム角度パラメータ(φ,θ)=(−60,+60)である点を中心にして半径が所定の角度(例えば20度)に相当する長さである円形の領域が、通信経路A2に対応付けられる領域R2として特定されることとなる。
そして絞り込み領域として領域R1が特定された際には、112個の1次候補セクタのうち、領域R1内の2個のセクタが2次候補セクタとして選択される。また絞り込み領域として領域R2が特定された際には、112個の1次候補セクタのうち、領域R1内の3個のセクタが2次候補セクタとして選択される。
なおここでθの値が+180よりも大きくなるような絞り込み領域Rについては、上下が反転された上でセクタ候補図においてφ軸正方向に180だけ平行移動される。θの値が0よりも小さくなるような絞り込み領域Rについては、上下が反転された上でセクタ候補図においてφ軸正方向に180だけ平行移動される。またφの値が+180よりも大きくなるような絞り込み領域Rについては、セクタ候補図においてφ軸負方向に360だけ平行移動される。またφの値が−180よりも小さくなるような絞り込み領域Rについては、セクタ候補図においてφ軸正方向に360だけ平行移動される。以上の場合は、1つの絞り込み領域Rが、セクタ候補図において2つ以上の領域に分かれて配置されることとなる。
本実施形態に係る映像表示システム10は、カメラ20aを備えているので、HMD12及び中継装置16の少なくとも一方がおかれた環境の画像を撮影することができる。そしてこの画像に基づいて、HMD12と中継装置16との通信における反射面での反射を経由する通信経路が特定される。そして本実施形態では、上述のようにして通信品質を確認する主ビーム方向の候補を、HMD12と中継装置16との通信における反射面での反射を経由する通信経路に対応付けられる主ビーム方向に近い候補に限定している。そのため本実施形態ではHMD12と中継装置16との間のネゴシエーションによって通信品質が確認されるセクタの数が従来のビームフォーミングよりも少ない。そのため本実施形態によれば従来のビームフォーミングよりも短時間で主ビーム方向が特定される。その結果、本実施形態によれば従来のビームフォーミングよりも短時間で通信品質が高い通信経路が特定されることとなる。
以下、本実施形態に係る中継装置16の機能並びに本実施形態に係る中継装置16で実行される処理についてさらに説明する。なお本実施形態に係る中継装置16は、HMD12と中継装置16との通信における反射面での反射を経由する通信経路を特定する通信経路特定装置としての役割を担うこととなる。
図6は、本実施形態に係る中継装置16で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る中継装置16で、図6に示す機能のすべてが実装される必要はなく、また、図6に示す機能以外の機能が実装されていても構わない。
図6に示すように、本実施形態に係る中継装置16は、機能的には例えば、1次候補セクタデータ記憶部70、画像取得部72、通信経路特定部74、絞り込み領域特定部76、2次候補セクタ選択部78、セクタレベルスイープ処理実行部80、ビームリファインメント処理実行部82、を含んでいる。1次候補セクタデータ記憶部70は、記憶部52を主として実装される。画像取得部72は、制御部50及び入出力部56を主として実装される。通信経路特定部74は、制御部50を主として実装される。セクタレベルスイープ処理実行部80、ビームリファインメント処理実行部82は、制御部50及び通信部54を主として実装される。
以上の機能は、コンピュータである中継装置16にインストールされた、以上の機能に対応する指令を含むプログラムを制御部50で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して中継装置16に供給される。
1次候補セクタデータ記憶部70は、本実施形態では例えば、1次候補セクタを示す1次候補セクタデータを記憶する。本実施形態に係る1次候補セクタデータには例えば、図7に示すように、1次候補セクタデータの識別情報である1次候補セクタIDと、上述の主ビーム角度パラメータ(φ,θ)と、が含まれている。また本実施形態では、1次候補セクタデータ記憶部70は、図7に示すように、1次候補セクタデータを複数記憶する。また1次候補セクタデータが示す1次候補セクタは、主ビーム角度パラメータ(φ,θ)によって、基準となる向き(例えばX軸正方向)に対する角度に対応付けられている。
画像取得部72は、本実施形態では例えば、通信装置(ここでは例えば中継装置16)及び当該通信装置の通信相手(ここでは例えばHMD12)の少なくとも一方がおかれた環境の画像を取得する。画像取得部72は、例えば、カメラ20aが所定のフレームレートで部屋60の様子を撮影する画像を、当該フレームレートで取得する。
通信経路特定部74は、本実施形態では例えば、画像取得部72が取得する画像に基づいて、通信装置(ここでは例えば中継装置16)と通信相手(ここでは例えばHMD12)との通信における通信経路を特定する。ここで通信経路特定部74は、中継装置16とHMD12との通信における反射面での反射を経由する通信経路を特定してもよい。また通信経路特定部74は、中継装置16とHMD12との間の通信の通信品質が所定の品質より低くなった際に、通信経路を特定してもよい。また通信経路特定部74は、中継装置16とHMD12との間の電波の遮蔽物62の存在が確認された際に、通信経路を特定するようにしてもよい。また通信経路特定部74は、1の通信経路を特定しても、複数の通信経路を特定してもよい。
通信経路特定部74は例えば、画像取得部72が取得する画像に基づいて、公知の画像認識技術により反射面の位置を特定する。そして通信経路特定部74は、例えば中継装置16とHMD12とを結ぶ当該反射面での反射を経由する通信経路(例えば図3Bにおける通信経路A1や通信経路A2)を特定する。ここで例えば、通信において電波の入射角と反射角が等しくなるような当該反射面上の点の位置(例えば図3Bにおける点P1の位置や点P2の位置)が特定されるようにしてもよい。そして通信経路特定部74が、中継装置16の通信部54から見て特定された点の位置に向かう方向を表す主ビーム角度パラメータ(φ,θ)を特定してもよい。以下、このようにして特定される主ビーム角度パラメータ(φ,θ)を主ビーム中心角度パラメータ(φc,θc)と呼ぶこととする。
絞り込み領域特定部76は、本実施形態では例えば、通信経路特定部74が特定する通信経路に基づいて、絞り込み領域Rを特定する。絞り込み領域特定部76は例えば、セクタ候補図において、通信経路特定部74が特定する主ビーム中心角度パラメータ(φc,θc)に相当する点を中心にして半径が所定の角度(例えば20度)に相当する長さである円形の領域を絞り込み領域Rとして特定する。
2次候補セクタ選択部78は、1次候補セクタデータが示す1次候補セクタのうちから、2次候補セクタを選択する。2次候補セクタ選択部78は、本実施形態では例えば、絞り込み領域特定部76が特定した絞り込み領域R内の角度の範囲に対応する1次候補セクタデータを、2次候補セクタを示す2次候補セクタデータとして選択する。より具体的には例えば、((φ−φc)^2+(θ−θc)^2))^1/2<=20という条件を満足する主ビーム角度パラメータ(φ,θ)が含まれる1次候補セクタデータが、2次候補セクタを示す2次候補セクタデータとして選択される。このように2次候補セクタ選択部78が、対応付けられている角度がHMD12の姿勢に応じた角度の範囲内である1次候補セクタを2次候補セクタとして選択してもよい。なお2次候補セクタ選択部78による2次候補の選択処理においては、HMD12と中継装置との間の通信(ネゴシエーション)は不要である。
セクタレベルスイープ処理実行部80は、本実施形態では例えば、2次候補セクタ選択部78が選択した2次候補セクタのそれぞれを主ビーム方向とした通信が行われた際の通信品質に基づいて、中継装置16の主ビーム方向を決定する。本実施形態では例えば、セクタレベルスイープ処理実行部80は、HMD12と中継装置16との間でのネゴシエーションにおいて、2次候補セクタ選択部78が選択した2次候補セクタのそれぞれを主ビーム方向とした通信における通信品質を確認する。そしてセクタレベルスイープ処理実行部80は、例えば、最も通信品質が高かった主ビーム方向を、中継装置16の主ビーム方向として決定する。
ビームリファインメント処理実行部82は、セクタレベルスイープ処理実行部80が決定した主ビーム方向を微調整するビームリファインメント処理を実行する。ビームリファインメント処理についても、HMD12と中継装置16との間での通信(ネゴシエーション)によって行われる。
以下、本実施形態に係るHMD12において行われる処理の流れの一例を、図8に示すフロー図を参照しながら説明する。
まず、画像取得部72が、カメラ20aが撮影する画像を取得する(S101)。そして通信経路特定部74が、S101に示す処理で取得した画像に基づいて、中継装置16とHMD12との間に電波の遮蔽物62が存在するか否かを確認する(S102)。ここで電波の遮蔽物62の存在が確認されなかった場合は(S102:N)、通信経路特定部74は、中継装置16とHMD12とを結ぶ直線に沿った通信経路(例えば通信経路A0)を特定する(S103)。そして通信経路特定部74は、S103に示す処理で特定された通信経路の方向を表す主ビーム中心角度パラメータ(φc,θc)の値を特定する(S104)。
S102に示す処理で電波の遮蔽物62の存在が確認された場合は(S102:Y)、通信経路特定部74は、S101に示す処理で取得した画像に基づいて、反射面(例えば天井64や壁66)の位置を特定する(S105)。そして通信経路特定部74は、通信において電波の入射角と反射角が等しくなるような、S104に示す処理で特定された反射面上の点の位置(例えば点P1及び点P2の位置)を特定する(S106)。そして通信経路特定部74は、中継装置16の通信部54から見て、S106に示す処理で特定された点の位置に向かう方向を表す主ビーム中心角度パラメータ(φc,θc)を特定する(S107)。なおS107に示す処理では、主ビーム中心角度パラメータ(φc,θc)が1つ特定されてもよいし、複数特定されてもよい。例えば図3Bに示す通信経路A1及び通信経路A2が特定されてもよい。
そして絞り込み領域特定部76が、S104又はS107に示す処理で特定された主ビーム中心角度パラメータ(φc,θc)に相当する点を中心にして半径が所定の角度(例えば20度)に相当する長さである円形の領域を絞り込み領域Rを特定する(S108)。例えば図4に示すセクタ候補図内の領域R1及び領域R2が特定される。
そして2次候補セクタ選択部78が、絞り込み領域R内の1次候補セクタを2次候補セクタとして選択する(S109)。ここでは例えば、((φ−φc)^2+(θ−θc)^2))^1/2<=40という条件を満足する主ビーム角度パラメータ(φ,θ)が含まれる1次候補セクタデータが、2次候補セクタを示す2次候補セクタデータとして選択される。ここで絞り込み領域Rが複数特定される場合は、いずれかの絞り込み領域R内の1次候補セクタが2次候補セクタとして選択されるようにしてもよい。
そしてセクタレベルスイープ処理実行部80が、S109に示す処理で特定されたすべての2次候補セクタについて、当該2次候補セクタが表す主ビーム方向での通信の際の通信品質を確認する(S110)。
そしてセクタレベルスイープ処理実行部80が、S110に示す処理で最も高い通信品質であると特定された2次候補セクタが表す主ビーム方向を、中継装置16の主ビーム方向として決定する(S111)。
そしてビームリファインメント処理実行部82が、S111に示す処理で決定された主ビーム方向の微調整であるビームリファインメント処理を行い(S112)、本処理例に示す処理は終了される。
上述したように、S101〜S109に示す処理ではHMD12と中継装置16との間のネゴシエーションは行われないが、S110〜S112に示す処理ではHMD12と中継装置16との間のネゴシエーションが行われる。
なおS112に示す処理の終了後、以後、S101〜S112に示す処理の実行が繰り返されるようにしてもよい。
また例えば、通信経路特定部74がHMD12と中継装置16との間の通信品質を監視してもよい。そして当該通信品質が所定の品質より低くなった際に、上記S101〜S112に示す処理が実行されるようにしてもよい。
また例えば、通信経路特定部74が、所定のフレームレートで生成される、カメラ20aが撮影する画像に基づいて、遮蔽物62の存在の有無を監視してもよい。そして中継装置16とHMD12との間に遮蔽物62の存在が確認された際に、上記S105〜S112に示す処理が実行されるようにしてもよい。
また通信経路特定部74は、中継装置16とHMD12との通信における反射面での反射を経由する通信経路に加え、中継装置16とHMD12とを結ぶ直線に沿った通信経路を特定するようにしてもよい。通信経路特定部74は例えば通信経路A1及び通信経路A2に加え、通信経路A0を特定するようにしてもよい。そしてこれらの通信経路のそれぞれに対応付けられる絞り込み領域Rが特定されてもよい。そしていずれかの絞り込み領域R内の1次候補セクタが2次候補セクタとして選択されるようにしてもよい。
また通信経路特定部74は、中継装置16とHMD12との通信における反射面での反射を経由する通信経路が複数特定される際に、画像取得部72が取得する画像に基づいて、これらの通信経路の通信品質を評価してもよい。そして当該評価結果に基づいて、これらの通信経路のうちからいずれかの通信経路を選択するようにしてもよい。
例えば通信経路特定部74は、公知の画像認識技術を用いて、上述のS106に示す処理で特定される点の材質を特定してもよい。図3A及び図3Bの例では、例えば、布、ガラス、革、陶器などといった材質が特定されてもよい。そして、例えば最も反射減衰率の小さな材質に対応付けられる通信経路が選択されるようにしてもよい。
また通信経路特定部74は、公知の画像認識技術を用いて、上述のS106に示す処理で特定される点が含まれる物体の種類を特定してもよい。図3A及び図3Bの例では、例えば、カーテン、窓、ソファー、植木鉢などといった物体の種類が特定されてもよい。そして、例えば最も反射減衰率の小さな物体の種類に対応付けられる通信経路が選択されるようにしてもよい。
これらの場合は選択された通信経路に対応付けられる絞り込み領域R内の1次候補セクタが2次候補セクタとして選択されることとなる。例えば図8に示すS106に示す処理で点P1の位置及び点P2の位置が特定されたとする。ここで点P1における反射減衰率が点P2における反射減衰率の小さい場合は、S107に示す処理で、中継装置16の通信部54から見て点P1の位置に向かう方向を表す主ビーム中心角度パラメータ(φc,θc)のみが特定されるようにしてもよい。
なお、最も反射減衰率の小さな材質や物体の種類は、例えば、材質や物体の種類と反射減衰率との関係を示すデータを予め中継装置16に記憶しておくことで、当該データに基づいて特定することができる。
また例えば中継装置16が、実際の通信における通信品質に基づいて、材質と反射減衰率との関係を学習するようにしてもよい。そして学習結果に基づいて最も反射減衰率の小さな材質に対応付けられる通信経路が選択されるようにしてもよい。
また例えば、絞り込み領域Rの半径は20度に相当する長さでなくても構わない。また絞り込み領域Rは円形である必要はない。例えば中継装置16やHMD12が配置されている空間が複数のブロック(セクタ)に分割され、これらのブロック(セクタ)のそれぞれに対応付けられるよう絞り込み領域Rの候補が管理されても構わない。なお当該ブロック(セクタ)は直方体形状であってもよい。そしてこれらの絞り込み領域Rの候補の中から特定される絞り込み領域R1次候補セクタが2次候補セクタとして選択されても構わない。
なお、本発明は上述の実施形態に限定されるものではない。
例えば、上述のS111に示す処理が終了してもHMD12と中継装置16との通信品質が所定の品質に達しない場合は、中継装置16は、1次候補セクタすべてについて、当該1次候補セクタが表す主ビーム方向での通信の際の通信品質を確認してもよい。そしてこの場合に、中継装置16は、最も高い通信品質であると特定された1次候補セクタが表す主ビーム方向を、中継装置16の主ビーム方向として決定してもよい。またこの場合に例えば2次候補セクタとしては選択されることがない1次候補セクタが存在していてもよい。
また例えばHMD12が複数のアンテナを備えていてもよい。そしてHMD12は、これら複数のアンテナのうちから、上述のようにして特定される通信経路に応じて選択される1又は複数のアンテナのみが駆動されるよう制御してもよい。
また例えば、図6に例示する機能の一部が、エンタテインメント装置14で実装されても構わない。例えば1次候補セクタデータ記憶部70、画像取得部72、通信経路特定部74、絞り込み領域特定部76、2次候補セクタ選択部78が、エンタテインメント装置14で実装されても構わない。そしてセクタレベルスイープ処理実行部80、ビームリファインメント処理実行部82が、中継装置16で実装されても構わない。この場合、例えばエンタテインメント装置14が、2次候補セクタ選択部78が選択した2次候補セクタを示すデータを中継装置16に送信しても構わない。そして中継装置16が、当該2次候補セクタを示すデータに基づいて、セクタレベルスイープ及びビームリファインメントを実行してもよい。
またHMD12が、魚眼レンズを備えたカメラなどといった、HMD12の周囲の全方向又は一部の方向を撮影可能なカメラや、赤外線カメラ等の測距装置を備えていてもよい。そして図6に示す機能がHMD12で実装されていても構わない。このとき例えば、画像取得部72が、HMD12が備えるカメラが撮影した画像を取得してもよい。そして、通信経路特定部74が、HMD12が備えるカメラが撮影した画像に基づいて、HMD12と中継装置16の通信における反射面での反射を経由する通信経路を特定してもよい。この場合は、通信経路特定部74は、HMD12の主ビーム方向を特定することとなる。
また本実施形態の適用範囲はミリ波による通信に限定されない。例えば5GHz帯などといったマイクロ波による通信に本実施形態を適用してもよい。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (6)

  1. 通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得する画像取得部と、
    前記画像に基づいて、前記通信装置と前記通信相手との通信における反射面での反射を経由する通信経路を特定する通信経路特定部と、
    を含むことを特徴とする通信経路特定装置。
  2. 前記通信経路特定部は、前記通信装置と前記通信相手との間の通信の通信品質が所定の品質より低くなった際に、前記通信経路を特定する、
    ことを特徴とする請求項1に記載の通信経路特定装置。
  3. 前記通信経路特定部は、前記通信装置と前記通信相手との間の電波の遮蔽物の存在が確認された際に、前記通信経路を特定する、
    ことを特徴とする請求項1に記載の通信経路特定装置。
  4. ヘッドマウントディスプレイであって、
    前記ヘッドマウントディスプレイ及び当該ヘッドマウントディスプレイの通信相手の少なくとも一方がおかれた環境の画像を取得する画像取得部と、
    前記画像に基づいて、前記ヘッドマウントディスプレイと前記通信相手との通信における反射面での反射を経由する通信経路を特定する通信経路特定部と、
    を含むことを特徴とするヘッドマウントディスプレイ。
  5. 通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得するステップと、
    前記画像に基づいて、前記通信装置と前記通信相手との通信における反射面での反射を経由する通信経路を特定するステップと、
    を含むことを特徴とする通信経路特定方法。
  6. 通信装置及び当該通信装置の通信相手の少なくとも一方がおかれた環境の画像を取得する手順、
    前記画像に基づいて、前記通信装置と前記通信相手との通信における反射面での反射を経由する通信経路を特定する手順、
    をコンピュータに実行させることを特徴とするプログラム。
JP2017555078A 2015-12-11 2016-12-06 通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラム Active JP6577598B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015242619 2015-12-11
JP2015242619 2015-12-11
PCT/JP2016/086230 WO2017099077A1 (ja) 2015-12-11 2016-12-06 通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017099077A1 true JPWO2017099077A1 (ja) 2018-05-24
JP6577598B2 JP6577598B2 (ja) 2019-09-18

Family

ID=59013167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017555078A Active JP6577598B2 (ja) 2015-12-11 2016-12-06 通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラム

Country Status (3)

Country Link
US (1) US10546556B2 (ja)
JP (1) JP6577598B2 (ja)
WO (1) WO2017099077A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3379736B1 (en) * 2015-11-19 2022-01-19 Sony Interactive Entertainment Inc. Antenna control device, head-mounted display, antenna control method, and program
US10721698B2 (en) * 2017-07-01 2020-07-21 ARRIS Enterprises, LLC Identifying a synchronization master for radio nodes
US11309947B2 (en) 2018-11-19 2022-04-19 Facebook Technologies, Llc Systems and methods for maintaining directional wireless links of motile devices
JP7363811B2 (ja) 2018-12-05 2023-10-18 ソニーグループ株式会社 情報処理装置および方法
WO2020153130A1 (ja) 2019-01-22 2020-07-30 ソニー株式会社 情報処理装置および方法
US20210361017A1 (en) * 2020-05-20 2021-11-25 Nathan Mooney Infrared Motorcycle Helmet Device
WO2023073996A1 (ja) * 2021-11-01 2023-05-04 日本電信電話株式会社 基地局、無線通信システム、及び無線通信方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH118893A (ja) * 1997-06-17 1999-01-12 Sony Corp 受信装置
JP2000165959A (ja) * 1998-09-22 2000-06-16 Sharp Corp ミリ波帯信号送受信システムおよびミリ波帯信号送受信システムを具備した家屋
JP2013051570A (ja) * 2011-08-31 2013-03-14 Ricoh Co Ltd 無線通信装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3285078B2 (ja) 1997-06-14 2002-05-27 日本ビクター株式会社 ハウリング防止装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH118893A (ja) * 1997-06-17 1999-01-12 Sony Corp 受信装置
JP2000165959A (ja) * 1998-09-22 2000-06-16 Sharp Corp ミリ波帯信号送受信システムおよびミリ波帯信号送受信システムを具備した家屋
JP2013051570A (ja) * 2011-08-31 2013-03-14 Ricoh Co Ltd 無線通信装置

Also Published As

Publication number Publication date
US10546556B2 (en) 2020-01-28
WO2017099077A1 (ja) 2017-06-15
US20180357980A1 (en) 2018-12-13
JP6577598B2 (ja) 2019-09-18

Similar Documents

Publication Publication Date Title
JP6577598B2 (ja) 通信経路特定装置、ヘッドマウントディスプレイ、通信経路特定方法及びプログラム
JP6368056B2 (ja) 主ビーム方向決定装置、ヘッドマウントディスプレイ、主ビーム方向決定方法及びプログラム
JP6421250B2 (ja) アンテナ制御装置、ヘッドマウントディスプレイ、アンテナ制御方法及びプログラム
JP6420500B2 (ja) 周波数帯決定装置、ヘッドマウントディスプレイ、周波数帯決定方法及びプログラム
CN107948394A (zh) 移动终端
CN110489580B (zh) 图像处理方法、装置、显示屏组件以及电子设备
JP6409139B2 (ja) 主ビーム方向決定装置、主ビーム方向決定方法及びプログラム
CN112673276A (zh) 超声波传感器
US11171700B2 (en) Main beam direction determining device, main beam direction determining method, and program
KR102586866B1 (ko) 헤드-웨어러블 장치를 사용하여 캡처된 신호들의 신호 대 잡음비를 개선하기 위한 동적 빔포밍
EP3358846A1 (en) Method and device for stereoscopic vision
JP2014007572A (ja) グラフィカルユーザインターフェイス装置、システム、方法、コンピュータープログラム及び記録媒体
EP3975541A1 (en) Mobile terminal and method for controlling same
CN111526292B (zh) 音视频混合监控方法、设备及存储装置
KR20210123198A (ko) 증강 현실 기반의 전기 음향과 건축 음향 통합 시뮬레이션 장치
JP2017135570A (ja) 撮像システム、及び、撮像システムの制御方法
EP3966790A1 (en) Novel systems and methods for collecting, locating and visualizing sensor signals in extended reality
US11263455B2 (en) Mobile terminal and method for controlling the same
KR20240025383A (ko) 증강 현실 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
JP2020081557A (ja) 眼の角膜中心の位置を特定する装置、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190822

R150 Certificate of patent or registration of utility model

Ref document number: 6577598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150