JP6754704B2 - ディスプレイ及びロボット - Google Patents

ディスプレイ及びロボット Download PDF

Info

Publication number
JP6754704B2
JP6754704B2 JP2017015820A JP2017015820A JP6754704B2 JP 6754704 B2 JP6754704 B2 JP 6754704B2 JP 2017015820 A JP2017015820 A JP 2017015820A JP 2017015820 A JP2017015820 A JP 2017015820A JP 6754704 B2 JP6754704 B2 JP 6754704B2
Authority
JP
Japan
Prior art keywords
display
light
light guide
guide member
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017015820A
Other languages
English (en)
Other versions
JP2018124399A (ja
Inventor
宇佐美 由久
由久 宇佐美
田中 伸也
伸也 田中
素 寺横
素 寺横
要 林
要 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Groove X Inc
Original Assignee
Groove X Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Groove X Inc filed Critical Groove X Inc
Priority to JP2017015820A priority Critical patent/JP6754704B2/ja
Publication of JP2018124399A publication Critical patent/JP2018124399A/ja
Application granted granted Critical
Publication of JP6754704B2 publication Critical patent/JP6754704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Toys (AREA)
  • Manipulator (AREA)
  • Illuminated Signs And Luminous Advertising (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

本発明はディスプレイ及びロボットに係り、画像を表示するディスプレイ及びこのディスプレイを備えたロボットに関する。
特許文献1には、平面型の電子表示素子を光学系により3次元曲面スクリーンに投影し、感情に対応した電気信号に従って目に類似したパタン表示により感情表現を行う人工目及びそれを用いたロボットが開示されている。特許文献1には、光学系として、ガラスないしプラスチックファイバーからなるものを用いることが開示されている(段落[0025])。
特許文献2には、有機EL装置において、発光層から発光した光を基板の厚み方向に導光させる光ファイバアレイ基板を用いて平行光を取り出すものが開示されている(段落[0022])。
特開2003−205489号公報 特開2006−310234号公報
愛玩用のロボット等の感情表現機能が重要な役割を果たす機器では、感情表現の手段として目は重要な意味を有する。従来は、目としてディスプレイが用いられていたが、ディスプレイは平面状であり、実際の生物の目のような丸みをもっておらず、通常のディスプレイへの画像の表示と異ならないため、感情表現機能に乏しいという問題があった。
特許文献1には、ガラスないしプラスチックファイバーからなる光学系を用いて、平面型の電子表示素子を3次元曲面スクリーンに投影することで、多彩な感情表現を達成することが記載されており、特許文献2には、複数のグラスファイバを束ねて接着した光ファイバアレイ基板により平行光を取り出すことが記載されている。しかしながら、特許文献1及び特許文献2に記載の導光用の光学系には、単位体積当たりの質量が大きくなるという問題があった。
一般に、ロボットでは、動作により可動部にかかる負荷を軽減し、動作を滑らかにするため、単位体積当たりの質量(密度)が小さい材料が用いられることが好ましい。特に愛玩用のロボットでは、オペレータが持ち上げたりする場合があるため、より軽量化されることが好ましい。しかしながら、目の部分の単位体積当たりの質量が大きいと、目が取り付けられるロボットの頭部の前後の重量のバランスが悪くなったり、頭部の動作に伴う負荷が大きくなってしまう。このため、目の部分の単位体積当たりの質量が大きいと、ロボットの動作が阻害されるという問題があった。さらに、頭部の動作による振動等の要因により、目の位置がずれたり、脱落したりするおそれがあった。
本発明はこのような事情に鑑みてなされたもので、単位体積当たりの質量が小さいディスプレイ、及びこのディスプレイを用いることで、目を構成する部材の位置ずれ及び脱落が起こりにくいロボットを提供することを目的とする。
ロボットの外観に生物的な特徴を持たせる場合、いわゆる「目」は重要な構成要素となる。一般的に「目」は、眼球の一部分が生物の表面上に露出したものであり、露出部分の中央が盛り上がった曲面状の形状をしている。本発明におけるディスプレイは、「目」の形状的な特徴を有しており、ロボットの表面側に少なくとも一部が露出する導光部材であって、その露出する部分のうち中央部分が周辺部分よりも盛り上がった曲面として形成された導光部材を含む。このような「目」としての形状的な特徴を有し、生物的な特徴を有するロボットにおいて、「目」と認識される位置に取り付けられることを意図したディスプレイを特に「目状ディスプレイ」と表現する。
上記課題を解決するために、本発明の第1の態様に係るディスプレイ(以下、「目状ディスプレイ」ともいう。)は、画像を示す光を出力する画面と、少なくとも目の画像を画面に出力させる表示制御手段とを有する画像表示装置と、導光部材とを備えるディスプレイであって、導光部材が、画面に対向して配置された第1の面と、第2の面と、第1の面の第1の開口部から第2の面の第2の開口部に延びる中空の筒状部であって、画面から出力されて第1の開口部に入射した光を反射して第2の開口部から出射させる反射面が内面に形成された筒状部が複数形成されており、画面から出力された画像を示す光を第2の面を介して出力させる部材本体とを備える。
第1の態様によれば、中空の筒状部が複数形成された導光部材を用いることで、単位体積当たりの質量が小さく、位置ずれ及び脱落が起こりにくいディスプレイを提供することができる。
本発明の第2の態様に係るディスプレイは、第1の態様において、第1の面が平面であり、第2の面の少なくとも一部が非平面としたものである。
本発明の第3の態様に係るディスプレイは、第1又は第2の態様において、第2の面が、曲面、多角面及び階段状の面のうちの少なくとも1つの面形状の部分を含むように構成したものである。
第2及び第3の態様によれば、実際の生物の目のような丸みがあり、中央付近が周縁部よりも厚く、かつ、単位体積当たりの質量が小さいディスプレイを提供することができる。
本発明の第4の態様に係るディスプレイは、第1から第3のいずれかの態様において、第1の面が、平面、多角面、円柱面及び円錐面のうちの少なくとも1つとしたものである。
第4の態様によれば、より多様な形状のディスプレイを提供することが可能になる。
本発明の第5の態様に係るディスプレイは、第1から第4のいずれかの態様において、第1の開口部及び第2の開口部の少なくとも一方に配置され、光を拡散する光拡散部材を更に備えるようにしたものである。
第5の態様によれば、出射光を散乱させることができるので、視野角を広げることができる。
本発明の第6の態様に係るディスプレイは、第1から第4のいずれかの態様において、第2の面上に配置され、第2の面から出射する光を散乱する光散乱部材を更に備えるようにしたものである。
第6の態様によれば、入射光及び出射光を拡散させることができるので、視野角を広げることができる。
本発明の第7の態様に係るディスプレイは、第1から第6のいずれかの態様において、表示制御手段が、画像及び文字のうち少なくとも一方を含む情報を画面に表示させるようにしたものである。
第7の態様によれば、目の画像以外の情報をディスプレイに表示させることができるので、より多様な表示制御を実現することが可能になる。
本発明の第8の態様に係るディスプレイは、第1から第7のいずれかの態様において、第2の面側における操作部材の動作を検知するセンサを更に備え、表示制御手段は、センサによって検知された操作部材の動作に応じて画面に出力する画像を変更するようにしたものである。
第8の態様によれば、センサにより表示内容を変更させることができるので、より多様な表示制御を実現することが可能になる。
本発明の第9の態様に係るロボットは、顔部と、顔部の前面の取付位置に取り付けられた第1から第8のいずれかの態様のディスプレイと、画像表示装置によって出力される画像を制御する制御手段とを備える。
第9の態様によれば、中空の筒状部が複数形成された導光部材を用いることで、ディスプレイの位置ずれ及び脱落が起こりにくいロボットを提供することができ、かつ、ディスプレイの質量に起因してロボットの動作が不安定になるのを防止することができる。
本発明の第10の態様に係るロボットは、第9の態様において、取付位置には、ディスプレイを取り付けるための凹部が設けられており、ディスプレイは、凹部に取り付けられるようにしたものである。
本発明の第11の態様に係るロボットは、第9又は第10の態様において、顔部を含む頭部が取り付けられた首部と、腕部、胴部及び脚部にそれぞれ設けられた可動部のうちの少なくとも1つを動作させる動作手段を更に備え、制御手段は、ディスプレイに表示させる画像の制御と連携して、動作手段による各可動部の動作を制御するようにしたものである。
第11の態様によれば、ディスプレイの動作とロボットの動作を連携させることにより、より多様な感情表現機能を実現することができる。
本発明によれば、中空の筒状部が複数形成された導光部材を用いることで、位置ずれ及び脱落が起こりにくいディスプレイを提供することができる。
図1は、本発明の一実施形態に係るディスプレイ(目状ディスプレイ)を備えたロボットを示す外観斜視図である。 図2は、図1に示すロボットの顔部の正面図である。 図3は、本発明の一実施形態に係る目状ディスプレイを示す分解斜視図である。 図4は、本発明の一実施形態に係る目状ディスプレイを示す正面図及び断面図である。 図5Aは、目状ディスプレイの別の実施例(多角面)を示す分解斜視図である。 図5Bは、目状ディスプレイの別の実施例(円柱面)を示す分解斜視図である。 図5Cは、目状ディスプレイの別の実施例(任意の曲面)を示す分解斜視図である。 図6は、本発明の一実施形態に係る目状ディスプレイを備えたロボットの制御系を示すブロック図である。 図7は、本発明の一実施形態に係る目状ディスプレイを備えたロボットの制御方法を示すフローチャートである。 図8Aは、本発明の一実施形態に係る目状ディスプレイの導光部材の製造工程を示す断面図である。 図8Bは、本発明の一実施形態に係る目状ディスプレイの導光部材の製造工程を示す断面図である。 図8Cは、本発明の一実施形態に係る目状ディスプレイの導光部材の製造工程を示す断面図である。 図9は、本発明の一実施形態に係る目状ディスプレイの導光部材の製造工程を示すフローチャートである。 図10Aは、落下試験用の導光部材を示す平面図及び側面図である。 図10Bは、落下試験用の導光部材の筒状部を拡大して示す平面図である。
以下、添付図面に従って本発明に係るディスプレイ(目状ディスプレイ)及びロボットの実施の形態について説明する。
[ロボットの全体構成]
図1は、本発明の一実施形態に係る目状ディスプレイを備えたロボットを示す外観斜視図であり、図2は、図1に示すロボットの顔部の正面図である。
図1に示すように、本実施形態に係るロボット100は、頭部102、胴部108、腕部110及び脚部116を備えており、オペレータの指示により、又は予め用意されたプログラムに従って、目的とする作業を自動的に行うことができる装置である。なお、ロボット100の具体的な形態は、本実施形態に限定されるものではない。顔部を有するロボットであれば、例えば、頭部のみ、頭部と胴部のみ、頭部と腕部のみのロボットにも、本実施形態の目状ディスプレイを適用することが可能である。
なお、ロボット100の各部を作成するための材料は特に限定されないが、頭部102、胴部108、腕部110、脚部116等のオペレータが触れる可能性が高い場所は、耐久性が高く、軟質の素材(例えば、樹脂、軟質ゴム(一例で硬度70以下))で作成されることが好ましい。
頭部102は、胴部108の上端部に取り付けられる。頭部102の上端部(頭頂部)には、アンテナ104が取り付けられており、無線による通信が可能となっている。
図2に示すように、頭部102の前面(以下、顔部という。)には、目状ディスプレイ10及び口部106が取り付けられている。
目状ディスプレイ10は、顔部の左右の対称の位置にある取付位置に取り付けられる。目状ディスプレイ10には、目の画像が表示可能となっている。なお、目状ディスプレイ10については、図3等を用いて後述する。
口部106には、発光部(例えば、発光ダイオード)が埋め込まれており、目状ディスプレイ10、頭部102、腕部110及び脚部116の動作に合わせた口を示す画像を表示することが可能となっている。
胴部108の上端部と下端部の間には、腕部駆動軸112が左右の対称の位置に1つずつ設けられており、腕部110は、左右の腕部駆動軸112にそれぞれ取り付けられる。腕部駆動軸112は、モータ(図6の動作制御部162の一部)に取り付けられており、腕部110は、腕部駆動軸112を回転軸として回転可能となっている。さらに、腕部110は、関節部110Aを支点として回動可能となっている。腕部110の先端には、指部を備えた手部110Bが設けられており、手部110Bにより物を把持したり、指部を用いて機器を操作したり、プログラムに定められた作業をすることが可能となっている。
胴部108の下端部には、脚部駆動軸118が左右の対称の位置に1つずつ設けられており、脚部116は、脚部駆動軸118にそれぞれ取り付けられる。脚部駆動軸118は、モータに取り付けられている。脚部116は、脚部駆動軸118を回転軸として回転可能な車輪状であり、ロボット100は、脚部116を回転させることにより、前進及び後退することができる。また、ロボット100の胴部108には、脚部116の胴部108に対する角度を変更するためのステアリング機構(図6の動作制御部162の一部)が内蔵されている。左右の脚部116は、ロボット100が顔部の正面方向(X方向)に前進又は後退する場合には平行になっているが、このステアリング機構により、脚部116の胴部108に対する角度を変更することにより、ロボット100の前進及び後退の方向を変更することが可能となっている。これにより、ロボット100は、前後左右に移動可能となっている。
なお、口部106、腕部110及び脚部116等の構成は、上記の実施形態に限定されるものではない。口部106には、発光部に加えて、又は発光部に代えて、例えば、口部106に可動部を設けてもよい。また、刺股状の手部110Bに代えて5本指の手部を設けてもよいし、車輪状の脚部116に代えて2足歩行用の脚部を設けてもよい。また、腕部110及び脚部116の数は、2に限定されるものではない。
[目状ディスプレイ]
図3は、本発明の一実施形態に係る目状ディスプレイを示す分解斜視図であり、図4の上部はその平面図であり、図4の下部はその断面図である。
図3に示すように、本実施形態に係る目状ディスプレイ10は、導光部材12と、画像表示装置30とを備えている。なお、以下の説明では、導光部材12の延びる方向をz方向とする3次元直交座標系を用いて説明する。
画像表示装置30の表示画面32は平面状である。画像表示装置30としては、例えば、液晶ディスプレイのようにバックライトを備えたもの、又は有機EL(electroluminescence)ディスプレイ又は無機ELディスプレイのように自発光機能を有するものが用いられる。
導光部材12は、表示画面32から出射した光を、ロボット100の正面側に導光(伝送)するための部材である。導光部材12は円柱状であり、その直径は、一例で1〜10cmのオーダの範囲で、その高さH1は、一例で1〜10cmのオーダの範囲で選択可能となっている。導光部材12(部材本体)の材料としては、例えば、樹脂(合成樹脂(いわゆるプラスチック)を含む。)又はゴムを用いることができる。樹脂の種類としては、例えば、ポリアミド、ポリオキシエチレン、ポリエステル、ポリエチレンテレフタレート、ポリイミド、ポリスチレン、ポリメチルメタクリレート、ポリカーボネート、ポリプロピレン、ABS樹脂(アクリロニトリル(Acrylonitrile)、ブタジエン(Butadiene)、スチレン(Styrene)共重合合成樹脂)等を用いることができる。図3に示すように、導光部材12の下面(第1の面、入射面)14は平面形状であり、上面(第2の面、出射面)16は非平面形状である。導光部材12の下面14は、平面状の表示画面32に取り付けられる。画像表示装置30は、頭部102の正面(顔部)の左右2か所に設けられた凹部102Aの底部に取り付けられる。導光部材12の高さ(z方向の長さ)H1は、凹部102Aの深さD2より大きく、導光部材12の上面16は、凹部102Aからロボット100の正面側に露出する。なお、H1≦D2としてもよい。
なお、液晶ディスプレイあるいは有機EL又は無機ELディスプレイを、単独で用いる場合、一般に広視野角が求められる。しかしながら、本実施形態では、画像表示装置30からの光は導光部材12に導かれ、導光部材12の中は直進する光の透過率が高い。このため、本実施形態に係る画像表示装置30の表示画面32については、視野角が狭い(一例で60°)ことが好ましい。したがって、視野角が狭い表示画面32を用いるか、表示画面32に視野角を狭めるためのフィルム等の部材(例えば、直線上の偏光板が設けられた積層フィルム)を設けることが好ましい。
導光部材12には、下面14から上面16に(z方向に沿って)延びる中空の筒状部18が複数形成される。筒状部18の直径は、一例で1μm〜1mmのオーダの範囲で選択可能となっている。なお、図4では、簡単のため、筒状部18を1つだけ示しているが、筒状部18は、実際には複数形成される。以下、筒状部18の下面14側の開口部(第1の開口部)を18Aとし、筒状部18の上面16側の開口部(第2の開口部)を18Bとする。なお、第1の開口部18A及び第2の開口部18Bの平面形状を円形としているが、本実施形態はこれに限定されるものではない。例えば、第1の開口部18A及び第2の開口部18Bの平面形状は多角形であってもよい。
図4に示すように、本実施形態に係る目状ディスプレイ10では、画像表示装置30の表示画面32から出力された光L1は、導光部材12の下面14側の第1の開口部18Aに入射する。各筒状部18の内面には、反射膜が設けられている。ここで、筒状部18の内面の反射膜の内部反射率は、一例で30%以上であることが好ましい。第1の開口部18Aから入射した光L1は、筒状部18の内部で反射された後、第2の開口部18Bから出射する。これにより、表示画面32に出力された画像が導光部材12を介して非球面の上面16に投影されるので、オペレータは、立体感があり、より生物の目に近い目状ディスプレイにより画像を視認することが可能になる。
本実施形態によれば、単位体積当たりの質量が小さい材料からなり、中空の筒状部18が複数形成された導光部材12を用いることで、位置ずれ及び脱落が起こりにくい目状ディスプレイ10を提供することができる。さらに、本実施形態によれば、非球面の目状ディスプレイ10を実現し、かつ、ロボット100の軽量化を図ることができるので、目状ディスプレイの重量によってロボット100の動作が阻害されるのを防止することができる。
なお、図4に示す例では、導光部材12と凹部102Aの間に隙間が設けられているが、導光部材12と凹部102Aとの間に隙間が生じないようにしてもよい。
また、第1の面も非球面(例えば、平面、多角面、円柱面及び円錐面のうちの少なくとも1つ)としてもよい。また、凹部102Aを設けずに、目状ディスプレイ10を頭部102の表面に直接取り付けるようにしてもよい。また、導光部材12は、表示画面32に直接取り付ける(貼り付ける)のではなく、導光部材12と表示画面32との間に、光を透過する部材を挟むようにしてもよい。また、下面14も非球面(例えば、曲面、多角面及び階段状の面のうちの少なくとも1つの面形状の部分を含む。)としてもよい。
[導光部材の上面]
次に、導光部材12の上面16に施す処理について説明する。
導光部材12の上面16には、光を散乱するための光散乱部材(光散乱膜)を設けることが可能である。この光散乱部材は、例えば、導光部材12の上面16に光を透過する層(例えば、可視光を透過する樹脂の層)を設けて、この層の表面に,光を透過する樹脂又はポリマーに光を散乱させる粒子(酸化チタン(TiO))を分散させたものをコーティングするか、又は導光部材12に練り込むことによって形成することができる。また、光散乱部材としては、表面に微細な凹凸を設けた部材(膜)を用いてもよい。これにより、出射光を散乱させることができるので、視野角を広げることができる。
また、導光部材12の下面14及び上面16には、それぞれ入射光及び出射光を拡散するための拡散部材を設けることが可能である。この光拡散部材は、上記光散乱部材と同様にして形成することができる。これにより、入射光及び出射光を拡散させることができるので、視野角を広げることができる。なお、この拡散部材は、導光部材12の下面14及び上面16のいずれか一方に設けるようにしてもよい。
また、導光部材12の上面16には、タッチセンサ(上面16(第2の面)側における操作部材の動作を検知するセンサの一例)を設けて、オペレータからの操作入力を受け付けるようにしてもよい。このタッチセンサを用いたロボット100の操作方法については、図6及び図7を用いて後述する。
また、導光部材12の上面16には、反射防止膜を設けることも可能である。反射防止膜としては、例えば、導光部材12の上面16に光を透過する層(例えば、可視光を透過する樹脂の層)を設けて、この層の表面に、フッ化マグネシウム(MgF)コーティングを施すことにより形成することができる。ここで、この反射防止膜における反射率は5%以下であることが好ましい。これにより、導光部材12の上面16において、外部の光源(例えば、電灯)の映り込みによる表面反射を防止することができるので、上面16の画像の視認性を高めることができる。なお、反射防止膜は、タッチセンサの表面に施してもよい。
なお、図3及び図4に示す例では、導光部材12は円柱状であり、導光部材12の上面16は、上(顔部の正面側、+z方向)に凸の2次曲線を導光部材12の中心軸AX1の回りに回転させた回転2次曲面(例えば、球面、回転放物面)となっているが、本発明はこれに限定されるものではない。例えば、導光部材12の形状は、図5A及び図5Bに示すように、4角柱であってもよいし、多角柱又は錐台(円錐台又は角錐台)であってもよい。また、導光部材12の上面16は、図5Aに示すように、複数の平面が組み合わされた多角面であってもよいし、図5Bに示すように、円柱面又は断面C字状の面であってもよい。また、導光部材12の上面16は、図5Cに示すように、任意の曲面(例えば、2次曲面)であってもよい。また、導光部材12の上面16は、下(−z方向)に凸の2次曲線を中心軸AX1の周りに回転させた回転2次曲面であってもよい。
[筒状部]
次に、筒状部18について説明する。なお、以下の説明では、3次元直交座標系の原点Oが導光部材12の中心軸AX1上にあるとして説明する。
導光部材12の下面14が平面であり、導光部材12の上面16は非平面であるため、導光部材12の平面位置(xy平面状の位置)によって第1の開口部18Aと第2の開口部18Bの間の距離H2が異なる。図3及び図4に示す例では、上面16は、中心軸AX1を回転中心とした回転2次曲面であるため、xy平面において、筒状部18の位置が導光部材12の中心に近いほど((x+y1/2の値が小さいほど)、光の伝播経路の長さH2の値が大きくなり、画像が暗くなってしまう。
このため、xy平面において、筒状部18の位置が導光部材12の中心に近いほど((x+y1/2の値が小さいほど、H2の値が大きい領域ほど)、(1)筒状部18の反射面の反射率を高くする、(2)筒状部18の径を太くする、(3)筒状部18の単位面積当たりの数を多くする、又は(4)上面16に設けるフィルタ(可視光を透過するフィルタ(膜))における光の透過率を高くすることが好ましい。また、(5)筒状部18の少なくとも一部について、第1の開口部18Aの径が第2の開口部18Bの径よりも大きい先細形状(例えば、筒状部18の少なくとも一部をテーパ形状とした形状)とし、xy平面において、筒状部18の位置が導光部材12の中心に近いほど((x+y1/2の値が小さいほど、H2の値が大きい領域ほど)、先細形状に加工した筒状部18の数の単位面積当たりの数(割合)を少なくするようにしてもよい。また、(1)から(5)の組み合わせにより、筒状部18を設計してもよい。これにより、H2の値が大きく、光L1の伝播経路が長い位置の画像が、伝播経路が短い場所と比較して暗くなることを防止することができ、画像の明るさを導光部材12の位置によらず均等にすることができる。
なお、本実施形態では、筒状部18の配置、配置密度又は形状を変えることにより、同じ明度の画像に対して、導光部材12の上面16における光量が不均一になるのを防止するようにしたが、本発明はこれに限定されるものではない。例えば、表示画面32の位置ごとに対向する筒状部18のH2の値のデータを作成しておき、表示画面32の位置ごとに、光量を調整する制御(例えば、同じ明度の画像に対して、H2の値が大きい領域ほど、出力光量を大きくする)を行うようにしてもよい。
なお、筒状部18は、導光部材12の平面状で、不均一な間隔(非等間隔)で配置されることが好ましい。例えば、筒状部18は、xy平面において、ペンローズタイルの頂点の位置に配置されるようにしてもよい。また、筒状部18は、フィボナッチ数の間隔で配置されるようにしてもよい。これにより、第2の開口部18Bが等間隔で配置された場合に、等間隔の第2の開口部18Bから出射する光L1の干渉によって生じ得るモアレの発生を防止することができる。
また、筒状部18が、所謂フィボナッチの長方形の頂点に配置されるようにしてもよい。例えば、面積のより大きい長方形(すなわち、頂点の間隔がより広い長方形)が、H2の値がより小さい領域(すなわち、光の伝播経路が短い領域)に配置され、面積のより小さい長方形(すなわち、頂点の間隔がより狭い長方形)が、H2の値がより大きい領域(すなわち、光の伝播経路が長い領域)に配置されるようにして、筒状部18がその頂点の位置に配置されるようにしてもよい。これにより、光の伝播経路が短い領域ほど、筒状部18の単位面積当たりの数を減らし、かつ、筒状部18を非等間隔で配置することができるので、導光部材12の上面16において、明度が低い領域が生じるのを防止し、かつ、モアレの発生を防止することができる。
[ロボット及び目状ディスプレイの制御系]
図6は、本発明の一実施形態に係る目状ディスプレイを備えたロボットの制御系を示すブロック図である。
図6に示すように、本実施形態に係るロボット100は、制御部150、操作部152、メモリ154、電源回路156、画像メモリ158、出力制御部160、動作制御部162、通信インターフェース(I/F)164、音声入出力部166及び画像表示装置30を備える。画像表示装置30は、ディスプレイ制御部34、ディスプレイ記憶部36及び通信インターフェース(I/F)38を備えている。ロボット100の制御部150と、画像表示装置30とは、I/F164及びI/F38を介して通信可能に接続されている。
制御部(制御手段)150は、本実施形態に係るロボット100の各部を統括制御する演算装置であり、操作部152及びタッチセンサ50からの操作入力、又はネットワークNWを介してアンテナ104によって受信された外部機器300(例えば、無線式のコントローラ、パーソナルコンピュータ等)からの指示入力に応じて、ロボット100の各部に制御信号を送信し、ロボット100の各部の動作を制御する。
操作部152は、ユーザからの操作入力を受け付けるための手段であり、例えば、電源スイッチ、操作スイッチ、文字入力のためのキーボード等を含んでいる。なお、操作部152は、ロボット100に内蔵されていてもよいし、有線接続(例えば、USB(Universal Serial Bus))、無線接続(Bluetooth(登録商標))等により接続可能となってもよい。
メモリ154は、制御部150がロボット100の動作に係る演算を行うために使用するプログラムが格納される記憶装置である。プログラムとしては、例えば、操作入力に応じて、頭部102、腕部110及び脚部116の動作を制御するための動作制御プログラムと、目状ディスプレイ10の表示内容を制御するための表示制御プログラムが含まれる。
電源回路156は、ロボット100の各部に電力を供給するための装置であり、充電式のバッテリを含んでいる。
画像メモリ158は、画像表示装置30に出力するための目の画像を含む画像情報と、文字情報とが格納されている。制御部150は、これらの画像情報及び文字情報を目状ディスプレイ10に表示させることが可能となっている。なお、画像メモリ158は、画像表示装置30に設けられていてもよい。
メモリ154及び画像メモリ158としては、例えば、HDD(Hard Disk Drive)等の磁気ディスクを含む装置、eMMC(embedded Multi Media Card)、SSD(Solid State Drive)等のフラッシュメモリを含む装置等を用いることができる。
出力制御部(表示制御手段)160は、制御部150からの指示に応じて、画像メモリ158から画像を読み出して、画像表示装置30に出力する。
動作制御部(動作手段)162は、腕部110及び脚部116を駆動するためのモータと、脚部116を駆動するためのステアリング機構とを備えており、制御部150からの制御信号に従って各部の動作を制御する。
音声入出力部166は、例えば、音声を出力するためのスピーカと、音声を収集するためのマイクロフォンとを備えている。音声入出力部166は、音声による指示入力を受け付けたり、制御部150からの制御信号に応じて音声を出力することが可能となっている。なお、音声の出力と連携して、口部106の発光部を発光又は明滅させるようにしてもよい。
ディスプレイ制御部(表示制御手段)34は、画像表示装置30の各部の動作を統括制御する演算装置であり、制御部150からの制御信号に従って表示画面32に出力される画像の制御(表示画像の変更、明度の調整等)を行う。
ディスプレイ記憶部36は、ディスプレイ制御部34が実行する制御プログラムが格納される不揮発性メモリと、出力制御部160により出力された画像を一時記憶するバッファメモリとを備えている。
タッチセンサ50(上面16(第2の面)側における操作部材の動作を検知するセンサの一例)は、目状ディスプレイ10の導光部材12の上面16に設けられている。タッチセンサ50は、例えば、静電容量型のものを用いることができる。静電容量型のタッチセンサ50では、オペレータの手、指又は先端部に導電性を有する導電性部材が取り付けられたペン等(以下、手、指及びペン等を「導電性操作部材」と総称する。)がタッチセンサ50に接触するか又は近づくと、タッチセンサ50の表面の導電膜と導電性操作部材との間の静電容量が変化し、タッチセンサ50は、この静電容量の変化を検知することにより、オペレータの操作の内容(例えば、タッチされた位置、スワイプ動作)を検知する。タッチセンサ50により操作入力が検知されると、その操作入力内容は、制御部150に伝達される。制御部150は、タッチセンサ50により検知された操作入力の内容に従って、ロボット100の各部を制御する。
タッチセンサ50におけるタッチ操作の検知方式としては、静電容量型以外の方式、例えば、抵抗膜方式等を用いることも可能である。抵抗膜方式のように圧力の負荷を検知する方式(感圧式)のタッチセンサ50を用いる場合、タッチセンサ50は、導光部材12の上面16に設けられていてもよいし、目状ディスプレイ10の奥側(例えば、下面14又は表示画面32)に設けられてもよい。圧力の負荷を検知する方式のタッチセンサ50を目状ディスプレイ10の奥側に設ける場合、導光部材12の上面16がオペレータの指等の操作部材(非導電性の操作部材を含む。)で押圧されると、その押圧による圧力が導光部材12を介してタッチセンサ50に伝達され、制御部150は、この圧力を検知することにより、オペレータによる操作入力内容を認識することができる。
なお、上面16(第2の面)側における操作部材の動作を検知するセンサは、タッチセンサに限定されるものではない。例えば、静電容量型の近接センサを用いることも可能である。静電容量型の近接センサは、近接センサ近傍の検出領域への導電性操作部材の侵入、及びこの検出領域からの導電性操作部材の離脱を検出するものである。静電容量型の近接センサは、導光部材12の上面16の周辺部に設けることが可能である。静電容量型の近接センサは、導光部材12の上面16の表面又は近傍に設けられた電極を備える。この電極は、導光部材12の上面16の周囲を取り囲むように配置される。なお、本実施形態のように上面16が上に凸の形状の場合、上面16の周囲に加えて、上面16の頂点又はその近傍に設けてもよい。静電容量型の近接センサでは、この電極により、導光部材12の上面16の近傍に設定された検出領域に電界を発生させ、この検出領域に導電性操作部材又は誘電体からなる操作部材が侵入することによって生じる電極の静電容量の変化を電気信号に変換して物体の接近を検出する。静電容量型の近接センサにおける検出領域は、導光部材12の上面16からの距離が、一例で1mmから1cmのオーダの領域又は約10cmの領域に設定される。また、静電容量型の近接センサにおける検出領域は、導光部材12のサイズに応じて設定されるようにしてもよく、例えば、導光部材12の直径の10分の1以下の領域とすることも可能である。また、静電容量型の近接センサに設けられたボリューム(可変抵抗器)により電界の強度を調整することで、この検出領域を調整可能にしてもよい。
図7は、本発明の一実施形態に係る目状ディスプレイを備えたロボットの制御方法を示すフローチャートである。
まず、ロボット100の電源が投入されて起動すると、制御部150は、動作制御プログラムに従って、動作制御部162に制御信号を出力し、ロボット100の各部に起動時の初期動作(例えば、腕部110を振り上げる、脚部116により前後に動く、音声を発する、各部を合わせて動作して挨拶をする等)を実行させる。表示制御プログラムに従って画像メモリ158から目の画像(例えば、閉じていた目を開く画像等)を読み出して、I/F164及びI/F38を介して画像表示装置30に出力する。ディスプレイ制御部34は、I/F38を介して入力された目の画像を表示画面32に出力する。これにより、表示画面32から出力された画像を示す光が導光部材12の筒状部18を通って上面16に伝播し、オペレータは、導光部材12の上面16の画像を視認することが可能になる(ステップS10)。そして、制御部150は、表示制御プログラムに従って、時間の経過に応じて、又はロボット100の動作と連携して、画像表示装置30に目の画像を出力して表示させる。これにより、ロボット100の動作全体を通じて、目状ディスプレイ10の表示内容と連携した豊かな感情表現を実現することができる。
次に、導光部材12の上面16のタッチセンサ50により、オペレータのタッチ操作が検知されると(ステップS12のYes)、ディスプレイ制御部34は、このタッチ操作の内容(例えば、タッチ回数、タッチの位置、強度等)の情報を示す信号制御部150に出力する。制御部150は、このタッチ操作の内容を示す信号を受け付けると、表示制御プログラムに従って、このタッチ操作の内容に応じた画像又は情報を画像メモリ158から読み出し、又は、ネットワークを介して、このタッチ操作に応じた画像又は情報を取得して、画像表示装置30に出力し、表示画面32に表示させる(ステップS14)。
そして、操作部152、タッチセンサ50又は外部からの信号入力により、表示の終了指示(例えば、電源オフの指示)が検知されると(ステップS16のYes)、処理が終了する。
[目状ディスプレイの導光部材の製造方法]
次に、本発明の一実施形態に係る目状ディスプレイの導光部材の製造方法について説明する。
図8Aから図8Cは、本発明の一実施形態に係る目状ディスプレイの導光部材の製造工程を示す断面図であり、図9は、この製造工程を示すフローチャートである。
まず、導光部材12の材料12Aの切り出し、チャンバ(不図示)内への載置(図8A)等の準備工程が行われる(ステップS30)。
次に、レーザ光により、材料12Aに筒状部18が形成される(ステップS32)。図8Bは、レーザ加工装置による筒状部18の形成工程の概要を示している。
本実施形態に係るレーザ加工装置は、制御装置200、操作部202、メモリ204、レーザ光出力装置206及び送気装置208を備えている。
制御装置200は、レーザ加工装置の各部を制御する演算装置であり、操作部202からの操作入力に応じて、レーザ光の出力制御、レーザ光出力装置206によるレーザ照射位置の位置制御及び送気装置208の送気口の位置制御を行う。
操作部202は、レーザ加工装置のオペレータからの操作入力を受け付けるための装置であり、例えば、各種のパラメータ(例えば、樹脂材料12Aの種類、大きさ、筒状部18のサイズ及び位置、導光部材12の完成形状等)の設定を受け付ける。
メモリ204は、制御装置200の演算のためのプログラムが記憶される記憶装置と、操作部202からの操作内容を一時記憶するためのバッファメモリとを含んでいる。
制御装置200は、樹脂材料12Aの種類及び大きさ、筒状部18のサイズの設定に応じて、例えば、筒状部18の形状、配置等の演算を行い、レーザ光出力装置206及び送気装置の208の制御を行う。
レーザ光出力装置206は、制御装置200からの制御信号に従ってレーザ光LB(例えば、炭酸ガスレーザ(波長10.6μm))を出力し、材料12Aに筒状部18を形成する。
送気装置208は、レーザ光の照射位置及びその周囲にガスB1(例えば、窒素(N)、アルゴン(Ar)等)を吹き付けることにより、レーザ光によって溶融された材料12Aを除去する。
レーザ光出力装置206を移動させながら、材料12Aにレーザ光を照射することにより、材料12Aに複数の筒状部18が形成される。
次に、筒状部18の内面に反射面が形成される(ステップS34)。この反射面は、例えば、筒状部18が形成された材料を、例えば、反射面の材料(例えば、フッ素系樹脂等)の中に浸潤させることによって作成される。
次に、筒状部18が形成された材料12Aに対して、バリ取り、研削等の加工が施されて、材料12Aが所定の形状に成形される。ステップS36では、例えば、不図示の研削手段(例えば、ブレード)により、材料12Aが研削加工される。
そして、上記の光散乱部材、光拡散部材、反射防止膜等の形成、タッチセンサの取付等の処理が行われると。図8Cに示すように、導光部材12が完成する(ステップS38)。その後、画像表示装置30が取り付けられて、配線の取付等がなされることにより、目状ディスプレイ10が完成する。
本実施形態によれば、単位体積当たりの質量が比較的小さい材料に対してレーザ光等を用いることにより、ロボット100の動作への影響が少ない軽量な導光部材12を容易に作成することが可能になる。
なお、本実施形態では、筒状部18の内面に反射面を形成した後に、例えば、可視光を透過することが可能な材料(例えば、気体(例えば、N等)、液体、ゲル等)を充填する工程を設けてもよい。また、導光部材12の上面16は、黒色に塗装するようにしてもよい。
また、導光部材12の単位面積当たりの質量(密度)は、一例で1.5g/cm以下であり、好ましくは1.0g/cm以下、更に好ましくは0.90g/cm以下である。導光部材12の密度を上記の範囲内にすることにより、目状ディスプレイ10の位置ずれ及び脱落をより確実に防止することが可能になる。ガラスファイバの密度は一例で2.2〜2.5g/cmであるのに対し、樹脂(合成樹脂(いわゆるプラスチック)を含む。)の密度は一例で0.90〜1.5g/cmである。導光部材12における開口率(単位面積当たりの開口部の占める割合)を0.50とした場合、本実施形態に係る樹脂製の導光部材12の密度は、0.45〜0.75g/cmとなり、上記の密度の範囲に収まる。このような導光部材12を用いることにより、ロボット100の動作中に目状ディスプレイ10が脱落することを防止することができる。
[ストレステスト]
次に、本実施形態に係る導光部材の製造方法により作成した導光部材に対するストレステスト(落下試験)について説明する。図10Aは、落下試験用の導光部材を示す平面図(上部)及び側面図(下部)であり、図10Bは、落下試験用の導光部材の筒状部を拡大して示す平面図である。
図10Aに示す導光部材12は、合成樹脂(いわゆるプラスチック)製であり、直径R12=50mm、厚さ3.0mmの円柱形状である。導光部材12の中心部の直径RA=40mmのエリアA12に、直径R18=0.60mmの円柱状の貫通穴(筒状部18)を作成した。筒状部18は、炭酸ガスレーザによって、横方向の間隔P1及び縦方向の間隔P2をいずれも1.0mmとして作成した。
次に、厚さ3.0mmで、中央に直径50mmの円形の穴404が形成された板400を用意し、導光部材12をこの穴404に嵌めた。板400の両面に、穴404の円周上の3箇所に、つめ402を取り付けて、導光部材12をこのつめ402によって固定した。つめ402の大きさ(穴404側に突き出した部分の長さ)P402は1.0mmであった。
比較例として、本実施形態に係る導光部材12と直径及び厚さが等しいガラスファイバ製の導光部材(直径50mm、厚さ3.0mm)を作成し、本実施形態に係る導光部材12と同様に、板400につめ402を用いて固定した。
本実施形態に係る導光部材12を嵌め込んだ板400と、ガラスファイバ製の導光部材(比較例)を嵌め込んだ板400に対して落下試験を行った。この落下試験では、本実施形態に係る導光部材12を嵌め込んだ板400と、ガラスファイバ製の導光部材(比較例)を嵌め込んだ板400を、それぞれ1.0mの高さから10回落下(自由落下)させた。この落下試験は、IEC 60068-2-31:2008(IEC:International Electrotechnical Commission)に準拠して行った。
この結果、ガラスファイバ製の導光部材は板400から脱落したが、本実施形態に係る導光部材12は板400に固定されたままであった。なお、本実施形態に係る導光部材12の密度は、0.85g/cmであり、ガラスファイバ製の導光部材の密度は2.2g/cmであった。
このように、目状ディスプレイ10において、密度の小さい(0.90g/cm以下)材料で作成された導光部材12を用いることにより、ロボット100の動作中に目状ディスプレイ10が脱落することを防止することができる。
10 目状ディスプレイ
12 導光部材
12A 導光部材の材料(樹脂材料)
14 下面(第1の面)
16 上面(第2の面)
18 筒状部
18A 第1の開口部
18B 第2の開口部
30 画像表示装置
32 表示画面
34 ディスプレイ制御部
36 ディスプレイ記憶部
38 通信インターフェース(I/F)
50 タッチセンサ
100 ロボット
102 頭部
102A 凹部
104 アンテナ
106 口部
108 胴部
110 腕部
110A 関節部
110B 手部
112 腕部駆動軸
116 脚部
118 脚部駆動軸
150 制御部
152 操作部
154 メモリ
156 電源回路
158 画像メモリ
160 出力制御部
162 動作制御部
164 通信インターフェース(I/F)
166 音声入出力部166
200 制御装置
202 操作部
204 メモリ
206 レーザ光出力装置
208 送気装置
300 外部機器
AX1 中心軸
B1 ガス
L1 光
LB レーザ光
NW ネットワーク
S10〜S16 目状ディスプレイにおける表示制御工程
S30〜S38 導光部材の製造工程
400 板
402 つめ
404 穴

Claims (11)

  1. 画像を示す光を出力する画面と、少なくとも目の画像を前記画面に出力させる表示制御手段とを有する画像表示装置と、
    導光部材とを備えるディスプレイであって、
    前記導光部材が、
    前記画面に対向して配置された第1の面と、
    前記第1の面に対向して配置された第2の面と、
    前記第1の面の第1の開口部から前記第2の面の第2の開口部に延びる中空の筒状部であって、前記画面から出力されて前記第1の開口部に入射した光を反射して前記第2の開口部から出射させる反射面が内面に形成された筒状部が複数形成されており、前記画面から出力された前記画像を示す光を前記第2の面を介して出力させる部材本体とを備え、
    前記筒状部の第2の面において、前記第2の開口部が不均一な間隔で配置され、かつ、前記筒状部における前記第1の開口部と前記第2の開口部との間の距離の値が大きい領域ほど、前記筒状部の第2の面において、前記筒状部の単位面積当たりの数が多く配置される、
    ディスプレイ。
  2. 前記第1の面が平面であり、
    前記第2の面の少なくとも一部が非平面である、請求項1記載のディスプレイ。
  3. 前記第2の面が、曲面、多角面及び階段状の面のうちの少なくとも1つの面形状の部分を含む請求項1又は2記載のディスプレイ。
  4. 前記第1の面が、平面、多角面、円柱面及び円錐面のうちの少なくとも1つである、請求項1からのいずれか1項記載のディスプレイ。
  5. 前記第1の開口部及び第2の開口部の少なくとも一方に配置され、光を拡散する光拡散部材を更に備える請求項1からのいずれか1項記載のディスプレイ。
  6. 前記第2の面上に配置され、前記第2の面から出射する光を散乱する光散乱部材を更に備える請求項1からのいずれか1項記載のディスプレイ。
  7. 前記表示制御手段は、画像及び文字のうち少なくとも一方を含む情報を前記画面に表示させる、請求項1からのいずれか1項記載のディスプレイ。
  8. 前記第2の面側における操作部材の動作を検知するセンサを更に備え、
    前記表示制御手段は、前記センサによって検出された前記操作部材の動作に応じて前記画面に出力する画像を変更する、請求項1からのいずれか1項記載のディスプレイ。
  9. 顔部と、
    前記顔部の前面の取付位置に取り付けられた請求項1からのいずれか1項記載のディスプレイと、
    前記画像表示装置によって出力される画像を制御する制御手段と、
    を備えるロボット。
  10. 前記取付位置には、前記ディスプレイを取り付けるための凹部が設けられており、
    前記ディスプレイは、前記凹部に取り付けられる、請求項記載のロボット。
  11. 前記顔部を含む頭部が取り付けられた首部と、腕部、胴部及び脚部にそれぞれ設けられた可動部のうちの少なくとも1つを動作させる動作手段を更に備え、
    前記制御手段は、前記ディスプレイに表示させる画像の制御と連携して、前記動作手段による各可動部の動作を制御する、請求項9又は10記載のロボット。
JP2017015820A 2017-01-31 2017-01-31 ディスプレイ及びロボット Active JP6754704B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017015820A JP6754704B2 (ja) 2017-01-31 2017-01-31 ディスプレイ及びロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017015820A JP6754704B2 (ja) 2017-01-31 2017-01-31 ディスプレイ及びロボット

Publications (2)

Publication Number Publication Date
JP2018124399A JP2018124399A (ja) 2018-08-09
JP6754704B2 true JP6754704B2 (ja) 2020-09-16

Family

ID=63109599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017015820A Active JP6754704B2 (ja) 2017-01-31 2017-01-31 ディスプレイ及びロボット

Country Status (1)

Country Link
JP (1) JP6754704B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109940588B (zh) * 2019-03-26 2020-09-08 胚豆智能科技(武汉)有限公司 一种企业用可交互的智能接待机器人的眼睛结构
JP6733065B1 (ja) * 2020-01-21 2020-07-29 株式会社トミーテック 前照灯付模型およびその導光機構
WO2022259595A1 (ja) * 2021-06-10 2022-12-15 ソニーグループ株式会社 介護ロボット

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60203915A (ja) * 1984-03-28 1985-10-15 Matsushita Electric Ind Co Ltd 大型液晶デイスプレイ
JP3277500B2 (ja) * 1999-05-10 2002-04-22 ソニー株式会社 ロボット装置
US6538813B1 (en) * 2000-09-19 2003-03-25 Honeywell International Inc. Display screen with metallized tapered waveguides
JP2002303804A (ja) * 2001-04-06 2002-10-18 Sony Corp 光学拡大部材及び携帯端末装置
JP2003015559A (ja) * 2001-07-03 2003-01-17 Sega Toys:Kk 表示装置及び玩具
JP2003205489A (ja) * 2002-01-08 2003-07-22 Matsushita Electric Ind Co Ltd 人工目およびそれを用いたロボット
KR20040043411A (ko) * 2002-11-18 2004-05-24 삼성전자주식회사 표시장치용 광학 시트, 이의 제조 방법 및 표시장치
JP5147849B2 (ja) * 2007-09-14 2013-02-20 パナソニック株式会社 プロジェクタ
JP4972218B1 (ja) * 2011-08-12 2012-07-11 株式会社バンダイ 動作体玩具
JP6132754B2 (ja) * 2013-12-06 2017-05-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、出力装置、および出力方法

Also Published As

Publication number Publication date
JP2018124399A (ja) 2018-08-09

Similar Documents

Publication Publication Date Title
US11093053B2 (en) Input device
JP6754704B2 (ja) ディスプレイ及びロボット
EP3321777A1 (en) Dragging virtual elements of an augmented and/or virtual reality environment
CN106104426B (zh) 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质
US8678927B2 (en) Game controller on mobile touch-enabled devices
JP5308531B2 (ja) 追加機能性を有する可動トラックパッド
KR102104463B1 (ko) 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들
KR102051180B1 (ko) 텍스처 엔진에 대한 시스템 및 방법
EP1966676B1 (en) Illuminated touchpad
TW201905672A (zh) 具有感測器及觸感之手指戴式裝置
JP2019114270A (ja) 触覚変換を行うためのシステム及び方法
EP3548989A1 (en) Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment
US7817136B2 (en) Dead front mouse
US10489984B2 (en) Virtual reality headset
US20110241832A1 (en) Computer navigation
CN109840022A (zh) 用于根据基于倾斜的输入提供触觉反馈的系统和方法
US10095269B2 (en) Motion control assembly with battery pack
JP2010217938A (ja) データ通信システム
US20240192811A1 (en) Systems With Deformable Controllers
EP3507678B1 (en) 3d haptics for interactive computer systems
WO2024064929A1 (en) Input device
WO2011045786A2 (en) Wearable device for generating input for computerized systems
JP6666954B2 (ja) ゲームコントローラ
US20150049020A1 (en) Devices and methods for electronic pointing device acceleration
JP6736697B2 (ja) 導光部材、ディスプレイ及び導光部材の製造方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200824

R150 Certificate of patent or registration of utility model

Ref document number: 6754704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250