JP7207694B2 - 音声出力装置 - Google Patents

音声出力装置 Download PDF

Info

Publication number
JP7207694B2
JP7207694B2 JP2018163874A JP2018163874A JP7207694B2 JP 7207694 B2 JP7207694 B2 JP 7207694B2 JP 2018163874 A JP2018163874 A JP 2018163874A JP 2018163874 A JP2018163874 A JP 2018163874A JP 7207694 B2 JP7207694 B2 JP 7207694B2
Authority
JP
Japan
Prior art keywords
arm
button
user
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018163874A
Other languages
English (en)
Other versions
JP2020035405A (ja
Inventor
島影圭佑
鶴岡秀樹
宮下恵太
佐野友優
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OTON GLASS INC.
Original Assignee
OTON GLASS INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OTON GLASS INC. filed Critical OTON GLASS INC.
Priority to JP2018163874A priority Critical patent/JP7207694B2/ja
Publication of JP2020035405A publication Critical patent/JP2020035405A/ja
Application granted granted Critical
Publication of JP7207694B2 publication Critical patent/JP7207694B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

特許法第30条第2項適用 BS-TBS 夢の鍵 2018年2月3日
本発明は、音声を出力する音声出力装置に関する。
従来、画像に含まれている文字等を音声出力することによって、視覚障碍者の生活を補助する音声出力装置がある。このような音声出力装置としては、メガネに取り付けられたカメラと、このカメラに有線で接続されたコンピュータと、を有する音声出力装置が特許文献1に開示されている(特許文献1参照)。
国際公開第2014/140800号公報
特許文献1では、コンピュータはカメラが映した画像や文字を音声データに変換し、スピーカから当該変換した音声データに基づいて音声を出力している。ユーザは、音声出力装置を使用する際に、カメラが取り付けられたメガネを掛けると共に、箱型のコンピュータを腰等の体の部位に固定する。
このような腰に音声認識装置を装着するタイプの装置は、操作性が悪いという問題がある。また、頭部にカメラを装着し、カメラとコンピュータとを有線で接続する場合には、コードが煩わしいという問題が一例として挙げられる。
また、腰に箱形のコンピュータを取り付ける場合には、身体の一方にコンピュータの重さがかかってしまう。それ故に、コンピュータが重いとユーザが動きづらくなってしまう。そのため、携帯性の向上のためにコンピュータの軽量化が必要であるという問題が一例として挙げられる。また、このコンピュータの軽量化には非常にコストがかかり、装置が高価になってしまうと言う問題が一例として挙げられる。
本発明は、上記従来の問題点に鑑みてなされたものであり、操作性及び携帯性が高くかつ安価な音声認識出力装置を提供することを目的とする。
かかる課題を解決するため、本発明の音声出力装置は、基部及び前記基部から同一方向に伸長する第1の腕部及び第2の腕部を有しており、ユーザの首に掛止される携行部材と、撮像した画像に含まれる文字に基づいて音声データを生成する音声データ生成手段と、前記音声データに基づいて音声を出力する出力手段と、前記携行部材の前記第1の腕部及び前記第2の腕部のうち少なくとも一方に搭載され前記出力手段による前記音声の出力の態様に関する操作を受け付ける操作受付手段と、を有することを特徴とする。
また、このような構成の場合、前記ユーザの頭部に装着可能な保持手段と、前記保持手段に保持されている前記画像を撮像する撮像手段と、前記ユーザの頭部の右側部又は左側部に位置するように前記保持手段に保持され、かつ前記撮像手段に対する撮像の指示の入力を受け付ける撮像指示入力手段と、を有し、前記操作受付手段は、前記第1の腕部及び前記第2の腕部のうち前記撮像指示入力手段からみて近位の腕部に設けられていることが好ましい。
本発明の音声出力装置によれば、ユーザは、携行部材を首に掛ける態様で音声出力装置を装着することができる。このため、箱型のコンピュータを持ち歩くことなく音声出力装置を移動させることが可能となる。それゆえ、音声出力装置の携帯性の向上を図ることが可能となる。
また、携行部材は、例えば、ユーザの首に掛ける態様で音声出力装置を装着することができるため、一定の大きさを維持しつつ、重量を第1の腕部と第2の腕部に分散させることが可能となる。すなわち、携行部材の小型化を図る必要がないため、安価な音声認識出力装置を提供することが可能となる。
さらに、第1の腕部及び第2の腕部のうち少なくとも一方に操作受付手段が搭載されることにより、ユーザの手元で操作受付手段の操作を行うことが可能となる。それゆえ、音声出力装置の操作性の向上を図ることが可能となる。
また、本発明の携行部材は、基部及び前記基部から同一方向に伸長する第1の腕部及び第2の腕部を有しており、ユーザの首に掛止されるハウジングと、画像を外部に送信する送信手段と、前記画像に基づいて生成された音声データを受信する受信手段と、前記音声データに基づいて音声を出力する出力手段と、前記ハウジングの前記第1の腕部及び前記第2の腕部のうち少なくとも一方に搭載され前記音声の出力の態様に関する操作を受け付ける操作受付手段と、前記ユーザの頭部に装着可能な保持手段と、前記保持手段に保持されている前記画像を撮像する撮像手段と、前記ユーザの頭部の右側部又は左側部に位置するように前記保持手段に保持され、かつ前記撮像手段に対する撮像の指示の入力を受け付ける撮像指示入力手段と、を有し、前記操作受付手段は、前記第1の腕部及び前記第2の腕部のうち前記撮像指示入力手段からみて近位の腕部に設けられていることを特徴とする。
実施例1に係る音声出力装置をユーザが使用した態様を示す説明図である。 図1の携行部材の斜視図である。 図1の携行部材の斜視図である。 図1の携行部材の斜視図である。 図1の携行部材の斜視図である。 図2Aの携行部材に配された操作ボタンの拡大図である。 図2Aの携行部材に配された操作ボタンの拡大図である。 図2Aの携行部材に配された操作ボタンの拡大図である。 図2Aの携行部材に配された操作ボタンの拡大図である。 実施例1に係る音声出力装置をユーザが使用した態様を示す説明図である。 実施例1に係る音声出力装置の操作態様を示す説明図である。 実施例1に係る音声出力装置の操作態様を示す説明図である。 図1の撮像装置のコントロールユニットの機能ブロックを示すブロック図である。 図1の携行部材のコントロールユニットの機能ブロックを示すブロック図である。 実施例1に係る音声出力装置の音声出力処理を示すフロー図である。 図1の撮像装置による撮像処理を示すフロー図である。 図1の携行部材による音声データ生成処理を示すフロー図である。 実施例2に係る音声出力装置に接続されているサーバの機能ブロックを示すブロック図である。 図13のサーバによる音声データ生成処理を示すフロー図である。
以下、図面を参照しながら、本発明の実施の形態についてさらに詳しく説明する。しかし、これらを適宜改変し、組み合わせてもよい。また、以下の説明及び添付図面において、実質的に同一又は等価な部分には同一の参照符を付して説明する。
図1は、実施例1に係る音声出力装置10をユーザUが使用した態様を示している。図1に示すように、音声出力装置10は、撮像装置であるカメラ20によって撮像された画像に基づいて音声を出力する。
カメラ20は、ユーザの頭部に装着可能な保持手段としてのメガネEGに搭載されている。具体的には、メガネEGは、ユーザUの右目を覆う右レンズRL及びユーザUの左目を覆う左レンズLLを支持するフレームFRを含む。カメラ20は、メガネEGの左レンズLL側のフレームFRに搭載されている。言い換えれば、カメラ20は、ユーザUの頭部の左側部に位置するようにメガネEGに保持されている。
尚、カメラ20は、メガネEGに対して容易に着脱可能なアタッチメント介して搭載されていてもよいし、ボルトやねじ等の締結部材によってフレームFRに締結されていてもよい。また、カメラ20は、ユーザUの頭部の右側部に位置するようにメガネEGに保持されていてもよい。
カメラ20は、ユーザUの周囲を撮像する。言い換えれば、カメラ20は、メガネEGの周囲を撮像する。カメラ20は、カメラ20に対する撮像を指示の入力を受け付けるシャッターボタンSBを含む。言い換えれば、シャッターボタンSBは、カメラ20に対する撮像の指示の入力を受け付ける撮像指示入力手段として機能する。シャッターボタンSBは、カメラ20のボディから垂直方向に向かって離れるように突出して設けられている。なお、本実施例においては、シャッターボタンSBはカメラ20のボディから垂直方向下側または地面側に向かって離れるように突出して設けられている。これは本実施例においてはユーザUが利き腕にて操作部であるボタンB1およびB2を操作するとともに、利き腕とは逆の腕でシャッターボタンSBを操作することを想定しているからである。たとえば、利き腕が右腕のユーザUの場合、シャッターボタンSBおよび操作部であるボタンB1およびB2、ユーザUの左側に配置される。ユーザが利き腕とは逆の腕側に配置されたシャッターボタンSBを操作する場合、図6のように親指が下側、人差し指から小指が親指に対して上側にくるのが自然である。そのため、ユーザUがシャッターボタンSBを操作する場合、人差し指から小指のうち任意の指でシャッターボタンSBの上側を支え、親指にてシャッターボタンSBを押下(この場合上方向に押下)することになる。こうすることで、自然な手の配置となるため、利き腕とは逆の腕でシャッターボタンSBを押下してもメガネEGおよびそれに付随するカメラ20に対して振動が加わりにくくなり、手振れの少ない画像を撮像することが可能である。こうすることによって画像からの文字の認識のエラー率を下げることができる。それと同時に、ユーザUは利き腕にて操作部であるボタンB1およびB2が操作可能であるので、利き腕でない方の腕での操作に比べて細かな操作が可能となる。
カメラ20は、シャッターボタンBSが押されると、レンズLEから入光した光を撮像素子(図示せず)によって電気信号に変換する。変換された電気信号は、画像としてカメラ20に内蔵されたフラッシュメモリ等の記録媒体(図示せず)に記録される。
音声出力装置10は、携行部材30を含んでいる。携行部材30は、例えば、樹脂素材で形成されている。携行部材30には、カメラ20と通信可能なインタフェース(図示せず)が設けられている。携行部材30は、USB(Universal Sirial Bas)等のケーブルによってカメラ20と接続されている。すなわち、カメラ20は、携行部材30の周囲を撮像するともいえる。
携行部材30には、音声データに基づいて音声を出力する出力手段としてのスピーカSPが搭載されている。スピーカSPは、カメラ20によって撮像された画像に基づいて変換された音声データに基づいて音声を出力する。携行部材30は、音声データに基づいて音声を出力する制御を行うコントロールユニットCU1を有する。
図2Aは、実施例1に係る携行部材30を正面から見た斜視図を示している。図2Bは、実施例1に係る携行部材30を上面から見た斜視図を示している。図2A及び図2Bに示すように、携行部材30は、基部31及び基部31から同一方向に伸長する第1の腕部33及び第2の腕部34を有する。すなわち、基部31、第1の腕部33及び第2の腕部34によってハウジングが構成されている。
基部31は、第1の腕部33の伸張方向に伸張する直線L1及び第2の腕部34の伸張方向に沿って伸張する直線L2によって規定される平面Sに垂直な方向からみて円弧状に湾曲している板状部材である。
第1の腕部33及び第2の腕部34は、それぞれ基部31とは別体に形成されている。第1の腕部33は、基部31の一方の端部に接続する接続部33aを有する。第1の腕部33は、基部31の一方の端部に接続する接続部33aを有する。接続部33aは、基部31にボルト等の締結部材によって固定されている。
第1の腕部33は、接続部33aから続いて一体に形成され、かつ基部31に対して略L字状を成して形成されている延長部33bを有する。延長部33bは、錐台状に形成されている。
延長部33bは、具体的には、全体として四角錘台状に形成されている。延長部33bの伸長方向の先端は丸みを帯びて湾曲して形成されている。また、ユーザUの体に触れる部分については、角が落ちて形成されている。延長部33bの頂面及び頂面に対向する底面は略長方形に形成されている。頂面は、底面よりも面積が狭く形成されている。頂面と底面の間に形成される側面は台形状に形成されている。
第2の腕部34は、基部31の一方の端部に接続する接続部34aを有する。第2の腕部34は、基部31の他方の端部に接続する接続部34aを有する。接続部34aは、基部31にボルト等の締結部材によって固定されている。
第2の腕部34は、接続部34aから続いて一体に形成され、かつ基部31に対して略L字状を成して形成されている延長部34bを有する。延長部34bは、錐台状に形成されている。
延長部34bは、具体的には、全体として四角錘台状に形成されている。延長部34bの伸長方向の先端は丸みを帯びて湾曲して形成されている。また、ユーザUの体に触れる部分については、角が落ちて形成されている。延長部34bの頂面及び頂面に対向する底面は略長方形に形成されている。頂面は、底面よりも面積が狭く形成されている。頂面と底面の間に形成される側面は台形状に形成されている。
第1の腕部33の延長部33bの頂面は、第2の腕部34の延長部34bの頂面と対向するように配されている。第1の腕部33の延長部33b及び第2の腕部34の延長部34bは、基部31から離れるに従って互いに近づくように形成されている。
すなわち、携行部材30は、第1の腕部33の伸張方向に伸張する直線L1及び第2の腕部34の伸張方向に沿って伸張する直線L2によって規定される平面Sに垂直な方向からみてU字状に形成されている。従って、携行部材30は、ユーザが音声出力装置10を首に掛けると、ユーザの首周りから肩回りにかけて沿うように湾曲している。
このように、携行部材30が形成されていることにより、ユーザUの体と接触する携行部材30の接触面積が高くなる。すなわち、携行部材30をユーザUの体にフィットさせることが可能となる。従って、携行部材30がユーザから離れることを防止することができる。また、携行部材30のユーザUへのフィット感を高めることにより、ユーザUにかかる携行部材30の荷重を分散させることができ、ユーザUの疲労を軽減することができる。
第1の腕部33及び第2の腕部34には、スピーカSPの音声の出力の態様に関する操作を受け付ける操作受付手段としての4つのボタンB1,B2,B3,B4が搭載されている。言い換えれば、音声出力装置10は、携行部材30の第1の腕部33及び第2の腕部34のうち少なくとも一方に搭載されスピーカSPによる音声の出力の態様に関する操作を受け付ける操作受付手段を有する。
ボタンB1~B4は、例えば、第1の腕部33又は第2の腕部の伸長方向に沿って形成されている搭載面S1,S2に搭載されている。当該搭載面に平行且つ前記伸長方向に垂直な方向における各ボタンの長さ、すなわち横幅は、15mm以下に形成されていることが望ましい。横幅が15mm以下であることにより、ユーザUの指の腹で押し易くなり操作感を向上させることができる。また、横幅は、1.2mm以上有することが望ましい。横幅が1.2mm以上であることにより、ユーザUがボタンB1~B4を触ることにより認知することができる。
ボタンB1及びB2は、第1の腕部33に搭載されている。ボタンB1及びB2は、第1の腕部33の伸長方向に対して列状に配列されている。具体的には、ボタンB1は、ボタンB2よりも基部31側に配置されている。例えば、ボタンB1は、ユーザUが右手で第1の腕部33を握った際に、親指が触れる位置に配されているとよい。
ボタンB1は、第1の腕部33の延長部33bの搭載面S1から矩形状に窪んで形成されている。ボタンB1は、例えば、出力された音声を早戻しする操作ボタンである。ボタンB2は、第1の腕部33の延長部33bの搭載面S1から矩形状に突出して形成されている。ボタンB2は、例えば、スピーカSPの音量を調整するボタンである。ボタンB2は、2つの領域Ra、Rbを有している。ボタンB2の一方の領域RaはスピーカSPの音量を大きくする操作ボタンとして機能する。ボタンB2の他方の領域RbはスピーカSPの音量を小さくする操作ボタンとして機能する。
ボタンB2の表面の一方の領域Raが基部31側、ボタンB2の表面の他方の領域Rbが腕部33の先端側に配置されている。
周囲の環境音等の影響で音が聞こえないときに音量を大きくする操作ボタンを先に操作する頻度が、音量を小さくする操作ボタンを先に操作する頻度よりも高いため、基部31側に配置されたボタンB2の表面の一方の領域Raを音量を大きくする操作ボタンとして機能させることで、操作性の向上が図られうる。
また、ボタンB2の表面の領域Raを押圧すると、ボタンB2の表面の領域Rbがせりあがり、ボタンB2の表面の領域Rbを押圧すると、ボタンB2の表面の領域Raがせりあがるように構成されてもよい。
ボタンB3及びB4は、第2の腕部34に搭載されている。ボタンB3及びB4は、第2の腕部34の伸長方向に対して列状に配列されている。具体的には、ボタンB3は、ボタンB4よりも基部31側に配置されている。例えば、ユーザUが左手で第2の腕部34を握った際に、親指が触れる位置にボタンB1が配されているとよい。
ボタンB3は、第2の腕部34の延長部34bの搭載面S2から矩形状に突出して形成されている。ボタンB3は、例えば、スピーカSPから再生される音声の速度を調整するボタンである。ボタンB3は、2つの領域Rc,Rdを有している。ボタンB3の一方の領域RcはスピーカSPから再生される音声の速度を早くする操作ボタンとして機能する。ボタンB3の他方の領域RdはスピーカSPから再生される音声の速度を遅くする操作ボタンとして機能する。
ボタンB2の表面の一方の領域Rcが基部31側、ボタンB2の表面の他方の領域Rdが腕部34の先端側に配置されている。
再生速度の調整するための操作ボタンは、まず、必要性の低い情報の再生速度を早くするために使用され、重要な情報を聞く際に、再生速度を遅くすることが多い。このようなことに鑑みると、再生速度を早くする操作ボタンの方が、再生速度を遅くする操作ボタンのよりも先に操作されることが多いため、基部31側に配置されたボタンB3の表面の一方の領域Rcを再生速度を早くする操作ボタンとして機能させることで、操作性の向上が図られうる。
また、ボタンB3の表面の領域Rcを押圧すると、ボタンB3の表面の領域Rdがせりあがり、ボタンB3の表面の領域Rdを押圧すると、ボタンB3の表面の領域Rcがせりあがるように構成されてもよい。
ボタンB4は、第2の腕部34の延長部34bの搭載面S2から矩形状に窪んで形成されている。ボタンB4は、例えば、カメラ20で撮像された画像から音声データを生成する態様を変更する、すなわち、音声出力装置10の音声データを生成する制御モードを変更する操作ボタンである。制御モードの一例としては、例えば、ユーザUに伝えるべき情報がユーザUの周囲に多く存在する場合、ユーザUがシャッターボタンSBを押す頻度は高くなる。このような場合、音声出力装置10は、ユーザUがシャッターボタンSBを押さずとも、カメラ20が撮像した画像に含まれている情報に基づいて音声データを生成する制御(以下、街歩きモードという)を行ってもよい。ボタンB4は、街歩きモードと通常の制御モードを切り替える操作ボタンである。
このように、ボタンB1及びB2は、第1の腕部33の搭載面S1から露出して形成されている。また、ボタンB3及びB4は、第2の腕部34の搭載面S2から露出して形成されている。すなわち、ボタンB1~ボタンB4は、第1の腕部33及び第2の腕部34の搭載面に露出する露出部として機能する。
本実施例における、ボタンB1~ボタンB4の機能の振り分け方について説明する。本実施例においては、ユーザUが右利きであり、利き腕とは逆の左手でシャッターボタンSBを操作する様態となっている。このとき、ボタンB1及びB2は、ユーザUの利き腕とは逆の腕である左側の第1の腕部33に配置されており、ボタンB3及びB4はユーザUの利き腕である右側の第2の腕部34に配置されている。そのため、ユーザUは、利き腕である右腕でボタンB1及びB2を操作し、利き腕とは逆の左手でボタンB3及びB4を操作する。
このとき、ボタンB1及びB2には、ユーザUがシャッターボタンSBを操作すると同時またはシャッターボタンSBを操作した直前や直後に使用する可能性の高い機能を配置するとよい。具体的にはボタンB1及びB2には、早戻しボタンや音量調整ボタンを配置するとよい。これらの早戻しボタンや音量調整ボタンは、ユーザUが音声出力装置10から出力された音声をよく聞き取れないときに即時に押下される必要がある。そのため、ユーザUがシャッターボタンSBを操作する際にはシャッターボタンSBを操作する腕(左手)とは逆の腕(右手)でボタンB1またはボタンB2を触れながら押下の準備をできる方が、操作性が高まる。一方で、主に撮影の準備段階や撮影の合間に使用される機能は、ユーザUがシャッターボタンSBを操作する腕と同じ腕(左手)で操作してもよい。よって再生速度の調整やメニューの設定は、ユーザUがシャッターボタンSBを操作する腕と同じ腕側のボタンB3及びB4に配置されているとよい。
また、ユーザUがシャッターボタンSBを操作する腕と同じ側のボタンは、基部31に対してより近位の操作部(ボタン)が操作する頻度が高い機能を配置するとよい。前提として、ユーザUは視覚障碍者であることもあり、ユーザUがボタンB1~ボタンB4を操作する際には、ボタンB1~ボタンB4が配置されている位置を見ることなくボタンB1~ボタンB4を操作する。そのため、ユーザUが第1の腕部33または第2の腕部34を自然に把持した場合に、親指が配される場所の近傍に最も使用頻度が高い機能のボタンが配置されるのがよい。このとき、たとえば、ユーザUがボタンB1またはB2を右手で操作する場合、図7Aのように、親指の先側にボタンB1(基部31に対してボタンB2より近位のボタン)が配置され、親指の根元側にボタンB2(基部31に対してボタンB1より遠位のボタン)が配置されることになる。人の手の構造上、ユーザUが第1の腕部33または第2の腕部34を自然に把持した場合、親指は自然に伸びていることが多い。それ故、ユーザUは、親指の先端側のボタンB1の操作から根元側のボタンB2を操作する際には、親指を曲げるだけで対応できる。一方で、ユーザUが第1の腕部33または第2の腕部34を把持した状態からさらに親指の先端側のボタン1を操作する場合は、ユーザUは、親指を伸ばしても対応できないため、腕全体を基部31の方向に動かしてボタン1を操作する必要がある。つまり、ユーザUは第1の腕部33または第2の腕部34を一回把持すると、把持した状態から第1の腕部33または第2の腕部34の伸張方向(基部31に対してボタンB1より遠位)のボタンB2を操作するほうが、基部31方向に配置されているボタンB1を操作するよりも、簡単に対応できる。よって使用頻度の高い機能が基部31に対して近位のボタン(ボタンB1、B3)に配置され、それよりは使用頻度の低い機能が腕部の伸張方向のボタン(ボタンB2、B4)に配置されるとよい。
スピーカSPは、第1の腕部33の搭載面S1及び第2の腕部34の搭載面S2に搭載されている。第1の腕部33に搭載されているスピーカSPは、基部31に対してボタンB1,B2よりも近位に配されている。また、第2の腕部34に搭載されているスピーカSPは、基部31に対してボタンB3,B4よりも近位に配されている。
図3は、実施例1に係る携行部材30を正面から見た斜視図を示している。図3に示すように、第1の腕部33の延長部33bのボタンB1,B2が搭載されている搭載面S1を含む面3は、第2の腕部34の延長部34bのボタンB3,B4が搭載されている搭載面S2を含む面S4と交差する。言い換えれば、搭載面S1は、搭載面S2から所定の角度を成すように形成されている。すなわち、搭載面S1は、搭載面S2とは平行ではない。
図4は、実施例1に係る携行部材30を正面から見た斜視図を示している。図4には、第1の腕部33の延長部33bのボタンB1,B2が形成されている搭載面S1は、平面Sから角度αを成す。第2の腕部34の延長部34bのボタンB3,B4が形成されている搭載面S2は、平面Sから角度-αを成す。すなわち、搭載面S1及び搭載面S2は、平面Sに対して対称な形状を有している。
言い換えれば、第1の腕部33の延長部33bのボタンB1,B2が形成されている搭載面S1及び第2の腕部34の延長部34bのボタンB3,B4が形成されている搭載面S2は、第1の腕部33の伸張方向に伸張する直線L1及び第2の腕部34の伸張方向に沿って伸張する直線L2によって規定される平面Sと角度を持って形成されている。
図5Aは、ボタンB1の平面を示している。図5Aに示すように、ボタンB1は、出力された音声を早戻しする操作ボタンである。このボタンB1の表面には、音声を早戻しする操作ボタンとしての記号が凸状に形成されている。早戻しする操作ボタンとしての記号は、例えば、円弧の終点が矢印で表されている記号が挙げられる。
図5BはボタンB2の平面を示している。図5Bに示すように、ボタンB2は、スピーカの音量を調整するボタンである。ボタンB2は、ボタンB1よりも載置面S1における面積が広く形成されているとよい。このようにボタンB2を形成することで、ユーザUは、目視によらなくてもボタンB1又はボタンB2を触った感触でいずれのボタンであるかを識別することができる。
ボタンB2の表面には、2つの領域が設けられている。このボタンB2の表面の一方の領域Raには、音量を大きくする操作ボタンとしての記号が凸状に形成されている。音量を大きくする操作ボタンとしての記号は、例えば、互いに半径が異なる3つの同心円の円弧で表されるものが挙げられる。各々の円弧は、円弧の半径の長さに応じて配されている。例えば、3つの円弧のうち半径の最も短い円弧と半径の最も長い円弧の間に半径の長さが中間の円弧が配される。
また、ボタンB2の表面の他方の領域Rbには、音量を小さくする操作ボタンとしての記号が凸状に形成されている。音量を小さくする操作ボタンとしての記号は、例えば、1つの円弧で表されるものが挙げられる。
図5CはボタンB3の平面を示している。図5Cに示すように、ボタンB3は、スピーカの音声を再生する再生スピードを調整するボタンである。ボタンB3は、ボタンB4よりも載置面S2における面積が広く形成されているとよい。このようにボタンB3を形成することで、ユーザUは、目視によらなくてもボタンB4又はボタンB3を触った感触でいずれのボタンであるかを識別することができる。
ボタンB3の表面には、2つの領域が設けられている。このボタンB3の表面の一方の領域Rcには、音声の再生スピードを早くする記号が凸状に形成されている。再生スピードを速くする操作ボタンとしての記号は、例えば、互いに半径が同じである3つの円で表されるものが挙げられる。各々の円は、ボタンB3の表面において列状に配されている。
また、ボタンB3の表面の他方の領域Rcには、再生スピードを遅くする操作ボタンとしての記号が凸状に形成されている。再生スピードを遅くする操作ボタンとしての記号は、例えば、1つの円で表されるものが挙げられる。
図5Dは、ボタンB4の平面を示している。図5Dに示すように、ボタンB4は、音声出力装置10の音声を生成する制御モードを操作する操作ボタンである。このボタンB4の表面には、当該制御モードを操作する操作ボタンとしての記号が凸状に形成されている。当該制御モードを操作する操作ボタンとしての記号は、例えば、人間が歩行する際の下半身をモチーフとした記号が挙げられる。
このように、ボタンB1~B4は、受け付ける操作に応じて互いに異なる凹凸が表面に形成されている。尚、ボタンB1~B4が受け付ける機能は一例であり、適宜変更して実施してもよい。例えば、ボタンB1~B4のいずれかにカメラ20のシャッターボタンの機能を有するようにしてもよい。
図6は、ユーザが音声出力装置を操作する際の態様を示している。図6に示すように、携行部材30の第1の腕部33は、メガネEGのフレームFRの左レンズLL側に配されている。携行部材30の第2の腕部34は、メガネEGのフレームFRの右レンズRL側に配されている。
ボタンB1,B2は、シャッターボタンSBからみて近位にある第1の腕部33に設けられている。すなわち、ボタンB1,B2は、第1の腕部33及び第2の腕部34のうちシャッターボタンSBからみて近位にあるいずれか一方に設けられている。
図7Aは、右利きの人が、左手でシャッターボタンSBを操作する際の右手によるボタンB1,B2の操作態様を示している。図7Aに示すように、ユーザUは、左手でシャッターボタンSBを操作する際に、右手でボタンB1又はボタンB2を操作することができる。これは、通常利き腕の方が、利き腕でない方の腕よりも繊細な操作ができるためである。シャッターボタンSBの押下とボタンB1の操作(早戻し)又はボタンB2の操作(音量の調整)を比較した場合に、ボタンB1、B2の操作の方が複雑な操作を要求される。したがって、利き腕に応じて右利きの人が操作しやすい第1の腕部33にボタンB1、B2を配置することによって、シャッターボタンSBを操作すると共に、ボタンB1,B2の操作を行うことが可能となる。すなわち、ユーザUが望む優先度が高い機能をボタンB1及びB2を配することによって、音声出力装置10の操作性の向上を図ることが可能となる。
尚、ユーザUの利き腕に応じてシャッターボタンSBとボタンB1乃至B4を配置してもよい。例えば、左手が利き腕の場合、カメラ20のシャッターボタンSBをユーザの頭部の右側に搭載し、右手でシャッターボタンSBを操作する際に、左手でボタンB3又はボタンB4を操作するようにしてもよい。また、カメラ20と通信可能な携行部材30のインタフェース(図示せず)は、カメラ20がメガネEGに搭載される位置に応じて設けるとよい。例えば、カメラ20のシャッターボタンSBがユーザUの頭部の左側に搭載される場合には、第1の腕部33にインターフェースを設けるとよい。一方で、カメラ20のシャッターボタンSBがユーザUの頭部の右側に搭載される場合には、第1の腕部34にインターフェースを設けるとよい。
図7Bは、左手によるボタンB1,B2の操作態様を示している。図7Bに示すように、ユーザUは、左でボタンB1又はボタンB2を操作することができる。
すなわち、図4において説明したように、第1の腕部33の延長部33bのボタンB1,B2が形成されている搭載面S1は、平面Sから角度αを成す。例えば、音声出力装置10の制御モードを街歩きモードに設定した場合、ユーザUは、左手でボタンB1又はボタンB2を操作することも考えられる。その際、搭載面S1が平面Sに対して角度αを有することにより、ボタンB1及びボタンB2の操作性を高めることができる。さらに、搭載面S1の角が落とされて形成されているため、ボタンB1及びボタンB2の操作時にユーザUに与えるストレスを軽減することができる。

図8は、カメラ20のコントロールユニットCU2の機能ブロックを示している。図8に示すように、入力部21は、シャッターボタンSB及び撮像ユニットIUに接続されているインターフェース部である。カメラ20は、入力部21を介してシャッターボタンSBからの撮像指示を取得可能である。カメラ20は、入力部21を介して撮像ユニットIUが生成した画像データを取得可能である。
撮像ユニットIUは、レンズLEから入光した光を電気信号に変換することによって画像データを生成する撮像素子を含む。撮像素子は、たとえば、CMOSイメージセンサである。撮像ユニットIUは、例えば、シャッター等の撮像機構を含む。
記憶装置22は、例えばフラッシュメモリなどにより構成されている。記憶装置22は、BIOS(Basic Input Output System)、ソフトウェア等の各種プログラムを記憶する。また、記憶装置22は、カメラ20が撮像した画像データIMを格納可能である。
通信部23は、携行部材30と通信を行うインターフェース部である。カメラ20は、通信部23を介して記憶装置22に格納されている画像データを携行部材30に送信可能である。
出力部24は、撮像ユニットIUに接続されているインターフェース部である。カメラ20は、シャッターボタンSBから入力された撮像指示を撮像ユニットIUに出力可能である。
制御部25は、演算処理装置としてのCPU(Central Processing Unit)と、主記憶装置としてのROM(Read Only Memory)と、RAM(Random Access Memory)と、を有するコンピュータによって実現される。CPUは、ROMや記憶装置22から処理内容に応じたプログラムを読み出してRAMに展開し、展開したプログラムと協働して、各種機能を実現する。
動作制御部25aは、制御部25の機能ブロックの1つである。動作制御部25aは、カメラ20の撮像動作の制御を行うことが可能である。
入力部21、記憶装置22、通信部23、出力部24及び制御部25の各々は、システムバスB1を介して互いに接続されている。
図9は、携行部材30のコントロールユニットCU1の機能ブロックを示している。図9に示すように、入力部35は、ボタンB1~ボタンB4に接続されているインターフェース部である。
記憶装置36は、例えばフラッシュメモリなどにより構成されている。記憶装置36は、BIOS(Basic Input Output System)、ソフトウェア等の各種プログラムを記憶する。また、記憶装置36は、カメラ20から送信された画像データを格納可能である。
記憶装置36は、画像音声変換データベース(以下、データベースをDBと表記する)を含む。画像音声変換DBは、画像に含まれる情報と当該情報に紐づいた音声データが格納されている。たとえば、画像音声変換DBは、文字と音声データが紐づいたデータ構造を有している。画像音声変換DBは、単語と音声データが紐づいたデータ構造を有している。画像音声変換DBは、物体と音声データが紐づいたデータ構造を有している。尚、画像音声変換DBは、カメラ20で撮像した画像に基づいてディープラーニングによって構築されるようにしてもよい。
通信部37は、カメラ20と通信を行うインターフェース部である。携行部材30は、通信部37を介してカメラ20と通信可能である。
出力部38は、スピーカSPに接続されているインターフェース部である。携行部材30は、出力部38を介してスピーカSPから音声を出力可能である。
制御部39は、演算処理装置としてのCPU(Central Processing Unit)と、主記憶装置としてのROM(Read Only Memory)と、RAM(Random Access Memory)と、を有するコンピュータによって実現される。CPUは、ROMや記憶装置36から処理内容に応じたプログラムを読み出してRAMに展開し、展開したプログラムと協働して、各種機能を実現する。
入力部35、記憶装置36、通信部37、出力部38及び制御部39の各々は、システムバスB2を介して互いに接続されている。
音声データ生成部39aは、制御部39の機能ブロックの1つである。音声データ生成部39aは、カメラ20から送信された画像データを受信すると受信した画像データIMに含まれている文字に基づいて音声データを生成することが可能である。したがって、制御部39は、ユーザUの周囲を撮像した画像に含まれている文字に基づいて音声データを生成する音声データ生成手段として機能する。
音声データ生成部39aは、例えば、OCR(Optical Character Recognition)によって画像中の文字を認識する。音声データ生成部39aは、認識した文字を画像音声変換DBを参照して音声データを生成する。

以上で説明した音声出力装置10の音声の出力処理について説明する。紙に印刷された文字からなる文章を音声出力装置10が音声データに変換して出力する場合を説明する。
図10は、音声出力装置10の音声出力処理を示している。図10に示すように、音声出力装置10は、カメラ20で音声に変換する対象となる紙を撮像する(ステップS11)。音声出力装置10は、ステップS11において撮像された画像データIMに基づいて音声データを生成する(ステップS12)。音声出力装置10は、ステップS12において生成された音声データに基づいて音声をスピーカSPから出力する(ステップS13)。
図11は、図10のステップS11の撮像処理のサブルーチンを示している。図11に示すように、カメラ20の制御部25は、シャッターボタンが押されたか否かを判断する(ステップS21)。カメラ20のシャッターボタンSBがユーザUによって押されると(ステップS21:Y)、カメラ20の撮像ユニットUIによって撮像対象を撮像する(ステップS22)。ステップS12において撮像された画像データIMは記憶装置22に記録されてもよい。カメラ20は、ステップS12において撮像された画像データIMを携行部材30のコントロールユニットU1に送信する(ステップS23)。
図12は、図10のステップS12の音声データ生成処理のサブルーチンを示している。図12に示すように、携行部材30の制御部39は、画像データIMを受信したかを判断する(ステップ31)。携行部材30の制御部39は、画像データIMを受信したと判断すると(ステップS31:Y)、受信した画像データIMに含まれている文章の文字に基づいて音声データを生成する(ステップS32)。従って、携行部材30の制御部39は、音声データ生成部39aとして機能する。尚、画像データIMに含まれる文章が長文に亘る場合、音声データ生成部39aは、文章の内容を要約して音声データを生成してもよい。
尚、画像データIMに含まれる音声に変換する対象は、文章だけでなく例えば、時刻表のように文字と表が組み合わさったものであってもよい。このような音声に変換する対象の場合、たとえば、バスの行先及びバス停を出発する時刻を含む音声データを生成するとよい。例えば、音声データは、「A(行先)行きのバスは、8時にBバス停を出発する時刻は、C分、D分、E分です。」と音声が出力されるように生成されてもよい。
また、音声に変換する対象は、固有名詞に紐づいた情報を含むようにしてもよい。例えば、商店街の名称を含む画像データの場合、たとえば、音声データは、「この商店街には、A,B,Cなどのお店があり、AでのランチはD,Eなのメニューがあります。A点ランチの平均額はF円です。」と音声が出力されるように生成されてもよい。
さらに、音声データ生成部39aが音声データを生成する対象は、カメラ20が撮像した画像であった。しかし、音声データ生成部39aが音声データを生成する対象は静止画に限られず、たとえば、カメラ20が撮像した映像であってもよい。
以上のように、本発明の音声出力装置10によれば、ユーザUは、携行部材30を首に掛ける態様で音声出力装置10を装着することができる。このため、箱型のコンピュータを持ち歩くことなく音声出力装置10を移動させることが可能となる。それゆえ、音声出力装置10の携帯性の向上を図ることが可能となる。
また、音声出力装置10の携行部材30は、ユーザUの首に掛ける態様で装着することができるため、その重量を第1の腕部33と第2の腕部34に分散させることが可能となる。
尚、本実施例においては、音声の出力をスピーカSPから行うようにした。しかし、音声の出力は、スピーカSPに限られず、例えば、イヤホン又はヘッドホンによって行われるようにしてもよい。イヤホン又はヘッドホンから音声の出力を行う場合には、例えば、携行部材30の基部31にイヤホンジャックを設けるとよい。
また、本実施例においては、第1の腕部33又は第2の腕部34の両方にスピーカSPを搭載した。しかし、スピーカSPは、第1の腕部33又は第2の腕部34の少なくとも一方に搭載されていればよく、必ずしも第1の腕部33又は第2の腕部34の両方にスピーカSPが搭載されている必要はない。
(サーバで音声データを生成)
実施例2に係る音声出力装置10について説明する。実施例2に係る音声出力装置10は、サーバに通信可能に接続されている点で実施例1の音声出力装置10と異なる。具体的には、サーバは、画像データIMに含まれている文字に基づいて音声データを生成する。尚、実施例1に係る音声出力装置10と同一の構成については、同一の符号を付して説明を省略する。
図13は、実施例2に係る音声出力装置10が接続するサーバ40の構成を示している。図13に示すように、サーバ40の記憶装置41は、例えばフラッシュメモリなどにより構成されている。記憶装置41は、BIOS(Basic Input Output System)、ソフトウェア等の各種プログラムを記憶する。また、記憶装置41は、携行部材30から送信された画像データを格納可能である。
記憶装置41は、画像音声変換DBを含む。画像音声変換DBは、画像に含まれる情報と当該情報に紐づいた音声データが格納されている。たとえば、画像音声変換DBは、文字と音声データが紐づいたデータ構造を有している。画像音声変換DBは、単語と音声データが紐づいたデータ構造を有している。画像音声変換DBは、物体と音声データが紐づいたデータ構造を有している。尚、画像音声変換DBは、カメラ20で撮像した画像に基づいてディープラーニングによって構築されるようにしてもよい。
通信部42は、携行部材30と通信を行うインターフェース部である。サーバ40は、通信部42介して携行部材30と通信可能である。
制御部43は、演算処理装置としてのCPU(Central Processing Unit)と、主記憶装置としてのROM(Read Only Memory)と、RAM(Random Access Memory)と、を有するコンピュータによって実現される。CPUは、記憶装置41から処理内容に応じたプログラムを読み出してRAMに展開し、展開したプログラムと協働して、各種機能を実現する。
記憶装置41、通信部42及び制御部43の各々は、システムバスB3を介して互いに接続されている。
制御部43は、携行部材30から送信された画像データを受信すると受信した画像データIMに含まれている文字に基づいて音声データを生成することが可能である。したがって、制御部43は、ユーザUの周囲を撮像した画像に含まれている文字に基づいて音声データを生成する音声データ生成手段として機能する。
音声データ生成部43aは、制御部43の機能ブロックの1つである。音声データ生成部43aは、携行部材30から送信された画像データを受信すると受信した画像データIMに含まれている文字に基づいて音声データを生成することが可能である。したがって、制御部43は、ユーザUの周囲を撮像した画像に含まれている文字に基づいて音声データを生成する音声データ生成手段として機能する。
音声データ生成部43aは、例えば、OCR(Optical Character Recognition)によって画像中の文字を認識する。音声データ生成部43aは、認識した文字を画像音声変換DBを参照して音声データを生成する。
以上で説明した音声出力装置10の音声の出力態様について説明する。尚、図10のスッテプS12の音声データ生成処理を除いて実施例1と同一であるので、他の処理については説明を省略する。
携行部材30は、画像データIMを受信すると、サーバ40に画像データIMを送信する。
図14は、サーバ40による音声データ生成処理のサブルーチンを示している。図14に示すように、サーバ40の制御部43は、画像データIMを受信したかを判断する(ステップ41)。サーバ40の制御部43は、画像データIMを受信したと判断すると(ステップS41:Y)、受信した画像データIMに含まれている文章の文字に基づいて音声データを生成する(ステップS42)。従って、サーバ40の制御部43は、音声データ生成部43aとして機能する。サーバ40の制御部43は、ステップS42で生成された音声データを携行部材30のコントロールユニットU1に送信する(ステップS43)。
以上のように、本発明の音声出力装置10によれば、ユーザUは、携行部材30を首に掛ける態様で音声出力装置10を装着することができる。このため、箱型のコンピュータを持ち歩くことなく音声出力装置10を移動させることが可能となる。それゆえ、音声出力装置10の携帯性の向上を図ることが可能となる。
10 音声出力装置
20 カメラ
30 携行部材
31 基部
33 第1の腕部
34 第2の腕部
39 制御部
40 サーバ
B1~B4 ボタン
EG メガネ
FR フレーム
SB シャッターボタン
SP スピーカ

Claims (2)

  1. 基部及び前記基部から同一方向に伸長する第1の腕部及び第2の腕部を有しており、ユーザの首に掛止される携行部材と、
    撮像した画像に含まれる文字に基づいて音声データを生成する音声データ生成手段と、
    前記音声データに基づいて音声を出力する出力手段と、
    前記携行部材の前記第1の腕部及び前記第2の腕部のうち少なくとも一方に搭載され前記出力手段による前記音声の出力の態様に関する操作を受け付ける操作受付手段と、
    前記ユーザの頭部に装着可能な保持手段と、
    前記保持手段に保持されている前記画像を撮像する撮像手段と、
    前記ユーザの頭部の右側部又は左側部に位置するように前記保持手段に保持され、かつ前記撮像手段に対する撮像の指示の入力を受け付ける撮像指示入力手段と、を有し、
    前記操作受付手段は、前記第1の腕部及び前記第2の腕部のうち前記撮像指示入力手段からみて近位の腕部に設けられていることを特徴とする音声出力装置。
  2. 基部及び前記基部から同一方向に伸長する第1の腕部及び第2の腕部を有しており、ユーザの首に掛止されるハウジングと
    像を外部に送信する送信手段と、
    前記画像に基づいて生成された音声データを受信する受信手段と、
    前記音声データに基づいて音声を出力する出力手段と、
    前記ハウジングの前記第1の腕部及び前記第2の腕部のうち少なくとも一方に搭載され前記音声の出力の態様に関する操作を受け付ける操作受付手段と、
    前記ユーザの頭部に装着可能な保持手段と、
    前記保持手段に保持されている前記画像を撮像する撮像手段と、
    前記ユーザの頭部の右側部又は左側部に位置するように前記保持手段に保持され、かつ前記撮像手段に対する撮像の指示の入力を受け付ける撮像指示入力手段と、を有し、
    前記操作受付手段は、前記第1の腕部及び前記第2の腕部のうち前記撮像指示入力手段からみて近位の腕部に設けられていることを特徴とする音声出力装置。
JP2018163874A 2018-08-31 2018-08-31 音声出力装置 Active JP7207694B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018163874A JP7207694B2 (ja) 2018-08-31 2018-08-31 音声出力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018163874A JP7207694B2 (ja) 2018-08-31 2018-08-31 音声出力装置

Publications (2)

Publication Number Publication Date
JP2020035405A JP2020035405A (ja) 2020-03-05
JP7207694B2 true JP7207694B2 (ja) 2023-01-18

Family

ID=69668344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018163874A Active JP7207694B2 (ja) 2018-08-31 2018-08-31 音声出力装置

Country Status (1)

Country Link
JP (1) JP7207694B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007510977A (ja) 2003-10-24 2007-04-26 スリーエム イノベイティブ プロパティズ カンパニー 触覚タッチ感知システム
US20160078278A1 (en) 2014-09-17 2016-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
JP2016076202A (ja) 2014-10-07 2016-05-12 エルジー エレクトロニクス インコーポレイティド 移動端末機
JP2017510133A (ja) 2014-01-14 2017-04-06 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 立体的視野及び内部処理機能を備えたスマート・ネックレス
JP2017103598A (ja) 2015-12-01 2017-06-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018116678A1 (ja) 2016-12-22 2018-06-28 ソニー株式会社 情報処理装置及びその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007510977A (ja) 2003-10-24 2007-04-26 スリーエム イノベイティブ プロパティズ カンパニー 触覚タッチ感知システム
JP2017510133A (ja) 2014-01-14 2017-04-06 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド 立体的視野及び内部処理機能を備えたスマート・ネックレス
US20160078278A1 (en) 2014-09-17 2016-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
JP2016076202A (ja) 2014-10-07 2016-05-12 エルジー エレクトロニクス インコーポレイティド 移動端末機
JP2017103598A (ja) 2015-12-01 2017-06-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018116678A1 (ja) 2016-12-22 2018-06-28 ソニー株式会社 情報処理装置及びその制御方法

Also Published As

Publication number Publication date
JP2020035405A (ja) 2020-03-05

Similar Documents

Publication Publication Date Title
CN106461944B (zh) 用于可佩戴计算机中的骨传导接收器的自适应压电阵列
CN105094225B (zh) 移动终端
TWI728180B (zh) 行動電話
CN105745568B (zh) 用于在可头戴式设备上执行多触摸操作的系统和方法
CN105518516B (zh) 音频换能器的隔离
JP6250041B2 (ja) 骨伝導スピーカーにおける外部振動の削減
TWI724317B (zh) 耳機及立體聲耳機
JP7040458B2 (ja) 音響出力装置、音響出力装置の機能実行方法及びプログラム
JP2005109830A (ja) 電子機器
US20140161287A1 (en) Electronic Device And Sound Capturing Method
JP5674895B1 (ja) 電子機器
KR20150141793A (ko) 무선 리시버 및 그 제어 방법
CN103914128B (zh) 头戴式电子设备和输入方法
JP6069237B2 (ja) 電子機器
KR102643055B1 (ko) 헤드셋 전자 장치 및 그와 연결되는 전자 장치
JP7207694B2 (ja) 音声出力装置
US11641551B2 (en) Bone conduction speaker and compound vibration device thereof
JP6591167B2 (ja) 電子機器
JPWO2019082527A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11983337B1 (en) Information handling system mouse with strain sensor for click and continuous analog input
JP2015064880A (ja) 多機能指サック
JP6915899B2 (ja) 受話装置
US11656683B2 (en) Signal generation device, signal generation method, and reproduction device
JP2007310623A (ja) 操作装置及びこれを備えた情報処理装置
KR102253858B1 (ko) 전도성 섬유 손목 키보드

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20181001

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210811

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220805

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221223

R150 Certificate of patent or registration of utility model

Ref document number: 7207694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150