JP6818959B1

JP6818959B1 - 表示器

Info

Publication number: JP6818959B1
Application number: JP2020546517A
Authority: JP
Inventors: 孝一折戸
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-05-29
Filing date: 2020-05-29
Publication date: 2021-01-27
Anticipated expiration: 2040-05-29
Also published as: JPWO2021240818A1; US11789539B2; WO2021240818A1; CN115702409A; US20230117256A1

Abstract

表示器（１００）は、画像を表示させる第１領域と、それぞれが操作者からの入力を検出する複数の入力検出領域で構成された第２領域と、それぞれが操作者への力覚フィードバックを行う複数の力覚フィードバック領域で構成された第３領域とが重畳した入出力領域を有し、画像を表示中に操作者からの入力を検出すると力覚フィードバックを行う表示部（１０）と、第１領域に表示中の画像の画像データと、複数の入力検出領域それぞれにおける操作者からの入力の検出結果と、に基づいて、複数の力覚フィードバック領域それぞれにおける力覚出力値を決定するデータ処理部（２０）と、を備える。

Description

本開示は、力覚フィードバック機能を有する表示器に関する。

特許文献１には、携帯電話等のディスプレイとして、タッチセンサ式インターフェースおよびアクチュエータを備え、表示中の画像にユーザが接触したことをタッチセンサ式インターフェースが検出すると、接触を検出した部分の画像の色彩に応じた強度でアクチュエータが触覚効果を出力するディスプレイが記載されている。

特開２０１９−０２３８９２号公報

特許文献１に記載のディスプレイでは、画像の各画素の色彩の強度に対して、ユーザにフィードバックする触覚値および触覚強度を割り当てる。しかしながら、特許文献１に記載のディスプレイが触覚をフィードバックする解像度は、人が識別可能な解像度を超えており、ユーザは複数の値が混在した状態のフィードバックを受けることになる。すなわち、ユーザは、単色塗の画像に触れた場合と同様のフィードバックを受けることとなり、グラデーションを伴った画像を表示する場合にグラデーションを識別することができず、単色塗の画像と誤認識してしまう可能性がある、という問題があった。

本開示は、上記に鑑みてなされたものであって、グラデーションを伴う画像を表示する場合に操作者が誤認識するのを防止可能な力覚フィードバックを実現する表示器を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本開示にかかる表示器は、画像を表示させる第１領域と、それぞれが操作者からの入力を検出する複数の入力検出領域で構成された第２領域と、それぞれが操作者への力覚フィードバックを行う複数の力覚フィードバック領域で構成された第３領域とが重畳した入出力領域を有し、画像を表示中に操作者からの入力を検出すると力覚フィードバックを行う表示部を備える。また、表示器は、第１領域に表示中の画像の画像データと、複数の入力検出領域それぞれにおける操作者からの入力の検出結果と、に基づいて、複数の力覚フィードバック領域それぞれにおける力覚出力値を決定するデータ処理部を備える。データ処理部は、複数の力覚フィードバック領域のうち、操作者からの入力を検出した入力検出領域で構成される検出範囲と一部が重畳している力覚フィードバック領域については、重畳している部分に含まれる各画素の輝度または色彩と、力覚フィードバック領域のサイズとに基づいて力覚出力値を決定する。

本開示にかかる表示器は、グラデーションを伴う画像を表示する場合に操作者が誤認識するのを防止可能な力覚フィードバックを実現できる、という効果を奏する。

実施の形態にかかる表示器の機能ブロック構成の一例を示す図表示部を構成するパネル部の入出力領域の構成例を示す図実施の形態にかかる表示器の動作の一例を説明するための図実施の形態にかかる表示器の動作の一例を示すフローチャート表示部を構成するパネル部の入出力領域の他の構成例を示す図表示器の表示部がマルチタッチ検出を行うイメージの一例を示す図表示器を実現するハードウェアの一例を示す図

以下に、本開示の実施の形態にかかる表示器を図面に基づいて詳細に説明する。

実施の形態．
図１は、実施の形態にかかる表示器の機能ブロック構成の一例を示す図である。本実施の形態にかかる表示器１００は、画像の表示などを行う表示部１０と、表示部１０の動作に必要な各種データ処理を行うデータ処理部２０と、画像データを保持するデータ記憶部３０とを備える。

表示部１０は、入力検出部１１、力覚出力部１２および表示制御部１３を備え、上述した画像の表示を行う機能である画像表示機能に加えて、操作者からの入力を検出する検出機能と、操作者に対して力覚フィードバックを行う力覚出力機能と、を有する。検出機能が検出する入力は、操作者による表示器１００の操作である。

表示部１０において、入力検出部１１は、操作者が表示器１００に対して行う操作を検出する。力覚出力部１２は、入力検出部１１が操作者からの入力を検出すると操作者に力覚をフィードバックする。また、表示制御部１３は、図示を省略したパネル部に画像を表示させる。なお、入力検出部１１は、表示制御部１３が画像を表示させるパネル部を介して操作者からの入力を検出し、同様に、力覚出力部１２はパネル部を介して力覚をフィードバックする。

データ処理部２０は、画像情報取得部２１、特徴量算出部２２および力覚出力決定部２３を備える。特徴量算出部２２および力覚出力決定部２３は、出力値算出部２４を構成する。

データ処理部２０において、画像情報取得部２１は、表示部１０が画像を表示している状態のとき、表示中の画像を構成する画素のうち、入力検出部１１が操作者からの入力を検出した範囲に対応する各画素に関する情報をデータ記憶部３０から取得する。特徴量算出部２２は、画像情報取得部２１が取得した情報に基づいて、力覚出力部１２が出力する力覚の値を決定するための特徴量を算出する。力覚出力決定部２３は、特徴量算出部２２が算出した特徴量と、特徴量と力覚出力値との対応関係を表すルックアップテーブルとに基づいて、力覚出力部１２が出力する力覚の値を決定する。

ここで、表示部１０による画像の表示、操作者からの入力の検出および操作者に対する力覚の出力を行うパネル部について説明する。

図２は、表示部１０を構成するパネル部の入出力領域の構成例を示す図である。図２に示す入出力領域２００は、表示部１０が画像の表示、操作者からの入力検出および力覚出力を行う領域である。

入出力領域２００は、それぞれが操作者への力覚フィードバックを行う複数の力覚フィードバック領域２０１と、それぞれが操作者からの入力を検出する複数の入力検出領域２０２とを含んで構成される。１つの力覚フィードバック領域２０１には、縦方向および横方向のそれぞれに３個ずつの合計９個の入力検出領域２０２が含まれる。また、入出力領域２００には、縦方向に８個、横方向に９個の合計７２個の力覚フィードバック領域２０１が含まれる。画像は入出力領域２００の全体に表示される。

すなわち、入出力領域２００は、画像を表示させる第１領域と、それぞれが操作者からの入力を検出する複数の入力検出領域２０２で構成された第２領域と、それぞれが操作者への力覚フィードバックを行う複数の力覚フィードバック領域２０１で構成された第３領域とが重畳したものである。

つづいて、本実施の形態にかかる表示器１００の動作について、図３および図４を参照しながら詳しく説明する。本実施の形態では、一例として、表示部１０の入出力領域２００に表示されている点字画像に操作者が触れた場合の動作を説明する。図３は、実施の形態にかかる表示器１００の動作の一例を説明するための図である。また、図４は、実施の形態にかかる表示器１００の動作の一例を示すフローチャートである。

表示器１００が図３に示すような点字画像３０１を表示しているときに操作者からの入力がある場合について説明する。図３に示す複数の点字画像３０１は、モノクロかつグラデーションありとする。なお、図３では、力覚フィードバック領域を「力覚ＦＢ領域」と記載している。以下の説明においても、力覚ＦＢ領域という表現を用いる場合がある。また、図３では、複数の力覚ＦＢ領域の識別のため、行方向のインデックスとして１〜７を、列方向のインデックスとしてＡ〜Ｆを記載している。以下の説明では、特定の力覚ＦＢ領域について述べる場合、インデックスを使用して、力覚ＦＢ領域１Ａなどと記載する。また、図３では、入出力領域２００の操作者に触れられた範囲、すなわち、操作者からの入力を検出した入力検出領域２０２が形成する範囲を検出範囲２０３としている。なお、力覚フィードバック領域２０１の１辺の長さは０．７５ｍｍ、入力検出領域２０２の１辺の長さは０．２５ｍｍとしている。

操作者が表示器１００の表示部１０が有するパネル部に触れると、入力検出部１１が操作者からの入力を検出する（ステップＳ１１）。図３に示す例の場合、入力検出部１１は、検出範囲２０３を形成する入力検出領域２０２のそれぞれが操作者により触れられたことを検出する。

次に、画像情報取得部２１が、検出範囲２０３に含まれる画素の輝度の値をデータ記憶部３０から取得する（ステップＳ１２）。すなわち、画像情報取得部２１は、データ記憶部３０が保持する画像データの中から、表示部１０が表示している画像の画像データを読み出し、さらに、読み出した画像データから、検出範囲２０３に含まれる画素の輝度の値を抽出する。

次に、特徴量算出部２２が、力覚フィードバック領域２０１ごとに特徴量を算出する（ステップＳ１３）。具体的には、特徴量算出部２２は、検出範囲２０３に全部または一部が含まれる力覚フィードバック領域２０１のそれぞれを対象として、力覚フィードバック領域２０１ごとに特徴量を算出する。図３に示す例の場合、特徴量算出部２２は、力覚ＦＢ領域１Ｂ〜１Ｅ，２Ａ〜２Ｅ，３Ａ〜３Ｆ，４Ａ〜４Ｆ，５Ａ〜５Ｆ，６Ａ〜６Ｆ，７Ｂ〜７Ｅのそれぞれを対象として、特徴量を算出する。

特徴量算出部２２が算出する特徴量は、力覚ＦＢ領域に含まれる画素それぞれの輝度値の平均値とする。ただし、検出範囲２０３に一部のみが含まれる力覚ＦＢ領域については、検出範囲２０３に含まれている部分の画素の輝度値を用いて、すなわち、操作者からの入力を検出した入力検出領域２０２に含まれる画素の輝度値を用いて、平均値を求める。例えば、図３に示す力覚ＦＢ領域５Ｆの場合、力覚ＦＢ領域５Ｆに含まれる３行３列の入力検出領域２０２のうち、一番左の１列のみが操作者からの入力を検出している。そのため、特徴量算出部２２は、一番左の１列の入力検出領域２０２に含まれる画素の輝度値の平均値を求める。具体的には、特徴量算出部２２は、一番左の１列の入力検出領域２０２に含まれる画素の輝度値の合計値を求め、合計値を９で除したものを平均値とする。

次に、力覚出力決定部２３が、力覚フィードバック領域２０１それぞれにおける力覚出力値を決定する（ステップＳ１４）。具体的には、力覚出力決定部２３は、特徴量算出部２２が特徴量を算出した力覚フィードバック領域２０１のそれぞれについて、力覚フィードバック領域２０１それぞれの特徴量と、特徴量と力覚出力値との対応関係を示すルックアップテーブルとに基づいて、力覚出力値を決定する。特徴量は輝度値の平均値であるため、ルックアップテーブルは輝度値と力覚出力値との対応テーブルであるともいえる。

次に、力覚出力部１２が、力覚フィードバックを実施する（ステップＳ１５）。すなわち、力覚出力部１２は、力覚出力決定部２３が決定した、力覚フィードバック領域２０１それぞれにおける力覚出力値に従い、力覚フィードバック領域２０１のそれぞれから力覚を出力する。

表示器１００は、図４に示すステップＳ１１〜Ｓ１５を繰り返し実行し、操作者からの入力の検出と力覚フィードバックとを行う。このとき、表示器１００は、ステップＳ１１で操作者からの入力を検出した範囲が、前回実行したステップＳ１１で検出した範囲と一致する場合、ステップＳ１３およびＳ１４は省略し、ステップＳ１５で前回と同じ値の力覚を力覚フィードバック領域２０１のそれぞれから出力するようにしてもよい。これにより、演算量を削減することができる。

なお、図３では、１つの入力検出領域２０２と画素とが同一サイズに見える記載となっているが、１つの入力検出領域２０２のサイズと画素のサイズとは異なる。

また、図２および図３に示す例では、力覚フィードバック領域２０１と入力検出領域２０２のサイズが異なるものとしたが、図５に示すように、力覚フィードバック領域２０１のサイズと入力検出領域２０２のサイズを同一としてもよい。図５は、表示部１０を構成するパネル部の入出力領域の他の構成例を示す図である。この場合、表示器１００は、ある入力検出領域２０２で操作者からの入力を検出すると、入力を検出した入力検出領域２０２に含まれる画素それぞれの輝度値の平均値に対応する大きさの力覚を、入力を検出した入力検出領域２０２と重なり合った力覚フィードバック領域２０１から出力する。

以上のように、本実施の形態にかかる表示器１００は、表示部１０、データ処理部２０およびデータ記憶部３０を備える。表示部１０は、画像の表示領域に重畳した複数の力覚フィードバック領域２０１および入力検出領域２０２を有する。表示部１０は、複数の入力検出領域２０２のそれぞれにおいて、操作者からの入力、すなわち、操作者により触れられたことを検出し、操作者からの入力を検出した入力検出領域２０２と一部または全部が重なり合っている力覚フィードバック領域２０１のそれぞれから力覚を出力する。データ処理部２０は、力覚フィードバック領域２０１のそれぞれから出力する力覚の値を、操作者からの入力を検出した入力検出領域２０２のそれぞれが形成する検出範囲に含まれる各画素の輝度値に基づいて決定する。なお、上述した例では操作者にフィードバックする力覚の値を画素の輝度を用いて決定することとしたが色彩を用いて決定してもよい。これにより、グラデーションを伴う画像を表示する場合に操作者が誤認識するのを防止可能な力覚フィードバックを実現できる。

従来、力覚フィードバックを実現する手法として、表示画面を構成する部品ごとに力覚の出力値を決定し、部品と出力値との対応関係を示す力覚マップを作成して記憶しておく手法が用いられていた。例えば、スイッチ、ボタンなどの、操作者に触れられる表示部品のそれぞれについて、操作者に触れられた場合に力覚を出力する範囲および出力する力覚の値を予め決定しておくことが行われていた。この手法では、操作者が表示部品に触れた場合に力覚フィードバックを行う範囲および強度は固定となる。すなわち、操作者が表示部品のどの部分に触れた場合であっても同じ力覚フィードバックが行われる。これに対して、本実施の形態にかかる表示器１００は、操作者が触れた範囲を判別し、操作者が触れた範囲に含まれる画素の輝度または色彩に対応する値の力覚を出力するため、表示する画像に近い形状での力覚フィードバックが可能となる。

本実施の形態では、表示部１０の入力検出部１１が検出する操作者からの入力を１箇所としたが、図６に示すような複数箇所への同時入力を検出可能としてもよい。すなわち、入力検出部１１がマルチタッチを検出し、入力検出部１１が検出した複数箇所のそれぞれから力覚出力部１２が力覚を出力する構成としてもよい。図６は、表示器１００の表示部１０がマルチタッチ検出を行うイメージの一例を示す図である。図６に示すような構成は、表示部１０を実現する電子回路が、操作者からの入力を検出する回路と力覚を出力する回路との組を複数備え、各組の回路が並列に入力検出処理および力覚出力処理を行うことで実現が可能である。これにより、操作者は、例えば、複数の指でのなぞり読解が可能となる。

また、表示部１０の表示制御部１３は、操作者からの指示に従い、表示中の画像を拡大または縮小するようにしてもよい。表示部１０は、画像を拡大または縮小させた場合も、上述した図４のステップＳ１１〜Ｓ１５を繰り返し実行し、操作者からの入力の検出と力覚フィードバックとを行う。

表示制御部１３は、画像の流れ表示を行う機能を有してもよい。すなわち、表示制御部１３は、表示させる画像を一定の周期で左右方向または上下方向にシフトさせながら更新するようにしてもよい。この場合も、表示部１０は、上述した図４のステップＳ１１〜Ｓ１５を繰り返し実行して操作者からの入力を検出し、入力を検出した範囲に含まれる各画素の輝度値に基づいて、力覚フィードバックを行う。これにより、操作者は、指を動かさなくても情報を取得でき、操作面積あたりの情報取得量を上げることができる。

このとき、特徴量算出部２２および力覚出力決定部２３で構成される出力値算出部２４は、一度決定した力覚出力値を流用できる条件の場合には、特徴量の算出処理および力覚出力値の決定処理を行わないようにして演算量を削減してもよい。例えば、図３に示す画像が右から左へ流れ、かつ、図４のステップＳ１１〜Ｓ１５を１回実行するごとに画像が力覚ＦＢ領域１個分だけ移動するものとする。この場合、出力値算出部２４は、例えば、力覚ＦＢ領域２Ｂおよび２Ｃについては、力覚ＦＢ領域２Ｄでの力覚フィードバックのために決定した力覚出力値を流用できる。すなわち、出力値算出部２４は、力覚ＦＢ領域２Ｂおよび２Ｃについては、力覚出力値を決定するための処理を省略する。同様に、出力値算出部２４は、力覚ＦＢ領域３Ｂ〜３Ｄ，力覚ＦＢ領域４Ｂ〜４Ｄ，力覚ＦＢ領域５Ｂ〜５Ｄ，力覚ＦＢ領域６Ｃ〜６Ｄ，力覚ＦＢ領域７Ｃのそれぞれについて、力覚出力値を決定するための処理を省略する。

つづいて、表示器１００を実現するハードウェアについて説明する。図７は、表示器１００を実現するハードウェアの一例を示す図である。表示器１００は、例えば、図７に示すプロセッサ１０１、メモリ１０２およびディスプレイ１０３により実現することができる。

プロセッサ１０１は、ＣＰＵ（Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）ともいう）などである。メモリ１０２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）等である。ディスプレイ１０３は、液晶パネルなどが備える一般的な画像処理回路に加えて、操作者からの入力を検出する入力検出回路と、操作者に対して力覚を出力する力覚出力回路とを備える。

表示器１００のデータ処理部２０は、データ処理部２０の画像情報取得部２１、特徴量算出部２２および力覚出力決定部２３として動作するためのプログラムをプロセッサ１０１が実行することにより実現される。画像情報取得部２１、特徴量算出部２２および力覚出力決定部２３として動作するためのプログラムはメモリ１０２に格納されている。プロセッサ１０１は、上記プログラムをメモリ１０２から読み出して実行することにより、画像情報取得部２１、特徴量算出部２２および力覚出力決定部２３として動作する。なお、画像情報取得部２１、特徴量算出部２２および力覚出力決定部２３として動作するためのプログラムは、メモリ１０２に予め格納された状態でユーザに提供される形態であってもよいし、ＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭなどの記憶媒体に書き込まれた状態でユーザに供給され、ユーザがメモリ１０２にインストールする形態であってもよい。

表示器１００の表示部１０は、ディスプレイ１０３により実現される。また、データ記憶部３０はメモリ１０２により実現される。

上記の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１０表示部、１１入力検出部、１２力覚出力部、１３表示制御部、２０データ処理部、２１画像情報取得部、２２特徴量算出部、２３力覚出力決定部、２４出力値算出部、３０データ記憶部、１００表示器、２００入出力領域、２０１力覚フィードバック領域、２０２入力検出領域、２０３検出範囲。

Claims

画像を表示させる第１領域と、それぞれが操作者からの入力を検出する複数の入力検出領域で構成された第２領域と、それぞれが前記操作者への力覚フィードバックを行う複数の力覚フィードバック領域で構成された第３領域とが重畳した入出力領域を有し、画像を表示中に操作者からの入力を検出すると力覚フィードバックを行う表示部と、
前記第１領域に表示中の画像の画像データと、前記複数の入力検出領域それぞれにおける操作者からの入力の検出結果と、に基づいて、前記複数の力覚フィードバック領域それぞれにおける力覚出力値を決定するデータ処理部と、
を備え、
前記データ処理部は、
前記複数の力覚フィードバック領域のうち、操作者からの入力を検出した前記入力検出領域で構成される検出範囲と一部が重畳している力覚フィードバック領域については、重畳している部分に含まれる各画素の輝度または色彩と、力覚フィードバック領域のサイズとに基づいて力覚出力値を決定する、
ことを特徴とする表示器。
前記データ処理部は、
前記第１領域に表示中の画像を構成する画素のうち、操作者からの入力を検出した前記入力検出領域で構成される検出範囲に対応する各画素の輝度または色彩の値を取得する画像情報取得部と、
前記画像情報取得部が取得した前記値と、輝度または色彩を示す値と前記力覚出力値との対応テーブルとに基づいて、前記検出範囲に対応する前記力覚フィードバック領域それぞれにおける力覚出力値を算出する出力値算出部と、
を備えることを特徴とする請求項１に記載の表示器。
前記出力値算出部は、
前記複数の力覚フィードバック領域のうち、前記検出範囲に一部または全部が含まれる力覚フィードバック領域ごとに、前記画像情報取得部が取得した前記値の平均値を特徴量として算出する特徴量算出部と、
前記特徴量算出部が算出した特徴量と前記対応テーブルとに基づいて前記検出範囲に対応する前記力覚フィードバック領域それぞれにおける力覚出力値を決定する力覚出力決定部と、
を備えることを特徴とする請求項２に記載の表示器。
前記データ処理部は、前記力覚出力値を決定する処理を一定周期で繰り返す、
ことを特徴とする請求項１から３のいずれか一つに記載の表示器。
前記表示部は、
操作者による前記第２領域の複数箇所に対する同時入力を検出可能な入力検出部、
を備え、
前記データ処理部は、前記入力検出部が前記同時入力を検出した場合、前記同時入力が検出された複数箇所のそれぞれに対応する力覚フィードバック領域それぞれにおける力覚出力値を決定する、
ことを特徴とする請求項１から４のいずれか一つに記載の表示器。
前記表示部は、
前記第１領域に画像を表示させるとともに、表示中の画像を操作者による操作に応じて拡大または縮小させる表示制御部、
を備えることを特徴とする請求項１から５のいずれか一つに記載の表示器。
前記表示部は、
前記第１領域の水平方向または垂直方向に画像を流れ表示させる表示制御部、
を備えることを特徴とする請求項１から５のいずれか一つに記載の表示器。