JP6505317B2

JP6505317B2 - 表示制御装置

Info

Publication number: JP6505317B2
Application number: JP2018512751A
Authority: JP
Inventors: 千紗都佐藤; 浩子泉原; 知晃行田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2016-04-22
Filing date: 2016-04-22
Publication date: 2019-04-24
Anticipated expiration: 2036-04-22
Also published as: JPWO2017183194A1; WO2017183194A1

Description

本発明は、ピンチ操作（ピンチイン・ピンチアウト操作）によって画像の表示倍率を変更する表示制御装置に関する。

タッチパネルを操作して、情報処理装置に入力を指示する技術がある。例えば、タッチパネルに２本の指を接触させたまま、指の間隔を変更するピンチ操作（ピンチイン・ピンチアウト操作）によって、表示する画像を変更（縮小・拡大）する技術が知られている。

このようなピンチ操作により入力を指示する先行技術が、例えば、特許文献１に開示されている。特許文献１に記載のタッチパネルシステムでは、複数の指示部位（指）による指示位置の間の距離（最も外側にある２点間の距離）を算出し、その距離又はその距離の過渡的な変化に応じて、マウスポインタの操作や表示関係の操作を行っている。

特許第３８６７２２６号公報

しかしながら、特許文献１の発明は、複数の指示位置のうち、最も外側にある２点間の距離を使用している。そのため、特許文献１の発明を、性能の低いタッチパネルに適用すると、各指示位置の検知誤差が合わさり、更に大きくなってしまう。そして、算出した距離に大きな誤差を含んでいるため、その距離の過渡的な変化にもぶれが生じ、結果として、ユーザが意図した通りの操作が行えない（ユーザに違和感を与える）ことになる。

本発明は、上記の事情に鑑みてなされたものであり、性能の低いタッチパネルを使用した場合でも、ピンチ操作に応じた適切な画像を表示することのできる表示制御装置を提供することを目的とする。

上記目的を達成するため、本発明に係る表示制御装置は、
パネルに触れる第１の指及び第２の指の接触点であり、ピンチ操作中に移動する当該接触点を取得する取得手段と、
前記取得手段により取得された前記第１の指及び前記第２の指の接触点について、移動に伴う前記パネル上の基準点との距離の変化量を前記第１の指と前記第２の指とで比較し、当該変化量の大きい一方の指を決定する決定手段と、
前記決定手段により決定された前記一方の指の接触点と、前記基準点とに基づいた表示倍率の画像を生成する画像生成手段と、
を備える。

本発明によれば、ピンチ操作（ピンチイン・ピンチアウト操作）に応じた表示倍率の画像を生成する際に、順次取得される入力座標（つまり、第１の指及び第２の指の接触点）のうち、一方の指の接触点を用いて表示倍率の計算を行っている。このため、計算結果に含まれる誤差を減らすことができ、パネル（例えば、タッチパネルやタッチパッド）の性能によらず、ユーザに違和感を与えない表示画像の変更（縮小・拡大）を実現することができる。また、一方の指の接触点だけを用いるため、従来技術の様な両方の指の接触点を用いる場合と比べ、処理負荷を低減できると共に、座標値を格納するための記憶領域を小さくすることができる。

本発明の実施形態に係る表示制御装置を含むハードウェア構成図である。表示制御装置の機能的な構成を示す図である。表示制御装置が実行する表示画像拡縮処理の一例を示すフローチャートである。タッチ開始時の接触点の具体例を示す図である。変化基準点の決定方法を具体的に説明するための図である。変化検出点の決定方法を具体的に説明するための図である。距離計算の方法を具体的に説明するための図である。ピンチ操作前の表示画像を示す図である。ピンチ操作後の表示画像を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付す。

（ハードウェア構成）
図１は、本発明の実施形態に係る表示制御装置１を含むハードウェア構成図である。表示制御装置１は、タッチパネル３に２本の指（第１の指及び第２の指）を接触させたまま、指の間隔を変更するピンチ操作（ピンチイン・ピンチアウト操作）に応じて、液晶パネル５に表示する画像を変更（縮小・拡大）する装置である。

図１に示すように、表示制御装置１は、入力通信線２を介してタッチパネル３と接続されている。表示制御装置１は、タッチパネル３から入力通信線２を介して送られる指示位置情報（接触点の情報）を取得する。例えば、ユーザがタッチパネル３にてピンチ操作を行うと、表示制御装置１は、指示位置情報を順次取得する。つまり、表示制御装置１は、ピンチ操作中における接触点の移動（第１の指及び第２の指の移動）を指示位置情報により把握できるようになっている。

また、表示制御装置１は、出力通信線４を介して液晶パネル５に接続されている。表示制御装置１は、タッチパネル３から取得した指示位置情報を基に画像を生成する。例えば、ユーザがタッチパネル３にてピンチ操作を行うと、取得した指示位置情報（後述する一方の指についての変化検出点）や基準点（後述する変化基準点）などを基に表示倍率を決定し、決定した表示倍率の画像を生成する。表示制御装置１は、生成した画像を液晶パネル５に表示させる。

タッチパネル３は、例えば、光学式、抵抗式、静電容量式、超音波式などのパネルによって構成されており、液晶パネル５の前面に配置される。タッチパネル３は、ユーザが指やスタイラスペンにて触れた接触点を検出すると、検出した接触点の位置を示す指示位置情報を生成し、入力通信線２を介して表示制御装置１に送信する。なお、タッチパネル３は、マルチタッチに対応しており、例えば、ピンチ操作中においても、第１の指及び第２の指の接触点の位置を示す指示位置情報を表示制御装置１に順次送信する。

本発明の実施形態では、一例として、タッチパネル３を用いる場合について説明するが、タッチパネル３の代わりに、他の入力デバイスを用いてもよい。例えば、マルチタッチに対応したタッチパッドを用いた場合でも、同様に適用可能である。

液晶パネル５は、例えば、液晶を駆動するための駆動回路、カラーフィルタ、及び、光源などを含んだカラー液晶表示パネルである。液晶パネル５は、出力通信線４を介して表示制御装置１によって制御され、種々の画像を表示する。

本発明の実施形態では、一例として、液晶パネル５を用いる場合について説明するが、液晶パネル５の代わりに、他の表示デバイスを用いてもよい。例えば、有機ＥＬ（ElectroLuminescence）パネルを用いた場合でも、同様に適用可能である。

（表示制御装置の詳細）
次に、表示制御装置１の機能的な構成について、図２を用いて説明する。図２に示すように、表示制御装置１は、機能的には、指示位置情報取得手段１１と、座標決定手段１２と、座標記憶手段１３と、距離算出手段１４と、距離記憶手段１５と、表示倍率算出手段１６と、画像生成手段１７と、を備える。なお、表示制御装置１は、ＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）を備えており（何れも図示せず）、ＣＰＵが、ＲＡＭをワークメモリとして用い、例えば、ＲＯＭに記憶されている各種プログラムを適宜実行することにより、これらの機能が実現される。

指示位置情報取得手段１１は、入力通信線２を介してタッチパネル３から送られる指示位置情報（接触点を示す情報）を取得する。例えば、ユーザがタッチパネル３にてピンチ操作を行うと、指示位置情報取得手段１１は、送られる指示位置情報により、ピンチ操作中に移動する第１の指及び第２の指の接触点を順次取得する。

座標決定手段１２は、ピンチ操作に応じた表示画像の変更に必要な変化検出点を決定し、決定した変化検出点を座標記憶手段１３に格納する。なお、座標決定手段１２は、変化検出点を決定する前に、接触点の変化を検出する際に基準となる変化基準点と、表示画像を拡縮（縮小・拡大）する際に中心となる拡縮中心点とを、以下のように決定する。

座標決定手段１２は、指示位置情報による第１の指及び第２の指における最初の接触点の中点（中心）を変化基準点に決定する。なお、本発明の実施形態では、最初の接触点の中点を変化基準点に用いる場合について説明するが、他の点を変化基準点に用いてもよい。例えば、座標決定手段１２は、タッチパネル３の中心点を変化基準点に決定してもよい。

座標決定手段１２は、変化基準点と同じ位置（同じ座標値）を拡縮中心点に決定する。つまり、最初の接触点の中点を変化基準点に用いる場合には、拡縮中心点も最初の接触点の中点となる。また、タッチパネル３の中心点を変化基準点に用いる場合には、拡縮中心点もタッチパネル３の中心点となる。なお、本発明の実施形態では、拡縮中心点を変化基準点と同じ位置に決定する場合について説明するが、変化基準点と異なる位置を拡縮中心点に決定してもよい。例えば、最初の接触点の中点を変化基準点に用いる場合には、タッチパネル３の中心点を拡縮中心点に決定してもよく、また、タッチパネル３の中心点を変化基準点に用いる場合には、最初の接触点の中点を拡縮中心点に決定してもよい。

座標決定手段１２は、順次取得される第１の指及び第２の指の接触点に応じて、一方の指を決定する。例えば、座標決定手段１２は、第１の指及び第２の指における最初の接触点と１つ後の接触点と変化基準点とに基づいて一方の指を決定し、この一方の指の接触点を、接触点の変化を検出するための変化検出点に順次決定する。なお、一方の指を決定する際に、座標決定手段１２は、最初の接触点と変化基準点との距離から、１つ後の接触点と変化基準点との距離への変化量を指毎に（第１の指と第２の指とで）比較し、この変化量の大きい方の指を決定する。

座標記憶手段１３は、接触点の変化を検出する際に基準となる変化基準点と、表示画像を拡縮（縮小・拡大）する際に中心となる拡縮中心点と、接触点の変化を検出するための変化検出点とを記憶する。つまり、座標決定手段１２が決定した、変化基準点、拡縮中心点、及び、変化検出点とを含む各座標値を記憶する。

距離算出手段１４は、座標記憶手段１３に記憶される変化基準点と変化検出点との間の距離を順次算出し、算出した距離を距離記憶手段１５に格納する。具体的に、距離算出手段１４は、タッチパネル３のｘ軸（水平軸）に対する距離（変化基準点と変化検出点との距離）を算出する。なお、本発明の実施形態では、タッチパネル３のｘ軸に対する距離を算出する場合について説明するが、タッチパネル３のｙ軸（垂直軸）に対する距離を算出するようにしてもよい。

距離記憶手段１５は、距離算出手段１４に算出された最新の距離と、その１つ前に算出された距離とを記憶する。

表示倍率算出手段１６は、距離記憶手段１５に格納された２つの距離（最新の距離と１つ前の距離）の対比に基づいて、表示画像の表示倍率を算出する。より詳細には、表示倍率算出手段１６は、２つの距離の変化率を使用して表示画像の表示倍率を算出する。

画像生成手段１７は、座標記憶手段１３に格納された拡縮中心点を中心に、表示倍率算出手段１６が算出した表示倍率に応じて拡縮した画像を生成する。画像生成手段１７は、生成した画像についての情報を、出力通信線４を介して液晶パネル５に送信することで、生成した画像を液晶パネル５に表示させる。

（表示制御装置の動作）
本発明の実施形態に係る表示制御装置１の動作について、図３を参照して説明する。図３は、表示制御装置１が実行する表示画像拡縮処理の一例を示すフローチャートである。また、表示画像拡縮処理に用いる接触点（変化検出点）や変化基準点などの具体例を、図４〜図８を参照して説明する。なお、図４〜図８においては、左上の角をタッチパネル３の原点とし、水平方向（右方向）をｘ軸、垂直方向（下方向）をｙ軸とする。また、接触点Ａは、第１の指（例えば、親指）による指示位置を示しており、一方、接触点Ｂは、第２の指（例えば、人差し指）による指示位置を示している。

まず、表示制御装置１（指示位置情報取得手段１１）は、指示位置情報を取得すべきタイミングで、タッチパネル３から指示位置情報を取得する（ステップＳ１０１）。図４の具体例では、以下のような座標値（最初の接触点）を取得した場合を示している。

つまり、指示位置情報取得手段１１は、タッチ開始時の入力座標として、接触点Ａ₀（８，６）と接触点Ｂ₀（１２，４）とを取得する。

表示制御装置１は、ステップＳ１０１にて取得した指示位置の入力が２点であるか否かを判別する（ステップＳ１０２）。表示制御装置１は、指示位置の入力が２点でないと判別すると（ステップＳ１０２；Ｎｏ）、そのまま表示画像拡縮処理を終える。

一方、指示位置の入力が２点であると判別した場合（ステップＳ１０２；Ｙｅｓ）に、表示制御装置１（座標決定手段１２）は、ピンチ操作に応じた表示画像の変更に必要な変化基準点、拡縮中心点、及び、変化検出点を決定し、座標記憶手段１３に格納する（ステップＳ１１０）。

以下、ステップＳ１１０の詳細（ステップＳ１１３〜Ｓ１１５）を説明する。なお、図４の具体例では、取得した座標値が２点であったため、ステップＳ１１３に進む。

座標決定手段１２は、接触点の変化を検出する際に基準となる変化基準点を決定し、座標記憶手段１３に格納する（ステップＳ１１３）。図５の具体例では、変化基準点Ｃをタッチ開始時の２点である接触点Ａ₀と接触点Ｂ₀との中点に決定した場合を示している。

すなわち、座標決定手段１２は、以下の式１により、変化基準点Ｃを決定すると（求めると）、変化基準点Ｃの座標値を座標記憶手段１３に格納する。なお、このような変化基準点（変化基準点Ｃ）の求め方は、一例であり、他の手法により、変化基準点を求めてもよい。また、座標決定手段１２は、タッチパネル３上の中心点（固定位置）を、変化基準点に決定してもよい。

座標決定手段１２は、表示画像を拡縮（縮小・拡大）する際に中心となる拡縮中心点を決定し、座標記憶手段１３に格納する（ステップＳ１１４）。例えば、座標決定手段１２は、ステップＳ１１３にて決定した変化基準点と同じ位置（同一の点）を拡縮中心点に決定し、決定した拡縮中心点の座標値を座標記憶手段１３に格納する。なお、拡縮中心点を変化基準点と同じ座標値に決定するのは一例であり、拡縮中心点を変化基準点とは異なる座標値に決定してもよい。

座標決定手段１２は、接触点の変化を検出するための変化検出点を決定し、座標記憶手段１３に格納する（ステップＳ１１５）。例えば、座標決定手段１２は、各指の接触点のうち、最初の接触点と１つ後の接触点と変化基準点とに基づいて一方の指を決定し、この一方の指の接触点を、接触点の変化を検出するための変化検出点に順次決定する。なお、一方の指を決定する際に、座標決定手段１２は、最初の接触点から基準点への距離と、１つ後の接触点から基準点への距離との変化量を指毎に（第１の指と第２の指とで）比較し、この変化量の大きい方の指を決定する。また、本発明の実施形態では、タッチパネル３のｘ軸に対する距離を算出する場合について説明するが、タッチパネル３のｙ軸に対する距離を算出するようにしてもよい。

図６の具体例では、タッチ開始後１回目の入力座標取得時に、以下の座標が取得された場合を示している。

つまり、指示位置情報取得手段１１は、タッチ開始から１回目（１つ後）の入力座標として、接触点Ａ₁（５，８）と接触点Ｂ₁（１３，３）とを取得する。

そして、座標決定手段１２は、最初の接触点と変化基準点との距離から、１つ後の接触点と変化基準点との距離への変化量を指毎に比較し、この変化量の大きい方の指を決定する。例えば、図６の具体例では、第１の指（例えば、親指）について、接触点Ａ₀と変化基準点Ｃとの距離ｌＡ₀から、接触点Ａ₁と変化基準点Ｃとの距離ｌＡ₁への変化量を求める。また、第２の指（例えば、人差し指）について、接触点Ｂ₀と変化基準点Ｃとの距離ｌＢ₀から、接触点Ｂ₁と変化基準点Ｃとの距離ｌＢ₁への変化量を求める。そして、以下の式２に示すように、距離ｌＡ₀から距離ｌＡ₁への変化量の方が、距離ｌＢ₀から距離ｌＢ₁への変化量よりも大きいため、座標決定手段１２は、第１の指の接触点Ａ₁を変化検出点に決定する。この後、座標決定手段１２は、第１の指の接触点Ａ_nを変化検出点に順次決定して、座標記憶手段１３に格納する。

表示制御装置１（距離算出手段１４）は、座標記憶手段１３に格納されている変化基準点と変化検出点を使用して、変化基準点と変化検出点との距離を計算し、算出結果を距離記憶手段１５に格納する（ステップＳ１０６）。なお、本発明の実施形態では、タッチパネル３のｘ軸に対する距離を算出する場合について説明するが、タッチパネル３のｙ軸に対する距離を算出するようにしてもよい。

座標記憶手段１３は、ステップＳ１０６にて算出された最新の距離と、その１つ前に算出された距離とを記憶する。つまり、座標記憶手段１３に変化検出点として接触点Ａ_nが格納されている状態では、図７の具体例に示すように、座標記憶手段１３には、接触点Ａ_nと変化基準点Ｃとの距離ｌＡ_nと、接触点Ａ_n-1と変化基準点Ｃとの距離ｌＡ_n-1とが格納されている。

なお、距離ｌＡ_nは、以下の式３により算出されている。また、１つ前の距離ｌＡ_n-1についても、同様に算出されている。

表示制御装置１（表示倍率算出手段１６）は、表示倍率を算出する（ステップＳ１０７）。つまり、表示倍率算出手段１６は、座標記憶手段１３に格納されている２つの距離（最新の距離と１つ前の距離）の対比に基づいて、表示画像の表示倍率を算出する。より詳細には、表示倍率算出手段１６は、２つの距離の変化率を使用して表示画像の表示倍率を算出する。なお、本発明の実施形態では、２つの距離の変化率をそのまま表示倍率とする（変化率と表示倍率とを同じにする）場合について説明するが、変化率を基に予め定められた演算により、表示倍率を算出してもよい。

具体的に、表示倍率算出手段１６は、座標記憶手段１３に格納されている距離ｌＡ_nと、接触点Ａ_n-1を、以下の式４により変化率を求め、その変化率を表示倍率として算出する。

表示制御装置１は、変化検出点の入力が継続しているか否かを判別する（ステップＳ１０８）。表示制御装置１は、変化検出点の入力が継続していると判別すると（ステップＳ１０８；Ｙｅｓ）、上述したステップＳ１０６に処理を戻し、ステップＳ１０６〜Ｓ１０８の処理を繰り返し実行する。

一方、変化検出点の入力が継続していないと判別した場合（ステップＳ１０８；Ｎｏ）に、表示制御装置１（画像生成手段１７）は、表示画像を生成して出力する（ステップＳ１０９）。すなわち、画像生成手段１７は、上述したステップＳ１１４にて決定した拡縮中心点と、上述したステップＳ１０７にて算出した表示倍率とに基づいて、どのように画像を表示するかを決定し、表示画像の情報を液晶パネル５に出力する。

つまり、画像生成手段１７は、座標記憶手段１３に格納された拡縮中心点を中心に、表示倍率算出手段１６がステップＳ１０７にて算出した表示倍率に応じて拡縮した画像を生成する。

例えば、ピンチ操作前に、図８Ａの具体例に示すような画像が液晶パネル５に表示されており、ステップＳ１０７にて上述した式４により変化率（＝表示倍率）が算出されていた場合、画像生成手段１７は、図８Ｂの具体例に示すように、変化基準点Ｃ（＝拡縮中心点）を中心に、８／７倍に拡大した画像を生成し、液晶パネル５に表示させる。

なお、図４〜図８に示した具体例では、ユーザがピンチアウト操作を行った場合について示しているが、ユーザがピンチイン操作を行った場合も同様である。つまり、ピンチイン操作が行われると、ステップＳ１０７にて縮小の表示倍率が算出され、ステップＳ１０９にて縮小された画像が生成されて液晶パネル５に表示される。

このような表示画像拡縮処理により、性能の低いタッチパネル３を使用した場合でも、ピンチ操作（ピンチイン・ピンチアウト操作）に応じた適切な画像を表示することができる。すなわち、ピンチ操作に応じた表示倍率の画像を生成する際に、順次取得される入力座標（つまり、第１の指及び第２の指の接触点）のうち、一方の指の接触点を用いて表示倍率の計算を行っている。このため、計算結果に含まれる誤差を減らすことができ、タッチパネル３の性能によらず、ユーザに違和感を与えない表示画像の変更（縮小・拡大）を実現することができる。また、一方の指の接触点だけを用いるため、従来技術の様な両方の指の接触点を用いる場合と比べ、処理負荷を低減できると共に、座標値を格納するための記憶領域を小さくすることができる。

（他の実施形態）
上述したステップＳ１１３で決定する変化基準点、及び、上述したステップＳ１１４で決定する拡縮中心点は、任意に決定してよい。また、変化基準点と拡縮中心点は同一でなくてもよい。例えば、本発明の実施形態では、変化基準点と拡縮中心点をタッチ開始時の２点間の中点（中心）としたが、液晶パネル５の中心としてもよい。

上述したステップＳ１１５で決定する変化検出点は任意に決定してよい。また、任意のタイミングで変更してもよい。例えば、本発明の実施形態では、タッチ開始後１回目の入力座標（接触点）取得時の変化基準点と入力点（接触点）間の距離を比較し、変化量が最大の点としたが、任意の点から最も遠い点としてもよい。

上述したステップＳ１０７で決定する表示倍率の導出式は任意とし、距離算出結果の変化率と同一でなくてもよい。

このように、表示制御装置１においては、距離計算に固定の１点と移動する変化検出点１点とを使用している。

従って、移動する２点間の距離の計算結果を使用する場合と比較して計算結果に含まれる誤差が少なくなり、タッチパネル３の性能が低い場合でもユーザに違和感を与えず画像の拡縮を実現することができる。

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

本発明は、各種の電気機器、装置などに採用される表示制御装置に利用することができる。

１表示制御装置、２入力通信線、３タッチパネル、４出力通信線、５液晶パネル、１１指示位置情報取得手段、１２座標決定手段、１３座標記憶手段、１４距離算出手段、１５距離記憶手段、１６表示倍率算出手段、１７画像生成手段

Claims

パネルに触れる第１の指及び第２の指の接触点であり、ピンチ操作中に移動する当該接触点を取得する取得手段と、
前記取得手段により取得された前記第１の指及び前記第２の指の接触点について、移動に伴う前記パネル上の基準点との距離の変化量を前記第１の指と前記第２の指とで比較し、当該変化量の大きい一方の指を決定する決定手段と、
前記決定手段により決定された前記一方の指の接触点と、前記基準点とに基づいた表示倍率の画像を生成する画像生成手段と、
を備えた表示制御装置。
前記表示倍率を算出する算出手段を更に備え、
前記決定手段は、前記一方の指を決定すると、前記取得手段により取得された当該一方の指の接触点を、変化を検出するための検出点に順次決定し、
前記算出手段は、前記決定された検出点と前記基準点との距離を順次算出し、当該距離のうち、最新の距離と１つ前の距離との対比に基づいて、表示倍率を算出し、
前記画像生成手段は、前記算出された表示倍率の画像を生成する、
請求項１に記載の表示制御装置。
前記算出手段は、前記距離を算出する際に、前記パネルの水平軸又は垂直軸に対する距離を算出する、
請求項２に記載の表示制御装置。
前記算出手段は、前記最新の距離と前記１つ前の距離との変化率を表示倍率として算出する、
請求項２に記載の表示制御装置。
前記基準点は、前記取得手段により取得された前記第１の指及び前記第２の指の接触点における最初の接触点の中点である、
請求項１から４の何れか１項に記載の表示制御装置。
前記基準点は、前記パネルの中心点である、
請求項１から４の何れか１項に記載の表示制御装置。
前記画像生成手段は、前記取得手段により取得された前記第１の指及び前記第２の指の接触点における最初の接触点の中点を拡縮の中心点として画像を生成する、
請求項１から４の何れか１項に記載の表示制御装置。
前記画像生成手段は、前記パネルの中心点を拡縮の中心点として画像を生成する、
請求項１から４の何れか１項に記載の表示制御装置。