JP6134235B2 - 制御装置、電子制御システム、制御方法、およびプログラム - Google Patents

Description

本発明は、制御装置、電子制御システム、制御方法、およびプログラムに関する。

近赤外線光源とカメラの組み合わせにより２つもしくは１つの瞳孔を顔の画像から検出し、頭の動き、特に回転により、パソコン画面にほぼ平行な面の中を移動する瞳孔の空間位置に合わせて、パソコン画面上のカーソルを動かすポインティング装置が知られている（例えば、特許文献１参照）。

また、頭部動き検出部で検出される情報から利用者の頭部動作を特定し、その角速度に対応する利用者の望む処理（画像の切り替え等）を実行する制御装置が知られている（例えば、特許文献２参照）。この装置では、利用者頭部の戻り動作を処理に反映しないことで、利用者の頭部動作による操作を、より正確に実行するものとしている。

特開２００５−１８２２４７号公報 特開２０１２−１２３８１２号公報

従来の技術は、利用者側が行う動作の結果を如何にして検知するかを主眼としており、装置が提供する情報を利用者が認識したかどうかを適切に確認することができない場合がある。

本発明は、このような事情を考慮してなされたものであり、システムが提供する情報を利用者が認識したかどうかを、利用者の自然な動作を利用して確認することを目的の一つとする。

本発明の一態様は、表示部の表示面内を移動する表示対象を前記表示部に表示させる表示制御部と、利用者の視野が向く方向を表す指標データを算出する視野方向検出部と、前記表示面内における前記表示対象の少なくとも移動方向と、前記視野方向検出部により算出された指標データが適合しているか否かを判定する判定部と、前記判定部により適合していると判定されたか否かに基づいて、異なる処理を行う処理部と、利用者の視野が向く方向における風景の移動方向を検出する検出部とを備え、前記表示制御部は、前記表示対象の移動方向を、前記検出部により検出された風景の移動方向とは異なる方向に決定する制御装置である。
本発明の一態様において、前記視野方向検出部は、前記表示部の挙動を検出する挙動検出部の検出結果を参照し、前記表示部の前記表示面に平行である移動速度ベクトルを、前記指標データとして算出するものとしてよい。
また、本発明の一態様において、前記判定部は、前記表示面内における前記表示対象の移動速度ベクトルと前記表示部の移動速度ベクトルとのなす角度が基準角度以下であり、且つ前記表示対象の移動速度ベクトルと前記表示部の移動速度ベクトルのいずれか一方又は双方を、表示対象の移動方向又は表示部の移動方向と一致させた方向に写像した場合又は表示対象の移動速度ベクトルおよび表示部の移動速度ベクトルの双方をそれぞれ一方向に写像した場合のベクトル間の大きさの差分が基準速度以下である場合に、前記表示面内における前記表示対象の少なくとも移動方向と、前記視野方向検出部により算出された指標データが適合していると判定するものとしてよい。
また、本発明の一態様において、前記処理部は、前記判定部により適合していると判定された状態が継続する時間に応じて、異なる処理を行うものとしてよい。
また、本発明の一態様において、前記処理部は、前記表示対象の有する情報量に応じて、前記継続する時間に対する閾値を変更するものとしてよい。
また、本発明の一態様において、前記表示制御部は、前記判定部により適合していると判定された場合、前記表示対象を当初の移動方向とは逆方向に移動させるものとしてよい。
また、本発明の一態様において、前記表示制御部は、前記判定部により適合していると判定された場合、前記表示対象を、前記表示対象の移動速度ベクトルから前記表示部の移動速度ベクトルを差し引いた方向に移動させるものとしてよい。
また、本発明の一態様において、前記表示制御部は、前記判定部により適合していると判定された場合、前記表示部の移動速度ベクトルの向きが前記表示対象の移動する方向に合致している場合のみ、前記表示対象を前記表示部の移動速度ベクトルとは逆方向に移動させるものとしてよい。
また、本発明の一態様において、前記表示制御部は、前記判定部により適合していると判定された場合、前記表示対象の位置を停止させるものとしてよい。
また、本発明の一態様において、前記表示制御部は、前記表示対象の移動方向をランダムに決定するものとしてよい。
また、本発明の一態様において、前記検出部は、利用者の視野が向く方向における風景を撮像する撮像部を備え、前記撮像部により撮像された画像に対してオプティカルフロー処理を行うことにより前記風景の移動方向を検出するものとしてよい。
また、本発明の一態様において、前記検出部は、前記表示部の位置を検出する位置検出部を備え、前記位置検出部により検出された前記表示部の位置に基づいて、前記風景の移動方向を検出するものとしてよい。
本発明の他の態様は、表示部の表示面内を移動する表示対象を前記表示部に表示させる表示制御部と、前記表示部の挙動を検出する挙動検出部の検出結果を参照し、前記表示部の前記表示面に平行である移動速度ベクトルを算出する算出部と、前記表示面内における前記表示対象の少なくとも移動方向と、前記視野方向検出部により算出された指標データが適合しているか否かを判定する判定部と、を備え、前記表示制御部は、前記判定部により適合していると判定された場合、前記表示対象をそれまでの移動方向とは逆方向に移動させる、制御装置である。
また、本発明の他の態様は、表示部の表示面内を移動する表示対象を前記表示部に表示させる表示制御部と、前記表示部の挙動を検出する挙動検出部の検出結果を参照し、前記表示部の前記表示面に平行である移動速度ベクトルを算出する視野方向検出部と、前記表示面内における前記表示対象の少なくとも移動方向と、前記視野方向検出部により算出された指標データが適合しているか否かを判定する判定部と、を備え、前記表示制御部は、前記判定部により適合していると判定された場合、前記表示対象を前記表示部の移動速度ベクトルに基づく方向に移動させる、制御装置である。
また、本発明の他の態様は、制御装置が実行する制御方法であって、表示部の表示面内を移動する表示対象を前記表示部に表示させるステップと、利用者の視野が向く方向を表す指標データを算出するステップと、前記表示面内における前記表示対象の少なくとも移動方向と、前記算出された指標データが適合しているか否かを判定するステップと、前記判定するステップで適合していると判定されたか否かに基づいて、異なる処理を行うステップと、利用者の視野が向く方向における風景の移動方向を検出するステップと、前記表示対象の移動方向を、前記検出するステップで検出された風景の移動方向とは異なる方向に決定するステップとを有する制御方法である。
また、本発明の他の態様は、制御装置の制御コンピュータに、表示部の表示面内を移動する表示対象を前記表示部に表示させるステップと、利用者の視野が向く方向を表す指標データを算出するステップと、前記表示面内における前記表示対象の少なくとも移動方向と、前記算出された指標データが適合しているか否かを判定するステップと、前記判定するステップで適合していると判定されたか否かに基づいて、異なる処理を行うステップと、利用者の視野が向く方向における風景の移動方向を検出するステップと、前記表示対象の移動方向を、前記検出するステップで検出された風景の移動方向とは異なる方向に決定するステップとを実行させるプログラムである。

本発明の一態様によれば、システムが提供する情報を利用者が認識したかどうかを、利用者の自然な動作を利用して確認することができる。

本発明の第１実施形態に係る電子制御システム１が利用される様子を模式的に示す図である。 ＸＹＺ座標系を定義する図である。 制御装置３０の機能構成の一例を示す図である。 提示情報ＯＤがシースルー型ディスプレイ装置１２の表示面１２Ａを移動する様子の一例を示す図である。 提示速度ベクトル→Ｖｉ、移動速度ベクトル→Ｖｄ、および写像ベクトル→ｔＶｉの関係を示す図である。 利用者が提示情報ＯＤを視認してＯＫ判定がなされた場合における、提示情報ＯＤの表示位置の変化の一例を示す図である。 利用者が提示情報ＯＤを視認してＯＫ判定がなされた場合における、提示情報ＯＤの表示位置の変化の他の例を示す図である。 利用者が提示情報ＯＤを視認してＯＫ判定がなされた場合における、提示情報ＯＤの表示位置の変化の他の例を示す図である。 風景方向検出部３６Ａにより検出された風景の移動方向とは異なる方向に提示情報ＯＤが移動する様子を示す図である。 本実施形態の電子制御システム１により実行される処理の流れを示すフローチャートの一例である。 本実施形態の電子制御システム１により実行される処理の流れを示すフローチャートの他の例である。 第２実施形態の電子制御システム２がシースルー型ディスプレイ装置１２に表示させる画面の一例を示す図である。 第２実施形態の電子制御システム２がシースルー型ディスプレイ装置１２に表示させる画面の他の例を示す図である。

以下、図面を参照し、本発明の制御装置、電子制御システム、制御方法、およびプログラムの実施形態について説明する。

＜第１実施形態＞
［ハードウェア構成］
図１は、本発明の第１実施形態に係る電子制御システム１が利用される様子を模式的に示す図である。電子制御システム１は、例えば、メガネ状の形状を有し、利用者Ｕの頭部に装着されて利用されるヘッドマウントディスプレイ１０と、制御装置３０とを備える。
ヘッドマウントディスプレイ１０は、利用者の眼に入射する光をある程度透過すると共に、利用者の眼に向いた面に画像を表示可能なシースルー型ディスプレイ装置１２と、センサ部１４と、風景撮影用のカメラ１６とを備える。シースルー型ディスプレイ装置１２は、例えば、光透過性のＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）表示装置を備える。シースルー型ディスプレイ装置１２は、制御装置３０から提供される画像データに基づいて、各種画像を表示する。

センサ部１４は、例えば、加速度センサやジャイロセンサを含み、シースルー型ディスプレイ装置１２を備えたヘッドマウントディスプレイ１０の挙動である加速度や角速度等を検出する。カメラ１６は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を有するカメラである。センサ部１４の検出値やカメラ１６の撮像した画像は、制御装置３０に送信される。

制御装置３０は、例えば、利用者によって保持可能なサイズの筐体に収められ、通信ケーブルまたは無線でヘッドマウントディスプレイ１０と通信することで、画像やセンサ検出値等の送受信を行う。制御装置３０は、例えば、携帯電話やタブレット端末等の携帯型端末に、専用ソフトウェアがインストールされたものである。また、これに限らず、制御装置３０は、電子制御システム１の専用装置であってもよい。また、制御装置３０は、ヘッドマウントディスプレイ１０に内蔵されてもよい。

以下、電子制御システム１の機能について、適宜、ＸＹＺ座標系を用いて説明する。図２は、ＸＹＺ座標系を定義する図である。

［機能構成、および基本的な処理］
図３は、制御装置３０の機能構成の一例を示す図である。制御装置３０は、例えば、タッチパネルや各種ボタン等の入力部３２と、処理部３４と、表示制御部３６と、視野方向検出部３８と、判定部４０と、記憶部５０とを備える。記憶部５０には、例えば、プログラム５２と、コンテンツデータ５４とが記憶されている。制御装置３０は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサを備える。処理部３４、表示制御部３６、視野方向検出部３８、および判定部４０は、例えば、プロセッサがプログラム５２を実行することにより機能するソフトウェア機能部である。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。プログラム５２とコンテンツデータ５４は、例えば、制御装置３０がインターネットに接続することで、インターネット上のサーバ装置等からダウンロードされる。また、プログラム５２とコンテンツデータ５４は、各種可搬型記憶媒体に格納されたものが記憶部５０にインストールされてもよいし、制御装置３０の出荷時に予め記憶部５０に格納されていてもよい。記憶部５０としては、例えば、フラッシュメモリ、ＲＡＭ（Random Access Memory）、レジスタの他、ＨＤＤやＳＤカード等が用いられてよい。

処理部３４は、例えば、コンテンツデータ５４に基づく画像をシースルー型ディスプレイ装置１２に表示させて利用者に提供するための処理を行う。本実施形態において、電子制御システム１は、例えば、英単語の暗記のための学習コンテンツを利用者に提供する。コンテンツデータ５４には、暗記の対象となる英単語と翻訳語が、例えばレベル別に格納されている。処理部３４は、入力部３２に対してなされた利用者の操作に応じて、所望のレベルの英単語と翻訳語のテキストデータをコンテンツデータ５４から読み出し、表示制御部３６に出力する。

表示制御部３６は、処理部３４から入力された英単語と翻訳語のテキストデータを、所定の方向に、所定の速度で移動させながらシースルー型ディスプレイ装置１２に表示させる。以下、このように提示される情報を、提示情報ＯＤと称して説明する。提示情報ＯＤは、「表示対象」の一例である。また、提示情報ＯＤが移動する所定の方向および所定の速度を、提示速度ベクトル→Ｖｉと表現する。以下、「→」は、続く符号がベクトルであることを示すものとする。提示速度ベクトル→Ｖｉは、提示情報ＯＤの移動速度ベクトルである。

図４は、提示情報ＯＤがシースルー型ディスプレイ装置１２の表示面１２Ａを移動する様子の一例を示す図である。図４に示すように、提示情報ＯＤは、利用者が特段の行動をしなければ、表示面１２Ａの端部１２Ａａまで移動して消滅するように制御される。

視野方向検出部３８は、センサ部１４から入力された検出値に基づいて、利用者の視野が向く方向を検出する。本実施形態において、「利用者の視野が向く方向」とは、利用者がヘッドマウントディスプレイ１０を介して風景を見る方向（図２におけるＺ方向）を意味する。視野方向検出部３８は、利用者の視野が向く方向を表す指標データとして、例えば、表示面１２Ａに平行な方向（図２におけるＸ―Ｙ平面上の方向）の、シースルー型ディスプレイ装置１２自身の移動速度ベクトル→Ｖｄを算出して判定部４０に出力する。利用者が頭部を傾けて視野の向く方向を変化させると、必然的にシースルー型ディスプレイ装置１２が頭部を中心として回動するため、移動速度ベクトル→Ｖｄは、利用者の視野が向く方向を表す指標データとなる。

判定部４０は、表示面１２Ａ内を提示情報ＯＤが移動する方向（提示速度ベクトル→Ｖｉの方向）と、視野方向検出部３８により算出された移動速度ベクトル→Ｖｄとが適合しているか否かを判定する。まず、判定部４０は、移動速度ベクトル→Ｖｄと提示速度ベクトル→Ｖｉとのなす角度θ（方向を考えず、絶対値とする）が基準角度θ１以下であるか否かを判定する。次に、判定部４０は、移動速度ベクトル→Ｖｄを、提示速度ベクトル→Ｖｉに写像した写像ベクトル→ｔＶｉを算出し、提示速度ベクトル→Ｖｉと写像ベクトル→ｔＶｉの大きさの差分｜Ｖｉ―ｔＶｉ｜が基準速度Ｖ１以下であるか否かを判定する。そして、判定部４０は、角度θが基準角度θ１以下であり、且つ差分｜Ｖｉ―ｔＶｉ｜が基準速度Ｖ１以下である場合に、表示面１２Ａ内を提示情報ＯＤが移動する方向と、視野方向検出部３８により算出された移動速度ベクトル→Ｖｄとが適合していると判定する。判定部４０による判定の結果は、処理部３４および表示制御部３６に出力される。図５は、提示速度ベクトル→Ｖｉ、移動速度ベクトル→Ｖｄ、および写像ベクトル→ｔＶｉの関係を示す図である。

［判定結果に基づく処理］
処理部３４は、判定部４０により表示面１２Ａ内を提示情報ＯＤが移動する方向と、視野方向検出部３８により算出された移動速度ベクトル→Ｖｄとが適合していると判定されたか否かに応じて異なる処理を行う。以下、適合しているという判定をＯＫ判定、適合していないという判定をＮＧ判定と称する。

ＯＫ判定が、例えば所定時間、継続した場合、処理部３４は、判定利用者が提示情報ＯＤを十分に認識したと判断し、例えば、提示情報ＯＤの表示を停止するように表示制御部３６に指示すると共に、コンテンツデータ５４における提示情報ＯＤの元データに確認済みフラグを付与する。確認済フラグが付与された元データは、利用者の特段の操作がなければ、以降、処理部３４によって読み出されない。また、ＯＫ判定が所定時間、継続した場合、処理部３４は、内部的にカウントしているスコアに所定の値を付与して蓄積しておき、所望のタイミングで利用者に提示してもよい。ここで、「所定時間」は、一定時間（例えば３［ｓｅｃ］程度）としてもよいし、提示情報ＯＤの情報量（例えば文字数）に応じて変更してもよい。すなわち、英単語や翻訳語が長いワードである場合には、所定時間を長く設定してもよい。また、所定時間は、提示情報ＯＤの例えばレベルに応じて定義されてもよい。また、「所定時間、継続する」とは、ＯＫ判定が隙間なく継続することを意味するのではなく、ＯＫ判定がなされた回数が所定回数に至ることを意味してもよい。

一方、ＮＧ判定が、例えば提示情報ＯＤが表示面１２Ａから消滅するまで継続した場合、処理部３４は、利用者が提示情報ＯＤを認識しなかったと判断し、例えば同じ提示情報ＯＤを、ある程度の時間が経過した後に、再度表示するように表示制御部３６に指示する。

このように、本実施形態の電子制御システム１では、提示速度ベクトル→Ｖｉと移動速度ベクトル→Ｖｄが方向、大きさ共に近い状態が継続した場合に、利用者が提示情報ＯＤを十分に認識したと判断する。利用者が提示情報ＯＤを視認するときは、提示情報ＯＤを目で追うために、無意識に頭部を回動させるものである。このため、角度θが基準角度θ１以下であり、且つ差分｜Ｖｉ―ｔＶｉ｜が基準速度Ｖ１以下である場合には、利用者が提示情報ＯＤを認識したと判断することができ、そうでない場合には、認識しなかったと判断することができる。本実施形態の電子制御システム１は、このような考察に基づき上記制御を行っているため、システムが提供する情報を利用者が認識したかどうかを、利用者の自然な動作を利用して確認することができる。また、明確に方向を指示した上で利用者の動作を認識するため、システムとは無関係な利用者の頭部の動作による誤判定がなされる可能性を低減することができる。

表示制御部３６は、ＯＫ判定がなされた場合（所定時間、継続した場合としてもよい）、提示情報ＯＤを、例えば一定距離（写像ベクトル→ｔＶｉの大きさ、或いは、提示速度ベクトル→Ｖｉと写像ベクトル→ｔＶｉとの差分が基準速度Ｖ１以下である場合には提示速度ベクトル→Ｖｉの大きさ）、当初の移動方向とは逆方向に戻してシースルー型ディスプレイ装置１２に表示させる。「当初の」とは、提示情報ＯＤが表示開始された時点のという意味である。図６は、利用者が提示情報ＯＤを視認してＯＫ判定がなされた場合における、提示情報ＯＤの表示位置の変化の一例を示す図である。また、表示制御部３６は、ＯＫ判定がなされた場合（同）、提示情報ＯＤを、表示開始時の初期位置に戻した後に、再度当初と同じ方向に移動させてもよいし、表示開始時の初期位置に戻して停止させてもよいし、その場で停止させてもよい。図７は、利用者が提示情報ＯＤを視認してＯＫ判定がなされた場合における、提示情報ＯＤの表示位置の変化の他の例を示す図である。これらの処理によって、利用者は、自分が提示情報ＯＤを認識したことがシステムに伝わったという感触を得ることができ、使用感を向上させることができる。

また、表示制御部３６は、ＯＫ判定がなされた場合（所定時間、継続した場合としてもよい）、提示情報ＯＤを、提示速度ベクトル→Ｖｉから移動速度ベクトル→Ｖｄを差し引いた方向に移動させてもよい。図８は、利用者が提示情報ＯＤを視認してＯＫ判定がなされた場合における、提示情報ＯＤの表示位置の変化の他の例を示す図である。また、この場合において、提示情報ＯＤを移動させる量は、例えば、提示速度ベクトル→Ｖｉの大きさから移動速度ベクトル→Ｖｄの大きさを差し引いた差分に、適切な上限値を設けた量などに決定される。

ここで、頭部を動かさずに情報を認知できてしまう場合、情報を認知しているのにもかかわらず、情報を認知していないと判定されてしまう可能性がある。このため、提示情報の初期表示位置を、図４の右図のように、表示面１２Ａから一部はみ出すような位置とし、ＯＫ判定がなされると、表示面１２Ａに収まる位置に戻すように制御してもよい。

［提示情報ＯＤを移動させる方向の制御］
ここで、表示制御部３６が提示情報ＯＤの当初の移動方向を決定する処理について説明する。表示制御部３６は、提示情報ＯＤの移動方向をランダムに決定してもよいが、以下に説明する処理を行って提示情報ＯＤの移動方向を決定すると、好適である。表示制御部３６は、風景方向検出部３６Ａを備えてよい。風景方向検出部３６Ａは、利用者の視野が向く方向における風景の移動方向を検出する。風景の移動方向は、例えば利用者が電車等の乗り物に乗っており、窓から風景を眺めているような場面において、安定的に同じ方向として顕在化する。また、利用者が真っ直ぐ前を見て歩いているような場面では、視野が向く方向の左右端において、風景が左右に流れる方向に現れる。そして、表示制御部３６は、風景方向検出部３６Ａにより検出された風景の移動方向とは異なる方向に（例えば、風景の移動方向と直交する方向に）、提示情報ＯＤを移動させる。

風景方向検出部３６Ａは、例えばカメラ１６が時系列で撮像した画像を解析し、例えばオプティカルフロー処理を行うことにより、風景の移動方向を検出する。オプティカルフロー処理については、公知の技術であるため、詳細な説明を省略するが、異常値を除いた平均値を採用する処理が行われてよい。また、風景方向検出部３６Ａは、例えば制御装置３０がＧＰＳ（Global Positioning System）機能を備える場合、ＧＰＳ演算により得られる位置（シースルー型ディスプレイ装置１２の位置と同視できる）と、センサ部１４の検出値から得られる方位とを比較することで、風景の移動方向を検出してもよい。風景方向検出部３６Ａは、このような手法により、風景の移動方向を、例えば、図２に示すＸＹＺ座標系上のベクトルで表現されたデータとして算出する。

表示制御部３６は、例えば、風景の移動方向と、提示情報ＯＤの移動情報とを対応付けたテーブルまたはマップを記憶部５０に保持しており、風景の移動方向が入力されると、テーブルまたはマップを検索して提示情報ＯＤの移動情報を取得し、決定する。

図９は、風景方向検出部３６Ａにより検出された風景の移動方向とは異なる方向に提示情報ＯＤが移動する様子を示す図である。このような場面では、風景を目で追ってしまい、これによって、提示情報ＯＤを認識している或いは認識していないと誤判定する可能性がある。これに対し、本実施形態の電子制御システム１では、風景の移動方向とは異なる方向に提示情報ＯＤを移動させるため、誤判定がなされる可能性を低減することができる。なお、このような処理を行わない場合、カメラ１６は省略することができる。

［フローチャート］
図１０は、本実施形態の電子制御システム１により実行される処理の流れを示すフローチャートの一例である。まず、処理部３４は、提示情報ＯＤの表示開始タイミングが到来したか否かを判定する（ステップＳ１００）。提示情報ＯＤの表示開始タイミングは、ランダムに決定されてもよいし、タイミングを規定したシーケンスデータ等に従って決定されてもよい。

提示情報ＯＤの表示開始タイミングが到来すると、処理部３４および表示制御部３６は、提示情報ＯＤを移動させながらシースルー型ディスプレイ装置１２に表示させる（ステップＳ１０２）。次に、視野方向検出部３８が、移動速度ベクトル→Ｖｄを算出する（ステップＳ１０４）。次に、判定部４０が、提示速度ベクトル→Ｖｉと写像ベクトル→ｔＶｉとの差分が基準速度Ｖ１以下であり、且つ角度θが基準角度θ１以下であるか否か、すなわち、表示面１２Ａ内を提示情報ＯＤが移動する方向と、視野方向検出部３８により算出された移動速度ベクトル→Ｖｄとが適合しているか否かを判定する（ステップＳ１０６）。

判定部４０は、ステップＳ１０６で適合していると判定した場合、ＯＫ判定を出力する（ステップＳ１０８）。ＯＫ判定が出力されると、表示制御部３６は、提示情報ＯＤを、例えば図６、８で例示した方向に戻す（ステップＳ１１０）。これに代えて、表示制御部３６は、提示情報ＯＤを停止させてもよい。また、表示制御部３６は、提示情報ＯＤを戻す（または停止させる）処理を、ステップＳ１０６の判定よりも前に行ってもよい。すなわち、表示制御部３６は、「適合している」か否かに拘わらず、提示速度ベクトル→Ｖｉと移動速度ベクトル→Ｖｄの関係に基づいて提示情報ＯＤを戻したり停止させたりしてよい。そして、処理部３４は、「適合している」と判定された状態で所定時間が経過したか否かを判定し（ステップＳ１１２）、所定時間が経過した場合、利用者が提示情報ＯＤを認識したと判断し（ステップＳ１１４）、前述した処理を行う。そして、表示制御部３６は、提示情報ＯＤを表示面１２Ａから消去する（ステップＳ１１６）。なお、ＯＫ判定が出力された場合、ステップＳ１１６の処理は省略され、提示情報ＯＤが表示面１２Ａの残存するように制御してもよい。所定時間経過していない場合は、ステップＳ１０２に戻る。

一方、ステップＳ１０６において適合していないと判定した場合、判定部４０は、ＮＧ判定を出力する（ステップＳ１１８）。ＮＧ判定が出力されると、表示制御部３６は、提示情報ＯＤが表示面１２Ａの端まで移動したか否かを判定する（ステップＳ１２０）。提示情報ＯＤが表示面１２Ａの端まで移動していない場合はステップＳ１０２に戻り、提示情報ＯＤが表示面１２Ａの端まで移動した場合は提示情報が消去される（ステップＳ１１６）。

ここで、以上の説明では、判定部４０は、適合しているか否かのみ判定し、処理部３４が、利用者が提示情報を認識したか否かを判定するものとして説明したが、判定部４０が、利用者が提示情報を認識したか否かを判定してもよい。図１１は、この場合の処理の流れを説明するための図であり、本実施形態の電子制御システム１により実行される処理の流れを示すフローチャートの他の例である。

まず、処理部３４は、提示情報ＯＤの表示開始タイミングが到来したか否かを判定する（ステップＳ２００）。提示情報ＯＤの表示開始タイミングが到来すると、処理部３４および表示制御部３６は、提示情報ＯＤを移動させながらシースルー型ディスプレイ装置１２に表示させる（ステップＳ２０２）。次に、視野方向検出部３８が、移動速度ベクトル→Ｖｄを算出する（ステップＳ２０４）。次に、判定部４０が、提示速度ベクトル→Ｖｉと写像ベクトル→ｔＶｉとの差分が基準速度Ｖ１以下であり、且つ角度θが基準角度θ１以下であるか否か、すなわち、表示面１２Ａ内を提示情報ＯＤが移動する方向と、視野方向検出部３８により算出された移動速度ベクトル→Ｖｄとが適合しているか否かを判定する（ステップＳ２０６）。

判定部４０により「適合している」と判定された場合、表示制御部３６は、提示情報ＯＤを、例えば図６、８で例示した方向に戻す（ステップＳ２０８）。これに代えて、表示制御部３６は、提示情報ＯＤを停止させてもよい。また、表示制御部３６は、提示情報ＯＤを戻す（または停止させる）処理を、ステップＳ２０６の判定よりも前に行ってもよい。すなわち、表示制御部３６は、「適合している」か否かに拘わらず、提示速度ベクトル→Ｖｉと移動速度ベクトル→Ｖｄの関係に基づいて提示情報ＯＤを戻したり停止させたりしてよい。そして、判定部４０は、「適合している」と判定した状態で所定時間が経過したか否かを判定し（ステップＳ２１０）、所定時間が経過した場合、ＯＫ判定を出力する（ステップＳ２１２）。ＯＫ判定が出力されると、処理部３４は、利用者が提示情報ＯＤを認識したと判断し（ステップＳ２１４）、前述した処理を行う。そして、表示制御部３６は、提示情報ＯＤを表示面１２Ａから消去する（ステップＳ２１６）。なお、なお、ＯＫ判定が出力された場合、ステップＳ２１６の処理は省略され、提示情報ＯＤが表示面１２Ａの残存するように制御してもよい。所定時間経過していない場合は、ステップＳ２０２に戻る。

一方、ステップＳ２０６において適合していないと判定した場合、判定部４０は、提示情報ＯＤが表示面１２Ａの端まで移動したか否かを判定する（ステップＳ２１８）。提示情報ＯＤが表示面１２Ａの端まで移動していない場合はステップＳ２０２に戻り、提示情報ＯＤが表示面１２Ａの端まで移動した場合は、判定部４０がＮＧ判定を出力する（ステップＳ２２０）。その後、提示情報ＯＤが表示面１２Ａから消去される（ステップＳ２１６）。

［まとめ］
以上説明した本実施形態の電子制御システム１並びに制御装置３０によれば、提示速度ベクトル→Ｖｉと移動速度ベクトル→Ｖｄが方向、大きさ共に近い状態が継続した場合に、利用者が提示情報ＯＤを十分に認識したと判断するため、システムが提供する情報を利用者が認識したかどうかを、利用者の自然な動作を利用して確認することができる。また、明確に方向を指示した上で利用者の動作を認識するため、システムとは無関係な利用者の頭部の動作による誤判定がなされる可能性を低減することができる。

また、本実施形態の電子制御システム１並びに制御装置３０によれば、判定部４０によりＯＫ判定がなされた場合、それまでの移動方向とは逆方向に、或いは移動速度ベクトル→Ｖｄと提示速度ベクトル→Ｖｉから算出される方向に戻して表示するため、利用者は、自分が提示情報ＯＤを認識したことがシステムに伝わったという感触を得ることができ、使用感を向上させることができる。

また、本実施形態の電子制御システム１並びに制御装置３０によれば、風景の移動方向とは異なる方向に提示情報ＯＤを移動させるため、誤判定がなされる可能性を低減することができる。

＜第２実施形態＞
以下、第２実施形態に係る電子制御システム２について説明する。第１実施形態の電子制御システム１は、英単語等の学習システムを例にとって説明したが、第２実施形態の電子制御システム２は、利用者による種々の入力を受け付けるときに、利用者の視野の方向によって入力を判別する。なお、全体構成、および機能構成については第１実施形態における図１、３を援用し、再度の説明を省略する。

図１２は、第２実施形態の電子制御システム２がシースルー型ディスプレイ装置１２に表示させる画面の一例を示す図である。第２実施形態の電子制御システム２は、例えば、何らかの二択の入力を受け付けるときに、「ＹＥＳ」と表示された提示情報ＯＤ１を提示速度ベクトル→Ｖｉ１で移動させながら表示し、「ＮＯ」と表示された提示情報ＯＤ２を提示速度ベクトル→Ｖｉ２で移動させながら表示する。そして、利用者がいずれかの提示情報を目で追うことにより移動速度ベクトル→Ｖｄが検知されると、移動速度ベクトル→Ｖｄに適合する方の提示情報が選択されたものと判断する。図１２の例では、利用者が提示速度ベクトル→Ｖｉ１の方向（右方向）に頭部を傾けた結果、右方向の移動速度ベクトル→Ｖｄが検出された場合、「ＹＥＳ」が選択されたものと判断し、利用者が提示速度ベクトル→Ｖｉ２の方向（左方向）に頭部を傾けた結果、左方向の移動速度ベクトル→Ｖｄが検出された場合、「ＮＯ」が選択されたものと判断する。

図１３は、第２施形態の電子制御システム２がシースルー型ディスプレイ装置１２に表示させる画面の他の例を示す図である。第２実施形態の電子制御システム２は、例えば、利用者宛ての電子メールを受信したときに、電子メールの到着を知らせる提示情報ＯＤ３を提示速度ベクトル→Ｖｉ３で移動させながら表示する。そして、利用者が提示情報ＯＤ３を目で追うことにより、提示速度ベクトル→Ｖｉ３に適合する移動速度ベクトル→Ｖｄが検知されると、利用者が提示情報ＯＤ３を認識したものと判断し、電子メールの本文を表示する等の処理を行う。

以上説明した第２実施形態の電子制御システム２並びに制御装置３０によれば、第１実施形態と同様、システムが提供する情報を利用者が認識したかどうかを、利用者の自然な動作を利用して確認することができる。また、明確に方向を指示した上で利用者の動作を認識するため、システムとは無関係な利用者の頭部の動作による誤判定がなされる可能性を低減することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、電子制御システムは、ヘッドマウントディスプレイ１０と制御装置３０との組み合わせではなく、表示部を有する携帯型端末によって全体が実現されてもよい。この場合も、利用者は提示情報ＯＤを目で追う場合に、無意識に携帯側端末を提示速度ベクトル→Ｖｉの方向に移動させると考えられるからである。この場合の制御手法については、上記各実施形態の手法を援用することができる。

また、上記各実施形態では、提示情報の移動する方向および速度と、ヘッドマウントディスプレイ１０の移動する方向および速度とが適合するか否かによって、利用者が提示情報を認識したか否かを判定するものとしたが、速度を考慮せず、方向のみに着目して判定を行ってもよい。

また、上記各実施形態では、表示部の挙動に基づいて利用者の視野の方向を検出するものとしたが、利用者の視線を検出するセンサを備え、そのセンサの出力に基づいて利用者の視野の方向を検出してもよい。

１ 電子制御システム
１０ ヘッドマウントディスプレイ
１２ シースルー型ディスプレイ装置
１２Ａ 表示面
１４ センサ部
１６ カメラ
３０ 制御装置
３２ 入力部
３４ 処理部
３６ 表示制御部
３８ 視野方向検出部
４０ 判定部
５０ 記憶部
５２ プログラム
５４ コンテンツデータ

Claims (16)

1. 表示部の表示面内を移動する表示対象を前記表示部に表示させる表示制御部と、
   利用者の視野が向く方向を表す指標データを算出する視野方向検出部と、
   前記表示面内における前記表示対象の少なくとも移動方向と、前記視野方向検出部により算出された指標データが適合しているか否かを判定する判定部と、
   前記判定部により適合していると判定されたか否かに基づいて、異なる処理を行う処理部と、
   利用者の視野が向く方向における風景の移動方向を検出する検出部と
   を備え、
   前記表示制御部は、前記表示対象の移動方向を、前記検出部により検出された風景の移動方向とは異なる方向に決定する制御装置。
2. 請求項１に記載の制御装置であって、
   前記視野方向検出部は、前記表示部の挙動を検出する挙動検出部の検出結果を参照し、前記表示部の前記表示面に平行である移動速度ベクトルを、前記指標データとして算出する、
   制御装置。
3. 請求項２に記載の制御装置であって、
   前記判定部は、前記表示面内における前記表示対象の移動速度ベクトルと前記表示部の移動速度ベクトルとのなす角度が基準角度以下であり、且つ前記表示対象の移動速度ベクトルと前記表示部の移動速度ベクトルのいずれか一方又は双方を、表示対象の移動方向又は表示部の移動方向と一致させた方向に写像した場合又は表示対象の移動速度ベクトルおよび表示部の移動速度ベクトルの双方をそれぞれ一方向に写像した場合のベクトル間の大きさの差分が基準速度以下である場合に、前記表示面内における前記表示対象の少なくとも移動方向と、前記視野方向検出部により算出された指標データが適合していると判定する、
   制御装置。
4. 請求項１から３のうちいずれか一項に記載の制御装置であって、
   前記処理部は、前記判定部により適合していると判定された状態が継続する時間に応じて、異なる処理を行う、
   制御装置。
5. 請求項４に記載の制御装置であって、
   前記処理部は、前記表示対象の有する情報量に応じて、前記継続する時間に対する閾値を変更する、
   制御装置。
6. 請求項１から５のうちいずれか一項に記載の制御装置であって、
   前記表示制御部は、前記判定部により適合していると判定された場合、前記表示対象を当初の移動方向とは逆方向に移動させる、
   制御装置。
7. 請求項２項に記載の制御装置であって、
   前記表示制御部は、前記判定部により適合していると判定された場合、前記表示対象を、前記表示対象の移動速度ベクトルから前記表示部の移動速度ベクトルを差し引いた方向に移動させる、
   制御装置。
8. 請求項１から７のうちいずれか一項に記載の制御装置であって、
   前記表示制御部は、前記判定部により適合していると判定された場合、前記表示対象の位置を停止させる、
   制御装置。
9. 請求項１から８のうちいずれか一項に記載の制御装置であって、
   前記表示制御部は、前記表示対象の移動方向をランダムに決定する、
   制御装置。
10. 請求項１から９のうちいずれか一項に記載の制御装置であって、
    前記検出部は、利用者の視野が向く方向における風景を撮像する撮像部を備え、前記撮像部により撮像された画像に対してオプティカルフロー処理を行うことにより前記風景の移動方向を検出する、
    制御装置。
11. 請求項１から１０のうちいずれか一項に記載の制御装置であって、
    前記検出部は、前記表示部の位置を検出する位置検出部
    を備え、
    前記位置検出部により検出された前記表示部の位置に基づいて、前記風景の移動方向を検出する、
    制御装置。
12. 表示部の表示面内を移動する表示対象を前記表示部に表示させる表示制御部と、
    前記表示部の挙動を検出する挙動検出部の検出結果を参照し、前記表示部の前記表示面に平行である移動速度ベクトルを算出する視野方向検出部と、
    前記表示面内における前記表示対象の少なくとも移動方向と、前記視野方向検出部により算出された指標データが適合しているか否かを判定する判定部と、
    を備え、
    前記表示制御部は、前記判定部により適合していると判定された場合、前記表示対象をそれまでの移動方向とは逆方向に移動させる、
    制御装置。
13. 表示部の表示面内を移動する表示対象を前記表示部に表示させる表示制御部と、
    前記表示部の挙動を検出する挙動検出部の検出結果を参照し、前記表示部の前記表示面に平行である移動速度ベクトルを算出する視野方向検出部と、
    前記表示面内における前記表示対象の少なくとも移動方向と、前記視野方向検出部により算出された指標データが適合しているか否かを判定する判定部と、
    を備え、
    前記表示制御部は、前記判定部により適合していると判定された場合、前記表示対象を前記表示部の移動速度ベクトルに基づく方向に移動させる、
    制御装置。
14. 請求項１から１３のうちいずれか一項に記載の制御装置と、
    前記制御装置によって制御される表示部と、
    を備える電子制御システム。
15. 制御装置が実行する制御方法であって、
    表示部の表示面内を移動する表示対象を前記表示部に表示させるステップと、
    利用者の視野が向く方向を表す指標データを算出するステップと、
    前記表示面内における前記表示対象の少なくとも移動方向と、前記算出された指標データが適合しているか否かを判定するステップと、
    前記判定するステップで適合していると判定されたか否かに基づいて、異なる処理を行うステップと、
    利用者の視野が向く方向における風景の移動方向を検出するステップと、
    前記表示対象の移動方向を、前記検出するステップで検出された風景の移動方向とは異なる方向に決定するステップと
    を有する制御方法。
16. 制御装置の制御コンピュータに、
    表示部の表示面内を移動する表示対象を前記表示部に表示させるステップと、
    利用者の視野が向く方向を表す指標データを算出するステップと、
    前記表示面内における前記表示対象の少なくとも移動方向と、前記算出された指標データが適合しているか否かを判定するステップと、
    前記判定するステップで適合していると判定されたか否かに基づいて、異なる処理を行うステップと、
    利用者の視野が向く方向における風景の移動方向を検出するステップと、
    前記表示対象の移動方向を、前記検出するステップで検出された風景の移動方向とは異なる方向に決定するステップと
    を実行させるプログラム。

Images