JP2024067480A - リモート制御システムとその制御装置およびプログラム - Google Patents

Abstract

【課題】操作対象機器の鏡像に対する操作パネル画像の対応付けをユーザの位置によらず常に正確に設定可能にする。【解決手段】ディスプレイの前面に半反射型ミラーを介在した状態で光透過型タッチフレームを配置した半透過型タッチディスプレイと、制御装置とを具備するリモート制御システムにあって、制御装置により、ユーザが半透過型タッチディスプレイに対する視点位置を変化させたときの、複数の視点位置の各々についてその視点位置座標を表すデータ取得すると共に、ユーザが半透過型タッチディスプレイに写る操作対象機器の鏡像をタッチ操作したときのタッチ位置座標を表すデータを取得し、取得した複数の視点位置座標を表すデータとタッチ位置座標を表すデータとに基づいて、半透過型タッチディスプレイ上に写る操作対象機器の鏡像の絶対位置座標を推定する。【選択図】図４

Description

この発明の一態様は、例えばスマート家電機器等の情報機器を遠隔操作するためのリモート制御システムと、その制御装置およびプログラムに関する。

近年、例えばスマート家電機器のようにネットワークに接続可能な情報機器を遠隔操作する技術の１つとして、半反射型ＡＲ（Augmented Reality）ミラーディスプレイを用いたシステムが提案されている。このシステムは、例えばディスプレイの前面にハーフミラー等と呼ばれる半反射型ミラーを介在した状態で光透過型タッチフレームを配置する。そして、上記半反射型ミラーに映る現実のスマート家電機器を操作するための操作パネル画像をディスプレイに表示し、タッチフレーム上の上記操作パネル画像の表示位置をタッチ操作することで、上記スマート家電機器を遠隔操作するものである（例えば非特許文献１を参照）。

このシステムを用いると、半反射型ミラーに映る複数のスマート家電機器に対応する操作パネル画像を選択的にタッチ操作することで、ユーザは所望のスマート家電機器を遠隔操作することが可能となる。また、操作パネルに複数の操作メニューを表示することで、ユーザは操作パネルの所望の操作メニューをタッチ操作することで、スマート家電機器に対し複数種類の動作を選択的に実行させることが可能となる。

ZIQING FENG, Mana SASAGAWA, Itiro SIIO AND Yasushi MATOBA, "Smart-home control by using half-reflective AR mirror display", 情報処理学会第84回全国大会 7Y-03，2022

ところで、上記システムでは半反射型ミラーに映るスマート家電の位置に操作パネル画像の表示位置を対応付けるために、ユーザが操作パネル画像をドラッグ操作できるようにする機能を備えている。

しかし上記システムでは、半反射型ミラーに映るスマート家電機器の鏡像の位置がユーザの視点によって変化してしまう。このため、上記スマート家電の鏡像の位置に対応して操作パネル画像の表示位置を設定しても、半反射型ミラーに対するユーザの立ち位置により、上記スマート家電の鏡像の位置と操作パネル画像の表示位置との間に位置ずれが発生する。このため、例えば操作パネル画像にタッチ操作しても、所望のスマート家電機器を操作できなくなるといった不具合が発生する場合がある。これは、特に複数のスマート家電機器が互いに接近して配置されている場合には、操作対象機器を操作できなくなったり、別のスマート家電機器を誤操作してしまうことにもなり、極めて好ましくない。

この発明は上記事情に着目してなされたもので、一側面では、操作対象機器の鏡像に対する操作パネル画像の対応付けをユーザの位置によらず常に正確に設定可能にする技術を提供しようとするものである。

上記課題を解決するためにこの発明に係るリモート制御システムの一態様は、ディスプレイの前面に半反射型ミラーを介在した状態で光透過型タッチフレームを配置した半透過型タッチディスプレイと、前記半透過型タッチディスプレイに接続される制御装置とを具備する。そして、前記制御装置により、ユーザが前記半透過型タッチディスプレイに対する視点位置を変化させたときの、複数の前記視点位置の各々についてその視点位置座標を表すデータ取得すると共に、前記ユーザが前記半透過型タッチディスプレイに写る操作対象機器の鏡像をタッチ操作したときのタッチ位置座標を表すデータを取得し、取得した複数の前記視点位置座標を表すデータと、複数の前記タッチ位置座標を表すデータとに基づいて、前記半透過型タッチディスプレイ上に写る前記操作対象機器の鏡像の絶対位置座標を推定するようにしたものである。

この発明の一態様によれば、半透過型タッチディスプレイに写る操作対象機器の鏡像の絶対位置座標が推定される。従って、推定された前記絶対位置座標を使用して、前記半透過型タッチディスプレイにおける前記操作対象機器に対応する操作パネル画像の表示位置を設定することが可能となる。このため、例えば半透過型タッチディスプレイに対するユーザの立ち位置がどの位置にあっても、半透過型タッチディスプレイ上における操作パネル画像の表示位置を操作対象機器の鏡像に対応させることが可能となる。その結果、複数の操作対象機器が近接配置されている場合でも、所望の操作対象機器を選択できなくなったり、別の操作対象機器を誤操作してしまうといった不具合の発生は防止され、これにより所望の操作対象機器を確実に選択し操作することが可能となる。また、操作パネル画像の表示位置の設定操作に対するユーザの負担も軽減することができる。

すなわちこの発明の一態様によれば、操作対象機器の鏡像に対する操作パネル画像の対応付けをユーザの位置によらず常に正確に設定可能にする技術を提供することができる。

図１は、この発明の第１の実施形態に係るリモート制御システムの構成を示す図である。 図２は、図１に示したシステムの半透過型タッチディスプレイの構成の一例を示す図である。 図３は、図１に示したシステムの制御装置のハードウェア構成の一例を示すブロック図である。 図４は、図１に示したシステムの制御装置のソフトウェア構成の一例を示すブロック図である。 図５は、図４に示す制御装置が実行する、操作対象機器の絶対位置推定処理の処理手順と処理内容の一例を示すフローチャートである。 図６は、図４に示す制御装置が実行する、操作パネル表示位置の設定制御処理の処理手順と処理内容の一例を示すフローチャートである。 図７は、図５に示す操作対象機器の絶対位置推定処理の一例を説明するための図である。 図８は、図６に示す操作パネル表示位置の設定制御処理の一例を説明するための図である。 図９は、この発明の第２の実施形態に係る制御装置のソフトウェア構成の一例を示すブロック図である。 図１０は、図９に示す制御装置が実行する、操作パネル表示位置の設定支援処理の処理手順と処理内容の一例を示すフローチャートである。

以下、図面を参照してこの発明に係わる実施形態を説明する。

［第１の実施形態］
（構成例）
（１）システム
図１は、この発明の第１の実施形態に係るリモート制御システムの構成の一例を示す図である。

第１の実施形態に係るリモート制御システムは、半透過型タッチディスプレイＴＤと、カメラＣＭと、これらの半透過型タッチディスプレイＴＤおよびカメラＣＭに対し信号ケーブルを介して接続される制御装置ＣＤとを備えている。

半透過型タッチディスプレイＴＤは、例えば図２に示すように、液晶または有機ＥＬデバイスを表示パネルとして用いたディスプレイＤＰの表示面に、ハーフミラーからなる半反射型ミラーＨＭを介在した状態で、光透過型シートを用いたタッチフレームＴＦを重ねて配置した構成となっている。

ディスプレイＤＰは、制御装置ＣＤから出力される表示データを表示するために使用される。表示データには、操作対象機器を操作するための操作パネルを表す画像データが含まれる。半反射型ミラーＨＭは、半透過型タッチディスプレイＴＤの前方方向から入射する光像を反射すると共に、ディスプレイＤＰに表示された表示情報を半透過型タッチディスプレイＴＤの前方方向へ透過させる。タッチフレームＴＦは、フレーム表面へのタッチ操作を例えば感圧式または静電容量式により検出して、そのタッチ位置を表す二次元（２Ｄ）座標データを出力する。

カメラＣＭは三次元（３Ｄ）カメラからなり、上記半透過型タッチディスプレイＴＤに対面する状態で立っているユーザＵＳの少なくとも顔を含む所定範囲を撮像し、その三次元（３Ｄ）画像データを制御装置ＣＤへ出力する。

（２）制御装置ＣＤ
図３および図４は、それぞれ制御装置ＣＤのハードウェア構成およびソフトウェア構成の一例を示すブロック図である。

制御装置ＣＤは、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを使用した制御部１Ａを備え、この制御部１Ａに対し、バス５を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、入出力インタフェース（以後インタフェースをＩ／Ｆと略称する）部４を接続したものとなっている。

なお、制御装置ＣＤとしては、例えばパーソナルコンピュータが用いられるが、他にローカルネットワーク上またはクラウド上に配置されるサーバコンピュータが用いられてもよい。

入出力Ｉ／Ｆ部４は、カメラＣＭから出力される３Ｄ画像データを取り込む機能と、タッチフレームＴＦから出力されるタッチ位置の２Ｄ座標データを取り込む機能と、ディスプレイＤＰへ表示データを出力する機能を備える。

なお、入出力Ｉ／Ｆ部４には、例えばWiFi（登録商標）やBluetooth（登録商標）等の小電力無線データ通信規格を採用した無線インタフェース機能が備えられていてもよい。このようにすると、半透過型タッチディスプレイＴＤおよびカメラＣＭにも同様の無線インタフェース機能を備えることで、制御装置ＣＤと半透過型タッチディスプレイＴＤおよびカメラＣＭとの間の信号の送受信をコードレスにより行うことが可能となる。

プログラム記憶部２は、例えば、記憶媒体としてＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、第１の実施形態に係る各種制御を実行するために必要なアプリケーション・プログラムを格納する。なお、以後ＯＳと各アプリケーション・プログラムとをまとめてプログラムと称する。

データ記憶部３は、例えば記憶媒体として、ＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、その記憶領域には、この発明の第１の実施形態を実施するために必要な記憶部として、カメラ画像記憶部３１と、視点位置記憶部３２と、タッチ位置記憶部３３と、絶対位置情報記憶部３４が設けられている。

カメラ画像記憶部３１は、カメラＣＭから出力された３Ｄ画像データを、視点位置を検出するまでの期間に一時的に保存するために使用される。視点位置記憶部３２は、上記３Ｄ画像データから検出されたユーザＵＳの視点位置を表す３Ｄ位置座標データを記憶するために使用される。タッチ位置記憶部３３は、タッチフレームＴＦから出力されたタッチ位置を表す２Ｄ座標データを記憶するために使用される。絶対位置情報記憶部３４は、制御部１Ａにより算出される、半反射型ミラーＨＭに写る操作対象機器の鏡像の絶対位置を表す３Ｄ座標データを保存するために使用される。

制御部１Ａは、この発明の第１の実施形態を実施するために必要な処理機能として、カメラ画像取得処理部１１と、ユーザ視点位置算出処理部１２と、タッチ位置座標取得処理部１３と、絶対位置座標算出処理部１４と、操作パネル位置制御処理部１５とを備えている。これらの処理部１１～１５は、いずれもプログラム記憶部２に格納されたアプリケーション・プログラムを制御部１Ａのハードウェアプロセッサに実行させることにより実現される。

なお、上記処理部１１～１５の一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。

タッチ位置座標取得処理部１３は、半透過型タッチディスプレイＴＤに写る操作対象機器の鏡像に対しユーザＵＳがタッチ操作したときに、このときのタッチ位置を表す２Ｄ座標データを、タッチフレームＴＦから入出力Ｉ／Ｆ部４を介して取得する。そして、取得した上記２Ｄ座標データをタッチ位置記憶部３３に記憶する。

カメラ画像取得処理部１１は、上記タッチ操作が行われたときのユーザＵＳの顔を含む３Ｄ画像データをカメラＣＭから入出力Ｉ／Ｆ部４を介して取得する。そして、取得した上記３Ｄ画像データをカメラ画像記憶部３１に一旦保存する。

ユーザ視点位置算出処理部１２は、上記タッチ操作が行われたときのユーザの３Ｄ画像データを上記カメラ画像記憶部３１から読み込み、読み込んだ上記３Ｄ画像データからユーザＵＳの目を表す画像を認識する。そして、認識した目を表す画像をもとにユーザＵＳの視点位置を表す３Ｄ座標データを算出し、算出した上記視点位置を表す３Ｄ座標データを視点位置記憶部３２に記憶する。

絶対位置座標算出処理部１４は、所定回数分のタッチ操作が終了した後に、タッチ操作ごとに得られたタッチ位置の２Ｄ座標データ、およびそのときのユーザＵＳの視点位置を示す３Ｄ座標データを、それぞれ上記タッチ位置記憶部３３および上記視点位置記憶部３２から読み込む。そして、絶対位置座標算出処理部１４は、読み込んだ上記タッチ位置の２Ｄ座標データと視点位置の３Ｄ座標データとを結ぶ直線を表す式をそれぞれ算出し、算出した上記複数の直線が交差する点を算出して、この交差する点の３Ｄ座標データを操作対象機器の鏡像の絶対位置座標を表す情報として絶対位置情報記憶部３４に記憶する。なお、上記各直線を表す式の算出処理および直線間が交差する点の算出処理の一例については、動作例において説明する。

操作パネル位置制御処理部１５は、ユーザＵＳが操作対象機器をリモート操作する際に、このときのユーザＵＳの視点位置と、上記絶対位置情報記憶部３４に記憶された絶対位置情報とに基づいて、半透過型タッチディスプレイＴＤにおける操作パネル画像ＯＰの表示位置を設定制御する。この操作パネル表示位置の設定制御の一例についても、動作例において説明する。

（動作例）
次に、以上のように構成されたリモート制御システムによる、操作対象機器の鏡像の絶対位置を推定する動作の一例を説明する。

絶対位置推定モードが指定されると、制御装置ＣＤの制御部１Ａは以下のような処理を実行する。

図５は、制御装置ＣＤの制御部１Ａが実行する絶対位置推定処理の処理手順と処理内容の一例を示すフローチャート、図７は、絶対位置の推定動作の一例を説明するために用いる図である。

（１）ユーザＵＳの立ち位置ごとのタッチ位置と視点位置の取得
ユーザＵＳは、半透過型タッチディスプレイＴＤに対面した状態で、自身の立ち位置を左右方向にステップ的に変化させる。そして、立ち位置を変えるごとに、半透過型タッチディスプレイＴＤに写る操作対象機器の鏡像にタッチ操作する。

制御装置ＣＤの制御部１Ａは、ステップＳ１０において半透過型タッチディスプレイＴＤに対するタッチ操作を検出すると、タッチ位置座標取得処理部１３の制御の下、ステップＳ１１において、半透過型タッチディスプレイＴＤのタッチフレームＴＦから上記タッチ操作のタッチ位置を表す２Ｄ座標データを入出力Ｉ／Ｆ部４を介して取得する。そして、取得した上記２Ｄ座標データをタッチ位置記憶部３３に記憶する。

また、それと共に制御部１Ａは、カメラ画像取得処理部１１の制御の下、ステップＳ１２において、上記タッチ操作が行われたときのユーザＵＳの顔の領域を含む３Ｄ画像データを、カメラＣＭから入出力Ｉ／Ｆ部４を介して取得する。そして、取得した上記３Ｄ画像データをカメラ画像記憶部３１に保存する。

なお、カメラ画像取得処理部１１は、カメラＣＭから常時出力される動画像データから上記タッチ操作のタイミングにおける３Ｄ画像データのフレームを切り出して保存するようにしてもよい。

上記ユーザＵＳの顔の領域を含む３Ｄ画像データが取得されると、制御部１Ａは続いてユーザ視点位置算出処理部１２の制御の下、ステップＳ１３において、上記カメラ画像記憶部３１から３Ｄ画像データを読み込み、読み込んだ上記３Ｄ画像データに対し、例えばパターン認識等の画像処理技術を用いてユーザＵＳの目の位置を認識する。そして、ユーザ視点位置算出処理部１２は、認識した上記目の位置をもとにユーザＵＳの視点位置を表す３Ｄ座標データを算出し、算出した上記視点位置を表す３Ｄ座標データを視点位置記憶部３２に記憶する。

図７（ａ）は、１回目のタッチ操作が行われたときのタッチ位置ＴＰ１とユーザＵＳの視点位置ＥＹ１の一例を示すものである。

１回目のタッチ操作における上記２Ｄ座標データの取得と、ユーザＵＳの視点位置座標の算出が終了すると、制御部１Ａは、ステップＳ１４において、異なる立ち位置によるタッチ操作が所定回数行われたか否かを判定する。この判定の結果、タッチ操作の回数が所定回数に満たなければ、制御部１ＡはステップＳ１０に戻って次のタッチ操作が行われるのを待つ。そして、次のタッチ操作が行われると、ステップＳ１１～ステップＳ１３によるタッチ位置座標データの取得と視点位置座標データの算出処理を行う。

図７（ｂ）は、２回目のタッチ操作が行われたときのタッチ位置ＴＰ２とユーザＵＳの視点位置ＥＹ２の一例を示すものである。なお、同図においてＩＭは操作対象機器の鏡像の一例を示している。

以後同様に、タッチ操作が行われるごとに、ステップＳ１１～ステップＳ１３によるタッチ位置座標データの取得と視点位置座標データの算出処理を繰り返す。なお、上記タッチ操作の回数は少なくとも２回に設定されるが、３回以上に設定してもよい。タッチ操作の回数が多いほど操作対象機器の鏡像の絶対位置の算出精度を高めることができる。

但し、タッチ操作の回数が多くなるに従いユーザの負担が増えるので、上記タッチ操作の回数は、例えば操作対象機器の鏡像のサイズが小さい場合に多く、大きい場合には少なくなるように設定するのが望ましい。

図７（ｃ）は、異なる立ち位置でタッチ操作をｎ回行ったときのタッチ位置ＴＰ１～ＴＰｎおよび視点位置ＥＹ１～ＥＹｎの一例を示すものである。なお、同図においてＩＭは操作対象機器の鏡像の一例を示している。

（２）操作対象機器の鏡像の絶対位置の算出
（２－１）直線式の算出
制御装置ＣＤの制御部１Ａは、上記ステップＳ１４によりタッチ操作の回数が所定回数に達したと判定すると、次に絶対位置座標算出処理部１４の制御の下、半透過型タッチディスプレイＴＤに写る操作対象機器の鏡像の絶対位置の算出処理を、以下のように実行する。

すなわち、絶対位置座標算出処理部１４は、先ずステップＳ１５において、上記タッチ操作ごとに、タッチ位置記憶部３３および視点位置記憶部３２からそれぞれ対応するタッチ位置座標データおよびそのときのユーザＵＳの視点位置座標データを読み込む。そして、絶対位置座標算出処理部１４は、読み込んだ上記各座標データをもとにタッチ位置座標とそのときの視点位置座標とを結ぶ直線式をそれぞれ算出する。

例えば、図７（ｂ）に示した例では、タッチ位置ＴＰ１と視点位置ＥＹ１とを結ぶ直線式Ｌ１と、タッチ位置ＴＰ２と視点位置ＥＹ２とを結ぶ直線式Ｌ２をそれぞれ算出する。

いま、タッチ位置ＴＰ１の２Ｄ座標を（ｔ_１ｘ，ｔ_１ｙ）、視点位置ＥＹ１の３Ｄ座標を（ｕ_１ｘ，ｕ_１ｙ，ｕ_１ｚ）とすると、直線式Ｌ１は
（ｘ－ｔ_１ｘ）／（ｕ_１ｘ－ｔ_１ｘ）＝（ｙ－ｔ_１ｙ）／（ｕ_１ｙ－ｔ_１ｙ）＝ｚ／ｕ_１ｚ
で表される。

同様に、タッチ位置ＴＰ２の２Ｄ座標を（ｔ_２ｘ，ｔ_２ｙ）、視点位置ＥＹ２の３Ｄ座標を（ｕ_２ｘ，ｕ_２ｙ，ｕ_２ｚ）とすると、直線式Ｌ２は
（ｘ－ｔ_２ｘ）／（ｕ_２ｘ－ｔ_２ｘ）＝（ｙ－ｔ_２ｙ）／（ｕ_２ｙ－ｔ_２ｙ）＝ｚ／ｕ_２ｚ
で表される。

なお、直線式の表現形式には、ベクトル形式等の他のどのような表現形式を用いてもよい。例えば以下のサイトには「空間における直線の方程式」の一例が紹介されている。
＜URL: https://www.geisya.or.jp/~mwm48961/linear_algebra/line_plane2.htm#three＞

（２－２）操作対象機器の鏡像の絶対位置の算出
（２－２－１）直線式が交差する場合
絶対位置座標算出処理部１４は、次にステップＳ１６において、上記直線Ｌ１，Ｌ２間の交点を求めるための演算を行い、この演算結果をもとに直線Ｌ１，Ｌ２間の交点が算出されたか否か、つまり交点の有無をステップＳ１７で判定する。この判定の結果、交点が算出された場合には、絶対位置座標算出処理部１４はステップＳ１８に移行し、算出された上記交点の３Ｄ座標データを、操作対象機器の鏡像ＩＭの絶対位置Ｋを表す３Ｄ座標データとして絶対位置情報記憶部３４に記憶する。

なお、２つの直線の交点は、例えば２本の直線をａ_１ｘ＋ｂ_１ｙ＋ｃ_１＝０、ａ_２ｘ＋ｂ_２ｙ＋ｃ_２＝０と表すと、
として算出することができる。
なお、この算出手法は、例えば以下のサイトで紹介されている。
＜URL: http://www.info.hiroshima-cu.ac.jp/~miyazaki/knowledge/tech0044.html＞

（２－２－２）直線が交差しない場合
これに対し、ステップＳ１７において交点が存在しないと判定された場合、絶対位置座標算出処理部１４は、ステップＳ１９において直線Ｌ１，Ｌ２上の互いに最も接近する点を算出する。そして、絶対位置座標算出処理部１４は、ステップＳ２０において、算出した上記直線Ｌ１，Ｌ２上の最接近する２点間の中点の座標を算出し、算出した上記中点の３Ｄ座標データを、ステップＳ２１により操作対象機器の鏡像ＩＭの絶対位置Ｋを表す３Ｄ座標データ（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）と見なして絶対位置情報記憶部３４に記憶する。

なお、２つの直線上の最接近する点の算出手法としては、例えば以下のサイトに「３次元空間での２直線の最接近位置」として紹介される数式またはプログラムを用いることができる。
＜URL: https://inak-eng.jp/2020/05/17/3%E6%AC%A1%E5%85%83%E7%A9%BA%E9%96%93%E3%81%A7%E3%81%AE2%E7%9B%B4%E7%B7%9A%E3%81%AE%E6%9C%80%E6%8E%A5%E8%BF%91%E4%BD%8D%E7%BD%AE/＞

（３）操作パネル表示位置の設定制御
操作パネルの表示位置の設定は、例えば、半透過型タッチディスプレイＴＤのタッチフレームＴＦ上で、ユーザＵＳが操作パネル画像ＯＰをドラッグ操作することで行うことができる。しかし、このドラッグ操作により操作パネル画像の表示位置を設定した場合、背景技術において述べたように、ユーザの立ち位置により操作対象機器の鏡像の位置と操作パネル画像の表示位置との間に位置ずれが発生してしまう場合がある。

そこで、制御装置ＣＤは、リモート操作モードにおいて、ユーザＵＳが半透過型タッチディスプレイＴＤの前に立ったときに、操作パネル位置制御処理部１５の制御の下で、上記ユーザＵＳの立ち位置に応じて操作パネル画像の表示位置を制御する処理を以下のように実行する。

図６は、制御装置ＣＤの制御部１Ａが実行する操作パネル位置制御処理の処理手順と処理内容の一例を示すフローチャートである。

すなわち、制御装置ＣＤの制御部１Ａは、先ずステップＳ３０において、カメラ画像取得処理部１１により、このときのユーザＵＳの顔の領域を含む３Ｄ画像データをカメラＣＭから入出力Ｉ／Ｆ部４を介して取得する。続いてステップＳ３１において、ユーザ視点位置算出処理部１２により、取得した上記３Ｄ画像データからユーザＵＳの目の位置を認識し、認識した上記目の位置をもとにユーザＵＳの視点位置を表す３Ｄ座標データを算出する。

次に、操作パネル位置制御処理部１５の制御の下、ステップＳ３２において、算出された上記ユーザＵＳの視点位置を表す３Ｄ座標データと、絶対位置情報記憶部３４に記憶された操作対象機器の鏡像の絶対位置を表す３Ｄ座標データとをもとに、視点位置と絶対位置とを結ぶ直線式を求める。続いて操作パネル位置制御処理部１５は、ステップＳ３３において、上記直線式をもとに、当該直線が半透過型タッチディスプレイＴＤを通る点の座標、つまりｚ＝０となる点の２Ｄ座標を算出する。

そして、操作パネル位置制御処理部１５は、ステップＳ３４において、半透過型タッチディスプレイＴＤのディスプレイＤＰに表示されている操作パネル画像の表示位置を、算出した上記２Ｄ座標で示される位置に移動させるように制御する。

図８は、この操作パネル画像の表示位置の制御の一例を示すものである。
いまユーザＵＳの視点位置ＥＹｉの３Ｄ座標が（ｕ_ｘ，ｕ_ｙ，ｕ_ｚ）だったとする。この場合、ユーザＵＳの視点位置ＥＹｉの３Ｄ座標（ｕ_ｘ，ｕ_ｙ，ｕ_ｚ）と、操作対象機器の鏡像ＩＭの絶対位置Ｋｉを表す３Ｄ座標（ｋ_ｘ，ｋ_ｙ，ｋ_ｚ）とを結ぶ直線が、半透過型タッチディスプレイＴＤ上を通る点Ｐｉの座標、つまりｚ＝０となる点の座標（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ＝０）が算出される。そして、操作パネル画像ＯＰの表示位置が上記ｚ＝０となる点の座標（ｐ_ｘ，ｐ_ｙ，ｐ_ｚ＝０）となるように制御される。

従って、操作パネル画像ＯＰの表示位置はユーザＵＳの立ち位置によらず常に操作対象機器の鏡像ＩＭに対応することになる。このため、ユーザＵＳは操作対象機器をリモート操作する際に、対応する操作パネルを確実にタッチ操作することが可能となる。また、仮に半透過型タッチディスプレイＴＤに複数の操作対象機器の鏡像が近接して写っている場合でも、操作対象以外の機器に対応する操作パネルを誤操作することなく、操作対象の機器を確実にリモート操作することが可能となる。

なお、操作対象機器が複数存在する場合には、例えば、上記複数の操作対象機器の識別情報を、データ記憶部３に設けた対応テーブルに事前に登録しておく。そして、上記複数の操作対象機器の各鏡像の絶対位置とこれに対応する操作パネル画像ＯＰの識別情報を、上記対応テーブル上の上記各操作対象機器の識別情報に紐付ける。このように管理することで、操作パネル画像がタッチ操作された場合に、この操作パネル画像に対応する操作対象機器を確実に特定し、リモート操作することが可能となる。

また、リモート操作は、例えば、操作パネル画像上のタッチされた操作種別を表す操作制御信号を、操作対象機器の識別情報と共に、入出力Ｉ／Ｆ部４内に設けられた無線インタフェースを使用して操作対象機器へ送信することにより行われる。

なお、以上の説明ではユーザＵＳがドラッグ操作により操作パネル画像の表示位置を仮設定した状態で、制御装置ＣＤがユーザＵＳの立ち位置に応じて操作パネル画像の表示位置を移動調整する場合を例にとって説明した。しかし、ユーザＵＳが操作パネル画像の表示位置を仮設定していない状態からでも、制御装置ＣＤは操作パネル画像の表示位置を設定制御することが可能である。

（効果）
以上述べたように第１の実施形態では、絶対位置推定モードにおいて、制御装置ＣＤにより、ユーザＵＳが半透過型タッチディスプレイＴＤに対する立ち位置を変化させながら、半透過型タッチディスプレイＴＤに写る操作対象機器の鏡像をタッチ操作したときの、各立ち位置におけるタッチ位置の２Ｄ座標データと、このときのユーザＵＳの顔画像からユーザＵＳの視点位置を表す３Ｄ座標データを取得する。そして、上記各立ち位置ごとに、上記タッチ位置座標と視点位置座標とを結ぶ直線式を求め、各直線式が交差する点を算出してこの点を表す位置座標データを、半透過型タッチディスプレイＴＤ上に写る操作対象機器の鏡像の絶対位置座標として出力するようにしている。

従って、操作対象機器の鏡像の絶対位置座標をもとに、操作パネルの表示位置を設定すれば、半透過型タッチディスプレイＴＤに対するユーザＵＳの立ち位置がどの位置にあっても、半透過型タッチディスプレイＴＤにおける操作パネル画像の表示位置を操作対象機器の鏡像に対応させることが可能となる。その結果、例えば半透過型タッチディスプレイＴＤに複数の操作対象機器が写っていてこれらが接近している場合でも、操作対象機器を特定できなくなったり、別の操作対象機器を誤操作してしまうといった不具合が発生しないようにすることができる。これにより、所望の操作対象機器を確実に指定して操作することが可能となる。また、操作パネル画像の表示位置の設定操作に対するユーザの負担も軽減することができる。

［第２の実施形態］
第１の実施形態では、リモート操作モードにおいて、ユーザＵＳの立ち位置に対応する視点位置と、絶対位置推定モードにおいて推定した操作対象機器の鏡像の絶対位置とに基づいて、制御装置ＣＤが操作パネル画像の表示位置を自動調整する場合を例にとって説明した。

これに対しこの発明の第２の実施形態は、ユーザＵＳの立ち位置に対応する視点位置と、絶対位置推定モードにおいて推定した操作対象機器の鏡像の絶対位置とに基づいて、ユーザＵＳによる操作パネル画像表示位置の設定操作を支援する情報を生成し、ユーザＵＳに提示するようにしたものである。

（構成例）
図９は、この発明の第２の実施形態に係るリモート制御システムが備える制御装置ＣＤのソフトウェア構成の一例を示すブロック図である。なお、同図において図４と同一機能部分には同一符号を付して詳しい説明は省略する。

制御装置ＣＤの制御部１Ｂは、この発明の第２の実施形態を実施するために必要な処理機能として、カメラ画像取得処理部１１、ユーザ視点位置算出処理部１２、タッチ位置座標取得処理部１３および絶対位置座標算出処理部１４に加え、操作パネル位置の設定支援情報生成処理部１６を備えている。

なお、この設定支援情報生成処理部１６についても、上記各処理部１１～１４と同様、プログラム記憶部２に格納されたアプリケーション・プログラムを制御部１Ｂのハードウェアプロセッサに実行させることにより実現される。

設定支援情報生成処理部１６は、ユーザＵＳが操作対象機器をリモート操作する際に、このときのユーザＵＳの視点位置と、絶対位置情報記憶部３４に記憶された絶対位置情報とに基づいて、操作パネル画像ＯＰの表示位置の設定支援情報を生成する。そして、生成した上記設定支援情報を、半透過型タッチディスプレイＴＤのディスプレイＤＰに表示する処理を行う。

（動作例）
次に、第２の実施形態における制御装置ＣＤの動作例を説明する。
図１０は、第２の実施形態における制御装置ＣＤの制御部１Ｂが実行する、操作パネル位置の設定支援制御の処理手順と処理内容の一例を示すフローチャートである。なお、図１０において、図６と処理内容が同一の部分には同一符号を付して説明を行う。

すなわち、制御装置ＣＤの制御部１Ｂは、第１の実施形態と同様に、先ずステップＳ３０において、カメラ画像取得処理部１１によりこのときのユーザＵＳの顔の領域を含む３Ｄ画像データをカメラＣＭから入出力Ｉ／Ｆ部４を介して取得する。続いてステップＳ３１において、ユーザ視点位置算出処理部１２により、取得した上記３Ｄ画像データからユーザＵＳの目の位置を認識し、認識した上記目の位置をもとにユーザＵＳの視点位置を表す３Ｄ座標データを算出する。

次に、設定支援情報生成処理部１６の制御の下、ステップＳ３２において、算出された上記ユーザＵＳの視点位置を表す３Ｄ座標データと、絶対位置情報記憶部３４に記憶された操作対象機器の鏡像の絶対位置を表す３Ｄ座標データとをもとに、視点位置と絶対位置とを結ぶ直線式を求める。続いて設定支援情報生成処理部１６は、ステップＳ３３において、上記直線式をもとに、当該直線が半透過型タッチディスプレイＴＤを通る点の座標、つまりｚ＝０となる点の２Ｄ座標を算出する。

そして、設定支援情報生成処理部１６は、ステップＳ３５において、算出した上記ｚ＝０となる点の２Ｄ座標位置を表す表示パターンを生成し、生成した上記表示パターンを半透過型タッチディスプレイＴＤのディスプレイＤＰ上の上記２Ｄ座標位置に表示する。表示パターンとしては、例えば赤色の丸印が用いられるが、これに限らず矢印や星印などの他の記号やマークでもよい。また、表示パターンはユーザＵＳが認識しやすいように点滅させるようにしてもよい。

ユーザＵＳは、表示された半透過型タッチディスプレイＴＤのディスプレイＤＰに表示された上記表示パターンの位置に、操作パネル画像をドラッグ操作により移動させる。

（効果）
以上述べたように第２の実施形態によれば、ユーザＵＳの立ち位置に応じて、その視点位置と操作対象機器の鏡像の絶対位置とを結ぶ直線式が求められ、この直線が半透過型タッチディスプレイＴＤ上を通る点に、操作パネル画像の設定操作を支援する表示パターンを表示するようにしている。

従って、ユーザＵＳは上記表示パターンにより指示される位置に操作パネル画像をドラッグ操作により移動させることで、簡単かつ確実に、操作対象機器の鏡像と対応する位置に操作パターン画像を設定することが可能となる。

［第３の実施形態］
前記第１の実施形態では、絶対位置推定モードにおいて、所定回数のタッチ操作が終了した後に、各タッチ操作に応じて取得されたタッチ位置座標とこのときのユーザＵＳの視点位置座標とを用いて操作対象機器の鏡像の絶対位置座標を算出するようにした。

しかし、それに限らず、新たなタッチ操作が行われるごとに、絶対位置座標算出処理部１４において、その都度そのときのタッチ位置座標およびユーザＵＳの視点位置座標と、それ以前のタッチ操作において算出されたタッチ位置座標およびユーザＵＳの視点位置座標とを用いて操作対象機器の鏡像の絶対位置座標を算出するようにしてもよい。

さらに、絶対位置座標算出処理部１４において、新たなタッチ操作に応じて取得されたタッチ位置座標とこのときのユーザＵＳの視点位置座標との間を結ぶ直線が、それ以前のタッチ操作に応じて同様に求められた直線と交差するか否かを判定し、この判定結果をもとに操作対象機器の鏡像の絶対位置座標を推定する上での貢献度を算出し、算出した貢献度を表す情報をユーザＵＳに提示するようにしてもよい。

例えば、新たなタッチ操作により得られた直線がそれ以前のタッチ操作により得られた直線と交差する場合には、上記新たなタッチ操作について「貢献度大」と判定してその旨の情報をユーザＵＳに提示する。

これに対し、上記新たなタッチ操作により得られた直線がそれ以前のタッチ操作により得られた直線と交差しない場合には、これらの直線間の最接近する点間の距離を算出し、算出した上記距離が予め設定されたしきい値（例えば５cm）以下であるか否かを判定する。そして、上記距離が上記しきい値以下の場合には「貢献度中」と判定してその旨の情報をユーザＵＳに提示し、一方上記距離が上記しきい値を超えている場合には「貢献度小」と判定してその旨の情報をユーザＵＳに提示する。

上記貢献度の提示手法としては、例えば半透過型タッチディスプレイＴＤへの表示、音、振動を用いることができる。表示を用いる場合には、貢献度に応じて、例えば、「EXCELLENT!!」、「GOOD!」、「SOSO」等のテキストデータを表示したり、また貢献度を「二重丸」、「丸」、「三角」、「ＯＫ」等の種々記号やマークや、アバター等のキャラクタ画像を用いて表現するようにしてもよい。

音を使用する場合には、貢献度に応じた鳴音やチャイムを発生させたり、音声合成により貢献度を表す音声メッセージを生成して表示する手法が考えられる。また、振動を使用する場合は、例えばユーザＵＳが装着するウェアラブル型端末やスマートフォン等に駆動信号を送信して、貢献度に応じて設定した所定パターンの振動を発生させる手法が考えられる。

［その他の実施形態］
（１）前記第１および第２の実施形態では、ユーザＵＳが半透過型タッチディスプレイＴＤをタッチ操作したときに、ユーザの視点位置が変化したと見なして、上記タッチ操作によるタッチ位置座標を取得すると共に、このときのユーザＵＳの顔画像からユーザＵＳの視点位置を算出するようにした。

しかし、これに限らず、例えばカメラＣＭの撮像画像からユーザＵＳの立ち位置の変化を検出し、この立ち位置の変化をユーザの視点位置の変化と見なして、このときのユーザＵＳの視点位置を算出し、さらにこの状態でユーザＵＳが半透過型タッチディスプレイＴＤをタッチ操作したときのタッチ位置座標を取得するようにしてもよい。要するに、ユーザＵＳの複数の視点位置における視点位置座標データおよびタッチ位置座標データを取得する手段としては、どのような手段でも用いることができる。

（２）制御装置ＣＤは、半透過型タッチディスプレイＴＤ内に内蔵することにより一体的に設けるようにしてもよい。その他、半透過型タッチディスプレイＴＤの構成や、制御装置ＣＤが備える各処理機能、および処理手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

また、操作対象機器としては、テレビやラジオ、エアコン、白物家電機器等のスマート家電機器の他に、照明器具や音響機器、玩具、オフィス機器、情報通信機器等を操作対象とすることができる。

以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

ＴＤ…半透過型タッチディスプレイ
ＤＰ…ディスプレイ
ＨＭ…半反射型ミラー
ＴＦ…タッチフレーム
ＣＭ…カメラ
ＣＤ…制御装置
１Ａ，１Ｂ…制御部
２…プログラム記憶部
３…データ記憶部
４…入出力Ｉ／Ｆ部
５…バス
１１…カメラ画像取得処理部
１２…ユーザ視点位置算出処理部
１３…タッチ位置座標取得処理部
１４…絶対位置座標算出処理部
１５…操作パネル位置制御処理部
１６…設定支援情報生成処理部
３１…カメラ画像記憶部
３２…視点位置記憶部
３３…タッチ位置記憶部
３４…絶対位置情報記憶部

Claims (8)

1. ディスプレイの前面に半反射型ミラーを介在した状態で光透過型タッチフレームを配置した半透過型タッチディスプレイと、
   前記半透過型タッチディスプレイに接続される制御装置と
   を具備し、
   前記制御装置は、
   ユーザが前記半透過型タッチディスプレイに対する視点位置を変化させたときの、複数の前記視点位置の各々についてその視点位置座標を取得する第１の処理部と、
   複数の前記視点位置において、前記ユーザが前記半透過型タッチディスプレイに写る操作対象機器の鏡像をタッチ操作したときのタッチ位置座標を取得する第２の処理部と、
   複数の前記視点位置座標と、複数の前記タッチ位置座標とに基づいて、前記半透過型タッチディスプレイに写る前記操作対象機器の鏡像の絶対位置座標を推定する第３の処理部と
   を備えるリモート制御システム。
2. ディスプレイの前面に半反射型ミラーを介在した状態で光透過型タッチフレームを配置した半透過型タッチディスプレイに接続されるリモート操作用の制御装置であって、
   ユーザが前記半透過型タッチディスプレイに対する視点位置を変化させたときの、複数の前記視点位置についてそれぞれその視点位置座標を取得する第１の処理部と、
   複数の前記視点位置において、前記ユーザが前記半透過型タッチディスプレイに写る操作対象機器の鏡像をタッチ操作したときのタッチ位置座標を取得する第２の処理部と、
   複数の前記視点位置座標を表すデータと、複数の前記タッチ位置座標を表すデータとに基づいて、前記半透過型タッチディスプレイに写る前記操作対象機器の鏡像の絶対位置座標を推定する第３の処理部と
   を具備する制御装置。
3. 前記第３の処理部は、前記視点位置ごとに、前記視点位置座標と前記タッチ位置座標とを結ぶ直線を表す式をそれぞれ求め、複数の前記直線が交差する交差位置座標を算出し、算出した前記交差位置座標を前記操作対象機器の鏡像の前記絶対位置座標とする、請求項２に記載の制御装置。
4. 前記第３の処理部は、前記視点位置ごとに、前記視点位置座標と前記タッチ位置座標とを結ぶ直線を表す式をそれぞれ求め、複数の前記直線上の互いに最も接近する点間の中点を表す座標を算出し、算出した前記中点を表す座標を前記操作対象機器の鏡像の前記絶対位置座標とする、請求項２に記載の制御装置。
5. 前記第３の処理部は、前記視点位置ごとに、前記視点位置座標と前記タッチ位置座標とを結ぶ直線を表す式をそれぞれ求め、複数の前記直線の交差の有無および交差しない場合には直線間の距離を判定し、その判定結果に基づいて前記操作対象機器の鏡像の絶対位置座標の推定処理に対する貢献度を判定し、判定した前記貢献度を表す情報を出力する、請求項２に記載の制御装置。
6. 前記ユーザが前記操作対象機器をリモート操作するときの前記ユーザの前記視点位置座標と、前記絶対位置座標とに基づいて、前記半透過型タッチディスプレイにおける、前記操作対象機器に対応する操作パネル画像の表示位置を設定制御する第４の処理部を、さらに具備する請求項２に記載の制御装置。
7. 前記ユーザが前記操作対象機器をリモート操作するときの前記ユーザの前記視点位置座標と、前記絶対位置座標とに基づいて、前記操作対象機器に対応する操作パネル画像の表示位置の設定支援情報を生成し、生成した前記設定支援情報を前記半透過型タッチディスプレイに表示する第５の処理部を、さらに具備する請求項２に記載の制御装置。
8. 請求項２乃至７のいずれかに記載の制御装置が具備する各処理部が行う処理の少なくとも１つを、前記制御装置が備えるプロセッサに実行させるプログラム。