JP7427937B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理システム、画像処理装置、画像処理方法、およびプログラムに関する。

人の動きを検出（モーションキャプチャ）して、検出された人の動き（ジェスチャ）、姿勢、身体の一部の形状などに対応する機器の操作を行う技術が様々な場面で用いられるようになってきている。

特許文献１に記載のデータ入力装置は、表示装置を操作するユーザの撮像画像から画像認識処理により判別し、操作者として判別された場合に、操作者の手が操作可能領域に所在していることを判別すると操作が開始されたと判断し、操作者の手の形状を認識し、手の形状情報に対応する処理を行う。この対応する処理とは、例えば、案内画面の表示、映像コンテンツの表示、ネットワークからの情報検索などである。

特許文献２に記載の装置は、車載装置のタッチパネルの操作を、ユーザが手を大きく伸ばさなくても行えるように、タッチパネルの前方にある物体（ドライバの手）の距離を監視し、特定の領域にドライバの手が侵入したことを検知すると、操作用のアイコンなどをドライバ側に移動させて表示するとともに効果音を出力している。

特許文献３に記載の入力装置は、ユーザから離れた位置に設置されるディスプレイと、ユーザの手元に設置される操作用のタッチパッドと、タッチパッドの上方に設けられたカメラを備えている。ディスプレイにはユーザが所望の命令や情報を入力するためのＧＵＩ（Graphical User Interface）部品が表示され、ユーザが手元のタッチパッドを操作すると、カメラで撮像された手の形状やジェスチャを認識し、操作されたＧＵＩ部品に関連付けられた命令や情報が入力される。

特開２０１６－１８６８０９号公報 国際公開第２０１５／００１８７５号 国際公開第２００７／０８８９４２号

上述した文献に記載の技術においては、操作者の身体の一部の形状やジェスチャを認識して対応する処理を行っているが、操作毎の形状やジェスチャを複数覚えるのは意外に難しく、ジェスチャや形状を正確に行わないと誤操作にも成り兼ねなかった。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、非接触での操作を容易にして誤操作を低減することにある。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第一の側面は、画像処理装置に関する。
第一の側面に係る画像処理装置は、
ディスプレイと、ハーフミラーとともに使用される画像処理装置であって、
前記ハーフミラーは、前記ディスプレイを背面に有し、当該ディスプレイに表示される画像を透過させ、
前記ハーフミラーに映る特定部位に映る人物の特定部位の、前記ハーフミラーを基準とした相対位置を検出する検出手段と、
当該特定部位の相対位置に基づいて、前記ディスプレイにおける操作部の画像の表示位置を決定して前記ディスプレイに前記操作部の画像を表示させる制御手段と、
前記ハーフミラーを透過した前記操作部の画像と、前記ハーフミラーに映った指示物の相対位置に基づいて、当該操作部に関連付けられた処理を実行する処理手段と、を有する。

第二の側面は、少なくとも１つのコンピュータにより実行される画像処理方法に関する。
第二の側面に係る画像処理方法は、
ディスプレイと、ハーフミラーとともに使用される画像処理装置の画像処理方法であって、
前記ハーフミラーは、前記ディスプレイを背面に有し、当該ディスプレイに表示される画像を透過させ、
前記画像処理装置が、
前記ハーフミラーに映る特定部位の、前記ハーフミラーを基準とした相対位置を検出し、
当該特定部位の相対位置に基づいて、前記ディスプレイにおける操作部の画像の表示位置を決定して前記ディスプレイに前記操作部の画像を表示させ、
前記ハーフミラーを透過した前記操作部の画像と、前記ハーフミラーに映った指示物の相対位置に基づいて、当該操作部に関連付けられた処理を実行する、ことを含む。

なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、画像処理装置上で、その画像処理方法を実施させるコンピュータプログラムコードを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。

上記各側面によれば、非接触での操作を容易にして誤操作を低減できる。

本発明の実施の形態に係る画像処理システムの概要を説明するための図である。 本発明の実施の形態に係る画像処理装置の論理的な構成例を示す機能ブロック図である。 図２に示す画像処理装置を実現するコンピュータのハードウェア構成を例示するブロック図である。 本実施形態の画像処理装置の動作例を示すフローチャートである。 ハーフミラーの撮像画像と実鏡面上の映像の補正処理を説明するための図である。 ハーフミラーに映った操作者の位置情報の取得方法を説明するための図である。 ハーフミラーに映った操作者の位置情報を２台のカメラを用いて取得する方法を説明するための図である。 ハーフミラーに映った操作者の位置情報を２台のカメラを用いて取得する方法を説明するための図である。 ハーフミラーに映った身体の特定部位に操作部を重畳表示する方法の一例を説明するための図である。 本発明の実施の形態に係る画像処理装置の論理的な構成例を示す機能ブロック図である。 画像処理システムのカメラの設置位置の他の例を説明するための図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。

実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、および、自装置に他の装置から出力されるデータまたは情報を入力すること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（または、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。

（第１実施形態）
＜システム概要＞
図１は、本発明の実施の形態に係る画像処理システム１の概要を説明するための図である。ハーフミラー１０と、ディスプレイ２０と、カメラ３０と、画像処理装置１００と、を備える。ディスプレイ２０、カメラ３０、および画像処理装置１００は、通信ネットワーク３を介して互いに接続される。なお、各装置は、通信ネットワーク３を介さずに直接接続されてもよい。

ハーフミラー１０は、その背面にディスプレイ２０が設置され、ディスプレイ２０に表示される画像を前面に透過させる。ディスプレイ２０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどである。カメラ３０は、ハーフミラー１０を撮像して画像を生成する。ハーフミラー１０の前に立った人物等の映像はハーフミラー１０の鏡面に映る。このため、カメラ３０の撮像画像には、ハーフミラー１０に映った映像とディスプレイ２０に表示される画像が重なったものとなる。画像処理装置１００は、カメラ３０が生成した画像を取得して処理を行う。

カメラ３０は、レンズとＣＣＤ（Charge Coupled Device）イメージセンサといった撮像素子を備え、例えばＩＰ（Internet Protocol）カメラ等のネットワークカメラである。ネットワークカメラは、たとえば、無線ＬＡＮ（Local Area Network）通信機能を有し、通信ネットワーク３のルータなどの中継装置（不図示）を介して画像処理装置１００に接続される。そして、カメラ３０は、ハーフミラー１０に映る人物の動きに合わせて追従してカメラ本体やメンズの向きの制御、ズーム制御、焦点合わせ等を行う機構を備えてもよい。

カメラ３０により生成される画像は、リアルタイムに撮影され、画像処理装置１００に送信されるのが好ましい。ただし、画像処理装置１００に送信される画像は、カメラ３０から直接送信されなくてもよく、所定の時間遅延した画像であってもよい。カメラ３０で撮像された画像は、一旦他の記憶装置に格納され、画像処理装置１００が記憶装置から逐次または所定間隔毎に読み出してもよい。さらに、画像処理装置１００に送信される画像は、動画像であるのが好ましいが、所定間隔毎のフレーム画像であってもよいし、静止画であってもよい。

＜機能構成例＞
図２は、本発明の実施の形態に係る画像処理装置１００の論理的な構成例を示す機能ブロック図である。画像処理装置１００は、検出部１０２と、制御部１０４と、処理部１０６と、を備える。

画像処理装置１００は、さらに、記憶装置１１０を備える。記憶装置１１０には、画像処理装置１００の各種設定データ、登録情報、およびプログラムなどが記憶される。記憶装置１１０は、画像処理装置１００の内部に設けられてもよいし、外部に設けられてもよい。つまり記憶装置１１０は、画像処理装置１００と一体のハードウェアであってもよいし、画像処理装置１００とは別体のハードウェアであってもよい。画像処理装置１００と記憶装置１１０は通信ネットワークで接続されてもよい。

検出部１０２は、ハーフミラー１０に映る特定部位の、ハーフミラー１０を基準とした相対位置を検出する。制御部１０４は、特定部位の相対位置に基づいて、操作部の画像の表示位置を決定してディスプレイ２０に操作部の画像を表示させる。処理部１０６は、ハーフミラー１０を透過した操作部の画像と、ハーフミラー１０に映った指示物の相対位置に基づいて、当該操作部に関連付けられた処理を実行する。

特定部位は、ハーフミラー１０に映る人物本人が触ることができる、人物の身体の特定部位、および人物に付随する（例えば、身につけている、または持っている）物体の特定の部分である。ハーフミラー１０に映る映像の特定部位の領域、または特定部位を基準として特定される領域に、操作部の画像が表示される。例えば、人物の身体の特定部位は、人物の腕、胴体、顔などである。人物に付随する物体の特定の部分は、例えば、人物が身につけている眼鏡、帽子、手袋、エプロン、ネクタイ、衣服のポケットや襟などであってもよし、人物が持っているリモコンやプレートなど画像を表示できる平面の領域を持っている物体、あるいは、後述する指示物であってもよい。例えば、ハーフミラー１０に映る映像内のネクタイを検出し、ネクタイを基準として特定される胴体部分の領域に操作部の画像が表示されてもよい。あるいは、ハーフミラー１０に映る映像内の眼鏡を検出し、眼鏡を基準として特定される両頬の領域に操作部の画像が表示されてもよい。

また、人物が手に持っているプレートを検出し、プレートの一面の領域に操作部の画像が表示されてもよい。本システムに特化した専用プレートなどを用い、プレート上にマーカを設けておけば、特定部位の検出がさらに容易になる。あるいは、専用のマーカを、操作部の画像を表示できる領域を有する物体に貼付して、ユーザがその物体を持ってハーフミラー１０に立って映り、当該物体に貼付されたマーカを検出することで特定部位を検出し、物体の表示できる領域に操作部の画像を表示させてもよい。

また、指示物を検出し、指示物の位置から、その延長線上にある人物の腕を特定部位として特定してもよい。この場合、指示物と特定部位の位置関係は予め登録されているものとする。

人物の特定部位は、本人が触ることができる部位である。さらに、人物の特定部位は、ハーフミラー１０の前に立った操作者４０が、ハーフミラー１０に映った特定部位に表示された操作部を見ることができるのが好ましい。ただし、操作部の位置（特定部位は腕など）が予め分かっている場合には、見えなくてもよい。自分の身体を触るので、自分の身体に対して目視は必ずしも必要なく、目を瞑っても自分の腕等を触ることは容易である。例えば、ハーフミラー１０で自分の顔だけを見て、腕の操作部をタッチすることもできる。

指示物は、例えば、人体のうち特定部位以外のパーツであり、手、あるいは、手の指であるのが好ましい。ただし、上記した特定部位が人体の掌などの場合は、特定部位と反対側の手や手の指である。例えば、特定部位は左手の掌であり、指示物は右手の指であってもよい。また、指示物は、人体のパーツ以外を含んでもよく、例えば、操作者が手あるいは口などで持っている指し棒、ペンなどであってもよい。

操作部は、表示画面上のタッチ操作で使用されるＧＵＩ（Graphical User Interface）部品であり、例えば、操作ボタン、アイコン、選択メニュー、スライダーなどを含むが、これらに限定されない。ＧＵＩ部品には、操作内容を含むことができる。例えば、アイコンには、それを操作することで何が行われるかを示す画像や文字をデザインして含むことができるので、アイコンを見ただけで操作内容を把握することもできる。あるいは、選択メニューリストには具体的な処理内容を文字で表記することもできる。

処理部１０６により実行される処理は例えば、以下に例示されるが、これらに特に限定されず、操作部の操作を受け付けることで実行される様々な処理であってよい。
（ａ１）操作により指定されたコンテンツ（例えば、画像、映像、ホームページ、デジタル書籍等）をディスプレイ２０に表示させてハーフミラー１０に映す。さらに、コンテンツに対する操作を受け付ける。
（ａ２）スピーカから音楽や音声を出力させたり、音量調整を行ったりする。
（ａ３）ハーフミラー１０の前の人物をカメラで撮像する。撮像画像をディスプレイ２０に表示させてハーフミラー１０に映す。
（ａ４）撮像画像を分析してユーザの状態情報（例えば、静脈血流を観測して心拍数を計測したり、顔色や表情を画像認識やＡＩ（Artificial Intelligence）を用いて分析したりして得られる健康状態情報など）を取得し、データを蓄積するとともに、ユーザに状態や分析結果を表示や音声出力で伝える。
（ａ５）登録されている家電製品や照明機器などの操作を行う。
（ａ６）映像などをディスプレイ２０に表示させてハーフミラー１０に映したりスピーカから音声出力したりしながら、ユーザと対話する。

＜ハードウェア構成例＞
図３は、図２に示す画像処理装置１００を実現するコンピュータ１０００のハードウェア構成を例示するブロック図である。コンピュータ１０００は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、およびネットワークインタフェース１０６０を有する。

バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、およびネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。

プロセッサ１０２０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。また、プロセッサ１０２０は、後述する画像解析や機械学習などに特化したＬＳＩ（Large-Scale Integrated circuit）を含んでもよい。

メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。

ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像処理装置１００の各機能（例えば、検出部１０２、制御部１０４、処理部１０６、および後述する特定部１０８など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は記憶装置１１０の各データも記憶してもよい。

プログラムモジュールは、記録媒体に記録されてもよい。プログラムモジュールを記録する記録媒体は、非一時的な有形のコンピュータ１０００が使用可能な媒体を含み、その媒体に、コンピュータ１０００（プロセッサ１０２０）が読み取り可能なプログラムコードが埋め込まれてよい。

入出力インタフェース１０５０は、コンピュータ１０００と各種入出力機器とを接続するためのインタフェースである。

ネットワークインタフェース１０６０は、コンピュータ１０００を通信ネットワークに接続するためのインタフェースである。この通信ネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０が通信ネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

そして、コンピュータ１０００は、入出力インタフェース１０５０またはネットワークインタフェース１０６０を介して、必要な機器（例えば、ディスプレイ、キーボード、マウス、プリンタ、カメラ３０、スピーカ、マイクロフォン等）に接続する。

画像処理装置１００は、コンピュータ１０００に、当該画像処理装置１００を実現するためのアプリケーションプログラムをインストールして起動することで実現される。

コンピュータ１０００は、ハーフミラー１０が設置される場所に設置されるパーソナルコンピュータやサーバであってもよいし、インターネットなどの通信ネットワークを介してハーフミラー１０やカメラ３０と接続される遠隔地に設置されるサーバであってもよい。

＜動作例＞
図４は、本実施形態の画像処理装置１００の動作例を示すフローチャートである。
まず、検出部１０２は、ハーフミラー１０に映る特定部位の、ハーフミラー１０を基準とした相対位置を検出する（ステップＳ１０１）。

より詳細には、検出部１０２は、まず、ハーフミラー１０に映った操作者の画像または、操作者の位置情報を取得する（ステップＡ１）。そして、取得した画像または位置情報から操作者の特定部位を識別する（ステップＡ２）。

ここで、ステップＡ１のハーフミラー１０に映った操作者の画像または位置情報の取得方法について説明する。ハーフミラー１０に映った映像を撮影するカメラ３０をハーフミラー１０の正面に置くことができないため、カメラ３０は、ハーフミラー１０の枠外から斜めに撮影することになる。そのため、取得した画像の補正には工夫が必要となる。画像または位置情報の取得方法は様々考えられ、以下の（ｂ１）～（ｂ５）に例示されるが、これらに限定されない。

（ｂ１）ハーフミラー１０を撮影するカメラ３０をハーフミラー１０の反射面側に設置する。カメラ３０の撮影画像を画像処理してハーフミラー１０に映った画像を取得する。この場合、斜め上からの撮影となるため、矩形化の画像処理や環境光緩和処理（ライトの映り込みや、赤目などの処理）を行う。なお、矩形化の精度を高めるため、設置時に補正（キャリブレーション）を行う。

例えば、始めに、ハーフミラー１０だけを撮影する。次に、図５に示すように、ハーフミラー１０の中で定点（ハーフミラー１０上の位置が既知の場所）にマーク１２をハーフミラー１０の裏面側のディスプレイ２０に複数表示する。そのマーク１２について、撮影画像と実鏡面の差異（歪み度合）から、矩形化に必要な補正情報を取得する。

（ｂ２）２台のカメラ３０により操作者（実体）の位置情報を測定する。図１１にカメラ３０の設置位置の一例を示す。この例では、カメラ３０をハーフミラー１０の枠外の上側に設け、カメラ３０を用いてハーフミラー１０の前に立った人物を直接撮像している。図１１の例では、２つのカメラ３０を用いているが、後述する（ｂ３）のように１台のカメラ３０であってもよい。また、カメラ３０は、ハーフミラー１０の前に立った人物を撮像できれば、設置位置は図の例に限定されない。例えば、ハーフミラー１０の上側以外の場所でもよいし、ハーフミラー１０から離れた場所であってもよいし、ハーフミラー１０の背面であってもよい。ハーフミラー１０の背面に設けられたディスプレイ２０の外枠に設けられたカメラ３０であってもよい。

図１１のようにカメラ３０で直接操作者を撮像する構成は、カメラ３０をハーフミラー１０の正面に設けられないような場所、例えば、ハーフミラー１０に映る人物を撮像できる位置にカメラ３０を設置するスペースがない場合などにも画像処理システム１の適用を可能にする。

２つのカメラ３０を用いることにより、３次元の位置情報を取得できる。実現可能方法としてステレオカメラが挙げられる。奥行も測定可能なため、立体として認識できるので、丸みや曲面の画像処理が可能となる。

図６に示すように、２次元上で対象物Ｐ（操作者４０）の座標を得る。２つのカメラ（カメラ３０ａ、３０ｂ）が地面に対して水平に設置されており、鏡面（この図では不図示）と並行に設置されているものとする。以降のように数理的に座標を得ることができるが、実際の処理としてこれらの数式を用いることに限定されない。例えば、近似式を用いたり、高速処理のためのアルゴリズムを用いたりすることもできる。２つのカメラの焦点Ｆ１、Ｆ２において、中点をＯ（原点）、Ｏから各焦点への距離をｌ（エル）、焦点距離をｆとする。

Ｐ（ｘ，ｙ）において、これらの式（１）と式（２）を解くと、下記の式（３）、式（４）のようにＰの座標が求められる。

α、βは、カメラ３０上の像の位置から求める。βの場合、図６で、カメラ３０ｂ上の中心と像の位置（ｒ）は、カメラの性能（ＣＣＤ部分の解像度やＤＰＩ（Dot Per Inch））から算出できる。式（５）からβが求められ、αの場合も同様に求められる。

次に真横から見て、対象物Ｐの座標を求める。図７は、カメラ３０が斜め下を向いている場合を表す。図７で、焦点Ｆを通る平面Ａは、カメラ３０で映す方向を法線方向とする平面を表す。平面Ａと、対象物Ｐを通り平面Ａに平行な平面Ｂにおいて、平面Ａと平面Ｂの距離Ｍは前項の２次元上で対象物Ｐの座標より計算できる。よって、ＦＰ間の距離ｚは、式（６）の通りとなる。

また、図８に示すように、カメラ３０はハーフミラー１０に傾いて取り付けられているため、ハーフミラー１０と対象物Ｐの距離Ｌは、次の式（７）、式（８）から式（９）により求められる。ここでは計算式を簡単にするため、ハーフミラー１０の鉛直線上に焦点Ｆがあることを前提とする。

（ｂ３）１台のカメラ３０による操作者（実体）の位置情報を測定する。これにより、３次元の位置情報を取得できる。実現可能方法として、光の分散（色収差）による焦点距離の違い（ピンボケの違い）から、奥行きを測る方法が挙げられる。

（ｂ４）ハーフミラー１０に映った画像をハーフミラー１０自身が読み取り（スキャン）して、ハーフミラー１０に映った画像を取得する。ハーフミラー１０の裏側に検出器（不図示）を貼り付ける。ハーフミラー１０全体から光検出する方法や、検出器の間隔を空けてドット（格子点）で検出する方法が挙げられる。

（ｂ５）ハーフミラー１０の特性から、ハーフミラー１０背面のカメラ３０による操作者（実体）の画像を取得する。広い画角のカメラ３０を複数台置くことで、ハーフミラー１０の厚みを薄くする方法が挙げられる。

上記の例のカメラ３０で人物を直接撮像する構成において、ハーフミラー１０に対する立ち位置を予めユーザに指示する構成（例えば、立ち位置を示すフットマークを床に設ける、投影機で映写する、ユーザの立ち位置を認識しながらユーザに音声または表示で指示するなど）を有してもよい。そのようにすれば、操作者（実体）の位置情報を測定する処理を省略できる。

次に、ステップＡ２の取得した画像または位置情報から操作者の特定部位の識別方法について説明する。具体的には、画像処理と物体認識により識別する。画像処理について、上記（ｂ１）、（ｂ４）、（ｂ５）の場合は２次元画像の処理となり、上記（ｂ２）、（ｂ３）の場合は３次元情報から２次元画像への変換処理を行う。物体認識は、ＡＩや画像パターン識別の技術を用いて処理する。

図４に戻り、上記のようにして操作者の画像が取得された場合、制御部１０４は、取得された操作者の画像から画像認識処理により、特定部位に対応する形状を表示位置として特定する（ステップＳ１０３）。制御部１０４は、特定された形状に合わせてディスプレイ２０に操作部５０の画像を表示させる（ステップＳ１０５）。ここで、制御部１０４は、操作部５０の画像を特定部位にオーバーレイ表示する際に、当該特定部位の大きさや形状に合わせて操作部５０の画像を変形および加工する処理も行う。

ディスプレイ２０はハーフミラー１０の背面に設置され、ハーフミラー１０越しにディスプレイ２０の画面が見えるので、ハーフミラー１０に映った操作者４０の映像４２に、操作部５０の画像が重なって表示され、あたかも操作者４０の特定部位に操作部５０が表示されているように見える。

図９（ａ）に示すように、操作者４０がハーフミラー１０に映っている映像４２の特定部位４４（この例では腕）の領域の上に操作部５０として３つの操作ボタンの画像が重畳表示される。

図４に戻り、上記のようにして操作者の位置情報が取得された場合、制御部１０４は、身体の特定部位の認識と位置情報による立体的な形状の認識により、操作部５０の画像の３次元の表示位置を特定する（ステップＳ１０３）。制御部１０４は、特定された表示位置に操作部５０の画像を重畳してディスプレイ２０に表示させる（ステップＳ１０５）。この方法では、身体の丸みや曲面に合った重畳表示を行うことができるので、違和感なく操作ができる。

ここで、特定部位の位置は、ハーフミラー１０を基準とした相対位置で示される。ハーフミラー１０の基準は、例えば、矩形の四隅の頂点のうちのいずれかとすることができる。特定部位の位置情報は、基準点との相対位置を示す座標で示される。

そして、処理部１０６は、ハーフミラー１０を透過した操作部５０の画像と、ハーフミラー１０に映った指示物６０の相対位置に基づいて、当該操作部５０に関連付けられた処理を実行する（ステップＳ１０７）。

図９（ｂ）に示すように、操作者４０は、ハーフミラー１０に映った自分の腕（特定部位４４）の部分に表示されている操作部５０の画像を見ながら、例えば、自分の指などの指示物６０で操作部５０のボタンを触る。処理部１０６は、画像認識処理により、ハーフミラー１０に映った指示物６０の映像６２の位置を特定する。そして、処理部１０６は、操作部５０の画像と指示物６０の映像６２が重なったことを検知すると、操作部５０に関連付けられた処理を実行する。

制御部１０４は、操作部５０の画像と指示物６０が重なったことが検知されると、当該操作部５０に対応する音声をスピーカ７０に出力させる、または操作部５０に関する表示の少なくとも一部を変更してディスプレイ２０に表示させる。ただし、音声出力と表示の変更を組み合わせてもよい。

操作部５０の画像と指示物６０が重なったことが検知され、操作入力を受け付けると、制御部１０４は、操作を受け付けたことを示す効果音、あるいは、音声メッセージをスピーカ７０から出力してもよい。適切に操作できたことを認知できるので、操作感が操作者に伝わる。意図した操作を想起する効果音、あるいは、操作が不適切な場合には誤操作を想起する効果音にすることで、誤認識や操作不備を操作者に伝えることもできる。さらに、処理部１０６は、指示物６０のタッチ動作を認識し、認識した位置の操作部５０の位置やタッチ回数をカウントし、操作入力として受け付け、制御部１０４は、当該操作を受け付けたことを操作者に伝える効果音や音声メッセージをスピーカ７０に出力させてもよい。一方で、タッチ位置が不明瞭な場合に、再度、操作を促す効果音または音声メッセージをスピーカ７０に出力させてもよい。

あるいは、制御部１０４は、同様に操作入力を受け付けると、図９（ｂ）に示すように、操作ボタン５２が選択されたことを示す色替え、強調表示、反転表示、点滅表示、形状変更などを行うことができる。この構成によれば、操作されたことが直感的に認識できる。

操作部５０の画像と指示物６０の映像が重なったことを検知してから、重なった状態が所定時間継続したときに、操作部５０の操作が行われたと判定してもよい。そのようにすれば、図９のように３つのボタンの中から選択する場合に、指示物６０の移動中に重なった場合には操作を受け付けず、指示物６０が選択するボタンの上で止まったときに操作を受け付けることができる。

他の例として、操作部５０の画像に指示物６０の映像が重なったことを検知した後、指示物６０の動きを監視し、操作部５０の上で所定回数タップ（例えば、軽く指でダブルタッチ）するなどの動作が検出されたときに、操作部５０の操作が行われたと判定してもよい。

本実施形態の画像処理装置１００によれば、制御部１０４により操作ボタンやアイコンなどのＧＵＩの部品がハーフミラー１０に映った操作者４０の映像４２の特定部位の位置にハーフミラー１０の背面に設置されたディスプレイ２０に表示されるので、ハーフミラー１０に映った操作者４０の映像４２の特定部位に操作部５０の画像が重畳表示されて見える。そのため、操作者４０は、自分の身体などの特定部位に表示されている操作部５０を指示物６０である指などで指し示すことで、操作入力できるので、操作性がよい。

ジェスチャによる空間操作は、ジェスチャの種類に限りがあるため関連付けることができる処理も制限される。また、処理に関連するジェスチャを複数覚えなければならず、覚え切れない場合もある。子供や高齢者には難しく正確なジェスチャができずに誤操作となる可能性もある。操作を行うためのスペースが必要となり、ハーフミラー１０の設置に制限が加わってしまう。また、ジェスチャをシステム側で認識するまでに何度もジェスチャを繰り返さなければならない労力もかかる場合もある。

本実施形態では、操作部５０は、操作ボタンやアイコンなどのＧＵＩとすることができるので、ＧＵＩに何の操作なのかを合わせて表示することができるので、ジェスチャを覚える必要がない。操作部５０のＧＵＩの種類も豊富であり、処理内容に合ったものを適切に選ぶことができる。さらに、複数の操作を順番に受け付けることで、意図する操作の種類をさらに増やすことができる。また、スライダー型のＧＵＩを腕に表示させた場合には、自分の腕の上をなぞるため、操作しやすい。例えば、スライダー型のＧＵＩは、音量の制御、表示画面のページめくり、画像の拡大縮小操作などの操作に適用できる。さらに、操作を行うために特別に必要となるスペースも不要である。また、操作部５０に対する操作の認識はジェスチャの認識に比較して格段に容易であるので、システム側の認識処理の負荷も大幅に軽減されるとともに、ユーザも何度もジェスチャを繰り返す必要がない。

（第２実施形態）
図１０は、本発明の実施の形態に係る画像処理装置１００の論理的な構成例を示す機能ブロック図である。本実施形態の画像処理装置１００は、操作部５０を操作者の属性や個人を特定して属性や個人に応じた操作部５０の画像を表示させたり表示位置を変更したりする構成を有する点以外は上記実施形態と同じである。

本実施形態の画像処理装置１００は、図２の構成に加え、さらに、特定部１０８を備えている。
特定部１０８は、ハーフミラー１０を撮影した画像を処理することによって人物の属性を特定する。制御部１０４は、属性に応じた操作部５０の画像を表示させる、または属性に応じて表示位置を変えて操作部５０の画像をディスプレイ２０に表示させる。

あるいは、特定部１０８は、ハーフミラー１０を撮影した画像を処理することによってハーフミラー１０に映る個人を特定してもよい。制御部１０４は、特定された個人に応じた操作部５０の画像を表示させる、または特定された個人に応じて表示位置を変えて操作部５０の画像をディスプレイ２０に表示させる。

特定部１０８による、人物の属性の特定と個人の特定は、少なくともいずれか一方を特定してもよい。

人物の属性を特定した場合、制御部１０４は、映った操作者の属性（性別、年齢、職業など）から、操作部５０のボタンやアイコンの表示順番、表示場所、画像、文字を変える。

特定部１０８は、属性分析をＡＩなどの機械学習手段で判別してもよい。特に、ハーフミラー１０を、操作者が特定できない場所（不特定の人物が使用する場所）に設置する場合、操作者のタッチ操作の煩雑さを軽減する。例えば、特定部１０８が操作者の属性が子供であると特定した場合、操作部５０をより簡単なものに変更したり、表示位置を腕以外に顔や胴体など選んで表示してお遊戯感覚で操作できてもよい。

個人を特定した場合、制御部１０４は、ハーフミラー１０に映った操作者を特定し、操作者に合わせた（パーソナライズした）コマンドを学習して設定し、そのコマンドを表すボタンやアイコンを優先的に表示してもよい。

事前に顔などの特徴情報を取得登録し、操作者が誰であるか顔認識処理により確定にしておく。ハーフミラー１０を家庭内に設置する場合、操作者を限定できるため、個人の特定ができる。

さらに、制御部１０４は、操作者の操作履歴を記憶しておき、よく使用されるコマンドを先に出すなど、ボタンやアイコンのタッチ操作の煩雑さを軽減してもよい。

特定部位が腕の場合、同時に表示できるボタンやアイコンは最大で４～５個である。シーケンス（２、３回タッチ）で操作入力するため、多くのコマンド（最大数十個程度）を選択できる。

本実施形態によれば、特定部１０８により操作者の属性を特定したり、個人を特定できるので、操作者に特化したパーソナライズ表示を行える。また、煩雑さを低減するため優先表示ができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
例えば、上記実施形態では、ハーフミラー１０の背面にディスプレイ２０を設ける構成としたが、さらなる他の実施形態では、カメラ３０で直接人物を撮影し、制御部１０４は、撮影した映像をディスプレイ２０に表示させ、撮影画像を画像処理して表示位置を特定して操作部５０の画像を撮影画像に合成して重畳させてディスプレイ２０に表示させてもよい。処理部１０６は、カメラ３０の撮像画像を画像処理して指示物６０の位置を特定し、特定された位置の操作部５０に関連する処理を行ってもよい。このさらなる他の実施形態の構成の方が上記した他の実施形態より特定部位のハーフミラー１０を基準した相対位置の検出処理が簡易になる。

さらなる他の実施形態では、ハーフミラー１０の前面に薄膜の液晶ディスプレイ２０を設けてもよい。あるいは、透明または透明度の高いディスプレイ２０をハーフミラー１０の前面に設けてもよい。さらに、この構成の場合、カメラ３０をハーフミラー１０の背面に設置し、ハーフミラー１０の前に立った操作者をハーフミラー１０越しに正面から撮影してもよい。この場合、ハーフミラー１０の裏側はハーフミラー１０の前側よりも照度を低くするとよい。さらに、ハーフミラー１０の操作者に照明を当て、照度をより高くするのが好ましい。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。

上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１. ディスプレイと、ハーフミラーとともに使用される画像処理装置であって、
前記ハーフミラーは、前記ディスプレイを背面に有し、当該ディスプレイに表示される画像を透過させ、
前記ハーフミラーに映る特定部位の、前記ハーフミラーを基準とした相対位置を検出する検出手段と、
当該特定部位の相対位置に基づいて、前記ディスプレイにおける操作部の画像の表示位置を決定して前記ディスプレイに前記操作部の画像を表示させる制御手段と、
前記ハーフミラーを透過した前記操作部の画像と、前記ハーフミラーに映った指示物の相対位置に基づいて、当該操作部に関連付けられた処理を実行する処理手段と、
を備える画像処理装置。
２． １．に記載の画像処理装置において、
前記制御手段は、前記ハーフミラーに映る前記特定部位に重なる位置に前記操作部の画像を前記ディスプレイに表示させる、画像処理装置。
３． １．または２．に記載の画像処理装置において、
前記指示物は、人体のうち前記特定部位以外のパーツである、画像処理装置。
４． ３．に記載の画像処理装置において、
前記指示物は手である、画像処理装置。
５． １．から４．のいずれか一つに記載の画像処理装置において、
前記処理手段は、前記操作部の画像と前記指示物の映像が重なったことを検知すると、前記処理を実行する、画像処理装置。
６． １．から５．のいずれか一つに記載の画像処理装置において、
前記検出手段は、
前記ハーフミラーを撮影した画像を処理することによって前記相対位置を検出する、画像処理装置。
７． ２．、および２．を引用する３．から６．のいずれか一つに記載の画像処理装置において、
前記ハーフミラーを撮影した画像を処理することによって前記ハーフミラーに映る人物の属性を特定する特定手段を備え、
前記制御手段は、前記属性に応じた前記操作部の画像を表示させる、または前記属性に応じて前記表示位置を変えて前記操作部の画像を表示させる、画像処理装置。
８． ２．、および２．を引用する３．から７．のいずれか一つに記載の画像処理装置において、
前記ハーフミラーを撮影した画像を処理することによって前記ハーフミラーに映る個人を特定する特定手段を備え、
前記制御手段は、特定された前記個人に応じた前記操作部の画像を表示させる、または特定された前記個人に応じて前記表示位置を変えて前記操作部の画像を表示させる、画像処理装置。
９． ２．、および２．を引用する３．から８．のいずれか一つに記載の画像処理装置において、
前記制御手段は、前記操作部の画像と前記指示物が重なったことが検知されると、当該操作部に対応する音声を出力させる、または前記操作部に関する表示の少なくとも一部を変更して表示させる、画像処理装置。

１０． ディスプレイを背面に有し、当該ディスプレイに表示される画像を透過させるハーフミラーと、
前記ハーフミラーを撮影して画像を生成するカメラと、
前記カメラが生成した前記画像を処理する画像処理装置と、を備え、
前記画像処理装置は、
前記ハーフミラーに映る特定部位の、前記ハーフミラーを基準とした相対位置を検出する検出手段と、
当該特定部位の相対位置に基づいて、操作部の画像の表示位置を決定して前記ディスプレイに前記操作部の画像を表示させる制御手段と、
前記カメラが生成した前記画像に含まれる、前記ハーフミラーを透過した前記操作部の画像と、前記ハーフミラーに映った指示物の相対位置に基づいて、当該操作部に関連付けられた処理を実行する処理手段と、
を備える、画像処理システム。
１１． １０．に記載の画像処理システムにおいて、
前記画像処理装置の前記制御手段は、前記ハーフミラーに映る前記特定部位に重なる位置に前記操作部の画像を前記ディスプレイに表示させる、画像処理システム。
１２． １０．または１１．に記載の画像処理システムにおいて、
前記指示物は、人体のうち前記特定部位以外のパーツである、画像処理システム。
１３． １２．に記載の画像処理システムにおいて、
前記指示物は手である、画像処理システム。
１４． １０．から１３．のいずれか一つに記載の画像処理システムにおいて、
前記画像処理装置の前記処理手段は、前記操作部の画像と前記指示物の映像が重なったことを検知すると、前記処理を実行する、画像処理システム。
１５． １０．から１４．のいずれか一つに記載の画像処理システムにおいて、
前記画像処理装置の前記検出手段は、
前記ハーフミラーを撮影した画像を処理することによって前記相対位置を検出する、画像処理システム。
１６． １１．、および１１．を引用する１２．から１５．のいずれか一つに記載の画像処理システムにおいて、
前記画像処理装置は。
前記ハーフミラーを撮影した画像を処理することによって前記ハーフミラーに映る人物の属性を特定する特定手段を備え、
前記画像処理装置の前記制御手段は、前記属性に応じた前記操作部の画像を表示させる、または前記属性に応じて前記表示位置を変えて前記操作部の画像を表示させる、画像処理システム。
１７． １１．、および１１．を引用する１２．から１６．のいずれか一つに記載の画像処理システムにおいて、
前記画像処理装置は、
前記ハーフミラーを撮影した画像を処理することによって前記ハーフミラーに映る個人を特定する特定手段を備え、
前記画像処理装置の前記制御手段は、特定された前記個人に応じた前記操作部の画像を表示させる、または特定された前記個人に応じて前記表示位置を変えて前記操作部の画像を表示させる、画像処理システム。
１８． １１．、および１１．を引用する１２．から１７．のいずれか一つに記載の画像処理システムにおいて、
前記画像処理装置の前記制御手段は、前記操作部の画像と前記指示物が重なったことが検知されると、当該操作部に対応する音声を出力させる、または前記操作部に関する表示の少なくとも一部を変更して表示させる、画像処理システム。

１９． ディスプレイと、ハーフミラーとともに使用される画像処理装置の画像処理方法であって、
前記ハーフミラーは、前記ディスプレイを背面に有し、当該ディスプレイに表示される画像を透過させ、
前記画像処理装置が、
前記ハーフミラーに映る特定部位の、前記ハーフミラーを基準とした相対位置を検出し、
当該特定部位の相対位置に基づいて、前記ディスプレイにおける操作部の画像の表示位置を決定して前記ディスプレイに前記操作部の画像を表示させ、
前記ハーフミラーを透過した前記操作部の画像と、前記ハーフミラーに映った指示物の相対位置に基づいて、当該操作部に関連付けられた処理を実行する、画像処理方法。
２０． １９．に記載の画像処理方法において、
前記画像処理装置が、
前記ハーフミラーに映る前記特定部位に重なる位置に前記操作部の画像を前記ディスプレイに表示させる、画像処理方法。
２１． １９．または２０．に記載の画像処理方法において、
前記指示物は、人体のうち前記特定部位以外のパーツである、画像処理方法。
２２． ２１．に記載の画像処理方法において、
前記指示物は手である、画像処理方法。
２３． １９．から２２．のいずれか一つに記載の画像処理方法において、
前記画像処理装置が、
前記操作部の画像と前記指示物の映像が重なったことを検知すると、前記処理を実行する、画像処理方法。
２４． １９．から２３．のいずれか一つに記載の画像処理方法において、
前記画像処理装置が、
前記ハーフミラーを撮影した画像を処理することによって前記相対位置を検出する、画像処理方法。
２５． ２０．、および２０．を引用する２１．から２４．のいずれか一つに記載の画像処理方法において、
前記画像処理装置が、
前記ハーフミラーを撮影した画像を処理することによって前記ハーフミラーに映る人物の属性を特定し、
し前記属性に応じた前記操作部の画像を表示させる、または前記属性に応じて前記表示位置を変えて前記操作部の画像を表示させる、画像処理方法。
２６． ２０．、および２０．を引用する２１．から２５．のいずれか一つに記載の画像処理方法において、
前記画像処理装置が、
前記ハーフミラーを撮影した画像を処理することによって前記ハーフミラーに映る個人を特定し、
特定された前記個人に応じた前記操作部の画像を表示させる、または特定された前記個人に応じて前記表示位置を変えて前記操作部の画像を表示させる、画像処理方法。
２７． ２０．、および２０．を引用する２１．から２６．のいずれか一つに記載の画像処理方法において、
前記画像処理装置が、
前記操作部の画像と前記指示物が重なったことが検知されると、当該操作部に対応する音声を出力させる、または前記操作部に関する表示の少なくとも一部を変更して表示させる、画像処理方法。

２８． ディスプレイと、ハーフミラーとともに使用される画像処理装置を実現するコンピュータを実現させるためのプログラムであって、
前記ハーフミラーは、前記ディスプレイを背面に有し、当該ディスプレイに表示される画像を透過させ、
コンピュータに、
前記ハーフミラーに映る特定部位の、前記ハーフミラーを基準とした相対位置を検出する手順、
当該特定部位の相対位置に基づいて、前記ディスプレイにおける操作部の画像の表示位置を決定して前記ディスプレイに前記操作部の画像を表示させる手順、
前記ハーフミラーを透過した前記操作部の画像と、前記ハーフミラーに映った指示物の相対位置に基づいて、当該操作部に関連付けられた処理を実行する手順、を実行させるためのプログラム。
２９． ２８．に記載のプログラムにおいて、
前記ハーフミラーに映る前記特定部位に重なる位置に前記操作部の画像を前記ディスプレイに表示させる手順をコンピュータに実行させるためのプログラム。
３０． ２８．または２９．に記載のプログラムにおいて、
前記指示物は、人体のうち前記特定部位以外のパーツである、プログラム。
３１． ３０．に記載のプログラムにおいて、
前記指示物は手である、プログラム。
３２． ２８．から３１．のいずれか一つに記載のプログラムにおいて、
前記操作部の画像と前記指示物の映像が重なったことを検知すると、前記処理を実行する手順をコンピュータに実行させるためのプログラム。
３３． ２８．から３２．のいずれか一つに記載のプログラムにおいて、
前記ハーフミラーを撮影した画像を処理することによって前記相対位置を検出する手順をコンピュータに実行させるためのプログラム。
３４． ２９．、および２９．を引用する３０．から３３．のいずれか一つに記載のプログラムにおいて、
前記ハーフミラーを撮影した画像を処理することによって前記ハーフミラーに映る人物の属性を特定する手順、
前記属性に応じた前記操作部の画像を表示させる、または前記属性に応じて前記表示位置を変えて前記操作部の画像を表示させる手順をコンピュータに実行させるためのプログラム。
３５． ２９．、および２９．を引用する３０．から３４．のいずれか一つに記載のプログラムにおいて、
前記ハーフミラーを撮影した画像を処理することによって前記ハーフミラーに映る個人を特定する手順、
特定された前記個人に応じた前記操作部の画像を表示させる手順、または特定された前記個人に応じて前記表示位置を変えて前記操作部の画像を表示させる手順をコンピュータに実行させるためのプログラム。
３６． ２９．、および２９．を引用する３０．から３５．のいずれか一つに記載のプログラムにおいて、
前記操作部の画像と前記指示物が重なったことが検知されると、当該操作部に対応する音声を出力させる、または前記操作部に関する表示の少なくとも一部を変更して表示させる手順をコンピュータに実行させるためのプログラム。

１ 画像処理システム
３ 通信ネットワーク
１０ ハーフミラー
２０ ディスプレイ
３０、３０ａ、３０ｂ カメラ
４０ 操作者
４２ 映像
５０ 操作部
６０ 指示物
１００ 画像処理装置
１０２ 検出部
１０４ 制御部
１０６ 処理部
１０８ 特定部
１１０ 記憶装置
１０００ コンピュータ
１０１０ バス
１０２０ プロセッサ
１０３０ メモリ
１０４０ ストレージデバイス
１０５０ 入出力インタフェース
１０６０ ネットワークインタフェース

Claims (7)

1. ディスプレイと、ハーフミラーとともに使用される画像処理装置であって、
   前記ハーフミラーは、前記ディスプレイを背面に有し、当該ディスプレイに表示される画像を透過させ、
   前記ハーフミラーに映る特定部位の、前記ハーフミラーを基準とした相対位置を検出する検出手段と、
   当該特定部位の相対位置に基づいて、前記ディスプレイにおける操作部の画像の表示位置を決定して前記ディスプレイに前記操作部の画像を表示させる制御手段と、
   前記ハーフミラーを透過した前記操作部の画像と、前記ハーフミラーに映った指示物の相対位置に基づいて、当該操作部に関連付けられた処理を実行する処理手段と、
   前記ハーフミラーを撮影した画像を処理することによって前記ハーフミラーに映る人物の属性を特定する特定手段と、
   を備え、
   前記制御手段は、
   前記ハーフミラーに映る前記特定部位に重なる位置に前記操作部の画像を前記ディスプレイに表示させ、かつ、
   前記属性に応じた前記操作部の画像を表示させる、または前記属性に応じて前記表示位置を変えて前記操作部の画像を表示させる、画像処理装置。
2. ディスプレイと、ハーフミラーとともに使用される画像処理装置であって、
   前記ハーフミラーは、前記ディスプレイを背面に有し、当該ディスプレイに表示される画像を透過させ、
   前記ハーフミラーに映る特定部位の、前記ハーフミラーを基準とした相対位置を検出する検出手段と、
   当該特定部位の相対位置に基づいて、前記ディスプレイにおける操作部の画像の表示位置を決定して前記ディスプレイに前記操作部の画像を表示させる制御手段と、
   前記ハーフミラーを透過した前記操作部の画像と、前記ハーフミラーに映った指示物の相対位置に基づいて、当該操作部に関連付けられた処理を実行する処理手段と、
   前記ハーフミラーを撮影した画像を処理することによって前記ハーフミラーに映る個人を特定する特定手段と、
   を備え、
   前記制御手段は、
   前記ハーフミラーに映る前記特定部位に重なる位置に前記操作部の画像を前記ディスプレイに表示させ、かつ、
   特定された前記個人に応じた前記操作部の画像を表示させる、または特定された前記個人に応じて前記表示位置を変えて前記操作部の画像を表示させる、画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記処理手段は、前記操作部の画像と前記指示物との相対位置に基づく複数の操作に応じて、当該操作部に関連付けられた処理を実行する、画像処理装置。
4. 請求項１から３のいずれか一項に記載の画像処理装置において、
   前記検出手段は、
   前記ハーフミラーを撮影した画像を処理することによって前記相対位置を検出する、画像処理装置。
5. 請求項１から４のいずれか一項に記載の画像処理装置において、
   前記制御手段は、前記操作部の画像と前記指示物が重なったことが検知されると、当該操作部に対応する音声を出力させる、または前記操作部に関する表示の少なくとも一部を変更して表示させる、画像処理装置。
6. ディスプレイと、ハーフミラーとともに使用される画像処理装置の画像処理方法であって、
   前記ハーフミラーは、前記ディスプレイを背面に有し、当該ディスプレイに表示される画像を透過させ、
   前記画像処理装置が、
   前記ハーフミラーに映る特定部位の、前記ハーフミラーを基準とした相対位置を検出し、
   当該特定部位の相対位置に基づいて、前記ディスプレイにおける操作部の画像の表示位置を決定して前記ディスプレイに前記操作部の画像を表示させ、
   前記ハーフミラーを透過した前記操作部の画像と、前記ハーフミラーに映った指示物の相対位置に基づいて、当該操作部に関連付けられた処理を実行し、
   前記ハーフミラーを撮影した画像を処理することによって前記ハーフミラーに映る人物の属性を特定し、
   前記操作部の画像を表示される際、前記ハーフミラーに映る前記特定部位に重なる位置に前記操作部の画像を前記ディスプレイに表示させ、かつ、
   前記属性に応じた前記操作部の画像を表示させる、または前記属性に応じて前記表示位置を変えて前記操作部の画像を表示させる、画像処理方法。
7. ディスプレイと、ハーフミラーとともに使用される画像処理装置を実現するコンピュータを実現させるためのプログラムであって、
   前記ハーフミラーは、前記ディスプレイを背面に有し、当該ディスプレイに表示される画像を透過させ、
   コンピュータに、
   前記ハーフミラーに映る特定部位の、前記ハーフミラーを基準とした相対位置を検出する手順、
   当該特定部位の相対位置に基づいて、前記ディスプレイにおける操作部の画像の表示位置を決定して前記ディスプレイに前記操作部の画像を表示させる手順、
   前記ハーフミラーを透過した前記操作部の画像と、前記ハーフミラーに映った指示物の相対位置に基づいて、当該操作部に関連付けられた処理を実行する手順、
   前記ハーフミラーを撮影した画像を処理することによって前記ハーフミラーに映る人物の属性を特定する手順、を実行させ、
   前記操作部の画像を表示させる手順において、前記ハーフミラーに映る前記特定部位に重なる位置に前記操作部の画像を前記ディスプレイに表示させ、かつ、
   前記属性に応じた前記操作部の画像を表示させる、または前記属性に応じて前記表示位置を変えて前記操作部の画像を表示させる、ためのプログラム。

Images