JPWO2015170641A1 - 操作画面表示装置、操作画面表示方法およびプログラム - Google Patents

Abstract

操作画面表示装置（１）は、ユーザが非接触動作で操作可能な操作画面を、接続された表示装置（５）に表示する。画像取得部（１１）は、深度センサ（２）からユーザを含む深度画像を取得する。画像解析部（１２）は、取得された深度画像を解析し、ユーザの身体部分にあたる画像領域を抽出する。姿勢判定部（１３）は、抽出されたユーザの身体部分にあたる画像領域に基づいて、ユーザの姿勢状態を判定する。表示制御部（１６）は、ユーザの姿勢状態に基づいて操作画面を生成する。表示手段は、生成された操作画面を表示装置（５）に表示する。

Description

本発明は、ユーザが非接触動作で操作可能な操作画面を表示する操作画面表示装置、操作画面表示方法および非一過性の記録媒体に関する。

現在の非接触ジェスチャ入力では、深度センサなどを利用してユーザの手の位置を検出し、ユーザの前に仮想的な操作領域（操作平面もしくは操作空間）を設定して、手の位置によるポインティング操作やプッシュ操作などの非接触動作による操作を実現している。

特許文献１には、撮像された画像より人体の姿勢またはジェスチャを認識し、認識した姿勢またはジェスチャに対応するコマンドを出力する情報処理装置が開示されている。

特許文献２には、操作者の像を読み取り、読み取った操作者の像および位置に基づいて仮想操作面を示す立体画像を表示したうえで、仮想操作面に対する操作者の動きを読み取って、その動きに応じたコマンドを出力する画像認識装置が開示されている。

特許文献３には、ユーザを含む環境の観測データを基に、ユーザを含む前景と、前景以外の環境からなる背景とを分離して、３次元モデルを学習し、既にモデル化された個別の前景モデルの位置と姿勢を推定し、前景の中から特にユーザを識別し、さらにユーザの手先を識別し、手先の形状、位置、姿勢を認識すると、ユーザの手先の形状やその状態変化の時系列情報を基に制御コマンドを出力する情報入力装置が開示されている。

特開２０１１−２５３２９２号公報 特開２０１１−１７５６１７号公報 特開２０１３−２０５９８３号公報

しかし、上記の技術では、仮想的な操作領域を各ユーザに適したサイズや位置に設定することは困難であり、ユーザによって操作感が異なるという問題がある。また、操作対象である操作画面に対するポインティング操作はタッチパネル操作に似通っており、非接触の特徴が活かされたユーザインターフェースとなっていない。

非接触デバイスを用いる場合、ユーザは仮想的な操作領域に触れた感覚を得られない。そのため、ユーザは空中で操作画面を見ながら手の位置を調整するという作業を意識的に行う必要がある。したがって、不自然な動作となりやすく、非接触動作による操作のユーザの身体的負担が大きい。

特許文献１〜３に記載の技術は、操作画面の形状はユーザの姿勢には関係なく、非接触動作による操作のユーザの身体的負担を軽減させるものではない。

本発明は、上記事情に鑑みてなされたものであり、非接触動作による操作のユーザの身体的負担を軽減させ、直観的で操作が簡単なユーザインターフェースを提供することを目的とする。

本発明の第１の観点にかかる操作画面表示装置は、
ユーザが非接触動作で操作可能な操作画面を表示装置に表示する操作画面表示装置であって、
前記ユーザを含む深度画像を深度センサから取得する画像取得手段と、
前記取得された深度画像を解析し、前記ユーザの身体部分にあたる画像領域を特定し、前記特定された画像領域に基づいて、前記ユーザの姿勢状態を判定する姿勢判定手段と、
前記判定された前記ユーザの姿勢状態に基づいて、前記操作画面を生成する表示制御手段と、
前記生成された操作画面を前記表示装置に表示する表示手段と、
を備えることを特徴とする。

本発明の第２の観点にかかる操作画面表示方法は、
表示装置に接続された操作画面表示装置が実行する操作画面表示方法であって、
ユーザを含む深度画像を解析し、前記ユーザの身体部分にあたる画像領域を抽出する画像解析ステップと、
前記抽出された画像領域に基づいて、前記ユーザの姿勢状態を判定する姿勢判定ステップと、
前記判定された前記ユーザの姿勢状態に基づいて、前記ユーザが非接触動作で操作可能な操作画面を生成する表示制御ステップと、
前記生成された操作画面を前記表示装置に表示する表示ステップと、
を備えることを特徴とする。

本発明の第３の観点にかかる非一過性の記録媒体は、
表示装置と接続されたコンピュータに、
ユーザを含む深度画像を解析し、前記ユーザの身体部分の画像領域を抽出する画像解析ステップ、
前記抽出された前記ユーザの身体部分の画像領域に基づいて、前記ユーザの姿勢状態を判定する姿勢判定ステップ、
前記判定された前記ユーザの姿勢状態に基づいて、前記ユーザが非接触動作で操作可能な操作画面を生成する表示制御ステップ、
前記生成された操作画面を前記表示装置に表示する表示ステップ、
を実行させるプログラムを記録している。

本発明によれば、ユーザの姿勢状態に合わせて操作画面を表示するので、非接触動作による操作のユーザの身体的負担を軽減させ、直観的で操作が簡単なユーザインターフェースを提供することができる。

本発明の実施の形態に係る操作画面表示装置の機能構成例を示すブロック図である。 実施の形態に係る姿勢判定の一例を示す図である。 実施の形態に係る操作画面の一例を示す図である。 実施の形態に係る操作画面の一例を示す図である。 実施の形態に係る操作画面の一例を示す図である。 実施の形態に係る操作画面の一例を示す図である。 実施の形態に係る操作画面の一例を示す図である。 実施の形態に係る決定ジェスチャの例を示す図である。 実施の形態に係る決定ジェスチャの例を示す図である。 実施の形態に係る操作画面表示装置の動作の一例を示すフローチャートである。 他の実施の形態に係る有効無効ジェスチャの一例を示す図である。 他の実施の形態に係る有効無効ジェスチャの一例を示す図である。 他の実施の形態に係る操作画面の一例を示す図である。 実施の形態に係る操作画面表示装置のハードウェア構成の一例を示すブロック図である。

以下、この発明の実施の形態について説明する。

図１は、本発明の実施の形態に係る操作画面表示装置の機能構成例を示すブロック図である。操作画面表示装置１は、深度センサ２と表示装置５と接続されており、深度センサ２によって取得されたデータ（後述する深度画像）を深度センサ２から受け取り、また表示装置５に、ユーザに示す画面を示す情報を提供する。

深度センサ２は、対象物との距離を検出する深度センサ素子をアレイ状に備え、各深度センサ素子から供給される深度情報を２次元データに集約することにより、深度画像を生成する。取得された深度画像は、撮影対象領域に存在する物体の各部分がどれだけ深度センサ２から離れているかを示すデータ（深度分布）を示す画像データとなる。深度画像を参照することで、どの部分が深度センサ２により近く、どの部分がより遠いかを判定することができ、また撮影対象領域に存在する各物体の奥行きを知ることができる。

また、本実施の形態においては、一例として、深度センサ２は、表示装置５と同じ向きに設置されている。すなわち、深度センサ２は、表示装置５が表示されている画面を見ているユーザがいる場合、そのユーザを含む領域の深度画像を取得することができる。

操作画面表示装置１は、画像取得部１１と、画像解析部１２と、姿勢判定部１３と、身体動作判定部１４と、記憶部１５と、表示制御部１６とを備える。

画像取得部１１は、深度センサ２から送信されるデータを受信し、深度画像を取得する。画像取得部１１は、取得した画像を画像解析部１２に送る。

画像解析部１２は、画像取得部１１から受け取った深度画像を解析し、ユーザの手や腕などユーザの身体に該当する領域を抽出する。画像解析部１２は、抽出したユーザの手や腕などユーザの身体に該当する領域を示す身体領域情報を姿勢判定部１３に送る。具体的には、身体領域情報には、例えば「手」または「腕」など体の部位を示す情報と、取得された深度画像においてその部位に対応付けられた領域の位置および範囲を示す情報とが含まれる。

姿勢判定部１３は、画像解析部１２から受け取った身体領域情報からユーザの手や腕などユーザの身体の特定の部位（身体部分）の深度値を算出する。具体的には、受け取った身体領域情報に基づいてユーザの手や腕など特定の部位として抽出された領域を特定し、特定された領域の深度分布を深度画像から読み出す。さらに姿勢判定部１３は、算出した深度値の分布情報から、ユーザの手や腕の表示装置５の画面の法線に対する角度を含むユーザの姿勢状態を推定する。具体的には、読み出した深度分布から、ユーザの特定の部位（手または腕など）の向きを推定する。姿勢判定部１３は、推定された、ユーザの特定の部位の向きを示す情報を集約することにより、ユーザの姿勢を示す姿勢情報を生成する。姿勢判定部１３は、生成した姿勢情報を身体動作判定部１４に送る。

本実施の形態においては、姿勢判定部１３には、深度センサ２と表示装置５との位置関係を示す情報（深度センサ２と表示装置５とが同じ向きに設置されていることを示す情報）があらかじめ記録されている。そのため、姿勢判定部１３は、深度センサ２を介して取得された深度画像に基づき、表示装置５の画面に対するユーザの姿勢を推定することができる。もっとも、深度センサ２と表示装置５とは必ずしも同じ向きに設置されていなくともよい。その場合も、設置された深度センサ２と表示装置５との位置関係が適切にあらかじめ記録されていることが必要である。

図２は、実施の形態に係る姿勢判定の一例を示す図である。画像解析部１２は、深度画像の深度分布からユーザの手や腕などユーザの身体の特定の部位の領域を抽出する。特に本実施の形態においては、ユーザの手および腕の姿勢および動きに基づいて解析する例について説明する。手および腕にあたる領域の抽出方法は、種々の方法が存在するが、ここでは深度の輪郭情報を利用する方法を説明する。人体の頭、上半身が深度画像内に含まれる場合には、一般的なスケルトン認識の技術を利用してもよい。

まず、画像解析部１２は、深度画像から得られる深度の上下ピクセルでの差分が一定値(例えば１０ｃｍ)以上ある輪郭を含む領域で下部に一定の深度を持つ領域を探索する。領域のサイズを限定するために上下だけでなく着目領域の左右の位置で一定値以上の深度差を含むという条件と付加してもよい。探索結果を距離が近い領域を統合しながらソートして保存すると、ユーザの手先などの端部を持つ領域を抽出できる。

画像解析部１２は、ユーザの手先の領域を抽出すると、抽出した手先の領域から深度領域を探索して肘の領域を抽出する。探索は手先から肘までに含まれる深度領域の面積や手先との深度差分の大きさや体部分に該当する背景領域との深度差分や標準的な人体サイズなどの条件から探索終了条件を判定する。同様に、画像解析部１２は、ユーザの肘の領域を抽出すると、抽出した肘の領域から深度領域を探索して肩の領域を抽出する。このように、画像解析部１２は、取得された深度画像を解析し、ユーザの身体部分にあたる画像領域を抽出する。

姿勢判定部１３は、画像解析部１２が抽出した手先・肘・肩の領域から、ユーザの手、前腕および上腕の姿勢状態を示す姿勢情報を計算する。抽出した手先・肘・肩の領域の深度分布情報に基づき、手先Ｐ１・肘Ｐ２・肩Ｐ３の深度情報と深度画像内での位置を算出する。手先Ｐ１は、ユーザの右前腕部Ａ１の端部にあたる部分である。肘Ｐ２は、ユーザの右前腕部Ａ１と右上腕部Ａ２との接点となる部分である。肩Ｐ３は、ユーザの右上腕部Ａ２と、ユーザの胴体部との接点となる部分である。

深度画像内での位置情報は、深度センサ２の専用ＡＰＩによる計算もしくは深度センサ２の画角と深度情報から、深度センサ２の位置を基準としたグローバル座標系での位置情報（ｘ、ｙ、ｚ）に変換できる。この変換した位置情報（ｘ、ｙ、ｚ）から、ユーザの手、前腕および上腕が向いている方向を検出し、検出した方向の、表示装置５の画面の法線に対する角度を含む姿勢状態を推定することができる。言い換えると、姿勢判定部１３は、抽出された画像領域に基づいて、深度センサ２に対してユーザの身体部分（前腕および上腕）が向いている方向を特定する。なお、図１においては、画像解析部１２と姿勢判定部１３がそれぞれ独立して記載されているが、一つの要素（姿勢判定部１３など）が、画像の解析を行い、かつ姿勢の判定を行うものとして機能してもよい。

図１に戻り、操作画面表示装置１の記憶部１５は、あらかじめ決められたユーザのジェスチャと当該ジェスチャに対応する操作内容とを示す身体動作情報を記憶する。ここで、ジェスチャとは、ユーザによる特定の動作（例えば、右手を挙げるなど）を指す。記憶部１５は、身体動作情報として、ユーザによりなされるべき動作（ジェスチャ）と、その動作に対応付けられた操作内容とを組み合わせて記憶する。

身体動作判定部１４は、姿勢判定部１３から受け取った姿勢情報を、記憶部１５が記憶する身体動作情報と照合し、記憶されているジェスチャであるか否かを判定する。具体的には、身体動作判定部１４は、姿勢判定部１３から受け取った姿勢情報を逐次記憶する記憶容量を備える。身体動作判定部１４は、姿勢判定部１３から新たに姿勢情報を受け取ると、新たに受け取った姿勢情報と、前回受け取った姿勢情報とを対比する。身体動作判定部１４は、姿勢情報の対比の結果、ユーザの身体の部位のうちで位置に変化の合った部位を特定するとともに、その部位の変化の様態（移動方向など）を特定する。身体動作判定部１４は、特定した部位と、その変化の様態とに基づいて身体動作情報を検索し、部位および変化の様態がともに合致するジェスチャがないか照合する。照合の結果、合致するジェスチャが検出されると、身体動作判定部は、検出されたジェスチャがなされたと判定する。

一例として、身体動作判定部１４は、姿勢判定部１３から受け取った姿勢情報に基づき、ユーザによる動作が操作画面表示ジェスチャであると判定すると、操作画面を表示させるコマンドを示すコマンド情報と、姿勢情報とを表示制御部１６に送る。

表示制御部１６は、身体動作判定部１４から操作画面を表示させるコマンドを示すコマンド情報と姿勢情報とを受け取ると、記憶部１５から必要な情報を読み出し、受け取った姿勢情報に基づいて操作画面を生成する。具体的には、記憶部１５に記憶されている画像データ（操作画面の元となるもの）を読み出し、読み出した画像データに、受け取った姿勢情報に基づいて調整を加えることにより操作画面を生成する。

表示制御部１６は、操作画面を、透視画法によって作成する。例えば表示制御部１６は、姿勢判定部１３から受け取った姿勢情報に合わせ、姿勢情報が示すユーザの手、前腕および上腕の角度から動かしやすい方向に平行に見えるように表示し、動かしやすい方向に順にメニューを選択可能に配置した操作画面や、ユーザの前腕および上腕の角度に合わせて変形するように見えるよう表示される操作画面などを表示する。これを実現するため、表示制御部１６は、操作画面の元となる画像データを読み出し、この画像データを、姿勢判定部１３により特定された方向が表示装置５の画面に対して傾斜している度合いに応じて傾斜させることにより、操作画面を生成する。

なお、姿勢情報によって、表示制御部１６は、異なる操作を対象としたメニューを表示するようにしてもよい。例えば、前腕が垂直なら表示の送り戻しの操作メニューを、水平なら音量のＵｐ／Ｄｏｗｎなどの操作メニューを表示してもよい。

表示制御部１６は、生成した操作画面を表示装置５に表示する。なお、表示装置５は、操作画面表示装置１に内蔵されてもよい。

操作画面が表示装置５に表示されると、身体動作判定部１４は、姿勢判定部１３から受け取った姿勢情報を、記憶部１５が記憶する身体動作情報と照合し、操作画面を終了させるジェスチャ（以下、終了ジェスチャという）であるか否かを判定する。

身体動作判定部１４は、終了ジェスチャであると判定すると、操作画面を終了させるコマンドを示すコマンド情報を表示制御部１６に送る。

表示制御部１６は、身体動作判定部１４から操作画面を終了させるコマンドを示すコマンド情報を受け取ると、操作画面を終了させる。

身体動作判定部１４は、終了ジェスチャでないと判定すると、姿勢判定部１３から受け取った姿勢情報を、記憶部１５が記憶する身体動作情報と照合し、メニューを決定するジェスチャ（以下、決定ジェスチャという）であるか否かを判定する。

身体動作判定部１４は、決定ジェスチャであると判定すると、決定されたメニューを示すメニュー情報とを表示制御部１６に送る。

表示制御部１６は、身体動作判定部１４から決定されたメニューを示すメニュー情報を受け取ると、メニュー情報が示すメニューを実行する。表示制御部１６は、必要な場合には、当該メニューの実行結果を示すメニュー実行画面を生成し、表示装置５に表示する。

なお、ユーザによって決定されたメニューを実行するのは、外部の装置であってもよく、この場合、身体動作判定部１４は、メニュー情報を外部の装置に送る。外部の装置は、メニュー情報が示すメニューを実行し、必要な場合には、当該メニューの実行結果を示すメニュー実行画面を生成し、表示装置５に表示する。

図３Ａおよび図３Ｂは、実施の形態に係る操作画面の一例を示す図である。図３Ａの例では、表示装置５の正面にユーザが向き合う姿勢で立っており、右前腕部Ａ１を垂直方向に挙げて所定の時間、右手の手のひらを前に向ける身体動作を操作画面表示ジェスチャとする。

図３Ａに示すように、操作画面表示ジェスチャを行うと、表示制御部１６は、ユーザが挙げた右手を左に下ろす（上腕を軸に右前腕部Ａ１を左に傾ける）動作に合わせた操作画面を表示装置５に表示する。扇形の操作画面に、ユーザが挙げた右手を左に下ろす方向に順に選択可能にメニュー１〜４を配置している。

図３Ｂに示すように、ユーザが挙げた右手を左に傾ける（上腕を軸に右前腕部Ａ１を左に傾ける）動作を行うと、１〜４の順にメニューを選択することができる。

終了ジェスチャは、例えば、所定の時間手を下ろす身体動作とする。メニューを決定する決定ジェスチャについては、後述する。

図４Ａおよび図４Ｂは、実施の形態に係る操作画面の一例を示す図である。図４Ａの例では、表示装置５の正面にユーザが向き合う姿勢で立っており、左前腕部Ｂ１を水平方向に伸ばし、所定の時間左手の手のひらを下に向ける身体動作を操作画面表示ジェスチャとする。

図４Ａに示すように、操作画面表示ジェスチャを行うと、表示制御部１６は、ユーザが水平方向に伸ばした左手を前に出す動作に合わせた操作画面を表示装置５に表示する。扇形の操作画面に、ユーザが水平方向に伸ばした左前腕部Ｂ１を前に出す方向に順に選択可能にメニュー１〜４を配置している。また、扇形の操作画面は、透視画法でユーザから見て奥行きがあるように見えるように変形して表示する。

図４Ｂは上面図である。図４Ｂに示すように、ユーザが水平方向に伸ばした左手を前に出す動作を行うと、１〜４の順にメニューを選択することができる。

図５は、実施の形態に係る操作画面の一例を示す図である。図５の例では、表示装置５の正面にユーザが向き合う姿勢で立っており、左前腕部Ｂ１を任意の角度で挙げて所定の時間、左手の手のひらを前に向ける身体動作を操作画面表示ジェスチャとする。

図５に示すように、ユーザが操作画面表示ジェスチャを行うと、表示制御部１６は、透視画法でユーザの左前腕部Ｂ１の角度に合うように見える操作画面を表示装置５に表示する。ユーザが左前腕部Ｂ１の角度を変えると、それに合わせて四角形の操作画面の傾きが変わって見えるように変形して表示する。また、左前腕部Ｂ１の角度によって表示される操作メニューの内容が変わってもよい。この場合、メニューの選択は、例えば、右手Ａのポインティング動作で行う。

ここで、メニューを決定する決定ジェスチャについて説明する。

図６Ａおよび図６Ｂは、実施の形態に係る決定ジェスチャの例を示す図である。図６Ａの例では、手先Ｐ１と手中心Ｐ４の位置変化を抽出して、肘Ｐ２を基準として手先Ｐ１が手中心Ｐ４より前に移動する(手先のみを倒す)身体動作を決定ジェスチャとする。なお、手先Ｐ１は手の形状が変わった場合には、１本指の指先であったり、２本指またはそれ以上の指先の位置から手先と推定できる位置であってもよい。

図６Ｂの例では、肘Ｐ２から手先Ｐ１に向かう方向に垂直な左端部Ｐ５と右端部Ｐ６の位置変化を抽出して、手のひらを回転させる身体動作を決定ジェスチャとする。この手のひらの回転動作の角度はパラメータ設定によって９０度や１８０度など利用シーンに適した角度としてもよい。

図７は、実施の形態に係る操作画面表示装置の動作の一例を示すフローチャートである。図７の操作画面表示処理は、操作画面表示装置１の電源がＯＮになると開始する。

操作画面表示装置１の画像取得部１１は、深度センサ２から深度画像を取得し（ステップＳ１１）、画像解析部１２に送る。

画像解析部１２は、画像取得部１１から受け取った深度画像を解析し、ユーザの手や腕などの領域を抽出する（ステップＳ１２）。画像解析部１２は、抽出したユーザの手や腕などの領域を示す身体領域情報を姿勢判定部１３に送る。

姿勢判定部１３は、画像解析部１２から受け取った身体領域情報からユーザの手や腕の深度値を算出する。姿勢判定部１３は、算出した深度値の分布情報から、ユーザの手や腕の向きを検出し、その身体部分が表示装置５の画面に対してどの方向を向いているかを示すユーザの姿勢状態を推定し（ステップＳ１３）、推定した姿勢を示す姿勢情報を身体動作判定部１４に送る。

操作画面を表示中でない場合（ステップＳ１４；ＮＯ）、身体動作判定部１４は、姿勢判定部１３から受け取った姿勢情報を、記憶部１５が記憶する身体動作情報と照合し、操作画面表示ジェスチャであるか否かを判定する（ステップＳ１５）。

操作画面表示ジェスチャである場合（ステップＳ１５；ＹＥＳ）、身体動作判定部１４は、操作画面を表示させるコマンドを示すコマンド情報と、姿勢情報とを表示制御部１６に送る。

表示制御部１６は、身体動作判定部１４から操作画面を表示させるコマンドを示すコマンド情報と姿勢情報とを受け取ると、記憶部１５から必要な情報を読み出し、受け取った姿勢情報に合わせた操作画面を生成する（ステップＳ１６）。表示制御部１６は、生成した操作画面を表示装置５に表示し（ステップＳ１７）、処理はステップＳ２３に移行する。

操作画面表示ジェスチャでない場合（ステップＳ１５；ＮＯ）、処理はステップＳ２３に移行する。

一方、操作画面を表示中である場合（ステップＳ１４；ＹＥＳ）、身体動作判定部１４は、姿勢判定部１３から受け取った姿勢情報を、記憶部１５が記憶する身体動作情報と照合し、終了ジェスチャであるか否かを判定する（ステップＳ１８）。

終了ジェスチャである場合（ステップＳ１８；ＹＥＳ）、身体動作判定部１４は、操作画面を終了させるコマンドを示すコマンド情報を表示制御部１６に送る。

表示制御部１６は、身体動作判定部１４から操作画面を終了させるコマンドを示すコマンド情報を受け取ると、操作画面を終了させ（ステップＳ１９）、処理はステップＳ２３に移行する。

終了ジェスチャでない場合（ステップＳ１８；ＮＯ）、身体動作判定部１４は、姿勢判定部１３から受け取った姿勢情報を、記憶部１５が記憶する身体動作情報と照合し、決定ジェスチャであるか否かを判定する（ステップＳ２０）。

決定ジェスチャである場合（ステップＳ２０；ＹＥＳ）、身体動作判定部１４は、決定されたメニューを示すメニュー情報を表示制御部１６に送る。

表示制御部１６は、決定されたメニューが選択された操作メニューと選択の完了を示す完了メニュー、または、操作メニューを選択せずに操作画面を終了させる終了メニューであるか否かを判定する（ステップＳ２１）。

完了メニューまたは終了メニューである場合（ステップＳ２１；ＹＥＳ）、表示制御部１６は、完了メニューまたは終了メニューを実行して操作画面を終了させ（ステップＳ１９）、処理はステップＳ２３に移行する。

完了メニューまたは終了メニューでない場合（ステップＳ２１；ＮＯ）、表示制御部１６は、決定されたメニューに合わせて操作画面を制御し（ステップＳ２２）、処理はステップＳ２３に移行する。

一方、決定ジェスチャでない場合（ステップＳ２０；ＮＯ）、身体動作判定部１４は、姿勢情報を表示制御部１６に送る。表示制御部１６は、身体動作判定部１４から受け取った姿勢情報に合わせて操作画面を制御する（ステップＳ２２）。

操作画面表示装置１の電源がＯＦＦになっていなければ（ステップＳ２３；ＮＯ）、ステップＳ１１に戻り、ステップＳ１１〜ステップＳ２３を繰り返す。操作画面表示装置１の電源がＯＦＦになると（ステップＳ２３；ＹＥＳ）、処理を終了する。

図７の例では、ステップＳ２１で決定されたメニューが完了メニューまたは終了メニューであるか否かを判定したが、これに限らず、ユーザが操作メニューを選択した状態で決定ジェスチャを行うと、操作メニュー選択を完了することとしてもよい。

この場合、ステップＳ２１はなくてもよく、身体動作判定部１４は、決定ジェスチャであると判定すると（ステップＳ２０；ＹＥＳ）、操作画面を終了させるコマンドを示すコマンド情報と、選択された操作メニューを示すメニュー情報とを表示制御部１６に送る。表示制御部１６は、操作画面を終了させ、選択された操作メニューを実行する。

本実施の形態の操作画面表示装置１は、ユーザの姿勢状態に合わせて、ユーザの身体部分を動かす方向に見えるように、操作画面の形状を変えて表示する。そのため、非接触動作による操作のユーザの身体的負担を軽減させ、直観的で操作が簡単なユーザインターフェースを提供することができる。また、操作画面表示装置１は、ユーザの姿勢に合わせて操作画面を変化させるので、ユーザは操作の感覚をつかみやすく、ユーザが大人でも子供でも操作性に違いが発生しにくくなる。また、ユーザ自身の手または腕をコントローラのようにして非接触動作による操作ができるので、操作姿勢による操作性の変化の影響を減らして最小限の動きで操作できる。

上記の実施の形態では、操作画面表示装置１の画像解析部１２は、深度画像からユーザの手や腕などの領域を抽出し、姿勢判定部１３が、ユーザの手や腕の表示装置５の画面の法線に対する角度を含むユーザの姿勢状態を推定する。これに限らず、ユーザの姿勢状態に、例えばユーザの頭や上体の表示装置５の画面の法線に対する角度を含んでもよい。ユーザの頭や上体の領域を抽出する場合は、手先の背景もしくは深度領域の探索で接続される領域を頭や上体の候補として抽出する。ユーザは周辺の領域と一定の深度差分を持つと仮定すると周辺の一定深度以内の領域をラベリング処理して分離することで手先を含めたユーザの身体領域を抽出して特定することができる。

前腕と上腕を曲げ伸ばしする方向では、前腕の可動範囲は上体との関係によっては大きく変わらない。しかし、上腕を軸にして前腕を回転させる場合、前腕の可動範囲は、上体との位置関係で変わる。そこで、上体の向き、特に、上体と上腕および前腕の角度を検出することで、前腕または上腕の可動範囲を特定することができる。そして、操作画面表示装置１の表示制御部１６は、ユーザの前腕または上腕の可動範囲に合わせて、操作画面のメニューを配置する。

上記の実施の形態では、操作画面表示ジェスチャと、決定ジェスチャとについて説明した。これに限らず、他の機能に対応付けられたジェスチャを採用してもよい。

図８Ａと図８Ｂは、他の実施の形態に係る有効無効ジェスチャの一例を示す図である。図８Ａの例では、ユーザが操作画面でメニューを選択するとき、右手Ａで操作する場合は右方向の動きが有効、左方向の動きが無効であって、左手Ｂで操作する場合は、左方向の動きが有効、右方向の動きが無効である。図８Ｂの例では、ユーザが操作画面でメニューを選択するとき、右手Ａの手のひらを前に向けて操作する場合は右方向の動きが有効、左方向の動きが無効であって、右手Ａの手のひらを左に向けて操作する場合は、左方向の動きが有効、右方向の動きが無効である。

これにより、手を入れ替えたり、手を下ろしたりする自然な動作の際に、ユーザが意図しない動きが発生しない。有効無効ジェスチャは図８Ａと図８Ｂの例に限らず、あらかじめ決められたユーザの異なる手の形状に有効無効を対応付けてもよい。

上記の説明では、ユーザが操作画面に対して非接触操作を行う際、身体部分を動かす方向は１つであったが、これに限らない。例えば、前腕を上腕に対して曲げ伸ばしする方向と、上腕を軸にして前腕を回転させる方向の２方向でメニューを選択してもよい。この場合、例えば、前腕を上腕に対して曲げ伸ばしする方向で上位のメニュー画面を切り替え、上腕を軸にして前腕を回転させる方向でメニューの項目を選択するように操作画面を構成することができる。

上に説明した例においては、深度センサ２に接続された操作画面表示装置１が、深度画像に基づいて、透視画法に基づいて操作画面を表示している。しかし、本発明の範囲はこれに限られない。操作画面表示装置１が、想定されるユーザの姿勢のそれぞれに応じて選択肢画面パターンを記録し、操作画面表示ジェスチャが実際になされたときのユーザの姿勢に対応する選択肢画面を選択するものであってもよい。この場合、具体的には、図９に示すように、操作画面表示装置１は、選択肢画面パターンＤ１、Ｄ２、Ｄ３を記憶する。選択肢画面パターンＤ１は、操作画面表示ジェスチャがなされたときに、ユーザの右腕が上を向いていた場合の選択肢画面パターンである。選択肢画面パターンＤ２は、操作画面表示ジェスチャがなされたときに、ユーザの右腕が左を向いていた場合の選択肢画面パターンである。選択肢画面パターンＤ３は、操作画面表示ジェスチャがなされたときに、ユーザの右腕が前方（深度センサ２に向かう方向）を向いていた場合の選択肢画面パターンである。

この場合では、操作画面表示装置１は、操作画面表示ジェスチャが検出されたときにユーザの右腕が、垂直上方を向いていた場合、選択肢画面パターンＤ１を表示する。選択肢画面パターンＤ１では、垂直上方から少し図中左に向かって傾斜した領域に項目Ｍ１１が表示されている。項目Ｍ１１よりもさらに図中左に向かって傾斜した領域に項目Ｍ１２が、さらに傾斜するにつれて項目Ｍ１３と項目Ｍ１４が表示されている。選択肢画面パターンＤ１が表示されている場合、ユーザは右腕を少し左に傾けることで、項目Ｍ１１に表示されている選択肢を選択することができる。さらにユーザは、右腕を傾ける度合いをより大きくすることにより、順に、項目１２から項目１４に示されている操作内容を選択することができる。

一方、操作画面表示ジェスチャが検出されたときにユーザの右腕が図中左を向いていた場合、操作画面表示装置１は、選択肢画面パターンＤ２を表示する。選択肢画面パターンＤ２では、左水平方向を基準に、図中上方に向かって傾斜した領域に項目Ｍ２１が、さらに傾斜の度合いを増すにつれて項目Ｍ２２から項目Ｍ２４が表示されている。この場合、ユーザは、右腕を、左を向いた状態から上に向けて徐々に傾けることにより、項目Ｍ２１からＭ２４まで任意の項目に表示された選択肢を選択することができる。また、操作画面表示ジェスチャが検出されたときにユーザの右腕が前方を向いていた場合も同様に、ユーザは、前方から左方に徐々に右腕の方向を変えることにより、項目Ｍ３１からＭ３４に表示されている選択肢を選択することができる。

このように、操作画面表示ジェスチャが検出されたときのユーザの姿勢情報に合わせて操作画面を切り替えることで、いずれの場合においても、ユーザの身体にかかる負担の小さな形態で選択肢を提示できる。すなわち、ユーザの右腕が垂直上方を向いていた場合は、比較的負担の少ない、左側に徐々に傾ける運動により、ユーザは選択肢を選択できる。ユーザの右腕が左を向いていた場合、および前方を向いていた場合についても、比較的負担の少ない動作で選択が可能である。

また、このようにユーザの姿勢情報に合わせて選択された操作画面を、さらに透視画法を用いて傾斜させることも可能である。すなわち、操作画面表示装置１は、操作画面表示ジェスチャが検出されたときのユーザの姿勢状態に応じ、例えば３パターンなどあらかじめ記録されている選択肢画面パターンから表示する操作画面を選択したうえで、選択された操作画面を、さらにユーザの姿勢状態によって傾斜させてもよい。このようにすることで、よりユーザの姿勢に合致する操作画面を表示することができる。

図１０は、実施の形態に係る操作画面表示装置のハードウェア構成の一例を示すブロック図である。

制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている制御プログラム３９に従って、画像解析部１２、姿勢判定部１３、身体動作判定部１４および表示制御部１６の各処理を実行する。

主記憶部３２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部３３に記憶されている制御プログラム３９をロードし、制御部３１の作業領域として用いられる。

外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、操作画面表示装置１の処理を制御部３１に行わせるためのプログラムをあらかじめ記憶し、また、制御部３１の指示に従って、このプログラムが記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。記憶部１５は、外部記憶部３３に構成される。

入出力部３４は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入出力部３４は、深度センサ２と接続し、画像取得部１１として機能する。操作画面表示装置１が外部の装置と接続される場合は、入出力部３４は外部の装置と接続する。

表示部３５は、ＣＲＴまたはＬＣＤなどから構成されている。表示装置５が操作画面表示装置１に内蔵される構成では、表示部３５は、表示装置５として機能する。

図１に示す画像取得部１１、画像解析部１２、姿勢判定部１３、身体動作判定部１４、記憶部１５および表示制御部１６の処理は、制御プログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、入出力部３４および表示部３５を資源として用いて処理することによって実行する。

その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。

制御部３１、主記憶部３２、外部記憶部３３、内部バス３０などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する操作画面表示装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで操作画面表示装置１を構成してもよい。

また、操作画面表示装置１の機能を、ＯＳとアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態および変形が可能とされるものである。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内およびそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
ユーザが非接触動作で操作可能な操作画面を表示装置に表示する操作画面表示装置であって、
前記ユーザを含む深度画像を深度センサから取得する画像取得手段と、
前記取得された深度画像を解析し、前記ユーザの身体部分にあたる画像領域を特定し、前記特定された画像領域に基づいて、前記ユーザの姿勢状態を判定する姿勢判定手段と、
前記判定された前記ユーザの姿勢状態に基づいて、前記操作画面を生成する表示制御手段と、
前記生成された操作画面を前記表示装置に表示する表示手段と、
を備えることを特徴とする操作画面表示装置。

（付記２）
前記姿勢判定手段は、前記特定された画像領域に基づいて、前記深度センサに対して前記ユーザの身体部分が向いている方向を特定し、
前記表示制御手段は、前記特定された方向と、あらかじめ記録された前記表示装置の画面と前記深度センサとの位置関係とに基づいて、前記操作画面を生成する、
ことを特徴とする付記１に記載の操作画面表示装置。

（付記３）
前記表示制御手段は、記録されている前記操作画面の元となる画像データを読み出し、当該読み出した画像データを、前記特定された方向が前記表示装置の画面に対して傾斜している度合いに応じて傾斜させることによって前記操作画面を生成する、
ことを特徴とする付記２に記載の操作画面表示装置。

（付記４）
前記姿勢判定手段は、あらかじめ記録された前記表示装置の画面と前記深度センサとの位置関係と、前記特定された画像領域とに基づいて、前記ユーザの身体部分の前記表示装置の画面の法線に対する角度を含む前記ユーザの姿勢状態を判定する、
ことを特徴とする付記１に記載の操作画面表示装置。

（付記５）
前記表示制御手段は、前記姿勢判定手段が判定した前記ユーザの身体部分の前記表示装置の画面の法線に対する角度から、透視画法で前記ユーザの身体部分の動かしやすい方向に見えるように、操作内容を示すメニューを選択可能に配置した前記操作画面を生成する、
ことを特徴とする付記４に記載の操作画面表示装置。

（付記６）
前記表示制御手段は、前記姿勢判定手段が判定した前記ユーザの身体部分の前記表示装置の画面の法線に対する角度から、前記ユーザの片方の腕の角度に合わせて変形する操作画面を生成する、
ことを特徴とする付記４に記載の操作画面表示装置。

（付記７）
所定の身体動作と、当該身体動作に対応する操作内容とを示す身体動作情報を記憶する記憶手段と、
前記姿勢判定手段が判定した前記ユーザの姿勢状態に基づいて前記ユーザによってなされた身体動作を識別し、当該識別された身体動作と前記身体動作情報とを照合することにより、前記ユーザが行った操作内容を検出する身体動作判定手段と、を備え、
前記身体動作判定手段は、前記姿勢判定手段が判定した前記ユーザの姿勢状態に基づいて、前記操作画面に対して前記ユーザが第１の手の形状で操作する場合は所定の方向の動きを有効、前記所定の方向と異なる他の方向の動きを無効とし、前記操作画面に対して前記ユーザが前記第１の手の形状と異なる第２の手の形状で操作する場合は、前記他の方向の動きを有効、前記所定の方向の動きを無効とする、
ことを特徴とする付記１に記載の操作画面表示装置。

（付記８）
表示装置に接続された操作画面表示装置が実行する操作画面表示方法であって、
ユーザを含む深度画像を解析し、前記ユーザの身体部分にあたる画像領域を抽出する画像解析ステップと、
前記抽出された画像領域に基づいて、前記ユーザの姿勢状態を判定する姿勢判定ステップと、
前記判定された前記ユーザの姿勢状態に基づいて、前記ユーザが非接触動作で操作可能な操作画面を生成する表示制御ステップと、
前記生成された操作画面を前記表示装置に表示する表示ステップと、
を備えることを特徴とする操作画面表示方法。

（付記９）
表示装置と接続されたコンピュータに、
ユーザを含む深度画像を解析し、前記ユーザの身体部分の画像領域を抽出する画像解析ステップ、
前記抽出された前記ユーザの身体部分の画像領域に基づいて、前記ユーザの姿勢状態を判定する姿勢判定ステップ、
前記判定された前記ユーザの姿勢状態に基づいて、前記ユーザが非接触動作で操作可能な操作画面を生成する表示制御ステップ、
前記生成された操作画面を前記表示装置に表示する表示ステップ、
を実行させるプログラムを記録した非一過性の記録媒体。

本発明は、２０１４年５月８日に出願された日本国特許出願２０１４−９６９７２号に基づく。本明細書中に日本国特許出願２０１４−９６９７２号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

１ 操作画面表示装置
２ 深度センサ
５ 表示装置
１１ 画像取得部
１２ 画像解析部
１３ 姿勢判定部
１４ 身体動作判定部
１５ 記憶部
１６ 表示制御部
３０ 内部バス
３１ 制御部
３２ 主記憶部
３３ 外部記憶部
３４ 入出力部
３５ 表示部
３９ 制御プログラム
Ｐ１ 手先
Ｐ２ 肘
Ｐ３ 肩
Ｐ４ 手中心
Ｐ５ 左端部
Ｐ６ 右端部

本発明は、ユーザが非接触動作で操作可能な操作画面を表示する操作画面表示装置、操作画面表示方法およびプログラムに関する。

本発明の第３の観点にかかるプログラムは、
表示装置と接続されたコンピュータに、
ユーザを含む深度画像を解析し、前記ユーザの身体部分の画像領域を抽出する画像解析ステップ、
前記抽出された前記ユーザの身体部分の画像領域に基づいて、前記ユーザの姿勢状態を判定する姿勢判定ステップ、
前記判定された前記ユーザの姿勢状態に基づいて、前記ユーザが非接触動作で操作可能な操作画面を生成する表示制御ステップ、
前記生成された操作画面を前記表示装置に表示する表示ステップ、
を実行させる。

Claims (9)

1. ユーザが非接触動作で操作可能な操作画面を表示装置に表示する操作画面表示装置であって、
   前記ユーザを含む深度画像を深度センサから取得する画像取得手段と、
   前記取得された深度画像を解析し、前記ユーザの身体部分にあたる画像領域を特定し、前記特定された画像領域に基づいて、前記ユーザの姿勢状態を判定する姿勢判定手段と、
   前記判定された前記ユーザの姿勢状態に基づいて、前記操作画面を生成する表示制御手段と、
   前記生成された操作画面を前記表示装置の画面に表示する表示手段と、
   を備えることを特徴とする操作画面表示装置。
2. 前記姿勢判定手段は、前記特定された画像領域に基づいて、前記深度センサに対して前記ユーザの身体部分が向いている方向を特定し、
   前記表示制御手段は、前記特定された方向と、あらかじめ記録された前記表示装置の画面と前記深度センサとの位置関係とに基づいて、前記操作画面を生成する、
   ことを特徴とする請求項１に記載の操作画面表示装置。
3. 前記表示制御手段は、記録されている前記操作画面の元となる画像データを読み出し、当該読み出した画像データを、前記特定された方向が前記表示装置の画面に対して傾斜している度合いに応じて傾斜させることによって前記操作画面を生成する、
   ことを特徴とする請求項２に記載の操作画面表示装置。
4. 前記姿勢判定手段は、あらかじめ記録された前記表示装置の画面と前記深度センサとの位置関係と、前記特定された画像領域とに基づいて、前記ユーザの身体部分の前記表示装置の画面の法線に対する角度を含む前記ユーザの姿勢状態を判定する、
   ことを特徴とする請求項１に記載の操作画面表示装置。
5. 前記表示制御手段は、前記姿勢判定手段が判定した前記ユーザの身体部分の前記表示装置の画面の法線に対する角度から、透視画法で前記ユーザの身体部分の動かしやすい方向に見えるように、操作内容を示すメニューを選択可能に配置した前記操作画面を生成する、
   ことを特徴とする請求項４に記載の操作画面表示装置。
6. 前記表示制御手段は、前記姿勢判定手段が判定した前記ユーザの身体部分の前記表示装置の画面の法線に対する角度から、前記ユーザの片方の腕の角度に合わせて変形する操作画面を生成する、
   ことを特徴とする請求項４に記載の操作画面表示装置。
7. 所定の身体動作と、当該身体動作に対応する操作内容とを示す身体動作情報を記憶する記憶手段と、
   前記姿勢判定手段が判定した前記ユーザの姿勢状態に基づいて前記ユーザによってなされた身体動作を識別し、当該識別された身体動作と前記身体動作情報とを照合することにより、前記ユーザが行った操作内容を検出する身体動作判定手段と、を備え、
   前記身体動作判定手段は、前記姿勢判定手段が判定した前記ユーザの姿勢状態に基づいて、前記操作画面に対して前記ユーザが第１の手の形状で操作する場合は所定の方向の動きを有効、前記所定の方向と異なる他の方向の動きを無効とし、前記操作画面に対して前記ユーザが前記第１の手の形状と異なる第２の手の形状で操作する場合は、前記他の方向の動きを有効、前記所定の方向の動きを無効とする、
   ことを特徴とする請求項１に記載の操作画面表示装置。
8. 表示装置に接続された操作画面表示装置が実行する操作画面表示方法であって、
   ユーザを含む深度画像を解析し、前記ユーザの身体部分にあたる画像領域を抽出する画像解析ステップと、
   前記抽出された画像領域に基づいて、前記ユーザの姿勢状態を判定する姿勢判定ステップと、
   前記判定された前記ユーザの姿勢状態に基づいて、前記ユーザが非接触動作で操作可能な操作画面を生成する表示制御ステップと、
   前記生成された操作画面を前記表示装置に表示する表示ステップと、
   を備えることを特徴とする操作画面表示方法。
9. 表示装置と接続されたコンピュータに、
   ユーザを含む深度画像を解析し、前記ユーザの身体部分の画像領域を抽出する画像解析ステップ、
   前記抽出された前記ユーザの身体部分の画像領域に基づいて、前記ユーザの姿勢状態を判定する姿勢判定ステップ、
   前記判定された前記ユーザの姿勢状態に基づいて、前記ユーザが非接触動作で操作可能な操作画面を生成する表示制御ステップ、
   前記生成された操作画面を前記表示装置に表示する表示ステップ、
   を実行させるプログラムを記録した非一過性の記録媒体。

Images