JP7213396B1 - 電子機器及びプログラム - Google Patents

Abstract

電子機器（１）は、操作者の手の撮像データを取得する取得部（３）と、撮像データに基づいて、手に対応するスケルトンデータを推測する推測部（８）と、スケルトンデータに基づいて、電子機器（１）を操作するためのカーソル位置を決定する決定部（９）と、を備えてもよい。

Description

本発明は、電子機器及びプログラムに関する。

従来、電子機器は、マウスなどの外部入力機器やタッチパッド、タッチパネルからの情報によって操作されていた。即ち、電子機器の操作者は、マウスを移動しクリックする、又は、タッチパッド、タッチパネル上で指を接触させて移動し、タッチ操作を行うことによって電子機器を操作していた。

近年電子機器は小型化されて、移動可能なタブレット端末やスマートフォンなどが多くの人に利用されている。タブレット端末やスマートフォンなどの移動可能な電子機器においては、操作者がタッチパネルの表面に指やその他の物体を接触させて移動又はタッチ操作することにより電子機器を操作できる。

操作者の負担を軽減する試みとして、カメラにより右手の指の位置を取得し、指の位置の付近に携帯電話の画面に対応するように操作領域を空中に設定し、操作者の指の操作領域内での位置に対応させて、指を移動させると画面上のカーソルを移動させたり、あるいはアイコンを強調表示して指定させたりする技術が下記特許文献に開示されている。

日本国公開特許公報２０１３－１７１５２９号

電子機器の操作において、操作者が表示パネルの表面に指やその他の物体を接触させて操作を実施する場合、衛生上気がかりとなることがある。具体的には、手や指が電子機器と接触することにより、電子機器の表面に付着したウイルスを手や指が接触することによって付着させてしまい、結果としてウイルスの感染を引き起こしてしまう可能性がある。

上記特許文献に開示された操作入力装置においては、カーソルの移動などを右手の空中移動によって非接触で行うことはできるが、最終的には左手の指で確定ボタンを押下しないと装置の操作が実行できない。

したがって、上記特許文献に開示された技術によって、電子機器の表面に付着したウイルスによる感染を防止することは難しい。

本発明の一態様に係る電子機器は、操作者の手の撮像データを取得する取
得部と、前記撮像データに基づいて、前記手に対応するスケルトンデータを推測する推測部と、前記スケルトンデータに基づいて、前記電子機器を操作するためのカーソル位置を決定する決定部とを備え、前記推測部は、前記撮像データにおいて握り拳または掌を検出することにより、前記手が含まれる領域を抽出した後、前記手が含まれる領域から、前記スケルトンデータを推測する。

本発明の他の態様に係る電子機器は、操作者の手の撮像データを取得する取得部と、前記撮像データに基づいて、前記手に対応するスケルトンデータを推測する推測部と、前記スケルトンデータに基づいて、前記電子機器が実行するアプリケーションを操作する操作部とを備え、前記推測部は、前記撮像データにおいて握り拳または掌を検出することにより、前記手が含まれる領域を抽出した後、前記手が含まれる領域から、前記スケルトンデータを推測する。

本発明の一態様に係るプログラムは、電子機器が備える少なくとも１つのプロセッサに、操作者の手の撮像データを取得する取得処理と、前記撮像データに握り拳または掌を検出することにより、手が含まれる領域を抽出した後、前記手が含まれる領域から、前記スケルトンデータを推測する推測処理と、前記スケルトンデータに基づいて、前記電子機器を操作するためのカーソル位置を決定する決定処理とを実行させる。

本発明の他の態様に係るプログラムは、電子機器が備える少なくとも１つのプロセッサに、操作者の手の撮像データを取得する取得処理と、前記撮像データに握り拳または掌を検出することにより、手が含まれる領域を抽出した後、前記手が含まれる領域から、前記スケルトンデータを推測する推測処理と、前記スケルトンデータに基づいて、前記電子機器が実行するアプリケーションを操作する操作処理とを実行させる。

実施形態１に係る電子機器の構成の一例を示すブロック図である。 実施形態１における電子機器の具体的構成例の外観を示す図である。 実施形態１におけるスケルトンデータの推測の流れの一例を説明するフローチャートである。 握り拳の画像データの一例を示す図である。 手の画像データにスケルトンを重ねた模式図の一例である。 手の画像データにスケルトンを重ねた模式図の一例である。 実施形態１におけるスケルトンデータに基づくカーソル位置の決定等の流れの一例を説明するフローチャートである。 手の画像データにスケルトンを重ねた模式図の一例である。 手の画像データにスケルトンを重ねた模式図の一例である。 手の画像データにスケルトンを重ねた模式図の一例である。 実施形態１における電子機器の操作の一例を説明するための外観図である。 カーソル形状の変化の一例を示す図である。 実施形態１における電子機器の操作の一例を説明するための外観図である。 実施形態２に係る電子機器の構成の一例を示すブロック図である。 実施形態３における電子機器の操作の一例を説明するための外観図である。 実施形態４に係る電子機器の構成の一例を示すブロック図である。 実施形態４における電子機器の幾つかの具体的構成例の外観を示す図である。 コンピュータのブロック図の一例である。

以下、幾つかの実施形態について説明する。各実施形態に係る電子機器は、電子工学が適用された装置一般を指し、例えば、スマートフォン、タブレット、パーソナルコンピュータ（ノート型及びデスクトップ型を含む）、スマートグラス、ヘッドマウンドディスプレイ等であり得るが、これらに限定されない。

〔実施形態１〕
＜構成例＞
以下、本実施形態の構成例について図面を参照して説明する。図１は実施形態１に係る電子機器１の構成の一例を示すブロック図である。以下では、一例として、電子機器１がスマートフォンである場合について説明するが、本実施形態はこれに限定されず、電子機器一般に適用することができる。電子機器１は、一例として、制御部２、撮像部４、表示部５、メモリ６及び記憶部７によって構成されてよい。

本実施形態において、制御部２は、半導体装置で構成されたマイクロコンピュータなどの演算装置で構成されてよい。

撮像部４は、操作者（ユーザ）の手の撮像データ（静止画及び動画を含む）を取得する機能を有してよい。撮像部４は電子機器１に内蔵されたカメラ又はセンサを想定しているが、外付けのカメラ又はセンサを利用してもよい。撮像部４は、画像（例えば、ＲＧＢ画像）を撮像するだけでなく、対象までの距離（深度）を計測可能なデプスカメラであってもよい。距離の計測方法は公知の技術を用いることができ、例えば３次元Ｌｉｄａｒ（Light Detection and Ranging）、又は例えば赤外光を用いる三角測量方式やＴＯＦ（Time Of Flight）方式等を用いることができる。

また、一態様において、撮像部４は、２以上の撮像部を備えたステレオカメラであってもよい。撮像部４が取得した撮像データには、深度を示す情報が含まれていてもよく、深度を示す情報を含む撮像データについても、単に「撮像データ」と称する場合がある。一例として、撮像データは、画素値として色彩及び輝度を示す値を有する画像（例えば、ＲＧＢ画像）であってもよく、画素値として深度を示す値を有する画像（デプス（深度）画像）であってもよい。

メモリ６は、制御部２と一体化されたマイクロコンピュータのメモリによって構成されてよい。また、メモリ６は、制御部２に接続される独立した半導体装置で構成されたＲＡＭ又はＲＯＭなどであってもよい。メモリ６は制御部２が実行する各種のプログラム及びそれらのプログラムによって参照される各種のデータが一時的に格納されてもよい。

記憶部７は、電子機器１に内蔵された、例えばＲＡＭやフラッシュメモリなどの書き込み可能な半導体装置のメモリによって構成されてよい。また記憶部７は、電子機器１と接続される外部メモリによって構成されてもよい。記憶部７は、また、後述する学習モデルを格納してよい。

また、制御部２は、取得部３、推測部８、決定部（検出部）９及び操作部（カーソル表示部）１０を含む構成であってよい。取得部３は、カメラ４から、操作者の手の撮像データを取得する機能を有してよい。

推測部８は、取得部３が取得した撮像データに基づいて、操作者の手に対応するスケルトンデータを推測する機能を有してよい。本明細書において、スケルトンデータとは、体積を有する物体の形状を、当該物体の骨格となる線分の集合（スケルトン）によって表現したものであり、例えば、当該物体の各部分について、当該部分の軸を示す線分、又は、当該部分の枠を示す線分によって表現したものであり得る。スケルトンは、物体の実際の骨格とは異なるものであってもよい。例えば、手のスケルトンは、必ずしも手の骨に沿ったものでなくともよく、少なくとも各指の位置、各指の曲がり方を示す線分を含むものであればよい。また、スケルトンデータは、骨格のうちの代表する数点をサンプル化したスケルトンメッシュと呼ばれるポイントの集合体であってもよい。

推測部８が、取得部３が取得した撮像データに基づいて、操作者の手に対応するスケルトンデータを推測するためのアルゴリズムは、特に限定されないが、一例として、推測部８は、多数の手の撮像データと当該手のスケルトンデータとの組を教師データとして機械学習された学習モデルを用いて、操作者の手に対応するスケルトンデータを推測するものであってよい。

また、一例として、推測部８は、領域抽出部８ａと、スケルトンデータ推測部８ｂとを含んでいてよい。

領域抽出部８ａは、撮像データに基づいて、手が含まれる領域を抽出してよい。領域抽出部８ａが、手が含まれる領域を抽出するためのアルゴリズムは特に限定されず、公知のアルゴリズムを用いてもよいが、一例として、領域抽出部８ａは、撮像データにおいて握り拳又は掌を検出することにより、撮像データにおける、手が含まれる領域を抽出してよい。なお、本明細書において、掌とは、手における指以外の部分を指す。一例として、領域抽出部８ａは、操作者が手を握っていないとき、例えば、操作者の手が開いているときには、掌を検出し、操作者が手を握っているときには、握り拳を検出してよい。領域抽出部８ａは、検出した握り拳又は掌の位置及び範囲に基づいて、操作者の手が含まれる領域を抽出してよい。

スケルトンデータ推測部８ｂは、領域抽出部８ａが抽出した、手が含まれる領域から、手に対応するスケルトンデータを推測してよい。一例として、スケルトンデータ推測部８ｂは、上述したような学習モデルを用いて、手に対応するスケルトンデータを推測するものであってよい。

このように、手が含まれる領域を抽出してから、抽出した領域を用いてスケルトンデータを推測することにより、処理速度及び推定精度を向上させることができる。

また、領域抽出部８ａが、撮像データにおける握り拳又は掌の検出結果に基づいて、手が含まれる領域を抽出することにより、処理速度をさらに向上させることができる。すなわち、手が開いた状態の形状は複雑な形状であり、検出処理の処理時間も長くなるが、握り拳及び掌という単純な形状に絞って検出を行うことによって、処理時間を短くすることができる。

決定部９は、推測部８が推測したスケルトンデータに基づいて、電子機器１を操作するためのカーソル位置を決定する機能を有してよい。すなわち、電子機器１は、座標を伴う入力によって操作可能な電子機器であってよく、カーソル位置は、当該入力の座標を示すために用いられてよい。決定部９は、また、推測部８が推測したスケルトンデータに基づいて、電子機器１を操作するためのアクション（ジェスチャ）を検出する機能を有してよい。

操作部１０は、決定部９が決定したカーソル位置に基づいて、電子機器１が実行するアプリケーションを操作してよい。操作部１０は、さらに決定部９が検出したアクション（ジェスチャ）に基づいて、電子機器１が実行するアプリケーションを操作してよい。

＜外観例＞
図２は、実施形態１における電子機器１の一具体的構成例の外観を示す図である。撮像部４は電子機器１の表面側（図２においては、電子機器１が示されている側）を撮影するカメラであってよい。

一般的に、電子機器１は裏面側（図２においては、電子機器１が示されている反対側）を撮影するカメラも有しており、この裏面側のカメラを撮像部４として利用してもよい。ただし、裏面側のカメラを利用する場合は、操作者の手が電子機器１によって遮られ、直接見えにくい状況となるため、その点を考慮した上で利用してもよい。

電子機器１は、表面側に表示部５（ディスプレイ）を有してよい。電子機器１の表示部５には画像が表示されており、表示部５に指やその他の物体を接触させることによって電子機器１を操作できる構成であってよい。図２には図示されていないが、電子機器１は、その内部に制御部２、メモリ６及び記憶部７を有してもよい。

＜スケルトンデータの推測＞
本実施形態におけるスケルトンデータの推測の流れについて図３～図５を参照して説明する。図３は、実施形態１におけるスケルトンデータの推測の流れの一例を説明するフローチャートである。

処理が開始される（ステップＳ３０）と、取得部３が、撮像部４から撮像データを取得してよい（ステップＳ３１）。次に、領域抽出部８ａが、撮像データにおいて握り拳又は掌を検出してよい（ステップＳ３２）。図４は、ステップＳ３２において領域抽出部８ａが検出する撮像データに含まれる握り拳４０の画像データの一例を示す図である。領域抽出部８ａが検出する握り拳４０の画像データは、人によって様々となってよい。また、操作者の利き手によって、右手又は左手が選択的に示されることになってよい。図４においては、操作者の利き手が右手の場合を示しているが、操作者の利き手が左手の場合は、左手の握り拳の画像データが取得されてよい。

領域抽出部８ａが、握り拳又は掌を検出するアルゴリズムとしては、特に限定されず、公知の物体認識アルゴリズムを用いればよいが、例えば、握りとして学習させた学習モデルを用いて、握り拳又は掌を検出してよい。

次に、領域抽出部８ａが、撮像データにおいて検出した握り拳又は掌に基づいて、当該握り拳又は掌に対応する手が含まれる領域を抽出してよい（ステップＳ３３）。例えば、ステップＳ３２において、領域抽出部８ａが、握り拳又は掌の画像データと、握り拳又は掌に対応する手の領域との組を教師データとして学習させた学習モデルを用いて、握り拳又は掌を検出していた場合には、領域抽出部８ａは、学習モデルの出力となる手の領域を、握り拳又は掌に対応する手が含まれる領域４１として抽出してもよい。その他、領域抽出部８ａは、ステップＳ３２において検出した握り拳又は掌の位置に基づいて、当該握り拳又は掌に対応する手が含まれる領域４１を抽出してもよい。

ここで、どのような手の形でも（指をどのように動かした状態でも）、握り拳又は掌の形状がほとんど変化しない。そのため、領域抽出部８ａが握り拳又は掌に基づいて、手が含まれる領域を抽出することにより、迅速に１以上の手の領域を検出することができ、スケルトンデータ推測部８ｂによってスケルトンデータを推測することができる。

次に、スケルトンデータ推測部８ｂは、領域抽出部８ａが抽出した、手が含まれる領域から、スケルトンデータを推測してよい（ステップＳ３４）。
一例として、スケルトンデータ推測部８ｂは、多数の手（握り拳、開いた手など、様々な形状の手を含む）の撮像データと当該手のスケルトンデータとの組を教師データとして機械学習された学習モデルを用いて、領域抽出部８ａが抽出した、手が含まれる領域から、操作者の手に対応するスケルトンデータを推測するものであってよい。

なお、一態様において、スケルトンデータ推測部８ｂは、右手の撮像データと当該手のスケルトンデータとの組を教師データとして機械学習された右手認識用学習モデルと、左手の撮像データと当該手のスケルトンデータとの組を教師データとして機械学習された左手認識用学習モデルと、を用いて、何れの学習モデルからスケルトンデータを取得できたかに応じて、操作者の手が右手か左手かを認識してもよい。

図５は、握り拳の手５０の画像データに対して、スケルトンデータ推測部８ｂが決定したスケルトンデータが示すスケルトン５１を重ねた模式図の一例である。但し、この重ね合わされたスケルトン５１は、模式的に付加したものであり、制御部２においてはスケルトンデータが決定されていればよい。図６は、開いた手６０の画像データに対して、スケルトンデータ推測部８ｂが決定したスケルトンデータが示すスケルトン６１を重ねた模式図の一例である。

このように、推測部８がスケルトンデータを推定することによって、制御部２は、操作者の掌や指の平面上の位置や指の位置と掌の位置の３次元的な奥行き等、操作者の手から様々な値を取得することができる。これにより、例えば、操作者が手にグローブ型センサをはめた場合と同等のデータを取得することができる。これにより、決定部９によるカーソル位置の決定やジェスチャ（アクション）の検出を行い、電子機器１又は電子機器１が実行するアプリケーションを操作することができる。

＜スケルトンデータに基づくカーソル位置の決定等＞
本実施形態におけるスケルトンデータに基づくカーソル位置の決定等の流れについて図７～図１０を参照して説明する。

図７は、実施形態１におけるスケルトンデータに基づくカーソル位置の決定等の流れの一例を説明するフローチャートである。処理が開始される（ステップＳ６０）と、決定部９は、推測部８が推測したスケルトンデータに基づいて、カーソル位置を決定してよい（ステップＳ６１）。

決定部９は、スケルトンデータに基づいて、操作者の手の特定の部位の位置を算出し、当該位置に対応するようにカーソル位置を決定してよい。一例として、決定部９は、操作者の手の特定の指の付け根の位置を算出し、特定の指の付け根の位置に対応するようにカーソル位置を決定してよい。一例として、決定部９は、領域抽出部８ａが抽出した手が含まれる領域の撮像データ中における位置と、スケルトンデータに基づいて算出される操作者の手の特定の部位の手全体における位置とを加算した位置を、カーソル位置として決定してもよい。

図８は、操作者の手７０の画像データにスケルトンを重ねた模式図の一例である。一例において、決定部９は、スケルトンデータ７３に基づいて、人差し指の付け根Ｂを示すポイント７２を特定し、特定したポイント７２の位置に対応するようにカーソル位置を決定してよい。

続いて、決定部（検出部）９は、推測部８が推測したスケルトンデータ７３に基づいて、ジェスチャ（電子機器１の操作のためのアクション）を検出してよい（ステップＳ６２）。決定部９が検出するジェスチャ（アクション）は特に限定されず、種々のジェスチャ（アクション）を検出してよいが、例えば、クリックアクション、スワイプアクション、ドラッグアンドドロップアクション等のジェスチャ（アクション）を検出してよい。

一態様において、スケルトンモデルの形態ごとに、それぞれ異なるジェスチャが割り当てられていてよい。一態様において、スケルトンモデルの形態は、スケルトンデータ７３において規定される特定のパラメータと、当該パラメータが満たす条件とによって表現される。例えば、決定部９は、スケルトンデータ７３において規定される特定のパラメータが、特定の条件を満たしたときに、当該パラメータ及び条件に対応するジェスチャを検出してよい。

特定のパラメータとしては、
・スケルトンデータ７３における複数の所定ポイント間の相対距離
・スケルトンデータ７３における複数の所定ポイントによって形成される角度
・スケルトンデータ７３における複数の所定ポイントによって形成される形状
・スケルトンデータ７３における１以上の所定ポイントの移動速度などが挙げられるがこれらに限定されない。

また、特定の条件としては、
・上記相対距離が所定の閾値以下か否か
・上記相対距離が所定の範囲内か否か
・上記角度が所定の閾値以下か否か
・上記角度が所定の範囲内か否か
・上記形状が、所定の形状（例えば、五指によって形成される形状が、「パー」形状であるか「グー」形状であるか等）
・上記移動速度が所定の閾値以下か否か
・上記移動速度が所定の範囲内か否か
・上記の条件を満たした状態が閾値以上継続したか否かなどが挙げられるがこれらに限定されない。

また、特定の条件として、複数のパラメータに関する条件が組み合わされていてもよい。また、上記の所定ポイントは、スケルトンデータ７３における任意のポイントであってよく、例えば、任意の指の任意の位置、又は、掌の任意の位置、握り拳の任意の位置であってもよい。また、右手か左手かによって割り当てるジェスチャを変えてもよい。

一態様において、決定部９は、以下のような表１を参照して、ジェスチャを決定してもよい。表１は、パラメータ及び条件の組み合わせごとに、割り当てられたジェスチャを示す表である。なお、パラメータは１又は複数であってよい。また、複数の組み合わせに対して、同じジェスチャが割り当てられてもよい。

以下、更に詳細に、決定部９がジェスチャを検出する処理について説明する。

決定部９は、スケルトンデータ７３における複数の所定ポイントの相対距離に基づいてジェスチャを検出してよい。例えば、図８に示す手７０において、決定部９は、スケルトンデータ７３に基づいて、人差し指の付け根Ｂを示すポイント７２に加えて、人差し指の指先Ａを示すポイント７１を特定し、ポイント７１とポイント７２との位置関係に基づいて、クリックアクションを検出してもよい。なお、指先というのは指の先端部のみを指すわけでなく、指の可動部分であれば先端部でなくてよい。

例えば、スケルトンデータ７３において、人差し指の第１間接に相当するポイントをポイント７１とし、人差し指の付け根Ｂを示すポイントをポイント７２としてもよい。また、人差し指の先端に相当するポイントをポイント７１とし、親指の先端に相当するポイントをポイント７２としてもよい。また、スケルトンデータ７３において、人差し指の先端に相当するポイント、中指の先端に相当するポイント、親指の先端に相当するポイントの三つのポイントの位置関係に基づいて、ジェスチャを検出してもよい。このように、ジェスチャの検出に用いるポイントは、スケルトンデータ７３におけるあらゆるポイントを用いることができる。

一例において、操作者は、図９に示す手８０のような手の形にした後、図１０に示す手９０のような手の形にし、再度、図９に示す手８０のような手の形に戻すことにより、クリックアクションを行ってもよい。

このとき、決定部９は、手８０について、スケルトンデータ８３に基づいて、人差し指の指先Ａを示すポイント８１、及び、人差し指の付け根Ｂを示すポイント８２を特定してよい。また、決定部９は、手９０について、スケルトンデータ９３に基づいて、人差し指の指先Ａを示すポイント９１、及び、人差し指の付け根Ｂを示すポイント９２を特定してよい。

一方、ステップＳ６３で設定した人差し指の根本８２は、親指によって覆われているため、操作者の手の画像からは認識はできなくてよい。しかしながら、操作者の手８０の情報は、図３に示した操作者の手の認識によってスケルトン及び／又は仮想グローブモデルが認識されているため、親指に隠れた人差し指の根本８２は、認識可能であってよい。図９におけるステップＳ６２で設定した人差し指の指先８１の位置Ａと、ステップＳ６３で設定した人差し指の根本８２の位置Ｂとは、操作者の手８０を開いた状態と同じく、位置的に離間してよい。

なお、上述では、ステップＳ６２で設定した人差し指の指先８１は、カメラ４から取得した操作者の手の画像から認識可能であり、ステップＳ６３で設定した人差し指の根本８２は、カメラ４から取得した操作者の手の画像から認識できなくてよいと説明した。しかしながら、ステップＳ６２で設定した人差し指の指先８１とステップＳ６３で設定した人差し指の根本８２の双方がカメラ４から取得した操作者の手の画像から認識不可能であってもよい。これは、上述のように操作者の手８０の情報が、図３に示した操作者の手の認識によってスケルトン及び／又は仮想グローブモデルが認識されているためであってよい。

そして、決定部９は、手８０におけるポイント８１とポイント８２との間の距離よりも、手９０におけるポイント９１とポイント９２との間の距離が狭まっていることを検出し、その後、手８０におけるポイント８１とポイント８２との間の距離まで広がったことを検出したときに、クリックアクションが行われたと判定してもよい。

なお、クリックアクションを割り当てる手の動きは特に限定されず、片手で行える任意のモーションにクリックアクションを割り当てることができる。例えば、決定部９は、人差し指及び中指がともに伸ばした状態であり、人差し指と中指とが接触して離れたことを検出したときに、クリックアクションが行われたと判定してもよい。決定部９は、各指が伸ばした状態であるか否かを、例えば、当該指の先端、付け根及び各関節のポイントが一直線に並んでいるか否かに基づいて判定してもよい。また、判定する指は、人差し指及び中指に限られない。

以上のように、決定部９は、特定の指の指先のポイントと当該指の付け根のポイントとの位置関係に基づいて、ジェスチャを検出することができる。
具体的には、例えば、決定部９は、人差し指の指先のポイントと当該指の付け根のポイントとの位置関係に基づいて、クリックアクションを検出することができる。これによれば、動作の支点となる指の付け根部分は動きが少ないため、一実施形態に係る本発明は、ジェスチャを検出し易くなる。すなわち、一実施形態に係る本発明によれば、操作の安定性を向上させることができる。

また、一例として、操作者は、手の形を、ジェスチャ開始を示す手の形にし、手を移動させてから、手の形を、ジェスチャ終了を示す手の形にすることにより、スワイプアクションやドラッグアンドドロップアクションなどの移動を指定するジェスチャを行うことができる。例えば、操作者は、図９に示す手８０のような手の形にした後、図１０に示す手９０のような手の形にし、指先を移動させてから、図９に示す手８０のような手の形に戻すことにより、スワイプアクションを行ってもよい。

この場合、決定部９は、手８０におけるポイント８１とポイント８２との間の距離よりも、手９０におけるポイント９１とポイント９２との間の距離が狭まっていることを検出し、その後、ポイント９１が移動したことを検出し、その後、手８０におけるポイント８１とポイント８２との間の距離まで広がったことを検出したときに、スワイプアクションが行われたと判定してもよい。

なお、図１０における操作者の手９０は、人差し指以外の指は握った（折り曲げた）状態になっている上に、人差し指が重ねて折り曲げられた状態となっているため、非常に複雑な手の形をしている。特に、人差し指の付け根は、他の指によって隠れている。このような操作者の手９０についても、決定部９は、スケルトンデータに基づいて人差し指の付け根を含む各ポイントを検出することができる。

＜電子機器又はアプリケーションの操作＞
図１１は、電子機器１の操作の一例を説明するための外観図である。電子機器１は、具体的にはスマートフォンであってよい。電子機器１はカメラ１０４と表示部１０５とを備えていてよい。

一例として、取得部３は、表示部１０５にモニタ領域１０６を設定し、モニタ領域１０６に、カメラ１０４によって撮像された撮像画像を表示させてもよい。モニタ領域１０６はカメラ１０４によって撮像される操作者の手を表示するものであるが、操作対象の画面を隠さないようにするため、画面上の左上隅などに表示されてよい。また、このモニタ領域１０６は設けられていなくともよい。

また、一例として、操作部（カーソル表示部）１０は、表示部（表示画面）１０５における、決定部９が決定したカーソル位置に対応する位置に、カーソル１０７を表示させてもよい。すなわち、カーソル１０７は、カメラ１０４に撮像される範囲内における操作者の手の動きに応じて、上下、左右に移動してよい。

一例として、操作部１０は、電子機器１が実行可能なアプリケーションを実行するためのアイコンを、表示部１０５のアイコン領域１０８に表示させてもよい。そして、カーソル１０７が、アイコン領域１０８内のアイコンに重なった状態で、決定部９がクリックアクションを検出したときに、操作部１０は、当該アイコンに対応するアプリケーションを実行してもよい。

また、アプリケーションが実行されているときに、決定部９がカーソル位置を移動させたとき、及び、決定部９がアクションを検出したときに、操作部１０は、カーソル位置の移動や、検出されたアクションに応じて、アプリケーションを操作してもよい。

操作部１０が表示部１０５に表示させるカーソル１０７の形状及び色は特に限定されないが、一例において、操作部１０は、決定部９が検出したアクションに応じた表示態様でカーソル１０７を表示させてもよい。例えば、決定部９が何もアクションを検出していないとき、操作部１０は、カーソル１０７を青色で表示し、決定部９がクリックアクション及びスワイプアクションを検出したとき、操作部１０は、カーソル１０７を緑色で表示し、決定部９がドラッグアンドドロップアクションを検出したとき、操作部１０は、カーソル１０７を赤色で表示するなど、カーソル１０７の色を変更してもよい。

また、操作部１０は、決定部９が検出したアクションに応じて、カーソルの形状を変化させてもよい。図１２は、カーソル形状の変化の一例を示す図である。例えば、決定部９が何もアクションを検出していないとき、操作部１０は、カーソル１０７ａを表示し、決定部９がクリックアクションを検出したとき、操作部１０は、カーソル１０７ｂのようなアニメーションを表示し、決定部９がスワイプアクションを検出したとき、操作部１０は、カーソル１０７ｃを表示するなど、カーソルの形状を変更してもよい。

また、表示部１０５の一部は、システム領域（特定領域）１０９であってもよい。システム領域１０９は、システム操作のためのＵＩ（例えば、ホームボタン、戻るボタン、オプションボタン等）が表示される領域であり、操作部１０が表示を変えることができない領域である。

図１３は、決定部９が決定したカーソル位置がシステム領域１０９内であるときの表示部１０５の一例を示す外観図である。上述したように、決定部９が決定したカーソル位置がシステム領域１０９内である場合、操作部１０は、システム領域１０９内にカーソルを表示させることができない。この場合、一例として、操作部１０は、カーソル位置がシステム領域１０９外である場合に表示させるカーソル１０７とは異なる表示態様で、システム領域１０９外にカーソル１０７ｄを表示させてもよい。カーソル１０７ｄは、カーソル１０７と形状が異なっていてもよいし、色が異なっていてもよい。そして、この状態で決定部９がクリックアクションを検出した場合、操作部１０は、システム領域１０９内のカーソル位置でクリックアクションが行われたときの処理を実行してよい。これにより、システム操作のためのＵＩについても首尾よく操作することができる。

以上説明したように、操作者は電子機器１のカメラ１０４の撮像範囲内において、手を移動させ及び／又は手によるジェスチャを実施することによって、電子機器１に接触することなく電子機器１をポインティングデバイスと同様に操作することができる。

〔実施形態２〕
＜構成例＞
以下、実施形態２の構成例について図面を参照して説明する。実施形態２に係る電子機器の構成は、特に説明しない限り、図１で示した実施形態１の構成と同じであるため、実施形態１の説明を参酌することにより、その説明は省略する。

図１４は実施形態２に係る電子機器１の構成の一例を示すブロック図である。本実施形態では、操作部１０が決定部９を備えている点が実施形態１と異なっている。すなわち、本実施形態では、操作部１０は、推測部８が推測したスケルトンデータ７３に基づいて、電子機器１が実行するアプリケーションを操作してよい。

なお、決定部９は、必ずしも、カーソル位置を決定する必要はなく、スケルトンデータ７３に基づいて、ジェスチャのみを検出してもよい。そして、操作部１０は、決定部９は、ジェスチャに基づいてアプリケーションを操作してよい。これにより、カーソル位置が操作に必要ないアプリケーションを操作することが可能となる。

〔実施形態３〕
＜構成例＞
以下、実施形態３の構成例について図面を参照して説明する。実施形態３に係る電子機器の構成は、特に説明しない限り、図１で示した実施形態１の構成と同じであるため、実施形態１の説明を参酌することにより、その説明は省略する。

図１５は両手のジェスチャによる電子機器の操作を説明するための電子機器１４１の外観図である。以下では、一例として、電子機器１４１がタブレット端末である場合について説明するが、本実施形態はこれに限定されず、電子機器一般に適用することができる。電子機器１４１はカメラ１４４と表示部１４５とを備えていてよい。また、表示部１４５には、モニタ領域１４６及びアイコン領域１４９が設けられていてよい。また、操作部１０は、表示部１４５に、カーソル１４７を表示させてもよい。

このとき、決定部９は、操作者の両手によるジェスチャ（アクション）を検出してもよい。例えば、操作者が人差し指と親指をＬ字型にして、両手で互いの人差し指の先端と親指の先端を組み合わせて長方形を作成した場合に、決定部９は、第１のスペシャルアクションを検出してもよい。決定部９が第１のスペシャルアクションを検出した場合、操作部１０は、カーソルの形状を長方形のカーソル１４７Ａに変化させ、カーソル１４７Ａの下に重なって表示されたアイテムのプロパティーを表示部１０５に表示させてもよい。

また、例えば、操作者が両手の人差し指を真っすぐにして互いの中央部分でクロスさせることにより、バツ印を作成した場合に、決定部９は、第２のスペシャルアクションを検出してもよい。決定部９が第２のスペシャルアクションを検出した場合、操作部１０は、カーソルの形状をバツ印のカーソル１４７Ｂに変化させ、カーソル１４７Ｂの下に重なって表示されたアイテムをごみ箱に移動させてもよい。

また、決定部９は、操作者の左手のジェスチャ、右手のジェスチャ、両手のジェスチャの全てを検出するようにしてもよい。これにより、人の手で作れる全てのジェスチャを用いて電子機器１４１を操作することができる。なお、領域抽出部８ａは、撮像データにおいて検出した握り拳又は掌に基づいて、当該握り拳又は掌に対応する手が含まれる領域を抽出することにより、複数の手が含まれる領域を同時に検出することができる。

以上説明したように、操作者は電子機器１４１のカメラ１０４の撮像範囲内において、手を移動させ及び／又は手によるジェスチャを実施することによって電子機器１４１に接触することなく電子機器１４１を操作できてよい。

〔実施形態４〕
＜構成例＞
以下、実施形態４の構成例について図面を参照して説明する。実施形態４に係る電子機器の構成は、特に説明しない限り、図１で示した実施形態１の構成と同じであるため、実施形態１の説明を参酌することにより、その説明は省略する。

図１６は実施形態４に係る電子機器１０００の構成の一例を示すブロック図である。電子機器１０００は、撮像部４及び表示部５を備えておらず、外部の撮像部４及び表示部５に接続している。このように、電子機器は、必ずしも撮像部４及び表示部５を備えていなくともよく、撮像部４及び表示部５の少なくとも一方が外部に存在する構成であってもよい。

各実施形態は、様々な電子機器に適用することができる。図１７は、実施形態４における電子機器の幾つかの具体的構成例の外観を示す図である。電子機器１ａはノートパソコンであり、カメラ（撮像部４）及びディスプレイ（表示部５）を備えてよい。電子機器１ｂはスマートグラスであり、カメラ（撮像部４）及びディスプレイ又は網膜投影部（表示部５）を備えてよい。電子機器１０００ａには、外部のヘッドマウントディスプレイ（表示部５）及びカメラ（撮像部４）が無線又は有線接続されてよい。

〔変形例〕
手の認識において、手を認識する精度を上げるために、カメラに撮像された手と関係ない対象物、例えば人の顔や服など手と異なる対処物であって、比較的映り込みやすい対象物をあらかじめ除外対象として認識アルゴリズムに登録することができる。

また手の認識において、撮像する手の位置について特に言及していなかった。しかしながら、手がカメラに対して近すぎる位置にあると撮像する手がはみ出してしまう。また、手がカメラに対して遠すぎる位置にあると撮像する手が小さくなってしまい、認識する精度が落ちてしまう。したがって、カメラに対して撮像する手の位置範囲を設定することによって、より精度の高い手の認識を行うことができる。

手のジェスチャによる電子機器の操作において、最初に操作者の手を認識するモードになっていてよいと説明した。この操作者の手を認識するモードに電子機器が対応しているかどうかをわかりやすくするため、電子機器の表示部の例えば右下などにアイコンを表示しておくことができる。このアイコンの形状については人の形のようなものを採用してもよいが、これに限定されるものではない。

また手のジェスチャによる電子機器の操作において、実施形態１の例としてはカーソルの移動とクリックという動作を取り上げた。しかしスマートフォンの多くの機種においては、長押しという機能が設定されている場合が多い。そこで長押しに対応するジェスチャを追加することによって、長押し機能に対してもジェスチャで対応することができる。

〔ソフトウェアによる実現例〕
電子機器１、１４１及び１０００の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。

ソフトウェアによって実現する場合、電子機器１、１４１及び１０００は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現されてもよい。図１８は、このコンピュータのブロック図の一例である。コンピュータ１５０は、ＣＰＵ（Central Processing Unit）１５１と、メモリ１５２と、を備えてよい。メモリ１５２には、コンピュータ１５０を電子機器１、１４１及び１０００として動作させるためのプログラム１５３が記録されてもよい。ＣＰＵ１５１は、プログラム１５３をメモリ１５２から読みだして実行することにより、電子機器１、１４１及び１０００の各機能が実現されてもよい。

ＣＰＵ１５１は、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floatingpoint number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラを用いてもよい。メモリ１５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はこれらの組み合わせなどを用いてもよい。

コンピュータ１５０は、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータ１５０は、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。

プログラム１５３は、コンピュータ１５０が読み取り可能な、一時的でない有形の記録媒体１５４に記録し得もよい。記録媒体１５４としては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いてもよい。コンピュータ１５０は、記録媒体１５４からプログラム１５３を読み取ってもよい。コンピュータ１５０は、プログラム１５３は、伝送媒体を介して読み取ってもよい。伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いてもよい。電子機器１、１４１及び１０００の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。

上述で説明した構成の電子機器によれば、電子機器に接触することなく操作を行うことができるため、ウイルスの感染の可能性を低減することができる。これにより、持続可能な開発目標（ＳＤＧｓ）の目標３「すべての人に健康と福祉を」を達成することができる。

〔付記事項〕
本明細書に記載の発明の一部は以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
電子機器であって、
操作者の手の撮像データを取得する取得部と、
前記撮像データに基づいて、前記手に対応するスケルトンデータを推測する推測部と、
前記スケルトンデータに基づいて、前記電子機器を操作するためのカーソル位置を決定する決定部と、
を備える電子機器。

（付記２）
電子機器であって、
操作者の手の撮像データを取得する取得部と、
前記撮像データに基づいて、前記手に対応するスケルトンデータを推測する推測部と、
前記スケルトンデータに基づいて、前記電子機器が実行するアプリケーションを操作する操作部と、
を備える電子機器。

（付記３）
電子機器が備える少なくとも１つのプロセッサに、
操作者の手の撮像データを取得する取得処理と、
前記撮像データに基づいて、前記手に対応するスケルトンデータを推測する推測処理と、
前記スケルトンデータに基づいて、前記電子機器を操作するためのカーソル位置を決定する決定処理と、
を実行させるための、プログラム。

（付記４）
電子機器が備える少なくとも１つのプロセッサに、
操作者の手の撮像データを取得する取得処理と、
前記撮像データに基づいて、前記手に対応するスケルトンデータを推測する推測処理と、
前記スケルトンデータに基づいて、前記電子機器が実行するアプリケーションを操作する操作処理と、
を実行させるための、プログラム。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１、１４１、１０００ 電子機器
２ 制御部
３ 取得部
４ 撮像部
５、１４５ 表示部
６ メモリ
７ 記憶部
８ 推測部
８ａ 領域抽出部
８ｂ スケルトンデータ推測部
９ 決定部
１０ 操作部
４０ 握り拳
４１ 手が含まれる領域
５０、６０、７０、８０、９０ 手
５１、６１、７３、８３、９３ スケルトン
７１、８１、９１ 指先のポイント
７２、８２、９２ 指の付け根のポイント
１０６、１４６ モニタ領域
１０７、１０７ａ、１０７ｂ、１０７ｃ、１０７ｄ、１４７、１４７Ａ、
１４７Ｂ カーソル
１０８、１４９ アイコン領域
１０９ システム領域
１５０ コンピュータ
１５１ ＣＰＵ
１５２ メモリ
１５３ プログラム
１５４ 記録媒体

Claims (13)

1. 電子機器であって、
   操作者の手の撮像データを取得する取得部と、
   前記撮像データに基づいて、前記手に対応するスケルトンデータを推測する推測部と、
   前記スケルトンデータに基づいて、前記電子機器を操作するためのカーソル位置を決定する決定部と、
   を備え、
   前記推測部は、前記撮像データにおいて手の一部である掌または握り拳を検出することにより、前記手が含まれる領域を抽出した後、前記手が含まれる領域から、前記スケルトンデータを推測する、
   電子機器。
2. 前記推測部は、前記手の撮像データと対応する前記スケルトンデータとの組を教師データとして機械学習された学習モデルを用いて、前記スケルトンデータを推測する、請求項１に記載の電子機器。
3. 前記推測部は、右手の前記撮像データと対応する前記スケルトンデータとの組を教師データとして機械学習された右手認識用学習モデルと、左手の前記撮像データと対応する前記スケルトンデータとして機械学習された左手認識用学習モデルと用いて、前記右手認識用学習モデル又は前記左手認識用学習モデルのいずれかからスケルトンデータを取得できたかに応じて、前記操作者の手が右手か左手かを認識する請求項２に記載の電子機器。
4. 前記撮像データは、単一のカメラによって取得されたＲＧＢ画像である、請求項１ないし３のいずれか１項に記載の電子機器。
5. 前記決定部は、前記スケルトンデータが示す前記手の特定の部位の位置に基づいて、前記カーソル位置を決定する、請求項１ないし４のいずれか１項に記載の電子機器。
6. 前記スケルトンデータから、前記電子機器を操作するためのアクションを検出する検出部をさらに備える、請求項１ないし５のいずれか１項に記載の電子機器。
7. 前記検出部は、前記スケルトンデータが示す指の先と当該指の根元との位置関係に基づいて、クリックアクションを検出する、請求項６に記載の電子機器。
8. 前記電子機器の表示画面に、前記決定部が決定したカーソル位置に基づいて、カーソルを表示するカーソル表示部をさらに備える、請求項６又は７に記載の電子機器。
9. 前記カーソル表示部は、前記検出部が検出した前記アクションに応じた表示態様で、前記カーソルを表示する、請求項８に記載の電子機器。
10. 前記表示画面は、特定領域を含み、
    前記カーソル表示部は、前記決定部が決定したカーソル位置が前記特定領域内である場合には、当該カーソル位置が前記特定領域外である場合とは異なる表示態様で、前記特定領域外に前記カーソルを表示する、請求項８又は９に記載の電子機器。
11. 電子機器であって、
    操作者の手の撮像データを取得する取得部と、
    前記撮像データに基づいて、前記手に対応するスケルトンデータを推測する推測部と、
    前記スケルトンデータに基づいて、前記電子機器が実行するアプリケーションを操作する操作部と、
    を備え、
    前記推測部は、前記撮像データにおいて手の一部である掌または握り拳を検出することにより、前記手が含まれる領域を抽出した後、前記手が含まれる領域から、前記スケルトンデータを推測する、
    電子機器。
12. 電子機器が備える少なくとも１つのプロセッサに、
    操作者の手の撮像データを取得する取得処理と、
    前記撮像データに手の一部である掌または握り拳を検出することにより、手が含まれる領域を抽出した後、前記手が含まれる領域から、スケルトンデータを推測する推測処理と、
    前記スケルトンデータに基づいて、前記電子機器を操作するためのカーソル位置を決定する決定処理と、
    を実行させるための、プログラム。
13. 電子機器が備える少なくとも１つのプロセッサに、
    操作者の手の撮像データを取得する取得処理と、
    前記撮像データに手の一部である掌または握り拳を検出することにより、手が含まれる領域を抽出した後、前記手が含まれる領域から、スケルトンデータを推測する推測処理と、
    前記スケルトンデータに基づいて、前記電子機器が実行するアプリケーションを操作する操作処理と、
    を実行させるための、プログラム。

Images