JPWO2020158042A1 - 機能制御装置 - Google Patents

Abstract

容易に利便性の高い機能をユーザに提供する。
機能制御装置である端末１０は、画像を取得する画像取得部１３と、画像取得部１３によって取得された画像に写った、位置を指定するための指定物体の画像上の位置を特定する指定物体特定部１４と、画像取得部１３によって取得された画像において、指定物体特定部１４によって特定された位置に応じた位置に写ったオブジェクトの種別を識別するオブジェクト識別部１５と、オブジェクト識別部１５によって識別されたオブジェクトの種別に応じた機能を実行するように制御する機能制御部１６とを備える。

Description

本発明は、端末等の機能を制御する機能制御装置に関する。

従来から、撮像によって得られた画像を用いてユーザに情報を提供する技術が提案されている。例えば、特許文献１には、撮像によって得られた画像を表示して、画像上の箇所の選択入力を受け付けて、当該箇所に写っている商品の情報を出力することが示されている。

特開２０１７−５９２７２号公報

しかしながら、上述した特許文献１に示される技術は、必ずしも容易に実現でき利便性が高いとは言えない。例えば、スマートグラスといった眼鏡型の装置では、表示された画像の位置をユーザが指定するためには、視線の検出等の特別な構成が必要になる。また、特許文献１に示される技術は、商品の情報を出力する機能を有するのみである。

本発明の一実施形態は、上記に鑑みてなされたものであり、容易に利便性の高い機能をユーザに提供することができる機能制御装置を提供することを目的とする。

上記の目的を達成するために、本発明の一実施形態に係る機能制御装置は、画像を取得する画像取得部と、画像取得部によって取得された画像に写った、位置を指定するための指定物体の画像上の位置を特定する指定物体特定部と、画像取得部によって取得された画像において、指定物体特定部によって特定された位置に応じた位置に写ったオブジェクトの種別を識別するオブジェクト識別部と、オブジェクト識別部によって識別されたオブジェクトの種別に応じた機能を実行するように制御する機能制御部と、を備える。

本発明の一実施形態に係る機能制御装置では、画像に写った指定物体の位置が特定されて、当該位置に応じた位置に写ったオブジェクトの種別に応じた機能が実行されるように制御される。従って、本発明の一実施形態に係る機能制御装置によれば、視線の検出等による画像に対する位置の指定を行うことなく機能を実行させることができる。また、オブジェクトの種別に応じた機能を実行させることができる。即ち、本発明の一実施形態に係る機能制御装置によれば、容易に利便性の高い機能をユーザに提供することができる。

本発明の一実施形態によれば、視線の検出等による画像に対する位置の指定を行うことなく機能を実行させることができる。また、オブジェクトの種別に応じた機能を実行させることができる。即ち、本発明の一実施形態によれば、容易に利便性の高い機能をユーザに提供することができる。

本発明の実施形態に係る機能制御装置である端末の構成を示す図である。 端末において実行される機能の例を示す図である。 端末において実行される機能の例を示す図である。 端末において実行される機能の例を示す図である。 端末において実行される機能の例を示す図である。 本発明の実施形態に係る機能制御装置である端末で実行される処理を示すフローチャートである。 本発明の実施形態に係る機能制御装置である端末のハードウェア構成を示す図である。

以下、図面と共に本発明に係る機能制御装置の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

図１に本実施形態に係る機能制御装置である端末１０を示す。端末１０は、ユーザによって用いられる情報処理装置であり、情報処理によってユーザに機能を提供する。端末１０は、例えば、スマートグラスといった眼鏡型の装置であり、ユーザの目の部分に装着されて用いられる。端末１０は、カメラ（例えば、ＲＧＢカメラ）を有しており、撮像を行うことができる。カメラは、例えば、端末１０がユーザに装着された際にユーザの視線と撮像方向とが同様になるように端末１０に設けられている。端末１０は、ディスプレイを有しており、情報を表示することができる。ディスプレイは、例えば、スマートグラスのレンズに相当する部分に設けられた透過型のディスプレイであり、ユーザが装着した状態でディスプレイによる表示を見ることができる。

端末１０によってユーザに提供される機能は、情報の提供及び外部の装置の操作等である。図２及び図３を用いて、端末１０によってユーザに提供される機能の例を説明する。図２（ａ）に示すように、カメラによって撮像されている（即ち、ユーザが見ている（以下同様））人物Ｐにユーザが手Ｈをかざすと当該人物Ｐの情報Ｉ（例えば、名前、勤務先、最後に出会った日）をディスプレイに表示する。図２（ｂ）に示すように、カメラによって撮像されている飲食店（例えば、レストラン、喫茶店）にユーザが手Ｈをかざすと当該飲食店Ｒの情報Ｉ（例えば、評価を示す情報）をディスプレイに表示する。図２（ｃ）に示すように、カメラによって撮像されている文字列Ｔにユーザが手Ｈをかざすと当該文字列Ｔの翻訳結果を示す情報Ｉをディスプレイに表示する。図２（ｄ）に示すように、カメラによって撮像されている駅Ｓにユーザが手Ｈをかざすと当該駅Ｓに係る時刻表の情報Ｉをディスプレイに表示する。

図３（ａ）に示すように、カメラによって撮像されている商品Ｇにユーザが手Ｈをかざすと当該商品Ｇの値段の情報Ｉ（例えば、小売店毎の値段を比較した情報）をディスプレイに表示する。図３（ｂ）に示すように、カメラによって撮像されている食べ物Ｆにユーザが手Ｈをかざすと当該食べ物Ｆの情報Ｉ（例えば、栄養成分を示す情報）をディスプレイに表示する。図３（ｃ）に示すように、カメラによって撮像されている家電Ｅにユーザが手Ｈをかざすと当該家電Ｅを操作するためのリモコンの情報Ｉをディスプレイに表示する。

引き続いて、本実施形態に係る端末１０の機能を説明する。図１に示すように端末１０は、撮像部１１と、表示部１２と、画像取得部１３と、指定物体特定部１４と、オブジェクト識別部１５と、機能制御部１６とを備えて構成される。また、端末１０は、上述したユーザの手Ｈがかざされたオブジェクトに応じた機能を実行するための機能部（図示せず）を有している。

撮像部１１は、撮像によって画像を取得する機能部である。撮像部１１は、端末１０が備える上述したカメラによって実現される。カメラとしては、従来のスマートグラスに備えられるものを用いることができる。また、赤外線によって撮像を行うカメラを用いてもよい。撮像部１１は、常時、撮像を行って撮像によって得られた画像を画像取得部１３に出力する。

表示部１２は、表示を行う機能部である。表示部１２は、端末１０が備える上述したディスプレイによって実現される。表示部１２による表示は、上述したようにユーザに提供される端末１０の機能としても行われる。

画像取得部１３は、画像を取得する機能部である。画像取得部１３は、撮像部１１から画像を入力して取得する。画像取得部１３は、時系列の複数の画像を取得する。画像取得部１３は、入力した画像を指定物体特定部１４及びオブジェクト識別部１５に入力する。

指定物体特定部１４は、画像取得部１３によって取得された画像に写った、位置を指定するための指定物体の画像上の位置を特定する機能部である。指定物体特定部１４は、指定物体の画像上の位置として、ユーザの手の画像上の位置を特定してもよい。指定物体特定部１４は、指定物体の形状を認識してもよい。

指定物体特定部１４は、画像取得部１３から画像を入力する。指定物体特定部１４は、入力した画像からユーザの手を認識する。ユーザの手の認識は、従来の方法によって行われる。例えば、ユーザの手の特徴を示す情報を予め記憶しておき、当該情報を用いてユーザの手を認識する。指定物体特定部１４は、認識したユーザの手の特定の位置、例えば、中指の先端の位置を指定物体の画像上の位置として特定する。指定物体特定部１４は、例えば、ユーザの手の画像上の位置を画像における座標として特定する。指定物体特定部１４は、特定した位置を示す情報、例えば、画像における座標を示す情報をオブジェクト識別部１５に出力する。

指定物体特定部１４は、ユーザの手の形状も認識することとしてもよい。例えば、図２及び図３に示すように指を伸ばした状態の手の形状と、図４に示すように指を握った状態の手の形状とを区別して認識することとしてもよい。形状の認識も従来の方法によって行えばよい。なお、認識対象となる手の形状は、予め設定されて端末１０に記憶されている。形状を認識する場合、指定物体特定部１４は、認識した形状を示す情報を機能制御部１６に出力する。

なお、位置を指定するための指定物体は、予め設定されて端末１０に記憶されている。当該指定物体は、必ずしもユーザの手である必要はなく、画像上の位置を指定するのに適したものであればよい。

オブジェクト識別部１５は、画像取得部１３によって取得された画像において、指定物体特定部１４によって特定された位置に応じた位置に写ったオブジェクトの種別を識別する機能部である。オブジェクト識別部１５は、画像取得部１３によって時系列の画像が取得される場合には、当該時系列の画像に写ったオブジェクトを識別する。

オブジェクト識別部１５は、画像取得部１３から画像を入力する。オブジェクト識別部１５は、指定物体特定部１４から、当該画像から特定されたユーザの手の画像上の位置を示す情報を入力する。オブジェクト識別部１５は、当該画像において、ユーザの手の位置に応じた位置に写ったオブジェクトを識別（認識）する。例えば、オブジェクト識別部１５は、ユーザの手の位置の周囲のユーザの手以外の部分に写ったオブジェクトを識別する。即ち、オブジェクト識別部１５は、画像においてユーザの手が重畳しているオブジェクトを識別する。オブジェクトの識別は、従来の方法によって行われる。例えば、識別対象のオブジェクトの特徴を示す情報を予め記憶しておき、当該情報を用いてオブジェクトを識別する。識別対象のオブジェクトは、図２及び図３に示すように、人物、飲食店等の店舗の外観、予め設定された言語の文字列、駅、商品、食べ物、家電及び花等である。

オブジェクト識別部１５は、識別対象のオブジェクトが具体的にどのようなオブジェクトであるかも識別（認識）する。例えば、識別されるオブジェクトが人物である場合には、その人物が誰かまで識別する。あるいは、識別されるオブジェクトが店舗である場合には、その店舗が何という店の店舗かまで識別する。但し、識別されるオブジェクトの種別によっては、個々のオブジェクトがどのようなものかを識別する必要はなく、オブジェクトの種別のみを識別してもよい。このようにオブジェクト識別部１５は、画像に写ったオブジェクトの種別を識別する。オブジェクト識別部１５は、識別したオブジェクトに係る情報を機能制御部１６に出力する。

機能制御部１６は、オブジェクト識別部１５によって識別されたオブジェクトの種別に応じた機能を実行するように制御する機能部である。例えば、機能制御部１６は、オブジェクトの種別に応じた機能の一つとして、オブジェクトに係る情報を出力する機能を実行するように制御する。あるいは、機能制御部１６は、オブジェクトの種別に応じた機能の一つとして、オブジェクトが文字列である場合に当該文字列を翻訳する機能を実行するように制御する。あるいは、機能制御部１６は、オブジェクトの種別に応じた機能の一つとして、オブジェクトを操作するための表示を行う機能を実行するように制御する。具体的には、機能制御部１６は、以下のように制御を行う。

機能制御部１６は、予めオブジェクト識別部１５によって識別されたオブジェクトの種別毎に実行する機能を記憶している。即ち、機能制御部１６は、オブジェクトの種別に応じた複数の異なる機能を記憶している。例えば、図２（ａ）に示すように人物Ｐのオブジェクトの種別に対しては、人物Ｐの情報を表示するとの機能を対応付けて記憶している。あるいは、図２（ｃ）に示すように予め設定された言語の文字列Ｔのオブジェクトの種別に対しては、文字列Ｔを予め設定した別の言語に翻訳して表示するとの機能を対応付けて記憶している。あるいは、図３（ｃ）に示すように家電Ｅのオブジェクトの種別に対しては、当該家電Ｅを操作するための表示を行うとの機能を対応付けて記憶している。当該表示を用いた家電Ｅの操作は、例えば、上述したオブジェクトの指定と同様に行われればよい。上記のように機能制御部１６は、オブジェクトに応じたＵＩ（ユーザインタフェース）を表示することとしてもよい。それぞれの機能を実行するための機能部は、予め端末１０に備えられている。

機能制御部１６は、オブジェクト識別部１５から識別したオブジェクトに係る情報を入力する。機能制御部１６は、オブジェクト識別部１５から入力した情報によって示されるオブジェクトの種別に対応付けて記憶した機能を実行するものと判断する。機能制御部１６は、上記の機能部に対して、判断した機能を実行するように指示する。機能の実行にオブジェクト自体の情報が必要である場合には、機能制御部１６は、オブジェクト識別部１５から入力した情報によって特定されるオブジェクト（例えば、どの人物か、どの店舗かの情報）を機能部に通知し、当該オブジェクトに応じて機能が実行されるようにする。

指示を受けた機能部は当該機能を実行する。当該機能の実行によって図２及び図３に示すような表示部１２による表示等が行われる。また、表示部１２よる表示の際に指定物体特定部１４によって特定されたユーザの手の画像上の位置が用いられてもよい。例えば、図２及び図３に示すようにユーザの手の位置の近くに吹き出し状の表示を行ってもよい。なお、オブジェクトの種別に応じた機能としては、必ずしも表示部１２への表示を行うものである必要はない。例えば、情報の表示ではなく音声出力を行ってもよい。

また、機能制御部１６は、指定物体特定部１４によって識別されたユーザの手の形状にも応じた機能を実行するように制御してもよい。この場合、機能制御部１６は、指定物体特定部１４から認識された手の形状を示す情報を入力する。機能制御部１６は、オブジェクトの種別及び手の形状毎に実行する機能を記憶している。例えば、図２（ｂ）に示すように店舗とのオブジェクトの種別及び指を伸ばした状態の手の形状に対しては、店舗の評価を示す情報を表示するとの機能を対応付けて記憶している。また、図４に示すように店舗とのオブジェクトの種別及び指を握った状態の手の形状に対しては、店舗のクーポンの情報を表示するとの機能を対応付けて記憶している。機能制御部１６は、オブジェクト識別部１５から入力した情報によって示されるオブジェクトの種別及び指定物体特定部１４から入力された情報によって示される手の形状の組み合わせに対応付けて記憶した機能を実行するものと判断する。

オブジェクト識別部１５は、指定物体特定部１４からの情報の入力の有無にかかわらず、画像取得部１３から入力される画像毎にオブジェクトの識別を行うこととしてもよい。指定物体特定部１４からの情報の入力があった場合には、オブジェクト識別部１５は、ユーザの手の位置に応じた位置以外の任意の位置に写ったオブジェクトを識別してもよい。指定物体特定部１４からの情報の入力がなかった場合、即ち、指定物体特定部１４によって画像からユーザの手が認識されなかった場合には、オブジェクト識別部１５は、画像の任意の箇所に写ったオブジェクトを識別してもよい。オブジェクト識別部１５は、時系列の画像から識別されたオブジェクトに係る情報を機能制御部１６に出力する。

上記のオブジェクト識別部１５による識別に基づき、機能制御部１６は、オブジェクト識別部１５によって識別された時系列のオブジェクトにも応じた機能を実行するように制御してもよい。機能制御部１６は、時系列のオブジェクトの識別結果に応じて実行する機能を記憶している。機能制御部１６は、当該記憶した情報に基づいて実行する機能を決定する。例えば、図５に示すようにオブジェクトとして冷蔵庫Ｒが識別された後予め設定された期間内に、ユーザの手の位置に応じた位置のオブジェクトとして食材（例えば、野菜）Ｃが識別された場合には、当該食材Ｃに対応付けられたレシピの情報Ｉを表示させる。なお、冷蔵庫Ｒが識別される画像からは、ユーザの手Ｈが識別される必要はない。これによって、図３（ａ）に示すようにスーパーマーケット等の店舗において商品としての食材が識別された場合と異なる、場面にあった機能を提供することができる。また、スーパーマーケット等の店舗が識別された後予め設定された期間内に、ユーザの手の位置に応じた位置のオブジェクトとして食材（例えば、野菜）が識別された場合には、（上記のようにレシピではなく）当該店舗における特売に係る情報を表示させることとしてもよい。

また、この場合にも、機能制御部１６は、ユーザの手の形状にも応じた機能を実行するように制御してもよい。例えば、図５に示すように指を伸ばした状態の手の形状である場合にレシピを表示させることとしてもよい。更に機能制御部１６は、時系列の手の形状から手のジェスチャーを認識して、ジェスチャーに応じた機能を実行するように制御してもよい。

オブジェクト識別部１５は、指定物体特定部１４からの情報の入力の有無にかかわらず、画像取得部１３から入力される画像からオブジェクトの識別を行う場合、画像に写ったオブジェクトの画像上の位置（領域）を特定し、画像が撮像される装置、即ち端末１０において、当該位置を示す情報が表示部１２によって出力されるよう制御してもよい。例えば、図５においてオブジェクトとして様々な食材が識別された場合に、当該食材の位置を示す情報として当該識別された位置（領域）を示すアウトライン（枠）Ｏの表示を行う。例えば、ディスプレイによる表示がユーザによる視線による視界に重なるようにし、現実の食材の部分にアウトラインＯが表示されるようにする。あるいは、オブジェクトにアウトラインＯを重ねた画像自体をディスプレイに表示することとしてもよい。アウトラインＯを表示するオブジェクトは、機能（例えば、表示される情報）が対応付けられたものとする。このようにアウトラインＯを表示することで、ユーザがどの位置に手をかざせば機能が実行されるか把握することができる。なお、食材の位置を示す情報の表示は、上記のアウトラインＯの表示に限られず任意のものであってもよい。

また、機能の制御は、画像が撮像された地理的な位置にも基づいて行われてもよい。そのために端末１０は、画像取得部１３によって取得される画像が撮像された地理的な位置を示す位置情報を取得する位置情報取得部を更に備えていてもよい。位置情報は、例えば、当該位置の緯度及び経度を示す情報である。位置情報取得部は、例えば、端末１０が備えるＧＰＳ（グローバルポジショニングシステム）測位機能によって実現される。また、ＧＰＳ測位機能以外の測位機能によっても実現されてもよい。位置情報取得部は、撮像部１１によって画像が撮像される際に測位を行って、自端末１０の地理的な位置を示す位置情報を取得する。位置情報取得部は、取得した位置情報を画像に対応付けて機能制御部１６に出力する。

機能制御部１６は、位置情報取得部によって取得された位置情報にも応じた機能を実行するように制御する。例えば、オブジェクト識別部１５が、オブジェクトの識別によって図４に示すような飲食店のチェーン（チェーン店のグループ）を特定する。チェーンの特定は、例えば、当該チェーンにおいて共通して用いられている店舗の看板を識別することで特定することができる。機能制御部１６は、チェーンにおける店舗毎の位置情報を予め記憶しておく。機能制御部１６は、オブジェクト識別部１５によって特定されたチェーンの店舗の位置と、位置情報取得部によって取得された位置情報によって示される位置とを照合して、機能制御部１６は、画像に係るチェーンの店舗を特定する。例えば、チェーンの複数の店舗のうち、それらの位置の差が予め設定した閾値以下の店舗を、画像に係るチェーンの店舗として特定する。

機能制御部１６は、予めチェーンの店舗毎に実行する機能を記憶している。例えば、機能制御部１６は、店舗毎のクーポンの情報を表示するとの機能を記憶している。機能制御部１６は、特定した店舗の機能を実行するように制御する。これによって、例えば上述したように店舗毎のクーポン等の店舗毎の表示を行うことができる。

また、この場合にも、機能制御部１６は、ユーザの手の形状にも応じた機能を実行するように制御してもよい。例えば、図４に示すように指を握った状態の手の形状である場合にクーポンを表示させることとしてもよい。更に機能制御部１６は、時系列の手の形状から手のジェスチャーを認識して、ジェスチャーに応じた機能を実行するように制御してもよい。以上が、本実施形態に係る端末１０の機能である。

引き続いて、図６のフローチャートを用いて、本実施形態に係る端末１０で実行される処理（端末１０が行う動作方法）を説明する。本処理では、撮像部１１によって撮像が行われ、撮像によって得られた画像が画像取得部１３によって取得される（Ｓ０１）。続いて、指定物体特定部１４によって、当該画像に写ったユーザの手の画像上の位置が特定される（Ｓ０２）。続いて、オブジェクト識別部１５によって、当該画像において、指定物体特定部１４によって特定された位置に応じた位置に写ったオブジェクトの種別が識別される（Ｓ０３）。続いて、機能制御部１６によって、オブジェクト識別部１５によって識別されたオブジェクトの種別に応じた機能が実行されるように制御される（Ｓ０４）。当該制御によって図２及び図３に示すような表示部１２による表示等が行われる。以上が、本実施形態に係る端末１０で実行される処理である。

本実施形態では、画像に写ったユーザの手等の指定物体の位置が特定されて、当該位置に応じた位置に写ったオブジェクトの種別に応じた機能が実行されるように制御される。従って、本実施形態によれば、視線の検出等による画像に対する位置の指定を行うことなく機能を実行させることができる。即ち、端末１０が、画像を得るためのカメラ（例えば、ＲＧＢカメラ）を有していれば、本実施形態を実施することができる。従って、本実施形態によれば、視線の検出等の画像に対する位置の指定を行うためのハードウェアを必要とせずに指定したオブジェクトに応じた機能を実行させることができる。また、オブジェクトの種別に応じた機能を実行させることができる。例えば、上述したようにオブジェクトが人物であれば人物の情報を提供し、オブジェクトが飲食店であれば評価を示す情報を提供することができる。あるいは、文字列の翻訳、家電の操作等の機能を提供することができる。このように本実施形態によれば容易に利便性の高い機能をユーザに提供することができる。

また、上述したように指定物体をユーザの手としてもよい。この構成によれば、適切かつ確実に本発明の実施形態を実施することができる。また、ユーザが、容易に本発明の実施形態に係る機能を利用することができる。但し、上述したように指定物体としては、ユーザの手以外の予め設定された任意のものが用いられてもよい。

また、上述したように地理的な位置を示す位置情報に応じた機能が実行されるように制御されてもよい。この構成によれば、店舗の地理的な位置等を考慮した機能の提供が可能となる。但し、位置情報が用いられなくてもよい。

また、上述したように指定物体の形状、例えば、ユーザの手の形状に応じた機能が実行されるように制御されてもよい。この構成によれば、指定物体の形状に応じた機能の提供が可能となり、ユーザの利便性及び操作性を向上させることができる。但し、指定物体の形状が用いられなくてもよい。

また、上述したように時系列のオブジェクトに応じた機能が実行されるように制御されてもよい。この構成によれば、場面に応じた機能の提供が可能となり、ユーザの利便性を向上させることができる。但し、時系列のオブジェクトが用いられなくてもよい。

また、上述したようにオブジェクトのアウトラインＯが表示されるようにされてもよい。この構成によれば、ユーザがオブジェクトを指定しやすくすることができ、ユーザの利便性を向上させることができる。但し、オブジェクトのアウトラインＯの表示が行われなくてもよい。

また、上述したように実行される機能としては、オブジェクトに係る情報の出力、文字列の翻訳及びオブジェクトを操作するための表示（例えば、リモコンの表示）の何れかを含んでいてもよい。この構成によれば、ユーザにとって有益な機能を提供することができる。但し、実行される機能としては、上記のものに限られず、オブジェクトの種別に応じたものであればどのような機能であってもよい。

なお、上述した実施形態では、端末１０は、スマートグラスといった眼鏡型の装置であることとしたが、必ずしもこのような形態の装置に限られない。端末１０は、撮像を行うことができ、撮像によって得られた画像に基づいて上述した機能の制御を行うものであればよい。例えば、端末１０は、スマートフォンのような装置であってもよい。

また、上述した実施形態では、実施形態に係る機能制御装置は、端末１０であり、端末１０自身の機能を制御するものであることとしたが、自身以外の機能を制御するものであってもよい。例えば、機能制御装置は、端末と通信可能なサーバであり、端末の機能を制御するものであってもよい。例えば、当該サーバは、端末によって撮像された画像を端末から受信して、上述したように当該画像に基づいて端末の機能を制御する、例えば、端末に対して実行する機能を示す情報を送信することとしてもよい。また、上述した端末１０の一部の機能が、端末以外の装置、例えば、端末１０と通信可能なサーバで実行されてもよい。

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

例えば、本開示の一実施の形態における端末１０は、本開示の情報処理を行うコンピュータとして機能してもよい。図７は、本開示の一実施の形態に係る端末１０のハードウェア構成の一例を示す図である。上述の端末１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。また、端末１０は、上記以外にも、上述したカメラ等の本実施形態の機能を実現するハードウェアを備える。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。端末１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

端末１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述の端末１０における各機能は、プロセッサ１００１によって実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、端末１０における各機能は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。端末１０が備える上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、端末１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１０…端末、１１…撮像部、１２…表示部、１３…画像取得部、１４…指定物体特定部、１５…オブジェクト識別部、１６…機能制御部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。

Claims (9)

1. 画像を取得する画像取得部と、
   前記画像取得部によって取得された画像に写った、位置を指定するための指定物体の画像上の位置を特定する指定物体特定部と、
   前記画像取得部によって取得された画像において、前記指定物体特定部によって特定された位置に応じた位置に写ったオブジェクトの種別を識別するオブジェクト識別部と、
   前記オブジェクト識別部によって識別されたオブジェクトの種別に応じた機能を実行するように制御する機能制御部と、
   を備える機能制御装置。
2. 前記指定物体特定部は、前記指定物体の画像上の位置として、ユーザの手の画像上の位置を特定する請求項１に記載の機能制御装置。
3. 前記画像が撮像された地理的な位置を示す位置情報を取得する位置情報取得部を更に備え、
   前記機能制御部は、前記位置情報取得部によって取得された位置情報にも応じた機能を実行するように制御する、請求項１又は２に記載の機能制御装置。
4. 前記指定物体特定部は、前記指定物体の形状を認識し、
   前記機能制御部は、前記指定物体特定部によって識別された前記指定物体の形状にも応じた機能を実行するように制御する、請求項１〜３の何れか一項に記載の機能制御装置。
5. 前記画像取得部は、時系列の複数の画像を取得し、
   前記オブジェクト識別部は、前記画像取得部によって取得された時系列の画像に写ったオブジェクトを識別し、
   前記機能制御部は、前記オブジェクト識別部によって識別された時系列のオブジェクトにも応じた機能を実行するように制御する、請求項１〜４の何れか一項に記載の機能制御装置。
6. 前記オブジェクト識別部は、前記画像取得部によって取得された画像に写ったオブジェクトの画像上の位置を特定し、画像が撮像される装置において、当該位置を示す情報が出力されるよう制御する請求項１〜５の何れか一項に記載の機能制御装置。
7. 前記機能制御部は、オブジェクトの種別に応じた機能の一つとして、オブジェクトに係る情報を出力する機能を実行するように制御する請求項１〜６の何れか一項に記載の機能制御装置。
8. 前記機能制御部は、オブジェクトの種別に応じた機能の一つとして、オブジェクトが文字列である場合に当該文字列を翻訳する機能を実行するように制御する請求項１〜７の何れか一項に記載の機能制御装置。
9. 前記機能制御部は、オブジェクトの種別に応じた機能の一つとして、オブジェクトを操作するための表示を行う機能を実行するように制御する請求項１〜８の何れか一項に記載の機能制御装置。

Images