JP6143975B1 - 画像の取り込みを支援するためにハプティックフィードバックを提供するためのシステムおよび方法 - Google Patents

Abstract

画像の取り込みを支援するためにハプティックフィードバックを提供するための方法、システム、コンピュータ可読媒体、および装置が提示される。いくつかの実施形態では、画像の取り込みを支援するためにハプティックフィードバックを提供するための方法は、画像取り込みデバイスが存在する環境の周辺光測定値を、画像取り込みデバイスを介して取得するステップを含む。方法は、画像取り込みデバイスによって取り込まれた1つまたは複数の画像フレーム内の1つまたは複数の対象物を、画像取り込みデバイスを介して検出するステップをさらに含む。方法はまた、取得された周辺光測定値および検出された1つまたは複数の対象物に少なくとも部分的に基づいて、ハプティックフィードバックが画像取り込みデバイスのユーザに提供される様式を、画像取り込みデバイスを介して変更するステップを含む。

Description

本開示の態様は、画像を取り込むことに関する。より詳細には、本開示の態様は、画像の取り込みを支援するためにハプティックフィードバックを提供するためのシステムおよび方法に関する。

通信デバイス、たとえばスマートフォンは、今日のユーザにとって不可欠なツールとなっている。ユーザは、彼らの通信デバイスを、彼らの日々の生活に必要な他の用品、たとえば財布、キーなどと同じほど重要であるものと見なしている。その結果、通信デバイスは、様々な環境を通してユーザとともに搬送される。多くの通信デバイスは、画像を取り込むためのカメラ機能を含む。ユーザは、通常、ほとんど常に彼らの通信デバイスを所持しているので、画像を取り込むために通信デバイスを使用する容易さは、すぐに分かるものである。しかしながら、通信デバイス上のディスプレイは、明るい光など、付加的感覚入力が存在する環境において使用するのは困難になることがある。これらの環境、たとえば屋外における明るい光は、ディスプレイ上に提示されているコンテンツが非常に見えにくくなる程度まで、通信デバイスのディスプレイを「不鮮明にする(wash out)」ことがある。この一例は、ユーザが、通信デバイスの前向きカメラを使用して、ユーザ自身の「自撮り」写真、または友人とともにいるユーザ自身の写真を撮りたいと思うときである。その結果、多くのユーザは、カメラをユーザ自身に向けて、十分な品質の画像が取り込まれるまで取り込みボタンを押すことを繰り返し試みることを余儀なくさせられる。

現在の解決策には、画像を取り込む前に、トリガとして画像フレーム内で凝視または微笑みを自動的に検出する通信デバイスが含まれる。しかしながら、これらの解決策は、取り込まれる画像の要求時(たとえば、通信デバイス上のボタンが押されるとき)に、カメラが正確にユーザの顔に向けられているときにだけ、十分に機能する。通信デバイス内に画像を取り込みながら明るい環境を補償するために、通信デバイスのディスプレイの明るさを増加させることに勝る他の方法がない。いくつかの他の解決策には、顔が検出されると、「自撮り」画像のためにユーザを可聴的に誘導して彼/彼女の顔を中心に置かせることができるアプリケーションが含まれる。しかしながら、この解決方法は、可聴キューが最適でない環境(たとえば、ゴルフトーナメントまたは結婚式)、または可聴キューが聞き取りにくい環境(たとえば、音楽コンサート)を考慮していない。したがって、通信デバイスのディスプレイが見えにくい明るい環境において、ユーザが画像をより容易に取り込むことを可能にする必要性が存在する。

いくつかの実施形態は、画像の取り込みを支援するためにハプティックフィードバックを提供するためのシステムおよび方法に関して説明される。

本発明の実施形態は、ある環境における周辺の光のレベルを決定することと、取り込まれた画像フレーム内の1つまたは複数の対象物を検出することと、決定された周辺光レベルおよび検出された対象物に基づいてデバイス上のハプティックフィードバックを動的に調整することとを行うように構成される。周辺光は次第により明るくなるので、デバイスは、ディスプレイの可視性の喪失を補償するために、ハプティックフィードバックを有効にしてよく、または増加させてもよい。たとえば、顔が画像フレーム内で検出されたときに、デバイスが振動してもよい。ユーザの顔が画像フレームに対して最適の位置にあるように、ユーザがデバイスを位置決めしようとしているとき、ユーザの顔が画像フレームの中心に近づくにつれて、デバイスは、ハプティックフィードバックが提供される様式を変更してよい(たとえば、デバイスは、ユーザの顔が中心に近づくにつれてより速く振動してもよい)。

ハプティックフィードバック機能は、通信デバイス中に組み込まれてよい。通信デバイスはまた、タッチスクリーンディスプレイを含んでもよい。ハプティックフィードバック機能は、体性感覚系の皮膚感覚チャネルを刺激する電気的または機械的信号を生成することができる。ハプティックフィードバックは、内密の、視覚または聴覚が信頼できないかまたは実用的でないときに役に立つ、ユーザにとって有用な感覚媒体を提供する。ハプティックフィードバックは、さらに、没入型ユーザエクスペリエンスと、いくつかのタスクに対するデバイスの有用性とを増加させることができる。「通信デバイス」という用語は大まかに使用され、その用語は、デジタルカメラ、カムコーダなどのデバイスを含んでもよいことは理解されよう。

いくつかの実施形態では、画像の取り込みを支援するためにハプティックフィードバックを提供するための方法は、画像取り込みデバイスが存在する環境の周辺光測定値を、画像取り込みデバイスを介して取得するステップを含む。方法は、画像取り込みデバイスによって取り込まれた1つまたは複数の画像フレーム内の1つまたは複数の対象物を、画像取り込みデバイスを介して検出するステップをさらに含む。方法はまた、取得された周辺光測定値および検出された1つまたは複数の対象物に少なくとも部分的に基づいて、ハプティックフィードバックが画像取り込みデバイスのユーザに提供される様式を、画像取り込みデバイスを介して変更するステップを含む。

いくつかの実施形態では、1つまたは複数の対象物を検出するステップは、画像取り込みデバイスによって取り込まれた1つまたは複数の画像フレーム内の顔を検出するステップを含む。

いくつかの実施形態では、ハプティックフィードバックが提供される様式を変更するステップは、ハプティックフィードバックを有効にするステップを含む。

いくつかの実施形態では、ハプティックフィードバックが提供される様式を変更するステップは、提供されるハプティックフィードバックの強度を増加させるステップを含む。

いくつかの実施形態では、ハプティックフィードバックが提供される様式を変更するステップは、提供されるハプティックフィードバックのタイプを変更するステップを含む。

いくつかの実施形態では、ハプティックフィードバックが提供される様式を変更するステップは、ハプティックフィードバックが提供される頻度を変更するステップかまたはハプティックフィードバックが提供される持続時間を変更するステップのうちの少なくとも1つを含む。

いくつかの実施形態では、ハプティックフィードバックが提供される様式は、1つまたは複数の画像フレーム内の最適位置に対する、検出された対象物の1つまたは複数の画像フレーム内での位置に少なくとも部分的に基づいて変更される。

いくつかの実施形態では、ハプティックフィードバックが提供される様式は、1つまたは複数の画像フレームのサイズに対する、検出された対象物の1つまたは複数の画像フレーム内でのサイズに少なくとも部分的に基づいて変更される。

いくつかの実施形態では、ハプティックフィードバックは、触覚フィードバック、振動フィードバック、静電フィードバック、または熱フィードバックのうちの少なくとも1つを含む。

いくつかの実施形態では、ハプティックフィードバックのタイプは、1つまたは複数の検出された対象物の量に少なくとも部分的に基づく。

いくつかの実施形態では、取得するステップは、画像取り込みデバイス内の1つまたは複数の周辺光センサを使用して実施される。

いくつかの実施形態では、画像の取り込みを支援するためにハプティックフィードバックを提供するための装置は、1つまたは複数の画像フレームを取り込むように構成された画像取り込みデバイスと、装置が存在する環境の周辺光測定値を取得するように構成された周辺光センサと、周辺光センサおよび画像取り込みデバイスに結合されたプロセッサとを含む。プロセッサは、1つまたは複数の画像フレーム内の1つまたは複数の対象物を検出するように構成される。プロセッサはまた、取得された周辺光測定値および検出された1つまたは複数の対象物に少なくとも部分的に基づいて、ハプティックフィードバックが装置のユーザに提供される様式を変更するように構成される。

いくつかの実施形態では、画像の取り込みを支援するためにハプティックフィードバックを提供するための装置は、画像取り込みデバイスが存在する環境の周辺光測定値を、画像取り込みデバイスを介して取得するための手段を含む。装置はまた、画像取り込みデバイスによって取り込まれた1つまたは複数の画像フレーム内の1つまたは複数の対象物を、画像取り込みデバイスを介して検出するための手段をさらに含む。装置は、取得された周辺光測定値および検出された1つまたは複数の対象物に少なくとも部分的に基づいて、ハプティックフィードバックが画像取り込みデバイスのユーザに提供される様式を、画像取り込みデバイスを介して変更するための手段をさらに含む。

いくつかの実施形態では、プロセッサ可読非一時的媒体は、画像取り込みデバイスが存在する環境の周辺光測定値を、画像取り込みデバイスを介してプロセッサに取得させるように構成されたプロセッサ可読命令を含む。命令は、画像取り込みデバイスによって取り込まれた1つまたは複数の画像フレーム内の1つまたは複数の対象物を、画像取り込みデバイスを介してプロセッサに検出させるようにさらに構成される。命令は、取得された周辺光測定値および検出された1つまたは複数の対象物に少なくとも部分的に基づいて、ハプティックフィードバックが画像取り込みデバイスのユーザに提供される様式を、画像取り込みデバイスを介してプロセッサに変更させるようにさらに構成される。

本開示の態様が例として示される。添付の図面において、同様の参照番号は類似の要素を示す。

1つまたは複数の実施形態を組み込むことができる通信デバイスの概略ブロック図である。 明るい環境の中で画像を取り込むために通信デバイスを動作させているユーザを示す図である。 いくつかの実施形態による、取得された周辺光測定値の結果として通信デバイス上のハプティックフィードバックを有効にすることを示す図である。 いくつかの実施形態による、1つの顔410を検出したことに応答して通信デバイス100上で振動ベースハプティックフィードバック430を提供することを示す図である。 いくつかの実施形態による、複数の顔410を検出したことに応答して通信デバイス100上で振動ベースハプティックフィードバック430を提供することを示す図である。 いくつかの実施形態による、通信デバイス100の主要なユーザを検出したことに応答して通信デバイス100上で振動ベースハプティックフィードバック430を提供することを示す図である。 いくつかの実施形態による、通信デバイスを用いて画像を取り込むための最適な位置について、振動ベースハプティックフィードバックを使用してユーザに教示することを示す図である。 いくつかの実施形態による、画像を取り込むために、通信デバイス100をユーザからさらに遠ざけるように、振動ベースハプティックフィードバック430を使用してユーザに教示することを示す図である。 いくつかの実施形態による、画像を取り込むために、通信デバイス100をユーザにより近づけるように、振動ベースハプティックフィードバック430を使用してユーザに教示することを示す図である。 通信デバイスを用いて画像を取り込むことを支援するためにハプティックフィードバックを提供するための例示的な動作を示すフロー図である。 1つまたは複数の実施形態を実施することができるコンピューティングシステムの一例を示す図である。

ここで、本明細書の一部を形成する添付の図面に関連して、いくつかの例示的な実施形態を説明する。本開示の1つまたは複数の態様が実装され得る特定の実施形態を以下で説明するが、本開示の範囲または添付の特許請求の範囲の趣旨から逸脱することなく、他の実施形態が使用されることがあり、種々の修正が行われることがある。

図1は、1つまたは複数の実施形態を組み込むことができる通信デバイス100の概略ブロック図を示す。通信デバイス100は、プロセッサ110、ディスプレイ130、入力デバイス140、スピーカ150、メモリ160、周辺光センサ170、振動モータ180、静電ユニット182、熱発生器184、およびコンピュータ可読媒体190を含む。

プロセッサ110は、通信デバイス100上で命令を実行するように動作可能な任意の汎用プロセッサとすることもできる。プロセッサ110は、ディスプレイ130、入力デバイス140、スピーカ150、メモリ160、周辺光センサ170、振動モータ180、静電ユニット182、熱発生器184、およびコンピュータ可読媒体190を含む、通信デバイス100の他のユニットに結合される。

マイクロフォン120は、音の入力を電気信号に変換する任意のデバイスであってよい。マイクロフォン120は、通信デバイス100の近傍にあるユーザの音声または任意の他の音を取り込んでよい。

ディスプレイ130は、ユーザに対して情報を表示する任意のデバイスとすることができる。複数の例は、LCD画面、CRTモニタ、または7セグメントディスプレイを含むことができる。いくつかの実施形態では、ディスプレイ130は、ハプティックフィードバックを提供することができるタッチスクリーンディスプレイであってよい。

入力デバイス140は、ユーザからの入力を受け取る任意のデバイスとすることができる。例としては、キーボード、キーパッド、マウス、またはタッチ入力部を含んでもよい。

スピーカ150はユーザに音を出力する任意のデバイスとすることができる。例としては、内蔵スピーカ、または電気音響信号に応答して音声を発生させる任意の他のデバイスを含んでもよい。

メモリ160は任意の磁気、電子または光学メモリとすることができる。メモリ160は、2つのメモリモジュール、第1のモジュール162および第2のモジュール164を含む。メモリ160は、任意の数のメモリモジュールを含む場合があることは理解されよう。メモリ160の一例は、ダイナミックランダムアクセスメモリ(DRAM)とすることができる。

コンピュータ可読媒体190は、任意の磁気、電子、光学または他のコンピュータ可読記憶媒体とすることができる。コンピュータ可読記憶媒体190は、光測定値モジュール192、画像取り込みモジュール194、およびハプティックフィードバックモジュール196を含むコードモジュールを備えるコンピュータ可読コードを記憶する。

周辺光センサ170は、人間の眼と同様の方法で光または明るさを検出するように構成される。周辺光センサ170は、光を電圧または電流に変換することができる、特定のバージョンのフォトダイオードである。周辺光センサ170は、350nm〜1100nmに及ぶ典型的なスペクトル応答を有し得る。したがって、周辺光センサ170は、通信デバイス100が存在する環境の周辺光の量を検出し得る。

振動モータ180は、偏心錘に結合された小さい電気モータである。振動モータ180は、通信デバイス100に関連するイベントに際して振動するように構成される。振動モータ180によって生成される振動は、ユーザが振動を感じる、感知する、またはさもなければ気づくことができるように、通信デバイス100を振動させることができる。振動モータ180が、スピーカ150によって生成される音響警報と同時に振動を発生させ得ることは理解されよう。

静電ユニット182は、ディスプレイ130を介して電荷を生成するように構成される。より具体的には、静電ユニット182は、ディスプレイ130の表面を通して押され、通信デバイス100のユーザに、ディスプレイ130と対話する(たとえば、触る)ときに様々なレベルの摩擦の感覚を与えることができる、変化する静電界を生成し得る。

熱発生器184は、通信デバイス100を介して熱を発生するように構成される。より具体的には、熱発生器184は、ディスプレイ130または本体の任意の他の部分を含む、通信デバイス100の様々な表面を通して熱を発生することができる。通信デバイス100のユーザは、熱発生器184によって発生される熱を感じるかまたはさもなければ気づくことができる。

カメラ186は、通信デバイス100の本体上に位置するレンズを介して1つまたは複数の画像を取り込むように構成される。取り込まれる画像は、静止画像またはビデオ画像とすることができる。カメラ186は、画像を取り込むCMOSイメージセンサを含むことができる。プロセッサ110上で実行される種々のアプリケーションが、画像を取り込むためにカメラ186にアクセスすることができる。カメラ186は、画像が通信デバイス100内に実際に記憶されることなく、画像を絶えず取り込むことができることは理解されよう。取り込まれた画像は画像フレームと呼ばれる場合もある。

光測定値モジュール192は、プロセッサ110によって実行されたときに、周辺光センサ170によって取得された周辺光測定値を解析するコードを含む。光測定値モジュール192は、周辺光センサ170を制御するための論理回路を含むことができることは理解されよう。たとえば、周辺光センサ170は、周辺光測定値を取得するように光測定値モジュール192から指示されたときに、周辺光測定値を取得してよい。光測定値モジュール192はさらに、周辺光センサ170から取得された周辺光測定値を解析してもよい。たとえば、光測定値モジュール192は、取得された光測定値をしきいの光量と比較し、比較結果をハプティックフィードバックモジュール196(以下で説明する)に中継してもよい。取得された光測定値がしきいの光量より大きい場合、光測定値モジュール192は、光の量が通信デバイス100のディスプレイ130を見えにくくする可能性があるので、環境条件は画像の取り込みにとって良い結果をもたらさないものと決定することがある。いくつかの実施形態では、光測定値モジュール192は、所定の間隔、たとえば10秒ごとに周辺光測定値を取得するように周辺光センサ170に指示してよい。

画像取り込みモジュール194は、プロセッサ110によって実行されたとき、1つまたは複数の画像を取り込むようにカメラ186に指示するコードを含む。画像取り込みモジュール194はまた、1つまたは複数の取り込まれた画像を記憶するためにメモリ160とインターフェースしてよい。加えて、画像取り込みモジュール194は、カメラ186によって取り込まれた画像の様々な態様を解析し、その解析をハプティックフィードバックモジュール196(以下で説明する)に中継してよい。たとえば、画像取り込みモジュール194は、カメラ186によって取り込まれた画像内の対象物を検出してよい。その対象物は、ユーザの顔であってもよい。ユーザの顔を検出すると、画像取り込みモジュール194は、顔が検出されたという情報をハプティックフィードバックモジュール196に中継してよい。画像取り込みモジュール194はまた、画像内の対象物が画像内の最適な位置にあるかどうか、たとえば、対象物が画像の中心にあるかどうかを決定してよい。さらに、画像取り込みモジュール194はまた、画像フレーム内の対象物が画像内の適切なズームレベルにあるかどうか、たとえば、対象物が最適な画像に対して大きすぎるかまたは小さすぎるかを決定してよい。

ハプティックフィードバックモジュール196は、プロセッサ110によって実行されたとき、通信デバイス100上のハプティックフィードバックを有効または無効にするコードを含む。ハプティックフィードバックモジュール196はまた、通信デバイス100上のハプティックフィードバックのタイプを変更するように構成される。ハプティックフィードバックのタイプを変更するステップはまた、ハプティックフィードバックの強度を変更するステップを含んでもよい。たとえば、取得された周辺光測定値がしきいの光量を超えるものと光測定値モジュール192が決定することに応答して、ハプティックフィードバックモジュール196は、厳しい/明るい照明条件にある間にユーザがカメラ186を介してデバイスを使用して画像を取り込むのを支援するために、通信デバイス100上のハプティックフィードバックを有効にすることがある。別の例では、ハプティックフィードバックモジュール196は、取得された周辺光測定値がしきいの光量より低い環境に通信デバイス100が入ると、ハプティックフィードバックを無効にしてもよい。さらに、ハプティックフィードバックモジュール196は、光測定値モジュール192の解析に基づいて、振動ベースハプティックフィードバック、静電ベースハプティックフィードバック、および/または熱ベースハプティックフィードバック(または任意の他のタイプのハプティックフィードバック)の間で変更することができる。

図2は、明るい環境200の中で画像を取り込むために通信デバイス100を動作させているユーザ220を示す。この例では、ユーザ220は、ユーザ自身の自画像を取り込むために通信デバイス100を使用している。一般に、通信デバイス100は、画像を取り込むための前向きカメラ186を含み、その画像のプレビューは、ユーザ220によってディスプレイ130上で見ることができる。しかしながら、環境200は、たとえば太陽210によって生成される大量の周辺光を含む。そのような場合、通信デバイス100のディスプレイ130は、大量の周辺光の結果として見えにくくなることがあり、ユーザ220がユーザ自身の自画像を取り込むことは困難になる。多くの場合、通信デバイス100のディスプレイ130は「不鮮明」になり、通常ディスプレイ130上に表示されるアイコン、文字およびコンテンツ230(この場合、カメラ画像のプレビュー)は、ユーザ220にとって見えにくくなる。図2に示すように、通信デバイス100のディスプレイ130上に表示されるコンテンツ230は、不鮮明で見えにくい。しかしながら、ユーザ220が、明るい環境200の中で通信デバイス100を用いて画像を取り込みたいと思う場合は多い。たとえば、ユーザ220が、屋外にいる間、屋外のスポーツイベントにおいて、明るく照明された部屋の中などにおいて、彼/彼女の通信デバイス100を用いて画像を取り込みたいと思う場合は多い。

図2は、ユーザ220がユーザ自身の自画像を取り込むことを示しているが、本明細書で説明する概念は、環境200において、他の人々、対象物、景色などの画像を取り込むことにも適用されることは理解されよう。

上記で説明したように、通信デバイス100は、周辺光センサ170を含んでもよい。周辺光センサ170は、環境200の周辺光測定値を取得するために使用され得る。いくつかの実施形態では、光測定値モジュール192(図1)は、所定の間隔、たとえば5秒ごとに環境200の周辺光測定値を取得するように周辺光センサ170に指示してよい。その結果、ユーザ220が、通信デバイス100とともに、低レベルの周辺光を有する環境から高レベルの周辺光を有する環境に移動する場合、光測定値モジュール192(図1)は、ユーザが明るい環境の中に移動するとすぐに、明るい環境200の周辺光測定値を、周辺光センサ170を介して取得することになる。

通信デバイス100は、光測定値モジュール192(図1)によって取得された周辺光測定値に少なくとも部分的に基づいて、ユーザ220に提供されるハプティックフィードバックのタイプを変更してよい。上記で説明したように、光測定値モジュール192(図1)は、周辺光測定値を取得するように周辺光センサ170に指示してよい。光測定値モジュール192(図1)は、ハプティックフィードバックがユーザ220に提供される様式が変更されるべきであるかどうかを決定するために、取得された周辺光測定値を解析してよい。ハプティックフィードバックが通信デバイス100に提供される様式を変更するステップは、通信デバイス100上のハプティックフィードバックを有効/無効にするステップ、通信デバイス100上のハプティックフィードバックのタイプを変更するステップ、通信デバイス100上のハプティックフィードバックの強度を変更するステップ、ハプティックフィードバックの持続時間を変更するステップ、および/または通信デバイス100上のハプティックフィードバックの頻度を変更するステップを含んでよい。ハプティックフィードバックが通信デバイスに提供される様式を変更するステップは、ハプティックフィードバックモジュール196(図1)によって実行されてよい。

上記で説明したように、ハプティックフィードバックモジュール196(図1)は、通信デバイス100上のハプティックフィードバックを有効または無効にするように構成される。ハプティックフィードバックモジュール196(図1)はまた、通信デバイス100上で提供されるハプティックフィードバックのタイプを変更すること、通信デバイス100上のハプティックフィードバックの強度を変更すること、通信デバイス100上のハプティックフィードバックの持続時間を変更すること、および/または通信デバイス100上のハプティックフィードバックの頻度を変更することを行うように構成される。光測定値モジュール192(図1)は、環境200における周辺光についての決定をハプティックフィードバックモジュール196(図1)と通信してよい。たとえば、光測定値モジュール192(図1)は、取得された周辺光測定値が所定のしきいの光量より高いかまたは低いかをハプティックフィードバックモジュール196(図1)に伝達してもよい。それに応答して、ハプティックフィードバックモジュール196(図1)は、ユーザ220に提供される通信デバイス100上のハプティックフィードバックを有効/無効にしてよく、またはハプティックフィードバックのタイプを変更してもよい。通信デバイス100によってユーザ220に提供されてよいハプティックフィードバックのタイプは、限定はしないが、振動ベースハプティックフィードバック、静電ベースハプティックフィードバック、熱ベースハプティックフィードバック、または任意のこれらの組合せを含む。

たとえば、ユーザ220が通信デバイス100を使用して、たとえばリビングルーム内の室内周辺光(ambient room light)の下で画像を取り込むことを開始する場合、リビングルーム内の周辺光が異常に明るくないならば、ユーザ220は、ディスプレイ130を見るための視覚に最も依存してデバイスと対話する。通信デバイス100と対話するステップは、カメラの画像のプレビューを含むディスプレイ130上のコンテンツ230を見るステップ、および/またはボタンを押すステップもしくはディスプレイ130上に表示されるユーザインターフェースと対話して解釈するステップを含んでよい。ユーザインターフェースは、現在のカメラ設定についての文字情報を含んでよく、および/またはカメラ設定を変更するためのボタンを含んでもよい。光測定値モジュール192は、リビングルーム内の周辺光レベルは低い(または所定のしきいの光より低い)ものと決定してよく、したがってハプティックフィードバックモジュール196(図1)は、ハプティックフィードバックがユーザに提供される様式を変更しない。言い換えれば、ハプティックフィードバックモジュール196(図1)は、それが無効である場合はハプティックフィードバックを有効にせず、またはそれが有効である場合はハプティックフィードバックのタイプを変更しない。

次いで、ユーザが、より明るい周辺光を伴う環境に、たとえば屋外に通信デバイス100とともに移動する場合、光測定値モジュール192(図1)は、次に取得される周辺光センサ170の周辺光測定値に対して、周辺光測定値が所定のしきいの光量を超えており、ディスプレイ130はユーザ220にとって見えにくくなることがあることを示すものと決定してよい。したがって、ハプティックフィードバックモジュール196(図1)は、それがまだ有効でない場合は通信デバイス100上のハプティックフィードバックを有効にしてよく、またはそれがすでに有効である場合は提供されるハプティックフィードバックのタイプを変更してもよい。いくつかの所定のしきいの光量が存在してもよいことは理解されよう。たとえば、通信デバイス100上のハプティックフィードバックを、ハプティックフィードバックモジュール196(図1)に有効にさせる60,000ルクス(1平方メートル当たりのルーメン)のしきい値と、ハプティックフィードバックのタイプを静電フィードバックに、ハプティックフィードバックモジュール196(図1)に変更させる80,000ルクスのしきい値とが存在してもよい。

通信デバイス100によって提供されるハプティックフィードバックは、明るい環境200にある間に、通信デバイス100を用いて画像を取り込むための多様な対話に使用されてよい。たとえば、ハプティックフィードバックは、カメラアプリケーションを開くこと、カメラのプロンプトを確認すること、カメラ設定を変更すること、フレーミングの指示を与えること、ユーザに正常な画像取り込みを通告することなどを行うために提供されてよい。

一例では、ユーザ220は、通信デバイス100の前向きカメラ186を使用してユーザ自身の自画像を取り込みたいと思うことがある。通信デバイス100は、取得された周辺光測定値が所定のしきいの光量より大きいことに応答して、ディスプレイ130が明るい環境において見えにくくなる可能性があることをユーザ220に警報することがある。いくつかの実施形態では、警報は、音響警報であってもよい。たとえば、通信デバイス100は、以下のフレーズ「高い周辺光が検出され、ハプティックが有効にされた」をスピーカ150(図1)を介して再生することがある。通信デバイス100は、ハプティックフィードバックが有効にされたことをユーザ220に示す任意の他のフレーズを再生してもよいことは理解されよう。他の実施形態では、警報は、ハプティックフィードバックベースの警報であってよい。たとえば、通信デバイス100は、それが、ハプティックフィードバックが有効であるモードに入っていることをユーザに通告するために振動してもよい。代替として、通信デバイス100は、ハプティックフィードバックを有効にするかまたは変更する前に表示を与えないことがある。さらに、通信デバイス100は、誤った入力を避けるために、デバイスの基本的カメラ機能だけが、ユーザ220に対して利用可能である、簡略化された動作モードに入ってよい。基本的カメラ機能は、画像を取り込むための機能だけを含んでよく、ユーザがカメラ設定を変更することを防止する。簡略化されたモードは、ユーザ220による、より長い対話、たとえばディスプレイ130上に示されるユーザインターフェース内のシャッターボタン250を通常より長い時間期間の間押すことを必要とすることがある。ユーザ220が正常に画像を取り込むと、通信デバイス100は、画像が正常に取り込まれたことを示すハプティックフィードバックイベントをトリガしてよい。ハプティックフィードバックは、振動ベースハプティックフィードバック、静電ベースハプティックフィードバック、熱ベースハプティックフィードバック、上記の任意の組合せ、または任意の他のタイプのハプティックフィードバックを含んでもよい。ユーザは、画像を取り込んでいる間、明るい環境200のために通信デバイスのディスプレイ130を鮮明に見ることはできないので、ユーザ220は、画像を取り込むため
にユーザインターフェース内のシャッターボタン250を見つけるために、ユーザの手、たとえば指でディスプレイ130の周りを探ることがある。ユーザ220が、ユーザインターフェース内のシャッターボタン250に正常に触れると、デバイスはユーザ220に、彼/彼女が正常にプロンプトを確認したことを示すために、ハプティックフィードバックを再びトリガしてよい。たとえば、通信デバイス100はユーザ220に、彼がシャッターボタン250に正常に触れたことを通知するために、シャッターボタン250周りのエリア内で静電フィードバックをトリガしてよい。同じく、ディスプレイ130上のユーザインターフェース内のシャッターボタン250に正常に触れると、通信デバイス100は、そのようにユーザに知らせるために、音声メッセージをスピーカ150(図1)を介して再生してもよい。いくつかの実施形態では、通信デバイス100はまた、音声メッセージとともに振動してもよい。

いくつかの実施形態では、画像取り込みモジュール194(図1)は、ユーザからの手動入力なしに画像を自動的に取り込んで記憶してよい(以下でさらに詳細に説明する)。

いくつかの実施形態では、通信デバイス100によって提供されるハプティックフィードバックは、画像の取り込みにおけるユーザの進捗に基づいて異なることがある。たとえば、提供されるハプティックフィードバックは、ユーザが画像を取り込む準備ができているか否かを、通信デバイス100が決定するかどうかに基づいて異なることがある。たとえば、画像取り込みモジュール194(図1)によって決定されるような画像に対して、ユーザ220が適切に位置決めされていない場合、通信デバイス100は、ユーザが画像内でユーザ自身を適切に位置決めするように支援および教示するために、ハプティックフィードバックを提供することがある。

いくつかの実施形態では、通信デバイス100は、取得された周辺光測定値が所定のしきいの光量を超えているものと光測定値モジュール192が決定すると、ディスプレイ130を無効にすることがある。

図3は、いくつかの実施形態による、取得された周辺光測定値の結果として通信デバイス100上のハプティックフィードバックを有効にすることを示す。上記で説明したように、通信デバイス100は、取得された周辺光測定値が所定のしきいの周辺光より大きいことに応答して、ディスプレイ130が明るい環境における画像の取り込みに対して見えにくくなる可能性があることをユーザに警報することがある。いくつかの実施形態では、警報は、音響警報310であってもよい。たとえば、通信デバイス100は、以下の音響警報310「過剰な光が検出され、ハプティックフィードバックが有効にされた」をスピーカ150を介して再生することがある。音響警報310はまた、通信デバイス100上のあるタイプのハプティックフィードバックと同時に再生されてもよい。

いくつかの実施形態では、通信デバイス100は、ディスプレイ130上の文字列警報320を表示することによってユーザに警報してもよい。文字列警報320は、ディスプレイ130のユーザインターフェース内のドロップダウン通知として表示されてもよい。文字列警報320はまた、いくつかの異なる方法でディスプレイ130のユーザインターフェース内に示されてもよいことは理解されよう。たとえば、文字列警報320はまた、ポップアップ通知として表示されてもよい。いくつかの実施形態では、文字列警報320は、ユーザが明るい環境において文字列警報320の文字を適切に見ることができる可能性を最大化するために、ディスプレイ130の最大輝度レベルにおいて、または特定のフォントカラーで表示されてよい。文字列警報320はまた、通信デバイス100上のあるタイプのハプティックフィードバックと同時に表示されてもよい。

図3に示すように、ディスプレイ130上に示されるコンテンツ230(カメラの画像のプレビュー)は、不鮮明で見えにくい。音響警報310および/または文字列警報320は、視覚チャネルを失くしたユーザ220(図2)を支援してよい。通信デバイス100が、音響警報310と文字列警報320の両方を使用して同時にユーザに警報してよいことは理解されよう。いくつかの実施形態では、通信デバイス100はまた、音声メッセージとともに振動してもよい。

周辺光センサ170が所定のしきいの光量より低い周辺光測定値を取得したものと光測定値モジュール192(図1)が決定すると、ハプティックフィードバックが無効にされるかまたは変更されることがある。

図4Aは、いくつかの実施形態による、1つの顔410を検出したことに応答して通信デバイス100上で振動ベースハプティックフィードバック430を提供することを示す。上記で説明したように、振動ベースハプティックフィードバック430は、通信デバイス100上で提供されてよい多くのタイプのハプティックフィードバックのうちの1つである。振動ベースハプティックフィードバック430は、環境内に存在する周辺光がしきいの光量を超えているものと光測定値モジュール192(図1)が決定するときに有効にされてよい。いくつかの実施形態では、振動ベースハプティックフィードバック430は、すでに有効にされており、光測定値モジュール192(図1)による決定に基づいてフィードバックの強度が変更されることがある。

図4Aに示すように、ディスプレイ130上に示されるコンテンツ230(カメラの画像のプレビュー)は、不鮮明で見えにくい。通信デバイス100がカメラ186の画像フレーム内の顔を検出したことに応答して、振動ベースハプティックフィードバック430が提供されてよい。画像を取り込んで記憶する前に、画像取り込みモジュール194(図1)は、カメラ186からの現在の画像フレームを解析してよい。画像取り込みモジュール194(図1)が画像フレーム内の顔を検出した場合、通信デバイス100は、ユーザに、彼/彼女の顔が画像フレーム内で検出されたことを通知するために、振動ベースハプティックフィードバック430を提供してよい。振動ベースハプティックフィードバック430は、そのようにユーザに知らせるために、振動モータ180(図1)を使用することによって提供されてよい。振動ベースハプティックフィードバック430は、ユーザに、彼/彼女は画像フレーム内で適切に検出されているので、彼/彼女は画像の取り込みを継続してよいことを示してよい。

ユーザは、大量の周辺光によってディスプレイ130を鮮明に見ることができないので、ユーザは、画像を取り込むためにユーザインターフェース内のシャッターボタン250を押そうとしてディスプレイ130の周りで指をランダムに動かすことがある。通信デバイス100は、ユーザがシャッターボタン250を正しく押したことを示すハプティックフィードバックを提供してよい。たとえば、ユーザが、ディスプレイ130のユーザインターフェース内のシャッターボタン250の上で彼/彼女の指を動かすと、通信デバイス100は、ユーザに、彼/彼女がシャッターボタン250を押すことによって正しく画像を取り込んだことを示すために、振動ベースハプティックフィードバック430を提供してよい。2つ以上のボタン421が存在するいくつかの実施形態では、通信デバイス100は、各ボタンを操作するごとに異なるタイプまたは強度のハプティックフィードバックを提供してもよい。たとえば、シャッターボタン250選択と、たとえばフラッシュ有効ボタン(図示せず)選択とを表す2つのボタンがユーザに提示されている場合、通信デバイス100は、シャッターボタン250選択に対する速い3ステップの振動ベースハプティックフィードバック430と、フラッシュ有効ボタン選択に対する速い2ステップの振動ベースハプティックフィードバック430とを提供してよい。代替として、通信デバイス100は、シャッターボタン250選択に対する高強度の振動ベースハプティックフィードバック430と、フラッシュ有効ボタン選択に対する低強度の振動ベースハプティックフィードバック430とを提供してよい。この例は、意味を伝えるためにハプティックフィードバックの持続時間を使用することを示していることは理解されよう。

いくつかの実施形態では、画像取り込みモジュール194(図1)は、カメラ186の画像フレーム内の顔410を検出すると、画像を自動的に取り込んで記憶してよい。フレームの検出と画像の取り込みとの間にはたとえば2秒の遅延が存在することがある。通信デバイス100は、画像が取り込まれると、振動ベースハプティックフィードバック430を提供してよい。画像を自動的に取り込むことによって、通信デバイス100は、ディスプレイ130上のコンテンツ230が見えにくい明るい環境にある間の画像取り込みにおける支援をユーザに提供する。

いくつかの実施形態では、通信デバイス100は、振動ベースハプティックフィードバック430と同時に音響フィードバック450を提供してもよい。たとえば、通信デバイス100は、「顔が画像フレーム内で検出された」を唱える音声フレーズをスピーカ150を介して、振動ベースハプティックフィードバック430と同時に再生してよい。いくつかの実施形態では、通信デバイス100は、振動ベースハプティックフィードバック430と同時に文字列フィードバック440を提供してもよい。たとえば、通信デバイス100は、ディスプレイ130のユーザインターフェース内に「顔が検出された」を表示してもよい。文字列フィードバック440は、最高輝度設定において表示されてよい。加えて、通信デバイス100は、検出された顔410の周りに外枠420を表示してもよい。いくつかの実施形態では、2つ以上のタイプのハプティックフィードバックが、通信デバイス100によって同時に提供されてもよい。たとえば、振動ベースハプティックフィードバック430は、静電ベースハプティックフィードバックおよび/または熱ベースハプティックフィードバックと同時に提供されてもよい。

周辺光センサ170が所定のしきいの光量より低い周辺光測定値を取得したものと光測定値モジュール192(図1)が決定すると、ハプティックフィードバックが、ハプティックフィードバックモジュール196(図1)によって無効にされるかまたは変更されることがある。たとえば、60,000ルクスの周辺光測定値が、ハプティックフィードバックモジュール196(図1)によって、あるアクションをトリガすることがある。

図4Bは、いくつかの実施形態による、複数の顔410を検出したことに応答して通信デバイス100上で振動ベースハプティックフィードバック430を提供することを示す。上記で説明したように、通信デバイス100は、カメラ186の画像フレーム内の顔410を検出したことに応答して振動ベースハプティックフィードバック430を提供してよい。顔検出は、画像取り込みモジュール194(図1)によって実施されてよい。図4Bでは、ユーザは、図4Aにおけるようにユーザ自身の写真ではなく、3人の他の個人の写真を撮っている。通信デバイス100はまた、カメラ186の画像フレーム内の複数の顔410を検出してもよい。検出された顔の各々に対して、通信デバイス100はまた、各顔410の周りに外枠を表示してもよい。たとえば、図4Bに示すように、検出された顔410の各々の周りの外枠420によって示されるように、3つの顔410が検出される。振動ベースハプティックフィードバック430は、ユーザに、他の個人は画像フレーム内で適切に検出されているので、彼/彼女は画像の取り込みを継続してよいことを示してよい。このフィードバック方法は、明るい環境の結果としてディスプレイ130が見えにくくなったときに、ユーザが画像を取り込むのを助けることがある。

通信デバイス100は、検出された顔410の数に基づいて、増加された振動ベースハプティックフィードバック430の持続時間を提供してよい。たとえば、画像取り込みモジュール194(図1)が3つの顔を検出すると、ハプティックフィードバックモジュール196(図1)は、3ステップの振動ベースハプティックフィードバック430(検出された顔410の各々に対して1ステップ)を提供してよい。この例は、意味を伝えるためにハプティックフィードバック持続時間を使用することを示す。他の実施形態では、通信デバイス100は、複数の(2つ以上の)顔410が画像フレーム内で検出された場合に異なるタイプのハプティックフィードバックを提供してよい。たとえば、画像取り込みモジュール194(図1)が3つの顔を検出すると、ハプティックフィードバックモジュール196(図1)は、振動ベースハプティックフィードバック430の代わりに熱ベースハプティックフィードバックを提供し、2つ以上の顔410が画像フレーム内で検出されたことをユーザに示すことがある。

いくつかの実施形態では、画像取り込みモジュール194(図1)は、カメラ186の画像フレーム内の複数の顔410を検出すると、画像を自動的に取り込んで記憶してよい。フレームの検出と画像の取り込みとの間にはたとえば2秒の遅延が存在することがある。通信デバイス100は、画像が取り込まれると、振動ベースハプティックフィードバック430を提供してよい。画像を自動的に取り込むことによって、通信デバイス100は、ディスプレイ130上のコンテンツ230が見えにくい明るい環境にある間に画像を取り込むことにおける支援をユーザに提供する。

いくつかの実施形態では、通信デバイス100は、振動ベースハプティックフィードバック430と同時に音響フィードバック450を提供してもよい。たとえば、通信デバイス100は、「複数の顔が画像フレーム内で検出された」を唱える音声フレーズをスピーカ150を介して、振動ベースハプティックフィードバック430と同時に再生してよい。いくつかの実施形態では、通信デバイス100は、振動ベースハプティックフィードバック430と同時に文字列フィードバック440を提供してもよい。たとえば、通信デバイス100は、ディスプレイ130のユーザインターフェース内に「複数の顔が検出された」を表示してもよい。文字列フィードバック440は、最高輝度設定において表示されてよい。加えて、通信デバイス100は、複数の検出された顔410の周りに複数の外枠420を表示してもよい。いくつかの実施形態では、2つ以上のタイプのハプティックフィードバックが、通信デバイス100によって同時に提供されてよい。たとえば、振動ベースハプティックフィードバック430は、静電ベースハプティックフィードバックおよび/または熱ベースハプティックフィードバックと同時に提供されてよい。いくつかの実施形態では、文字列フィードバック440または音響フィードバック450は、画像フレーム内で検出された顔410の数を示してもよい。

周辺光センサ170が所定のしきいの光量より低い周辺光測定値を取得したものと光測定値モジュール192(図1)が決定すると、ハプティックフィードバックが、ハプティックフィードバックモジュール196(図1)によって無効にされるかまたは変更されることがある。

図5は、いくつかの実施形態による、通信デバイス100の主要なユーザを検出したことに応答して通信デバイス100上で振動ベースハプティックフィードバック430を提供することを示す。より具体的には、図5は、ユーザが他の個人の画像を取り込んでいることを示しており、他の個人のうちの1人は通信デバイスの主要なユーザである。1個人が、通信デバイスのオペレーティングシステムを介して、通信デバイスの主要なユーザとして登録されてよい。登録する間、主要なユーザの顔の画像は、今後の顔認識のためにカメラ186を使用して取り込まれてよい。

図5に示すように、ディスプレイ130上に示されるコンテンツ230(カメラの画像のプレビュー)は、不鮮明で見えにくい。通信デバイス100がカメラ186の画像フレーム内で通信デバイス100の主要なユーザを検出したことに応答して、振動ベースハプティックフィードバック430が提供されてよい。画像を取り込んで記憶する前に、画像取り込みモジュール194(図1)は、カメラ186からの現在の画像フレームを解析してよい。画像取り込みモジュール194(図1)が画像フレーム内で通信デバイス100の主要なユーザを検出した場合、通信デバイス100は、ユーザに、主要なユーザが画像フレーム内で検出されたことを通知するために、振動ベースハプティックフィードバック430を提供してよい。振動ベースハプティックフィードバック430は、そのようにユーザに知らせるために、振動モータ180(図1)を使用することによって提供されてよい。

ユーザは、大量の周辺光によってディスプレイ130を鮮明に見ることができないので、ユーザは、画像を取り込むためにユーザインターフェース内のシャッターボタン250を押そうとしてディスプレイ130の周りで指をランダムに動かすことがある。通信デバイス100は、ユーザがシャッターボタン250を正しく押したことを示すハプティックフィードバックを提供してよい。たとえば、ユーザが、ディスプレイ130のユーザインターフェース内のシャッターボタン250の上で彼/彼女の指を動かすと、通信デバイス100は、ユーザに、彼/彼女がシャッターボタン250を押すことによって正しく画像を取り込んだことを示すために、振動ベースハプティックフィードバック430を提供してよい。別の例では、通信デバイス100は、ユーザがシャッターボタン250を押す前にそのボタンを感じることができるように、静電ベースハプティックフィードバックを提供してもよい。2つ以上のボタン421が存在するいくつかの実施形態では、通信デバイス100は、各ボタンを操作するごとに異なるタイプまたは持続時間のハプティックフィードバックを提供してもよい。たとえば、シャッターボタン250選択と、たとえばフラッシュ有効ボタン(図示せず)選択とを表す2つのボタンがユーザに提示されている場合、通信デバイス100は、シャッターボタン250選択に対する速い3ステップの振動ベースハプティックフィードバック430と、フラッシュ有効ボタン選択に対する速い2ステップの振動ベースハプティックフィードバック430とを提供してもよい。代替として、通信デバイス100は、シャッターボタン250選択に対する長持続時間の振動ベースハプティックフィードバック430と、フラッシュ有効ボタン選択に対する短持続時間の振動ベースハプティックフィードバック430とを提供してよい。

いくつかの実施形態では、画像取り込みモジュール194(図1)は、カメラ186の画像フレーム内の主要なユーザの顔を検出すると、画像を自動的に取り込んで記憶してよい。フレームの検出と画像の取り込みとの間にはたとえば2秒の遅延が存在することがある。通信デバイス100は、画像が取り込まれると、振動ベースハプティックフィードバック430を提供してよい。画像を自動的に取り込むことによって、通信デバイス100は、ディスプレイ130上のコンテンツ230が見えにくい明るい環境にある間に画像を取り込むことにおける支援をユーザに提供する。

いくつかの実施形態では、通信デバイス100は、振動ベースハプティックフィードバック430と同時に音響フィードバック450を提供してもよい。たとえば、通信デバイス100は、「主要なユーザが検出された」を唱える音声フレーズをスピーカ150を介して、振動ベースハプティックフィードバック430と同時に再生してよい。いくつかの実施形態では、通信デバイス100は、振動ベースハプティックフィードバック430と同時に文字列フィードバック440を提供してもよい。たとえば、通信デバイス100は、ディスプレイ130のユーザインターフェース内に「主要なユーザが検出された」を表示してもよい。文字列フィードバック440は、最高輝度設定において表示されてよい。加えて、通信デバイス100は、主要なユーザの顔の周りに外枠420を表示してもよい。いくつかの実施形態では、2つ以上のタイプのハプティックフィードバックが、通信デバイス100によって同時に提供されてよい。たとえば、振動ベースハプティックフィードバック430は、静電ベースハプティックフィードバックおよび/または熱ベースハプティックフィードバックと同時に提供されてよい。

周辺光センサ170が所定のしきいの光量より低い周辺光測定値を取得したものと光測定値モジュール192(図1)が決定すると、ハプティックフィードバックが、ハプティックフィードバックモジュール196(図1)によって無効にされるかまたは変更されることがある。

図6は、いくつかの実施形態による、通信デバイス100を用いて画像を取り込むための最適な位置について、振動ベースハプティックフィードバック430を使用してユーザに教示することを示す。上記で説明したように、振動ベースハプティックフィードバック430は、通信デバイス100上で提供されてよい多くのタイプのハプティックフィードバックのうちの1つである。振動ベースハプティックフィードバック430は、環境内に存在する周辺光がしきいの光量を超えているものと光測定値モジュール192(図1)が決定するときに有効にされてよい。いくつかの実施形態では、振動ベースハプティックフィードバック430は、すでに有効にされており、光測定値モジュール192(図1)による決定に基づいてフィードバックの強度が変更されることがある。

図6Aに示すように、ディスプレイ130上に示されるコンテンツ230(カメラの画像のプレビュー)は、不鮮明で見えにくい。「自撮り」画像に対して、画像を取り込む前にユーザが画像フレーム内のある位置にユーザ自身を位置決めすることを支援するために、振動ベースハプティックフィードバック430が提供されてよい。画像フレーム内の最適位置は、あらかじめ決定されてよく、または画像フレーム内で検出された他の対象物に基づいてもよい。たとえば、画像フレーム内の最適位置は、単に画像フレームの中心であってよく、または画像フレーム内の他の景観、たとえば木を遮らない、画像フレームの側部であってもよい。画像を取り込んで記憶する前に、画像取り込みモジュール194(図1)は、カメラ186からの現在の画像フレームを解析してよい。画像取り込みモジュール194(図1)が画像フレーム内の顔を検出した場合、通信デバイス100は、ユーザに、画像フレーム内でユーザ自身を最適位置に移動させるように教示するために、振動ベースハプティックフィードバック430を提供してよい。振動ベースハプティックフィードバック430は、そのようにユーザに知らせるために、振動モータ180(図1)を使用することによって提供されてよい。加えて、画像フレーム内の最適位置は、ディスプレイ130のユーザインターフェース内に表示される外枠420によって輪郭を描かれてよい。

たとえば、ユーザが、前向きカメラ186を使用して「自撮り」画像を取り込もうとして通信デバイス100をユーザ自身に向け、ユーザが、画像フレーム内で左方に離れすぎているものと(画像取り込みモジュール194(図1)によって)決定される場合、通信デバイス100の右側が振動してよい。同様に、ユーザが、画像内で右方に離れすぎているものと決定される場合、通信デバイス100の左側が振動してよい。他の実施形態では、これは、通信デバイス100のディスプレイに沿って取り付けられた複数のアクチュエータを使用して達成されてよい。別の例では、ユーザが、画像フレーム内で右側の一群の木を遮っているものと決定される場合、ユーザを左方に移動させる指示として、通信デバイス100の左側が振動してよい。振動ベースハプティックフィードバックとは別の他のタイプのハプティックフィードバックが、ユーザに、ユーザ自身を最適位置内に位置決めするように教示するために使用されてよいことは理解されよう。たとえば、静電ベースハプティックフィードバックおよび/または熱ベースハプティックフィードバックが使用されてもよい。ユーザが、画像フレーム内の最適位置、たとえば外枠420内に移動すると、通信デバイス100は、さらなるハプティックフィードバックを提供することがある。たとえば、ユーザが、画像フレーム内の最適位置に移動すると、通信デバイス100は、最適画像が今取り込まれ得ることをユーザに示すために、振動ベースハプティックフィードバック430を提供してよい。

次いで、ユーザは、「自撮り」画像を取り込むことを、通信デバイス100を使用して続行してよい。ユーザは、大量の周辺光によってディスプレイ130を鮮明に見ることができないので、ユーザは、画像を取り込むためにユーザインターフェース内のシャッターボタン250を押そうとしてディスプレイ130の周りで指をランダムに動かすことがある。通信デバイス100は、ユーザがシャッターボタン250を正しく押したことを示すハプティックフィードバックを提供してよい。たとえば、ユーザが、ディスプレイ130のユーザインターフェース内のシャッターボタン250の上で彼/彼女の指を動かすと、通信デバイス100は、ユーザに、彼/彼女がシャッターボタン250を押すことによって正しく画像を取り込んだことを示すために、振動ベースハプティックフィードバック430を提供してよい。2つ以上のボタン421が存在するいくつかの実施形態では、通信デバイス100は、各ボタンを操作するごとに異なるタイプまたは持続時間のハプティックフィードバックを提供してもよい。たとえば、シャッターボタン250選択と、たとえばフラッシュ有効ボタン(図示せず)選択とを表す2つのボタンがユーザに提示されている場合、通信デバイス100は、シャッターボタン250選択に対する速い3ステップの振動ベースハプティックフィードバック430と、フラッシュ有効ボタン選択に対する速い2ステップの振動ベースハプティックフィードバック430とを提供してもよい。代替として、通信デバイス100は、シャッターボタン250選択に対する長持続時間の振動ベースハプティックフィードバック430と、フラッシュ有効ボタン選択に対する短持続時間の振動ベースハプティックフィードバック430とを提供してもよい。別の例では、通信デバイス100は、ユーザがシャッターボタン250を押す前にそのボタンを感じることができるように、静電ベースハプティックフィードバックを提供してもよい。

いくつかの実施形態では、画像取り込みモジュール194(図1)は、ユーザが通信デバイス100を彼/彼女からの最適距離に移動させたことを検出すると、画像を自動的に取り込んで記憶してよい。フレームの検出と画像の取り込みとの間にはたとえば2秒の遅延が存在することがある。通信デバイス100は、画像が取り込まれると、振動ベースハプティックフィードバック430を提供してよい。画像を自動的に取り込むことによって、通信デバイス100は、ディスプレイ130上のコンテンツ230が見えにくい明るい環境にある間に画像を取り込むことにおける支援をユーザに提供する。

いくつかの実施形態では、通信デバイス100は、振動ベースハプティックフィードバック430と同時に音響フィードバック450を提供してもよい。たとえば、通信デバイス100は、「最適位置が検出された」を唱える音声フレーズをスピーカ150を介して、振動ベースハプティックフィードバック430と同時に再生してよい。いくつかの実施形態では、通信デバイス100は、振動ベースハプティックフィードバック430と同時に文字列フィードバック440を提供してもよい。たとえば、通信デバイス100は、ディスプレイ130のユーザインターフェース内に「最適位置が検出された」を表示してもよい。文字列フィードバック440は、最高輝度設定において表示されてよい。いくつかの実施形態では、2つ以上のタイプのハプティックフィードバックが、通信デバイス100によって同時に提供されてよい。たとえば、振動ベースハプティックフィードバック430は、静電ベースハプティックフィードバックおよび/または熱ベースハプティックフィードバックと同時に提供されてよい。

周辺光センサ170が所定のしきいの光量より低い周辺光測定値を取得したものと光測定値モジュール192(図1)が決定すると、ハプティックフィードバックが、ハプティックフィードバックモジュール196(図1)によって無効にされるかまたは変更されることがある。

図7Aは、いくつかの実施形態による、画像を取り込むために、通信デバイス100をユーザからさらに遠ざけるように、振動ベースハプティックフィードバック430を使用してユーザに教示することを示す。上記で説明したように、振動ベースハプティックフィードバック430は、通信デバイス100上で提供されてよい多くのタイプのハプティックフィードバックのうちの1つである。振動ベースハプティックフィードバック430は、環境内に存在する周辺光がしきいの光量を超えているものと光測定値モジュール192(図1)が決定するときに有効にされてよい。いくつかの実施形態では、振動ベースハプティックフィードバック430は、すでに有効にされており、光測定値モジュール192(図1)による決定に基づいてフィードバックの強度が変更されることがある。

図7Aに示すように、ディスプレイ130上に示されるコンテンツ230(カメラの画像のプレビュー)は、不鮮明で見えにくい。振動ベースハプティックフィードバック430は、ユーザが「自撮り」画像を取り込むのを支援するために提供されてよい。より具体的には、振動ベースハプティックフィードバック430は、通信デバイス100と彼/彼女との間の距離を調整するための指示をユーザに提供してよい。画像を取り込んで記憶する前に、画像取り込みモジュール194(図1)は、カメラ186からの現在の画像フレームを解析してよい。ユーザが画像フレームに近すぎて、ユーザの体全体が取り込まれないものと画像取り込みモジュール194(図1)が決定する場合、通信デバイス100は、ユーザに、彼/彼女が通信デバイス100をさらに遠ざける必要があることを知らせるために、振動ベースハプティックフィードバック430を提供してよい。振動ベースハプティックフィードバック430は、そのようにユーザに知らせるために、振動モータ180(図1)を使用することによって提供されてよい。いくつかの実施形態では、振動ベースハプティックフィードバック430は、ユーザが通信デバイス100に近すぎることを示す、低強度であってよい。いくつかの実施形態では、通信デバイス100は、ユーザが通信デバイス100に近すぎることを示すために、所定の数のステップの振動ベースハプティックフィードバック430を提供してよい。たとえば、通信デバイス100は、ユーザが通信デバイス100に近すぎる場合、3回振動してよい。いくつかの実施形態では、通信デバイス100は、ユーザが通信デバイス100に近すぎる場合、一定のタイプのベースハプティックフィードバックを提供してもよい。たとえば、通信デバイス100は、ユーザが通信デバイス100に近すぎる場合、熱または静電ベースのハプティックフィードバックを提供してもよい。ユーザが、通信デバイス100を適切な距離に移動させると、通信デバイス100は、ユーザに、彼/彼女は画像を取り込むのに適切な距離にあるので彼/彼女は画像の取り込みを継続してよいことを示すために、さらなる振動ベースハプティックフィードバック430を提供してよい。別の例では、通信デバイス100がユーザに近すぎるかまたはユーザから離れすぎていることを伝えるために、静電ベースハプテ
ィックフィードバックを提供してよい。通信デバイス100のディスプレイ上に提示されるズームスライダは、ユーザの顔が通信デバイス100のカメラのビューから出ると粗くなり、ユーザの顔がビュー内にあると滑らかになる。

ユーザは、大量の周辺光によってディスプレイ130を鮮明に見ることができないので、ユーザは、画像を取り込むためにユーザインターフェース内のシャッターボタン250を押そうとしてディスプレイ130の周りで指をランダムに動かすことがある。通信デバイス100は、ユーザがシャッターボタン250を正しく押したことを示すハプティックフィードバックを提供してよい。たとえば、ユーザが、ディスプレイ130のユーザインターフェース内のシャッターボタン250の上で彼/彼女の指を動かすと、通信デバイス100は、ユーザに、彼/彼女がシャッターボタン250を押すことによって正しく画像を取り込んだことを示すために、振動ベースハプティックフィードバック430を提供してよい。2つ以上のボタン421が存在するいくつかの実施形態では、通信デバイス100は、各ボタンを操作するごとに異なるタイプまたは持続時間のハプティックフィードバックを提供してもよい。たとえば、シャッターボタン250選択と、たとえばフラッシュ有効ボタン(図示せず)選択とを表す2つのボタンがユーザに提示されている場合、通信デバイス100は、シャッターボタン250選択に対する速い3ステップの振動ベースハプティックフィードバック430と、フラッシュ有効ボタン選択に対する速い2ステップの振動ベースハプティックフィードバック430とを提供してもよい。代替として、通信デバイス100は、シャッターボタン250選択に対する長持続時間の振動ベースハプティックフィードバック430と、フラッシュ有効ボタン選択に対する短持続時間の振動ベースハプティックフィードバック430とを提供してよい。

いくつかの実施形態では、画像取り込みモジュール194(図1)は、カメラ186の画像フレーム内の顔410を検出すると、画像を自動的に取り込んで記憶してよい。フレームの検出と画像の取り込みとの間にはたとえば2秒の遅延が存在することがある。通信デバイス100は、画像が取り込まれると、振動ベースハプティックフィードバック430を提供してよい。画像を自動的に取り込むことによって、通信デバイス100は、ディスプレイ130上のコンテンツ230が見えにくい明るい環境にある間に画像を取り込むことにおける支援をユーザに提供する。

いくつかの実施形態では、通信デバイス100は、振動ベースハプティックフィードバック430と同時に音響フィードバック450を提供してもよい。たとえば、通信デバイス100は、「デバイスをあなたから遠ざけなさい」を唱える音声フレーズをスピーカ150を介して、振動ベースハプティックフィードバック430と同時に再生してよい。いくつかの実施形態では、通信デバイス100は、振動ベースハプティックフィードバック430と同時に文字列フィードバック440を提供してもよい。たとえば、通信デバイス100は、ディスプレイ130のユーザインターフェース内に「デバイスをあなたから遠ざけなさい」を表示してもよい。文字列フィードバック440は、最高輝度設定において表示されてよい。いくつかの実施形態では、2つ以上のタイプのハプティックフィードバックが、通信デバイス100によって同時に提供されてよい。たとえば、振動ベースハプティックフィードバック430は、静電ベースハプティックフィードバックおよび/または熱ベースハプティックフィードバックと同時に提供されてよい。

周辺光センサ170が所定のしきいの光量より低い周辺光測定値を取得したものと光測定値モジュール192(図1)が決定すると、ハプティックフィードバックが、ハプティックフィードバックモジュール196(図1)によって無効にされるかまたは変更されることがある。

図7Bは、いくつかの実施形態による、画像を取り込むために、通信デバイス100をユーザからさらに遠ざけるように、振動ベースハプティックフィードバック430を使用してユーザに教示することを示す。図7Bは、最適画像を取り込むにはユーザが通信デバイス100から離れすぎていることを描いている点を除いて、図7Aと同様である。ユーザが画像フレームから遠すぎて、ユーザの細部が取り込まれないものと画像取り込みモジュール194(図1)が決定する場合、通信デバイス100は、ユーザに、彼/彼女が通信デバイス100をより近づける必要があることを知らせるために、振動ベースハプティックフィードバック430を提供してよい。いくつかの実施形態では、振動ベースハプティックフィードバック430は、ユーザが通信デバイス100から離れすぎていることを示す、高強度であってよい。いくつかの実施形態では、通信デバイス100は、ユーザが通信デバイス100から離れすぎていることを示すために、所定の数のステップの振動ベースハプティックフィードバック430を提供してよい。たとえば、通信デバイス100は、ユーザが通信デバイス100から離れすぎている場合、5回振動してよい。いくつかの実施形態では、通信デバイス100は、ユーザが通信デバイス100から離れすぎている場合、一定のタイプのベースハプティックフィードバックを提供してもよい。たとえば、通信デバイス100は、ユーザが通信デバイス100から離れすぎている場合、熱または静電ベースのハプティックフィードバックを提供してもよい。ユーザが、通信デバイス100を適切な距離に移動させると、通信デバイス100は、ユーザに、彼/彼女は画像を取り込むのに適切な距離にあるので彼/彼女は画像の取り込みを継続してよいことを示すために、さらなる振動ベースハプティックフィードバック430を提供してよく、または上記で説明したように画像を自動的に取り込んでもよい。

図7Aで説明されたことと同様に、通信デバイス100はまた、ユーザに、デバイスを彼/彼女により近づけるように教示するために、音響フィードバック450または文字列フィードバック440をハプティックフィードバックと同時に提供してもよい。

図8は、通信デバイスを用いて画像を取り込むことを支援するためにハプティックフィードバックを提供するための例示的な動作を示す例示的なフロー図800である。ブロック802において、デバイスが存在する環境の周辺光測定値が、デバイスを介して取得される。周辺光測定値は、デバイス内の1つまたは複数の周辺光センサを使用して取得されてよい。たとえば、図2では、周辺光センサは、通信デバイスが現在存在する環境の周辺光測定値を取得する。次いで、光測定値モジュールは、ハプティックフィードバックが通信デバイスのユーザに提供される様式が変更されるかどうかを決定するために、取得された周辺光測定値を解析してよい。

ブロック804において、画像取り込みデバイスによって取り込まれた1つまたは複数の画像フレーム内の1つまたは複数の対象物が検出される。対象物の検出は、画像取り込みモジュールによって実施されてよい。たとえば、図4Aでは、画像フレーム内のユーザの顔が、画像取り込みモジュールによって検出される。画像取り込みモジュールは、対象物が、画像フレーム内で最適位置および/または最適距離の中にあるかどうかを決定してよい。

ブロック806において、取得された周辺光測定値および検出された1つまたは複数の対象物に少なくとも部分的に基づいて、ハプティックフィードバックがデバイスのユーザに提供される様式が変更される。いくつかの実施形態では、ハプティックフィードバックが提供される様式を変更するステップは、デバイス上でハプティックフィードバックを有効にするステップを含む。いくつかの実施形態では、ハプティックフィードバックが提供される様式を変更するステップは、デバイス上でハプティックフィードバックを無効にするステップを含む。いくつかの実施形態では、ハプティックフィードバックが提供される様式を変更するステップは、デバイス上でハプティックフィードバックの強度を変更するステップを含む。いくつかの実施形態では、ハプティックフィードバックが提供される様式を変更するステップは、デバイス上でハプティックフィードバックの頻度を変更するステップを含む。いくつかの実施形態では、ハプティックフィードバックが提供される様式を変更するステップは、デバイス上でハプティックフィードバックのタイプまたは持続時間を変更するステップを含む。いくつかの実施形態では、ハプティックフィードバックは、触覚フィードバック、振動フィードバック、静電フィードバック、または熱フィードバックのうちの少なくとも1つを含む。

たとえば、図2では、ハプティックフィードバックモジュールは、光測定値モジュールによってなされた決定に基づいて、ハプティックフィードバックが通信デバイスに提供される様式を変更してよい。大量の周辺光が環境内にあるものと光測定値モジュールが決定した場合、ハプティックフィードバックモジュールは、デバイス上で提供されるハプティックフィードバックを有効にしてよく、またはそのタイプを変更してもよい。反対に、小量の周辺光が環境内にあるものと光測定値モジュールが決定した場合、ハプティックフィードバックモジュールは、デバイス上で提供されるハプティックフィードバックを無効にしてよく、またはそのタイプを変更してもよい。ハプティックフィードバックは、ユーザがデバイスを用いて画像を取り込むのを支援するために使用されてよい。

図9は、1つまたは複数の実施形態を実施することができるコンピューティングシステムの一例を示す。図9に示すコンピュータシステムは、上述のコンピュータ化デバイスの一部分として組み込まれ得る。たとえば、コンピュータシステム900は、テレビ、コンピューティングデバイス、サーバ、デスクトップ、ワークステーション、自動車内の制御システムまたはインタラクションシステム、タブレット、ネットブック、または任意の他の適切なコンピューティングシステムの構成要素のうちのいくつかを表すことができる。コンピューティングデバイスは、画像取り込みデバイスまたは入力感知ユニットおよびユーザ出力デバイスを備える任意のコンピューティングデバイスとすることができる。画像取り込みデバイスまたは入力感知ユニットは、カメラデバイスとすることができる。ユーザ出力デバイスは、ディスプレイユニットとすることができる。コンピューティングデバイスの例は、限定はしないが、ビデオゲーム機、タブレット、スマートフォン、および任意の他のハンドヘルドデバイスを含む。図9は、本明細書において説明されるような、種々の他の実施形態によって提供される方法を実行することができ、および/またはホストコンピュータシステム、リモートキオスク/端末、販売時点情報管理デバイス、自動車内の電話インターフェースもしくはナビゲーションインターフェースもしくはマルチメディアインターフェース、コンピューティングデバイス、セットトップボックス、テーブルコンピュータ、および/またはコンピュータシステムとしての機能を果たすことができる、コンピュータシステム900の一実施形態の概略図を提供する。図9は、種々の構成要素の一般化された図を提供することのみを意図しており、必要に応じて、そのいずれか、またはすべてが利用される場合がある。したがって、図9は、個々のシステム要素をいかにして、比較的別々に実現できるか、または比較的統合されるように実現できるかを広く示している。いくつかの実施形態では、コンピュータシステム900の要素は、図1のデバイス100の機能を実施するために用いられる場合がある。

バス902を介して電気的に結合することができる(または、適切に他の方法で通信することができる)ハードウェア要素を備えるコンピュータシステム900が示される。ハードウェア要素は、1つもしくは複数の汎用プロセッサおよび/または1つもしくは複数の専用プロセッサ(デジタル信号処理チップ、グラフィックス高速化プロセッサなど)を限定なしに含む1つまたは複数のプロセッサ904と、1つまたは複数のカメラ、センサ、マウス、キーボード、超音波または他の音波などを検出するように構成されたマイクロフォンなどを限定なしに含むことができる1つまたは複数の入力デバイス908と、本発明の実施形態に使用されるデバイスなどのディスプレイユニット、プリンタなどを限定なしに含むことができる1つまたは複数の出力デバイス910とを含むことができる。

本発明の実施形態のいくつかの実施態様では、種々の入力デバイス908および出力デバイス910は、ディスプレイデバイス、テーブル、床、壁、およびウィンドウスクリーンなどのインターフェースに埋め込むことができる。さらに、プロセッサに結合された入力デバイス908および出力デバイス910は、多次元追跡システムを形成することができる。

コンピュータシステム900は、1つまたは複数の非一時的記憶デバイス906をさらに含む(および/またはそれらと通信する)ことができ、非一時的記憶デバイス906は、限定はしないが、ローカルおよび/もしくはネットワークアクセス可能な記憶装置を備えることができ、ならびに/または、限定はしないが、プログラム可能、フラッシュ更新可能などとすることができる、ディスクドライブ、ドライブアレイ、光記憶デバイス、ランダムアクセスメモリ(「RAM」)および/もしくは読取り専用メモリ(「ROM」)などのソリッドステート記憶デバイスを含むことができる。そのような記憶デバイスは、限定はしないが、種々のファイルシステム、データベース構造などを含む、任意の適切なデータ記憶装置を実現するように構成することができる。

また、コンピュータシステム900は、通信サブシステム912を含む場合があり、通信サブシステム912は、限定はしないが、モデム、ネットワークカード(ワイヤレスもしくは有線)、赤外線通信デバイス、ワイヤレス通信デバイス、および/またはチップセット(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備など)などを含むことができる。通信サブシステム912は、ネットワーク、他のコンピュータシステム、および/または本明細書において説明される任意の他のデバイスとデータを交換できるようにする場合がある。多くの実施形態では、コンピュータシステム900は、上記のような、RAMまたはROMデバイスを含むことができる非一時的ワーキングメモリ918をさらに備えることになる。

また、コンピュータシステム900は、オペレーティングシステム914、デバイスドライバ、実行可能ライブラリ、および/または1つもしくは複数のアプリケーションプログラム916などの他のコードを含む、現在、ワーキングメモリ918内に位置するように示されている、ソフトウェア要素も備えることができ、他のコードは、種々の実施形態によって提供されるコンピュータプログラムを備えることができ、かつ/または本明細書において説明されるように、他の実施形態によって提供される方法を実施するように、および/もしくはシステムを構成するように設計することができる。例にすぎないが、先に論じられた方法に関連して説明される1つまたは複数の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実現することができ、一態様では、その後、そのようなコードおよび/または命令は、説明された方法に従って1つまたは複数の動作を実行するために、汎用コンピュータ(または他のデバイス)を構成するおよび/または適合させるために使用することができる。

これらの命令および/またはコードのセットは、先に説明された記憶デバイス906などのコンピュータ可読記憶媒体上に記憶することができる。場合によっては、記憶媒体は、コンピュータシステム900などのコンピュータシステム内に組み込まれる場合がある。他の実施形態では、記憶媒体は、そこに記憶された命令/コードを用いて汎用コンピュータをプログラムし、構成し、および/または適応させるために使用できるように、コンピュータシステムから分離することができ(たとえば、コンパクトディスクなどのリムーバブル媒体)、かつ/またはインストールパッケージにおいて提供することができる。これらの命令は、コンピュータシステム900よって実行可能な実行可能コードの形態をとることができ、ならびに/または、ソースおよび/もしくはインストール可能コードの形態をとることができ、ソースおよび/もしくはインストール可能コードは、(たとえば、様々な一般的に利用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティ、などのいずれかを使用する)コンピュータシステム900上でのコンパイルおよび/またはインストールに際し、次いで、実行可能コードの形態をとる。

具体的な要件に従って大幅な変形を行うことができる。たとえば、カスタマイズされたハードウェアが使用される場合もあり、かつ/または、特定の要素が、ハードウェア、ソフトウェア(アプレットなどのようなポータブルソフトウェアを含む)、またはその両方で実現される場合がある。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続が利用される場合もある。いくつかの実施形態では、コンピュータシステム900の1つまたは複数の要素は、省略することができるか、または図示したシステムとは別に実現することができる。たとえば、プロセッサ904および/または他の要素は、入力デバイス908とは別に実現することができる。一実施形態では、プロセッサは、別個に実現される1つまたは複数のカメラから画像を受け取るように構成される。いくつかの実施形態では、図9に示された要素に加えた要素が、コンピュータシステム900に含まれる場合がある。

いくつかの実施形態は、本開示による方法を実行するために、(コンピュータシステム900などの)コンピュータシステムを用いることができる。たとえば、説明した方法の手順のうちのいくつかまたはすべては、ワーキングメモリ918に含まれる(オペレーティングシステム914および/またはアプリケーションプログラム916などの他のコードに組み込まれ得る)1つまたは複数の命令の1つまたは複数のシーケンスを実行しているプロセッサ904に応答して、コンピュータシステム900によって実施され得る。そのような命令は、記憶デバイス906のうちの1つまたは複数などの、別のコンピュータ可読媒体からワーキングメモリ918に読み込まれる場合がある。例にすぎないが、ワーキングメモリ918内に含まれる命令のシーケンスの実行は、プロセッサ904に、本明細書において説明される方法の1つまたは複数の手順を実行させることができる。

本明細書において使用されるときに、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の方式で動作させるデータを与えることに関与する任意の媒体を指す。コンピュータシステム900を使用して実現されるいくつかの実施形態では、種々のコンピュータ可読媒体が、実行のためにプロセッサ904に命令/コードを与えることに関与することがあり、かつ/またはそのような命令/コードを(たとえば、信号として)記憶および/または搬送するために使用されることがある。数多くの実施態様において、コンピュータ可読媒体は物理的な記憶媒体および/または有形の記憶媒体である。そのような媒体は、限定はしないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む、数多くの形をとることができる。不揮発性媒体は、たとえば、記憶デバイス906などの光ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定はしないが、ワーキングメモリ918などのダイナミックメモリを含む。伝送媒体は、限定はしないが、バス902、ならびに通信サブシステム912の種々の構成要素(および/または通信サブシステム912が他のデバイスとの通信を提供する媒体)を含む電線を含む、同軸ケーブル、銅線、および光ファイバを含む。したがって、伝送媒体はまた、波(限定はしないが、無線波データ通信および赤外線データ通信中に生成されるような電波、音波、および/または光波を含む)の形をとることができる。

物理的な、かつ/または有形のコンピュータ可読媒体の一般的な形は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、RAM、PROM、EPROM、フラッシュEPROM、任意の他のメモリチップまたはカートリッジ、以下において説明されるような搬送波、あるいはコンピュータが命令および/またはコードを読み取ることのできる任意の他の媒体を含む。

種々の形のコンピュータ可読媒体が、プロセッサ904が実行するための1つまたは複数の命令からなる1つまたは複数のシーケンスを搬送する際に関与することができる。例にすぎないが、命令は最初に、リモートコンピュータの磁気ディスクおよび/または光ディスク上で搬送することができる。リモートコンピュータは、命令をそのダイナミックメモリ内にロードすることができ、コンピュータシステム900によって受信および/または実行されるように、送信媒体を介して信号として命令を送信することができる。電磁信号、音響信号、光信号などの形をとる場合があるこれらの信号はすべて、本発明の種々の実施形態による、命令を符号化できる搬送波の例である。

通信サブシステム912(および/またはその構成要素)は、一般に信号を受信し、次いで、バス902は、信号(および/または、信号によって搬送されるデータ、命令など)を作業メモリ918に搬送することができ、プロセッサ904は、作業メモリ918から命令を取り出し、実行する。ワーキングメモリ918によって受信された命令は、オプションで、プロセッサ904による実行の前または後のいずれかに、非一時的記憶デバイス906上に記憶することができる。

先に論じられた方法、システム、およびデバイスは例である。種々の実施形態は、必要に応じて、種々の手順または構成要素を省略、置換、または追加することができる。たとえば、代替の構成では、説明される方法は、説明される順序とは異なる順序で実施される場合があり、かつ/または、種々のステージの追加、省略、および/もしくは組合せが行われる場合がある。さらに、特定の実施形態に関して説明された特徴は、種々の他の実施形態において組み合わせることができる。実施形態の異なる態様および要素は、同じように組み合わせることができる。また、技術は発展するので、要素のうちの多くは、本開示の範囲をそれらの具体例に限定しない例である。

実施形態を十分に理解してもらうために、説明において具体的な詳細が与えられている。しかしながら、実施形態は、これらの具体的な詳細を伴わずに実践することができる。たとえば、実施形態を不明瞭することを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技法は、無用に詳述することなく示されている。この説明は例示的な実施形態のみに関する説明であり、本発明の範囲、適用性、または構成を限定することは意図していない。むしろ、実施形態のこれらの説明は、本発明の実施形態を実施することを可能にする説明を当業者に与える。本発明の趣旨および範囲から逸脱することなく、要素の機能および構成に種々の変更を加えることができる。

また、いくつかの実施形態は、フロー図またはブロック図として図示されているプロセスとして説明する。各々は動作を順次のプロセスとして説明するが、動作の多くは、並列に、または同時に実行することができる。さらに、動作の順序は、並べ替えられることができる。プロセスは、図に含まれないさらなるステップを有する場合もある。さらに、方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはこれらの任意の組合せによって実現されてもよい。関連するタスクを実施するためのプログラムコードまたはコードセグメントは、ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードにおいて実現されるときには、ストレージ媒体などのコンピュータ可読媒体に記憶されてもよい。プロセッサは、関連するタスクを実施してもよい。したがって、上記の説明では、コンピュータシステムによって実行されるものとして記述された機能または方法は、プロセッサ、たとえば、機能または方法を実行するように構成されたプロセッサ904によって実行することができる。さらに、そのような機能または方法は、1つまたは複数のコンピュータ可読媒体に記憶されたプロセッサ実行命令によって実行することができる。

いくつかの実施形態を説明してきたが、種々の変更、代替構造、および均等物が本開示の趣旨から逸脱することなく使用される場合がある。たとえば、上記の要素は、単により大きいシステムの構成要素とすることができ、他のルールが、本発明の適用例よりも優先するか、そうでなければ本発明の適用例を変更することができる。また、上記の要素が考慮される前、その間に、またはその後に、いくつかのステップを行うことができる。したがって、上記の説明は本開示の範囲を限定しない。

様々な例を説明してきた。これらおよび他の例は以下の特許請求の範囲内に入る。

100 通信デバイス
110 プロセッサ
120 マイクロフォン
130 ディスプレイ
140 入力デバイス
150 スピーカ
160 メモリ
162 第1のメモリモジュール
164 第2のメモリモジュール
170 周辺光センサ
180 振動モータ
182 静電ユニット
184 熱発生器
186 カメラ
190 コンピュータ可読媒体
192 光測定値モジュール
194 画像取り込みモジュール
196 ハプティックフィードバックモジュール
200 環境
210 太陽
220 ユーザ
230 コンテンツ
250 シャッターボタン
310 音響警報
320 文字列警報
410 顔
420 外枠
430 振動ベースハプティックフィードバック
440 文字列フィードバック
450 音響フィードバック
900 コンピュータシステム
902 バス
904 プロセッサ
906 非一時的記憶デバイス
908 入力デバイス
910 出力デバイス
912 通信サブシステム
914 オペレーティングシステム
916 アプリケーションプログラム
918 非一時的ワーキングメモリ

Claims (32)

1. 画像の取り込みを支援するためにハプティックフィードバックを提供するための方法であって、
   画像取り込みデバイスが存在する環境の周辺光測定値を、前記画像取り込みデバイスを介して取得するステップと、
   前記画像取り込みデバイスによって取り込まれた1つまたは複数の画像フレーム内の1つまたは複数の対象物を、前記画像取り込みデバイスを介して検出するステップと、
   前記取得された周辺光測定値および前記検出された1つまたは複数の対象物に少なくとも部分的に基づいて、ハプティックフィードバックが前記画像取り込みデバイスのユーザに提供される様式を、前記画像取り込みデバイスを介して変更するステップとを含み、
   ハプティックフィードバックが、前記周辺光測定値に応じて有効にされるかまたは無効にされ、
   ハプティックフィードバックが有効にされる場合、前記画像取り込みデバイスが、ハプティックフィードバックを使用して前記ユーザが画像を記録するのを支援するために、少なくとも1つの項目の情報を伝達し、
   ハプティックフィードバックが無効にされる場合、前記画像取り込みデバイスが、ハプティックフィードバックを使用することなく前記ユーザが画像を記録するのを支援するために、少なくとも1つの項目の情報を伝達する、方法。
2. 1つまたは複数の対象物を検出する前記ステップが、前記画像取り込みデバイスによって取り込まれた前記1つまたは複数の画像フレーム内の顔を検出するステップを含む、請求項1に記載の方法。
3. ハプティックフィードバックが提供される前記様式を変更する前記ステップが、提供される前記ハプティックフィードバックの強度を増加させるステップを含む、請求項1に記載の方法。
4. ハプティックフィードバックが提供される前記様式を変更する前記ステップが、提供されるハプティックフィードバックのタイプを変更するステップを含む、請求項1に記載の方法。
5. ハプティックフィードバックが提供される前記様式を変更する前記ステップが、ハプティックフィードバックが提供される頻度を変更するステップかまたはハプティックフィードバックが提供される持続時間を変更するステップのうちの少なくとも1つを含む、請求項1に記載の方法。
6. 前記ハプティックフィードバックが提供される前記様式が、前記1つまたは複数の画像フレーム内の最適位置に対する、前記検出された対象物の前記1つまたは複数の画像フレーム内での位置に少なくとも部分的に基づいて変更される、請求項1に記載の方法。
7. 前記ハプティックフィードバックが提供される前記様式が、前記1つまたは複数の画像フレームのサイズに対する、前記検出された対象物の前記1つまたは複数の画像フレーム内でのサイズに少なくとも部分的に基づいて変更される、請求項1に記載の方法。
8. 前記ハプティックフィードバックが、触覚フィードバック、振動フィードバック、静電フィードバック、または熱フィードバックのうちの少なくとも1つを含む、請求項1に記載の方法。
9. 前記ハプティックフィードバックのタイプが、前記1つまたは複数の検出された対象物の量に少なくとも部分的に基づく、請求項1に記載の方法。
10. 前記取得するステップが、前記画像取り込みデバイス内の1つまたは複数の周辺光センサを使用して実施される、請求項1に記載の方法。
11. 画像の取り込みを支援するためにハプティックフィードバックを提供するための装置であって、
    1つまたは複数の画像フレームを取り込むように構成された画像取り込みデバイスと、
    前記装置が存在する環境の周辺光測定値を取得するように構成された周辺光センサと、
    前記周辺光センサおよび前記画像取り込みデバイスに結合されたプロセッサとを備え、前記プロセッサが、前記1つまたは複数の画像フレーム内の1つまたは複数の対象物を検出することと、前記取得された周辺光測定値および前記検出された1つまたは複数の対象物に少なくとも部分的に基づいて、ハプティックフィードバックが前記装置のユーザに提供される様式を変更することとを行うように構成され、
    前記プロセッサが、前記周辺光測定値に応じてハプティックフィードバックを有効にするかまたは無効にするように構成され、
    ハプティックフィードバックが有効にされる場合、前記画像取り込みデバイスが、ハプティックフィードバックを使用して前記ユーザが画像を記録するのを支援するために、少なくとも1つの項目の情報を伝達するように構成され、
    ハプティックフィードバックが無効にされる場合、前記画像取り込みデバイスが、ハプティックフィードバックを使用することなく前記ユーザが画像を記録するのを支援するために、少なくとも1つの項目の情報を伝達するように構成される、装置。
12. 1つまたは複数の対象物を検出することが、前記画像取り込みデバイスによって取り込まれた前記1つまたは複数の画像フレーム内の顔を検出することを含む、請求項11に記載の装置。
13. ハプティックフィードバックが提供される前記様式を変更することが、提供される前記ハプティックフィードバックの強度を増加させることを含む、請求項11に記載の装置。
14. ハプティックフィードバックが提供される前記様式を変更することが、提供されるハプティックフィードバックのタイプを変更することを含む、請求項11に記載の装置。
15. ハプティックフィードバックが提供される前記様式を変更することが、ハプティックフィードバックが提供される頻度を変更することかまたはハプティックフィードバックが提供される持続時間を変更することのうちの少なくとも1つを含む、請求項11に記載の装置。
16. 前記ハプティックフィードバックが提供される前記様式が、前記1つまたは複数の画像フレーム内の最適位置に対する、前記検出された対象物の前記1つまたは複数の画像フレーム内での位置に少なくとも部分的に基づいて変更される、請求項11に記載の装置。
17. 前記ハプティックフィードバックが提供される前記様式が、前記1つまたは複数の画像フレームのサイズに対する、前記検出された対象物の前記1つまたは複数の画像フレーム内でのサイズに少なくとも部分的に基づいて変更される、請求項11に記載の装置。
18. 前記ハプティックフィードバックが、触覚フィードバック、振動フィードバック、静電フィードバック、または熱フィードバックのうちの少なくとも1つを含む、請求項11に記載の装置。
19. 前記ハプティックフィードバックのタイプが、前記1つまたは複数の検出された対象物の量に少なくとも部分的に基づく、請求項11に記載の装置。
20. 前記装置の前記ユーザに、前記ハプティックフィードバックと同時に音響フィードバックを提供するように構成されたスピーカをさらに備える、請求項11に記載の装置。
21. 画像の取り込みを支援するためにハプティックフィードバックを提供するための装置であって、
    画像取り込みデバイスが存在する環境の周辺光測定値を、前記画像取り込みデバイスを介して取得するための手段と、
    前記画像取り込みデバイスによって取り込まれた1つまたは複数の画像フレーム内の1つまたは複数の対象物を、前記画像取り込みデバイスを介して検出するための手段と、
    前記取得された周辺光測定値および前記検出された1つまたは複数の対象物に少なくとも部分的に基づいて、ハプティックフィードバックが前記画像取り込みデバイスのユーザに提供される様式を、前記画像取り込みデバイスを介して変更するための手段とを含み、
    ハプティックフィードバックが、前記周辺光測定値に応じて有効にされるかまたは無効にされ、
    ハプティックフィードバックが有効にされる場合、前記画像取り込みデバイスが、ハプティックフィードバックを使用して前記ユーザが画像を記録するのを支援するために、少なくとも1つの項目の情報を伝達し、
    ハプティックフィードバックが無効にされる場合、前記画像取り込みデバイスが、ハプティックフィードバックを使用することなく前記ユーザが画像を記録するのを支援するために、少なくとも1つの項目の情報を伝達する、装置。
22. 1つまたは複数の対象物を検出するための前記手段が、前記画像取り込みデバイスによって取り込まれた前記1つまたは複数の画像フレーム内の顔を検出するための手段を含む、請求項21に記載の装置。
23. ハプティックフィードバックが提供される前記様式を変更するための前記手段が、提供される前記ハプティックフィードバックの強度を増加させるための手段、提供されるハプティックフィードバックのタイプを変更するための手段、提供される前記ハプティックフィードバックの持続時間を変更するための手段、またはハプティックフィードバックが提供される頻度を変更するための手段のうちの少なくとも1つを含む、請求項21に記載の装置。
24. 前記ハプティックフィードバックが提供される前記様式が、前記1つまたは複数の画像フレーム内の最適位置に対する、前記検出された対象物の前記1つまたは複数の画像フレーム内での位置に少なくとも部分的に基づいて変更される、請求項21に記載の装置。
25. 前記ハプティックフィードバックが提供される前記様式が、前記1つまたは複数の画像フレームのサイズに対する、前記検出された対象物の前記1つまたは複数の画像フレーム内でのサイズに少なくとも部分的に基づいて変更される、請求項21に記載の装置。
26. 前記ハプティックフィードバックのタイプが、前記1つまたは複数の検出された対象物の量に少なくとも部分的に基づく、請求項21に記載の装置。
27. プロセッサ可読命令を含むプロセッサ可読非一時的媒体であって、前記プロセッサ可読命令が、
    画像取り込みデバイスが存在する環境の周辺光測定値を、前記画像取り込みデバイスを介して取得することと、
    前記画像取り込みデバイスによって取り込まれた1つまたは複数の画像フレーム内の1つまたは複数の対象物を、前記画像取り込みデバイスを介して検出することと、
    前記取得された周辺光測定値および前記検出された1つまたは複数の対象物に少なくとも部分的に基づいて、ハプティックフィードバックが前記画像取り込みデバイスのユーザに提供される様式を、前記画像取り込みデバイスを介して変更することとをプロセッサに行わせるように構成され、
    ハプティックフィードバックが、前記周辺光測定値に応じて有効にされるかまたは無効にされ、
    ハプティックフィードバックが有効にされる場合、前記画像取り込みデバイスが、ハプティックフィードバックを使用して前記ユーザが画像を記録するのを支援するために、少なくとも1つの項目の情報を伝達し、
    ハプティックフィードバックが無効にされる場合、前記画像取り込みデバイスが、ハプティックフィードバックを使用することなく前記ユーザが画像を記録するのを支援するために、少なくとも1つの項目の情報を伝達する、プロセッサ可読非一時的媒体。
28. 前記1つまたは複数の対象物を検出することが、前記画像取り込みデバイスによって取り込まれた前記1つまたは複数の画像フレーム内の顔を検出することを含む、請求項27に記載のプロセッサ可読非一時的媒体。
29. 前記ハプティックフィードバックが提供される前記様式を変更することが、提供される前記ハプティックフィードバックの強度を増加させること、提供されるハプティックフィードバックのタイプを変更すること、提供される前記ハプティックフィードバックの持続時間を変更すること、またはハプティックフィードバックが提供される頻度を変更することのうちの少なくとも1つを含む、請求項27に記載のプロセッサ可読非一時的媒体。
30. 前記ハプティックフィードバックが提供される前記様式が、前記1つまたは複数の画像フレーム内の最適位置に対する、前記検出された対象物の前記1つまたは複数の画像フレーム内での位置に少なくとも部分的に基づいて変更される、請求項27に記載のプロセッサ可読非一時的媒体。
31. 前記ハプティックフィードバックが提供される前記様式が、前記1つまたは複数の画像フレームのサイズに対する、前記検出された対象物の前記1つまたは複数の画像フレーム内でのサイズに少なくとも部分的に基づいて変更される、請求項27に記載のプロセッサ可読非一時的媒体。
32. 前記ハプティックフィードバックのタイプが、前記1つまたは複数の検出された対象物の量に少なくとも部分的に基づく、請求項27に記載のプロセッサ可読非一時的媒体。

Images