JP5904984B2 - 肖像画から風景画へのカメラに基づく方向固定 - Google Patents

Description

本発明は、一般的に、ポータブルハンドヘルド電子装置のためのディスプレイの分野に係り、より詳細には、ユーザの感知された方向に基づいて肖像画モードと風景画モードとの間で切り換えられるディスプレイに係る。

移動電話、ｅ−ブックリーダー、タブレットコンピュータ、等のポータブルデータ及びメディアディスプレイ装置は、典型的に、「肖像画(portrait)」方向の長方形ディスプレイスクリーンを有する。しばしば、「風景画(landscape)」方向でコンテンツを見ることが望まれる。これは、ディスプレイスクリーンを９０°回転し、そして風景画表現（又は風景画表示モード）を選択することにより達成することができる。手で選択することができるが、今日、多くの装置は、装置の回転が感知されたときに風景画表現を自動的に選択するために慣性センサを有している。

ある状態において、ポータブル装置のユーザは、装置が回転されたときに表示モードの切り換えを望まないことがある。例えば、ユーザは、真っ直ぐに座りながらｅ−メールメッセージを読み始めたり又はゲームを始めたりするが、装置を使用し続けながら横になることを決心することがある。ユーザは、このような状態では表示モードの切り換えを望まない。というのは、ディスプレイスクリーンに対するユーザの両目の相対的な方向が変化しないからである。手動での表示モード選択は、慣性センサを無効化するために設けられるが、これは、問題に対して不都合な解決策である。

本発明の一実施形態は、ポータブル電子装置においてユーザの顔に対して装置のディスプレイを安定化させるための動作モードである。ポータブル電子装置は、カメラと、慣性センサに応答して肖像画モードと風景画モードとの間で表示モードを切り換えできるディスプレイスクリーンとを有する。装置の動きに応答して表示モードを切り換えねばならないと決定すると、装置ユーザの特徴部、例えば、ユーザの顔が、カメラで像形成される。像形成された特徴部が装置に対し方向を変化する量がスレッシュホールド未満である場合には、表示モードの切り換えは行われず、表示モードは、現在モードのままとなる。

以上の説明は、本発明の全ての態様を余すところなく含むものではない。本発明は、上述した種々の態様の全ての適当な組み合わせ並びに以下の詳細な説明に開示され及び特許請求の範囲に特に指摘されたものから実施できる全てのシステム及び方法を包含することが意図される。このような組み合わせは、特に上述されない特定の効果を有する。

本発明の実施形態は、同様の要素が同じ参照番号で示された添付図面に一例として示されるもので、これに限定されない。この開示において本発明の「一実施形態」又は「１つの実施形態」とは、必ずしも同じ実施形態を指すものでなく、少なくとも１つを意味することに注意されたい。

本発明の一実施形態により肖像画及び風景画表示モードが選択される装置を示す。 本発明の一実施形態により肖像画及び風景画表示モードが選択される装置を示す。 本発明の一実施形態により肖像画及び風景画表示モードが選択される装置を示す。 本発明の一実施形態による表示モード選択プロセスの機能的フローチャートである。 本発明の実施形態が具現化される電子装置の機能的ブロック図である。

本発明を完全に理解するため、説明全体にわたり、多数の特定の細部について述べる。しかしながら、当業者であれば、これらの特定の細部の幾つかがなくても、本発明を実施できることが明らかであろう。他の点について、本発明の実施形態の基本的な原理を不明瞭にしないために、良く知られた構造及び装置は、ブロック図の形態で示す。

アップル社によるｉＰｏｄ^TM及びｉＰｈｏｎｅ^TM多機能装置のようなポータブルハンドヘルド電子装置は、写真、ビデオ、ドキュメント、ウェブコンテンツ及び他のメディアを見るためのディスプレイスクリーンを有している。１０として示されたこの形式の装置が図１Ａに示されている。ディスプレイスクリーン１２は、典型的に、装置の通常の方向において巾より高さが大きくて、スクリーン上の対象物が図１Ａに示すように「肖像画」表示モードで表示されると言えるように構成される。装置１０がこの方向に保持される間に、テキスト及び他のコンテンツは、ユーザ２０の両目の水平方向と一貫して水平に表示される。多くの同様の装置の場合のように、装置１０は、装置の動き及び向きを検出するために内蔵加速度計又は同様の慣性センサを有している。この能力及び適当な表示ソフトウェアで、装置は、９０°回転することができ、従って、ディスプレイスクリーン上の対象物は、図１Ｂに示すように、「風景画」表示モードで表現される。テキスト及び他のコンテンツは、水平に表示されたままである。

再び図１Ａを参照すれば、装置１０は、内蔵の前面デジタルカメラ１４を備えている。カメラ１４の像形成レンズ１１０（図３）は、ディスプレイスクリーン１２が配置された装置１０の前面に向けられる。以下に詳細に述べるように、カメラ１４は、装置のユーザ２０がディスプレイスクリーン１２に向いている間にユーザの画像を捕獲するのに使用され、ある状況において肖像画又は風景画表示モードの通常の選択を無効にする。図１Ｂに示すように、装置１０を９０°回転した際の風景画モードの選択は、ユーザ２０の方向にとって適切である。しかしながら、図１Ｃでは、ユーザが横になり、ユーザの両目は、ここでは、図１Ａ及び１Ｂの水平方向ではなく一般的に垂直線に沿って方向付けされる。従って、装置１０が図１Ａに比して９０°回転されても、表示を肖像画モードに維持するのが適切である。というのは、表示されたテキスト及び他のコンテンツがユーザの両目に対して適切な方向に保たれるからである。

本発明の実施形態を具現化するプロセスが図２に示されている。このプロセスは、装置１０の適当にプログラムされたプロセッサ（例えば、アプリケーションプロセッサ）により遂行することができる。このプロセスは、２０において、ユーザの顔に対してディスプレイを安定化するポータブル装置の動作モードをユーザが選択した際に開始する。これは、特殊目的のアプリケーションを起動するか、手動スイッチを押すか、又は当業者に知られた他の手段により、メニュー選択で行うことができる。このプロセスは、ある用途では、自動的に選択される。ユーザの顔の画像が前面カメラ１４で捕獲され、次いで、２２において分析されて、ユーザ向きに対するスタート基準を確立する。これは、例えば、画像の平面においてユーザの両目を通る線の方向を、その時のポータブル装置（例えば、そのディスプレイスクリーン）の方向に対して決定することにより行われる。後者は、装置の基準方向とみなされ、既知の技術に基づいて装置の慣性センサ（例えば、加速度計、多軸ターンレートジャイロ）を使用して決定することができる。画像におけるユーザの目を認識することを含む本発明の目的に適した顔分析アルゴリズムも、当業者に知られている。例えば、アップル社によるｉＰｈｏｔｏ^TMアプリケーションは、顔検出を使用して、写真中の人の顔を識別する。例えば、相対的な方向（ディスプレイスクリーンに対するユーザの目）は、図１Ａと同様であり、捕獲された画像におけるユーザの両目に交差する直線とカメラの画像センサのＸ軸との間で計算された角度として記憶される。

２４において、装置の加速度計又は他の一体的慣性センサが監視され、肖像画から風景画への又はそれとは逆の表示モードの切り換えをトリガーするに充分なほど装置１０が傾斜したときを決定する。これは、全く従来の動作である。このような動作において傾斜が検出された場合に、その時点に前面カメラで捕獲されたユーザの顔の画像が２６において再び分析されて、ユーザの方向も同様に変化したかどうか決定する。装置の方向は傾斜されたが、ユーザの方向に対応する変化がない場合には、２８において、表示モードが切り換えられる。他方、ユーザの方向も変化して、ユーザの顔がディスプレイスクリーンに対してほぼ同じ方向に保たれる場合には、３０において、現在表示モードが維持される。換言すれば、ユーザの顔の画像特徴部が装置の方向に対し方向を変える量がスレッシュホールド（例えば、４５°のような所定の角度）未満である場合には、表示モードの切り換えができなくなる。従って、前記の例では、ユーザの両目を横切る線が画像センサのＸ軸の４５°以内のままである場合には、ユーザの方向は、表示モードの切り換えを許すに充分なほど変化していない。装置１０が、ある方向から別の方向へ（例えば、水平から垂直へ又はその逆に）傾斜するときに、同じカメラ１４により捕獲されるユーザの複数の画像を分析して、ユーザの特徴部がその方向をどれほど変化したか決定することができる。

図３は、本発明の実施形態が具現化される規範的なポータブルハンドヘルド多機能装置１０のブロック図である。この装置１０は、装置１０に関連した動作を行うためのインストラクションを実行するプロセッサ１０２を有する。インストラクションは、メモリ１０４から検索され、実行時に、装置１０の種々のコンポーネント間での入力及び出力データの受信及び操作を制御する。図示されていないが、メモリ１０４は、プロセッサ１０２によって実行されるオペレーティングシステムプログラムを記憶し、特定の機能を遂行するためにオペレーティングシステムの最上部において１つ以上のアプリケーションプログラムが実行されると言える。ディスプレイスクリーン１０６は、装置１０のユーザが装置１０で実行される種々のアプリケーションプログラムと対話できるようにするグラフィックユーザインターフェイス（ＧＵＩ）を表示する。ＧＵＩは、アプリケーションプログラム、ファイル、及びそれに関連したコマンドをスクリーン１０６上に表現するアイコン又はグラフィック像を表示する。これらは、ウインドウ、フィールド、ダイアログボックス、メニュー、ボタン、カーソル、スクロールバー、等を含む。ユーザは、これらのグラフィック画像又はオブジェクトから、それに関連した機能を開始するように選択を行うことができる。

１つの実施形態において、スクリーン１０６は、外界から装置１０へデータを転送するための入力装置としても働くタッチスクリーンである。この入力は、例えば、スクリーン１０６の表面にタッチするユーザの指を経て受け取られるが、装置１０の物理的なボタンを経て受け取られてもよい。

装置１０のカメラ機能（又はカメラ１４、図１参照）は、次のコンポーネントによってイネーブルされる。１つ以上のソリッドステート画像センサ１０８が装置１０に内蔵され、その各々は、各レンズ１１０を含む光学システムの焦点面に位置される。カメラの視野内のシーンの光学像が画像センサ１０８に形成され、そしてセンサ１０８は、それに応答して、ピクセルより成るデジタル画像又はピクチャーの形態でシーンを捕獲し、それが、次いで、メモリ１０４に記憶される。画像センサ１０８は、画像がどのように捕獲されるか制御するのに使用できる多数のオプションを伴うソリッドステート画像センサチップを含む。

装置１０は、デジタルカメラモードで動作するだけでなく、移動ボイス及び／又はデータテレコミュニケーションモードで動作することもできる。これらは、次のコンポーネントによりイネーブルされる。ＲＦ回路１１４によって駆動され感知される一体型アンテナ１１２は、近傍のベースステーション（図示せず）に対してセルラーネットワーク通信信号を送受信するのに使用される。プロセッサ１０２により実行される移動電話アプリケーションは、コール及び終了ボタンを伴うバーチャル電話キーパッドのようなユーザのための移動電話オプションをスクリーン１０６上に表現する。又、移動電話アプリケーションは、内蔵マイクロホン１１６からＲＦ回路へスピーチ信号を導くと同時に、会話の他の側から受信器又はイヤホン１１８を通してスピーチ信号を導くことにより、典型的な移動電話コールにおける両方向会話を高いレベルで制御する。又、移動電話アプリケーションは、物理的なボリューム制御器１２０の操作を検出することにより、受信器のボリュームのユーザ選択にも応答する。図示されていないが、プロセッサ１０２は、会話の参加者のボイス信号をエンコードし及びデコードすることを含めて、デジタルオーディオ信号の処理機能、及びセルラーホンコールに関連したセルラーネットワークプロトコルシグナリングの多くのことを果たすセルラーベース帯域プロセッサを含む。同様に、プロセッサ１０２は、１つ以上のワイヤレスデータネットワークを経て送受信するためのデータのエンコーディング及びデコーディング、及び／又はパケット化及びパケット化解除を果たすデータ通信プロセッサを含む。

装置１０は、例えば、ユーザが物理的なメニューボタン１２２を操作し、次いで、スクリーン１０６のディスプレイ装置上の適当なアイコンを選択することに応答して、移動電話モード、デジタルカメラモード又はウェブブラウジングモードのような利用可能な動作モードのいずれかに入れられる。メモリ１０４に記憶された種々のアプリケーションプログラムのいずれかをユーザにより同様に選択することができる。

装置１０は、装置１０の３つの軸方向、即ち上下方向（Ｙ軸）、左右方向（Ｘ軸）及び前後方向（Ｚ軸）における加速度を検出する３次元加速度計のような慣性センサ１２４を備えている。この加速度計は、Ｘ軸、Ｙ軸及びＺ軸方向における装置１０の傾斜及び動きを決定できるようにする。別の実施形態では、Ｚ軸の周りでの装置１０の回転を検出するレートジャイロが使用される。センサ１２４により検出された加速度又はターンレートデータは、処理のためにプロセッサ１０２へ送信され、装置１０の位置、方向及び／又は動きを決定することができる。この情報は、次いで、装置１０の方向が所定の限界に到達したときに肖像画表示モードと風景画表示モードとの間で選択を行うように処理される。

以上の説明から、本発明の態様は、少なくとも一部分が、ソフトウェア、ハードウェア、ファームウェア、又はその組み合わせで実施できることが明らかであろう。即ち、この技術は、コンピュータシステム又は他のデータ処理システムにおいて、マイクロプロセッサのようなプロセッサが、ＲＯＭ、揮発性ＲＡＭ、不揮発性メモリ、キャッシュ、又はリモート記憶装置のようなメモリに含まれたインストラクションのシーケンスを実行するのに応答して、実施することができる。種々の実施形態において、ハードウェア回路をソフトウェアインストラクションと組み合せて使用して、本発明を具現化することもできる。従って、この技術は、ハードウェア回路及びソフトウェアの特定の組み合わせに限定されず、又はデータ処理システムにより実行されるインストラクションのための特定のソースに限定されない。更に、この説明全体にわたり、説明を簡略化するため、種々の機能及び動作は、ソフトウェアコードにより遂行され又は引き起こされるとして説明される。しかしながら、当業者であれば、マイクロプロセッサのようなプロセッサによりコードを実行することで機能が得られることが説明から明らかとなろう。

データ処理システムにより実行されたときに本発明の種々の方法をシステムに遂行させるソフトウェア及びデータを記憶するためにマシン読み取り可能なメディアを使用することができる。この実行可能なソフトウェア及びデータは、例えば、ＲＯＭ、揮発性ＲＡＭ、不揮発性メモリ、及び／又はキャッシュを含む種々の場所に記憶される。このソフトウェア及び／又はデータの部分をこれら記憶装置の１つに記憶してもよい。

又、本発明は、ここに述べる動作を遂行するための装置にも係る。この装置は、特に、要求された目的に対して構成することもできるし、或いはコンピュータに記憶されたコンピュータプログラムにより選択的にアクチベートされ又は再構成される汎用コンピュータを備えてもよい。このようなコンピュータプログラムは、マシン読み取り可能なメディアに記憶されるか又はそのメディアで送信される。マシン読み取り可能なメディアは、マシン（例えば、コンピュータ、ネットワーク装置、パーソナルデジタルアシスタント、製造ツール、１つ以上のプロセッサのセットを伴う装置、等）によってアクセス可能な形態で情報を与える（即ち、記憶し及び／又は送信する）メカニズムを含む。例えば、マシン読み取り可能なメディアは、記録可能／記録不能のメディア、例えば、これに限定されないが、マシン読み取り可能な記憶メディア（例えば、フロッピー（登録商標）ディスク、光学ディスク、ＣＤ−ＲＯＭ、及び磁気−光学ディスクを含む任意の形式のディスク、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気又は光学カード、或いは電子的インストラクションを記憶するのに適した任意の形式のメモリ）、或いはマシン読み取り可能な送信メディア、例えば、これに限定されないが、任意の形式の電気的、光学的、音響的又は他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号、等）を含む。

更に、ここに述べる種々の実施形態は、種々のデータ処理システムで具現化できることが理解されよう。例えば、そのようなデータ処理システムは、本発明の１つ以上の実施形態を具現化するのに各々使用できるセルラー電話又はパーソナルデジタルアシスタント（ＰＤＡ）又は娯楽システム又はメディアプレーヤ（例えば、ｉＰｏｄ）或いは消費者向け電子装置、等である。

以上の説明全体にわたり、「１つの実施形態」、「一実施形態」、「規範的実施形態」等を言及するときには、ここに述べる実施形態が特定の特徴、構造又は特性を含むことを示すが、各々の実施形態が、必ずしも、特定の特徴、構造又は特性を含むものではない。更に、この句は、必ずしも、同じ実施形態を指していない。特定の特徴、構造又は特性が一実施形態に関連して説明されるときに、そのような特徴、構造又は特性を、他の実施形態に関連して生じさせることは、それら他の実施形態が明確に説明されるかどうかに関わらず、当業者の知識の中でのことである。ここに示す構造及び実施形態において、本発明の原理から逸脱せずに、種々の変更がなされる。更に、種々の図に示された実施形態の特徴は、他の図に示す実施形態と組み合わせて使用されてもよい。

以上の説明及び特許請求の範囲において、「結合(coupled)」及び「接続(connected)」という語が、それから派生する語と共に使用される。これらの語は、互いに同意語として意図されていないことを理解されたい。むしろ、特定の実施形態では、「接続」は、２つ以上の要素が互いに直接物理的又は電気的に接触することを指示するのに使用される。「結合」は、２つ以上の要素が直接物理的又は電気的に接触することを意味する。しかしながら、「結合」は、２つ以上の要素が互いに直接接触しないが、互いに協働し又は相互作用することも意味する。

上述した詳細な説明のある部分は、コンピュータメモリ内のデータビットに対する動作のアルゴリズム及び記号表現に関して表される。これらのアルゴリズム記述及び表現は、データ処理分野の当業者により、それらの仕事の実体をその分野の他の当業者に最も効率良く伝えるために使用される手段である。アルゴリズムは、ここでは、そして一般的には、希望の結果を導く動作の自己矛盾のないシーケンスであると考えられる。これらの動作は、物理的量の物理的な操作を必要とする。通常、必ずしもそうでないが、これらの量は、記憶、転送、合成、比較、及びその他、操作することのできる電気的又は磁気的信号の形態をとる。主として普通に使用されるという理由で、これらの信号をビット、値、要素、記号、文字、語、数字、等として参照するのが時々は便利であると分かっている。

しかしながら、これら及び同様の語は、全て、適当な物理量に関連されるべきであり、且つそれらの量に適用される便利な表示に過ぎないことを銘記されたい。特に指示のない限り、以上の説明から明らかなように、説明全体にわたり、「処理」又は「コンピューティング」又は「計算」又は「決定」又は「表示」、等の語を使用する説明は、コンピュータシステムのレジスタ及びメモリ内の物理的（電子的）量として表されたデータを、コンピュータシステムのメモリ又はレジスタ或いは他のそのような情報記憶、伝達又は表示装置内の物理的量として同様に表された他のデータへと操作及び変換するコンピュータシステム又は同様の電子的コンピューティング装置のアクション及びプロセスを指すことが明らかである。

ここに述べるアルゴリズム及びディスプレイは、特定のコンピュータシステム又は他の装置に固有に関係していない。種々の汎用システムが、ここに述べる教示に基づくプログラムと共に使用されるか、或いは方法の動作を遂行するためのより特殊な装置を構成するのが便利であると分かっている。種々のこれらシステムの構造は、前記説明から明らかである。更に、本発明は、特定のプログラミング言語を参照して説明されたものではない。ここに述べる本発明の教示を具現化するのに種々のプログラミング言語を使用できることが明らかである。

本発明の実施形態は、上述した種々の動作、又はそれより少数の動作又はそれより多数の動作を、ここに述べた順序とは異なる順序で含んでもよい。それらの動作は、汎用プロセッサ又は特殊目的プロセッサに幾つかの動作を遂行させるマシン実行可能なインストラクションで実施される。或いは又、これらの動作は、動作を遂行するためのハードワイヤードロジックを含む特定のハードウェアコンポーネントにより遂行されてもよいし、又はプログラム型コンピュータコンポーネント及びカスタムハードウェアコンポーネントの組み合わせにより遂行されてもよい。

前記説明全体にわたり、説明上、本発明の完全な理解を与えるために多数の特定の細部が述べられた。しかしながら、当業者であれば、これら特定の細部の幾つかがなくても、本発明を実施できることが明らかであろう。従って、本発明の範囲及び精神は、特許請求の範囲及びその等効物に関して判断されるべきである。

１０：装置
１２：ディスプレイスクリーン
１４：デジタルカメラ
２０：ユーザ
１０２：プロセッサ
１０４：メモリ
１０６：ディスプレイスクリーン
１０８：画像センサ
１１０：レンズ
１１２：アンテナ
１１４：ＲＦ回路
１１６：マイクロホン
１１８：イヤホン
１２０：ボリュームコントロール
１２２：メニューボタン
１２４：慣性センサ

Claims (34)

1. カメラ、慣性センサ、プロセッサ及びディスプレイスクリーンを有するポータブル電子装置に使用する方法において、
   前記装置の動きを前記慣性センサで検出する段階と、
   前記動きの検出に応答して、前記カメラで捕獲された第１の画像を前記プロセッサにより分析して、前記装置の軸に対する前記装置のユーザの特徴部の方向を決定する段階と、 前記ユーザの特徴部の前記決定された方向を、前記装置の動きを検出する前に前記カメラで捕獲された第２の画像の分析により決定された前記ユーザの特徴部の方向と比較する段階と、
   前記比較に基づき風景画モード又は肖像画モードの少なくとも一方から選択された表示モードでユーザインターフェイスを前記ディスプレイスクリーンにより表示する段階と、を含む方法。
2. 前記分析は、前記第１の画像におけるユーザの目と目を結ぶ線の方向を決定することを含む、請求項１に記載の方法。
3. 前記線の前記決定された方向は、前記装置の軸に対する前記線の角度である、請求項２に記載の方法。
4. 前記第１の画像におけるユーザの顔の少なくとも一部分又はユーザの目を検出する段階を更に含む、請求項１に記載の方法。
5. 前記表示は、前記決定された方向が、前記動きの検出の前に前記カメラで捕獲された前記第２の画像の分析により決定された前記ユーザの特徴部の前記方向との比較において、スレッシュホールド量より少なく変化する場合には、前記動きの検出の後に、その検出された動きの直前に存在した表示モードを維持することを含む、請求項１に記載の方法。
6. 前記表示は、前記決定された方向が、前記動きの検出の前に前記カメラで捕獲された前記第２の画像の分析により決定された前記ユーザの特徴部の前記方向との比較において、スレッシュホールドを越えて変化する場合には、前記動きの検出の後に、その検出された動きの直前に存在した表示モードを切り換えることを含む、請求項１に記載の方法。
7. 前記装置の動作の顔安定化モードの選択を受け取る段階を更に含む、請求項１に記載の方法。
8. 前記装置の動きを検出することに応じて、前記第１の画像を捕獲することを含む、請求項１に記載の方法。
9. 前記装置の顔安定化モードを選択した後、その関数として、前記第２の画像を捕獲することを含む、請求項１に記載の方法。
10. 前記第２の画像を捕獲することは自動的に行われる、請求項１に記載の方法。
11. カメラと、
    慣性センサと、
    ディスプレイスクリーンと、
    プロセッサと、
    を備えたポータブル電子装置であって、前記プロセッサは、
    前記装置の動きを前記慣性センサで検出し、
    前記動きの検出に応答して、前記カメラで捕獲された第１の画像を前記プロセッサによって分析して、前記装置の軸に対する前記装置のユーザの特徴部の方向を決定し、
    前記ユーザの特徴部の前記決定された方向を、前記装置の動きを検出する前に前記カメラで捕獲された第２の画像の分析により決定された前記ユーザの特徴部の方向と比較し、
    前記比較に基づいて風景画モード又は肖像画モードの少なくとも一方から選択された表示モードでユーザインターフェイスを前記ディスプレイスクリーンにより表示する、
    ように前記カメラ、慣性センサ及びディスプレイをコントロールするように構成された、ポータブル電子装置。
12. 前記分析は、前記第１の画像におけるユーザの目と目を結ぶ線の方向を決定することを含む、請求項１１に記載のポータブル電子装置。
13. 前記線の前記決定された方向は、前記装置の軸に対する前記線の角度である、請求項１２に記載のポータブル電子装置。
14. 前記第１の画像におけるユーザの顔の少なくとも一部分又はユーザの目を検出することを更に含む、請求項１１に記載のポータブル電子装置。
15. 前記表示は、前記決定された方向が、前記動きの検出の前に前記カメラで捕獲された前記第２の画像の分析により決定された前記ユーザの特徴部の前記方向との比較において、スレッシュホールド量より少なく変化する場合には、前記動きの検出の後に、その検出された動きの直前に存在した表示モードを維持することを含む、請求項１１に記載のポータブル電子装置。
16. 前記表示は、前記決定された方向が、前記動きの検出の前に前記カメラで捕獲された前記第２の画像の分析により決定された前記ユーザの特徴部の前記方向との比較において、スレッシュホールドを越えて変化する場合には、前記動きの検出の後に、その検出された動きの直前に存在した表示モードを切り換えることを含む、請求項１１に記載のポータブル電子装置。
17. プロセッサにより実行されたときに、カメラ、慣性センサ、プロセッサ及びディスプレイスクリーンを有するポータブル電子装置に使用する方法を遂行するプログラムインストラクションを有する非一時的記憶媒体において、前記方法は、
    前記装置の動きを前記慣性センサで検出し、
    前記動きの検出に応答して、前記カメラで捕獲された第１の画像を前記プロセッサにより分析して、前記装置の軸に対する前記装置のユーザの特徴部の方向を決定し、
    前記ユーザの特徴部の前記決定された方向を、前記動きを検出する前に前記カメラで捕獲された第２の画像の分析により決定された前記ユーザの特徴部の方向と比較し、
    前記比較に基づき風景画モード又は肖像画モードの少なくとも一方から選択された表示モードでユーザインターフェイスを前記ディスプレイスクリーンにより表示する、
    ことを含む、非一時的記憶媒体。
18. 前記分析は、前記第１の画像におけるユーザの目と目を結ぶ線の方向を決定することを含む、請求項１７に記載の非一時的記憶媒体。
19. 前記線の前記決定された方向は、前記装置の軸に対する前記線の角度である、請求項１８に記載の非一時的記憶媒体。
20. 前記第１の画像におけるユーザの顔の少なくとも一部分又はユーザの目を検出することを更に含む、請求項１７に記載の非一時的記憶媒体。
21. 前記表示は、前記決定された方向が、前記動きの検出の前に前記カメラで捕獲された前記第２の画像の分析により決定された前記ユーザの特徴部の前記方向との比較において、スレッシュホールド量より少なく変化する場合には、前記動きの検出の後に、その検出された動きの直前に存在した表示モードを維持することを含む、請求項１７に記載の非一時的記憶媒体。
22. 前記表示は、前記決定された方向が、前記動きの検出の前に前記カメラで捕獲された前記第２の画像の分析により決定された前記ユーザの特徴部の前記方向との比較において、スレッシュホールド量を越えて変化する場合には、前記動きの検出の後に、その検出された動きの直前に存在した表示モードを切り換えることを含む、請求項１７に記載の非一時的記憶媒体。
23. カメラ、慣性センサ、プロセッサ及びディスプレイスクリーンを有するポータブル電子装置に使用する方法において、
    前記カメラを使用してユーザの第１の画像を捕獲する段階と、
    前記第１の画像を捕獲した後、前記装置の動きを前記慣性センサで検出する段階と、
    前記動きの検出に応答して、ユーザの第２の画像を捕獲する段階と、
    ユーザの捕獲した前記第１、第２の画像の関数として風景画モード又は肖像画モードの少なくとも一方から選択された表示モードでユーザインターフェイスを前記ディスプレイスクリーンにより表示する段階と、
    を含む方法。
24. 前記表示は、前記第２の画像の分析により決定された前記ユーザの特徴部の方向と、前記第１の画像の分析により決定された前記ユーザの特徴部の方向との比較の関数として、前記選択された表示モードでユーザインターフェイスを表示する、請求項２３に記載の方法。
25. 前記表示は、前記第２の画像の分析により決定された前記ユーザの特徴部の方向が、前記動きの検出の前に前記カメラで捕獲された前記第１の画像の分析により決定されたユーザの特徴部の方向との比較において、スレッシュホールド量より少なく変化する場合には、前記動きの検出の後に、その検出された動きの直前に存在した表示モードを維持することを含む、請求項２３に記載の方法。
26. 前記表示は、前記第２の画像の分析により決定された前記ユーザの特徴部の方向が、前記動きの検出の前に前記カメラで捕獲された前記第１の画像の分析により決定されたユーザの特徴部の方向との比較において、スレッシュホールド量を越えて変化する場合には、前記動きの検出の後に、その検出された動きの直前に存在した表示モードを切り換えることを含む、請求項２３に記載の方法。
27. カメラと、
    慣性センサと、
    ディスプレイスクリーンと、
    プロセッサと、
    を備えたポータブル電子装置であって、前記プロセッサは、
    前記カメラを使用してユーザの第１の画像を捕獲し、
    前記第１の画像を捕獲した後、前記装置の動きを前記慣性センサで検出し、
    前記動きの検出に応答して、前記ユーザの第２の画像を捕獲し、
    前記ユーザの捕獲した前記第１、第２の画像の関数として風景画モード又は肖像画モードの少なくとも一方から選択された表示モードでユーザインターフェイスを前記ディスプレイスクリーンにより表示する、
    ように前記カメラ、慣性センサ及びディスプレイをコントロールするように構成された、ポータブル電子装置。
28. 前記表示は、前記第２の画像の分析により決定された前記ユーザの特徴部の方向と、前記第１の画像の分析により決定された前記ユーザの特徴部の方向との比較の関数として、前記選択された表示モードでユーザインターフェイスを表示する、請求項２７に記載の、ポータブル電子装置。
29. 前記表示は、前記第２の画像の分析により決定された前記ユーザの特徴部の方向が、前記動きの検出の前に前記カメラで捕獲された前記第１の画像の分析により決定された前記ユーザの特徴部の方向との比較において、スレッシュホールド量より少なく変化する場合には、前記動きの検出の後に、その検出された動きの直前に存在した表示モードを維持することを含む、請求項２７に記載のポータブル電子装置。
30. 前記表示は、前記第２の画像の分析により決定された前記ユーザの特徴部の方向が、前記動きの検出の前に前記カメラで捕獲された前記第１の画像の分析により決定された前記ユーザの特徴部の方向との比較において、スレッシュホールド量を越えて変化する場合には、前記動きの検出の後に、その検出された動きの直前に存在した表示モードを切り換えることを含む、請求項２７に記載のポータブル電子装置。
31. プロセッサにより実行されたときに、カメラ、慣性センサ、プロセッサ及びディスプレイスクリーンを有するポータブル電子装置に使用する方法を遂行するプログラムインストラクションを有する非一時的記憶媒体において、前記方法は、
    前記カメラを使用してユーザの第１の画像を捕獲する段階と、
    前記第１の画像を捕獲した後、前記装置の動きを前記慣性センサで検出する段階と、
    前記動きの検出に応答して、前記ユーザの第２の画像を捕獲する段階と、
    前記ユーザの捕獲した前記第１、第２の画像の関数として風景画モード又は肖像画モードの少なくとも一方から選択された表示モードでユーザインターフェイスを前記ディスプレイスクリーンにより表示する段階と、
    を含む非一時的記憶媒体。
32. 前記表示は、前記第２の画像の分析により決定された前記ユーザの特徴部の方向と、前記第１の画像の分析により決定された前記ユーザの特徴部の方向との比較の関数として、前記選択された表示モードでユーザインターフェイスを表示する、請求項３１に記載の非一時的記憶媒体。
33. 前記表示は、前記第２の画像の分析により決定された前記ユーザの特徴部の方向が、前記動きの検出の前に前記カメラで捕獲された前記第１の画像の分析により決定された前記ユーザの特徴部の方向との比較において、スレッシュホールド量より少なく変化する場合には、前記動きの検出の後に、その検出された動きの直前に存在した表示モードを維持することを含む、請求項３１に記載の非一時的記憶媒体。
34. 前記表示は、前記第２の画像の分析により決定された前記ユーザの特徴部の方向が、前記動きの検出の前に前記カメラで捕獲された前記第１の画像の分析により決定された前記ユーザの特徴部の方向との比較において、スレッシュホールド量を越えて変化する場合には、前記動きの検出の後に、その検出された動きの直前に存在した表示モードを切り換えることを含む、請求項３１に記載の非一時的記憶媒体。

Images