JP5358733B2 - タッチスクリーン機能を変更するためのシステム及び方法 - Google Patents

Description

ここに開示する技術は電子装置用のタッチ入力装置に関し、特に、カメラの操作中にタッチスクリーンの機能を変更するためのシステム及び方法に関する。

現在、例えば、携帯電話機、ポータブルメディアプレーヤー、ポータブルゲーム機などの、モバイル／ワイヤレス電子装置が広く使用されている。また、ある種類の電子装置に関する諸機能はますます多様化が進んでいる。例えば、多くの携帯電話機には静止画像及びビデオ画像の取り込みが可能なカメラが備えられている。

携帯電話機のような携帯電子装置の中には、ユーザ入力を受け付けるためのタッチスクリーン技術を利用するものもある。タッチスクリーン技術は、一般にディスプレイ上に配置された透明なタッチパネルセンサを利用する。このタッチパネルセンサは、センサ表面に接しているか、あるいはセンサ表面の近くにあるユーザの指又は指先の存在及び動きを検出することができる。ユーザはタッチスクリーン上の１つのポイントにタッチすることによって電子装置の特定の機能の制御が可能となる。このタッチポイントは表示コンテンツにより指定することができる。例えば、画像を取り込むために、ユーザは、ディスプレイ上に提示されたシャッター記号をオーバーレイするタッチスクリーン領域にタッチすることができる。

タッチスクリーン技術を用いた電子装置の中には、単一の独立したボタンを押すことによってユーザが画像を簡単に取り込むことができるようにする専用シャッターキーが設けられているようなものもある。メニューオプションを介してカメラ機能に達するようスクロールする代わりに、ユーザは専用シャッターキーにより電子装置のカメラ機能に即座にアクセスすることが可能となる。しかし、電子装置上に専用ボタンを一つ一つ設けることは装置の製造原価を押し上げることになる。従って、電子装置上に設けられるメカニカルボタンの数を減らすことが望ましいと考えられる。

本開示は、いくつかのシナリオにおいて、タッチスクリーンの使用やアクセスが困難になる場合があることを認識するものである。例えば、タッチスクリーン機能を備えた多くの携帯電話機には、電話機の１つの側面に内蔵カメラが設けられ、その電話機の反対側にディスプレイが設けられている。そのため、ユーザは、自身を撮る写真の撮影中、電話機を自分の顔の正面に配置する必要があり、その結果、ユーザにはディスプレイ／タッチスクリーンが見えなくなる。携帯電話機が専用シャッターキーを備えていない場合、一般に行われているように、ユーザは、ディスプレイを見ることなく、タッチスクリーン上に設けられているシャッターシンボルへのタッチを試みるという困難なタスクを経験することになる。理解されるように、シャッターシンボルが小さければ小さいほど、タッチスクリーン上の対応するポイントに手探りでアクセスする（例えばタッチスクリーンを見ずにタッチする）ことはユーザにとってますます困難になる。一方で、シャッターシンボルが大きければ大きいほど、カメラと携帯電話機の少なくともいずれかに関連する他の機能に関連付けられたコンテンツの表示を行うためのスクリーンスペースが少なくなる。例えば、タッチスクリーンは、フラッシュ機能、ズーム機能、又はカメラの合焦機能の調整に関係するコンテンツをカメラの操作中に表示することも可能である。

タッチスクリーン機能を備えた電子装置上においてシャッター機能を高めるために、本開示は、タッチスクリーンと対面している被写体としてユーザが検出されたかどうかに基づいて、カメラの操作中にタッチスクリーンの機能を変更するためのシステム及び方法について説明するものである。一実施形態では、タッチスクリーンと対面している被写体としてユーザが検出されなければ、タッチスクリーン全体がカメラのシャッター機能を制御するように構成され、それによって、ユーザは、タッチスクリーンから離れた方向と対面している間（例えばカメラと対面している間）、タッチスクリーンの任意の一部を手探りでタッチすることにより、画像を取り込むことができるようになる。タッチスクリーンと対面している被写体としてユーザが検出された場合、カメラ操作を制御するための典型的グラフィカルユーザインタフェースとして機能するようにタッチスクリーンを構成してもよい。従って、本開示によれば、カメラ操作中のタッチスクリーンの機能は、画像の取り込みの際にユーザの操作上の必要性を満たすように構成することが可能となる。

本開示の一側面によれば、電子装置が、第１のカメラであって、該第１のカメラの視野内のシーンの少なくとも一部の表示を含むビデオ信号を生成する第１のカメラと、第２のカメラであって、該第２のカメラのシャッター機能の制御に関連付けられたユーザ入力を受信したとき、第２のカメラの視野内のシーンの少なくとも一部を表す画像を取り込む第２のカメラと、第１のカメラからビデオ信号を取得し、該ビデオ信号を分析して、前記電子装置のユーザの１以上の身体的特徴が前記第１のカメラの視野内に存在するか否かを判定するコントローラと、タッチ入力装置であって、前記コントローラと動作可能に結合され、前記タッチ入力装置の表面領域上においてユーザ入力を受信するための１以上のタッチポイントを含むように構成され、各タッチポイントが前記第２のカメラの複数の機能のうちのそれぞれの機能の制御に関連付けられているタッチ入力装置とを備える。本開示の上記側面によれば、前記タッチ入力装置の前記１以上のタッチポイントのうちの少なくとも１つのタッチポイントが、前記第２のカメラの前記シャッター機能の制御に関連付けられており、かつ、前記タッチ入力装置の前記タッチポイントの総数が、前記コントローラにより実行される前記ビデオ信号の分析結果に依存して決定される。

電子装置の一実施形態によれば、前記コントローラは、前記身体的特徴が前記第１のカメラの視野内に存在しないと判定したときは、前記タッチ入力装置の表面領域全体を、前記シャッター機能の制御に関連付けられた前記少なくとも１つのタッチポイントとして動作するように構成する。

電子装置の一実施形態によれば、前記コントローラは、前記身体的特徴が前記第１のカメラの視野内に存在しないと判定したときは、前記タッチ入力装置の表面領域の主要部分を、前記シャッター機能の制御に関連付けられた前記少なくとも１つのタッチポイントとして動作するように構成し、前記タッチ入力装置の表面領域の残りの部分を、タッチポイントの選択を含むように構成する。

電子装置の一実施形態によれば、前記タッチ入力装置の各タッチポイントに関連するカメラ機能情報を含むデータベースを更に有し、選択されたタッチポイントにおいてユーザタッチ入力を受信したとき、該選択されたタッチポイントに関連付けられた前記カメラ機能情報が前記ユーザに対して言語の形で提示される。

電子装置の一実施形態によれば、前記コントローラは、前記身体的特徴が前記第１のカメラの視野内に存在すると判定したときは、前記タッチ入力装置を、前記第２のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成する。

電子装置の一実施形態によれば、これらの身体的特徴はユーザの１以上の顔の特徴を含む。

電子装置の一実施形態によれば、前記電子装置は、過去に取得した、前記ユーザの１以上の顔の特徴を含むユーザ識別情報を格納するメモリを更に有し、前記コントローラは、前記顔の特徴が前記第１のカメラの視野内に存在していると判定したときは、前記ユーザ識別情報を前記メモリから読み出して、前記第１のカメラの視野内に存在している前記顔の特徴について、前記ユーザ識別情報の中に含まれている前記１以上の顔の特徴と一致するものがあるか否かを判定する。

電子装置の一実施形態によれば、一致が得られなかった場合、前記コントローラは、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記１以上のタッチポイントとして動作するように構成する。

電子装置の一実施形態によれば、前記電子装置は、前記タッチ入力装置の下に配置されたディスプレイを更に有し、該ディスプレイは、前記第２のカメラの視野内のシーンの少なくとも一部の表示を含むプレビュービデオ信号を表示するファインダとして構成され、前記コントローラは、前記プレビュービデオ信号を分析して、前記ユーザの１以上の身体的特徴が前記第２のカメラの視野内に存在するか否かを判定する。

電子装置の一実施形態によれば、前記コントローラは、前記身体的特徴が前記第１のカメラの視野内に存在せず、かつ、前記身体的特徴が前記第２のカメラの視野内に存在すると判定したときは、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記１以上のタッチポイントとして動作するように構成する。

電子装置の一実施形態によれば、前記コントローラは、前記身体的特徴が前記第１のカメラの視野内に存在せず、かつ、前記身体的特徴が前記第２のカメラの視野内にも存在しないと判定したときは、前記タッチ入力装置を、前記第２のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成する。

電子装置の一実施形態によれば、前記電子装置は、過去に取得した、前記ユーザの１以上の顔の特徴を含むユーザ識別情報を格納するメモリを更に有する。

電子装置の一実施形態によれば、前記コントローラは、前記身体的特徴が前記第２のカメラの視野内に存在すると判定したときは、前記ユーザ識別情報を読み出して、前記第２のカメラの視野内に存在している前記身体的特徴について、前記ユーザ識別情報に含まれている前記１以上の顔の特徴と一致するものがあるか否かを判定し、一致が得られた場合、前記コントローラは、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記１以上のタッチポイントとして動作するように構成する。

電子装置の一実施形態によれば、前記第１のカメラの視野は前記第２のカメラの視野に対して逆向きである。

電子装置の一実施形態によれば、前記コントローラは、前記第２のカメラの動作開始を要求するユーザコマンドを受信すると、前記第１のカメラの動作、及び、該第１のカメラによって生成された前記ビデオ信号の分析を自動的に開始する。

電子装置の一実施形態によれば、前記第２のカメラの機能は、カメラモード、ビデオモード、フラッシュ設定、ズーム機能、及び合焦設定のうちの少なくとも１つを含む。

本開示の別の側面によれば、第１のカメラ、第２のカメラ、及びタッチ入力装置を備えた電子装置のタッチスクリーン機能を変更する方法は、前記第１のカメラの視野内のシーンの少なくとも一部の表示を含むビデオ信号を取得するステップと、前記ビデオ信号を分析して、前記電子装置のユーザの１以上の身体的特徴が前記第１のカメラの視野内に存在するか否かを判定するステップと、前記ビデオ信号の分析結果に基づいて、前記タッチ入力装置の表面領域上においてユーザ入力を受信するための前記タッチ入力装置上の１以上のタッチポイントであって各タッチポイントが前記第２のカメラの複数の機能のそれぞれの機能の制御に関連付けられている１以上のタッチポイントを提供するステップとを含む。本開示のこの側面によれば、前記第２のカメラの視野内のシーンの少なくとも一部を表す画像を取り込むために、前記タッチ入力装置の前記１以上のタッチポイントのうちの少なくとも１つのタッチポイントが、前記第２のカメラのシャッター機能の制御に関連付けられている。

本方法の一実施形態によれば、本方法は、前記身体的特徴が前記第１のカメラの視野内に存在しないと判定されたときは、前記タッチ入力装置の表面領域全体を、前記シャッター機能の制御に関連付けられた前記少なくとも１つのタッチポイントとして動作するように構成するステップを更に有する。

本方法の一実施形態によれば、本方法は、前記身体的特徴が前記第１のカメラの視野内に存在しないと判定されたとき、前記タッチ入力装置の表面領域の主要部分を、前記シャッター機能の制御に関連付けられた前記少なくとも１つのタッチポイントとして動作するように構成するステップと、前記タッチ入力装置の表面領域の残りの部分を、タッチポイントの選択を含むように構成するステップとを更に有する。

本方法の一実施形態によれば、本方法は、前記タッチ入力装置の各タッチポイントに関連するカメラ機能情報を格納するステップと、選択されたタッチポイントにおいてユーザタッチ入力を受信したとき、該選択されたタッチポイントに関連付けられた前記カメラ機能情報を前記ユーザに対して言語の形で提示するステップとを更に有する。

本方法の一実施形態によれば、前記身体的特徴が前記第１のカメラの視野内に存在すると判定されたときは、前記タッチ入力装置を、前記第２のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成するステップを更に有する。

本方法の一実施形態によれば、これらの身体的特徴にはユーザの顔の１以上の特徴が含まれる。

本方法の一実施形態によれば、本方法は、過去に取得した、前記ユーザの顔の１以上の特徴を含むユーザ識別情報を格納するステップと、顔の特徴が前記第１のカメラの視野内に存在している判定されたとき、現在の顔の特徴について、前記ユーザ識別情報の中に含まれている前記１以上の顔の特徴と一致するものがあるか否かを判定するステップと、一致が得られなかった場合、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記１以上のタッチポイントとして動作するように構成するステップとを更に有する。

本方法の一実施形態によれば、本方法は、前記第２のカメラの視野内のシーンの少なくとも一部の表示を含むプレビュービデオ信号を表示するステップと、前記プレビュービデオ信号を分析して、前記ユーザの１以上の身体的特徴が前記第２のカメラの視野内に存在するか否かを判定するステップとを更に有する。

本方法の一実施形態によれば、本方法は、前記身体的特徴が前記第１のカメラの視野内に存在せず、かつ、前記身体的特徴が前記第２のカメラの視野内に存在すると判定されたときは、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記１以上のタッチポイントとして動作するように構成するステップを更に有する。

本方法の一実施形態によれば、本方法は、前記身体的特徴が前記第１のカメラの視野内に存在せず、かつ、前記身体的特徴が前記第２のカメラの視野内にも存在しないと判定されたときは、前記タッチ入力装置を、前記第２のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成するステップを更に有する。

本方法の一実施形態によれば、本方法は、過去に取得した、前記ユーザの１以上の顔の特徴を含むユーザ識別情報を格納するステップを更に有する。

本方法の一実施形態によれば、本方法は、前記身体的特徴が前記第２のカメラの視野内に存在すると判定されたときは、前記第２のカメラの視野内に存在している前記身体的特徴について、前記ユーザ識別情報に含まれている前記１以上の顔の特徴と一致するものあるか否かを判定し、一致が得られた場合、前記タッチ入力装置の表面全体を、前記シャッター機能の制御に関連付けられた前記１以上のタッチポイントとして動作するように構成するステップを更に有する。

本方法の一実施形態によれば、前記第１のカメラの視野は前記第２のカメラの視野に対して逆向きである。

本方法の一実施形態によれば、本方法は、前記第２のカメラの動作開始を要求するユーザコマンドを受信すると、前記第１のカメラの動作、及び、該第１のカメラによって生成された前記ビデオ信号の分析を自動的に開始するステップを更に有する。

本方法の一実施形態によれば、前記第２のカメラの機能には、カメラモード、ビデオモード、フラッシュ設定、ズーム機能、及び合焦設定のうちの少なくとも１つが含まれる。

これらの特徴及び更なる特徴は、以下の説明及び添付図面を参照することにより明らかになる。説明及び図面において、本発明の原理を採用できる方法のいくつかを示すものとして本発明の特定の実施形態が詳細に開示されてはいるが、本発明の範囲はこれらの実施形態に限定されるものではないことは理解されよう。逆に、本発明は本明細書に添付の特許請求の範囲に属するすべての変更、修正及び均等物を含むものである。

一実施形態に関して記述と例示の少なくともいずれかが行われている特徴は、１以上の別の実施形態において同じ方法で、あるいは同様の方法で、若しくは、上記別の実施形態の特徴と組み合わされた態様か、あるいは上記別の実施形態の特徴の代替の態様かの少なくともいずれかの態様で利用することも可能である。

本明細書で使用される場合、「備える（comprises）」及び「備えている（comprising）」という用語は、言及された特徴、整数、ステップ又は構成の存在を特定するために用いられるが、これら以外の１以上の別の特徴、整数、ステップ、構成、又はこれらのグループの存在又は追加を排除するものではない。

本開示に係る例示の電子装置としての携帯電話機の概略図。 図１Ａの例示の電子装置の背面を示す概略図。 通信システムの一部として動作中の図１Ａの例示の電子装置の概略ブロック図。 ユーザがタッチスクリーンと対面しているかどうかの判定を行うように処理されたユーザの顔の画像を示す概略図。 図１Ａの例示の電子装置を用いて、カメラの操作中にタッチスクリーンの機能を変更する例示の方法を表すフローチャート。 ディスプレイに本開示に係る例示のユーザインタフェースが表された、図１Ａの携帯電話機を示す概略図。

以下、図面を参照しながら実施形態について説明するが、図面中、同一の参照番号は同様の要素を参照するために用いられる。これらの図は必ずしも縮尺通りではないことは理解されよう。

本明細書では、主として、携帯電話機に関連して、いくつかの実施形態を説明する。しかし、その携帯電話機の例示の構成が、ここに開示するシステム及び方法の側面を利用できる唯一の動作環境であるというわけではないことは理解されよう。従って、本明細書に記載のこれらの技術は、任意のタイプの適切な電子装置に対しても適用可能である。このような電子装置の例には、携帯電話機、メディアプレーヤー、ゲーム機器、コンピュータ（ラップトップコンピュータ、ネットブック、ウルトラモバイルパーソナルコンピュータ（ＰＣ）等）、ページャ、コミュニケータ、電子手帳、パーソナル・デジタル・アシスタント（ＰＤＡ）、スマートフォン、携帯用通信機器、デジタルカメラ（カメラ、ビデオカメラ、コンパクトカメラ等）、全地球測位システム（ＧＰＳ）装置等が含まれる。

まず図１Ａ、図１Ｂ及び図２を参照すると電子装置１０が示されている。図１Ａは電子装置１０の正面図、図１Ｂは電子装置１０の背面図である。これらの図からわかるように、電子装置１０はカメラ・インタフェース・ファンクション１２（図２）、電子装置１０の前部に配置されたタッチスクリーン１４（図１Ａ）、及び、電子装置１０（図１Ｂ）の後部に配置されたカメラ１６を備える。カメラ・インタフェース・ファンクション１２は、タッチスクリーン１４と対面している被写体としてユーザが検出されたか否かに基づいて、カメラ１６の動作中にタッチスクリーン１４に関する機能及び動作を変更するように構成される。例えば、カメラ・インタフェース・ファンクション１２は、ユーザが（例えばセルフポートレート等の）自身の画像を取り込むようカメラ１６と対面しているときは、ユーザはタッチスクリーン１４とは対面していないことを識別することも可能である。一実施形態では、このような識別に基づいて、カメラ・インタフェース・ファンクション１２は、タッチスクリーン１４全体を用いてカメラ１６のシャッター機能の制御が可能な最適化カメラモードでタッチスクリーン１４に動作させることも可能である。この実施形態によれば、ユーザは、「手探りで」（例えば特定のポイントを探すことなく）タッチスクリーン１４の任意の部分にタッチしてシャッター機能を選択し、その選択によって、カメラ１６を用いて画像を取り込むことができる。

カメラ・インタフェース・ファンクション１２の動作に関する追加の詳細について以下さらに詳細に説明する。カメラ・インタフェース・ファンクション１２は、電子装置１０内に常駐し、電子装置１０により実行される実行可能コードとして実装され得る。一実施形態では、カメラ・インタフェース・ファンクション１２は、コンピュータ又はコンピュータ可読媒体に格納されているプログラムであってもよい。カメラ・インタフェース・ファンクション１２は、スタンドアロン型ソフトウェアアプリケーションであってもよいし、あるいは、電子装置１０に関係する追加タスクを実行するソフトウェアアプリケーションの一部を形成するものであってもよい。

図１Ａに示されているように、電子装置１０のタッチスクリーン１４は、ディスプレイ１８と、ディスプレイ１８上にわたって配置されたタッチ入力装置２０とを備えてもよい。ディスプレイ１８は、動作状態、時刻、電話番号、コンタクト情報、種々のメニュー等のような情報をユーザに対して表示し、これらの情報によってユーザは電子装置１０の種々の機能の利用が可能である。また、ディスプレイ１８を用いて、電子装置１０が受信したコンテンツと、電子装置１０のメモリ２２（図２）から取り出されたコンテンツとの少なくともいずれかのコンテンツを視覚的に表示することも可能である。ディスプレイ１８を用いて、写真、移動体用テレビのコンテンツ、インターネットのページ、ゲームに関連付けられたビデオ（但しこれらのみに限定されるわけではない）のような画像、ビデオ及びその他のグラフィックをユーザに提示することも可能である。

タッチ入力装置２０は、ユーザタッチ入力を認識することができ、かつ、タッチ入力により表されるコマンドを解釈することができ、かつ、電子装置１０の適切な装置とアプリケーションの少なくともいずれかに対して、対応する出力信号を介してコマンドを伝えることができる透明なタッチパネルセンサを備えることができる。表示項目の選択、書き換え、ナビゲート、スクロール、移動等のような種々の入力目的のために、タッチ入力を利用することも可能である。ユーザタッチ入力は、例えば、タップ、ピンチ、（例えば所定量の時間の間１つのポイント上に指又は指先を保持する）長押し、解除、タッチ入力装置２０のセンサコンポーネントの部分の両端にわたって、指又は指先を或る方向にドラッグする操作のうちの少なくともいずれかの操作等、あるいは、これらの操作の任意の組み合わせのような、１以上の指又は指先を用いる種々のタッチモーションを含んでもよい。

図１Ａに図示のように、ディスプレイ１８及びタッチ入力装置２０を相互に連携して使用し、それによってタッチスクリーン機能の実現を図るようにすることができる。タッチ入力装置２０の表面が、電子装置１０の１以上の機能の制御に関連付けられたユーザタッチ入力を受信するための１以上のタッチポイント（図示せず）から構成されると考えることができる。ディスプレイ１８は、電子装置１０の種々の機能の制御用グラフィカルユーザインタフェースを形成するコンテンツを、メニュー形式、英数字キーの表示、リンク等の形でユーザに表示することも可能である。表示コンテンツの個々の項目は、タッチ入力装置２０上の関連付けられたタッチポイントの所在位置と、該タッチ入力装置２０に関連付けられた特別の機能とをユーザに示すことができる。従って、ユーザは、表示コンテンツの所望の項目上に直接配置されたタッチ入力装置２０上のポイントにタッチすることによって電子装置１０の特定の機能の制御を行うことができる。例えば、タッチスクリーン１４を用いて、カメラ１６の制御用としてタッチベースのグラフィカルユーザインタフェースを提供するようにしてもよい。

表示コンテンツの項目の形状及びサイズは、関連付けられたタッチポイントの形状及びサイズを決定することができる。所定の時点においてタッチ入力装置２０に含まれるタッチポイントの数は、当該時点においてタッチスクリーン１４上に表示されるグラフィカルユーザインタフェースを介して制御され得る機能の数に応じて決めることができる。さらに、電子装置１０の現在の動作モード（例えばカメラモード等）は、どのグラフィカルユーザインタフェースが所定の時点に表示されるかの判定を行うことができる。一実施形態では、タッチ入力装置２０は、現在表示されているグラフィカルユーザインタフェースを介して制御され得る個々の機能に対応するタッチポイントを備える。例えば、グラフィカルユーザインタフェースが電子装置１０の唯一の機能を制御する場合、タッチ入力装置２０は唯一のタッチポイントを備えることができる。

図１Ａは、電子装置１０の、筐体内にベゼルで取り付けられたディスプレイ１８及びタッチ入力装置２０を示す。ディスプレイ１８及びタッチ入力装置２０は、電子装置１０の筐体とほぼ同一平面をなすことができるようにベゼルなしで保持されてもよいことは理解されよう。また、記載の電子装置１０は「レンガ」形状又は「ブロック」形状の筐体を有するものとして示されてはいるが、（シェル型筐体のような）「フリップ」オープン型の筐体や（「スライダー筐体」のような）スライド型筐体といった別の種類の筐体を用いてもよいことは理解できよう。

また、図１Ａは、テキスト入力やナビゲーション入力用のユーザ入力ボタンやキーを備えていないような電子装置１０も示す。例えば、電子装置１０上に存在している唯一のボタンは図１Ａからは見えないオン／オフスイッチボタンであってもよい。一実施形態では、電子装置１０の筐体部分のスライド、軸回転又は回転によってキーにアクセスして、電子装置１０の別の部分により保持されているキーを露出できるようにすることが可能である。電子装置１０がこのように開かれていないとき、これらのキーはカバーされてもよい。別の実施形態では、電子装置１０は、タッチスクリーン１４に隣接するキーパッド（図示せず）及びボタン（図示せず）の少なくともいずれかを備えてもよく、これによってタッチスクリーン１４は電子装置１０の前面部分のみを占めることになる。いくつかの実施形態の中に存在しているキー、キーパッド、ボタンのうちの少なくともいずれかは、呼操作、メッセージ送信操作、インターネットの閲覧、メニューナビゲーション、ゲーム・プレイ、マルチメディアコンテンツの再生等を含む種々のユーザ入力操作を提供することも可能である。例えば、キーパッドは、電話番号、電話リスト、連絡先情報、メモ、テキスト等のような英数字情報の入力を可能にする英数字キーを含むものであってもよい。さらに、あるいは代替例において、キーとボタンの少なくともいずれかは、呼を起動するか、呼に応答するための「呼送信」キー、及び、呼を終了したり、呼を「切断」したりするための「呼終了」キーのような特殊機能キーを含んでもよい。携帯電話機に関連付けられた別のキーが音量キー、消音キー、電源オン／オフキー、ウェブブラウザ起動キー等を含んでもよい。

カメラ１６は任意の適切な画像処理装置とビデオの取り込み装置の少なくともいずれかの装置であってもよい。カメラ１６は一般的なカメラアセンブリとして配設することが可能であり、このカメラアセンブリには、カメラ１６の視野内のシーンの一部から出る光をセンサ上へ合焦する結像光学系が含まれる。上記センサは入射光を画像データに変換する。カメラ１６はレンズアセンブリのみならず、合焦用機械部、光学ズーム機構、フラッシュ、露出計等、共通してカメラと接続された他の部品などの種々の光学部品を備えてもよい。カメラ１６が取り込んだ写真及び動画の少なくともいずれかに対応する静止画像ファイルとビデオファイルの少なくともいずれかのファイルは、メモリ２２や別の電子格納装置（図示せず）を用いて格納することができる。

カメラの操作中、タッチスクリーン１４は、共通してカメラ操作に関連付けられた種々のメニュー項目（例えばシャッター機能、カメラ／ビデオモード、ビデオ録画の開始／停止機能、フラッシュ設定、ズーム量、合焦設定、セルフタイマ、輝度レベル、ホワイトバランスレベル、解像度量、品質レベル等）を表すコンテンツの表示を行うことができる。ユーザは、タッチスクリーン１４上の適切なタッチポイントにタッチすることによって、カメラ１６の種々の機能の制御を行うことができる。例えば、カメラ１６のシャッター機能の制御に関連付けられたタッチポイントにおいてタッチ入力を認識したとき、タッチ入力装置２０は、カメラ１６の視野内のシーンを表す画像をその時点で取り込むようにカメラ１６にコマンドを与えることができる。一実施形態では、タッチスクリーン１４上の所望の画像領域にタッチすることによって画像を取り込んでいる間、合焦すべき画像領域をユーザが設定できるようになっているタッチ・フォーカス（touch-to-focus）機能を用いて合焦機能の制御を行うことも可能である。

カメラ１６は所定のフレームレートで出力画像データを生成して、電子ファインダとして動作するディスプレイ１８へ供給されるプレビュービデオ信号を生成できることは理解されよう。カメラ１６により生成され、かつ、ディスプレイ１８上に表示されたプレビュービデオ信号によって、カメラ１６の視野内のシーンの画像が動的に更新された表示がユーザに提供される。従って、ユーザは、カメラ１６のシャッター機能を選択する前に、取り込むべき画像をプレビューできるようにしてもよい。一実施形態では、カメラ操作の制御用グラフィカルユーザインタフェースと連携して、ディスプレイ１８上にプレビュービデオ信号を提示することが可能である。例えば、グラフィカルユーザインタフェースに関連付けられたコンテンツをディスプレイ１８の１以上の周辺領域に表示してもよく、これによって表示エリアの実質的に大部分が電子ファインダ画像により占められることになる。上記とは別に、グラフィカルユーザインタフェースの少なくとも一部が電子ファインダ画像を半透明にオーバーレイすることも可能である。

典型的には、図１Ａ及び図１Ｂに示されているように、ディスプレイ１８はカメラ１６とは反対側に設けられている。このようにして、ユーザは所望の方向にカメラ１６を向けて、ディスプレイ１８上のカメラ１６の視野の表示を見ることが可能である。従って、カメラ１６は視点すなわちパースペクティブを有することが可能である。この視点は、カメラ１６の位置と、ユーザがカメラ１６を向ける方向との組み合わせとなる。カメラ１６の視点によって、結像光学系の特性と、ズーム量のようなカメラ１６の光学設定値とが組み合わされた形でカメラ１６の視野が確立される。

図１Ａ及び図１Ｂに示されているように、カメラ１６に加えて、電子装置１０はタッチスクリーン１４に隣接して配置された撮像装置２４を備えてもよい。例示の実施形態の撮像装置２４は、ユーザがタッチスクリーン１４を見ている間ユーザの方へ向けられるカメラである。これらのタイプのカメラは、いくつかの携帯電話機上で利用可能であり、ビデオ電話（テレビテレフォニーとも呼ばれる）による通話の発信及び着信を容易にする。従って、撮像装置２４は本明細書ではテレビ電話用カメラ２４とも呼ぶ。撮像装置２４は、撮像装置２４の視野内の被写体の表示を含むビデオ信号を生成することができる。典型的には、撮像装置２４の視野はカメラ１６の視野から見て一般に対向する方向を有する。

一実施形態では、テレビ電話用カメラ２４が生成したビデオ信号をカメラ・インタフェース・ファンクション１２で分析し、検出した身体的特徴（顔又はその他の特徴）に基づいて、ユーザ検出アルゴリズムを用いてユーザの識別することが可能である。このユーザ検出アルゴリズムは、顔検出アルゴリズム、顔認識アルゴリズム、シルエット検出アルゴリズム、ユーザの存在を検出できる他の任意のタイプの技術のうちの少なくともいずれかのアルゴリズムを含んでもよい。身体的特徴の識別によって、ユーザがタッチスクリーン１４と対面していることを示すことも可能である。身体的特徴が検出されなければ、ユーザはタッチスクリーン１４とは対面していないと判断することができる。例えば、カメラ・インタフェース・ファンクション１２は、ユーザが電子装置１０の裏側にあるカメラ１６と対面しているとき、顔の特徴や別の身体的特徴を何も識別できなくなることが考えられる。以下図３に関連して、ユーザ検出技術に関する追加の詳細について説明する。

例示の実施形態では、カメラ１６及び撮像装置２４は電子装置１０の中に組み込まれたものとして示されている。一実施形態では、カメラ１６と撮像装置２４の少なくともいずれかは、例えば、有線接続（ＵＳＢ、ケーブル等）又は無線接続により電子装置１０に接続された装置アクセサリであってもよい。例えば、撮像装置２４は、物理的に電子装置１０に装着され、かつ、電子装置１０に結合されたＷｅｂカメラ等であってもよい。上記とは別に、撮像装置２４は電子装置１０に動作可能に結合された無線Ｗｅｂカメラであってもよい。別例として、カメラ１４と撮像装置２４の少なくともいずれかは、装置１０へのアフターマーケット追加装置（after-market addition）として電子装置１０内にインストールされたものであってもよい。

さらに図２を参照しながら、携帯電話機として実現された場合の電子装置１０の機能について説明する。電子装置１０は、電子装置１０による別の機器との通信の確立を可能にする通信回路を備える。通信は呼、データ転送等を含むものであってもよい。呼は音声通話及びテレビ電話のような任意の適切な形態をとってもよい（但しこれらのみに限定されるわけではない）。これらの呼は、セルラ回線交換ネットワークを介して実行されてもよいし、あるいは、セルラネットワークのパケット交換機能を介するか、（ＷｉＦｉと通常呼ばれるＩＥＥＥ８０２．１１と互換性を有するネットワークや、ＷｉＭＡＸと通常呼ばれるＩＥＥＥ８０２．１６と互換性を有するネットワークのような）代替のパケット交換ネットワークを介して確立されるボイス・オーバ・インターネットプロトコル（ＶｏＩＰ）電話を介する音声の形の呼であってもよい。データ転送は、（ストリーミングオーディオ、ストリーミングビデオ等のような）ストリーミングコンテンツを受信するステップと、（プッシュされたデータ、ポッドキャスト、リアリー・シンプル・シンジケーション（ＲＳＳ）のデータフィード等の）データフィードを受信するステップと、（画像ファイル、ビデオファイル、オーディオファイル、着信音、インターネットコンテンツ等のような）データのダウンロードステップとアップロードステップの少なくともいずれかのステップと、（テキストメッセージ、インスタントメッセージ、電子メールメッセージ、マルチメディアメッセージ等の）メッセージの送受信を行うステップ等とを含んでもよい（但しこれらのステップのみに限定されるわけではない）。上記データは電子装置１０により処理されてもよく、この処理には、データをメモリ２２に格納する処理と、上記データとのユーザインタラクションを可能にするアプリケーションを実行する処理と、上記データに関連付けられたビデオと画像の少なくともいずれかのコンテンツを表示する処理と、上記データに関連付けられたオーディオサウンドを出力する処理等とが含まれる。

図２の実施形態では、通信回路は無線回路２８と結合されたアンテナ２６を備えてもよい。無線回路２８はアンテナ２６を介して信号を送受信するための無線周波数送受信機を備える。このようにして、無線回路２８は移動通信システム３０において動作するように構成されてもよい。移動無線ネットワークと放送ネットワークの少なくともいずれかのネットワークとのインタラクションを行うための無線回路の種類には、移動通信用グローバルシステム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）、汎用パケット無線サービス（ＧＰＲＳ）、ＷｉＦｉ、ＷｉＭＡＸ、携帯機器向けデジタルビデオ放送（ＤＶＢ−Ｈ）、一体型サービスデジタル放送（ＩＳＤＢ）、高速パケットアクセス（ＨＳＰＡ）等、並びに、これら規格又は他の任意の適切な規格の高位のバージョンが含まれる。但しこれらのみに限定されるわけではない。電子装置１０は２以上の規格を用いて通信が可能なものであってもよいことを理解されたい。従って、アンテナ２６及び無線回路２８は単複の無線トランシーバを表す場合もあり得る。

図２に示されているように、移動通信システム３０は、電子装置１０による送信呼及び電子装置１０へ向けられた着信呼の管理と、電子装置１０へのデータ送信及び電子装置１０からのデータ受信と、他の任意のサポート機能とを実行するためのサーバ３４（又は複数のサーバ）を備えた通信ネットワーク３２を備えてもよい。サーバ３４は送信媒体を介して電子装置１０との通信を行う。この送信媒体は、例えば、（セルラサービスタワー、すなわち「セル」タワーのような）通信基地局、無線アクセスポイント、衛星等を含む任意の適切な装置又はアセンブリであってもよい。通信ネットワーク３２は複数の電子装置１０及び別のタイプのエンドユーザ機器の通信活動をサポートすることも可能である。理解されるように、サーバ３４は、サーバ機能の実行のために利用される通常のコンピュータシステムとして構成可能であると共に、サーバ３４の機能を具現化する論理演算命令を含むソフトウェアを実行するように構成されたプロセッサと、このようなソフトウェアを格納するためのメモリとを備えてもよい。代替の諸構成では、電子装置１０は、（別の携帯電話機やコンピュータ等の）別の電子装置１０と直接、しかも中間に介在するネットワークを用いることなく無線で通信を行うことが可能である。

引き続き図２を参照すると、電子装置１０は、電子装置１０の機能及び動作の制御全体を実行するように構成された主制御回路３６を備えてもよい。制御回路３６は中央演算処理装置（ＣＰＵ）、マイクロコントローラ又はマイクロプロセッサのような処理装置３８を備えてもよい。電子装置１０の動作を実行するために、処理装置３８は、制御回路３６内のメモリ（図示せず）と、メモリ２２のような独立メモリとの少なくともいずれかのメモリに格納されたコードを実行する。例えば、処理装置３８はカメラ・インタフェース・ファンクション１２を実現するコードを実行することも可能である。メモリ２２は、例えば、１以上のバッファ、フラッシュメモリ、ハードドライブ、取り外し可能媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、あるいは他の好適な装置であってもよい。典型的な構成では、メモリ２２は、長期データ格納用の不揮発性メモリと、制御回路３６用のシステムメモリとして機能する揮発性メモリとを備えてもよい。メモリ２２はデータバスを介して制御回路３６とデータの交換を行うことも可能である。付随する制御ライン及びアドレスバスがメモリ２２と制御回路３４との間に存在してもよい。

電子装置１０は、無線回路２８により送信され、かつ、無線回路２８から受信されるオーディオ信号を処理する音声信号処理回路４０もさらに備えてもよい。電子装置１０を介してユーザが聴いたり、話したりできるようにするスピーカ４２及びマイクロホン４４が音声信号処理回路４０と結合されている。無線回路２８及び音声信号処理回路４０は処理全体を実行できるように制御回路３６と個々に結合されている。ユーザに対して再生を行うために、制御回路３６から音声信号処理回路４０へオーディオデータを渡すことができる。上記オーディオデータは、例えば、メモリ２２により格納され、かつ、制御回路３６により取り出されるオーディオファイルから得られるオーディオデータか、音声通信の形で表されるような受信済みオーディオデータか、移動無線サービスから得られるストリーミングオーディオデータを含むものであってもよい。音声信号処理回路４０は任意の適切なバッファ、デコーダ、増幅器等を備えたものであってもよい。

ディスプレイ１８はビデオ処理回路４６によって制御回路３６と結合されたものであってもよく、ビデオ処理回路４６はディスプレイ１８の駆動のために用いられるビデオ信号にビデオデータを変換する。ビデオ処理回路４６は任意の適切なバッファ、デコーダ、ビデオデータプロセッサ等を備えてもよい。上記ビデオデータは、制御回路３６により生成されるか、メモリ２２内に格納されているビデオファイルから取り出されるか、無線回路２８が受信した着信ビデオデータストリームから導き出されるか、あるいは別の任意の好適な方法により取得されるものであってもよい。

図２に図示のように、電子装置１０は１以上の入力／出力（Ｉ／Ｏ）インタフェース４８をさらに備えてもよい。Ｉ／Ｏインタフェース４８は一般的な携帯電話機用Ｉ／Ｏインタフェースの形のものであってもよいし、１以上の電気コネクタを備えたものであってもよい。Ｉ／Ｏインタフェース４８は、（コンピュータ等の）別の装置又は（個人用ハンズフリー（ＰＨＦ）装置等の）アクセサリと電子装置１０とをケーブルを介して接続するための１以上のデータポートを形成するものであってもよい。さらに、Ｉ／Ｏインタフェース４８を介して動作電力を受け取るようにしてもよいと共に、電子装置１０内の電力供給装置（ＰＳＵ）５０のバッテリを充電するための電力をＩ／Ｏインタフェース４８を介して受け取るようにしてもよい。

また、電子装置１０は種々のコンポーネントを備えてもよい。例えば、全地球測位システム（ＧＰＳ）受信機５２のような位置データ受信機が電子装置１０の所在位置の決定に関与することも可能である。赤外線受信機と、（ブルートゥースチップセット等の）ＲＦ受信機の少なくともいずれかの受信機のようなローカルなインタフェース機器５４を用いて、（ＰＨＦ機器等の）アクセサリのような近接した機器、別のモバイル無線端末、コンピュータ又は別の機器との通信を確立するようにしてもよい。また、電子装置１０は制御回路３６及びメモリ２２のような、電子装置１０の種々のコンポーネントを計時するためのシステムクロック５６を備えることも可能である。

カメラ・インタフェース・ファンクション１２を再度参照すると、複数のユーザ検出技術のうちのいずれかの技術を用いて、本願に記載の機能及び動作を実行するようにしてもよい。例えば、本発明に基づいてユーザがタッチスクリーン１４と対面しているかどうかの判定を行うステップの一部として、任意の適切な顔検出と顔認識の少なくともいずれかの技術を用いることができる。例えば、テレビ電話用カメラ２４の出力が顔の造作に変換されるバイナリパターン分類を用いて、顔検出の実行が可能であり、分類装置により顔あるいは胴体や手のような何らかの別の身体部分が画像に含まれているかどうかの判定が行われる。

図３をさらに参照すると、テレビ電話用カメラ２４が生成したビデオストリームから得た画像データを分析することにより、１つの例示の顔検出技術によって顔６０が識別され、鼻６４の鼻梁に関して左右対称に配置された一対の目６２の存在が検出される。鼻６４に関して人間の目６２の対称性を決定するための１つの技術として、上記検出した顔の特徴間の構造関係を形成する技法がある。図３は、これらの特徴の存在により検出されたユーザの顔６０を概略的に表す図である。例示の実施形態では、人間の目６２と鼻６４の先端の位置をつなぐことにより三角形６６を形成することができる。例えば、三角形６６が二等辺三角形であれば、カメラ・インタフェース・ファンクション１２は人間の目６２が鼻６４に関して左右対称に配置されていること、従って、顔６０がテレビ電話用カメラ２４の視野に存在していることを決定することができる。

一実施形態では、（ユーザ識別情報の確認等の）顔認識のために、テレビ電話用カメラ２４から得られるビデオ信号を使用することができる。開始処理中にカメラ・インタフェース・ファンクション１２によって電子装置１０のユーザの識別情報を取得することも可能である。例えば、上記ユーザ識別情報は、本明細書に記載のようにメモリ２２に格納され、その後、メモリ２２から読み出されて、カメラ・インタフェース・ファンクション１２を実行することができる。採用される可能性のある例示の顔認識技術には、固有顔面（eigenfaces）法、フィッシャー顔面（fisherface）法、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合、及び３次元顔認識が含まれる。ユーザ検出技術としての顔認識の利用は或る種のシナリオでは好ましいものと考えられる。例えば、顔認識技術を用いて、ユーザとして識別された被写体が実際にユーザであって、第３者ではないことを照合したり、確認したりすることも可能である。例えば、ユーザがカメラ１６と対面している場合であっても、混雑した場所では、カメラ・インタフェース・ファンクション１２が、テレビ電話装置２４の視野内に存在する混雑した人々の一人をユーザとして誤って識別してしまう場合が考えられる。

顔検出と顔認識の少なくともいずれかの代わりに、あるいは、顔検出と顔認識の少なくともいずれかに加えて、身体的特徴と、（顔、首、肩、上半身のような）身体部分との少なくともいずれかの識別に基づいて、ユーザがタッチスクリーン１４と対面しているか否かの判定を行うようにしてもよい。一実施形態では、カメラ・インタフェース・ファンクション１２はシルエット検出アルゴリズムを利用して、テレビ電話用カメラ２４が生成したビデオ信号の分析を行うようにすることも可能である。例えば、ユーザは、タッチスクリーン１４を見ている間、ユーザの顔から離れた方向へカメラを傾斜させる場合がある。あるいは、ユーザは、ユーザの顔の正面の中心に直接カメラが位置しないようにカメラを配置する場合もある。このように、ユーザの身体的特徴と身体部分の少なくともいずれかを識別することによって、ユーザの顔が回転したり、テレビ電話用カメラ２４の視野の光軸に対して相対的な角度を成していたりするときであっても、カメラ・インタフェース・ファンクション１２はユーザを検出可能である。

ユーザがタッチスクリーン１４と対面しているかどうかの判定のために別の技術を採用してもよいことは理解されよう。例えば、テレビ電話用カメラ２４が生成したビデオ信号に基づいて、カメラ・インタフェース・ファンクション１２は、顔の表情、目の形状、口の形状、目の動き、ユーザの目の周りの肌の変化、目の特徴等を測定して、ユーザがテレビ電話用カメラ２４と対面しているか、従って、タッチスクリーン１４と対面しているかどうかの判定を図るようにすることも可能である。さらに、あるいは代替例において、カメラ・インタフェース・ファンクション１２は、テレビ電話用カメラ２４が生成したビデオ信号を分析して、特徴的に人間のものであり、従って、テレビ電話用カメラ２４の視野内に在るユーザの存在を示す、画像フィールド内で動いている被写体の識別が可能となる。上記とは別に、ビデオ信号により取り込まれた被写体がテレビ電話用カメラ２４の所定量の視野を占めたとき、テレビ電話用カメラ２４が生成したビデオ信号に基づいて、カメラ・インタフェース・ファンクション１２は、ユーザがタッチスクリーン１４と対面している旨の判定を行うことができる。例えば、ユーザがタッチスクリーン１４を見るとき、ユーザの顔は、通常テレビ電話用カメラ２４の視野の大部分（例えば半分以上）を占めることになる。なぜなら、ユーザがテレビ電話用カメラ２４のもっとも近くにある被写体であるからである。

ユーザが画像フィールド内に存在している被写体として検出されたか否かに基づいて、カメラ・インタフェース・ファンクション１２は、タッチスクリーン１４が動作するモードを制御することができる。一実施形態では、ユーザがカメラ１６と対面している被写体として検出されなかった場合は、例えば、タッチスクリーン１４上のすべてのタッチポイントをカメラ１６のシャッター機能のみの制御に関連付けることができる最適化カメラモードで動作するようにタッチスクリーン１４を設定することが可能である。一方、ユーザがカメラ・インタフェース・ファンクション１２により検出された場合、タッチスクリーン１４を設定して、例えば、タッチスクリーン１４上のタッチポイントをカメラ１６の種々の機能の制御に関連付けることができる通常カメラモードで動作できるようにすることも可能である。

以下の説明を通じて、ユーザ検出ベースの機能を備えたタッチスクリーン装置を用いて画像を取り込むための例示の技術について説明する。例示技術の説明を通じて、ソフトウェアの実行により部分的に実行可能なステップの説明が行われることを理解されたい。それらの各ステップは、当業者であるプログラマが記載の機能を実現するためのコードを作成する基盤を成すものである。そのため、簡潔さを旨としてコンピュータプログラムのリストについては割愛した。各ステップは、対応する機器で実行されるように構成されたアルゴリズムであると考えることができるものである。

また、電子装置１０をプログラムして、カメラ・インタフェース・ファンクション１２に関連付けられた論理機能を動作させ、かつ、この機能を実行する方法は、コンピュータプログラミングの当業者、及び、特に、カメラと、携帯電話機と、別の電子装置とのうちの少なくともいずれかのためにアプリケーションプログラミングを行う当業者には明らかである。従って、具体的なプログラミングコードに関する詳細については簡潔さを旨として省略した。また、実施形態に基づいて複数の機能が個々の処理装置により実行されるのに対して、上記のような機能はまた、専用のハードウェアやファームウェア、あるいは、ハードウェア、ファームウェア、ソフトウェアのうちの少なくともいずれかの何らかの組み合わせを介して実行することも可能である。

図４をさらに参照すると、カメラの操作中にタッチスクリーンの機能の変更を行う例示の方法を実行するための論理処理が示されている。この方法は例えば、カメラ・インタフェース・ファンクション１２が実行されることで動作可能となる。従って、図４のフローチャートは電子装置１０が実行する方法ステップを描いた図と考えることができる。図４は機能論理ブロックを実行するある特定の順序を示すものではあるが、このブロックを実行する順序は図示の順序に対して相互に変更してもよい。この論理処理は自動的に実行されるように構成されてもよいことは当業者であれば理解するであろう。さらに、ユーザインタラクションに基づいて作動可能又は作動不能するようにしてもよい。また、連続して示される２以上のブロックを同時に実行してもよいし、あるいは部分的に同時に実行してもよい。ある種のブロックは省くことも可能である。

図４に示されているように、カメラ１６のスイッチをオンにするユーザコマンドが受信されると、カメラ・インタフェース・ファンクション１２のための論理フローが、ブロック７０から開始することができる。ユーザは、例えば、電子装置１０のタッチスクリーン１４上の指定タッチポイントにタッチすることにより、カメラ１６のスイッチオン・コマンドを入力することができる。一実施形態では、タッチスクリーン１４のタッチ入力装置２０がユーザタッチ入力を受信し、コマンド信号を制御回路３６に提供する。このコマンド信号に応じて、制御回路３６はカメラ１６を起動し、受信したコマンドをカメラ・インタフェース・ファンクション１２に通知する。カメラ１６は、起動すると、電子ファインダの操作用としてディスプレイ１８に提供できるプレビュービデオ信号を生成する。

ブロック７２において、カメラ１６のスイッチをオンにするコマンドを受信したとき、カメラ・インタフェース・ファンクション１２はテレビ電話用カメラ２４のスイッチを自動的にオンにすることができる。テレビ電話用カメラ２４は、起動されると、テレビ電話用カメラ２４の視野内のシーンのある部分の動的に更新された表示を含むビデオ信号を生成するように構成されうる。カメラ・インタフェース・ファンクション１２はテレビ電話用カメラ２４が生成したビデオ信号を取得する。上記に示したように、テレビ電話用カメラ２４が生成したビデオ信号は、カメラ１６により生成され、かつ、電子ファインダ上に表示されるプレビュービデオ信号の視野から見て一般に対向する方向を有する視野を表すことができる。そのため、ユーザがテレビ電話用カメラ２４と対面していれば、テレビ電話用カメラ２４が生成したビデオ信号はユーザの表示を含むことができる。逆に、ユーザがカメラ１６と対面していれば、カメラ１６が生成したプレビュービデオ信号がユーザの表示を含むことができる。

ブロック７４において、カメラ・インタフェース・ファンクション１２のユーザ検出アルゴリズムにより、テレビ電話用カメラ２４が生成したビデオ信号が分析され、何らかの身体的特徴（顔その他の特徴等）を画像フィールド内で識別できるかどうかの判定を行う。身体的特徴が識別された場合は、ユーザが画像フィールド内に存在し、従って、ユーザが、例えば電子装置１０の顔の前面に位置するタッチスクリーン１４と対面していることを示すことができる。一方、識別可能な身体的特徴がなかった場合には、ユーザが画像フィールドの範囲内に存在せず、従ってユーザは、例えば、タッチスクリーン１４から見て電子装置１０の裏側にあるカメラ１６と対面していると判定することができる。

一実施形態では、カメラ・インタフェース・ファンクション１２が画像フィールド内のユーザの存在の特定を完了するまで、あるいは、ユーザが画像フィールド内に存在していない旨の判定が完了するまで、ブロック７４のユーザ検出処理を所定時間持続させてもよい。ブロック７４の判定を定期的更新するようにしてもよい。例えば、５秒毎又は５秒未満の間隔で、ユーザ検出処理を実行して、ユーザ検出判定の修正を行うようにしてもよい。また、ブロック７４のユーザ検出処理の実行に必要な時間を短くして、カメラ１６のスイッチをオンにするコマンド入力と、（通常カメラモード又は最適化カメラモード等の）カメラ１６の現在の動作モードに対応するタッチスクリーン１４上のグラフィカルユーザインタフェースの表示との間の遅延にユーザがほとんど気付かないか、全く気付かないようにすることも可能である。

ブロック７６において、身体的特徴が画像フィールド内に存在している旨の判定が行われた場合、タッチスクリーン１４を通常カメラモードで動作するように構成することによって、カメラ・インタフェース・ファンクション１２はタッチスクリーン１４の機能を制御することができる。一実施形態では、通常カメラモードで動作している間は、タッチスクリーン１４は、カメラ操作として一般的なシャッター機能、フラッシュ、ズーム量、合焦設定、その他の機能のうちの少なくともいずれかを含むカメラ１６の種々の機能を、ユーザに操作させることができる。カメラ・インタフェース・ファンクション１２は、ディスプレイ１８上に表示されたコンテンツを制御することができ、それによってカメラ１６の種々の機能の制御用グラフィカルユーザインタフェースがユーザに提示される。さらに、カメラ・インタフェース・ファンクション１２は、適当な表示されたコンテンツの形状及びサイズに基づいて、タッチスクリーン１４上でタッチポイントの形状及びサイズを制御することも可能である。そのため、タッチスクリーン１４が通常カメラモードで動作しているときは、所望のカメラ機能を表すように指定されたタッチスクリーン１４上の特定のポイントにユーザがタッチすることにより、複数のカメラ機能のうちの１つの機能を制御することができる。

ブロック７８において、身体的特徴が画像フィールド内に存在していない旨の判定が行われた場合、カメラ・インタフェース・ファンクション１２は最適化カメラモードで動作するようにタッチスクリーン１４を構成することによってタッチスクリーン１４の機能を制御することができる。一実施形態では、最適化カメラモードでの動作中、タッチスクリーン１４全体が、カメラ１６のシャッター機能を制御するためのタッチポイントとして機能する。例えば、カメラ・インタフェース・ファンクション１２は、ディスプレイ１８上に表示されたコンテンツの制御が可能であり、それによってシャッター機能のみの制御用グラフィカルユーザインタフェースがユーザに提示されるようになっている。さらに、カメラ・インタフェース・ファンクション１２は、タッチスクリーン１４の領域全体をカバーする唯一のタッチポイントを有するようにタッチスクリーン１４を構成することができる。従って、タッチスクリーン１４が最適化カメラモードで動作するとき、ユーザは（例えば目で見ることなく）「手探りで」タッチスクリーン１４上の任意の領域にタッチすることによりシャッター機能の制御を行うことが可能である。

図５をさらに参照すると、一実施形態においては、最適化カメラモードで動作している間は、ユーザタッチ入力を介して、シャッター機能に加えて、（フラッシュのオン／オフ、ビデオ／カメラモード等の）１つ以上のカメラ機能を制御できるようタッチスクリーン１４を構成するように、カメラ・インタフェース・ファンクション１２が構成されうる。図５に示されるように、タッチ入力装置２０はいくつかのタッチゾーン（８０、８２、８４等）に分割された表面領域を含んでいると考えることができ、この実施形態では、個々のタッチゾーンは、特定のカメラ機能に関連付けられたユーザ入力を受信するように構成されている。例えば、シャッター機能の制御に関連付けられたタッチポイントを含むものとして１つ以上のタッチゾーン（８０等）を指定することが可能である。さらに、１つ以上の追加のカメラ機能の制御に関連付けられたタッチポイントを含むものとして、１つ以上のタッチゾーン（８２、８４等）を指定することができる。図５は電子装置１０の実施形態を示し、この実施形態では、タッチ入力装置２０の表面領域は、シャッタータッチゾーン８０、フラッシュタッチゾーン８２、及びカメラ／ビデオタッチゾーン８４に分割されている。図示されているように、シャッタータッチゾーン８０は残りのタッチゾーン８２、８４よりも実質的に広いゾーンとする。これによって、タッチスクリーン１４を介して別のカメラ機能を制御できる場合であっても、ユーザはシャッタータッチゾーン８０の所在位置を容易に特定することが可能である。例えば、シャッタータッチゾーン８０は、タッチ入力装置２０の表面領域の少なくとも４分の３を占めるようにするとよい。

これらタッチゾーンの各々は、テキスト、画像、シンボルの少なくともいずれか又はこれらの任意の組み合わせによりラベル付けを行うことが可能であり、関連付けられたカメラ機能が特定されるようになっている。また、これらのラベルはカメラ機能の現在の設定を示すことも可能である。例えば、表示テキストは、フラッシュタッチゾーン８２においてフラッシュがオンとオフのいずれになっているかを示すことができる。さらに、カメラ／ビデオタッチゾーン８４においては、表示テキストは、カメラ１６がスチルカメラモードとビデオカメラモードのいずれのモードで動作しているかを示すことができる。一実施形態では、カメラ１６がビデオモードで動作している間は、フラッシュタッチゾーン８２がタッチスクリーン１４から消えるようにしてもよい。例えば、フラッシュタッチゾーン８２は、カメラ／ビデオタッチゾーン８４にマージされ、カメラ１６のカメラ／ビデオモードの制御に関連付けられたユーザ入力を受け付けるための１つのタッチゾーンを形成するようにしてもよい。カメラ１６が元のスチルカメラモードに変更されると、フラッシュタッチゾーン８２はタッチスクリーン１４上に再び現れる。

カメラ１６のカメラ機能のうちの任意の機能又は電子装置１０の他の任意の動作にタッチスクリーン１４のタッチゾーンの各々を関連付け得ることは理解されよう。さらに、タッチゾーンは、タッチスクリーン１４の寸法の範囲内の任意の形状又はサイズであってもよく、図５に示されるタッチゾーン８０、８２及び８４の特定の特徴のみに限定されるわけではない。一実施形態では、所定のタッチゾーンの形状及びサイズは、タッチゾーンを表すラベルの形状及びサイズに応じて決めることができる。専ら例示を目的として、タッチゾーン８０、８２及び８４の境界部分を示すために点線が用いられているが、ユーザに提示されるグラフィカルユーザインタフェースの一部としてこれらの点線が表示されなくてもよいことは理解されよう。

一実施形態では、タッチスクリーン１４上に提示される１つ以上のカメラ機能に対応するタッチポイントにおいてユーザ入力を受信したとき、カメラ・インタフェース・ファンクション１２は、対応するカメラ機能に関する情報をユーザに対して言語の形で提示する（例えば話す）ようにしてもよい。上述したようにユーザ入力はタッチ入力であってもよい。さらに、あるいは、代替例において、タッチ入力装置２０は、タッチポイントの上方又はタッチポイントの近くで行われる指のホバリングをユーザ入力として認識するように構成されてもよい。例えば、スピーチアプリケーションのためにテキストを用いることにより言語の形での情報の提示が行われるようにしてもよい。（ルックアップテーブル等の）データベースを構成して、タッチスクリーン１４上の個々のタッチポイントに関連するカメラ機能情報を含むようにしてもよい。このカメラ機能情報は、例えば、（フラッシュ等の）カメラ機能の名称と、（フラッシュのオン／オフ等の）カメラ機能に関連付けられたオプションとの少なくともいずれかを含むようにしてもよい。特定のタッチポイントにおいてユーザ入力を受信したとき、カメラ・インタフェース・ファンクション１２は、選択されたタッチポイントに関連付けられたカメラ機能情報を検索すると共に、スピーチアプリケーションに対するテキストへこの情報を提供することができる。例えば、フラッシュタッチゾーン８２内に指を置くと、ユーザは「フラッシュ・オン」という言葉を聞くことができ、それによって、カメラ１６のフラッシュのスイッチオンがユーザへ示される。同様に、カメラ／ビデオタッチゾーン８２内に指を置くと、ユーザは「カメラモード」という言葉を聞くことができ、それによって、カメラ１６がスチルカメラモードで動作していることがユーザへ示される。従って、カメラ・インタフェース・ファンクション１２は、ディスプレイ１８を見ることなく、タッチスクリーン１４上に提示されるカメラ機能間でのユーザによるナビゲーションを可能にすることができる。これにより、ユーザがタッチスクリーン１４に手探りでアクセスすることが更に容易になる。

いくつかの状況において、ユーザが、最適化カメラモードでのタッチスクリーン１４の使用を所望しない場合、及び、最適化カメラモードが不要でテレビ電話用カメラ２４のスイッチをオフしてバッテリ電力の低減することを望む場合、の少なくともいずれかの場合が考えられる。一実施形態では、カメラ操作の制御時にさらに大きな柔軟性をユーザに与えるために、カメラ１６の起動に際して、タッチスクリーン１４は、通常のカメラ操作とユーザ検出ベースのカメラ操作との間で選択を行うオプションをユーザに提供するグラフィカルユーザインタフェースを自動的に提示することができる。通常のカメラ操作中に、電子装置１０が本明細書に記載のようにカメラ・インタフェース・ファンクション１２のユーザ検出技術を使用しない場合があり、従って、さらなるユーザ入力が受信されるまで、テレビ電話用カメラ２４が起動されなくなる場合が考えられる。一方、ユーザ検出ベースのカメラ操作においては、本明細書に記載のユーザ検出技術を実行するために、電子装置１０はテレビ電話用カメラ２４を自動的に起動させることができる。上記とは別に、あるいは、上記に加えて、ユーザは、メニュー項目のリストからオプションを選択することにより、カメラ１６を使用している間いつでも通常のカメラ操作とユーザ検出ベースのカメラ操作との間で切り替えることが可能である。

一実施形態では、上記のユーザ検出技術に加えて、カメラ１６が生成したプレビュービデオ信号が、カメラ・インタフェース・ファンクション１２により分析されると共に、ユーザが実際にカメラ１６と対面し、かつ、ディスプレイ１８には対面していないことの確認又は検証を行うようにすることができる。例えば、図４のブロック７４において、テレビ電話用カメラ２４が生成したビデオ信号の分析に基づいて、カメラ・インタフェース・ファンクション１２は、テレビ電話用カメラ２４の画像フィールド内において識別可能な身体的特徴が存在しない旨の判定を行うことが可能であり、この判定によって、ユーザがディスプレイ１８と対面していないことが示される。本実施形態によれば、カメラ・インタフェース・ファンクション１２はまた、カメラ１６が生成したプレビュービデオ信号の分析を行って、身体的特徴がカメラ１６の画像フィールド内において識別され得るかどうかの判定を行うようにすることも可能である。カメラ１６の画像フィールド内の身体的特徴を識別することにより、ユーザがディスプレイ１８と対面しておらず、カメラ１６と対面している旨の確認を行うことができる。従って、対向する視点から得られる２つの異なるビデオ信号にユーザ検出処理の基礎を置くことにより、カメラ・インタフェース・ファンクション１２は、ユーザが、例えば実際にカメラ１６を用いて自身の写真撮影を試みている旨の検証を行うことができる。

ユーザがテレビ電話用カメラ２４の視野内に存在せず、しかも、タッチスクリーン１４が通常カメラモードで動作しているとき、利用可能な豊富な機能を備えたユーザインタフェースをユーザが閲覧し、かつ、このユーザインタフェースへのアクセスを所望するような状況では、上記の実施形態は望ましいものと考えられる。例えば、電子装置１０がユーザの頭部の上方に保持されているとき、ユーザの身体的特徴がテレビ電話用カメラ２４の視野内に存在しなくなる場合が考えられるが、それでも、電子装置１０の下方にあるユーザの観点から見ると、タッチスクリーン１４上に表示されたカメラユーザインタフェースを目で見、かつ、アクセスすることも依然可能である。このような状況において、ユーザは、シャッター機能のみが利用可能となる最適化カメラモードではなく、通常カメラモードでタッチスクリーン１４に動作させる方を選ぶようにすることも可能である。カメラ１６のビデオ信号とテレビ電話用カメラ２４のビデオ信号の双方の信号を分析することにより、カメラ・インタフェース・ファンクション１２は、ユーザがカメラの視野内のどこにも存在しない旨の判定を行うことが可能である。この判定に基づいて、カメラ・インタフェース・ファンクション１２は、通常カメラモードで動作するようタッチスクリーン１４を設定することができる。

別の実施形態では、カメラ・インタフェース・ファンクション１２は、顔認識技術を利用して、ユーザがカメラ１６の視野内に存在する旨の確認を行うようにしてもよい。例えば、カメラ・インタフェース・ファンクション１２は、カメラ１６が生成したプレビュービデオ信号の分析を行って、カメラ１６の視野内の被写体をユーザの顔として認識することが可能であるかどうかの判定を行うようにすることも可能である。ユーザ検出処理の一部として顔認識を利用して、混雑した人々の一人をユーザとして誤って識別しない旨の保証をする方が混雑した場所では望ましい場合もある。また、本実施形態は、ユーザがテレビ電話用カメラ２４の視野内に存在しない場合、カメラ・インタフェース・ファンクション１２が、ユーザを撮影対象の被写体として識別しないようにすることも可能である。

一実施形態では、タッチスクリーン１４が最適化カメラモードで動作するとき、カメラ・インタフェース・ファンクション１２は、カメラ１６のビデオ録画機能を制御するためのタッチポイントとしてタッチスクリーン１４全体を機能させることが可能である。例えば、ユーザは、タッチスクリーン１４上の任意の領域にタッチすることによって自身を撮影するビデオの録画を開始できると共に、タッチスクリーン１４に再度タッチすることによりビデオの録画を停止することができる。従って、例えばセルフポートレートの取り込みを容易にするための本願に記載のこれらの技術はまた、例えば「セルフビデオ」や別のビデオの録画を容易にするように適用され得るものであるが、その場合、ユーザはタッチスクリーン１４を見たり、ビデオ録画機能に関連付けられたタッチポイントの所在位置を別様に確かめたりすることはできない。

要約すると、本開示は、タッチスクリーン機能を備えた電子装置１０を用いて写真撮影のための改善された技術を提供する。本明細書に記載のように、この改善された技術は、ユーザが、関連付けられたタッチポイントの所在位置を確かめるためにタッチスクリーン１４を見ることができない状況において、ユーザがタッチスクリーン１４上でシャッター機能に簡単にアクセスできるようにする。さらに、本開示は、写真とビデオの少なくともいずれかを一般的な方法で撮影する際に、例えば、カメラ１６と対面しているとき、ユーザが自身の写真の迅速かつ簡単な撮影を可能にしながら、タッチスクリーン１４と対面しているときなどに、豊富な機能を備えたカメラメニューへのユーザによるアクセスを可能にするものである。従って、本明細書に記載のように、カメラ１６を用いて画像を取り込む際に、タッチスクリーン１４の機能は、ユーザの操作上のニーズを満たすように自動的に構成される。

以上、好ましい実施形態を図示し、説明したが、本明細書を読み、理解するならば、添付の特許請求の範囲に属する均等物及び変更が当業者に想起されることは理解されよう。

Claims (15)

1. 電子装置であって、
   第１のカメラであって、該第１のカメラの視野内のシーンの少なくとも一部の表示を含むビデオ信号を生成する第１のカメラと、
   前記第１のカメラの視野とは逆向きの視野を有する第２のカメラであって、該第２のカメラのシャッター機能の制御に関連付けられたユーザ入力を受信したとき、前記第２のカメラの視野内のシーンの少なくとも一部を表す画像を取り込む第２のカメラと、
   前記第１のカメラから前記ビデオ信号を取得し、該ビデオ信号を分析して、前記電子装置のユーザの１以上の身体的特徴が前記第１のカメラの視野内に存在するか否かを判定するコントローラと、
   前記第１のカメラの視野と同じ向きに設けられたタッチスクリーンであって、前記コントローラと動作可能に結合され、前記タッチスクリーンの表面領域上においてユーザ入力を受信するための１以上のタッチポイントを含むように構成され、各タッチポイントが前記第２のカメラの複数の機能のうちのそれぞれの機能の制御に関連付けられているタッチスクリーンと、
   を有し、
   前記コントローラは、前記ユーザの身体的特徴が前記第１のカメラの視野内に存在しないと判定したときは、前記タッチスクリーンの表面領域の主要部分を、前記第２のカメラの前記シャッター機能を制御するためのタッチ入力部として動作するように構成することを特徴とする電子装置。
2. 前記コントローラは、前記ユーザの身体的特徴が前記第１のカメラの視野内に存在しないと判定したときは、前記タッチスクリーンの表面領域全体を、前記シャッター機能を制御するためのタッチ入力部として動作するように構成することを特徴とする請求項１に記載の電子装置。
3. 前記コントローラは、前記ユーザの身体的特徴が前記第１のカメラの視野内に存在しないと判定したときは、前記タッチスクリーンの表面領域の主要部分を、前記シャッター機能を制御するためのタッチ入力部として動作するように構成し、前記タッチスクリーンの表面領域の残りの部分を、所定のカメラ機能に関連付けられたタッチポイントの選択を含むように構成することを特徴とする請求項１に記載の電子装置。
4. 前記タッチスクリーンの各タッチポイントに関連するカメラ機能情報を含むデータベースを更に有し、
   選択されたタッチポイントにおいてユーザタッチ入力を受信したとき、該選択されたタッチポイントに関連付けられた前記カメラ機能情報が前記ユーザに対して言語の形で提示されることを特徴とする請求項３に記載の電子装置。
5. 前記コントローラは、前記ユーザの身体的特徴が前記第１のカメラの視野内に存在すると判定したときは、前記タッチスクリーンを、前記第２のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成することを特徴とする請求項１に記載の電子装置。
6. 前記ユーザの身体的特徴は、前記ユーザの１以上の顔の特徴を含むことを特徴とする請求項１乃至５のいずれか１項に記載の電子装置。
7. 過去に取得した、前記ユーザの１以上の顔の特徴を含むユーザ識別情報を格納するメモリを更に有し、
   前記コントローラは、前記顔の特徴が前記第１のカメラの視野内に存在していると判定したときは、前記ユーザ識別情報を前記メモリから読み出して、前記第１のカメラの視野内に存在している前記顔の特徴について、前記ユーザ識別情報の中に含まれている前記１以上の顔の特徴と一致するものがあるか否かを判定することを特徴とする請求項６に記載の電子装置。
8. 一致が得られなかった場合、前記コントローラは、前記タッチスクリーンの表面全体を、前記シャッター機能の制御に関連付けられた前記１以上のタッチポイントとして動作するように構成することを特徴とする請求項７に記載の電子装置。
9. 前記タッチスクリーンの下に配置されたディスプレイを更に有し、該ディスプレイは、前記第２のカメラの視野内のシーンの少なくとも一部の表示を含むプレビュービデオ信号を表示するファインダとして構成され、
   前記コントローラは、前記プレビュービデオ信号を分析して、前記ユーザの１以上の身体的特徴が前記第２のカメラの視野内に存在するか否かを判定する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の電子装置。
10. 前記コントローラは、前記ユーザの身体的特徴が前記第１のカメラの視野内に存在せず、かつ、前記ユーザの身体的特徴が前記第２のカメラの視野内に存在すると判定したときは、前記タッチスクリーンの表面全体を、前記シャッター機能の制御に関連付けられた前記１以上のタッチポイントとして動作するように構成することを特徴とする請求項９に記載の電子装置。
11. 前記コントローラは、前記ユーザの身体的特徴が前記第１のカメラの視野内に存在せず、かつ、前記ユーザの身体的特徴が前記第２のカメラの視野内にも存在しないと判定したときは、前記タッチスクリーンを、前記第２のカメラのそれぞれの機能の制御に関連付けられた複数のタッチポイントを含むように構成することを特徴とする請求項９に記載の電子装置。
12. 過去に取得した、前記ユーザの１以上の顔の特徴を含むユーザ識別情報を格納するメモリを更に有し、
    前記コントローラは、前記ユーザの身体的特徴が前記第２のカメラの視野内に存在すると判定したときは、前記ユーザ識別情報を読み出して、前記第２のカメラの視野内に存在している前記ユーザの身体的特徴について、前記ユーザ識別情報に含まれている前記１以上の顔の特徴と一致するものがあるか否かを判定し、
    一致が得られた場合、前記コントローラは、前記タッチスクリーンの表面全体を、前記シャッター機能の制御に関連付けられた前記１以上のタッチポイントとして動作するように構成する
    ことを特徴とする請求項９に記載の電子装置。
13. 前記コントローラは、前記第２のカメラの動作開始を要求するユーザコマンドを受信すると、前記第１のカメラの動作、及び、該第１のカメラによって生成された前記ビデオ信号の分析を自動的に開始することを特徴とする請求項１乃至１２のいずれか１項に記載の電子装置。
14. 第１のカメラと、第２のカメラと、タッチスクリーンとを備えた電子装置のタッチスクリーン機能を変更する方法であって、
    前記第２のカメラの視野とは逆向きの視野を有する前記第１のカメラの視野内のシーンの少なくとも一部の表示を含むビデオ信号を取得するステップと、
    前記ビデオ信号を分析して、前記電子装置のユーザの１以上の身体的特徴が、前記タッチスクリーンと同じ向きに設けられた前記第１のカメラの視野内に存在するか否かを判定するステップと、
    前記ユーザの身体的特徴が前記第１のカメラの視野内に存在しないと判定されたとき、前記タッチスクリーンの表面領域の主要部分を、前記第２のカメラの視野内のシーンの少なくとも一部を表す画像を取り込むべく前記第２のカメラのシャッター機能を制御するためのタッチ入力部として動作するように構成するステップと、
    を有し、
    前記タッチスクリーンは、該タッチスクリーンの表面領域上へのユーザ入力を受信するための１以上のタッチポイントを有し、各タッチポイントは、前記第２のカメラの複数の機能のうちの個々の機能の制御に関連付けられている
    ことを特徴とする方法。
15. 前記ユーザの身体的特徴が前記第１のカメラの視野内に存在しないと判定されたとき、前記タッチスクリーンの表面領域全体を、前記シャッター機能の制御に関連付けられた前記少なくとも１つのタッチポイントとして動作するように構成するステップを更に有することを特徴とする請求項１４に記載の方法。

Images