JP5498573B2 - ディスプレイを含む携帯電子機器、及び該機器の制御方法 - Google Patents

ディスプレイを含む携帯電子機器、及び該機器の制御方法 Download PDF

Info

Publication number
JP5498573B2
JP5498573B2 JP2012511153A JP2012511153A JP5498573B2 JP 5498573 B2 JP5498573 B2 JP 5498573B2 JP 2012511153 A JP2012511153 A JP 2012511153A JP 2012511153 A JP2012511153 A JP 2012511153A JP 5498573 B2 JP5498573 B2 JP 5498573B2
Authority
JP
Japan
Prior art keywords
display
user
user position
estimating
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012511153A
Other languages
English (en)
Other versions
JP2012527666A (ja
Inventor
ラーソン、ボ
アンドレアソン、マルクス
Original Assignee
ソニーモバイルコミュニケーションズ, エービー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーモバイルコミュニケーションズ, エービー filed Critical ソニーモバイルコミュニケーションズ, エービー
Publication of JP2012527666A publication Critical patent/JP2012527666A/ja
Application granted granted Critical
Publication of JP5498573B2 publication Critical patent/JP5498573B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • G09G2330/022Power management, e.g. power saving in absence of operation, e.g. no data being entered during a predetermined time
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Description

本発明は、ディスプレイを含む携帯電子機器、及び該機器の制御方法に関する。また、本発明は、コンピュータ上で実行された場合に、該コンピュータに上記方法を行わせるように構成された命令を含むコンピュータ・プログラムに関する。上記ディスプレイは、特に、ユーザに三次元効果を与えるために用いてもよいが、本発明はそれに限定されない。更に、上記携帯電子機器は、特に、携帯電話であってもよいが、本発明はそれに限定されない。
ユーザと基地局間の無線通信を提供するためなど、様々な用途に、携帯電子機器が用いられている。そのような機器のディスプレイに表示すべき情報が増えれば増えるほど、該ディスプレイを見ているユーザに対して、表示されているものが三次元であるという印象を与えることが有効になる。
欧州特許出願公開第1667471号明細書は、三次元効果を有する画像をユーザに与えるためのディスプレイを備える携帯通信装置に関する。特に、欧州特許出願公開第1667471号明細書のある実施形態は、携帯通信装置の移動を感知するための加速度計の使用に関する。
コンピュータ・リソース及びバッテリ電力の使用の観点から、ユーザに与える視覚効果の精度を落とすことなく、該視覚効果の効率を上げるための携帯電子機器、該機器の制御方法、及びコンピュータ・プログラムを提供することが望ましい。
上記目的を達成するために、又は上記目的の少なくとも1部を達成するために、本発明に係る携帯電子機器、方法、及びコンピュータ・プログラムが、独立項に定義されている。また、好適な実施形態が、従属項に定義されている。
本発明の一実施形態によれば、上記携帯電子機器は、ディスプレイと、ユーザ位置推定部と、ディスプレイ移動推定部と、を備える。ユーザ位置推定部は、ユーザ位置と呼ばれる、ディスプレイに対するユーザの位置を推定するように構成されている。ディスプレイ移動推定部は、ディスプレイの移動と呼ばれる、ディスプレイの移動を推定するように構成されている。機器は、第1の時点で、ユーザ位置推定部を用いて、初期ユーザ位置と呼ばれるユーザ位置を推定するように構成されている。機器は、さらに、第1の時点の後の期間に、ディスプレイ移動推定部を用いてディスプレイの移動を推定し、該ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツを制御するように構成されている。
これにより、できるだけ少ないコンピュータ・リソース及び/又はバッテリ電力の消費を目指すと同時に、ディスプレイの移動及びディスプレイに対するユーザ位置に基づいて、効率的に表示コンテンツを制御することが可能となる。これらの効果は、特に、表示コンテンツの制御が、ディスプレイ上に三次元の視覚効果を生成することを含む場合に得られる。しかし、本発明は、そのような表示コンテンツの制御に限定されない。他の初期ユーザ位置及びディスプレイの移動に基づいたディスプレイ制御動作も、本発明の範囲に含まれる。
ここで、ディスプレイに対するユーザ位置を推定することは、以下のように広く解釈される。
本発明の一実施形態によれば、ディスプレイに対するユーザ位置を推定することは、ディスプレイに取り付けられた参照用物理フレーム(すなわち、座標系又は1組の軸)に対するユーザの位置を推定することを意味する。ディスプレイが、機器に対して移動することができない場合は、すなわち、ディスプレイが、例えば、機器内に一体形成されている場合は、機器に取り付けられた参照用物理フレームと、ディスプレイに取り付けられた参照用物理フレームは同一である。よって、本実施形態において、ユーザ位置は、ディスプレイに対するユーザ、特にユーザの顔の、三次元デカルト座標系上の位置であってもよい。また、ユーザ位置は、本発明の範囲を逸脱しない限りにおいて、他の種類の三次元座標系により表されてもよい。他の三次元座標系は、例えば、円筒座標系及び球面座標系を含む。
本発明の他の実施形態によれば、ディスプレイに対するユーザ位置を推定することは、ユーザとディスプレイ間の距離を推定することなく、ディスプレイに対して垂直な軸に対するユーザ、特に、ユーザの顔の角度位置を推定することを意味する。よって、本実施形態において、ユーザ位置は、ディスプレイに対するユーザ、特に、ユーザの顔の位置を示す2つの角度によって表わされてもよい。
本発明の更なる実施形態によれば、ディスプレイに対するユーザ位置を推定することは、ディスプレイに対して垂直な軸に対するユーザの角度位置を推定することなく、ユーザとディスプレイ間の距離を推定することを意味する。本実施形態において、ユーザ、特に、ユーザの顔がディスプレイからどのくらい離れた位置にあるかが、表示コンテンツを制御するためのユーザ位置として用いられる。
本発明の一実施形態によれば、ディスプレイに対するユーザ位置を推定することは、機器のカメラにより撮像された画像内のユーザの顔の位置を推定することを意味する。言い換えれば、本実施形態において、ユーザ位置は、撮像画像内、すなわち、機器のカメラにより撮像された画像に関する二次元座標系内のユーザの顔の位置である。
ここで、ディスプレイの移動を推定することは、機器及びユーザ共に共通である参照用物理フレームに対する、ディスプレイの動きの割合を推定することを意味する。この共通の参照用物理フレーム内では、ディスプレイとユーザの両方が移動することができる。ユーザは、ディスプレイを含む機器を手に持ってもよいし、持たないでもよい。上記電子機器は、ユーザ、特に、ユーザの手で持ち運びができる点において、携帯型である。
初期ユーザ位置である、第1の時点で推定されたユーザ位置は、ユーザと携帯電子機器の相対位置及び向きを調整するために用いられる。その後、第1の時点の後の期間に、ディスプレイの移動を推定することにより、当該期間中に、機器とユーザの相対位置及び向きが更新される。これは、ユーザの位置と向きはたいてい実質的に一定であるため、又は、少なくとも該期間中はユーザの移動量は機器及びそのディスプレイの移動量と比べて少ないため、たいていうまくいく。
ディスプレイの移動を推定することは、たいてい、ディスプレイに対するユーザ位置を推定するよりも、少ないコンピュータ・リソース及びバッテリ電力を消費する。よって、初期ユーザ位置を推定し、第1の時点の後の期間に、該初期ユーザ位置を、表示コンテンツを制御するための基準として用いることにより、機器は、機器内のコンピュータ・リソース及び/又はバッテリ電力を概して効率的に利用することになる。
例えば、ディスプレイとユーザの互いの相対位置及び向きを知ること、及び、上記期間内に該相対位置及び向きを更新することにより、ディスプレイ上に効率的且つ正確に三次元効果を生成することが可能となる。つまり、例えば、ユーザが、(ディスプレイを含む)機器を、ユーザの腕に沿った軸に対して左方向に回転させた場合、表示コンテンツは、ディスプレイ上に表示されたオブジェクトがあたかも左方向に回転されたかのように修正される。よって、本発明は、単一のディスプレイを用いてより多くの情報を与えることができることから、改良されたユーザ・インターフェースの制御を提供する。
第1の時点は、条件が満たされていることに基づいて決めてもよい。該条件は、表示コンテンツによって決まってもよい。例えば、情報を与える際に、表示コンテンツ中に三次元効果又は他の視覚効果を生成することが、ユーザ・インターフェースの効率を上げるのに有用であることが判断される。代わりに、又は更に、該条件は、機器の向きによって決まってもよい。例えば、機器のスイッチがオンになったとき又は機器が電話を受けた時等に機器の特定のキーが押された場合に、ユーザ位置推定部が起動される。更に、該条件は、ユーザの顔が機器に対して特定の位置にあることを検出することによって決まってもよい。つまり、ユーザ位置推定部は、ある期間中に使用してもよく、ユーザの顔が機器に対して特定の位置にあることが判断されるとすぐに、この判断がなされた時点が、第1の時点であると判断される。
第1の時点の後の期間の開始と終了も、条件が満たされていることに基づいて決められてもよい。また、該期間の開始と終了は、携帯機器に格納されているパラメーターに基づいて予め決められていてもよい。
本発明の一実施形態によれば、上記機器は、携帯電話、音楽プレーヤー、ディスプレイを含むカメラ、ナビゲーション装置、電子書籍装置、コンピュータ、携帯コンピュータ、パーソナル・デジタル・アシスタント、ゲーム機、及び携帯ゲーム機のうち少なくとも1つである。
本発明の一実施形態によれば、機器は、第1の時点の後の期間に、ユーザ位置を推定しないように構成されている。
本発明の一実施形態によれば、機器は、さらに、第1の時点の後の第2の時点において、新たな初期ユーザ位置と呼ばれるユーザ位置を推定するように構成されている。また、本実施形態において、機器は、第2の時点の後の期間に、ディスプレイの移動を推定し、該ディスプレイの移動及び新たな初期ユーザ位置に基づいて表示コンテンツを制御するように構成されている。
これにより、ユーザとディスプレイの互いの相対位置及び向きを得るために、第1の時点の後に新たにユーザ位置を推定することが可能となる。本発明の一実施形態によれば、ユーザ位置は、定期的に新たに推定される。つまり、本実施例は、初期ユーザ位置を推定するステップ、及びディスプレイの移動を推定し、該ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツを制御するステップを定期的に繰り返すことを暗示している。これにより、ユーザが大幅に移動した場合又は激しく頭を動かした場合に生じうるレンダリング・エラーを補償することができる。また、これにより、ディスプレイ移動推定部におけるエラーを測定することにより起こるドリフトを補償することができる。特に、表示コンテンツの制御が、ディスプレイ上に三次元の視覚効果を生成することを含む場合は、ユーザ位置の取得を定期的に繰り返すことにより、エラー・ドリフトを段階的に増大させることなく、連続的に表示コンテンツを適合させることができる。
本発明の一実施形態によれば、第1の時点と第2の時点の間の時間差は、1〜10秒である。
本発明の一実施形態によれば、機器は、更に、第2の時点の後の期間は、ユーザ位置が推定されないように構成されている。
本発明の一実施形態によれば、機器において、初期ユーザ位置及びディスプレイの移動に基づいて表示コンテンツを制御することは、初期ユーザ位置及びディスプレイの移動に基づいてディスプレイ上に三次元効果を生成することを含む。
本発明の一副実施形態によれば、機器は、さらに、初期ユーザ位置を推定する前に、ディスプレイの前にユーザが存在するか否かを判断し、ユーザが存在しないと判断された場合に、機器を、ディスプレイ上に三次元効果が生成されない非三次元モードに切り替えるように構成されている。本副実施形態によれば、ユーザが存在しないと判断された場合には、三次元効果は生成されないため、三次元効果を生成するために割り当てられたコンピュータ・リソースを使わないでとっておくことができる。
本発明の一実施形態によれば、機器は、ユーザ位置を推定する前に、ディスプレイの前に複数のユーザが存在するか否かを判断し、複数のユーザが存在すると判断された場合に、上記ユーザ位置を推定するステップのために、複数のユーザのうち1名を選択するように構成されている。
本発明の一実施形態によれば、機器において、上記複数のユーザのうち1名を選択するステップは、ディスプレイに最も近いユーザの顔を判断するステップと、ディスプレイから見て最も大きいユーザの顔を判断するステップと、ディスプレイの垂線に最も近いユーザの顔を判断するステップと、機器のカメラの視野の中心に最も近いユーザの顔を判断するステップと、上記複数のユーザのうち1名の顔が機器に登録されていると判断するステップのうち少なくとも1つに基づいて行われる。
上記複数のユーザのうち1名を選択するステップが、上記複数のユーザのうち1名の顔が機器に登録されていると判断するステップに基づいて行われる場合は、機器に顔が登録されているユーザに、ディスプレイに対する該ユーザの顔の方向に応じたディスプレイ・ベースのユーザ・インターフェースの特徴を効率的に提供することができる。よって、該ユーザに、ディスプレイを通じて、機器を適切に制御し、機器から情報を受け取る有利なユーザ・インターフェースの機能を提供することができる。
本発明の一実施形態によれば、機器は、さらに、カメラ、及びカメラの出力を用いるように構成されたユーザ位置推定部を含む。
本発明の一実施形態によれば、カメラは、ディスプレイの正面の環境から画像を撮像するように構成されている。本発明の一実施形態によれば、ユーザ位置推定部は、機器に含まれる2つ以上のカメラの出力を用いるように構成されている。
本発明の一実施形態によれば、上記カメラは、多点オートフォーカスを備え、ユーザ位置推定部は、最短の焦点距離がユーザ位置の推定であると判断することにより、カメラの出力を用いるように構成されている。
本発明の一実施形態によれば、機器におけるユーザ位置推定部は、ディスプレイに対するユーザの顔の位置を推定するよることにより、ユーザ位置を推定するように構成されている。
本発明の一実施形態によれば、機器におけるディスプレイ移動推定部は、ジャイロスコープ、1又は2以上の加速度計、及び電子コンパスのうち少なくとも1つを含む。例えば、三軸加速度計を用いてもよい。
本発明の一実施形態によれば、上記方法は、ディスプレイを含む携帯電子機器を制御するためのものである。該方法は、第1の時点で、初期ユーザ位置と呼ばれる、ディスプレイに対するユーザの位置を推定するステップと、第1の時点の後の期間に、ディスプレイの移動と呼ばれる、ディスプレイの移動を推定するステップと、該ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツを制御するステップと、を含む。
また、本発明は、コンピュータ上又は上記のような携帯電子機器上で実行された場合に、該コンピュータ又は該携帯電子機器に上記方法を行わせるように構成された命令を含む、コンピュータ・プログラムに関する。また、本発明は、そのようなコンピュータ・プログラムを記憶したコンピュータ可読媒体に関する。
本発明の実施形態を、以下の添付図面に沿って説明する。
図1は、本発明の一実施形態における携帯電子機器を模式的に示す図である。 図2a〜図2cは、本発明の一実施形態における機器のディスプレイが左方向に移動された場合に生じうる、立体効果の発生を模式的に示す図である。 図3は、本発明の一実施形態における携帯電子機器、及びその構成ユニットのいくつかを模式的に示す図である。 図4a〜図4cは、図3に示す機器のような、本発明の一実施形態における機器により行われるステップを示すフローチャートである。 図5は、本発明の一実施形態における機器により行われるステップであって、新たな初期ユーザ位置が推定されるステップを示すフローチャートである。 図6は、本発明の一実施形態における機器により行われるステップを示し、ディスプレイの前にユーザが存在するか否かを判断するステップを含むフローチャートである。 図7は、本発明の一実施形態において行われるステップであって、ディスプレイの前にユーザが存在するか否かが定期的に判断されるステップを模式的に示す図である。 図8は、本発明の一実施形態における機器により行われるステップを示し、ユーザの選択/優先順位付けステップを含むフローチャートである。
本発明を、詳細な実施形態を用いて説明する。以下の詳細な実施形態は、当業者が本発明をよりよく理解するのに役立つものであって、添付の請求項に定義される発明の範囲を限定するものではないことに留意されたい。
図1は、本発明の一実施形態における機器10を模式的に示す。機器10は、ディスプレイ12を含む。ディスプレイ12は、例えばタッチスクリーン機能を有する又は有さない液晶ディスプレイ(LCD)など、いかなる種類のディスプレイであってもよい。また、機器10は、2つ以上のディスプレイ12を含んでもよい。
図1において、機器10はアンテナと共に示されているが、機器10は必ずしも無線通信手段を備える必要はない。ある実施形態では、機器10は無線通信手段を備えている。別の実施例では、機器10は無線通信手段を備えていない。
図2a〜図2cは、本発明の一実施形態における機器10のディスプレイ12上で生じうる、立体効果の例を示す。図2a〜図2cは、特に、欧州特許出願公開第1667471号明細書の図3a〜図3cに相当する。ディスプレイ12が図2aから図2cへと連続的に傾けられた場合は、アイコン13aの影を示す新たなアイコン13bが出現し始める。これにより、ユーザに対し、深さの錯覚を起こすことができる。
ディスプレイ12上に生じうる三次元の視覚効果は、影の出現に限定されない。ある実施形態(図示せず)においては、三次元効果は、表示されるシーンに関する情報に基づいて、及び表示されるシーン内の複数の異なる箇所に関する深さ情報に基づいて、初期ユーザ位置及びディスプレイの移動に応じて、及び、場合によっては、ディスプレイ12とユーザの瞬間的な互いの相対位置及び向きに基づいて生成される。
初期ユーザ位置及びディスプレイの移動に基づいて表示コンテンツを制御することは、ディスプレイ12上に三次元効果を生成することに限定されない。他の種類の視覚効果がディスプレイ12上に生成されてもよい。
図3は、本発明の一実施形態における機器10、及びその構成要素のいくつかを模式的に示す。
機器10は、ディスプレイ12(図3では図示せず)に加えて、ディスプレイ12に対するユーザ位置を推定するように構成されたユーザ位置推定部14を含む。ユーザ位置推定部14は、特に、ディスプレイ12に対するユーザの顔の位置を推定するように構成されてもよい。また、機器10は、ディスプレイ12の移動を推定するように構成されたディスプレイ移動推定部16を含む。機器10は、第1の時点で、初期ユーザ位置と呼ばれるユーザの位置を推定するように構成されている。また、機器10は、第1の時点の後の期間に、ユーザ位置推定部14により推定された初期ユーザ位置と、ディスプレイ移動推定部16により推定されたディスプレイの移動に基づいて、ディスプレイの移動を推定し、表示コンテンツを制御するように構成されている。
図3には示していないが、初期ユーザ位置とディスプレイの移動に応じて表示コンテンツを制御するために、機器10内に制御部を設けてもよい。該制御部は、機器10の他の制御機能と一体化されてもよい。
第1の時点でユーザ位置を推定するためにユーザ位置推定部14を用いることと、第1の時点の後の期間に機器10の移動を追跡するためにディスプレイ移動推定部16を用いることにより、ユーザとディスプレイ12の互いの相対位置及び向きを追跡することが可能となる。また、追跡処理により、推定されたユーザとディスプレイ12の互いの瞬間的な相対位置及び向きを制御することが可能となる。また、ユーザ位置推定部14を永続的に動作させないことにより、コンピュータ・リソースとバッテリ電力を使わないでとっておくが可能となる。
ユーザ位置推定部14とディスプレイ移動推定部16を組み合わせて使用することにより、2つのユニットの利点を相乗的に組み合わせることができる。ディスプレイ移動推定部16は、ジャイロメータを含んでもよく、概して高い空間分解能と、広動作角(360度)と、少ないコンピュータ・リソースの使用と、低消費電流と、環境ノイズ耐性(例えば、変化する照明条件など)と、を提供する。
ジャイロメータを含んでもよいディスプレイ移動推定部16が単独で使用された場合は、ディスプレイ12に対するユーザ位置、すなわちユーザ・インターフェース「ゼロ位置」を、ある時点で固定しなければならない。これは、例えばユーザの視野がディスプレイ12に対して垂直であると判断されたときに行われ得る。そうでなければ、ユーザが機器10及びそのディスプレイを動かした場合に、ユーザ・インターフェースは、ユーザとディスプレイ12の相対位置及び向きを考慮しないことになる。ジャイロメータが単独で使用された場合も、ディスプレイ12に対するユーザ位置を検出することは不可能となり、ユーザが機器10を持ちながら移動したとしても、それを検出することはできない。
ユーザ位置推定部14は、カメラなどの撮像部、及び撮像画像中の顔を検出するためのユニットを含んでもよく、又はその出力を用いてもよいが、このユーザ位置推定部14の特徴は、概して限られた動作角を有し、(連続的にユーザの顔を検出し、ユーザの顔の位置を判断するために)概して膨大な量のコンピュータ・リソースを要する。また、これは、より多くのバッテリ電力を消費する。
ユーザ位置推定部14とディスプレイ移動推定部16を組み合わせることにより、表示コンテンツを制御するためにユーザとディスプレイ12の互いの推定相対位置を使用する際の精度と効果を上げることができる。
図4aは、機器10において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。まず、ステップs10において、時点t=tのユーザ位置が推定される。この推定されたユーザ位置は、初期ユーザ位置となる。次に、t=t〜t=tの期間(t≦t<t)であるステップs20において、ディスプレイの移動が推定され(ステップs22)、時点t=tで推定された初期ユーザ位置、及び現在推定されたディスプレイの移動に基づいて、表示コンテンツが制御される(ステップs28)。
図4bは、機器10において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。図4bは、図4aに示し、説明したステップの第1実施例である。ステップs10において、時点t=tのユーザ位置を推定して初期ユーザ位置を形成した後に、ステップs12において、該初期ユーザ位置に基づいて表示コンテンツが制御される。この段階の表示コンテンツの状態を、初期表示状態と呼ぶ。
次に、ステップs22においてディスプレイの移動を推定した後の、t=t〜t=tの期間(t≦t<t)において、上記初期表示位置及び推定されたディスプレイの移動に基づいて表示状態が更新される(ステップs24)。よって、ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツを制御するステップs28は、更新された表示状態に基づいて表示コンテンツを制御するステップにより実現される。更新された表示状態は、初期表示状態及びディスプレイの移動に基づいており(ステップs24を参照)、初期表示状態は、初期ユーザ位置に基づいているため(ステップs12)、更新された表示状態は、図4aに示したステップs28に準じ、ディスプレイの移動及び初期ユーザ位置に基づくことになる。
図4cは、機器10において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。図4cは、図4aに示し、説明したステップを実現する他の方法を示す。初期ユーザ位置を推定し(ステップs10)、ディスプレイの移動を推定した後(ステップs22)、該初期ユーザ位置及びディスプレイの移動に基づいてユーザ位置を更新するステップs26が行われる。これは、初期ユーザ位置から始まり、t〜tの期間のディスプレイの移動を積分して更新された推定ユーザ位置を形成し、ディスプレイ12に対するユーザの現在位置を推定することを含む。
その後、ステップs28において、更新されたユーザ位置に基づいて表示コンテンツが制御される。更新されたユーザ位置は、ステップs26において、初期ユーザ位置及びディスプレイの移動に基づいて計算されるため、図4cのステップs28は、図4aに示すステップs28を実現する1つの方法を構成する。
図5は、機器10において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。図4aを用いて説明した実施形態と比較すると、図5ではステップs30と及びs40が追加されている。ステップs20の後、時点t=t(t=0)において、ユーザ位置が推定される(ステップs30)。このステップにより、新たな初期ユーザ位置が生成される。その後、t=t〜t=t(t≦t<t)の間に、該新たな初期ユーザ位置及び推定された現在のディスプレイの移動に基づいて、ディスプレイの移動が推定され、表示コンテンツが制御される。
新たな初期ユーザ位置を推定する処理は、表示コンテンツを制御するために用いられるユーザ位置をリセットするために、定期的に(すなわち、一定の間隔で)行われてもよい。
新たな初期ユーザ位置を推定する処理は、一定の時間パターンに従うことなく繰り返されてもよい。つまり、新たな初期ユーザ位置を(ユーザ位置推定部14を用いて)推定することにより処理の調整を行う場合は、経過時間に基づく判断とは違った判断、又は、少なくともそのような判断のみには基づかない判断を行ってもよい。ある実施形態においては、ディスプレイの移動に基づいて行われる制御の精度の測定値を設けてもよい。そのような精度の測定値が閾値を下回った場合に、調整が開始され、第1の時点の後の期間が終わり、第2の時点又は調整時点とも呼ばれる、新たな第1の時点のスケジューリングに入る。この場合、ディスプレイの移動及び初期ユーザ位置に基づいて表示コンテンツの制御が行われる期間の長さは、動作毎に異なる。
図6は、機器10において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。ステップs10において、特に図4を参照して説明したようにユーザ位置を推定する前に、ステップs50が行われる。ステップs50においては、ディスプレイ12の前にユーザが存在するか否かが判断される。ディスプレイ12の前にユーザが存在すると判断された場合は、ステップs10及びs20が行われる。そうでなければ、すなわち、ディスプレイ12の前にユーザが存在しないと判断された場合は、機器10の表示コンテンツは、初期ユーザ位置及びディスプレイの移動に基づいて制御されない。
初期ユーザ位置及びディスプレイの移動に基づいて表示コンテンツを制御することが、初期ユーザ位置及びディスプレイの移動に基づいて三次元効果を生成することを含む、一実施形態においては、ステップs50においてディスプレイ12の前にユーザが存在しないと判断された場合は、機器10は非三次元モードに入り、表示される画像には三次元効果は付加されない(ステップs60、「非三次元モード」)。言い換えれば、顔が見えない場合は、バッテリ電力を節約するために、ユーザ位置推定部14への入力を供給するカメラのスイッチをオフしてもよく、また、コンピュータ・リソースを節約するために、二次元ユーザ・インターフェースが作動されてもよい。二次元モードは、ユーザの視野があたかもディスプレイ12に対して常に垂直であるかのような状態にされた、三次元ユーザ・インターフェースに相当する。
図7は、機器10において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。まず、処理の開始後(「開始」と書かれたボックス)、ステップs50において、ユーザがディスプレイ12と向き合っているか否かが検出(すなわち、判断)される。ステップs50は、ユーザの顔が見えるか否かを判断するために、機器10のカメラのスイッチをオンし、該カメラから得られる1又は2以上の画像に基づく顔検出方法を用いることを含んでもよい。
ユーザの顔が見える場合は、ステップs10においてユーザの位置が推定される。この推定は、顔検出方法を用いた顔の位置の計算を含んでもよい。また、この推定の直後に、この段階では(別の目的のために用いられない限り)必要ないかもしれないが、カメラのスイッチをオフしてもよい。これにより、バッテリー電力を節約することができる。そして、計算された顔の位置に従って、三次元のユーザ・インターフェース効果が生成されてもよい。その後、推定されたディスプレイの移動に基づいて、三次元効果が生成され続けてもよい(ステップs20)。このディスプレイの移動は、ジャイロメータを用いて推定されてもよい。
しかし、ステップs50においてカメラにより撮像された1又は2以上の画像の中に、ユーザが検出されない場合、つまり、顔が見えない又は検出できない場合は、カメラのスイッチをオフにして、2次元ユーザ・インターフェース・モードを用いてもよい(ステップs60、「非3次元モード」)。
一定の間隔で、カメラにより撮像された1又は2以上の画像の中に顔が見えるか否かを確認してもよい。この、一定の間隔で、カメラの前に顔が見えるか否かを判断するステップは、図7のステップs70及びs50に示されている。しかし、「待機」と書かれたステップs70は、何もせずにある時間待機することを意味するわけではないことが、理解されたい。これは、ユーザの存在を判断するステップs50が、前回ステップs50が実行されてからある時間が経過した後に、現在行われているステップs20又はs60と平行して行われること意味する。
一定の間隔で顔が見えるか否かを確認することは、以下の利点を有する。まず、ユーザが激しく頭を動かした場合に生じうるレンダリング・エラーを補償することができる。また、これにより、ジャイロメータを含んでもよいユーザ位置推定部14におけるエラーを測定することにより起こるドリフトを補償することができる。また、機器10が非三次元モードで動作している場合(ステップs60)、ディスプレイの前に顔が見えるか否かを一定の間隔で行うことにより、機器10を非三次元モードから、三次元効果を生成できる三次元モードに切り替えることが可能か否かを判断することができる。
上述したように、ユーザの顔が見えるか否かを判断するために、更には、ユーザの顔が見える場合にその位置を判断するために、顔検出方法を用いてもよい。顔検出方法の限定されない例としては、 K.C.Yow及びR.Cipollaによる「Enhancing Human Face Detection Using Motion and Aczive Contours,」Proc.Third Asian Conf. Computer Vision,pp.515−522,1998(顔特徴に基づく方法)、A.Rajagopalan,K.Kumar,J.Karlekar,R. Manivasakan,M.Patil,U.Desai,P.Poonacha,及びS.Chaudhuriによる「Finding Faces in Photographs,」 Proc.Sixth TEEE Int’1 Conf.Computer Vision,pp.640−645,1998(隠れマルコフモデルに基づく方法)、及びE.Osuna,R.Freund,及びF.Girosiによる「Training Support Vector Machines:An Application to Face Detection,」Proc.IEEE Conf.Computer Vision and Pattern Recognition,pp. 130−136,1997(サポートベクターマシンに基づく方法)に開示された方法が挙げられる。
図8は、機器10において行われるステップ、又は本発明の一実施形態における方法を示すフローチャートである。図8は、ディスプレイ12の前に2以上のユーザが存在するか否かを判断する点において、図7を参照して説明した機器10及び方法とは異なる。つまり、ステップs51において、ディスプレイ12の前に2以上のユーザが存在すると判断された場合は、ユーザ選択ステップs80が行われる。
ステップs80は、以下のようにして実現される。2以上の顔が検出された場合は、機器10は、カメラ及び顔検出認識方法を用いて三次元ユーザ・インターフェースのレンダリングを制御するのに、どの顔を用いるべきかの優先順位付けを行う。該優先順位付けは、例えば、顔の大きさに基づいて行ってもよい。つまり、最も大きい顔が機器10に最も近く、実際に機器10を使用しているユーザの顔である可能性が高い。また、該優先順位付けは、どのユーザがカメラの視野の中心に最も近く見えるかに基づいて行ってもよく、該ユーザは機器10を使用しているユーザである可能性が高い。視野内の異なるユーザ同士を区別するための更なる方法は、顔認識処理を行うことであってもよい。つまり、機器10の所有者の顔を事前に知っておいてもよく、そうすれば認識が可能となる。別のアプローチによれば、機器10のゲストユーザを登録し、優先順位付けを行ってもよい。
選択された方法の1つ又はその組み合わせが失敗した場合は、機器の動作は、上述したように(ステップs80〜ステップs60の矢印に示したように)、二次元、つまり、非三次元モードに戻される。また、複数のユーザの顔のうち1つの顔の選択が成功した場合には、(ステップs80〜ステップs10の矢印に示すように)ユーザ位置推定処理が行われる。
上述したように、視野内に検出された異なるユーザ同士を区別するために、顔認識方法を用いてもよい。顔認識方法の限定されない例としては、M.Turk及びA.Pentiandによる「Eigenfaces for Recognition,」J.Cognitive Neuroscience,vol.3,no.1,pp.71−86,1991(固有顔に基づく方法)、P.Viola,M.J.Jonesによる「Robust Real−Time Face Detection」,International Journal of Computer Vision,Vol.57,No.2,May 2004,pp.137−154(ブースティングに基づく方法)、及びK.Etemad,R.Chellappaによる「Discriminant Analysis for Recognizion of Human Face Images」,Journal of the Optical Society of America A,Vol.14,No.8,August 1997,pp.1724−1733 (線形判別分析に基づく方法)に開示された方法が挙げられる。
上述したように、一実施形態において、ユーザ位置推定部14は、第1の時点の後の期間は、スイッチ・オフされるか非アクティブにされる。これにより、ディスプレイ12上の表示コンテンツを制御する機器10が利用するコンピュータ・リソース及びバッテリ電力が低減される。言い換えれば、ユーザ位置推定部14、及び該ユーザ位置推定部14が用いるであろうカメラが、時間的に制限される。
あるいは、機器10内におけるコンピュータ・リソース及びバッテリ電力の利用を低減するという同じ目的を念頭に置いて、ユーザ位置推定部14、及び該ユーザ位置推定部14が用いるであろうカメラは、空間的又は質的に制限されてもよい。このことは、以下により詳しく説明する。
一実施形態(図示せず)において、機器10は、ユーザ位置推定部14を用いて、第1の時点におけるユーザ位置を推定s10ように構成されており、更に、機器10は、第1の時点の後の期間に、いわゆる空間制限モードで動作するユーザ位置推定部14を用いてユーザ位置を推定するように構成されている。この空間制限モードでは、ユーザ位置推定部14は、より少ないコンピュータ・リソース及び/又はより少ない電力リソースを消費する。ユーザ位置推定部14は、ユーザの顔に集中した制限された視野の画像を撮像し処理することにより、空間制限モードで動作する。ここで用いる制限された視野は、第1の時点で推定された、そして、推定されたディスプレイの移動に基づいて計算された移動ベクトルにより補正された、ユーザの顔の位置に基づいて特定されてもよい。
入力された空間的に制限された画像は、ユーザ位置に関する情報を得るために処理されてもよく、該ユーザ位置に関する情報は、ディスプレイの移動及び初期ユーザ位置と組み合わせて表示コンテンツを制御する(ステップs28)のに用いてもよい。これにより、ユーザ位置推定部14が単独で用いられる場合と比べて、必要なコンピュータ・リソース及び/又はバッテリ電力を低減しつつ、ディスプレイとユーザの互いの推定される位置に基づいて、効果的に表示効果を生成するという技術的効果が達成できる。
上述した、第1の時点の後の期間に、上記の空間制限モードで動作するユーザ位置推定部14と組み合わせてディスプレイ移動推定部16を任意に使用することは、ユーザ位置推定部14を単独で使用する場合に比べて、コンピュータ・リソース及び/又はバッテリ電力を低減しうるが、一実施形態においては、以下の特徴と組み合わせられる。つまり、空間制限モードで撮像された画像内に顔が見つからない場合は、以下のフォールバック機構を設けてもよい。予測される領域(すなわち、制限された視野)内に顔が見つからない場合は、フレーム全体(すなわち、最大視野)を撮像し、分析してもよい。よって、第1の時点の後の期間を終えて、本発明の意味における、新たな第1の時点を構成する。
更なる実施例(図示せず)では、第1の時点の後の期間に、ユーザ位置推定部14を、いわゆる質的に制限された方法で動作させることにより、同様の技術的効果が達成される。つまり、このモードでは、ユーザ位置推定部14がユーザの顔の解像度よりも質的に低い解像度の画像を撮像するように構成されるが、この撮像された画像は、ディスプレイの移動及び推定された初期ユーザ位置と共に、表示コンテンツを制御するのに用いてもよい(ステップs28)。
既に説明したように、一実施形態において、ディスプレイ移動推定部は、ジャイロメータ、1又は2以上の加速度計、及び電子コンパスのうち少なくとも1つを含む。
当業者であれば、特に、微小電子機械システム(MEMS)の種類が関する限り、例えば2009年5月18日13:32に検索したWikipedia,The Free Encyclopediaの「Accelerometer(2009年5月18日)」の「Consumer Electronics」の欄http://en.wikipedia.org/w/index.php?title=Accelerometer&oldid=290675932から、本発明の本実施形態で用いるのに適した加速度計を特定することができる。加速度計の例としては、アメリカ合衆国、マサチューセッツ州、ノーウッドのAnalog Devices, Inc.製のものを用いることができる(例えば、商標「iMEMS Accelerometers」を参照)。ジャイロスコープの例としては、例えばAnalog Devices製のものを用いることができる(例えば、商標「iMEMS Gyroscopes」を参照)。
当業者であれば、例えば2009年5月18日13:53に検索した、Wikipedia,The Free Encyclopediaの「コンパス(2009年5月17日)」の「固体コンパス」の欄http://en.wikipedia.org/w/index.php?title=
Compass&oldid~290609843 から、本発明の本実施形態で用いるのに適した電子コンパスを特定することができる。電子コンパスの例としては、アメリカ合衆国、ニュージャージー州、モリスタウンのHoneywell Inc.製のもの、例えば、向首方向の出力を導き出すために用いられる、HoneywellのHMR3100モデルの2軸電子コンパスを用いることができる。
本発明に係る機器10を含む物理的実体は、命令を含むコンピュータ・プログラムを含んでもよく、又は格納してもよい。その場合、該コンピュータ・プログラムが上記物理的実体上で実行されると、本発明の実施形態に係るステップ及び手順が行われる。また、本発明は、そのような本発明の方法を行うためのコンピュータ・プログラム、及び本発明に係る方法を行うためのコンピュータ・プログラムが記憶されたコンピュータ可読媒体に関する。
ここで用いられる「ユーザ位置推定部」、「ディスプレイ移動推定部」、及び「制御部」に関して、これらのユニットがどのように配布されるか、及びどのように集約されるかは、特に限定されない。つまり、上記ユーザ位置推定部、ディスプレイ移動推定部、及び制御部の構成要素は、異なるソフトウェア又はハードウェア・コンポーネント、又は意図した効果をもたらすデバイスにより配布されてもよい。複数の独立した要素が、意図した機能を提供するために集約されてもよい。
上記機器10の各々のユニットは、ハードウェア、ソフトウェア、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASICs)、又はファームウェア等であってもよい。
本発明の更なる実施形態において、上述の及び/又は請求項に記載のユーザ位置推定部、ディスプレイ移動推定部、及び制御部は、それぞれ、ユーザ位置検出部、ディスプレイ移動検出部、及び制御部の機能を行うためのユーザ位置推定手段、ディスプレイ移動推定手段、及び制御手段、又は、ユーザ位置推定器、ディスプレイ移動検出器、及び制御器に代えてもよい。
本発明の更なる実施形態において、上記ステップのうちいずれのステップも、例えば、いかなる種類のコンピュータ言語で書かれた、コンピュータ理解可能な手順又は方法等の形式のコンピュータ可読命令、及び/又はファームウェア又は集積回路等上の組み込みソフトウェアの形式のコンピュータ可読命令を用いて実現されてもよい。
本発明を詳細な例に基づいて説明してきたが、上記詳細な例は、当業者が本発明をよりよく理解するのに役立つものであって、添付の請求項に定義される発明の範囲を限定するものではないことに留意されたい。本発明の範囲は、むしろ、添付の請求項により定義される。

Claims (17)

  1. ディスプレイ(12)と、
    カメラと、
    ユーザ位置と呼ばれる、前記ディスプレイ(12)に対するユーザの位置を推定するためのユーザ位置推定部(14)であって、前記カメラの出力を用いるように構成されているユーザ位置推定部(14)と、
    ディスプレイの移動と呼ばれる、前記ディスプレイ(12)の移動を推定するためのディスプレイ移動推定部(16)と、
    を備える携帯電子機器(10)であって、
    前記機器(10)は、
    前記ユーザ位置推定部(14)を用いて、初期ユーザ位置と呼ばれる、第1の時点のユーザ位置を推定し(s10)、
    前記第1の時点の後の期間に、前記ディスプレイ移動推定部(16)を用いて前記ディスプレイの移動を推定し(s22)、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて表示コンテンツを制御する(s28)ように構成され、
    前記ユーザ位置推定部(14)は、前記期間の間、非アクティブにされ、又は制限された視野の画像を撮像し処理することにより空間制限モードで動作し、
    前記ディスプレイ移動推定部(16)は、ジャイロスコープ、1又は2以上の加速度計、及び電子コンパスのうち少なくとも1つを含む、機器(10)。
  2. 前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御するステップ(s28)は、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記ディスプレイ(12)上に三次元効果を生成するステップを含む、請求項1に記載の機器(10)。
  3. 前記ユーザ位置を推定する(s10)前に、
    前記ディスプレイ(12)の前にユーザが存在するか否かを判断し(s50)、
    ユーザが存在しないと判断された場合に、前記機器(10)を、前記ディスプレイ(12)上に三次元効果が生成されない非三次元モードに切り替える(s60)ように構成されている、請求項2に記載の機器(10)。
  4. 前記ユーザ位置を推定する(s10)前に、
    前記ディスプレイ(12)の前に複数のユーザが存在するか否かを判断し(s51)、
    複数のユーザが存在すると判断された場合に、前記ユーザ位置を推定(s10)するステップのために、前記複数のユーザのうち1名を選択する(s80)ように構成されている、請求項1〜3のいずれか1項に記載の機器(10)。
  5. 前記複数のユーザのうち1名を選択するステップ(s80)は、
    前記ディスプレイ(12)に最も近いユーザの顔を判断するステップと、
    前記ディスプレイ(12)から見て最も大きいユーザの顔を判断するステップと、
    前記ディスプレイ(12)の中心を起点とする垂線に最も近いユーザの顔を判断するステップと、
    前記機器(10)のカメラの視野の中心に最も近いユーザの顔を判断するステップと、
    前記複数のユーザのうち1名の顔が前記機器(10)に登録されていると判断するステップのうち少なくとも1つに基づいて行われる、請求項4に記載の機器(10)。
  6. 前記カメラは多点オートフォーカスを備え、
    前記ユーザ位置推定部(14)は、最短の焦点距離が前記ユーザ位置の前記推定であると判断することにより、前記カメラの出力を用いるように構成されている、請求項1〜5のいずれか1項に記載の機器(10)。
  7. 前記ユーザ位置推定部(14)は、前記ディスプレイ(12)に対する前記ユーザの顔の位置を推定することにより、前記ユーザ位置を推定する(s10)ように構成されている、請求項1〜6のいずれか1項に記載の機器(10)。
  8. 前記初期ユーザ位置を推定する(s10)ステップと、前記ディスプレイの移動を推定(s22)し、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御する(s28)ステップを、さらに定期的に繰り返すように構成されている、請求項1〜7のいずれか1項に記載の機器(10)。
  9. ディスプレイ(12)とカメラを含む携帯電子機器(10)を制御する方法であって、
    第1の時点で、前記カメラの出力を用いて、初期ユーザ位置と呼ばれる、前記ディスプレイ(12)に対するユーザ位置を推定するステップ(s10)と、
    前記第1の時点の後の期間に、ジャイロスコープ、1又は2以上の加速度計、及び電子コンパスのうち少なくとも1つを用いて、ディスプレイの移動と呼ばれる、前記ディスプレイ(12)の移動を推定するステップ(s22)と、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて表示コンテンツを制御するステップ(s28)と、
    を含み、
    前記ユーザ位置を推定するステップ(s10)は、前記期間の間、非アクティブにされ、又は制限された視野の画像を撮像し処理することにより空間制限モードで動作する、方法。
  10. 前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御するステップ(s28)は、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記ディスプレイ(12)上に三次元効果を生成するステップを含む、請求項9に記載の方法。
  11. 前記初期ユーザ位置を推定する(s10)前に、
    前記ディスプレイ(12)の前にユーザが存在するか否かを判断するステップ(s50)と、
    ユーザが存在しないと判断された場合に、前記機器(10)を、前記ディスプレイ(12)上に三次元効果が生成されない非三次元モードに切り替えるステップ(s60)と、
    をさらに含む、請求項10に記載の方法。
  12. 前記初期ユーザ位置を推定する(s10)前に、
    前記ディスプレイ(12)の前に複数のユーザが存在するか否かを判断するステップ(s51)と、
    複数のユーザが存在すると判断された場合に、前記初期ユーザ位置を推定するステップ(s10)のために、前記複数のユーザのうち1名を選択するステップ(s80)と、
    をさらに含む、請求項9〜11のいずれか1項に記載の方法。
  13. 前記複数のユーザのうち1名を選択するステップ(s80)は、
    前記ディスプレイ(12)に最も近いユーザの顔を判断するステップと、
    前記ディスプレイ(12)から見て最も大きいユーザの顔を判断するステップと、
    前記ディスプレイ(12)の中心を起点とする垂線に最も近いユーザの顔を判断するステップと、
    前記機器(10)のカメラの視野の中心に最も近いユーザの顔を判断するステップと、
    前記複数のユーザのうち1名の顔が前記機器(10)に登録されていると判断するステップのうち少なくとも1つに基づいて行われる、請求項12に記載の方法。
  14. 前記初期ユーザ位置を推定するステップ(s10)は、最短の焦点距離が前記ユーザ位置の前記推定であると判断することにより、前記カメラの出力を用いる、請求項9〜13のいずれか1項に記載の方法。
  15. 前記初期ユーザ位置を推定するステップ(s10)は、前記ディスプレイ(12)に対する前記ユーザの顔の位置を推定することにより、カメラの出力を用いる、請求項9〜14のいずれか1項に記載の方法。
  16. 前記初期ユーザ位置を推定する(s10)ステップと、前記ディスプレイの移動を推定(s22)し、前記ディスプレイの移動及び前記初期ユーザ位置に基づいて前記表示コンテンツを制御する(s28)ステップを、定期的に繰り返す、請求項9〜15のいずれか1項に記載の方法。
  17. コンピュータ上で実行された場合に、請求項9〜16のいずれか1項に記載の方法を該コンピュータに行わせるように構成された命令を含む、コンピュータ・プログラム。

JP2012511153A 2009-05-20 2009-11-04 ディスプレイを含む携帯電子機器、及び該機器の制御方法 Expired - Fee Related JP5498573B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/469,199 2009-05-20
US12/469,199 US8179449B2 (en) 2009-05-20 2009-05-20 Portable electronic apparatus including a display and method for controlling display content based on movement of the display and user position
PCT/EP2009/064607 WO2010133259A1 (en) 2009-05-20 2009-11-04 Portable electronic apparatus including a display and method for controlling such an apparatus

Publications (2)

Publication Number Publication Date
JP2012527666A JP2012527666A (ja) 2012-11-08
JP5498573B2 true JP5498573B2 (ja) 2014-05-21

Family

ID=41649926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012511153A Expired - Fee Related JP5498573B2 (ja) 2009-05-20 2009-11-04 ディスプレイを含む携帯電子機器、及び該機器の制御方法

Country Status (6)

Country Link
US (1) US8179449B2 (ja)
EP (1) EP2433207A1 (ja)
JP (1) JP5498573B2 (ja)
KR (1) KR20120058454A (ja)
CN (1) CN102428431B (ja)
WO (1) WO2010133259A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110052998A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 디바이스에서 사용자 인터페이스 제공 방법 및 장치
US8957919B2 (en) * 2010-04-05 2015-02-17 Lg Electronics Inc. Mobile terminal and method for displaying image of mobile terminal
US9411413B2 (en) * 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
KR101729556B1 (ko) * 2010-08-09 2017-04-24 엘지전자 주식회사 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법, 그리고 위치 추적 장치
KR101699922B1 (ko) * 2010-08-12 2017-01-25 삼성전자주식회사 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법
KR101705119B1 (ko) * 2010-09-15 2017-02-10 삼성전자 주식회사 전자 기기에서 2차원 이미지로 3차원 화면을 구성하는 방법 및 그 전자 기기
US20120098931A1 (en) * 2010-10-26 2012-04-26 Sony Corporation 3d motion picture adaption system
JP5742187B2 (ja) 2010-11-26 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20120064756A (ko) * 2010-12-10 2012-06-20 삼성전자주식회사 터치스크린을 구비한 휴대 단말기의 화면 표시 방법 및 장치
US9383888B2 (en) 2010-12-15 2016-07-05 Microsoft Technology Licensing, Llc Optimized joint document review
US9118612B2 (en) 2010-12-15 2015-08-25 Microsoft Technology Licensing, Llc Meeting-specific state indicators
US9864612B2 (en) * 2010-12-23 2018-01-09 Microsoft Technology Licensing, Llc Techniques to customize a user interface for different displays
JP5703873B2 (ja) * 2011-03-17 2015-04-22 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120284668A1 (en) * 2011-05-06 2012-11-08 Htc Corporation Systems and methods for interface management
KR101249901B1 (ko) * 2011-06-22 2013-04-09 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
JPWO2013046596A1 (ja) * 2011-09-26 2015-03-26 Necカシオモバイルコミュニケーションズ株式会社 携帯型情報処理端末
US9060093B2 (en) 2011-09-30 2015-06-16 Intel Corporation Mechanism for facilitating enhanced viewing perspective of video images at computing devices
KR101880968B1 (ko) * 2011-10-27 2018-08-20 삼성전자주식회사 터치스크린 휴대 기기에서 사용자 인터페이스 개체를 배치하는 방법 및 장치
KR101887058B1 (ko) * 2011-11-11 2018-08-09 엘지전자 주식회사 입체영상 처리 장치 및 입체영상 처리 장치의 전력 제어 방법
CN104145230A (zh) * 2011-12-23 2014-11-12 汤姆逊许可公司 带有功耗管理的计算机设备和管理计算机设备功耗的方法
US9544578B2 (en) 2012-01-17 2017-01-10 Sony Ericsson Mobile Communications Ab Portable electronic equipment and method of controlling an autostereoscopic display
US9378581B2 (en) * 2012-03-13 2016-06-28 Amazon Technologies, Inc. Approaches for highlighting active interface elements
KR101690261B1 (ko) * 2012-04-02 2016-12-27 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US10067634B2 (en) 2013-09-17 2018-09-04 Amazon Technologies, Inc. Approaches for three-dimensional object display
US10592064B2 (en) 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
US20150082145A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Approaches for three-dimensional object display
CN104394396A (zh) * 2014-09-30 2015-03-04 深圳市亿思达科技集团有限公司 一种利用伸缩元件实现图像视觉深度显示的装置及方法
JP6496172B2 (ja) * 2015-03-31 2019-04-03 大和ハウス工業株式会社 映像表示システム及び映像表示方法
US20180107191A1 (en) * 2015-04-17 2018-04-19 Tulip Interfaces, Inc. Monitoring tool usage
CN106970782A (zh) * 2016-01-14 2017-07-21 阿里巴巴集团控股有限公司 卡片式视图控件的交互处理方法及其装置
US20230127460A1 (en) * 2021-10-22 2023-04-27 Ebay Inc. Digital Content View Control System

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574836A (en) * 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
EP0874303B1 (en) 1997-04-25 2002-09-25 Texas Instruments France Video display system for displaying a virtual threedimensinal image
JP2004303251A (ja) * 1997-11-27 2004-10-28 Matsushita Electric Ind Co Ltd 制御方法
US7239293B2 (en) * 1998-01-21 2007-07-03 New York University Autostereoscopic display
GB0007863D0 (en) * 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Hand-held electronic device having a display
US7289102B2 (en) 2000-07-17 2007-10-30 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US20030051179A1 (en) * 2001-09-13 2003-03-13 Tsirkel Aaron M. Method and apparatus for power management of displays
US20030080937A1 (en) 2001-10-30 2003-05-01 Light John J. Displaying a virtual three-dimensional (3D) scene
US7016705B2 (en) 2002-04-17 2006-03-21 Microsoft Corporation Reducing power consumption in a networked battery-operated device using sensors
US8300043B2 (en) 2004-06-24 2012-10-30 Sony Ericsson Mobile Communications AG Proximity assisted 3D rendering
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
DE602004011676T2 (de) 2004-12-02 2009-01-22 Sony Ericsson Mobile Communications Ab Tragbares Kommunikationsgerät mit einer dreidimensionalen Anzeigevorrichtung
KR101112735B1 (ko) * 2005-04-08 2012-03-13 삼성전자주식회사 하이브리드 위치 추적 시스템을 이용한 입체 디스플레이장치
JP2006323255A (ja) * 2005-05-20 2006-11-30 Nippon Telegr & Teleph Corp <Ntt> 表示装置
EP1950708A4 (en) * 2005-09-15 2010-11-24 Oleg Stanilasvovich Rurin METHOD AND SYSTEM FOR VISUALIZING THREE DIMENSIONAL VIRTUAL OBJECTS
JP2008129775A (ja) * 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法
US9092053B2 (en) 2008-06-17 2015-07-28 Apple Inc. Systems and methods for adjusting a display based on the user's position
TW201021546A (en) * 2008-11-19 2010-06-01 Wistron Corp Interactive 3D image display method and related 3D display apparatus

Also Published As

Publication number Publication date
JP2012527666A (ja) 2012-11-08
EP2433207A1 (en) 2012-03-28
US20100295958A1 (en) 2010-11-25
CN102428431B (zh) 2013-11-20
KR20120058454A (ko) 2012-06-07
WO2010133259A1 (en) 2010-11-25
US8179449B2 (en) 2012-05-15
CN102428431A (zh) 2012-04-25

Similar Documents

Publication Publication Date Title
JP5498573B2 (ja) ディスプレイを含む携帯電子機器、及び該機器の制御方法
US9778815B2 (en) Three dimensional user interface effects on a display
US9033516B2 (en) Determining motion of projection device
US8310537B2 (en) Detecting ego-motion on a mobile device displaying three-dimensional content
US11460916B2 (en) Interface interaction apparatus and method
US9417689B1 (en) Robust device motion detection
WO2012120799A1 (ja) 表示装置及び表示方向切替方法
KR20160111008A (ko) 비제약형 slam을 위한 센서-기반 카메라 모션 검출
US9105132B2 (en) Real time three-dimensional menu/icon shading
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
EP3062286A1 (en) Optical distortion compensation
US10019140B1 (en) One-handed zoom
CN110858860B (zh) 响应于指纹传感器上手指旋转的电子设备控制及相应方法
KR20230043215A (ko) 융합 데이터를 사용한 객체 추적을 위한 시스템들 및 방법들
WO2017005070A1 (zh) 显示控制方法及装置
US20120320500A1 (en) Portable electronic device and method for using the same
WO2020071029A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP6248447B2 (ja) 携帯機器、その制御方法およびその制御プログラム
JP2010026754A (ja) 端末装置、表示制御方法および表示制御プログラム
JP7427739B2 (ja) 表示装置
JP2013127672A (ja) 画像表示装置、プログラム、集積回路および画像表示方法
WO2022266556A1 (en) Methods and systems for motion prediction

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140307

R150 Certificate of patent or registration of utility model

Ref document number: 5498573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees