JP6051665B2 - Electronic device, method and program - Google Patents
Electronic device, method and program Download PDFInfo
- Publication number
- JP6051665B2 JP6051665B2 JP2012174094A JP2012174094A JP6051665B2 JP 6051665 B2 JP6051665 B2 JP 6051665B2 JP 2012174094 A JP2012174094 A JP 2012174094A JP 2012174094 A JP2012174094 A JP 2012174094A JP 6051665 B2 JP6051665 B2 JP 6051665B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- electronic device
- user
- display
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000004891 communication Methods 0.000 claims description 159
- 238000003384 imaging method Methods 0.000 claims description 45
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 10
- 210000001508 eye Anatomy 0.000 description 33
- 230000008569 process Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 15
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 230000005684 electric field Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 210000003467 cheek Anatomy 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Description
本発明は、電子機器、方法およびプログラムに関する。 The present invention relates to an electronic device, a method, and a program.
従来、自分の後ろ姿を確認する姿見装置が提案されている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１０−８７５６９号公報
2. Description of the Related Art Conventionally, there has been proposed an appearance device that confirms the user's rear view (see, for example, Patent Document 1).
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP 2010-87569 A
しかしながら、従来の姿見装置は、操作の使い易さについては言及されておらず、使い勝手の良いものではなかった。 However, the conventional appearance apparatus does not mention the ease of use of the operation and is not easy to use.
本発明の第１の態様においては、外部機器と通信する電子機器であって、ユーザの人体を介した通信または近距離通信により前記外部機器とペアリングする第１通信部と、前記ペアリングに関連して当該電子機器の向きを検出する第１センサと、を備える電子機器、プログラムおよび方法を提供する。また、本発明の第２の態様においては、外部機器と近距離通信またはユーザを介した通信により前記外部機器とのペアリングを行なう第１通信部と、前記ユーザを撮像可能な撮像部と、前記撮像部の撮像結果に基づいて、前記ユーザの向きに関する情報を取得する取得部と、を備えた電子機器を提供する。 In the first aspect of the present invention, an electronic device that communicates with an external device, the first communication unit that pairs with the external device by communication via a human body or near field communication, and the pairing An electronic device, a program, and a method including a first sensor that detects the orientation of the electronic device in association are provided. Further, in the second aspect of the present invention, a first communication unit that performs pairing with the external device by short-range communication with the external device or communication via a user, an imaging unit that can capture the user, An electronic device comprising: an acquisition unit that acquires information related to the orientation of the user based on an imaging result of the imaging unit.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
（表示システム１の構成）
図１は、本実施形態に係る表示システム１のブロック図を示し、図２は、表示システム１の概要を示す図であり、以下図１，２を用いて説明を行う。なお、表示システム１は、例えばユーザが自身の姿を確認するための姿見装置として用いられる。
(Configuration of display system 1)
FIG. 1 is a block diagram of a
表示システム１は、表示装置１０と、ユーザにより保持されて用いられる携帯機器２０とを用いてユーザの姿見を行うものである。表示装置１０および携帯機器２０は、人体通信および無線通信によりデータの送受信を行うことができる。
The
表示装置１０および携帯機器２０は、通常時には互いに独立の装置として機能するが、人体通信を介したペアリング（互いの装置を認証する処理）を行った場合には互いに連携して動作する。
The
人体通信は、導体である人体を通信媒体とする通信であり、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式、および人体の表面に誘起する電力電界を変調して情報を伝達する電界方式等がある。本実施形態においては、電流方式及び電界方式の何れのタイプを用いることも可能であるが、ここでは電界方式を用いた場合について説明する。また、表示装置１０および携帯機器２０は、人体通信に代えて、ＦｅｌｉＣａ（登録商標）等の非接触通信、トランスファージェット（登録商標）等の近接無線転送技術または近距離無線通信（ＮＦＣ）等の近接通信を用いてペアリングを行ってもよい。
Human body communication is communication using the human body, which is a conductor, as a communication medium. A weak current is passed through the human body, the current is modulated to transmit information, and the electric field induced on the surface of the human body is modulated. Thus, there is an electric field method for transmitting information. In the present embodiment, any of the current method and the electric field method can be used, but here, the case where the electric field method is used will be described. In addition, the
（表示装置１０）
表示装置１０は、一例として対角の長さが２０インチより大きい表示領域を有する機器である。表示装置１０は、撮像部１１と、駆動部１２と、表示部１３と、画像調整部１４と、メモリ部１５と、電極部１６と、人体通信部１７と、無線通信部１８と、制御部１９と、を備える。
(Display device 10)
The
撮像部１１は、レンズ群と、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子とを有する。撮像部１１は、当該表示装置１０の上部等に設けられ、当該表示装置１０の前に位置するユーザの顔（または全身等）を撮像して動画及び静止画等を出力する。なお、撮像部１１は、レンズ群の一部のレンズとして、ズームレンズを含んでもよい。
The
駆動部１２は、撮像部１１をチルト方向（垂直方向の首振り）およびパン方向（水平方向の首振り）に駆動して、撮像部１１の撮影方向を変更する。駆動部１２は、一例として、ＤＣモータ、ボイスコイルモータおよびリニアモータ等を適用することができる。
The
表示部１３は、撮像部１１が撮像した画像を表示面に表示するディスプレイ１３ａ（例えば液晶表示装置）と、このディスプレイ１３ａの表示面に重ね合わせて設けられたハーフミラー１３ｂとを有する。ハーフミラー１３ｂは、ガラス等の透明な板に金属膜を蒸着したり、半透過膜を透明な板に貼り付けたりすることにより形成され、一方の側からの光を反射するとともに、この一方の側とは反対の側からの光を透過する。このようなハーフミラー１３ｂを有することにより、表示部１３は、当該表示装置１０の前に位置するユーザに対して、撮像部１１が撮像した画像とともに、当該ユーザの鏡像を反射して視認させることができる。また、表示部１３は、人体通信が成立していることを示す表示や、無線通信が成立していることを示す表示を行っており、これにより、ユーザは通信状況を視認することができる。
The
なお、表示部１３は、ハーフミラー１３ｂを有さずに、撮像部１１が撮像した画像を表示してもよい。また、表示部１３は、表示領域を分割して、ハーフミラー１３ｂによる鏡像と撮像部１１による撮像画像との両方を視認できる領域と、鏡像および撮像画像の一方を視認できる領域とを形成してもよい。
In addition, the
画像調整部１４は、撮像部１１により撮像された画像を調整して表示部１３に表示させる。具体的には、画像調整部１４は、撮像部１１により撮像された画像の一部をトリミングしたり、トリミングした画像を拡大したり、画像のトリミング位置を移動させたりして、表示部１３に表示させる。
The
メモリ部１５は、バッファメモリ１５ａと、不揮発性のフラッシュメモリ１５ｂとを有する。バッファメモリ１５ａは、撮像部１１によって撮像された画像データを一時的に記憶したり、画像調整部１４のワークメモリとして用いられたりする。なお、バッファメモリ１５ａは、例えば揮発性の半導体メモリである。フラッシュメモリ１５ｂには、バッファメモリ１５ａに記憶された画像データのうちユーザ等により指定された画像データが転送され、転送された画像データを記憶する。また、フラッシュメモリ１５ｂは、制御部１９により実行されるプログラムデータ等の各種データを記憶する。
The
電極部１６は、信号電極とグランド電極とを有し、携帯機器２０との間でユーザを介した人体通信により信号を授受する。電極部１６は、ユーザの手に触れやすいように表示装置１０の前面に設けられている。なお、電界方式の人体通信においては、ユーザが素手である場合（すなわち、ユーザの手と電極部１６が接触している場合）はもちろん、ユーザが手袋をしている場合（すなわち、ユーザの手と電極部１６が対向している場合）であっても、通信可能である。このため、電極部１６は、プラスチックまたは樹脂等で形成された筐体の内部に設けられていてもよい。また、グランド電極は、表示装置１０の回路基板のグランドに接続されていてもよい。
The
人体通信部１７は、電極部１６に接続され、バンドパスフィルタを有した電気回路から構成される送受信部を有し、入力した受信信号を復調して受信データを生成したり、送信するデータを変調して送信信号を生成したりする。人体通信部１７は、携帯機器２０との間でユーザの人体を介した人体通信により情報を送受信する。例えば、人体通信部１７は、携帯機器２０のＩＤを受信したり、携帯機器２０に対して表示装置１０のＩＤを送信したりする。また、人体通信部１７は、他の通信方式への切換えをさせるための切換信号を携帯機器２０に送信する。
The human
無線通信部１８は、無線ＬＡＮ（Local Aria Network）、BlueTooth（登録商標）又は赤外線通信等の無線通信により、携帯機器２０との間で情報を送受信する。例えば、無線通信部１８は、バッファメモリ１５ａに記憶された画像データ等を携帯機器２０に送信する。
The
制御部１９は、ＣＰＵ（Central Processing Unit）を有し、撮像部１１、駆動部１２、表示部１３のディスプレイ１３ａ、画像調整部１４、メモリ部１５（バッファメモリ１５ａ及びフラッシュメモリ１５ｂ）、人体通信部１７及び無線通信部１８に接続されて、表示装置１０の全体を制御する。例えば、制御部１９は、携帯機器２０との間の通信処理を制御する。
The
（携帯機器２０）
携帯機器２０は、一例として、携帯電話機、スマートフォンまたはタブレット型のコンピュータ等の機器である。携帯機器２０は、表示部２１と、タッチパネル２２と、センサ部２３と、計時部２４と、撮像部２５と、マイクロフォン２６と、フラッシュメモリ２７と、電極部２８と、人体通信部２９と、無線通信部３０と、振動部３１と、制御部３２と、を備える。
(Portable device 20)
The
表示部２１は、液晶ディスプレイまたは有機ＥＬディスプレイ等であり、制御部３２の制御の下、画像データおよび文字データ等のデータを表示したり、ユーザが操作を行うための操作ボタンおよびメニュー等を表示したりする。また、表示部２１は、人体通信が成立していることを示す表示や、無線通信が成立していることを示す表示（例えば、アイコン表示）を行ってもよい。この場合、後述する電極部２８の出力からユーザが携帯機器２０を保持していることや、後述する姿勢センサ２３ｂの出力からユーザが表示部２１を視認可能と判断される場合に通信状態の表示を行うようにしてもよい。なお、表示装置１０の表示部１３の表示領域が対角数十インチであるのに対して、表示部２１の表示領域は、対角数インチであり、表示装置１０の表示部１３と比較して小さい。
The
タッチパネル２２は、表示部２１に一体的に設けられており、ユーザが表示部２１に表示された仮想操作ボタン（例えば、図４に示す右操作マーク４１Ｒ、左操作マーク４１Ｌ）またはメニュー等に対して操作した場合、当該操作入力を受け付ける操作部である。タッチパネル２２は、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式または静電容量方式等のいずれの方式であってもよい。なお、タッチパネル２２に代えて、または、併用して操作ボタンを用いてもよい。
The
センサ部２３は、ＧＰＳ（Global Positioning System）モジュール２３ａと、姿勢センサ２３ｂと、方位センサ２３ｃとを有する。これらに加えて、センサ部２３は、ユーザの生体情報を取得する生体センサを有してもよい。
The
ＧＰＳモジュール２３ａは、携帯機器２０の位置（緯度、経度）を検出する。ＧＰＳモジュール２３ａにより検出される位置情報（ユーザが存在する位置の情報）は、制御部３２によりフラッシュメモリ２７に書き込まれる。
The
姿勢センサ２３ｂは、携帯機器２０の姿勢を検出するセンサであり、本実施形態においては、ユーザが携帯機器２０を保持する角度や、ユーザが携帯機器２０を縦位置か横位置かのいずれで保持しているのかを検出する。なお、ここで、縦位置とは、携帯機器２０の表示部２１をユーザが図２に示されているように保持した状態をいい、横位置とは縦位置からほぼ９０度回転して後述の図５（Ｂ）に示されているように保持した状態をいう。
The
姿勢センサ２３ｂは、一例として、フォトインタラプタの赤外光を重力によって移動する小球が遮断するか否かを検知することにより一軸方向の姿勢を検出するセンサを、複数個組合せた構成である。これに代えて、姿勢センサ２３ｂは、３軸加速度センサまたはジャイロセンサ等を用いた構成であってもよい。また、姿勢センサ２３ｂは、タッチパネル２２に接触しているユーザの指の位置から携帯機器２０が縦位置か横位置かを検出する構成であってもよい。
As an example, the
また、姿勢センサ２３ｂは、筐体の側面のほぼ全体に設けられた電極に接触した指の位置から携帯機器２０が縦位置か横位置かを検出する構成であってもよい。この場合、指が接触している電極の抵抗値および容量値は低下するので、姿勢センサ２３ｂは、電極の抵抗値または容量値の変化を検出して手で触れられている電極を検知する。また、このような姿勢センサ２３ｂを設けた場合、携帯機器２０は、抵抗または容量が下がった電極を、人体通信に用いる電極部２８として機能させてもよい。
In addition, the
なお、姿勢センサ２３ｂにより検出された携帯機器２０の姿勢情報は、表示部２１に表示される画像の向きの調整等に用いられる。
Note that the posture information of the
方位センサ２３ｃは、方位を検出するためのセンサであり、互いに直交する方向の地磁気成分を検出する２軸の磁気センサによる磁界検出値から方位を検出する。本実施形態においては、方位センサ２３ｃにより検出された方位は、ユーザの表示装置１０に対する向き（例えばユーザが表示装置１０に対して正対しているか、または、ユーザが表示装置１０に対して背を向けているか等）の判別に用いられる。
The azimuth sensor 23c is a sensor for detecting the azimuth, and detects the azimuth from a magnetic field detection value by a biaxial magnetic sensor that detects geomagnetic components in directions orthogonal to each other. In the present embodiment, the orientation detected by the orientation sensor 23c is the orientation of the user with respect to the display device 10 (for example, the user is facing the
また、本実施形態においては、方位センサ２３ｃにより検出された方位は、例えば、図２に示すように、携帯機器２０に方位情報４０として表示される。
In the present embodiment, the orientation detected by the orientation sensor 23c is displayed as
計時部２４は、現在の時刻を検出したり、指定された期間の経過時間を計時したりする。計時部２４は、検出結果および計時結果を制御部３２に出力する。
The
撮像部２５は、レンズ群と、ＣＣＤイメージセンサまたはＣＭＯＳセンサ等の撮像素子とを有し、被写体を撮像して動画及び静止画等を出力する。本実施形態においては、撮像部２５は、表示部２１と同一面における上方に設けられており、携帯機器２０を使用するユーザを撮像することができる。
The
マイクロフォン２６は、表示部２１と同一面における下方に設けられており、主にユーザが発した音声を取得する。フラッシュメモリ２７は、不揮発性のメモリであり、表示装置１０から送信された各種データ、センサ部２３の検出データ、および携帯機器２０のアプリケーションプログラム等を記憶する。
The
電極部２８は、信号電極とグランド電極とを有し、表示装置１０との間でユーザを介した人体通信により信号を授受する。電極部２８は、ユーザの手に触れやすいように携帯機器２０の側面または背面等に設けられている。なお、電界方式の人体通信においては、電極部２８は、プラスチックまたは樹脂等で形成された筐体の内部に設けられていてもよい。また、グランド電極は、携帯機器２０の回路基板のグランドと接続されていてもよい。
The
人体通信部２９は、電極部２８に接続され、バンドパスフィルタを有した電気回路から構成される送受信部を有し、入力した受信信号を復調して受信データを生成したり、送信するデータを変調して送信信号を生成したりする。人体通信部２９は、表示装置１０に対して携帯機器２０のＩＤを送信したり、表示装置１０のＩＤを受信したりする。また、人体通信部２９は、他の通信方式への切換えをさせるための切換信号を表示装置１０から受信する。
The human
無線通信部３０は、無線ＬＡＮ、ＢｌｕｅＴｏｏｔｈ（登録商標）又は赤外線通信等の無線通信により表示装置１０との間で情報を送受信する。例えば、無線通信部３０は、表示装置１０から画像データ等を受信したり、姿勢センサ２３ｂにより検出された姿勢や、方位センサ２３ｃにより検出された方位を表示装置１０に送信したりする。
The
振動部３１は、振動モータを有し、複数の振動パターンで携帯機器２０を振動させるものである。本実施の形態においては、人体通信部２９による通信や無線通信部３０による通信が成立したときに振動部３１が数秒程度振動し、前述の通信が終了した際に数秒程度振動する。また、振動部３１は、通信の種類や、通信の成立（開始）、通信の終了を判別するために振動の間隔や、振動の強度を複数設定できる。
制御部３２は、ＣＰＵを有し、表示部２１、タッチパネル２２、センサ部２３、計時部２４、撮像部２５、マイクロフォン２６、フラッシュメモリ２７、人体通信部２９および振動部３１と接続されて携帯機器２０の全体を制御する。例えば、制御部３２は、姿勢センサ２３ｂの出力に応じて表示部２１に表示する画像の向きを変更したり、表示装置１０との間の通信の制御をしたりする。更に、制御部３２は、通話機能および財布機能等の各種機能を実行してもよい。
The
The
なお、携帯機器２０の無線通信部３０と、表示装置１０の無線通信部１８との通信が行われにくい場合がある。このような場合、表示システム１では、表示装置１０が設置されているスペースに表示装置１０から分離して複数の受信部を設け、複数の受信部の中から最も通信強度の強い受信部からユーザの向きを検出するようにしてもよい。
Note that communication between the
（表示システム１の処理フロー）
図３は、本実施形態に係る表示装置１０の制御部１９の処理フローを示す。表示装置１０及び携帯機器２０を連携して動作させる場合、ユーザは、携帯機器２０を一方の手で持って所定の姿勢（縦位置または横位置）で保持しながら、表示装置１０に対して所定の向きを向いた状態（例えば正対した状態）で、他方の手で表示装置１０の電極部１６に触れる。このことに応じて、本フローチャートはスタートする。なお、ユーザは、携帯機器２０を人体通信が可能な箇所に所定の姿勢で保持していれば、手で持っていなくてもポケット等に入れていてもよい。
(Processing flow of display system 1)
FIG. 3 shows a processing flow of the
まず、ステップＳ１１において、表示装置１０の制御部１９は、ユーザが電極部１６を触れたことに応じて、携帯機器２０との間で人体通信が成立したか否かを判断し、人体通信が成立するまで処理を待機する。制御部１９は、人体通信が成立したタイミングで処理をステップＳ１２に移行する。なお、制御部１９は人体通信が成立したことを示す表示を表示部１３にさせている。
First, in step S <b> 11, the
続いて、ステップＳ１２において、制御部１９は、人体通信によりＩＤの送信要求を携帯機器２０に対して送信する。携帯機器２０の制御部３２は、表示装置１０からＩＤの送信要求を受け取ると、当該携帯機器２０のＩＤ及びユーザ情報を表示装置１０に対して人体通信により送信する。この送信に先立って、制御部３２は、表示装置１０へＩＤ及びユーザ情報を送信してもよいかをユーザに問い合わせてもよい。そして、制御部１９は、人体通信を介して携帯機器２０のＩＤ及びユーザ情報を受信して、携帯機器２０を認識する。また、制御部３２は人体通信が成立したことをユーザに報知するために、表示部２１の表示と、振動部３１により振動の少なくとも１つを行っている。このように、携帯機器２０側で人体通信の成立を示す報知を行うことにより、ユーザが意図していない人体通信が行われたような場合（例えば不意に抱きつかれた場合）でもユーザは人体通信の成立している状態を認識することができる。
Subsequently, in step S <b> 12, the
なお、制御部１９は、携帯機器２０の認識とともに、認識した携帯機器２０のユーザにより表示装置１０の利用履歴をフラッシュメモリ１５ｂから取得してもよい。このステップＳ１２の処理を実行することにより、制御部１９は、人体通信をもちいて表示装置１０と携帯機器２０とのペアリングを完了させることができる。
The
続いて、ステップＳ１３において、制御部１９は、携帯機器２０の方位を人体通信により取得する。これにより、制御部１９は、ユーザが表示装置１０の電極部１６に触れている状態（例えば、ユーザが表示装置１０と正対している状態）において携帯機器２０の方位センサ２３ｃが検出した方位（例えば、北西）を認識することができる。
Subsequently, in step S <b> 13, the
なお、表示装置１０の電極部１６に触れるときのユーザの向きは、少なくとも予め定められた向きであれば、ユーザが表示装置１０に対して正対でなくても、他の向き（例えば横向き）であってもよい。また、制御部１９は、ステップＳ１２とステップＳ１３の処理を逆に実行してもよいし、１つのステップとして実行してもよい。
Note that the orientation of the user when touching the
続いて、ステップＳ１４において、制御部１９は、人体通信を介して通信方式の切換信号を携帯機器２０に送信して、表示装置１０と携帯機器２０との間の通信方式を、人体通信から無線通信に切り替える。これにより、制御部１９は、ユーザが表示装置１０から手を離した状態で、携帯機器２０との間でデータの送受信をすることができる。また、無線通信は人体通信と比較してデータ転送速度が速いので、制御部１９は、携帯機器２０との間で画像等の大きなデータの送受信をすることができる。なお、制御部１９は、上述のペアリングが成立した後は、ユーザが表示装置１０の電極部１６から手を離したのをトリガーとして無線通信部１８、３０による無線通信に切り替えるようにする。なお、通信方式の切換えに応じて、表示部１３、２１には無線通信が成立していることを示す表示が行なわれ、振動部３１による振動パターンの切換えが行なわれる。
Subsequently, in step S14, the
続いて、ステップＳ１５において、制御部１９は、撮像部１１によりユーザを撮像した画像データを、表示部１３に表示する。さらに、制御部１９は、撮像部１１によりユーザを撮像した画像データを、無線通信により携帯機器２０に送信して、携帯機器２０の表示部２１に表示させる。
Subsequently, in step S <b> 15, the
なお、制御部１９は、携帯機器２０のタッチパネル２２に対するユーザの操作に応じて、表示装置１０の表示部１３または携帯機器２０の表示部２１の何れか一方に、画像を表示させてもよい。また、制御部１９は、方位センサ２３ｃの検出出力が予め定められた角度変化した場合に、ユーザの向きが反転したという通知を携帯機器２０から通知を受けてもよい。この場合には、制御部１９は、ユーザにより視認がされない表示装置１０の表示部１３の表示を中止してもよい。
Note that the
続いて、ステップＳ１６において、制御部１９は、携帯機器２０から無線通信により、画像の調整指示を受信したか否かを判断する。具体的には、制御部１９は、画像の表示範囲を右方向または左方向にシフトさせる調整指示を、携帯機器２０から受信したか否かを判断する。なお、調整指示の具体的な操作例については、詳細を図４〜図６を参照して後述する。
Subsequently, in step S <b> 16, the
制御部１９は、調整指示を携帯機器２０から受信した場合、処理をステップＳ１７に進める。ステップＳ１７において、制御部１９は、携帯機器２０の方位を認識して、認識した方位に基づき表示装置１０に対する現在のユーザの向き（例えば、表示装置１０に対して正対しているか又は背を向けているか）を判別する。なお、具体的なユーザの向きの判別方法については、調整指示の具体的な操作例とともに、詳細を図４〜図６を参照して後述する。
When the adjustment instruction is received from the
なお、制御部１９は、撮像部１１により撮像された画像にユーザの顔が含まれているか否かを検出し、顔が検出できた場合には、ユーザが表示装置１０に対して正対していると判別してもよい。また、制御部１９は、撮像部１１により撮像された画像にユーザの顔が含まれているか否かに応じて、携帯機器２０の方位に基づき判定されたユーザの向きを補正してもよい。
Note that the
表示装置１０に対するユーザの向きが判別できると、続いて、ステップＳ１８において、制御部１９は、撮像部１１により撮像された画像の表示範囲を調整する。具体的には、制御部１９は、撮像部１１により撮像された画像の表示範囲を、ユーザの調整指示に応じて右方向または左方向にシフトさせる。制御部１９は、ステップＳ１８での画像調整を終えると、処理をステップＳ１５に戻して、画像調整がされた後の画像を、表示装置１０の表示部１３および携帯機器２０の表示部２１に表示させる。
If the orientation of the user with respect to the
一方、ステップＳ１６で調整指示を受信していないと判断する場合、制御部１９は、処理をステップＳ１９に進める。ステップＳ１９において、制御部１９は、終了指示を携帯機器２０から受信したか否かを判断する。
On the other hand, when determining in step S16 that the adjustment instruction has not been received, the
例えば、表示装置１０と携帯機器２０との間で人体通信が成立して、表示装置１０及び携帯機器２０のペアリングが成立した場合に、携帯機器２０の制御部３２は、ペアリングが成立していることを示すアイコン、および、このペアリングを解除させる解除アイコンを表示部２１に表示する。携帯機器２０の制御部３２は、ペアリングを解除アイコンがユーザにより操作された場合、終了指示を無線通信により表示装置１０に送信する。そして、表示装置１０の制御部１９は、このような終了指示を携帯機器２０から受信した場合に、ユーザによりペアリングの解除させる指示がされたと判断する。なお、表示装置１０の無線通信部１８の通信距離を例えば数ｍ程度に設定しておき、携帯機器２０の無線通信部３０との通信が所定時間途切れたらペアリングを解除させてもよく、課金に応じて表示装置１０とのペアリング時間を設定するようにしてもよい。
For example, when human body communication is established between the
終了指示を受信していないと判断する場合、制御部１９は、処理をステップＳ１６に戻し、調整指示または終了指示を取得するまで、処理をステップＳ１６およびステップＳ１９において待機する。また、終了指示を受信したと判断する場合、制御部１９は、処理をステップＳ２０に進める。
When determining that the end instruction has not been received, the
ステップＳ２０において、制御部１９は、終了設定処理を実行する。制御部１９は、一例として、メモリ部１５のバッファメモリ１５ａに記憶されている画像をフラッシュメモリ１５ｂに保存させるか否をユーザに問い合わせて、ユーザによる保存指示を受けたことに応じて、バッファメモリ１５ａに記憶されている画像をフラッシュメモリ１５ｂに転送して記憶させる。なお、制御部１９は、画像を保存するか否かをユーザに問い合わせる場合に、バッファメモリ１５ａに記憶されている画像のサムネイル画像を、表示装置１０の表示部１３または携帯機器２０の表示部２１に表示してもよい。
In step S20, the
また、表示システム１を商業ベースで用いる場合には、制御部１９は、ステップＳ２０の終了設定処理において課金を実行する。そして、制御部１９は、ステップＳ２０の処理を完了すると、本フローチャートを抜けて処理を終了する。
When the
（正対している場合の画像の調整方法）
図４（Ａ）は、ユーザが携帯機器２０を縦位置で保持し、表示装置１０に対して正対している状態を示す。
(Image adjustment method when facing the camera)
FIG. 4A shows a state where the user holds the
ユーザが表示装置１０に対して正対している場合、表示装置１０および携帯機器２０は、撮像部１１が撮像した画像（ユーザの正面姿の画像）を表示する。また、携帯機器２０の制御部３２は、表示部２１に、画面右方向への矢印表示である右操作マーク４１Ｒ、及び、画面左方向への矢印表示である左操作マーク４１Ｌを表示して、これらに対する操作入力を受け付ける。
When the user is facing the
表示装置１０に正対している状態において、ユーザは、表示装置１０及び携帯機器２０の画像の表示範囲を右側にシフトさせたい場合には、右操作マーク４１Ｒをタッチ操作する。また、ユーザは、表示装置１０及び携帯機器２０の画像の表示範囲を左側にシフトさせたい場合には、左操作マーク４１Ｌをタッチ操作する。
In the state of facing the
右操作マーク４１Ｒまたは左操作マーク４１Ｌが操作された場合、携帯機器２０の制御部３２は、操作されたボタンの種類、操作量（例えば、タッチ回数）、および現在の方位（例えば北西）を画像の調整指示とともに無線通信により表示装置１０に送信する。なお、制御部３２は、表示部２１に表示された操作入力に代えて、機械的なボタンまたはキーからシフトの操作を受け付けてもよい。
When the
表示装置１０の制御部１９は、携帯機器２０から画像の調整指示を受信すると、ペアリングのときの方位と現在の方位とを比較して、表示装置１０に対する現在のユーザの向きを判別する。より具体的には、制御部１９は、ペアリングのときの方位（例えば北西）と、現在の方位（例えば北西）とが同一であれば、ユーザの向きがペアリングのときの向きと同一である（例えば、ユーザが表示装置１０に対して正対している）と判別する。なお、この判定は、携帯機器２０の制御部３２が実行してもよい。
When receiving the image adjustment instruction from the
そして、表示装置１０の制御部１９は、ユーザの向きがペアリングのときと同一である場合、表示装置１０及び携帯機器２０に表示する画像の表示範囲を、操作ボタンの方向と同一の方向に、操作量分（例えばタッチ数に応じた距離分）シフトさせる。より具体的には、制御部１９は、ユーザが表示装置１０に対して正対している状態において、右操作マーク４１Ｒがタッチされた場合には表示範囲を右側にシフトさせ、左操作マーク４１Ｌがタッチされた場合には表示範囲を左側にシフトさせる。これにより、制御部１９は、ユーザの意図通りに適切に画像の表示範囲をシフトさせることができる。
Then, when the orientation of the user is the same as when pairing, the
（背を向けた場合の画像の調整方法）
図４（Ｂ）は、ユーザが携帯機器２０を縦位置で保持し、表示装置１０に対して背を向けている状態を示す。
(How to adjust the image when you turn your back)
FIG. 4B shows a state in which the user holds the
ユーザが表示装置１０に対して背を向けた場合、携帯機器２０は、撮像部１１が撮像した画像（即ち、ユーザの後姿の画像）を表示する。これにより、ユーザは、携帯機器２０を視認することにより、自身の後姿を確認することができる。
When the user turns away from the
なお、携帯機器２０の制御部３２は、方位センサ２３ｃの検出出力がユーザの向きが、正対しているときの方位から予め定められた角度変化した場合、ユーザの向きが反転して背を向けたとして表示装置１０にその旨を通知してもよい。また、当該通知を受けた場合、表示装置１０の制御部１９は、ユーザが視認することができないので、画像の表示を中止してもよい。
Note that the
表示装置１０に背を向けている状態において、ユーザは、携帯機器２０の画像の表示範囲を右側にシフトさせたい場合には、右操作マーク４１Ｒをタッチ操作する。また、ユーザは、携帯機器２０画像の表示範囲を左側にシフトさせたい場合には、左操作マーク４１Ｌをタッチ操作する。
When the user wants to shift the display range of the image of the
右操作マーク４１Ｒまたは左操作マーク４１Ｌが操作された場合、携帯機器２０の制御部３２は、操作されたボタンの種類、操作量、および現在の方位（例えば南東）を無線通信により画像の調整指示とともに表示装置１０に送信する。
When the
表示装置１０の制御部１９は、携帯機器２０から画像の調整指示を受信すると、ペアリングのときの方位と現在の方位とを比較して、表示装置１０に対する現在のユーザの向きを判別する。より具体的には、制御部１９は、ペアリングのときの方位（例えば北西）と、現在の方位（例えば南東）とが１８０度異なれば、ユーザの向きがペアリングのときと逆向きである（例えば、ユーザが表示装置１０に対して背を向けている）と判別する。
When receiving the image adjustment instruction from the
ここで、ユーザが表示装置１０に対して背を向けている場合、表示装置１０の撮像部１１の左右方向と、携帯機器２０に表示された操作ボタンの左右方向とが逆となる。このため、表示装置１０の制御部１９は、ユーザが表示装置１０に対して背を向けている場合、画像の表示範囲を操作ボタンの方向と逆方向に操作量分（例えばタッチ数に応じた距離分）シフトさせる。
Here, when the user is turning away from the
より具体的には、ユーザが表示装置１０に対して背を向けている状態において、表示装置１０の制御部１９は、右操作マーク４１Ｒがタッチされた場合には表示範囲を左側にシフトさせ、左操作マーク４１Ｌがタッチされた場合には表示範囲を右側にシフトさせる。これにより、制御部１９は、ユーザが表示装置１０に対して背を向けている場合であっても、ユーザの意図通りに適切に画像の表示範囲をシフトさせることができる。
More specifically, in a state where the user is turning away from the
（背を向けてから再度正対した場合の表示方法）
図５（Ａ）は、ユーザが表示装置１０に対して背を向けてから、再度、表示装置１０に対して正対した状態を示す。
(Display method when facing back after turning back)
FIG. 5A shows a state in which the user faces the
表示装置１０の制御部１９は、ユーザが表示装置１０に対して背を向けている場合、撮像部１１が撮像した画像（ユーザの後姿の画像）をバッファメモリ１５ａに記憶させておく。そして、制御部１９は、ユーザが背を向けてから、再度正対した場合、バッファメモリ１５ａに記憶されたユーザの後姿の画像を、正対しているユーザの画像と重ならないように並べて表示する。なお、表示部１３がハーフミラー１３ｂを有する場合には、制御部１９は、ハーフミラー１３ｂにより反射されたユーザの鏡像と重ならないように並べて表示する。
When the user is turning away from the
これにより、表示装置１０の制御部１９は、ユーザにより特別の何ら操作をさせることなく、ユーザの後姿及び正面姿を同時に確認させることができる。そして、制御部１９は、携帯機器２０のタッチパネル２２に対して、後姿の表示終了操作がされた場合（例えばタッチパネル２２で後姿の画像を弾くような操作がされた場合）、後姿の表示を終了する。
Thereby, the
なお、表示装置１０の制御部１９は、ユーザが表示装置１０に対して横を向いた場合においても、同様の処理を実行してもよい。これにより、表示装置１０の制御部１９は、ユーザの半身姿及び正面姿を同時に確認させることができる。
Note that the
（携帯機器２０の姿勢を縦位置から横位置に持ち替えた場合の表示方法等）
図５（Ｂ）は、ユーザが携帯機器２０を横位置で保持し、表示装置１０に対して正対している状態を示す。
(Display method when the posture of the
FIG. 5B shows a state where the user holds the
ユーザが携帯機器２０の姿勢を縦位置から横位置に持ち替えた場合、表示装置１０の制御部３２は、姿勢センサ２３ｂの出力に応じて表示部２１に表示する画像の向きを、ユーザの頭頂部が上側に位置するように９０度回転させる。さらに、制御部３２は、右操作マーク４１Ｒおよび左操作マーク４１Ｌの表示位置も、ユーザから見て右側に右操作マーク４１Ｒが表示され、ユーザから見て左側に左操作マーク４１Ｌが表示されるように、９０度回転させる。
When the user changes the posture of the
制御部３２は、携帯機器２０の姿勢が縦位置から横位置へ切り替わった場合（又は横位置から縦位置に切り替わった場合）、ユーザの向きは変わっていないので、姿勢切換え前の方位センサ２３ｃの出力を維持する。例えば、制御部３２は、携帯機器２０を縦位置で保持し且つ方位センサ２３ｃの出力が例えば北である状態から、ユーザが携帯機器２０の姿勢を横位置に変更した場合、横位置に切り替わった後の方位も同じく北となるように、方位センサ２３ｃの出力を維持する。これにより、携帯機器２０の姿勢が切り替わったとしても、同一の方位を出力することができる。
When the posture of the
（その他の場合の表示方法）
図６（Ａ）は、ユーザが表示装置１０に対して横を向いている状態を示す。図６（Ｂ）は、ユーザが表示装置１０に対して斜め前方向を向いている状態を示す。
(Display method in other cases)
FIG. 6A shows a state where the user is facing sideways with respect to the
図６（Ａ）に示すように、ユーザは、表示装置１０に対して横（表示装置１０に対して９０度の角度）を向いて携帯機器２０を操作してもよい。また、図６（Ｂ）に示すように、ユーザは、表示装置１０に対して斜め前方向を向いて携帯機器２０を操作してもよい。
As shown in FIG. 6A, the user may operate the
このような場合、表示装置１０の制御部１９は、ユーザが表示装置１０に対して正対している場合と同様に画像をシフトさせる。即ち、表示装置１０は、右操作マーク４１Ｒが操作された場合には、表示範囲を右側にシフトさせ、左操作マーク４１Ｌが操作された場合には、表示範囲を左側にシフトさせる。
In such a case, the
また、ユーザは、表示装置１０に対して斜め後方向を向いて携帯機器２０を操作してもよい。例えば、ユーザが表示装置１０に対して９０度（又は２７０度）よりも後ろ側を向いて操作をした場合、表示装置１０は、ユーザが表示装置１０に対して背を向けている場合と同様に画像をシフトさせる。即ち、表示装置１０は、右操作マーク４１Ｒが操作された場合には、表示範囲を左側にシフトさせ、左操作マーク４１Ｌが操作された場合には、表示範囲を側にシフトさせる。
In addition, the user may operate the
また、携帯機器２０は、１本または２本の指等で画像を触ってスライドする操作により、表示範囲をシフトさせてもよい。
The
この場合、表示装置１０は、ユーザが正対している状態で、画像が右側にスライドされれば、表示範囲を右側にシフトさせ、画像が左側にスライドされれば、表示範囲を左側にシフトさせる。また、表示装置１０は、ユーザが背を向けている状態で、画像が右側にスライドされれば、表示範囲を左側にシフトさせ、画像が左側にスライドされれば、表示範囲を右側にシフトさせる。
In this case, the
なお、表示装置１０の制御部１９は、表示装置１０の表示部１３に、各種の操作をジェスチャにて行なうためのジェスチャメニューを表示してもよい。この場合、制御部１９は、例えば赤外線装置によりユーザの手の位置を検出して、ユーザが何れのジェスチャメニューを選択したかを検出してもよい。
The
（変形例に係る表示システム１の構成）
図７は、本実施形態の変形例に係る表示システム１のブロック図を示し、図８は、変形例に係る表示システム１の概要を示す図であり、以下図７，８を用いて説明を行う。変形例に係る表示システム１は、図１から図６を参照して説明した本実施形態に係る表示システム１と略同一の構成および機能を採るので、略同一の構成および機能の部材に同一の符号を付け、以下相違点を除き説明を省略する。
(Configuration of
FIG. 7 is a block diagram of a
変形例に係る表示システム１は、少なくとも１つの化粧道具５０を更に備える。化粧道具５０（５０−１，５０−２，５０−３）は、図８に示すように、ユーザが顔等に化粧するための器具（例えば、口紅又はアイライナー等）または身だしなみを整える等のための器具（例えば、くしまたはコンタクトレンズケース等）であって、人体通信により携帯機器２０に情報を送信する機能を有する。
The
また、本変形例において、表示装置１０の表示部１３は、ハーフミラー１３ｂを有さない構成となっている。また、本変形例においては、携帯機器２０は、ユーザが手で保持していなくても、少なくとも人体通信が成立するように保有されていれば、ポケット等に挿入していてもよい。
Moreover, in this modification, the
化粧道具５０は、メモリ５１と、電極部５２と、人体通信部５３とを備え、携帯機器２０との間で人体通信により情報を送受信する機能を実現する。
The
メモリ５１は、不揮発性のメモリであってよく、当該化粧道具５０を特定するためのデータを記憶する。また、メモリ５１は、化粧道具５０が使用される体の部位（例えば、目、口、まつ毛、眉毛、頬）に関する情報、および、その部位が体の左右に存在するかどうかの情報を記憶する。
The
電極部５２は、信号電極とグランド電極とを有し、携帯機器２０との間でユーザを介した人体通信により信号を授受する。電極部５２は、例えば図９に示すように、ユーザが当該化粧道具を手にとった場合において手に触れやすい位置に複数設けられている。なお、電界方式の人体通信においては、電極部５２は、プラスチックまたは樹脂等で形成された筐体の内部に設けられていてもよい。また、電極部５２の配置は、図９に示す位置に限らず、ユーザの手に触れやすい位置であればどこであってもよい。
The
人体通信部５３は、メモリ５１及び電極部５２に接続され、バンドパスフィルタを有した電気回路から構成される送信部を有し、送信するデータを変調して送信信号を生成する。なお、人体通信部５３は、データを受信する機能を有していてもよい。人体通信部５３は、ユーザが化粧道具５０を保持して電極に接触したときに、携帯機器２０の人体通信部２９との間で人体通信を成立させる。そして、人体通信部５３は、人体通信が成立すると、メモリ５１に記憶されたデータをユーザの体を介して携帯機器２０に対して送信する。
The human
（変形例に係る表示システム１の処理フロー）
図１０は、変形例に係る表示装置１０の制御部１９の処理フローを示す。本フローチャートは、ユーザがアイシャドウ用チップなどの化粧道具５０を持って、化粧道具５０と携帯機器２０との間で人体通信が成立し、携帯機器２０の制御部３２がこの人体通信の成立を表示装置１０に送信されたときに開始される。
(Processing flow of the
FIG. 10 shows a processing flow of the
まず、ステップＳ３１において、制御部１９は、携帯機器２０と化粧道具５０との間で人体通信が成立したことの通知を受けたことの確認をする。制御部１９は、人体通信が成立したタイミングで処理をステップＳ３２に移行する。なお、人体通信や無線通信が成立した際には携帯機器２０の振動部３１が振動するため、ユーザは携帯機器２０をポケットに入れてある場合でも通信の成立を認識することができる。
First, in step S <b> 31, the
続いて、ステップＳ３２において、制御部１９は、撮像部１１によりユーザを撮像した画像を解析して、画像内においてユーザの顔を検出する。制御部１９は、一例として、画像解析処理により、ユーザの顔の輪郭、並びに、顔の各部位（目、鼻及び口等）の位置及び形状等を検出する。
Subsequently, in step S <b> 32, the
続いて、ステップＳ３３において、制御部１９は、人体通信の成立に応じて化粧道具５０から携帯機器２０へと送信された化粧道具５０のメモリ５１内の情報（化粧道具５０を特定するための情報）を無線通信により携帯機器２０から受信して、ユーザが手に持っている化粧道具５０の種類を特定する。例えば、制御部１９は、ユーザが手に持っている化粧道具５０が、アイライナーなのか、口紅なのか等を特定する。なお、制御部１９は、ステップＳ３２とステップＳ３３とを入れ替えて実行してもよい。
Subsequently, in step S33, the
続いて、ステップＳ３４において、制御部１９は、特定した化粧道具５０が、左右が有る部位に対して使用される道具なのか否かを判断する。制御部１９は、例えば、特定した化粧道具５０が、目、眉毛、まつ毛、頬および耳等に対して使用される場合には、左右が有る部位に対して使用されると判断する。また、制御部１９は、特定した化粧道具５０が、口および鼻等に使用される場合には、左右の無い部位に対して使用されると判断する。
Subsequently, in step S <b> 34, the
制御部１９は、一例として、人体通信の成立に応じて化粧道具５０から携帯機器２０へと送信されたメモリ５１内の情報（部位が体の左右に存在するかの情報）に基づき、左右が有る部位に対して使用される道具なのか否かを判断する。また、制御部１９は、特定した化粧道具５０の種類から、左右が有る部位に対して使用される道具なのか否かを推定してもよい。
As an example, the
特定した化粧道具５０が左右の無い体の部位に対して使用される場合、制御部１９は、処理をステップＳ３５に進める。
When the specified
ステップＳ３５において、制御部１９は、ユーザの顔の画像、及び、特定した化粧道具５０が使用される体の部位を拡大した画像を並べて表示部１３に表示させる。例えば、図１１（Ａ）に示すように、制御部１９は、化粧道具５０が口紅と特定された場合には、顔の全体を表す分割画像６１と、口の拡大画像６２とを、左右に分割して表示部１３に表示させる。
In step S <b> 35, the
なお、制御部１９は、何れの部位を拡大して表示するかは、人体通信の成立に応じて化粧道具５０から携帯機器２０へと送信されたメモリ５１内の情報（化粧道具５０が使用される部位の情報）に基づき判断してもよいし、特定した化粧道具５０の種類から推定してもよい。制御部１９は、ステップＳ３５の表示処理を終えると、処理をステップＳ４０に進める。
It should be noted that the
特定した化粧道具５０が左右の有る体の部位に対して使用される場合、制御部１９は、処理をステップＳ３６に進める。
When the specified
ステップＳ３６において、制御部１９は、ユーザの顔の画像、及び、特定した化粧道具５０が使用される部位（左右の部位の両方を含む領域）を拡大した画像を並べて表示部１３に表示させる。例えば、図１１（Ｂ）に示すように、制御部１９は、化粧道具５０がアイライナーと特定された場合には、顔の全体を表す分割画像６１と、両目を含む領域の拡大画像６３とを、左右に分割して表示部１３に表示させる。なお、制御部１９は、顔全体の画像または両目の拡大画像のいずれか一方を表示部１３の中央に表示してもよい。
In step S <b> 36, the
続いて、ステップＳ３７において、制御部１９は、ユーザが左の部位と右の部位のどちらに対して化粧を行うかを、撮像部１１によりユーザを撮像した画像に基づき判別する。例えば、制御部１９は、化粧道具５０がアイライナーであれば、ユーザが右目または左目の何れに対して化粧を行うのかを判別する。
Subsequently, in step S <b> 37, the
図１２（Ａ）はユーザが化粧道具５０を右手で保持して右目の化粧を行なっている状態を示し、図１２（Ｂ）はユーザが化粧道具５０を右手で保持して左目の化粧を行なっている状態を示す。アイシャドウ用チップまたはアイライナーを持ってユーザが右目に対して化粧をする場合、ユーザは一般的に右目を閉じる。従って、制御部１９は、撮像した画像に基づき、右目を閉じているか左目を閉じているかを判断し、右目を閉じていれば右目に対して化粧を行っており、左目を閉じていれば左目に対して化粧を行っていると判断してもよい。
FIG. 12A shows a state where the user holds the
また、アイライナーを右手で持って右目の化粧をする場合には、鼻は隠れないが、アイライナーを右手で持って左目の化粧をする場合には、鼻の一部が隠れる。また、制御部１９は、アイライナーを右手又は左手の何れで持っているかは、アイライナーの角度を検出することにより判断することができる。従って、制御部１９は、撮像した画像に基づき、アイライナーの角度から右手に持っているか否かを検出し、更にユーザの鼻が隠れたか否かを検出して、ユーザが右目に対して化粧を行っているのか、左目に対して化粧を行っているのかを判断してもよい。
In addition, the nose is not hidden when the eyeliner is held with the right hand to make the right eye, but when the eyeliner is held with the right hand and the left eye is put on, a part of the nose is hidden. Further, the
また、化粧道具５０は、加速度センサまたはジャイロ等を有してもよい。この場合、制御部１９は、加速度センサまたはジャイロの検出結果を取得して化粧道具５０の姿勢または移動方向を予測し、右の部位に対して化粧を行うのか、左の部位に対して化粧を行うのかを判断してもよい。
Further, the
続いて、ステップＳ３８において、制御部１９は、右側の部位または左側の部位のうち、ステップＳ３７で判別した側の部位を拡大して表示する。例えば、制御部１９は、図１３に示すように、左目に対して化粧を行っていると判断した場合には、左目の拡大画像６４を表示する。また、制御部１９は、左目に対して化粧を行った後に、右眼に対して化粧を行っていると判断した場合には、左目の拡大画像６４から右眼の拡大画像に表示を切り替える。
Subsequently, in step S38, the
続いて、ステップＳ３９において、制御部１９は、左の部位および右の部位の両方について化粧を終了したか否かを判断する。例えば、制御部１９は、ユーザが左側の部位および右側の部位のそれぞれに対して化粧を終えて、化粧道具５０を手放して化粧道具５０と携帯機器２０との人体通信が切れたときに、左側の部位および右側の部位の両方について化粧を終了したと判断する。制御部１９は、一方側の部位しか化粧を終了していない場合、処理をステップＳ３７に戻して、左右の部位の両方について処理を終了するまで処理を繰り返す。
Subsequently, in step S39, the
なお、例えば右側の部位の化粧を終えた後において、左側の部位の化粧をしているときに、左右のバランスが気になることもある。このような場合、制御部１９は、例えばユーザの指示に応じて、表示される拡大画像を左右切り換えてもよい。また、制御部１９は、ユーザの指示に応じて、顔の全体像に代えて、両方の部位の全体を含む表示に切り換えたり、右側の部位の拡大画像及び左側の部位の拡大画像を同時に表示したりしてもよい。
In addition, for example, after finishing the makeup on the right side, when the makeup on the left side is being made, the right and left balance may be anxious. In such a case, the
また、制御部１９は、メモリ部１５に流行のメーク例を示す画像データを記憶させておき、ユーザの顔画像の上に、仮想線および仮想色を重ねて表示させてもよい。また、制御部１９は、メモリ部１５に代表的な髪型と、その髪型に合うメーク例を示す化粧データを記憶させておき、撮像部１１により撮像された画像からユーザの髪型を判別して、メモリ部１５に記憶された髪型に対応したメーク例を表示することによりアドバイスを提供するようにしてもよい。この場合、制御部１９は、年齢、季節および服装等に対応付けて、複数の化粧データをメモリ部１５に記憶させておいてもよい。
Further, the
制御部１９は、左側の部位および右側の部位の両方について化粧を終了したと判断した場合、処理をステップＳ４０に進める。
If the
ステップＳ４０において、制御部１９は、化粧道具５０が変更されたかどうかを判断する。制御部１９は、他の化粧道具５０に変更された場合（例えばアイライナーから眉の形を描くアイブロウペンシルに変更された場合）、処理をステップＳ３３に戻して、処理を繰り返す。また、制御部１９は、化粧道具５０が変更されずに、化粧道具５０と携帯機器２０との人体通信が予め定められた時間（例えば数十秒から１分程度）無い場合には、化粧を終了したとして本フローチャートを終了する。
In step S40, the
なお、本変形例においては、携帯機器２０を介在させて、化粧道具５０と表示装置１０との通信を行ったが、表示システム１は、化粧道具５０と表示装置１０との間で人体通信または近距離無線通信を成立させて通信を行うようにしてもよい。また、携帯機器２０にミラー機能（例えば、表示部２１にハーフミラーフィルムを貼り付けて実現する）を設けて、化粧道具５０と携帯機器２０との間で人体通信又は近接通信を成立させて通信を行ってもよい。この場合、この場合、携帯機器２０の撮像部２５を駆動機構により駆動させて、ユーザを撮像する位置を調整してもよい。
In this modification, communication between the
また、表示システム１は、化粧後のユーザの画像を例えば携帯機器２０のフラッシュメモリ２７に記憶させて、メークの履歴を保存してもよい。また、表示システム１は、ユーザの過去のメークの履歴をアドバイスとして表示してもよい。また、表示システム１は、保存したメークの履歴からユーザに似合う色であるパーソナルカラーをユーザに報知したりしてもよい。
The
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１ 表示システム、１０ 表示装置、１１ 撮像部、１２ 駆動部、１３ 表示部、１３ａ ディスプレイ、１３ｂ ハーフミラー、１４ 画像調整部、１５ メモリ部、１５ａ バッファメモリ、１５ｂ フラッシュメモリ、１６ 電極部、１７ 人体通信部、１８ 無線通信部、１９ 制御部、２０ 携帯機器、２１ 表示部、２２ タッチパネル、２３ センサ部、２３ａ ＧＰＳモジュール、２３ｂ 姿勢センサ、２３ｃ 方位センサ、２４ 計時部、２５ 撮像部、２６ マイクロフォン、２７ フラッシュメモリ、２８ 電極部、２９ 人体通信部、３０ 無線通信部、３１ 振動部、３２ 制御部、４０ 方位情報、４１Ｒ 右操作マーク、４１Ｌ 左操作マーク、５０ 化粧道具、５１ メモリ、５２ 電極部、５３ 人体通信部、６１ 分割画像、６２ 拡大画像、６３ 拡大画像、６４ 拡大画像
DESCRIPTION OF
Claims (20)
ユーザの人体を介した通信または近距離通信により前記外部機器とペアリングする第１通信部と、
前記外部機器に対する操作を行う操作部と、
前記操作部を操作中に前記人体の向きと、前記電子機器の向きとを検出する第１センサと、
を備える電子機器。 An electronic device that communicates with an external device,
A first communication unit for pairing with the external device by communication through a human body or near field communication;
An operation unit for operating the external device;
It said body orientation during operation of the operation portion, a first sensor for detecting the orientation of the electronic device,
Electronic equipment comprising.
前記第１通信部と前記第２通信部との切換え制御を行なう第１制御部と、を備える請求項１に記載の電子機器。 A second communication unit different from the first communication unit;
The electronic device according to claim 1, further comprising: a first control unit that performs switching control between the first communication unit and the second communication unit.
前記第１センサは、前記第２センサにより前記ユーザが前記電子機器を保持しているときに前記人体の向きに関する情報を検出する請求項１から３のいずれか一項に記載の電子機器。 A second sensor for detecting that the user is holding the electronic device;
The electronic device according to any one of claims 1 to 3 , wherein the first sensor detects information related to a direction of the human body when the user holds the electronic device by the second sensor.
前記第３センサの出力に応じて、前記電子機器の姿勢が切り替わっても、前記方位センサの検出結果を同一の方位に維持する第３制御部と、を備えた請求項８に記載の電子機器。 A third sensor for detecting the attitude of the electronic device;
The electronic device according to claim 8 , further comprising: a third control unit that maintains the detection result of the direction sensor in the same direction even when the attitude of the electronic device is switched according to the output of the third sensor. .
前記外部機器は、前記ペアリング中に検出した前記電子機器の向きを基準として、前記操作部の操作を補正する補正部を備える請求項１から９のいずれか一項に記載の電子機器。 The first sensor detects an orientation of the electronic device in relation to the pairing;
The external device, based on the orientation of the electronic apparatus detected in said pairing electronic device according to any one of claims 1 9 comprising a correcting unit for correcting the operation of the operating unit.
前記ペアリング中に検出した前記電子機器の向きを基準向きとして、前記電子機器が前記基準向きから所定量異なる向きにあるときに、前記外部機器の表示の切り換えを指示する指示部を備える請求項１から１０のいずれか一項に記載の電子機器。 The first sensor detects an orientation of the electronic device in relation to the pairing;
An instruction unit that instructs to switch display of the external device when the electronic device is in a direction different from the reference direction by a predetermined amount, with the direction of the electronic device detected during the pairing as a reference direction. the electronic device according to any one of 1 1 0.
ユーザの人体を介した通信または近距離通信により前記外部機器とペアリングするステップと、
前記外部機器に対する操作を行うステップと、
前記外部機器に対する操作中に前記人体の向きと、前記電子機器の向きとを検出するステップと
を有する方法。 A method for an electronic device to communicate with an external device,
Pairing with the external device by communication via the human body or near field communication;
Performing an operation on the external device;
It said method comprising said body orientation during operation to an external device, and detecting the orientation of the electronic device.
前記ユーザを撮像可能な撮像部と、An imaging unit capable of imaging the user;
を備え、請求項１から１３のいずれか一項に記載の外部機器として動作する電子機器。An electronic device that operates as an external device according to any one of claims 1 to 13.
を備えた請求項１６記載の電子機器。 An acquisition unit based on the imaging results of the previous SL imaging unit, to obtain information about the orientation of the user,
The electronic device of Claim 16 provided with .
前記取得部が取得した前記ユーザの向きに関する情報に基づいて、前記受付部が受け付けた操作を補正する補正部と、を備えた請求項１７から１９のいずれか一項に記載の電子機器。 A reception unit that receives an operation from the external device;
Based on the orientation information regarding the user before Symbol acquiring unit has acquired, the electronic device according to any one of claims 17 to 19, comprising a correcting unit, the correcting operation of the accepting unit accepts.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012174094A JP6051665B2 (en) | 2012-08-06 | 2012-08-06 | Electronic device, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012174094A JP6051665B2 (en) | 2012-08-06 | 2012-08-06 | Electronic device, method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014033408A JP2014033408A (en) | 2014-02-20 |
| JP6051665B2 true JP6051665B2 (en) | 2016-12-27 |
Family
ID=50282903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012174094A Active JP6051665B2 (en) | 2012-08-06 | 2012-08-06 | Electronic device, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6051665B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018018263A (en) * | 2016-07-27 | 2018-02-01 | 瑳京 奥条 | Method for proposing styling in hair salon |
| JP6542949B2 (en) * | 2018-04-26 | 2019-07-10 | オリンパス株式会社 | Imaging display apparatus and imaging display method |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001025004A (en) * | 1999-07-09 | 2001-01-26 | Mitsuru Takashima | Electronic mirror system |
| JP2004046386A (en) * | 2002-07-10 | 2004-02-12 | Hitachi Ltd | Personal digital assistant, power saving method for personal digital assistant, and recording medium |
| JP5430565B2 (en) * | 2008-06-18 | 2014-03-05 | パナソニック株式会社 | Electronic mirror device |
| JP5564774B2 (en) * | 2008-09-24 | 2014-08-06 | ソニー株式会社 | Information processing apparatus and method, and program |
| JP5326531B2 (en) * | 2008-12-03 | 2013-10-30 | 株式会社リコー | Peripheral device, network system, peripheral device communication processing method, computer program, and recording medium |
| JP2010161654A (en) * | 2009-01-08 | 2010-07-22 | Sony Ericsson Mobilecommunications Japan Inc | Communication terminal and communication method |
| KR101679428B1 (en) * | 2009-10-16 | 2016-11-25 | 삼성전자주식회사 | Apparatus and method of establishing personal network for providing cpns service |
| JP2011172094A (en) * | 2010-02-19 | 2011-09-01 | Nikon Corp | Imaging apparatus |
| JP2011196760A (en) * | 2010-03-18 | 2011-10-06 | Sony Corp | Navigation device, method for controlling the same, and navigation system |
| JP2011209852A (en) * | 2010-03-29 | 2011-10-20 | Nec Personal Products Co Ltd | Communication system, information processing apparatus, and communication method |
| JP2012059090A (en) * | 2010-09-10 | 2012-03-22 | Panasonic Corp | Radio communication device and communication device |
| JP2012060547A (en) * | 2010-09-13 | 2012-03-22 | Sharp Corp | Electronic mirror system |
| EP2469485A1 (en) * | 2010-12-22 | 2012-06-27 | Gemalto SA | Communication system |
| JP5699605B2 (en) * | 2011-01-05 | 2015-04-15 | 日本電気株式会社 | Mobile terminal and operation control method |
-
2012
- 2012-08-06 JP JP2012174094A patent/JP6051665B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014033408A (en) | 2014-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2014024362A1 (en) | Electronic device, method, and program | |
| CN105759422B (en) | Display system and control method of display device | |
| KR101751347B1 (en) | Mobile terminal and method of controlling the same | |
| KR20160015719A (en) | Mobile terminal and method for controlling the same | |
| KR20170067058A (en) | Mobile terminal and method for controlling the same | |
| KR20130081117A (en) | Mobile terminal and control method therof | |
| KR20170138279A (en) | Mobile terminal and method for controlling the same | |
| CN109166150B (en) | Pose acquisition method and device storage medium | |
| KR102110208B1 (en) | Glasses type terminal and control method therefor | |
| KR20160056133A (en) | Method for controlling display of image and apparatus implementing the same | |
| CN111768454A (en) | Pose determination method, device, equipment and storage medium | |
| KR20180062454A (en) | Terminal device and control method of terminal device | |
| JP2016067024A (en) | Portable electronic device | |
| JP6136090B2 (en) | Electronic device and display device | |
| CN107656794B (en) | Interface display method and device | |
| WO2022199102A1 (en) | Image processing method and device | |
| JP6051665B2 (en) | Electronic device, method and program | |
| JP6439448B2 (en) | Display system, program, and control method for display device | |
| KR101537624B1 (en) | Mobile terminal and method for controlling the same | |
| CN113763460A (en) | Positioning method, device and system of transcranial magnetic stimulation coil | |
| CN111427629B (en) | Application starting method and device, vehicle equipment and storage medium | |
| JP2014033398A (en) | Electronic apparatus | |
| CN108509127A (en) | Start the method, apparatus and computer equipment of record screen task | |
| JP2017142857A (en) | Input device | |
| CN114115544B (en) | Man-machine interaction method, three-dimensional display device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150707 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161114 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6051665 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |