JP7473671B2 - 携帯端末装置 - Google Patents

Description

本発明は、被写体を撮像する撮像機能を有する携帯端末装置に関する。

カメラ、電話機、メモやスケジュール等の情報管理の機能を有する携帯端末装置は、おおむね手のひらサイズで撮像した画像や各種情報を表示画面に表示でき、また通話も可能であり、使い勝手がよく広く普及している。

従来の携帯端末装置では、液晶などからなるフラットパネルディスプレイを携帯端末装置の表面に備えているが、近年、柔軟性があって折り曲げて折畳むことができるフレキシブルディスプレイを用いた携帯端末装置が出現している。折畳みディスプレイを搭載した携帯端末装置は、開いた状態で完全に１枚のディスプレイとして利用できるため、表示画面の大画面化を可能にしている。フレキシブルディスプレイとしては、液晶パネル等で使用されている曲げが困難なガラス基板に対し、曲げやすいプラスチック基板を用いた有機エレクトロ・ルミネッセンス（Organic Electro Luminescence：有機ＥＬ）などが採用されている。形状としては、折畳んだ携帯端末装置の内側の両面にディスプレイがある内折りタイプに加えて、携帯端末装置を折畳んだ際に外側の両面にディスプレイがある外折りタイプも出てきており、一層の普及が見込まれている。

また、カメラによる撮像機能の高機能化はますます進み、画素数の増大、トリプルレンズ化、光学ズームの倍率アップなど、飛躍的な進化を遂げており、誰でも手軽に綺麗なカメラ撮影が行えるようになってきている。

しかしながら、人に撮影される場合や人を撮影する機会は多いが、その際に自分がどのように写っているかは、撮影の最中には、わかりにくく、撮影後に見せてもらうまで判らないということがある。

この点に関し、カメラの撮像画像を撮影者が見る正面のメイン表示部と背面のサブ表示部の両方に表示し、被撮影者は、背面のサブ表示部を見て写り具合を確認する技術が知られている。

例えば、特許文献１（特開２００４－１５７７０号公報）には、「撮像対象を撮像するレンズと撮像素子とを含むカメラを搭載した携帯端末装置において、レンズを設けた側と同じ側に設けた第１の画面と、レンズを設けた側と異なる側に設けた第２の画面と、被撮像対象にレンズを向けて撮像した画像を第１の画面および第２の画面に表示する手段を備える」技術が記載されている。また、特許文献２（特開２００４－１８７１８２号公報）には、「筐体の表面に第１のカメラと第１の表示部とを有し、筐体の裏面に第２のカメラと第２の表示部とを有し、第１のカメラまたは第２のカメラでの撮像画像を選択し、第１の表示部と第２の表示部に表示するとき、選択されたカメラと同じ側に配置した表示部に鏡像表示を行う」技術が記載されている。すなわち、被撮影者から見えるサブ表示部を設けて被撮影者が自分の写り具合を視認できるようにする技術である。

特開２００４－１５７７０号公報 特開２００４－１８７１８２号公報

上述した特許文献１や特許文献２では、被撮影者から見えるサブ表示部を設けて被撮影者が自分の写り具合を視認することについて記載されているものの、折畳みディスプレイを搭載した携帯端末装置については何ら記載も示唆もされていない。また、被撮影者がサブ表示部を見ていない場合にもカメラの撮像画像をサブ表示部に不必要に表示してしまうため、無駄に消費電力の増加を招くことになり、携帯端末装置の使用動作時間が必要以上に短くなる。また、被撮影者側から見えるサブ表示部に撮像画像を表示すると、撮像される被撮影者とは関係ない人にまで撮像画像を見せてしまうことになる。

本願発明は、撮像機能を備える携帯端末装置において、不必要な表示を行わずに消費電力を低減できるとともに、被撮影者は自分がどのように写っているかについて自分の写り具合を撮像されている最中に容易に視認できる使い勝手の良い携帯端末装置を提供することを目的とする。

携帯端末装置は、被撮影者を撮像するように構成された撮像部と、撮像部で撮像された画像を表示するように構成された第１表示部と、画像を処理した処理画像を表示するように構成された第２表示部と、被撮影者の視線方向を検出するように構成された視線方向検出部と、視線方向検出部による検出結果に基づいて、被撮影者が携帯端末装置の存在方向を向いているか否かを判断するように構成された判断部と、判断部の判断結果に基づいて、第２表示部における処理画像の表示／非表示を制御するように構成された制御部と、を備える。ここで、第１表示部は、撮影者が視認可能な位置に設けられ、第２表示部は、被撮影者が視認可能な位置に設けられている。そして、制御部は、判断部において被撮影者が携帯端末装置の存在方向を向いていると判断された場合、処理画像を第２表示部に表示するように構成されている一方、判断部において被撮影者が携帯端末装置の存在方向を向いていないと判断された場合、処理画像を非表示にするように構成されている。

一実施の形態によれば、折畳みディスプレイを搭載した携帯端末装置にあって、不必要な表示を行わずに消費電力を低減できるとともに、被撮影者は自分がどのように写っているか自分の写り具合を撮影されている最中に容易に視認できる使い勝手の良い携帯端末装置を実現することができる。

携帯端末装置の外観を模式的に示す図である。 携帯端末装置を折り畳んだ状態において、撮像者側からの外観を模式的に示す図である。 携帯端末装置を折り畳んだ状態において、被撮像者側からの外観を模式的に示す図である。 携帯端末装置の構成を示すブロック図である。 折畳み状態を検出する構成を示す図である。 携帯端末装置の機能構成を示す機能ブロック図である。 実施の形態１における動作を説明するフローチャートである。 実施の形態２における動作を説明するフローチャートである。 縦折り構造の携帯端末装置を模式的に示す図である。 縦折り構造の携帯端末装置を模式的に示す図である。 被撮影者側の表示部を示す図である。 被撮影者側の処理画像を表示部に拡大して示す図である。 撮影者側の表示部を示す図である。 被撮影者側の表示部を示す図である。 被撮影者側の処理画像の一部を拡大して示す図である。 撮影者側の表示部を示す図である。 撮影者側の表示部に被撮像者の一部を示す図である。 被撮影者側の表示部を示す図である。 被撮影者側の表示部を示す図である。 （ａ）～（ｃ）は、実施の形態６を説明する図である。 撮影者側の表示部を示す図である。 実施の形態７を説明する図である。 実施の形態８を説明する図である。 実施の形態８を説明する図である。 実施の形態８の他の例を説明する図である。 実施の形態８の他の例を説明する図である。

実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。なお、図面をわかりやすくするために平面図であってもハッチングを付す場合がある。

（実施の形態１）
＜携帯端末装置の外観構成＞
図１は、携帯端末装置の外観構成を模式的に示す図である。

図１において、携帯端末装置１００は、カメラ（撮像部）１０１、深度センサ１０２、第１の左目視線検出器１０３ａ、第１の右目視線検出器１０４ａ、カメラ動作スイッチ１０５、折畳み可能なディスプレイ１０６を有する。

カメラ１０１は、周囲の人物や景色を撮影するように構成されている。

深度センサ１０２は、人や物などの対象物の形状を立体として捉えるセンサであり、対象物までの距離や角度を測定できるように構成されている。

第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａは、カメラ１０１で撮影された被撮影者１３０の左目および右目の動きをそれぞれ検出する機能を有し、左目と右目の両方の視線を検出して、立体的に視線先を識別できる。第１の左目視線検出器１０３ａと第１の右目視線検出器１０４ａの配置は、カメラ１０１で撮影される際、一般的に正立している被撮影者の左目および右目の並び方向と同じ並び方向になるように設けられ、より正確な視線検出が可能になる。なお、視線検出器は、１つでもよく、携帯端末装置１００から被撮影者が比較的離れている場合、両目の視線検出に近い性能を得ることができる。

カメラ動作スイッチ１０５は、撮影者がカメラ１０１での撮影を開始あるいは停止する際に押すスイッチである。

携帯端末装置１００を折畳んで撮影する場合は、カメラ１０１が被撮影者を向く方向に折畳まれる。ディスプレイ１０６は、被撮影者側から見える表示部（第２表示部）１０７と、撮影者側から見える表示部（第１表示部）１０８と、折畳みヒンジ部分で折畳んだ状態の時には表示を行わない非表示部１０９に分けて構成される。

図２は、携帯端末装置が折畳まれた状態において、撮影者側から見た概観を示す図である。図２に示す状態において、撮影者１４０がカメラ動作スイッチ１０５を操作して撮影を開始すると、ディスプレイ１０６のうち、撮影者１４０側の表示部１０８には、カメラ１０１で撮影された画像１１３がそのままの正像で表示される。

図３は、携帯情報端末が折畳まれた状態において、被撮影者側から見た概観を示す図である。ディスプレイ１０６のうち、被撮影者１３０側の表示部１０７には、画像１１３を画像処理した処理画像が表示される。具体的に、表示部１０７には、画像１１３に対して左右逆の鏡像である鏡像画像１１５が表示される。このことから、携帯端末装置１００が折畳まれた状態では、撮影者１４０は、撮影者１４０側の表示部１０８に表示されている画像１１３を見ることによって、撮影している被撮影者１３０などを確認できる（図２参照）。一方、被撮影者１３０は、被撮影者１３０側の表示部１０７に表示されている鏡像画像１１５を見ることによって、撮影されている自分の姿を見ることができる。したがって、被撮影者１３０は、自分がどのように写っているかという自分の写り具合を撮影されている最中に容易に視認することが可能になる。

なお、カメラ１０１での撮影を開始させるカメラ動作スイッチ１０５に代えて、撮影者１４０側の表示部１０８上に表示したソフトウェアボタン（図示せず）を用いてもよい。また、被撮影者１３０側の表示部１０７に鏡像画像１１５ではなくて画像１１３を表示することも可能で、入力設定により切り替えることができるようにしてもよい。

＜携帯端末装置の構成＞
図４は、携帯端末装置の構成例を示すブロック図である。

図４において、携帯端末装置１００は、カメラ１０１、深度センサ１０２、第１の左目視線検出器１０３ａ、第２の左目視線検出器１０３ｂ、第１の右目視線検出器１０４ａ、第２の右目視線検出器１０４ｂ、カメラ動作スイッチ１０５、ディスプレイ１０６、折畳み状態検出器２０１、加速度センサ２０２、ジャイロセンサ２０３、地磁気センサ２０４、制御部２０５、プログラム２０６と情報データ２０７が記憶されたメモリ２０８、タッチパネル２０９、マイク２１０、スピーカー２１１、振動発生器２１２、通信インタフェース２１３、送受信アンテナ２１４を適宜用いて構成され、各構成部は送受信アンテナ２１４を除いて、バス２１５を介して相互に接続されている。

カメラ１０１は、前方周囲の視界視野状態を撮影するもので、折畳み状態に関わらず、前方の被撮影者を撮影できる。

深度センサ１０２は、人や物などの対象物の形状を立体として捉えることができるセンサで、対象物までの距離や角度を測定することができる。赤外線などのレーザー光を対象物に照射し、はね返ってくる散乱光を測定し遠距離にある対象物までの距離やその対象物の状態を分析検出するＬｉＤＡＲ（Light Detection and Ranging）や、被写体に照射したパルス光の反射時間を画素ごとに計測して測距を行うＴＯＦ（Time of Flight）センサ、ミリ波の電波を発射しその反射波を捉まえて反射している対象物までの距離や対象物の状態を検出するミリ波レーダーなどが用いられる。

深度センサ１０２は、人物を検出し、検出した人物の顔の中から両目を識別する人物検出両目識別処理手段の一つの構成例である。これにより、被撮影者がカメラ１０１で撮影されている状態で、被撮影者を人物として捉え、その顔の中の左目と右目を見出して識別することが可能になる。
第１の左目視線検出器１０３ａ、第２の左目視線検出器１０３ｂ、第１の右目視線検出器１０４ａ、第２の右目視線検出器１０４ｂは、それぞれ右目や左目の動きや向きを捉えて視線を検出する。

なお、視線を検出する処理は、アイトラッキング処理として一般的に用いられている技術を利用することができる。例えば、角膜反射を利用した方法として、赤外線ＬＥＤ（Light Emitting Diode）を顔に照射して赤外線カメラで撮影し、赤外線ＬＥＤを照射することにより射出された反射光の角膜上の位置（角膜反射）を基準点とし、角膜反射の位置に対する瞳孔の位置に基づいて視線を検出する技術が知られている。また、可視光カメラで目を写すことにより、基準点を目頭とし、かつ、動点を虹彩にして、目頭に対する虹彩の位置に基づいて視線を検出する方法も知られている。

図３に示すように、携帯端末装置１００のディスプレイ１０６が横折れの場合、携帯端末装置１００上で水平並びに位置する第１の左目視線検出器１０３ａと第１の右目視線検出器１０４ｂは、一般的に正立姿勢で撮影される被撮影者の両目の並びと概略同方向となり、より正確な視線検出が得られる。

折畳み状態検出器２０１は、例えば、一対のホール素子と一対の磁石からなり、携帯端末装置１００の両端面が接近して携帯端末装置１００が折畳まれた状態であるか否かを検出するものである。ホール素子は、ホール効果を用いて磁束密度を計測するセンサであり、磁石が近づくと強い磁束密度を計測して磁石の接近を検出できる。また、折畳み状態検出器２０１としては、ホール素子を用いた構成以外に、例えば、磁界がかかると抵抗値が変化する磁気抵抗効果を利用した磁気抵抗素子などを用いることもできる。

図５は、折畳み状態検出器２０１の詳細な構造を説明する図である。

図５に示すように、携帯端末装置１００は、折畳まれる一方の端面部分にホール素子３０１およびホール素子３０２と、もう片方の端面部分に磁石３０３および磁石３０４を備える。ホール素子は、ホール効果を用いて磁束密度を計測するセンサであり、磁石が近づくと強い磁束密度を計測して磁石の接近を検出できるものである。携帯端末装置１００が折畳まれると、携帯端末装置１００の両端面は近づく。これにより、ホール素子３０１は、磁石３０３からの強い磁束密度を計測して携帯端末装置１００の両端面の接近を検出する。同様に、ホール素子３０２は、磁石３０４からの強い磁束密度を計測して携帯端末装置１００の両端面の接近を検出する。したがって、ホール素子３０１およびホール素子３０２と磁石３０３および磁石３０４により、携帯端末装置１００の両端面が接近状態にあるか否か、すなわち、携帯端末装置１００が折畳まれた状態であるか否かを検出することができる。

なお、携帯端末装置１００の両端面が接近して携帯端末装置１００が折畳まれた状態であるか否かを検出する折畳み状態検出器２０１としては、図５で説明したホール素子を用いた構成以外の構成を用いることもできる。例えば、磁界がかかると抵抗値が変化する磁気抵抗効果を利用した磁気抵抗素子などを用いることもできるし、携帯端末装置１００のヒンジ部に組み込まれた電気スイッチを用いることもできる。

図４において、加速度センサ２０２は、動き・振動・衝撃などを捉えるセンサであり、携帯端末装置１００の傾きや方向を検知することができる。

ジャイロセンサ２０３は、回転方向の角速度を検出するセンサであり、縦・横・斜めの姿勢の状態を捉えることができる。

地磁気センサ２０４は、地球の磁力を検出するセンサであり、携帯端末装置１００の向いている方向を検出する。なお、前後方向と左右方向に加え上下方向の地磁気も検出する３軸タイプを用いて、携帯端末装置１００の動きに対する地磁気変化を捉まえることにより、携帯端末装置１００の動きを検出することも可能である。

制御部２０５は、ＣＰＵ等で構成され、メモリ２０８に記憶されているオペレーティングシステム（Operating System：ＯＳ）や動作制御用アプリケーションなどのプログラム２０６を実行することによって、各構成部を制御して、携帯端末装置１００全体の動作制御処理を行っている。

例えば、携帯端末装置１００が折畳まれた状態でカメラ１０１が撮影動作になったとき、視線検出器で検出した被撮影者の視線先が被撮影者側の表示部１０７やカメラ１０１、あるいは、少なくとも携帯端末装置１００自体を向いていることを識別すると、被撮影者側の表示部１０７にカメラ１０１で撮影された画像を画像処理した鏡像画像１１５を表示するように制御する。一方、被撮影者の視線先が被撮影者側の表示部１０７やカメラ１０１、あるいは、携帯端末装置１００自体を向いていないことを識別すると、被撮影者側の表示部１０７を非表示状態にするように制御する。また、撮影者側の表示部１０８には被撮影者をカメラ１０１で撮影されたカメラ画像１１３のままの正像で表示するように制御する。

メモリ２０８は、フラッシュメモリなどで構成され、オペレーティングシステムや制御部２０５が使用する動作制御用アプリケーションなどのプログラム２０６を記憶している。また、携帯端末装置１００で取り扱われる画像、音声、信号などの情報データ２０７を記憶している。情報データ２０７としては、例えば、カメラ１０１で撮影された画像データを挙げることができる。

ディスプレイ１０６は、折り曲げることができるフレキシブルな表示パネルで構成され、携帯端末装置１００を折畳んだ際の外側両面に配置されている。フレキシブルな表示パネルとしては、曲げやすいプラスチック基板を用いた有機ＥＬパネルなどが採用されている。

携帯端末装置１００を折畳んだ状態では、被撮影者から見える表示部１０７と撮影者から見える表示部１０８に各々分けて別々の画像を表示する。一方、開いた状態では、完全に１枚のディスプレイになり大きな表示部を実現できるものである。また、ディスプレイ１０６は、画像や映像の表示とともに、入力操作を示す画面の表示や、バッテリー残量、各種アラーム、時刻などユーザーへの通知情報の表示や、表示画面内に起動するアプリケーションのアイコン表示などを行う。

タッチパネル２０９は、透明性の高い材質で構成され、指で触れた画面上の位置や面積を検出するものである。タッチパネル２０９は、ディスプレイ１０６の上層に重なるようにして携帯端末装置１００の表面に設けられており、ディスプレイ１０６の表示面上でタッチされた位置を検出できる。

また、タッチパネル２０９は、ディスプレイ１０６に表示された表示物を見ながらタッチパネル２０９に触れて入力操作を行うことができる入力操作部を構成し、指やタッチペンなどによる接近または接触操作を操作入力として検出できる。例えば、被撮影者側の表示部１０７に複数の被撮影者が写っているときに特定の被撮影者の表示位置をタッチして入力情報として取り込むことができる。また、表示画面上にある指示情報を示すアイコンやアプリケーションやファイルのアイコンをタッチ操作により容易に選択して指定入力することもできる。

マイク２１０は、外部からの音声やユーザー自身の発声を集音する。

スピーカー２１１は、外部に対して音声を出力し、携帯端末装置１００を保持している撮影者等に通知情報などを音声で知らせる。例えば、被撮影者が被撮影者側の表示部を注視していることを視線検出器で検出識別したときに、この被撮影者の注視状態を音声で通知することにより、撮影者は被撮影者の注視状態を容易に認識することが可能となる。

振動発生器２１２は、制御部２０５からの制御指示によって振動を発生させるもので、携帯端末装置１００で発信された通知情報を振動に変換して、携帯端末装置１００を保持している撮影者に振動で通知情報を知らせることができる。例えば、被撮影者が被撮影者側の表示部を注視していることを視線検出器で検出したときに、この被撮影者の注視状態を振動で撮影者に通知することにより、撮影者は被撮影者の注視状態を確実に認識できる。

通信インタフェース２１３は、近距離無線通信、無線ＬＡＮあるいは基地局通信により、別の場所にあるサーバ装置等と無線通信を行うものであり、無線通信に際しては送受信アンテナ２１４を介して、サーバ装置等とカメラ撮影された画像データや制御信号などの送受信を行う。

なお、近距離無線通信としては、例えば電子タグ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）などを用いることができる。また、基地局通信としては、ＬＴＥ（Long Term Evolution）やＧＳＭ（Global System for Mobile communications、登録商標）などの遠距離の無線通信を用いることができる。図示しないが、通信インタフェース２１３は、無線通信の手段として光通信や音波による通信等の他の方法を使用してもよい。その場合、送受信アンテナ２１４の代わりにそれぞれ光発光／受光部や音波出力／音波入力部を用いることになる。例えば、被撮影者が保持している携帯端末装置１００との無線通信により、視線検出結果などの各種情報を送受信して、撮影者や被撮影者の利便性を向上させることが可能となる。

このように構成されている携帯端末装置１００によれば、携帯端末装置１００が折畳まれると、カメラ１０１で撮影されたカメラ画像に基づいて、被撮影者側の表示部にカメラ画像を画像処理した処理画像（例えば、鏡像画像）を表示することができる。この結果、携帯端末装置１００によれば、被撮影者は被撮影者側の表示部に表示された自分の姿を見ることが可能となり、これによって、自分の写り具合を撮影中に視認することができる。

＜携帯端末装置の機能ブロック構成＞
続いて、上述した構成を有する携帯端末装置１００において、携帯端末装置１００で実現される機能に着目した機能ブロック構成について説明する。

図６は、携帯端末装置の機能ブロック構成を示す図である。

ここで、図６に示す機能ブロック図には、本実施の形態１に関係する部だけでなく、その他の実施の形態に関係する部も記載されている。その他の実施の形態に関係する部については、関係する実施の形態で説明する。

撮像部４０１は、携帯端末装置１００に内蔵されており、例えば、被撮影者を撮像するカメラから構成されている。この撮像部４０１で撮像された画像は、データ記憶部４１５に記憶される。

第１表示部４０２は、撮像部４０１で撮像された画像を表示するように構成されており、撮影者が視認可能な位置に設けられている。例えば、第１表示部４０２は、図２における表示部１０８に対応する。

第２表示部４０３は、撮像部４０１で撮像された画像を処理した処理画像を表示するように構成されており、被撮影者が視認可能な位置に設けられている。例えば、第２表示部４０３は、図３における表示部１０７に対応する。

本明細書において「画像」とは、撮像部４０１で撮像されたままの画像を意味する。一方、「処理画像」とは、撮像部４０１で撮像された画像を画像処理した画像を意味する。例えば、「処理画像」は、画像処理部４１０で画像処理された画像が対応する。すなわち、画像処理部４１０は、撮像部４０１で撮像された画像に対して画像処理を施すように構成されている。例えば、画像処理部４１０においては、撮像部４０１で撮像された画像に対して左右逆の鏡像である鏡像画像が生成される。画像処理部４１０で画像処理された処理画像も、撮像部４０１で撮像された画像と同様にデータ記憶部４１５に記憶される。すなわち、データ記憶部４１５は、画像や処理画像などのデータを記憶するように構成されている。

第１表示部４０２には、基本的に画像が表示されるが、処理画像が表示される場合があってもよい。同様に、第２表示部４０３には、基本的に処理画像が表示されるが、画像が表示される場合があってもよい。

携帯端末装置１００は、例えば、図１に示すように、フレキシブルで折畳み可能に構成されている。そして、携帯端末装置が折畳まれていない場合、第１表示部４０２を構成する表示部１０８と第２表示部４０３を構成する表示部１０７は、フラットな一体表示部を構成する（図１参照）。一方、携帯端末装置１００が折畳まれた場合、第１表示部４０２を構成する表示部１０８と第２表示部４０３を構成する表示部１０７は、互いに対向する位置に配置される（図２および図３参照）。

そこで、携帯端末装置１００において、折畳まれているか否かによって表示形態を変更できるようにするため、携帯端末装置１００には、携帯端末装置１００が折畳まれているか否かを検出するように構成された折畳み状態検出部４０９が設けられている。これにより、折畳み状態検出部４０９によって携帯端末装置１００が折畳まれていない状態にあると検出された場合、携帯端末装置１００は、一体表示部に画像を表示することができるように構成可能となる。また、折畳み状態検出部４０９によって携帯端末装置１００が折畳まれている状態にあると検出された場合、携帯端末装置１００は、第１表示部４０２を構成する表示部１０８に画像を表示し、かつ、第２表示部４０３を構成する表示部１０７に処理画像を表示することができるように構成可能となる。以上のようにして、携帯端末装置１００が構成されている。

＜携帯端末装置の動作＞
本実施の形態１における携帯端末装置１００は、上記のように構成されており、以下に、携帯端末装置１００の動作について説明する。

図７は、携帯端末装置の動作を説明するフローチャートである。

図７において、カメラ動作スイッチ１０５が撮影者により押されて、カメラ１０１で周囲の人物や風景の撮像が開始されると（Ｓ１０１）、折畳み状態検出部４０９で携帯端末装置１００が折畳まれた状態であるか否かを検出する（Ｓ１０２）。

折畳み状態検出部４０９において携帯端末装置１００が折畳み状態にあると検出した場合は、撮影者側の第１表示部４０２（表示部１０８）に画像を正像で表示する（Ｓ１０３）。一方、被撮影者側の第２表示部４０３（表示部１０７）には、画像処理部４１０で画像に対して画像処理を施すことにより生成された処理画像（鏡像画像）で表示する（Ｓ１０４）。

この状態で、画像表示を続けず終わらせる指示として、撮影者のタッチ操作によりタッチパネル２０９で設定入力されるか、カメラ動作スイッチ１０５が撮影者により押されるか否かを判定する（Ｓ１０６）。撮影停止が指示された場合は、撮像を停止して（Ｓ１０７）、撮影者側の表示部１０８への画像の表示および被撮影者側の表示部１０７への処理画像の表示を停止して（Ｓ１０８）、シーケンスを終了する。

これに対し、撮影停止が指示されない場合は（Ｓ１０６）、携帯端末装置１００が折畳まれた状態か否かの判断シーケンスＳ１０２に戻る。

なお、折畳み状態検出部４０９において携帯端末装置１００が折畳み状態になく開いた状態にあると検出した場合は（Ｓ１０２）、ディスプレイ１０６全体（一体表示部）に画像を正像で表示する（Ｓ１０５）。すなわち、常に撮影者側で表示する表示部１０８と、折畳むと表示する被撮影者側の表示部１０７と、折畳み部分で折畳むと表示しない非表示部１０９とを合わせた表示エリアで画像を表示する。

次に、Ｓ１０６に移行し、その後の動作は上記説明と同様である。

このようにして、携帯端末装置１００が折畳まれた状態で撮像が開始されると、被撮影者側の表示部１０７に被撮影者の姿が表示される。この結果、被撮影者は被撮影者側の表示部１０７で自分の姿を見ることができ、これによって、被撮影者は、自分の写り具合を撮影されている最中に視認できる。

また、撮像を継続した状態のままで、携帯端末装置１００の折畳まれた状態から折畳まれていない状態への移行や、携帯端末装置１００の折畳まれていない状態から折畳まれた状態への移行が可能となる。例えば、撮影者が折畳んで撮像しようとカメラ動作スイッチ１０５をオンにしたが、カメラ１０１での撮像の前に大画面で画像を確認したいとして、携帯端末装置１００を広げて開いた状態にすることもできる。さらに、撮影者は、携帯端末装置１００を折畳んでカメラ１０１で撮像をしている最中に、撮像動作を停止させることなく、一旦、携帯端末装置１００を広げて開いた状態の大画面で画像を確認することもできる。

（実施の形態２）
本実施の形態２では、被撮影者の視線を検出することによって、被撮影者側の表示部における処理画像の表示／非表示を制御する例を説明する。

＜視線検出による表示制御の概要＞
本実施の形態２では、携帯端末装置１００が折畳まれた状態で、撮影者がカメラ動作スイッチ１０５を操作してカメラ１０１での撮像を開始すると、撮影者側の表示部１０８には、カメラ１０１で撮像された画像が表示される。一方、被撮影者側の表示部１０７は、非表示状態のままである。

深度センサ１０２は、被撮影者がカメラ１０１で撮影されている状態で、被撮影者を人物として検出し、その顔の中から左目と右目を識別する。

第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａは、深度センサ１０２で識別された左目と右目の動きや向きをそれぞれ捉え、被撮影者の視線先１１４（図３参照）を検出する。

携帯端末装置１００は、第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａで検出された視線先１１４が被撮影者側の表示部１０７かカメラ１０１あるいは少なくとも携帯端末装置１００自体の方向を向いていることを検出すると、表示部１０７に鏡像画像１１５を表示する。

このように、折畳まれた状態の携帯端末装置１００にあって、被撮影者が撮像中の携帯端末装置１００を注視しているときだけ、撮像されている被撮影者の姿を被撮影者にとって見やすい鏡像画像１１５で被撮影者側の表示部１０７に表示することができる。

したがって、被撮影者が携帯端末装置１００を見ていないときの不必要な表示を抑えることができる。このため、無駄に電力消費をすることなく、被撮影者は自分がどのように写っているかという自分の写り具合を撮影されている最中に容易に使い勝手よく視認することができる。

なお、深度センサ１０２で被撮影者を人物として検出しても、その顔の中の左目および右目を見出して識別できなければ、被撮影者は携帯端末装置１００を見ていない状態にある。この場合、被撮影者側の表示部１０７を表示オフの非表示状態のままにして、不必要な表示を行わない。

また、第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａで検出された視線先１１４が被撮影者側の表示部１０７かカメラ１０１あるいは少なくとも携帯端末装置１００自体の方向を向いていない場合には、同様に、被撮影者側の表示部１０７を表示オフの非表示状態のままにして、不必要な表示を行わない。

本実施の形態２では、検出した人物の顔の中から両目を識別する機能を実現する構成要素として、深度センサ１０２を用いた場合について説明したが、他の構成要素を使用してもよい。

例えば、カメラ１０１で撮像されて、被撮影者が写っている画像から人物や顔に対する画像認識アルゴリズムを使って人物や顔を割り出し、左目および右目を検出してもよい。さらには、この場合、視線検出器でも画像から目を捉え、目頭に対する虹彩の位置に基づいて視線を検出することにより、深度センサ１０２および視線検出器とも、全て画像のソフト処理で行うことが可能となる。また、左目視線検出器１０３ａおよび右目視線検出器１０４ａ自体で直接左目と右目を検出してもよい。

＜機能ブロック構成＞
続いて、視線検出による表示制御を実現するための機能ブロック構成について、図６を参照しながら説明する。

視線検出による表示制御を実現するために、携帯端末装置１００は、視線方向検出部４０４と、判断部４０７と、表示制御部４０８を有している。

視線方向検出部４０４は、被撮影者の視線方向を検出するように構成されており、例えば、被撮影者の目を識別するように構成された識別部４０５と、識別部４０５で識別された目の動きに基づいて、被撮影者の視線方向を検出するように構成された視線方向検出器４０６とを有する。特に、識別部４０５は、形状を立体的に捉えるように構成された深度センサ１０２を含み、識別部４０５は、深度センサ１０２の出力に基づいて、被撮影者の目を識別するように構成されている。

ここで、識別部４０５を構成する深度センサ１０２は、被撮影者がカメラ１０１で撮影されている状態で、被撮影者を人物として検出し、その顔の中から左目と右目を識別する。ただし、深度センサ１０２は、左目と右目の両方を識別する必要はなく、左目と右目のうちの片方の目を検出するように構成されていてもよい。

視線方向検出器４０６は、例えば、第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａから構成され、これらの第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａは、深度センサ１０２で識別された左目と右目の動きや向きをそれぞれ捉え、被撮影者の視線先１１４（図３参照）を検出するように構成されている。

ただし、視線方向検出器４０６は、第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａの両方から構成されている必要はなく、第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａのいずれか一方から構成されていてもよい。

つまり、視線方向検出部４０４の構成要素である識別部４０５は、被撮影者の目（両目と片目のいずれでもよい）を識別するように構成されていればよく、視線方向検出部４０４の構成要素である視線方向検出器４０６は、識別部４０５で識別された目（両目と片目のいずれでもよい）の動きに基づいて、被撮影者の視線方向を検出するように構成されていればよい。

このように視線方向検出部４０４をハードウェアから構成する場合だけでなく、視線方向検出部４０４は、画像処理部４１０による画像処理によって、カメラ１０１で撮像された画像を解析することで、ソフトウェア的に、画像から被撮影者の視線方向を検出するように構成されていてもよい。

次に、判断部４０７は、上述した視線方向検出部４０４による検出結果に基づいて、被撮影者が携帯端末装置１００の存在方向を向いているか否かを判断するように構成されている。例えば、判断部４０７は、視線方向検出部４０４で検出された被撮影者の視線方向が、被撮影者側の表示部１０７かカメラ１０１あるいは少なくとも携帯端末装置１００自体の方向であるか否かを判断するように構成されている。そして、判断部４０７は、被撮影者が携帯端末装置１００の存在方向を向いているか否かについての判断結果を表示制御部４０８に出力するように構成されている。

続いて、表示制御部４０８は、判断部４０７の判断結果に基づいて、被撮影者側の表示部１０７における処理画像（鏡像画像）の表示／非表示を制御するように構成されている。例えば、表示制御部４０８は、判断部４０７において被撮影者が携帯端末装置１００の存在方向を向いていると判断された場合、処理画像を被撮影者側の表示部１０７に表示する一方、判断部４０７において被撮影者が携帯端末装置１００の存在方向を向いていないと判断された場合、処理画像を非表示にするように構成されている。

以上のようにして、携帯端末装置１００が構成されている。

＜携帯端末装置の動作＞
本実施の形態２における携帯端末装置１００は、上記のように構成されており、以下に、携帯端末装置１００の動作について説明する。

図８は、携帯端末装置の動作を説明するフローチャートである。

カメラ動作スイッチ１０５が撮影者により押されて、カメラ１０１で周囲の人物や風景の撮影が開始されると（Ｓ２０１）、折畳み状態検出部４０９で携帯端末装置１００が折畳まれた状態であるか否かを検出する（Ｓ２０２）。

折畳み状態検出部４０９において携帯端末装置１００が折畳み状態にあると検出された場合、携帯端末装置１００は、撮影者側の第１表示部４０２（表示部１０８）にカメラ１０１で撮影された画像をそのままの正像で表示する(Ｓ２０３)。これにより、撮影者は撮像しているままの画像を撮影者側の表示部１０８で確認することができる。

続いて、深度センサ１０２を用いて人物として被撮影者を捉えて検出し、その顔の中の左目と右目を識別することを試みる（Ｓ２０４）。両眼が識別できた場合は、第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａ、あるいは、第２の左目視線検出器１０３ｂおよび第２の右目視線検出器１０４ｂを用いて、左目および右目が向いている視線先１１４（視線方向）を検出する（Ｓ２０５）。検出した被撮影者１３０の視線先１１４により、被撮影者が被撮影者側の表示部１０７かカメラ１０１あるいは少なくとも携帯端末装置１００自体を注視しているか否かを識別する（Ｓ２０６）。

被撮影者が被撮影者側の表示部１０７かカメラ１０１あるいは少なくとも携帯端末装置１００自体を注視している場合には、カメラ１０１で撮影された画像を画像処理した処理画像（鏡像画像）を被撮影者側の表示部１０７に表示する（Ｓ２０７）。これにより、被撮影者は、被撮影者側の表示部１０７かカメラ１０１あるいは少なくとも携帯端末装置１００自体を注視すると、被撮影者側の表示部１０７に自分の姿を鏡像画像で見ることができる。この結果、本実施の形態２によれば、被撮影者は、自分の写り具合を鏡で見ているかのように容易に視認することが可能となる。

Ｓ２０４において被撮影者の目が識別できなかった場合、もしくは、Ｓ２０６で被撮影者が被撮影者側の表示部１０７かカメラ１０１あるいは少なくとも携帯端末装置１００自体を注視していなかった場合、被撮影者側の表示部１０７には何も表示しない（Ｓ２０８）。この結果、被撮影者が被撮影者側の表示部を見ておらず、表示する必要がない時には、処理画像の表示を停止することにより、不必要な表示による無駄な電力消費を抑えることができる。

この状態で、撮像を続けずに終わらせる指示として、撮影者のタッチ操作によりタッチパネル４１１で設定入力されるか、カメラ動作スイッチ１０５が撮影者により押されることを判定する（Ｓ２０９）。撮像停止が指示された場合は、撮像を停止した後（Ｓ２１０）、撮影者側の表示部１０８への画像の表示および被撮影者側の表示部１０７への処理画像の表示を停止して（Ｓ２１１）、シーケンスを終了する。Ｓ２０９において撮影停止が指示されない場合は、携帯端末装置１００が折畳まれた状態か否かの判断に戻る。

一方、折畳み状態検出部４０９において携帯端末装置１００が折畳みでなく開いた状態にあると検出された場合は、ディスプレイ１０６全体（一体表示部）にカメラ１０１で撮像された画像を正像で表示する（Ｓ２１２）。すなわち、常に撮影者側で表示する表示部１０８と、折畳むと表示する被撮影者側の表示部１０７と、折畳み部分で折畳むと表示しない非表示部１０９とを合わせた表示エリアで画像を表示する。その後、Ｓ２０９に移行し、それ以降の動作は上記説明と同様である。

以上の動作により、折畳まれた状態の携帯端末装置にあって、被撮影者が撮影中の携帯端末装置を注視したときだけ、カメラ１０１で撮像された被撮影者の姿を被撮影者にとって見やすい鏡像画像（処理画像）で被撮影者側の表示部１０７に表示することができる。これにより、被撮影者が見ていないときの不必要な表示を抑えて無駄な電力を消費することなく、被撮影者は自分がどのように写っているかという自分の写り具合を撮像中に容易に使い勝手よく視認することができる。

また、以上の説明では、カメラ１０１で撮影された画像、すなわち写真等の静止画像の例を示しているが、映像等の動画画像でも、被撮影者は被撮影者側の表示部に動いている自分が映っているのを見ることは可能である。特に、視線検出による表示制御を実施する場合も、被撮影者が動きながらでもカメラ１０１を見た時だけ被撮影者は被撮影者側の表示部に映っており、自分の映り具合を視認することができる。

（実施の形態３）
本実施の形態３における携帯端末装置１００について説明する。

前記実施の形態１における携帯端末装置１００のフレキシブルで折畳み可能なディスプレイ１０６は、図２および図３に示すように横折れ構造であったが、本実施の形態３における携帯端末装置１００のフレキシブルで折畳み可能なディスプレイ１０６は、縦折れ構造である。

図９は、本実施の形態３における携帯端末装置を撮影者側から見た概観を示す図である。図１０は、本実施の形態３における携帯端末装置１００を被撮影者側から見た概観を示す図である。

なお、図９において、図２と同一の符号を付された部分は、図２で既に説明した構成と同一の構成を有するので、それらの詳細説明は省略する。同様に、図１０において、図３と同一の符号を付された部分は、図３で既に説明した構成と同一の構成を有するので、それらの詳細説明は省略する。

本実施の形態３の構成と前記実施の形態１の構成で相違する点は、第１の左目視線検出器１０３ａと第１の右目視線検出器１０４ａに代えて、第２の左目視線検出器１０３ｂと第２の右目視線検出器１０４ｂを設けている点である。第２の左目視線検出器１０３ｂと第２の右目視線検出器１０４ｂの配置は、図３で示した第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａの配置の場合と同様、カメラ１０１で撮影される際の被撮影者１３０の左目と右目の並び方向と同じ並び方向になるように設けられる。

携帯端末装置１００を折畳むと被撮影者側の表示部１０７にカメラ１０１で撮像された画像を画像処理した処理画像（鏡像画像）を表示する制御は、上述した前記実施の形態１と同様であり、その説明は省略する。

視線検出による表示制御は、携帯端末装置１００が折畳まれた状態で、撮影者１４０がカメラ動作スイッチ１０５を操作してカメラ１０１での撮像が開始されると、撮影者側の表示部１０８にはカメラ１０１で撮影された画像が表示される。一方、被撮影者側の表示部１０７は非表示状態のままである。そして、深度センサ１０２は、被撮影者１３０がカメラ１０１で撮影されている状態で、被撮影者１３０を人物として捉えて検出し、その顔の中から左目と右目を見出して識別する。第２の左目視線検出器１０３ｂおよび第２の右目視線検出器１０４ｂは、深度センサ１０２で検出された左目と右目の動きや向きを各々捉え、被撮影者１３０の視線先１１４を検出する。

携帯端末装置１００は、第２の左目視線検出器１０３ｂおよび第２の右目視線検出器１０４ｂで検出された視線先１１４が被撮影者側の表示部１０７かカメラ１０１あるいは少なくとも携帯端末装置１００自体の方向を向いていることを検出すると、鏡に映ったような左右逆に写る鏡像画像１１５を被撮影者側の表示部１０７に表示する。

これにより、携帯端末装置１００のディスプレイ１０６が縦折り構造の場合でも、被撮影者１３０の両目の視線をより正確に検出しつつ、折畳まれた状態の携帯端末装置１００にあって、被撮影者１３０が撮像中の携帯端末装置１００を注視したときだけ、撮像されている被撮影者の姿を被撮影者にとって見やすい鏡像画像１１５で被撮影者側の表示部１０７に表示できる。

なお、ディスプレイ１０６が縦折れ構造の携帯端末装置１００の場合でも、第２の左目視線検出器１０３ｂおよび第２の右目視線検出器１０４ｂではなく、第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａを用いて視線検出してもよい。

また、ディスプレイ１０６が横折れ構造あるいは縦折れ構造のいずれの携帯端末装置１００の場合も、第１の左目視線検出器１０３ａおよび第２の左目視線検出器１０３ｂと、第１の右目視線検出器１０４ａおよび第２の右目視線検出器１０４ｂなどの複数の視線検出器を設けて、携帯端末装置１００と被撮影者１３０の位置関係により最適な視線検出器を選択あるいは併用してもよく、この場合、携帯端末装置１００と被撮影者１３０との位置関係に関わらず、より一層正確な視線検出を行うことができる。

さらに、第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａのペアと第２の左目視線検出器１０３ｂおよび第２の右目視線検出器１０４ｂのペアを有している携帯端末装置１００の場合には、携帯端末装置１００がどのような姿勢状態にあるかを検出し、その姿勢に応じて、より正確に視線検出できるペアを選択してもよい。携帯端末装置１００の姿勢状態は、例えば、加速度センサ２０２、ジャイロセンサ２０３、地磁気センサ２０４等のセンサにより検出することができる。

（実施の形態４）
本実施の形態４における携帯端末装置１００について説明する。

図１１は、カメラで撮像された画像のなかで被撮影者が小さく撮影される場合の携帯端末装置の概観を模式的に示す図である。図１２は、図１１の場合の被撮影者側の表示部を示す図である。なお、図１１および図１２において、前記実施の形態１と同一の符号を付された部分は、前記実施の形態１で既に説明した構成と同一の構成を有するので、それらの詳細説明は省略する。

図１１に示すように、カメラ１０１の撮像範囲内で被撮影者５００が遠くに見えたりあるいは全体風景を撮影したりするとき、カメラ１０１で撮像された画像をそのまま被撮影者側の表示部１０７に表示すると、被撮影者５００は画像のなかで相対的に小さい姿の鏡像画像５１０で表示されてしまう。この場合、被撮影者５００は、被撮影者側の表示部１０７を見ても自分の写り具合をたやすく視認することが困難となる。

そこで、本実施の形態４における携帯端末装置１００では、以下に示す機能を設けて、上述した困難に対する工夫を施している。

図６に示すように、本実施の形態４における携帯端末装置１００は、カメラ１０１で撮像された画像に対して画像処理を施すように構成された画像処理部４１０を有している。この画像処理部４１０は、カメラ１０１で撮像された画像に含まれる被撮影者５００の画像領域を拡大し、かつ、鏡像処理を施した処理画像を生成するように構成されている。そして、第２表示部４０３は、画像処理部４１０で生成された処理画像を表示するように構成される。

これにより、本実施の形態４における携帯端末装置１００においては、図１２に示すように、被撮影者側の表示部１０７に被撮影者５００を大きく拡大した処理画像（鏡像画像）５１０Ａで表示する。携帯端末装置１００は、例えば、カメラ１０１で撮影された画像を一旦メモリ２０８内の情報データ２０７に保存し、画像処理部４１０によって、保存された画像から被撮影者５１０を中心に読み出して、被撮影者側の表示部１０７に大きく拡大した処理画像５１０Ａを表示すればよい。

また、図１３に示すように、撮影者側の表示部１０８には正像で画像全体が表示される。このとき、被撮影者の姿を示す表示範囲がわかるような枠取り５２０の表示を行うことも可能である。この枠取り５２０の表示により、被撮影者側の表示部１０７で拡大表示する被撮影者５００を特定できる。

以上のようにして、本実施の形態４における携帯端末装置１００によれば、被撮影者５００は、被撮影者側の表示部１０７に大きく拡大表示された自分の姿を見ることができ、これによって、被撮影者５００にとって自分がどのように写っているかという自分の写り具合を撮影中に容易にしっかりと視認することができる。

（実施の形態５）
本実施の形態５における携帯端末装置１００について説明する。

図１４および図１５は、カメラで撮影された画像のなかに複数の被撮影者が居る場合の携帯端末装置の概観を模式的に示す図である。図１６および図１７は、図１４の場合の撮影者側の表示部を示す図である。

なお、図１４～図１７において、前記実施の形態１と同一の符号を付された部分は前記実施の形態１で既に説明した構成と同一の構成を有するので、それらの詳細説明は省略する。

本実施の形態５における携帯端末装置１００には、以下に示す機能が設けられている。すなわち、図６において、携帯端末装置１００は、画像処理部４１０と入力操作部４１１を有している。この入力操作部４１１は、複数の被撮影者が撮像されている画像の画像領域のうち、特定の被撮影者が撮像されている部分画像領域を指定可能に構成されている。例えば、入力操作部４１１は、第１表示部４０２上にあって、撮影者によってタッチされた位置に基づいて、画像の画像領域の中から部分画像領域を指定可能に構成された第１タッチパネル部４１２から構成される。また、画像処理部４１０は、入力操作部４１１で指定された部分画像領域を拡大し、かつ、鏡像処理を施した処理画像を生成するように構成されている。そして、第２表示部４０３は、画像処理部４１０で生成された処理画像を表示する。

以下に、具体的に説明する。

図１４に示すように、カメラ１０１で撮影された画像のなかに複数の被撮影者６００、６０１、６０２が居るとき、この画像をそのまま被撮影者側の表示部１０７に表示すると、被撮影者６００、６０１、６０２は、画像のなかで相対的に小さい処理画像６１０、６１１、６１２で表示される。そこで、本実施の形態５では、図１６に示すように、撮影者が拡大表示する被撮影者を指定する入力操作を行うと、図１５に示すように、指定された被撮影者６０２を拡大表示した処理画像６１２Ａで被撮影者側の表示部１０７に表示する。入力操作は、タッチパネル２０９（第１タッチパネル部４１２）を用いることができる。図１６に示すように、撮影者側の表示部１０８にはカメラ１０１で撮像された正像の全体画像が表示される。人物を検出して拡大対象となりうる複数の被撮影者の処理画像６２０、６２１、６２２が表示され、この表示部１０８上で指定の被撮影者の処理画像６２２をタッチして選択する。タッチパネル２０９は、複数の被撮影者が表示された撮影者側の表示部１０８上で撮影者が指定した被撮影者の位置が撮影者によってタッチされたことを検出し、携帯端末装置１００は、タッチパネル２０９で検出された位置の被撮影者を入力情報として取り込み、図１５に示すように指定の被撮影者の処理画像６１２Ａを被撮影者側の表示部１０７に拡大表示する。

また、図１６に示すように、拡大対象となる被撮影者に選択する枠６３０を表示してもよい。そのとき、枠６３０内の被撮影者の視線を視線検出器で検出し、被撮影者の視線先（視線方向）が被撮影者側の表示部１０７かカメラ１０１あるいは少なくとも携帯端末装置１００の方向を向いているときだけ、枠６３０内の被撮影者の処理画像を被撮影者側の表示部１０７に拡大して表示する。カメラ１０１を見ていない被撮影者を表示しても意味がなく、カメラ１０１を見ている被撮影者だけを拡大表示して、自分の写り具合を視認させることができる。すなわち、「枠表示」や視線検出などの「枠表示の対象を判定する機能」によって撮影者の選択を手助けすることが可能になる。

さらに、入力操作により拡大表示する被撮影者が指定された後、図１７に示すように、撮影者側の表示部１０８にも選択指定された被撮影者の画像を拡大した画像６２２Ａで表示してもよい。この表示により、撮影者は選択指定後に選択指定の被撮影者が間違いなく拡大表示されているということを確実に視認することが可能になる。

以上のようにして、複数の被撮影者が居る場合、撮影者は被撮影者側の表示部１０７に拡大表示する被撮影者を指定することが可能となる。このことから、撮影者は自分の写り具合を最も視認したい被撮影者を指定することができ、かつ、指定した被撮影者に拡大表示されて視認しやすい処理画像を提供することができる。逆に、自分の写り具合を最も視認したい被撮影者からの要望を受けて、撮影者は要望のあった被撮影者を拡大表示できる。

なお、具体的な入力操作の他の例としては、入力操作を行う入力操作部として、マイク２１０を用いて、マイク２１０で指定の被撮影者を示す撮影者からの発声を携帯端末装置１００に取り込んでもよい。さらには、撮影者の視線を検出する撮影者側の視線検出器を撮影者側の表面に設けて、撮影者側の視線検出器により、撮影者が撮影者側の表示部に表示されている複数の被撮影者のうちのどの被撮影者を指定しようとしているかを検出して、指定の被撮影者を確定することもできる。また、撮影者は表示するか否かを被撮影者に確認し、例えば、たまたま写り込んだ人がカメラ１０１を見ている場合には表示しないようにしてもよい。

（実施の形態６）
本実施の形態６における携帯端末装置１００について説明する。

図１８は、撮影者の持ち手が被撮影者側の表示部に表示されている被撮影者を覆い遮っている結果、被撮影者が自分の全姿を見ることができない場合の携帯端末装置の概観を模式的に示す図である。図１９および図２０（ａ）～図２０（ｃ）は、図１８に示す場合における被撮影者側の表示部を示す図である。図２１は、図１８に示す場合における撮影者側の表示部を示す図である。なお、図１８～図２１において、前記実施の形態１と同一の符号を付された部分は、前記実施の形態１で既に説明した構成と同一の構成を有するので、それらの詳細説明は省略する。

本実施の形態６における携帯端末装置１００には、以下に示す機能が設けられている。すなわち、図６において、携帯端末装置１００は、画像処理部４１０と入力操作部４１１と重複判断部４１４を有している。入力操作部４１１は、第２表示部４０３上にあって、第２表示部４０３と撮影者の持ち手との重なり領域を検出するように構成された第２タッチパネル部４１３を含む。また、重複判断部４１４は、第２タッチパネル部４１３で検出された重なり領域と、第２表示部４０３に表示されている処理画像に含まれる被撮影者の画像領域とが、平面的に重なっているか否かを判断するように構成されている。さらに、画像処理部４１０は、重複判断部４１４によって重なり領域と被撮影者の画像領域とが平面的に重なっていると判断された場合、被撮影者の画像領域が重なり領域と平面的に重ならないように処理画像に対して画像処理を施すように構成されている。そして、第２表示部４０３は、画像処理部４１０で画像処理された処理画像を表示する。

以下に、具体的に説明する。

図１８に示すように、被撮影者８００がカメラ１０１の撮影範囲内に居て、被撮影者側の表示部１０７に表示された処理画像に被撮影者が写っている画像領域８１０が含まれているとき、携帯端末装置１００を保持している撮影者の持ち手７００が表示部１０７に表示された被撮影者の画像領域８１０を部分的にでも覆い遮ってしまうことがある。この場合、被撮影者８００は写されている自分の姿が非常に見えづらくなる。そこで、本実施の形態６における携帯端末装置１００では、タッチパネル２０９（第２タッチパネル部４１３）により被撮影者側の表示部１０７と撮影者の持ち手７００との重なり領域を検出して、図１９に示すように、検出した重なり領域以外の場所に被撮影者の画像領域８１０を移動して表示するという工夫を施している。

この工夫点について、図２０（ａ）～図２０（ｃ）を用いて詳細に説明する。まず図２０（ａ）に示すように、持ち手が覆い遮っている遮蔽範囲７００Ａをタッチパネル２０９により検出する。図２０（ａ）では、遮蔽範囲７００Ａが被撮影者側の表示部１０７上で被撮影者が写っている画像領域８１０を覆い遮ってしまっている。なお、点線で示した領域８２０は、処理画像が被撮影者側の表示部１０７上で表示される画像表示範囲を示しており、図２０（ａ）の場合、領域８２０は、被撮影者側の表示部１０７のほぼ全部の範囲である。

これに対して、例えば、図２０（ｂ）に示すように、処理画像全体を縮小し、縮小された処理画像全体を遮蔽範囲７００Ａ以外の領域８３０に表示する。この場合、領域８３０と遮蔽範囲７００Ａとが重ならないようにすることで、処理画像全体を表示しつつ、遮蔽範囲７００Ａによって被撮影者が写っている画像領域８１０Ａが隠れないように表示することができる。また、図２０（ｃ）に示すように、処理画像全体を移動させて、移動させた処理画像をタッチパネル２０９で検出した遮蔽範囲７００Ａ以外の領域８４０に表示することもできる。この場合、被撮影者が写っている画像領域８１０Ｂ以外で表示されない部分は生ずるが、遮蔽範囲７００Ａによって遮られることなく被撮影者が写っている画像領域８１０Ｂをそのままの大きさで表示できる。また、例えば、前記実施の形態４の図１２で示したように、持ち手によって遮られない遮蔽範囲７００Ａ以外に被撮影者の処理画像を拡大して表示することもできる。

さらに、図２１に示すように、撮影者側の表示部１０８に持ち手による遮蔽範囲７００Ａを表示してもよい。これにより、撮影者は、点線で示す画像表示領域８５０内で被撮影者が写っている画像領域８１０Ｃが持ち手による遮蔽範囲７００Ａで覆われている状態を認識できるので、認識した状態に応じて、持ち手による遮蔽範囲７００Ａ以外に被撮影者が写っている画像領域８１０Ｃをどのように表示するかについて選択して指示することが可能になる。これにより、本実施の形態６における携帯端末装置１００によれば、被撮影者は持ち手によって遮られることなく、写されている自分の全姿をしっかりと視認することができる。

（実施の形態７）
本実施の形態７における携帯端末装置１００について説明する。

本実施の形態７では、折畳んだ状態の携帯端末装置１００の内側表面にカメラ１０１や深度センサ１０２が配置されている例について説明する。

なお、図２２において、前記実施の形態１と同一の符号を付された部分は、前記実施の形態１で既に説明した構成と同一の構成を有するので、それらの詳細説明は省略する。

例えば、前記実施の形態１における携帯端末装置１００では、折畳んだ状態の携帯端末装置１００の外側表面にカメラ１０１や深度センサ１０２が配置されている例について説明している。この場合、例えば、図３に示すように、カメラ１０１や深度センサ１０２の前方視界が塞がれることはなく、カメラ１０１や深度センサ１０２による被撮影者１３０の撮影や検出識別を充分に行えなくなることはない。すなわち、前記実施の形態１における携帯端末装置１００の構成において、カメラ１０１（撮像部４０１）は、携帯端末装置１００を折畳んだ場合であっても、被撮影者１３０を撮像可能な位置に設けられているとともに、視線方向検出部４０４も、被撮影者１３０の視線方向を検出可能な位置に設けられている。

これに対し、例えば、折畳んだ状態の携帯情報端末１００の内側表面にカメラ１０１や深度センサ１０２が配置されている場合には、折畳んだ状態の携帯端末装置１００の筐体構造によっては、カメラ１０１や深度センサ１０２の前方視界が塞がれてしまい、カメラ１０１や深度センサ１０２による被撮影者１３０の撮影や検出識別が充分に行えないケースが生じる。

この点に関し、本実施の形態７では、以下に示すように、携帯端末装置１００の筐体構造に関する工夫を施している。すなわち、図２２に示すように、折畳んだ状態でも、携帯端末装置１００の内側表面にあるカメラ９０１や深度センサ９０２の前方の筐体を開口するなどして、方向９０３から方向９０４までのカメラ９０１の撮影範囲内や方向９０５から方向９０６までの深度センサ９０２の観測範囲内を塞がないような筐体構造にする。

つまり、本実施の形態７における携帯端末装置１００は、携帯端末装置１００を折畳んだ場合であっても、撮像部４０１による撮像および視線方向検出部４０４による視線方向の検出を阻害しないような筐体構造を有する。

これにより、本実施の形態７における携帯端末装置１００によれば、折畳んだ状態で、カメラ９０１は視界内の人物や風景など全て良好に撮影できるとともに、深度センサ９０２では、人物としての被撮影者１３０を検出し、検出した人物の顔の中から目を問題なく識別することができる。

（実施の形態８）
本実施の形態８における携帯端末装置１００Ａについて説明する。

図２３は、本実施の形態８における携帯端末装置の概観を模式的に示す図であり、図２４は、図２３に示す携帯端末装置を別の角度から外観模式的に示す図である。なお、図２３および図２４において、前記実施の形態１と同一の符号を付された部分は、前記実施の形態１で既に説明した構成と同一の構成を有するので、それらの詳細説明は省略する。

図２３に示す携帯端末装置１００Ａでは、ディスプレイとして、前記実施の形態１で採用しているフレキシブルなディスプレイパネルに替えて、ガラス基板で構成されて折り曲げることができないフラットパネルを用いている。図２３および図２４に示すように、この携帯端末装置１００Ａは、撮影者１４０側にメインディスプレイ１００１を備えている一方（図２４参照）、被撮影者１３０側にサブディスプレイ１００２を備えている（図２３参照）。

図２４において、撮影者１４０側の表示部であるメインディスプレイ１００１には、カメラ１０１の撮影範囲内に被撮影者１３０が現れると、カメラ１０１で撮影された被撮影者の画像１１３がそのままの正像で表示されて、撮影者１４０は、被撮影者を画像１１３で確認できる。一方、図２３に示すように、被撮影者１３０が出現したとき、第１の左目視線検出器１０３ａおよび第１の右目視線検出器１０４ａは、深度センサ１０２で検出識別された被撮影者１３０の左目と右目の動きや向きを各々捉え、被撮影者１３０の視線先１１４が被撮影者１３０側の表示部であるサブディスプレイ１００２かカメラ１０１あるいは少なくとも携帯端末装置１００Ａ自体に向いていることを検出すると、鏡に映ったような左右逆に写る鏡像画像１１５をサブディスプレイ１００２に表示する。

したがって、表面と裏面の両面にそれぞれディスプレイを備える本実施の形態８における携帯端末装置１００Ａであっても、被撮影者１３０が撮像中の携帯端末装置１００Ａを注視するときだけ、撮像されている被撮影者１３０の姿を被撮影者にとって見やすい鏡像画像１１５で被撮影者１３０側にあるサブディスプレイ１００２に表示することができる。このことから、被撮影者１３０が見ていないときの不必要な表示を抑えて無駄な電力を消費することを抑制できるとともに、被撮影者１３０は自分がどのように写っているかという自分の写り具合を撮影されている最中に容易に使い勝手よく視認することができる。

続いて、本実施の形態８の他の例として、折畳んだ状態の携帯端末装置１００Ｂの内側表面にフレキシブルディスプレイを備える例を説明する。

図２５は、折畳み可能な携帯端末装置１００Ｂの内側表面にフレキシブルディスプレイを有する構成を外観模式的に示す図であり、図２６は、折畳んだ状態の携帯端末装置の概観を模式的に示す図ある。

なお、図２５および図２６において、前記実施の形態１と同一の符号を付された部分は、前記実施の形態１で既に説明した構成と同一の構成を有するので、それらの詳細説明は省略する。

図２５に示すように、携帯端末装置１００Ｂは、折畳むことができる内側表面にフレキシブルなパネルからなる第１のディスプレイ１００１と、図２６に示すように、被撮影者１３０側の外側表面にガラス基板で構成され折り曲げることができないフラットパネルからなる第２のディスプレイ１１０２とを有している。第１のディスプレイ１００１が開かれた状態では、撮影者１４０は、大きな画面で携帯端末装置１００Ｂからの画像を見ることができる。一方、カメラ１０１で撮像されている被撮影者１３０の視線が被撮影者１３０から見える第２のディスプレイ１１０２かカメラ１０１あるいは少なくとも携帯端末装置１００Ｂ自体を向いているときだけ、鏡に映ったような左右逆に写る鏡像画像１１５を被撮影者１３０から見える第２のディスプレイ１１０２に表示する。

したがって、内側表面にフレキシブルなパネルからなる第１のディスプレイ１１０１を有する携帯端末装置１００Ｂであっても、被撮影者１３０側の外側表面に第２のディスプレイ１１０２を設けて、被撮影者１３０が撮像中の携帯端末装置１００Ｂを注視するときだけ、撮像されている被撮影者１３０の姿を被撮影者１３０にとって見やすい鏡像画像１１５で被撮影者１３０側にある第２のディスプレイ１１０２に表示することができる。

これにより、被撮影者１３０が見ていないときの不必要な表示を抑えて無駄な電力消費を抑制しながらも、被撮影者１３０は自分がどのように写っているかという自分の写り具合を撮像中に容易に使い勝手よく視認することができる。なお、さらに、折り畳んだ状態において撮影者１４０側に位置する外側表面にもディスプレイを設けて、撮影者１４０が撮影中の画像を視認できるように構成することも可能である。

以上、本発明者によってなされた発明をその実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

例えば、上記した実施の形態は、本発明における技術的思想を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることも可能であり、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。さらに、各実施の形態の構成の一部について、他の構成の追加・削除・置換が可能である。

上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。ただし、
上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行するソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、記録媒体に置くことができる。

制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００ 携帯端末装置
１００Ａ 携帯端末装置
１００Ｂ 携帯端末装置
１０１ カメラ
１０２ 深度センサ
１０３ａ 第１の左目視線検出器
１０３ｂ 第２の左目視線検出器
１０４ａ 第１の右目視線検出器
１０４ｂ 第２の右目視線検出器
１０５ カメラ動作スイッチ
１０６ ディスプレイ
１０７ 表示部
１０８ 表示部
１０９ 非表示部
１１３ 画像
１１４ 視線先
１１５ 鏡像画像
１３０ 被撮影者
１４０ 撮影者
２０１ 折畳み状態検出器
２０２ 加速度センサ
２０３ ジャイロセンサ
２０４ 地磁気センサ
２０５ 制御部
２０６ プログラム
２０７ 情報データ
２０８ メモリ
２０９ タッチパネル
２１０ マイク
２１１ スピーカー
２１２ 振動発生器
２１３ 通信インタフェース
２１４ 送受信アンテナ
２１５ バス
３０１ ホール素子
３０２ ホール素子
３０３ 磁石
３０４ 磁石
４０１ 撮像部
４０２ 第１表示部
４０３ 第２表示部
４０４ 視線方向検出部
４０５ 識別部
４０６ 視線方向検出器
４０７ 判断部
４０８ 表示制御部
４０９ 折畳み状態検出部
４１０ 画像処理部
４１１ 入力操作部
４１２ 第１タッチパネル部
４１３ 第２タッチパネル部
４１４ 重複判断部
４１５ データ記憶部
５００ 被撮影者
５１０ 鏡像画像
５１０Ａ 処理画像
５２０ 枠取り
６００ 被撮影者
６０１ 被撮影者
６０２ 被撮影者
６１０ 処理画像
６１１ 処理画像
６１２ 処理画像
６１２Ａ 処理画像
６２０ 処理画像
６２１ 処理画像
６２２ 処理画像
６２２Ａ 処理画像
６３０ 枠
７００ 持ち手
７００Ａ 遮蔽範囲
８００ 被撮影者
８１０ 画像領域
８１０Ａ 画像領域
８１０Ｂ 画像領域
８１０Ｃ 画像領域
８２０ 領域
８３０ 領域
８４０ 領域
８５０ 領域
９０１ カメラ
９０２ 深度センサ
９０３ 方向
９０４ 方向
９０５ 方向
９０６ 方向
１００１ メインディスプレイ
１００２ サブディスプレイ

Claims (14)

1. 被撮影者を撮像するように構成された撮像部と、
   前記撮像部で撮像された画像を表示するように構成された第１表示部と、
   前記画像を処理した処理画像を表示するように構成された第２表示部と、
   前記被撮影者の視線方向を検出するように構成された視線方向検出部と、
   前記視線方向検出部による検出結果に基づいて、前記被撮影者が携帯端末装置の存在方向を向いているか否かを判断するように構成された判断部と、
   前記判断部の判断結果に基づいて、前記第２表示部における前記処理画像の表示／非表示を制御するように構成された表示制御部と、
   を備える、前記携帯端末装置であって、
   前記第１表示部は、撮影者が視認可能な位置に設けられ、
   前記第２表示部は、前記被撮影者が視認可能な位置に設けられ、
   前記表示制御部は、前記判断部において前記被撮影者が前記携帯端末装置の存在方向を向いていると判断された場合、前記処理画像を前記第２表示部に表示するように構成されている一方、前記判断部において前記被撮影者が前記携帯端末装置の存在方向を向いていないと判断された場合、前記処理画像を非表示にするように構成されている、携帯端末装置。
2. 請求項１に記載の携帯端末装置において、
   前記処理画像は、前記画像に対する鏡像画像である、携帯端末装置。
3. 請求項１に記載の携帯端末装置において、
   前記携帯端末装置は、フレキシブルで折畳み可能に構成され、
   前記携帯端末装置が折畳まれていない場合、前記第１表示部と前記第２表示部は、フラットな一体表示部を構成し、
   前記携帯端末装置が折畳まれた場合、前記第１表示部と前記第２表示部とは、互いに対向する位置に配置される、携帯端末装置。
4. 請求項３に記載の携帯端末装置において、
   前記携帯端末装置は、前記携帯端末装置が折畳まれているか否かを検出するように構成された折畳み状態検出部を有する、携帯端末装置。
5. 請求項４に記載の携帯端末装置において、
   前記折畳み状態検出部によって前記携帯端末装置が折畳まれていない状態にあると検出された場合、前記携帯端末装置は、前記一体表示部に前記画像を表示可能に構成され、
   前記折畳み状態検出部によって前記携帯端末装置が折畳まれている状態にあると検出された場合、前記携帯端末装置は、前記第１表示部に前記画像を表示可能に構成されている一方、前記第２表示部に前記処理画像を表示可能に構成されている、携帯端末装置。
6. 請求項１に記載の携帯端末装置において、
   前記視線方向検出部は、
   前記被撮影者の目を識別するように構成された識別部と、
   前記識別部で識別された前記目の動きに基づいて、前記被撮影者の視線方向を検出するように構成された視線方向検出器と、
   を有する、携帯端末装置。
7. 請求項６に記載の携帯端末装置において、
   前記識別部は、形状を立体的に捉えるように構成された深度センサを含み、
   前記識別部は、前記深度センサの出力に基づいて、前記被撮影者の目を識別するように構成されている、携帯端末装置。
8. 請求項１に記載の携帯端末装置において、
   前記視線方向検出部は、前記画像を解析することにより、前記被撮影者の視線方向を検出するように構成されている、携帯端末装置。
9. 請求項１に記載の携帯端末装置において、
   前記携帯端末装置は、前記画像に含まれる前記被撮影者の画像領域を拡大し、かつ、鏡像処理を施した前記処理画像を生成するように構成された画像処理部を有し、
   前記第２表示部は、前記画像処理部で生成された前記処理画像を表示するように構成されている、携帯端末装置。
10. 請求項１に記載の携帯端末装置において、
    前記携帯端末装置は、
    複数の被撮影者が撮像されている前記画像の画像領域のうち、特定の被撮影者が撮像されている部分画像領域を指定可能に構成された入力操作部と、
    前記入力操作部で指定された前記部分画像領域を拡大し、かつ、鏡像処理を施した前記処理画像を生成するように構成された画像処理部と、
    を有し、
    前記第２表示部は、前記画像処理部で生成された前記処理画像を表示するように構成されている、携帯端末装置。
11. 請求項１０に記載の携帯端末装置において、
    前記入力操作部は、前記第１表示部上にあって、前記撮影者によってタッチされた位置に基づいて、前記画像の画像領域の中から前記部分画像領域を指定可能に構成された第１タッチパネル部である、携帯端末装置。
12. 請求項１に記載の携帯端末装置において、
    前記携帯端末装置は、
    前記第２表示部上にあって、前記第２表示部と接触物との重なり領域を検出するように構成された第２タッチパネル部と、
    前記第２タッチパネル部で検出された前記重なり領域と、前記第２表示部に表示されている前記処理画像に含まれる前記被撮影者の画像領域とが平面的に重なっているか否かを判断するように構成された重複判断部と、
    前記重複判断部によって前記重なり領域と前記被撮影者の画像領域とが平面的に重なっていると判断された場合、前記被撮影者の画像領域が前記重なり領域と平面的に重ならないように前記処理画像に対して画像処理を施すように構成された画像処理部と、
    を有し、
    前記第２表示部は、前記画像処理部で画像処理された前記処理画像を表示するように構成されている、携帯端末装置。
13. 請求項１に記載の携帯端末装置において、
    前記撮像部は、前記携帯端末装置を折畳んだ場合であっても、前記被撮影者を撮像可能な位置に設けられているとともに、前記視線方向検出部も、前記被撮影者の視線方向を検出可能な位置に設けられている、携帯端末装置。
14. 請求項１に記載の携帯端末装置において、
    前記携帯端末装置は、前記携帯端末装置を折畳んだ場合であっても、前記撮像部による撮像および前記視線方向検出部による視線方向の検出を阻害しないような筐体構造を有する、携帯端末装置。

Images