JP6484129B2 - 電子機器、画像表示方法及び画像表示プログラム - Google Patents

Description

本出願は、電子機器、画像表示方法及び画像表示プログラムに関する。

携帯通信機器の電子機器には、防水性を有するものがある。例えば、特許文献１には、開口部が形成された筐体にキャップを装着することによって防水性を確保する携帯電子機器が開示されている。また、特許文献２には、入出力部の表示面に付着する水が検出された場合には、表示部に表示されている操作標識に係る操作入力の受付を無効とし、表示部から操作標識を消去し、その無効とした旨を表示部に表示させることが記載されている。

特開２０１３−１５０３５５号公報 特開２０１２−１２３７４０号公報

防水性を有する電子機器では、水に浸かっている状態で使用が可能となるため、新たな使用形態が生じる。このため、使用形態によっては、表示面に表示した画像が見えにくい場合もある。

上記のことから、利便性がより高い画像を表示させることができる電子機器、画像表示方法及び画像表示プログラムに対するニーズがある。

１つの態様に係る電子機器は、表示部と、水に浸かっているかを検出するセンサ部と、制御部と、を有する。前記制御部は、前記センサ部により取得した情報に基づき、前記表示部において水に浸かっている部分を検出する。前記制御部は、検出した前記水に浸かっている部分が、前記表示部の一部である場合、前記表示部に表示する画像の態様を前記表示部が全て水に浸かっている場合と異なる表示態様に変更する。

１つの態様に係る画像表示方法は、表示部を備える電子機器を制御する画像表示方法である。前記画面表示方法は、水に浸かっているかを検出するステップを含む。前記画面表示方法は、前記表示部において水に浸かっている部分を検出し、検出した前記水に浸かっている部分が、前記表示部の一部である場合、前記表示部に表示する画像の態様を前記表示部が全て水に浸かっている場合と異なる表示態様に変更するステップを含む。

１つの態様に係る画像表示プログラムは、表示部を備える電子機器に、水に浸かっているかを検出するステップを実行させる。前記画面表示プログラムは、前記表示部において水に浸かっている部分を検出し、検出した前記水に浸かっている部分が、前記表示部の一部である場合、前記表示部に表示する画像の態様を前記表示部が全て水に浸かっている場合と異なる表示態様に変更するステップを実行させる。

図１は、実施形態に係るスマートフォンの斜視図である。 図２は、スマートフォンの正面図である。 図３は、スマートフォンの背面図である。 図４は、スマートフォンのブロック図である。 図５は、実施形態に係るスマートフォンが行う制御の一例を示すフローチャートである。 図６は、実施形態に係るスマートフォンが行う制御の一例を説明するための説明図である。 図７は、実施形態に係るスマートフォンが行う制御の一例を示すフローチャートである。 図８は、水面の位置の判定の処理を説明するための説明図である。 図９は、水面の位置の判定の処理を説明するための説明図である。 図１０は、水面の位置の判定の処理を説明するための説明図である。 図１１は、水面の位置の判定の処理を説明するための説明図である。 図１２は、水面の位置に基づいて表示する画像の一例を説明するため説明図である。 図１３は、実施形態に係るスマートフォンが行う制御の一例を説明するための説明図である。 図１４は、実施形態に係るスマートフォンが行う制御の一例を示すフローチャートである。 図１５は、実施形態に係るスマートフォンが行う制御の一例を説明するための説明図である。 図１６は、実施形態に係るスマートフォンが行う制御の一例を説明するための説明図である。 図１７は、実施形態に係るスマートフォンが行う制御の一例を説明するための説明図である。 図１８は、実施形態に係るスマートフォンが行う制御の一例を説明するための説明図である。 図１９は、実施形態に係るスマートフォンが行う制御の一例を説明するための説明図である。

本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、タッチスクリーンを備える装置の一例として、スマートフォンについて説明する。

図１から図３を参照しながら、実施形態に係るスマートフォン１の全体的な構成について説明する。図１から図３に示すように、スマートフォン１は、ハウジング２０を有する。ハウジング２０は、内部に水が浸入することを抑える構造である。ハウジング２０は、防水性を備えている構造である。具体的には、ハウジング２０は、内部と外部とが繋がる穴に、空気を通し、かつ、水を通さない機構が設けられている。ハウジング２０が複数の部材で形成されている場合、ハウジング２０は、複数の部材の境界にゴムパッキンまたは接着材がある。接着剤は、複数の部材を接着している。部材は、境界が密閉されている。ハウジング２０は、フロントフェイス１Ａと、バックフェイス１Ｂと、サイドフェイス１Ｃ１〜１Ｃ４とを有する。フロントフェイス１Ａは、ハウジング２０の正面である。バックフェイス１Ｂは、ハウジング２０の背面である。サイドフェイス１Ｃ１〜１Ｃ４は、フロントフェイス１Ａとバックフェイス１Ｂとを接続する側面である。以下では、サイドフェイス１Ｃ１〜１Ｃ４を、どの面であるかを特定することなく、サイドフェイス１Ｃと総称することがある。

スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３Ａ〜３Ｃと、照度センサ４と、近接センサ５と、レシーバ７と、マイク８と、カメラ１２とをフロントフェイス１Ａに有する。スマートフォン１は、スピーカ１１と、カメラ１３とをバックフェイス１Ｂに有する。スマートフォン１は、ボタン３Ｄ〜３Ｈと、コネクタ１４とをサイドフェイス１Ｃに有する。以下では、ボタン３Ａ〜３Ｈを、どのボタンであるかを特定することなく、ボタン３と総称することがある。

タッチスクリーンディスプレイ２は、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。図１の例では、ディスプレイ２Ａ及びタッチスクリーン２Ｂはそれぞれ略長方形状であるが、ディスプレイ２Ａ及びタッチスクリーン２Ｂの形状はこれに限定されない。ディスプレイ２Ａ及びタッチスクリーン２Ｂは、それぞれが正方形又は円形等のどのような形状もとりうる。図１の例では、ディスプレイ２Ａ及びタッチスクリーン２Ｂは重なって位置しているが、ディスプレイ２Ａ及びタッチスクリーン２Ｂの位置はこれに限定されない。ディスプレイ２Ａ及びタッチスクリーン２Ｂは、例えば、並んで位置してもよいし、離れて位置してもよい。図１の例では、ディスプレイ２Ａの長辺はタッチスクリーン２Ｂの長辺に沿っており、ディスプレイ２Ａの短辺はタッチスクリーン２Ｂの短辺に沿っているが、ディスプレイ２Ａ及びタッチスクリーン２Ｂの重ね方はこれに限定されない。ディスプレイ２Ａとタッチスクリーン２Ｂとが重なって位置する場合、例えば、ディスプレイ２Ａの１ないし複数の辺は、タッチスクリーン２Ｂのいずれの辺とも沿っていなくてもよい。

ディスプレイ２Ａは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示デバイスを備える。ディスプレイ２Ａは、文字、画像、記号、及び図形等のオブジェクトを表示する。

タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン２Ｂは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン２Ｂに接触した位置を検出することができる。以下の説明では、タッチスクリーン２Ｂに対して接触する指、ペン、又はスタイラスペン等を、「接触オブジェクト」又は「接触物」と呼ぶことがある。

タッチスクリーン２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン１を操作するために指を用いてタッチスクリーン２Ｂに接触するものと想定する。

スマートフォン１は、タッチスクリーン２Ｂにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも１つに基づいてジェスチャの種別を判別する。ジェスチャは、タッチスクリーン２Ｂに対して行われる操作である。スマートフォン１によって判別されるジェスチャは、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトを含むがこれらに限定されない。

図４は、スマートフォン１のブロック図である。スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、レシーバ７と、マイク８と、ストレージ９と、コントローラ１０と、スピーカ１１と、カメラ１２及び１３と、コネクタ１４と、加速度センサ１５と、方位センサ１６と、ジャイロスコープ１７と、気圧センサ１９と、を有する。

タッチスクリーンディスプレイ２は、上述したように、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａは、文字、画像、記号、又は図形等を表示する。タッチスクリーン２Ｂは、接触を検出する。コントローラ１０は、スマートフォン１に対するジェスチャを検出する。具体的には、コントローラ１０は、タッチスクリーン２Ｂと協働することによって、タッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に対する操作（ジェスチャ）を検出する。

ボタン３は、利用者によって操作される。ボタン３は、ボタン３Ａ〜ボタン３Ｈを有する。コントローラ１０はボタン３と協働することによってボタン３に対する操作を検出する。ボタン３に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、及びマルチプッシュを含むが、これらに限定されない。

ボタン３Ａ〜３Ｃは、例えば、ホームボタン、バックボタンまたはメニューボタンである。ボタン３Ｄは、例えば、スマートフォン１のパワーオン／オフボタンである。ボタン３Ｄは、スリープ／スリープ解除ボタンを兼ねてもよい。ボタン３Ｅ及び３Ｆは、例えば、音量ボタンである。ボタン３Ｇは、例えば、電源ボタンである。ボタン３Ｈは、例えばシャッターボタンである。本実施形態では、ボタン３Ｅ、３Ｆが、サイドフェイス１Ｃ３に配置されている。ボタン３Ｇ、３Ｈが、サイドフェイス１Ｃ４に配置されている。また、ボタン３Ｇは、ボタン３Ｈよりもサイドフェイス１Ｃ１側に配置されている。したがって、ボタン３Ｈは、ボタン３Ｇよりもサイドフェイス１Ｃ２側に配置されている。

照度センサ４は、スマートフォン１の周囲光の照度を検出する。照度は、照度センサ４の測定面の単位面積に入射する光束の値である。照度センサ４は、例えば、ディスプレイ２Ａの輝度の調整に用いられる。近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、磁界の変化または超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ５は、例えば、タッチスクリーンディスプレイ２が顔に近付けられたことを検出する。照度センサ４及び近接センサ５は、一つのセンサとして構成されていてもよい。照度センサ４は、近接センサとして用いられてもよい。

通信ユニット６は、無線により通信する。通信ユニット６によってサポートされる通信方式は、無線通信規格が含まれる。無線通信規格として、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格がある。セルラーフォンの通信規格として、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等がある。無線通信規格として、さらに、例えば、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）が含まれる。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。通信ユニット６は、有線による通信をサポートしてもよい。有線による通信は、例えば、イーサネット（登録商標）、ファイバーチャネル等を含む。

レシーバ７及びスピーカ１１は、音出力部である。レシーバ７及びスピーカ１１は、コントローラ１０から送信される音信号を音として出力する。レシーバ７は、例えば、通話時に相手の声を出力するために用いられる。スピーカ１１は、例えば、着信音及び音楽を出力するために用いられる。レシーバ７及びスピーカ１１の一方が、他方の機能を兼ねてもよい。マイク８は、音入力部である。マイク８は、利用者の音声等を音信号へ変換してコントローラ１０へ送信する。

ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用してもよい。ストレージ９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。ストレージ９は、複数の種類の記憶媒体を含んでよい。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ２Ａに画面を表示させ、タッチスクリーン２Ｂを介して検出されるジェスチャに応じた処理をコントローラ１０に実行させる。制御プログラムは、例えば、ＯＳが含まれる。アプリケーション及び制御プログラムは、通信ユニット６による通信又は非一過的な記憶媒体を介してストレージ９にインストールされてもよい。

ストレージ９は、例えば、制御プログラム９Ａ、気圧データ９Ｂ、水面位置判定データ９Ｃ及び設定データ９Ｄを記憶する。気圧データ９Ｂは、気圧センサ１９の検出結果とスマートフォン１の状態との関係に関する情報を含む。気圧データ９Ｂは、予め試験やシミュレーション等によって検出した、気圧センサ１９の検出結果と水に浸かっているか否かを判定する基準との関係を記憶している。水面位置判定データ９Ｃは、利用者の移動方法の推定に用いられる情報を含む。水面位置判定データ９Ｃは、予め試験やシミュレーション等によって検出した、センサの検出結果と水面の位置との対応関係を記憶している。設定データ９Ｄは、スマートフォン１の動作に関する各種の設定に関する情報を含む。

制御プログラム９Ａは、スマートフォン１を稼働させるための各種制御に関する機能を提供できる。制御プログラム９Ａは、例えば、通信ユニット６、レシーバ７、及びマイク８等を制御することによって、通話を実現させる。制御プログラム９Ａが提供する機能には、タッチスクリーン２Ｂを介して検出されたジェスチャに応じて、ディスプレイ２Ａに表示されている情報を変更する等の各種制御を行う機能が含まれる。制御プログラム９Ａが提供する機能は、メールアプリケーション等の他のプログラムが提供する機能と組み合わせて利用してもよい。

コントローラ１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含むが、これらに限定されない。コントローラ１０は、スマートフォン１の動作を統括的に制御して各種の機能を実現する。

具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２Ａ、通信ユニット６、レシーバ７、及びスピーカ１１の少なくとも１つを含んでもよいが、これらに限定されない。コントローラ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン２Ｂ、ボタン３、照度センサ４、近接センサ５、マイク８、カメラ１２、カメラ１３、加速度センサ１５、方位センサ１６、ジャイロスコープ１７及び気圧センサ１９の少なくとも１つを含んでもよいが、これらに限定されない。

コントローラ１０は、例えば、制御プログラム９Ａを実行することにより、タッチスクリーン２Ｂを介して検出されたジェスチャに応じて、ディスプレイ２Ａに表示されている情報を変更する等の各種制御を実行してもよい。

カメラ１２は、フロントフェイス１Ａに面している物体を撮影するインカメラである。カメラ１３は、バックフェイス１Ｂに面している物体を撮影するアウトカメラである。カメラ１３は、バックフェイス１Ｂのサイドフェイス１Ｃ１側に配置されている。

コネクタ１４は、他の装置が接続される端子である。コネクタ１４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ライトピーク（サンダーボルト（登録商標））、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ１４は、Ｄｏｃｋコネクタのような専用の端子でもよい。コネクタ１４に接続される装置は、例えば、外部ストレージ、スピーカ、及び通信装置を含むが、これらに限定されない。

加速度センサ１５は、スマートフォン１に働く加速度の方向及び大きさを検出する。方位センサ１６は、地磁気の向きを検出する。ジャイロスコープ１７は、スマートフォン１の角度及び角速度を検出する。気圧センサ１９は、スマートフォン１の外側の気圧（大気圧）を検出する。気圧センサ１９は、ハウジング２０の内部に位置している。ハウジング２０は、水は通過させないが空気を通過させる穴で内部と外部の気圧が連動している。これにより、気圧センサ１９は、内部に位置した状態で、スマートフォン１の外側の気圧を検出することができる。加速度センサ１５、方位センサ１６及びジャイロスコープ１７の検出結果は、スマートフォン１の位置及び姿勢の変化を検出するために、組み合わせて利用してもよい。

図４においてストレージ９が記憶するプログラム及びデータの一部又は全部は、通信ユニット６による通信で他の装置からダウンロードされてもよい。図４においてストレージ９が記憶するプログラム及びデータの一部又は全部は、ストレージ９に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。図４においてストレージ９が記憶するプログラム及びデータの一部又は全部は、コネクタ１４に接続される読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、ＣＤ（登録商標）、ＤＶＤ（登録商標）、Ｂｌｕ−ｒａｙ（登録商標）等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、及びソリッドステート記憶媒体を含むが、これらに限定されない。

図４に示したスマートフォン１の構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。例えば、ボタン３の数と種類は図４の例に限定されない。スマートフォン１は、画面に関する操作のためのボタンとして、ボタン３Ａ〜３Ｃに代えて、テンキー配列又はＱＷＥＲＴＹ配列等のボタンを備えていてもよい。スマートフォン１は、画面に関する操作のために、ボタンを１つだけ備えてもよいし、ボタンを備えなくてもよい。図４に示した例では、スマートフォン１が２つのカメラを備えるが、スマートフォン１は、１つのカメラのみを備えてもよいし、カメラを備えなくてもよい。図４に示した例では、スマートフォン１が位置及び姿勢を検出するために３種類のセンサを備えるが、スマートフォン１は、このうちいくつかのセンサを備えなくてもよい。あるいは、スマートフォン１は、位置及び姿勢の少なくとも１つを検出するための他の種類のセンサを備えてもよい。

次に、図５から図１３を参照して、スマートフォン１が実行している制御について説明する。図５は、実施形態に係るスマートフォンが行う制御の一例を示すフローチャートである。図６は、実施形態に係るスマートフォンが行う制御の一例を説明するための説明図である。図７は、実施形態に係るスマートフォンが行う制御の一例を示すフローチャートである。図８から図１１は、水面の位置の判定の処理を説明するための説明図である。図１２は、水面の位置に基づいて表示する画像の一例を説明するため説明図である。図１３は、実施形態に係るスマートフォンが行う制御の一例を説明するための説明図である。

まず、コントローラ１０は、気圧センサ１９及びタッチスクリーン（タッチセンサ）２Ｂの結果を取得する（ステップＳ１２）。コントローラ１０は、気圧センサ１９とタッチスクリーン２Ｂの検出結果に基づいて、水に浸かっているか否かを判定する。ここで、気圧センサ１９が検出する値は、スマートフォン（端末）１が水に浸かると値が上昇する。コントローラ１０は、気圧データ９Ｂに記憶されているデータと気圧の値の変化に基づいて、水に浸かっているか否かを判定する。コントローラ１０は、例えば、設定された時間間隔の間に生じる気圧の変化が設定した閾値以上の場合、水に浸かっていない状態から水に浸かっている状態に変化したと判定する。また、コントローラ１０は、タッチスクリーン２Ｂが検出したサンプリング点及びサンプリング点における出力値に基づいて水に浸かっているかを判定する。この点は後述するが、タッチスクリーン２Ｂは、水中にあるサンプリング点と水上にある検出点とで、電荷の値が大きく異なる。コントローラ１０は、タッチスクリーン２Ｂの検出結果に基づいて、各サンプリング点が水中か水上かを判定することができる。

コントローラ１０は、気圧センサ１９及びタッチスクリーン（タッチセンサ）２Ｂの結果を取得した場合、水に浸かっているかを判定する（ステップＳ１４）。コントローラ１０は、水に浸かっていない（ステップＳ１４でＮｏ）と判定した場合、地上モードに設定する（ステップＳ１６）。

コントローラ１０は、水に浸かっている（ステップＳ１４でＹｅｓ）と判定した場合、全部が水に浸かっているかを判定する（ステップＳ１６）。

ここで、スマートフォン１の全部が水に浸かっているとは、スマートフォン１が水面以下の位置にあることである。スマートフォン１が水に浸かっているとは、スマートフォン１の周囲が水に覆われている状態、ハウジング２０の外周が水で満ちている状態である。

また、スマートフォン１の一部が水に浸かっているとは、図６に示すように、スマートフォン１の鉛直方向上側の端部が水面４０より上の位置、つまり水上４２にあり、スマートフォン１の鉛直方向下側の端部が水面４０以下の位置、つまり水中４４にあることである。スマートフォン１の一部が水に浸かっているとは、スマートフォン１の一部が水に覆われ、残りの部分が水に覆われていない状態、つまり、スマートフォン１が水面と接している状態である。コントローラ１０は、タッチスクリーン２Ｂの検出結果に基づいて、各サンプリング点が水に浸かっているかを判定することで、一部が水に浸かっている状態かを判定することができる。また、スマートフォン１は、気圧センサ１９を複数設けて、各気圧センサ１９の検出結果に基づいて、一部が水に浸かっている状態かを判定してもよい。

コントローラ１０は、全部が水に浸かっている（ステップＳ１８でＹｅｓ）と判定した場合、水中モードに設定する（ステップＳ２０）。コントローラ１０は、全部が水に浸かっていない（ステップＳ１８でＮｏ）と判定した場合、一部水中モードに設定する（ステップＳ２２）。

コントローラ１０は、以上のように、地上モードと、水中モードと、一部水中モードと、を切り換えて設定する。コントローラ１０は、センサの検出結果に基づいて、自機、具体的にはタッチスクリーンディスプレイ２が全て水上４２にあると判定した場合、地上モードに設定する。コントローラ１０は、センサの検出結果に基づいて、自機、具体的にはタッチスクリーンディスプレイ２が全て水中４４にあると判定した場合、水中モードに設定する。コントローラ１０は、センサの検出結果に基づいて、自機、具体的にはタッチスクリーンディスプレイ２の一部が水上４２にあり、一部が水中４４にあると判定した場合、一部水中モードに設定する。

コントローラ１０は、一部水中モードであるかそれ以外のモードであるかで、ディスプレイ２Ａに表示させる画像の表示規則を切り換える。

図７から図１２を用いて、一部水中モードでディスプレイ２Ａに表示させる画像の表示規則を切り換える。図７は、一部水中モードと判定した場合に実行する処理を示すフローチャートである。コントローラ１０は、水面４０の位置を検出する（ステップＳ３２）。ここで、タッチスクリーン２Ｂは、図８に示すように、水面４０がタッチスクリーンディスプレイ２の途中にある場合、水中４４にある部分と水上４２にある部分とで、電荷の変化量が、グラフ５０のように大きく変化する。

また、タッチスクリーン２Ｂは、図９に示すように、サンプリング点５２が二次元配置されている。コントローラ１０は、図１０及び図１１に示すように、サンプリング点５２ａを水上４２であると判定し、サンプリング点５２ｂを水上４２または水中４４であると判定する。コントローラ１０は、サンプリング点５２ｃを水中４４であると判定した場合、サンプリング点５２ｂに含まれるライン６０、６０ａを水面４０のラインとして検出する。コントローラ１０は、ライン６０、６０ａで分離された領域のうち、サンプリング点５２ａを含む領域６２、６２ａを水上４２にある領域（水に浸かっていない領域）とする。コントローラ１０は、ライン６０、６０ａで分離された領域のうち、サンプリング点５２ｃを含む領域６４、６４ａを水中４４にある領域とする。このように、コントローラ１０は、サンプリング点５２ａ、５２ｂ、５２ｃの分布に基づいて、ライン６０、６０ａの位置、領域６２、６２ａ、６４、６４ａの領域を決定する。

コントローラ１０は、水面４０の位置を検出したら、スクリーン（ディスプレイ）２Ａに表示させる画像を加工し（ステップＳ３４）、加工した画像を表示させる（ステップＳ３６）。

具体的には、コントローラ１０は、図１２に示すように、水上４２の領域６２の大きさに合わせて、表示対象の画像を縮小する加工を行う。そして、コントローラ１０は、縮小した画像７０を領域６２に表示させる。またこの時、領域６４には何も表示しないが、縮小加工する前の画像の一部や、縮小加工した画像とは異なる画像を表示しても構わない。

ここで、コントローラ１０は、地上モード、水中モードの場合、図７に示すような水面４０の位置に基づいて表示する画像を加工する処理を行わず、表示する対象の画像をそのまま、ディスプレイ２Ｂに表示させる。

コントローラ１０は、以上のように、一部水中モードの場合、水上４２の領域６２のみに画像を表示させることで利用者により見やすい画像を表示させることができる。具体的には、従来のスマートフォンは、画像を加工せずにディスプレイ２Ｂに表示させた場合、水面４０を境界として、屈折率が変化することで、画像の一部が屈曲して見え、画像の視認性が低くかった。本実施形態の一例であるスマートフォン１は、水上４２の領域６２のみに画像を表示させるため、画像の視認性が低くなることが抑制できる。また、スマートフォン1は、水上４２の領域６２のみに画像を表示させるため、水面４０での反射により、水中４４の領域６４の画像が見えず、画像の一部が認識できないことも防止することができる。

また、上記実施形態では、コントローラ１０は、水上４２の領域６２に加工した画像７０を表示させ、水中４４の領域６４には画像を表示させない処理を行ったが、これに限定されない。コントローラ１０は、水中４４の領域６４に加工した画像を表示させ、水上４２の領域６２には画像を表示させない処理を行ってもよい。この場合、コントローラ１０は、利用者が水中４４に潜ってディスプレイ２Ｂを見ている場合に、見やすい側に画像を表示させることができる。コントローラ１０は、利用者の設定により、領域６２と領域６４のどちらに画像を表示させるかを切り換えできるようにすることが好ましい。

また、上記実施形態では、コントローラ１０が、領域６２と領域６４の一方に画像を表示させ、他方に画像を表示させない場合として説明したがこれに限定されない。コントローラ１０は、領域６２に表示させる画像を拡大した画像を表示させるようにしてもよい。具体的に、コントローラ１０は、表示させる画像のうち、領域６２に対応する領域の画像を拡大して領域６２、６４に画像を表示させるようにしてもよい。このように、コントローラ１０は、領域６２と領域６４とで、画像の表示倍率を変えることで、水面４０で屈折することで生じる画像の見え方の変化に合わせて画像を変化させることができる。これにより、スマートフォン１は、一部水中モードで画像を表示させる場合も図１３に示すように、水面４０で画像が変化することを抑制することができる。

また、上記実施形態では、コントローラ１０は、領域６２の画像を拡大したが、領域６４の画像を縮小してもよい。

ここで、上記実施形態では、スマートフォン１は、一部水中モードの場合、水面４０を境界線として、水上部分と水中部分とで表示させる画像を変化させるようにし、水中モード、地上モードの場合は、全面に同じ規則の画像を表示させたが、これに限定されない。スマートフォン１は、一部水中モードの場合と、水中モード、地上モードの場合とで、ディスプレイ２Ａに表示させる画像の向きの規則を異なる規則としてもよい。

図１４は、実施形態に係るスマートフォンが行う制御の一例を示すフローチャートである。図１５から図１９は、それぞれ実施形態に係るスマートフォンが行う制御の一例を説明するための説明図である。

コントローラ１０は、図１４に示すように、水に浸かっている側を検出し（ステップＳ４２）、水に浸かっている側を画面下側に設定し（ステップＳ４４）、設定に基づいた向きで画像を表示させる（ステップＳ４６）。

スマートフォン１は、図１５に示すように、鉛直方向であるＺ方向を基準として、ハウジング２０、タッチスクリーンディスプレイ２の向きと、表示方向を切り換える基準の位置が設定されている。ここで、コントローラ１０は、加速度センサ１５、方位センサ１６、ジャイロスコープ１７の検出結果に基づいて、Ｚ軸に対するハウジング２０、タッチスクリーンディスプレイ２の向きを検出することができる。

コントローラ１０は、地上モードまたは水中モードの場合、基準線７１、７２に基づいて、ディスプレイ２Ｂに対して画像を表示させる向きを変化させる。なお、図１５に示す基準線７１は、ディスプレイ２Ｂが鉛直方向上側から見える状態で、時計回りに回転させた場合の基準線である。スマートフォン１は、サイドフェイス１Ｃ１が鉛直方向上側にある状態の場合、サイドフェイス１Ｃ１側を画面上側として、画像を表示させる。この状態から、スマートフォン１を、ディスプレイ２Ｂが鉛直方向上側から見える状態で、時計回りに回転させ、サイドフェイス１Ｃ１がサイドフェイス１Ｃ２よりも鉛直方向下側となり、図１６に示すように、基準線７１を超えた場合、表示させる画像の向きを、サイドフェイス１Ｃ２が画面上側となる向きに変化させる。その後、スマートフォン１を、ディスプレイ２Ｂが鉛直方向上側から見える状態で、反時計回りに回転させ、サイドフェイス１Ｃ２がサイドフェイス１Ｃ１よりも鉛直方向下側となり、基準線７２を超えた場合、表示させる画像の向きを、サイドフェイス１Ｃ１が画面上側となる向きに変化させる。

これに対して、コントローラ１０は、一部水中モードである場合、ディスプレイ２Ｂの向きが基準線７１を超えていない場合でも、図１７に示すように、サイドフェイス１Ｃ１側のディスプレイ２Ｂが水中４４にある場合、図１８に示すように、サイドフェイス１Ｃ１側が画面下側となる向きで画像を表示させる。また、図１９に示すように、サイドフェイス１Ｃ２側のディスプレイ２Ｂが水中４４にある場合、サイドフェイス１Ｃ２側が画面下側となる向きで画像を表示させる。なお、図１９に示す図は、利用者によって水上から視認されたことを示す図ではない。

このように、一部水中モードの場合、水中４４にある側を画面下側とすることで、画像が反転して表示されることを抑制することができる。

ここで、上記実施形態では、撮影時にプレビュー画像をディスプレイに表示している場合として説明したがこれに限定されない。コントローラ１０は、撮影して取得した画像データに対応付ける画像の上下方向の情報を、図１４に示すように、水中４４にある側を画面の下側として対応付けるようにしてもよい。

本出願の開示する実施形態は、発明の要旨及び範囲を逸脱しない範囲で変更することができる。さらに、本出願の開示する実施形態及びその変形例は、適宜組み合わせることができる。例えば、上記の実施形態は、以下のように変形してもよい。

例えば、図４に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。

上記の実施形態では、タッチスクリーンを備える装置の例として、スマートフォンについて説明したが、添付の請求項に係る装置は、スマートフォンに限定されない。添付の請求項に係る装置は、スマートフォン以外の携帯電子機器であってもよい。携帯電子機器は、例えば、モバイルフォン、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、及びゲーム機を含むが、これらに限定されない。

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。

１ スマートフォン
２ タッチスクリーンディスプレイ
２Ａ ディスプレイ
２Ｂ タッチスクリーン
３ ボタン
４ 照度センサ
５ 近接センサ
６ 通信ユニット
７ レシーバ
８ マイク
９ ストレージ
９Ａ 制御プログラム
９Ｂ 気圧データ
９Ｃ 水面位置判定データ
９Ｄ 設定データ
１０ コントローラ
１１ スピーカ
１２、１３ カメラ
１４ コネクタ
１５ 加速度センサ
１６ 方位センサ
１７ ジャイロスコープ
１９ 気圧センサ
２０ ハウジング

Claims (15)

1. 表示部と、
   水に浸かっているかを検出するセンサ部と、
   前記センサ部により取得した情報に基づき、前記表示部において水に浸かっている部分を検出し、検出した前記水に浸かっている部分が、前記表示部の一部である場合、前記表示部に表示する画像の態様を前記表示部が全て水に浸かっている場合と異なる表示態様に変更する制御部と、を有し、
   前記制御部は、前記水に浸かっている部分と水に浸かっていない部分との境界を基準として、当該水に浸かっていない部分側に、部分拡大した前記画像を表示することで、前記態様を変更する電子機器。
2. 表示部と、
   水に浸かっているかを検出するセンサ部と、
   前記センサ部により取得した情報に基づき、前記表示部において水に浸かっている部分を検出し、検出した前記水に浸かっている部分が、前記表示部の一部である場合、前記表示部に表示する画像の態様を前記表示部が全て水に浸かっている場合と異なる表示態様に変更する制御部と、
   重力方向に対する自機の傾きを検出するための傾き検出部と、を有し、
   前記制御部は、前記センサ部により取得した情報に基づき、前記表示部において、前記水に浸かっている部分を検出しないと、前記傾き検出部により検出した前記自機の傾きが所定の範囲を超えるまで、前記表示部の表示方向の上下を切り替えない制御を実行し、
   検出した前記水に浸かっている部分が前記表示部の一部であると、前記傾き検出部により検出した前記自機の傾きが所定の範囲を超えなくても、前記水に浸かっていない部分から前記水に浸かっている部分に向かう方向が下方向になるようにして、前記表示部の上下を切り換える制御を実行する電子機器。
3. 表示部と、
   水に浸かっているかを検出するセンサ部と、
   前記センサ部により取得した情報に基づき、前記表示部において水に浸かっている部分を検出し、検出した前記水に浸かっている部分が、前記表示部の一部である場合、前記表示部に表示する画像の態様を前記表示部が全て水に浸かっている場合と異なる表示態様に変更する制御部と、
   重力方向に対する自機の傾きを検出するための傾き検出部と、を有し、
   前記制御部は、検出した水に浸かっている部分が、前記表示部の全部であると判定すると、前記傾き検出部により検出した前記自機の傾きが所定の範囲を超えるまで、前記表示部の表示方向の上下を切り換えない制御を実行し、
   検出した前記水に浸かっている部分が前記表示部の一部であると、前記傾き検出部により検出した前記自機の傾きが所定の範囲を超えなくても、前記水に浸かっていない部分から前記水に浸かっている部分に向かう方向が下方向になるようにして、前記表示部の上下を切り換える制御を実行する電子機器。
4. 前記制御部は、前記表示部において、前記水に浸かっている部分との境界を基準として、当該水に浸かっていない部分側に、縮小した画像を表示することで前記態様を変更する請求項２または３に記載の電子機器。
5. 前記制御部は、前記センサ部により取得した情報に基づき、前記表示部において、前記水に浸かっている部分を検出しないと、前記表示部の全体に画像を表示する請求項１から４のいずれか一項に記載の電子機器。
6. 前記制御部は、検出した前記水に浸かっている部分が、前記表示部の全部であると判定すると、前記表示部の全体に前記画像を表示する請求項１から５のいずれか一項に記載の電子機器。
7. 筐体を備え、
   前記筐体のいずれかの面の端部に撮像部を含む請求項１から６のいずれか一項に記載の電子機器。
8. 前記センサ部は、静電容量の変化を検出可能なセンサを含む請求項１から７のいずれか一項に記載の電子機器。
9. 前記静電容量の変化を検出可能なセンサは、タッチセンサである請求項８に記載の電子機器。
10. 表示部を備える電子機器を制御する画像表示方法であって、
    水に浸かっているかを検出するステップと、
    前記表示部において水に浸かっている部分を検出し、検出した前記水に浸かっている部分が、前記表示部の一部である場合、前記水に浸かっている部分と水に浸かっていない部分との境界を基準として、当該水に浸かっていない部分側に、部分拡大した画像を表示することで、前記表示部に表示する画像の態様を前記表示部が全て水に浸かっている場合と異なる表示態様に変更するステップと、
    を含む画像表示方法。
11. 表示部と傾き検出部とを備える電子機器を制御する画像表示方法であって、
    水に浸かっているかを検出するステップと、
    重力方向に対する自機の傾きを前記傾き検出部により検出するステップと、
    前記表示部において水に浸かっている部分を検出し、検出した前記水に浸かっている部分が、前記表示部の一部である場合、前記表示部に表示する画像の態様を前記表示部が全て水に浸かっている場合と異なる表示態様に変更するステップと、
    前記表示部において、前記水に浸かっている部分を検出しないと、前記傾き検出部により検出した前記自機の傾きが所定の範囲を超えるまで、前記表示部の表示方向の上下を切り替えない制御を実行し、
    検出した前記水に浸かっている部分が前記表示部の一部であると、前記傾き検出部により検出した前記自機の傾きが所定の範囲を超えなくても、前記水に浸かっていない部分から前記水に浸かっている部分に向かう方向が下方向になるようにして、前記表示部の上下を切り換える制御を実行するステップと、
    を含む画像表示方法。
12. 表示部と傾き検出部とを備える電子機器を制御する画像表示方法であって、
    水に浸かっているかを検出するステップと、
    重力方向に対する自機の傾きを前記傾き検出部により検出するステップと、
    前記表示部において水に浸かっている部分を検出し、検出した前記水に浸かっている部分が、前記表示部の一部である場合、前記表示部に表示する画像の態様を前記表示部が全て水に浸かっている場合と異なる表示態様に変更するステップと、
    検出した水に浸かっている部分が、前記表示部の全部であると判定すると、前記傾き検出部により検出した前記自機の傾きが所定の範囲を超えるまで、前記表示部の表示方向の上下を切り換えない制御を実行し、
    検出した前記水に浸かっている部分が前記表示部の一部であると、前記傾き検出部により検出した前記自機の傾きが所定の範囲を超えなくても、前記水に浸かっていない部分から前記水に浸かっている部分に向かう方向が下方向になるようにして、前記表示部の上下を切り換える制御を実行するステップと、
    を含む画像表示方法。
13. 表示部を備える電子機器に、
    水に浸かっているかを検出するステップと、
    前記表示部において水に浸かっている部分を検出し、検出した前記水に浸かっている部分が、前記表示部の一部である場合、前記水に浸かっている部分と水に浸かっていない部分との境界を基準として、当該水に浸かっていない部分側に、部分拡大した画像を表示することで、前記表示部に表示する画像の態様を前記表示部が全て水に浸かっている場合と異なる表示態様に変更するステップと、
    を実行させる画像表示プログラム。
14. 表示部と傾き検出部とを備える電子機器に、
    水に浸かっているかを検出するステップと、
    重力方向に対する自機の傾きを前記傾き検出部により検出するステップと、
    前記表示部において水に浸かっている部分を検出し、検出した前記水に浸かっている部分が、前記表示部の一部である場合、前記表示部に表示する画像の態様を前記表示部が全て水に浸かっている場合と異なる表示態様に変更するステップと、
    前記表示部において、前記水に浸かっている部分を検出しないと、前記傾き検出部により検出した前記自機の傾きが所定の範囲を超えるまで、前記表示部の表示方向の上下を切り替えない制御を実行し、
    検出した前記水に浸かっている部分が前記表示部の一部であると、前記傾き検出部により検出した前記自機の傾きが所定の範囲を超えなくても、前記水に浸かっていない部分から前記水に浸かっている部分に向かう方向が下方向になるようにして、前記表示部の上下を切り換える制御を実行するステップと、
    を実行させる画像表示プログラム。
15. 表示部と傾き検出部とを備える電子機器に、
    水に浸かっているかを検出するステップと、
    重力方向に対する自機の傾きを傾き検出部により検出するステップと、
    前記表示部において水に浸かっている部分を検出し、検出した前記水に浸かっている部分が、前記表示部の一部である場合、前記表示部に表示する画像の態様を前記表示部が全て水に浸かっている場合と異なる表示態様に変更するステップと、
    検出した水に浸かっている部分が、前記表示部の全部であると判定すると、前記傾き検出部により検出した前記自機の傾きが所定の範囲を超えるまで、前記表示部の表示方向の上下を切り換えない制御を実行し、
    検出した前記水に浸かっている部分が前記表示部の一部であると、前記傾き検出部により検出した前記自機の傾きが所定の範囲を超えなくても、前記水に浸かっていない部分から前記水に浸かっている部分に向かう方向が下方向になるようにして、前記表示部の上下を切り換える制御を実行するステップと、
    を実行させる画像表示プログラム。

Images