JP6205927B2 - 情報処理装置、および記憶媒体 - Google Patents

Description

本開示は、情報処理装置、および記憶媒体に関する。

従来、携帯電話端末を折り畳み形式にすることで、端末の堅牢性を向上させていた。例えば下記特許文献１では、２つ折りにしたときに送話部と受話部とを嵌合可能な形状にすることにより、折り畳んだときの堅牢性および携帯性に優れる折り畳み式電話機が提案されている。

特開平９−２００３１１号公報

しかしながら、近年、スマートフォンやタブレット端末に代表されるような非折り畳み式のモバイル端末が普及し、上述したような折り畳み形式の携帯電話端末に適用されていた諸々の技術を用いることができなくなっている。

特に、非折り畳み式のモバイル端末は、折り畳み式のモバイル端末と異なり、常に表示画面が露出した状態となっている特長を有する。したがって、持ち運びの際も表示画面を外部に継続的に見せることができれば、常に露出した状態となっている表示画面を有効活用することができるが、従来はこのような表示画面を有効活用に関する技術は提案されていなかった。

また、通常、モバイル端末を持ち運ぶ際は、誤作動を防止するためにロック機能がＯＮにされることにより、画面表示がＯＦＦとなるので、持ち運びの際も表示画面を継続的に外部に見せるといった活用は困難であった。

持ち運びの際も表示画面を継続的に外部に見せるためには、ロック機能をＯＦＦにする必要があるが、その場合以下のような問題が生じる。

具体的には、表示画面の一部のみが外部に見えている場合でも常に全画面が描画対象となってしまうことや、表示画面の一部分がポケット等に隠れている場合、表示画面に提示される情報の一部分も隠れてしまい、不完全な情報提示となることである。また、表示画面が内向きで外部から見えない場合でも情報提示が行われ、消費電力の無駄になってしまうことも問題であった。

そこで、本開示では、外部から視認可能な表示領域に応じて表示制御を行うことにより、外部への情報提示をより効果的に行うことが可能な情報処理装置、および記憶媒体を提案する。

本開示によれば、外部から視認可能な、表示部内の表示領域を認識する認識部と、前記認識部により認識された表示領域に応じて、表示すべき画像を生成する画像生成部と、前記画像生成部により生成された画像を前記表示領域に表示するよう前記表示部を制御する表示制御部と、を備える、表示制御装置を提案する。

本開示によれば、コンピュータを、外部から視認可能な、表示部内の表示領域を認識する認識部と、前記認識部により認識された表示領域に応じて、表示すべき画像を生成する画像生成部と、前記画像生成部により生成された画像を前記表示領域に表示するよう前記表示部を制御する表示制御部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。

以上説明したように本開示によれば、外部から視認可能な表示領域に応じて表示制御を行うことにより、外部への情報提示をより効果的に行うことができるが可能となる。

本開示の一実施形態による情報処理装置の概要について説明するための図である。 本実施形態による情報処理装置の機能構成を示すブロック図である。 本実施形態による情報処理装置の向きの定義について説明するための図である。 モーションセンサを用いて情報処理装置の向きを認識する処理について説明するための図である。 モーションセンサを用いて情報処理装置の向きを認識する処理について説明するための図である。 カメラを用いて情報処理装置の向きを認識する処理について説明するための図である。 カメラを用いて情報処理装置の向きを認識する処理について説明するための図である。 深さが異なるポケットに情報処理装置が入れられた場合における各情報処理装置の表示領域の認識処理について説明するための図である。 深さが異なるポケットに情報処理装置が入れられた場合における各情報処理装置の表示領域の認識処理について説明するための図である。 外部から視認可能な表示領域に応じた表示制御について模式的に説明するための図である。 表示領域に応じて画像を拡大／縮小して表示する処理について説明するための図である。 情報の優先順位に応じて画像を再レイアウトする場合について説明するための図である。 キャラクター等のエージェントを表示するアプリケーションに応じた表示例について説明するための図である。 ユーザの好きなブランドをファッションアイテムとして表示するファッションアプリケーションに応じた表示例について説明するための図である。 周囲の人間に対して広告を表示するためのアプリケーションに応じた表示例について説明するための図である。 情報処理装置の表示部における外部から視認可能な表示領域への表示制御処理を示すフローチャートである。 本実施形態による情報処理装置のハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理装置の概要
２．機能構成
２−１．各構成
２−２．認識方法
２−３．表示例
３．動作処理
４．ハードウェア構成
５．まとめ

＜＜１．本開示の一実施形態による情報処理装置の概要＞＞
まず、本開示の一実施形態による情報処理装置の概要について図１を参照して説明する。図１に示すように、本実施形態による情報処理装置１は、一面に表示部１４が設けられ、表示部１４を外部から視認できるようユーザのバッグやポケットに外向きに設置され得る。表示部１４のアスペクト比は特に限定しないが、例えば３：１であってもよい。また、表示部１４には、タッチセンサが積層されていてもよく、タッチセンサにより表示画面に対するユーザ操作が検出される。また、本実施形態による情報処理装置１は、例えばタブレット端末、スマートフォン等のモバイル端末であってもよい。

図１に示すように、情報処理装置１を、表示部１４が外部から視認できるようユーザのバッグやポケットに外向きに設置することで、情報処理装置１により周囲の人物に対する情報提示を行うといった新たな使用方法が想定される。例えば周囲の人間に対して広告を提示することで特典やポイントといった報酬を受け取るビジネスモデルや、好きなブランドのロゴやキャラクターを提示した状態で身に着けることでファッションの一部として利用することが可能である。

ここで、通常の表示モードでは、表示画面の一部のみが外部に見えている場合でも常に全画面が描画対象となったり、表示画面が内向きで外部から見えない場合でも情報提示が行われたりして、消費電力が無駄になるといった問題が考えられる。また、表示画面の一部分がポケット等に隠れている場合、表示画面に提示される情報の一部分が隠れてしまい、不完全な情報提示となるといった問題も考えられる。

そこで、本実施形態では、外部から視認可能な表示領域に応じて表示制御を行うことにより、外部への情報提示をより効果的に行うことができる情報処理装置１を提案する。

例えば図１に示す例において、ユーザの胸ポケットに入れられている情報処理装置１は、外部から視認可能な表示領域、すなわち胸ポケットから露出している表示領域を認識し、当該視認可能な表示領域のみに、縮小した画像を表示するよう制御する。これにより、提示情報が外部から全て見えるので、完全な状態での情報提示を実現することができる。また、胸ポケット隠れている部分の表示をＯＦＦ（部分消灯）、または黒／白表示することにより、消費電力の無駄を防止することができる。

以上、本開示の一実施形態による情報処理装置１の概要について説明した。続いて、本開示による情報処理装置１の構成および動作処理について、順次説明する。

＜＜２．機能構成＞＞
＜２−１．各構成＞
図２は、本実施形態による情報処理装置１の機能構成を示すブロック図である。図２に示すように、情報処理装置１は、認識部１００、画像生成部１１０、および表示制御部１２０として機能する。

（認識部）
認識部１００は、外部から視認可能な、表示部１４内の表示領域を認識する。例えば、認識部１００は、情報処理装置１に設けられたカメラ（撮像部）により撮像された撮像画像、または表示部１４に設けられたタッチセンサからの情報に応じて、外部から視認可能な表示部１４内の表示領域を認識することができる。

また、認識部１００は、情報処理装置１の向きを認識することも可能である。具体的には、認識部１００は、情報処理装置１に設けられた表示部１４が外部から視認可能なよう外部を向いている状態（外向き）か、外部から視認不可能な状態となる内部（被設置物側）を向いている状態（内向き）かを認識する。認識部１００は、情報処理装置１が外向きであることを認識した場合に、外部から視認可能な、表示部１４内の表示領域を認識する処理を行うようにしてもよい。

このような認識部１００による各種の認識方法については、後述の「２−２．認識方法」において詳細に説明する。

（画像生成部）
画像生成部１１０は、認識部１００により認識された表示領域に応じて、表示すべき画像を生成する。例えば、画像生成部１１０は、認識部１００により認識された表示領域のサイズに合うように、表示すべき画像を拡大または縮小処理して生成してもよい。また、画像生成部１１０は、認識部１００により認識された表示領域のサイズに合うように、表示すべき画像のうちの情報の優先順位に応じて画像を生成してもよい。この際、画像生成部１１０は、優先順位の高い情報が表示領域の中央に位置するよう配置した画像を生成してもよいし、優先順位の高い複数の情報が集約された画像を生成してもよい。

このように画像生成部１１０により生成された画像の表示例については、後述の「２−３．表示例」において詳細に説明する。

（表示制御部）
表示制御部１２０は、画像生成部１１０により生成された画像を、認識部１００により認識された表示領域に表示するよう制御する。この際、表示制御部１２０は、画像生成部１１０により生成された画像を表示領域のみに表示するよう制御し、表示部１４内の認識された表示領域以外の領域は表示ＯＦＦに制御してもよいし、黒／白表示を行うよう制御してもよい。

以上、本実施形態による情報処理装置１の機能構成について説明した。続いて、情報処理装置１の機能構成に含まれる認識部１００による具体的な認識方法と、画像生成部１１０により生成された画像の表示例について順次説明する。

＜２−２．認識方法＞
（２−２−１．向き認識）
認識部１００は、上述したように、情報処理装置１が外向きか内向きかを認識することができる。ここで、本明細書における情報処理装置１の外向きおよび内向きの定義について、図３を参照して説明する。

図３は、本実施形態による情報処理装置１の向きの定義について説明するための図である。図３に示すように、本明細書では、情報処理装置１の表示部１４が設けられている面が外側を向いている状態を外向きと称し、反対に、表示部１４が設けられている面が身体等の情報処理装置１が設置されている物体側（被設置物側）を向いている状態を内向きと称す。

このような情報処理装置１の向きの認識方法の一例について、以下図４〜図５を参照して詳細に説明する。

（モーションセンサを用いた認識方法）
図４Ａ、図４Ｂは、モーションセンサを用いて情報処理装置１の向きを認識する処理について説明するための図である。この例では、モーションセンサの一例である加速度センサを用いて情報処理装置１の向きを認識している。

図４Ａに示すように、本実施形態による情報処理装置１−１には、加速度センサ１９が設けられている。ここで、加速度センサ１９は、表示部１４が設けられている面方向が＋方向となるよう設けられているとする。

この場合、図４Ｂ左に示すように、情報処理装置１−１がユーザ２の胸ポケットに外向きに入れられている場合、人間は後ろ向きに歩くことが稀であることから、加速度センサ１９で検出される移動方向は、人間の進行方向と一致すると考えられる。

したがって、表示部１４の面方向が＋方向になるよう設けられている加速度センサ１９により、＋方向の加速度が検出された場合、認識部１００は、情報処理装置１−１が外向きに設置されていると認識する。

一方、図４Ｂ右に示すように、情報処理装置１−１がユーザ２の胸ポケットに内向きに入れられている場合、ユーザ２の進行方向は、加速度センサ１９の向き（センサ軸の向き）と逆方向になる。

したがって、表示部１４の面方向が＋方向になるよう設けられている加速度センサ１９により、−方向の加速度が検出された場合、認識部１００は、情報処理装置１−１が内向きに設置されていると認識する。

このように、情報処理装置１−１に搭載されている加速度センサ１９と表示部１４の向きの関係が既知であれば、認識部１００は、加速度センサ１９から検出される加速度に基づいて、情報処理装置１の向きを認識することができる。

以上説明した認識処理では、情報処理装置１−１が、ユーザ２の進行方向側に設けられているポケット等に入れられていることを前提としているが、情報処理装置１−１は、ズボンの後ろポケット等、他のポケットに入れられる場合も想定される。そこで、ユーザ２が、情報処理装置１−１を前ポケットに入れるのか、後ろポケットに入れるのか、またはカバンに装着するのか、といった設置情報を設定することで、認識部１００は、より正確に向きを認識することが可能である。

また、情報処理装置１−１にさらにカメラが設けられている場合、認識部１００は、加速度センサ１９から検出される動きが、カメラで撮像された撮像画像に基づくオプティカルフローと一致しているか否かを確認することで、より正確に向きを認識することが可能である。

（カメラを用いた認識方法）
上述したモーションセンサを用いた認識方法の他には、例えばカメラを用いた認識方法が考えられる。

図５Ａ、図５Ｂは、カメラを用いて情報処理装置１の向きを認識する処理について説明するための図である。この例では、情報処理装置１に２つのカメラ１５ａ、１５ｂが搭載されていることを想定する。

カメラ１５ａは、本実施形態による情報処理装置１−２の表示部１４が設けられている面（表面）に設けられ、主にビデオチャットや自分撮りに用いられるインカメラである。

カメラ１５ｂは、情報処理装置１−２の裏面に設けられ、主に写真／動画撮影に用いられるカメラである。

ここで、図５Ａに示す撮像画像Ｐ１、Ｐ２は、情報処理装置１−２がポケット等に外向きで入れられ、またはカバン等に外向きに取り付けられ、少なくともカメラ１５ａ部分を含む１部が露出している場合において、カメラ１５ａ、１５ｂから取得される各画像である。

この場合、カメラ１５ａからは、図５Ａ左下に示すように外部の風景が写った撮像画像Ｐ１が取得され、一方カメラ１５ｂからは、図５Ａ右下に示すように何も写っていない暗い撮像画像Ｐ２が取得される。認識部１００は、各撮像画像Ｐ１、Ｐ２の明度等を画像処理で解析することにより、カメラ１５ａから取得された撮像画像Ｐ１に外部の風景が写っていることが分かるので、情報処理装置１−２が外向きであると認識することが可能である。

一方、図５Ｂに示す撮像画像Ｐ３、Ｐ４は、情報処理装置１−２がポケット等に内向きで入れられ、またはカバン等に内向きに取り付けられている場合において、カメラ１５ａ、１５ｂから取得される各画像である。

この場合、カメラ１５ａからは、図５Ｂ左下に示すように何も写っていない暗い撮像画像Ｐ３が取得され、一方カメラ１５ｂからは、図５Ｂ右下に示すように外部の風景が写った撮像画像Ｐ４が取得される。認識部１００は、各撮像画像Ｐ３、Ｐ４の明度等を画像処理で解析することにより、カメラ１５ｂから取得された撮像画像Ｐ４に外部の風景が写っていることが分かるので、情報処理装置１−２が内向きであると認識することが可能である。

このように、カメラ１５ａ、１５ｂと、表示部１４の向きの関係が既知であれば、認識部１００は、カメラ１５ａ、１５ｂから取得される各撮像画像の明度等を解析し、いずれの撮像画像に外側の風景が映っているか否かを判断することで、情報処理装置１の向きを認識することが可能である。

なお上述した例では、２つのカメラ１５ａ、１５ｂが情報処理装置１−２の表と裏に設けられているが、本実施形態はこれに限定されず、例えば少なくとも１のカメラが情報処理装置１の表または裏に設けられている構成であっても、同様に情報処理装置１の向きが認識され得る。

また、上記カメラ１５ａ、１５ｂの他、情報処理装置１に赤外線カメラを設けてもよい。これにより、夜間においても外側の景色を撮像することができ、認識部１００は、より正確に情報処理装置１の向きを認識することが可能である。また、上記カメラ１５ａ、１５ｂの他、情報処理装置１に照度センサを設けてもよい。これにより、認識部１００は、画像処理を行わなくとも、検出された照度の値に基づいて情報処理装置１の向きを認識することが可能である。

（２−２−２．表示領域の認識）
続いて、認識部１００により、外部から視認可能な、表示部１４内の表示領域を認識する場合の具体的な認識処理について説明する。図１を参照して上述したように、情報処理装置１が、ユーザが所持するカバンやユーザの洋服のポケット等に外側に向けて装着されて表示画面が露出している場合、外側に露出している領域に広告等の情報提示を行うといった情報処理装置１の新たな利用方法が想定される。そこで、本実施形態による認識部１００は、外部から視認可能な、表示部１４内の表示領域を認識することで、提示情報の一部がポケットに隠れる等の不完全な状態を回避することができる。

（カメラを用いた表示領域の認識）
まず、カメラを用いた表示領域の認識について図６を参照して説明する。図６は、深さが異なるポケットに情報処理装置１が入れられた場合における各情報処理装置１の表示領域（飛び出し面積）の認識処理について説明するための図である。この例では、情報処理装置１にカメラ１５ｃが搭載されていることを想定する。

カメラ１５ｃは、図６に示すように、本実施形態による情報処理装置１−３の表示部１４が設けられている面において、表示部１４のいずれかの長辺側の略中央の位置に設けられている。カメラ１５ｃの配置と表示部１４の領域位置との相対関係が既知である場合、認識部１００は、カメラ１５ｃから取得される撮像画像を画像処理で解析し、外側の風景がどの程度映っているかを判断することにより、外部から視認可能な表示部１４の表示領域を認識することができる。

具体的には、情報処理装置１−３が深さの浅いポケット２１ａに外向きで入れられている場合、カメラ１５ｃからは、撮像画像Ｐ５が取得される。認識部１００は、撮像画像Ｐ５を画像処理で解析し、外側の風景が撮像画像Ｐ５の全領域に写っていることから、表示部１４の全画面が外部から視認可能な表示領域であると認識することができる。

また、情報処理装置１−３が、深さがポケット２１ａより深いポケット２１ｂに外向きで入れられている場合、カメラ１５ｃからは、撮像画像Ｐ６が取得される。認識部１００は、撮像画像Ｐ６を画像処理で解析し、外側の風景が撮像画像Ｐ６の略半分の領域に写っていることから、表示部１４の略半分の画面が外部から視認可能な表示領域であると認識することができる。

また、情報処理装置１−３が、深さがポケット２１ｂよりさらに深いポケット２１ｃに外向きで入れられている場合、カメラ１５ｃからは、撮像画像Ｐ７が取得される。認識部１００は、撮像画像Ｐ７を画像処理で解析し、外側の風景が撮像画像Ｐ７に写っていないことから、表示部１４の全画面が外部から視認不可能であると認識することができる。なお撮像画像Ｐ７が取得される場合、認識部１００は、モーションセンサ等により情報処理装置１−３が外向きであることを認識することで、内向きであるために外側の風景が写っていない場合と区別することができる。

以上説明したように、カメラ１５ｃの位置と表示部１４の位置の相対関係が既知である場合、認識部１００は、カメラ１５ｃによる撮像画像の明度等を解析して外側の風景またはポケット等の裏地がどの程度映っているかを判断することで、外部から視認可能な表示領域を認識することができる。

（タッチセンサを用いた表示領域の認識）
続いて、タッチセンサを用いた表示領域の認識処理について図７を参照して説明する。図７は、深さが異なるポケットに情報処理装置１が入れられた場合における各情報処理装置１の表示領域の認識処理について説明するための図である。この例では、タッチセンサの一例として情報処理装置１にタッチパネル１６ａが搭載されていることを想定する。

タッチパネル１６ａは、本実施形態による情報処理装置１−４の表示部１４上に積層して設けられる。また、タッチパネル１６ａは、例えば静電容量式やカメラインセルタッチパネルにより実現され、それぞれ画面に指や物、ポケットの裏地等が触れている領域を静電容量値やカメラ画素値として画素毎に取得可能である。なお図７では、タッチパネル１６ａが静電容量式で実現されている場合に検出される静電容量値を示す。また、タッチパネル１６ａの位置は表示部１４の位置に対応しているので、認識部１００は、タッチパネル１６ａから検出されるｘ軸／ｙ軸の強度の高さに応じて、外部から視認可能な表示部１４の表示領域を認識することができる。

図７に示す例では、情報処理装置１−４が縦方向（長辺が垂直の方向）にポケットに入れられているので、認識部１００は、タッチパネル１６ａのｘ軸方向（長辺方向に対応）において検出される強度の高さに応じて、表示領域を認識することができる。情報処理装置１−４が縦方向であるか否かは、例えば情報処理装置１に搭載されたジャイロセンサや３軸加速度センサの検知結果に基づいて判断され得る。

具体的には、情報処理装置１−４が深さの浅いポケット２１ａに外向きで入れられている場合、タッチパネル１６ａのｘ軸方向において検出される強度は、図７に示すように一定して低いことから、認識部１００は、表示部１４の全画面が外部から視認可能な表示領域であると認識することができる。

また、情報処理装置１−４が、深さがポケット２１ａより深いポケット２１ｂに外向きで入れられている場合、タッチパネル１６ａのｘ軸方向において検出される強度は、図７に示すように略半分まで低く、略半分からは所定値より高い。このことから、認識部１００は、表示部１４の略半分の画面が外部から視認可能な表示領域であると認識することができる。

また、情報処理装置１−４が、深さがポケット２１ｂよりさらに深いポケット２１ｃに外向きで入れられている場合、タッチパネル１６ａのｘ軸方向において検出される強度は、図７に示すように一定して高い。このことから、認識部１００は、表示部１４の全画面が外部から視認不可能であると認識することができる。ここで、認識部１００は、モーションセンサ等により情報処理装置１−４が外向きであると認識することで、情報処理装置１−４が内向きのためにポケット取り付け部分の布地が触れて一定して高い強度が検出される場合と、深いポケット２１ｃに外向きで入れられている場合とを区別することができる。

このように、情報処理装置１−４に搭載されている表示部１４にタッチパネル１６ａが設けられている場合、認識部１００は、タッチパネル１６ａにより検出される強度を解析することで表示領域を認識することが可能である。なお、図７に示す例では、タッチパネル１６ａが静電容量式の場合に検出される静電容量値を解析しているが、本実施形態はこれに限定されず、例えばタッチパネル１６ａがインセル式で実現されてもよい。タッチパネル１６ａがカメラインセル式で実現される場合、物が触れている領域が検出されるので、認識部１００は、物が触れている領域以外の領域を表示領域として認識することが可能である。

以上、本実施形態の認識部１００による認識処理について具体的に説明した。続いて、認識部１００により認識された表示領域に表示すべき画像の表示例について、図８〜図１３を参照して詳細に説明する。

＜２−３．表示例＞
図８は、外部から視認可能な表示部１４の表示領域に応じた表示制御について模式的に説明するための図である。図８左に示すように、情報処理装置１が深さの浅いポケット２１ａに取り付けられ、表示部１４の全画面が外部から視認可能である場合、表示部１４の全画面が表示領域Ｓ１として認識部１００に認識される。この場合、表示制御部１２０は、通常通り、全画面を描画対象として表示制御を行う。

一方、図８中央および図８右に示すように、ポケット２１ｄ、２１ｅに入れられた情報処理装置１の表示部１４の一部が飛び出している場合、かかる飛び出し領域が表示領域Ｓ２、Ｓ３として認識部１００に認識される。この場合、表示制御部１２０は、表示領域Ｓ２、Ｓ３のみを描画対象として、表示領域Ｓ２、Ｓ３以外の領域の表示をＯＦＦにすることで、画面書き換えによる電力消費や画素の劣化等を抑えることが可能である。また、情報処理装置１は、表示領域Ｓ２、Ｓ３以外の領域からのタッチ操作を受け付けないようにすることで、ポケットの裏地等に触れて情報処理装置１が誤動作してしまうことを防止することが可能である。

以上説明した表示領域Ｓ１〜Ｓ３に表示すべき画像（図表、テキスト、静止画、動画等を含む提示情報）の生成やレイアウトについて、図９〜図１０を参照して具体的に説明する。

（２−３−１．拡大／縮小表示）
図９は、表示領域Ｓ１〜Ｓ３に応じて画像を拡大／縮小して表示する処理について説明するための図である。

図９左に示すように、表示部１４の全画面の領域となる表示領域Ｓ１に画像を表示する場合、画像生成部１１０は、特に画像の拡大／縮小処理は行わず、通常通り画像を生成する。そして、表示制御部１２０は、生成された画像を表示領域Ｓ１に表示するよう制御する。

一方、図９中央および図９右に示すように、表示部１４の一部分の領域が表示領域Ｓ２、Ｓ３である場合、画像生成部１１０は、表示領域Ｓ２、Ｓ３に合せて画像を拡大／縮小して生成する。そして、表示制御部１２０は、生成された画像を表示領域Ｓ１に表示するよう制御する。これにより、外部から視認可能な表示部１４の表示領域に、画像の全範囲が表示されるので、ポケット等に表示画像の一部が隠れて情報が不完全に提示されることを回避することができる。

（２−３−２．優先表示）
上述した拡大／縮小表示の例では、外部から視認可能な表示領域Ｓがどの程度の大きさ（面積）であるかに関わらず、画像の全範囲を表示領域Ｓに含むよう表示制御を行っているが、表示領域Ｓの大きさによっては、縮小した画像が見え難い場合も起こり得る。そこで、本実施形態による画像生成部１１０は、表示領域Ｓに提示する情報の優先順位（優先度）に応じて画像を再レイアウトして生成することにより、狭い表示領域Ｓでも効率的な情報提示を行うことを可能とする。以下、図１０を参照して具体的に説明する。

図１０は、情報の優先順位に応じて画像を再レイアウトする場合について説明するための図である。

図１０左に示すように、表示部１４の全画面の領域となる表示領域Ｓ１に画像を表示する場合、画像生成部１１０は、特に画像の再レイアウトは行わず、全ての提示情報３１（例えば製品名情報）、提示情報３２（例えば製品画像情報）、および提示情報３３（例えば発売日情報）を含む画像を生成する。そして、表示制御部１２０は、生成された画像を表示領域Ｓ１に表示するよう制御する。

一方、図１０中央に示すように、表示部１４の略３分の２の領域が表示領域Ｓ２である場合、画像生成部１１０は、各提示情報の優先順位（優先度）に応じて画像を再レイアウトして生成する。具体的には、例えば提示情報３２が複数の情報、例えば製品画像１、製品画像２、および製品画像３を含む場合、画像生成部１１０は、このうち優先度の高い情報、例えば製品画像１および製品画像２のみを含み、製品画像３を省略した提示情報３２ｍを生成する。さらに、画像生成部１１０は、提示情報３２ｍに含まれる製品画像１および製品画像２を縮小して提示情報３２ｍの表示に要する面積を小さくすることで、他の提示情報３１、３３を縮小せずに提示するレイアウトを実現できる。そして、表示制御部１２０は、生成された画像を表示領域Ｓ２に表示するよう制御する。

また、図１０右に示す例における表示領域Ｓ３の面積は、表示領域Ｓ２より小さく、この場合、画像生成部１１０は、複数の提示情報３１、３２、３３のうち、優先度の高い提示情報３１、３２を含む画像を生成する。さらに、画像生成部１１０は、提示情報３２に含まれる製品画像１〜３を縮小して並べ替えて、図１０右に示すように、表示に要する面積を小さくした提示情報３２ｎを含む画像を生成する。そして、表示制御部１２０は、生成された画像を表示領域Ｓ３に表示するよう制御する。

このように、本実施形態による画像生成部１１０は、外部から視認可能な表示部１４の表示領域Ｓ２、Ｓ３に提示する情報の優先順位の高い複数の情報が集約された画像を生成することで、効果的な情報提示を行うことができる。また、画像生成部１１０は、優先順位の高い情報が表示領域の中央に位置するよう配置した画像を生成することで、効果的な情報提示を行うことも可能である。

以上、表示領域に表示すべき画像の生成について詳細に説明した。次に、アプリケーションに応じた表示制御例について複数の具体例を挙げて説明する。アプリケーションの種類によって表示画像の内容や目的が異なり、より効果的な情報提示を行うための表示制御が異なるためである。

（２−３−３．アプリケーションに応じた表示例）
まず、図１１を参照してキャラクター等のエージェントを表示するアプリケーションに応じた表示例について説明する。

図１１左に示すように、情報処理装置１がクレードル４に立てられている等して、表示部１４の全領域が外部から視認可能である場合、表示部１４の全領域が表示領域Ｓ１と認識される。この場合、画像生成部１１０は、表示領域Ｓ１にエージェントの全身が見える画像を生成する。生成した画像は表示制御部１２０により表示領域Ｓ１に表示される。

一方、図１１右に示すように、情報処理装置１がポケット２１に入れられる等して、表示部１４の一部の領域だけ外部から視認可能である場合、かかる表示部１４の一部の領域が表示領域Ｓと認識される。この場合、ポケット２１から露出している表示領域Ｓの部分しか外部から視認されないので、画像生成部１１０は、表示領域Ｓのみを描画対象とすることで、効率的な情報提示を行うことが可能である。具体的には、画像生成部１１０は、エージェントの上半身が見える画像を生成し、表示制御部１２０により表示領域Ｓ２に表示させる。また、表示制御部１２０は、表示領域Ｓ以外の領域の表示をＯＦＦにすることで消費電力の無駄を防止することができる。さらに、情報処理装置１は、表示領域Ｓ以外の領域からのタッチ操作を受け付けないようにすることで、ポケット２１の裏地等に触れて情報処理装置１が誤動作してしまうことを防止することが可能である。

続いて、図１２を参照して、ユーザの好きなブランドをファッションアイテムとして表示するファッションアプリケーションに応じた表示例について説明する。

図１２左に示す状態では、ポケット２１ｆから飛び出して外部から視認可能な表示部１４の表示領域Ｓ４の中央にロゴ３５が表示され、周囲は壁紙となっている。

この表示状態において、図１２中央に示すように、ポケット２１ｆより深さが浅いポケット２１ｂに情報処理装置１が入れられると、外部から視認可能な表示部１４の表示領域Ｓ５が表示領域Ｓ４より広くなる。この場合に、画像生成部１１０が壁紙を単純に伸延した画像を生成すると、図１２中央に示すように、ロゴ３５が上に偏った画像となってしまう。

そこで、画像生成部１１０は、表示領域Ｓ５に応じた再レイアウトを行い、図１２右に示すように、ロゴ３５が表示部１４の表示領域Ｓ５の中央に位置するよう配置した画像を生成することで、バランス崩れを防ぐことができる。すなわち、ファッションアプリケーションの場合、画像生成部１１０は、優先順位の高い情報（この場合、ロゴ３５）が表示領域の中央に位置するよう配置した画像を生成することで、効果的な情報提示を行う。

次に、図１３を参照して周囲の人間に対して広告を表示するためのアプリケーションに応じた表示例について説明する。

図１３左に示すように、情報処理装置１がポケット２１ｂから略半分程飛び出し、表示部１４の略半分程が外部から視認可能な表示領域Ｓ５と認識されている場合、画像生成部１１０は、表示部１４の略半分という十分な面積で広告提示を行うことができる。

しかし、図１３中央に示すように、ポケット２１ｂより深さが深いポケット２１ｆに情報処理装置１が入れられると、表示部１４の４分の３程がポケット２１ｆに隠れてしまい、外部から視認可能な表示部１４の表示領域Ｓ４が表示領域Ｓ５より狭くなる。この場合に、画像生成部１１０が縮小した画像を生成すると、図１３中央に示すように、広告画像が小さく内容が見え難くなり、また、表示領域Ｓ４に余白Ｄができてしまい、情報効率が低下する。

そこで、画像生成部１１０は、表示領域Ｓ４に応じた再レイアウトを行い、図１３右に示すように、広告のうち商品名を優先して拡大し、商品画像は一部（図１３右に示す例では、下段の商品画像）のみ表示する等の調整を行い、狭い面積を十分に活用した情報提示を行うことが可能である。すなわち、広告アプリケーションの場合、画像生成部１１０は、優先順位の高い複数の情報（この場合、商品名および商品画像）が集約された画像を生成することで、効果的な情報提示を行う。

また、このような広告アプリケーションを利用して表示領域Ｓに広告を提示した場合、広告の表示領域の面積や提示時間に応じて、広告提示者に特典やポイント等の報酬を提供するようにしてもよい。

＜＜３．動作処理＞＞
続いて、本実施形態による情報処理装置１の動作処理について図１４を参照して説明する。図１４は、情報処理装置１の表示部１４における外部から視認可能な表示領域への表示制御処理を示すフローチャートである。

図１４に示すように、まず、ステップＳ１０３において、情報処理装置１の認識部１００は、情報処理装置１の向きを認識し、表示部１４が設けられている面が外側を向いているか、すなわち外向きであるか否かを判断する。

次いで、情報処理装置１が外向きであると認識された場合（Ｓ１０３／Ｙｅｓ）、ステップＳ１０６において、認識部１００は、ポケット等から飛び出している領域、すなわち外部から視認可能な表示領域を認識する。

次に、飛び出している領域（表示領域）を認識した場合（Ｓ１０６／Ｙｅｓ）、ステップＳ１０９において、画像生成部１１０は、表示領域に応じて表示すべき画像を生成する。

そして、ステップＳ１１２において、表示制御部１２０は、画像生成部１１０により生成された画像を表示領域に表示するよう制御する。

また、上記Ｓ１０３において内向きである認識された場合（Ｓ１０３／Ｎｏ）や、上記Ｓ１０６において飛び出し領域がないと判断された場合（Ｓ１０６／Ｎｏ）は、ステップＳ１１５において、表示処理は行われずに、処理が終了する。

以上、本実施形態による情報処理装置１の動作処理について具体的に説明した。上述した動作処理は、継続的に行われてもよいし、情報処理装置１に搭載された加速度センサやジャイロセンサにより情報処理装置１が動かされたことを検知した場合に行われてもよい。

＜＜４．ハードウェア構成＞＞
次に、上述した本実施形態による情報処理装置１のハードウェア構成について図１５を参照して説明する。図１５は、本実施形態による情報処理装置１のハードウェア構成の一例を示すブロック図である。図１５に示すように、本実施形態による情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、入出力インタフェース１３、表示部１４、カメラモジュール１５、操作部１６、記憶部１７、通信部１８、および加速度センサ１９を有する。

ＣＰＵ１０はＲＯＭ１１に記録されているプログラムまたは記憶部１７からＲＡＭ１２にロードされたプログラムによって各種の処理を実行する。具体的には、本実施形態によるＣＰＵ１０は、図２に示す各機能ブロックの処理を実行する。ＲＡＭ１２には、ＣＰＵ１０が各種の処理を実行する上で必要なデータ等も適宜記憶されている。また、ＣＰＵ１０、ＲＯＭ１１、およびＲＡＭ１２はバスを介して相互に接続されている。このバスには、入出力インタフェース１３も接続されている。

入出力インタフェース１３には、表示部１４、カメラモジュール１５、操作部１６、記憶部１７、通信部１８および加速度センサ１９が接続されている。入出力インタフェース１３は、これら接続されている各構成から入出力されるデータと、バスを介してＣＰＵ１０、ＲＯＭ１１、およびＲＡＭ１２に入出力されるデータとの仲介を行う。なお、図１５に示す入出力インタフェース１３に接続されている各構成は一例であって、例えばカメラモジュール１５と加速度センサ１９のいずれか一方を有する構成であってもよいし、いずれも有さない構成であってもよい。

表示部１４は、ＣＰＵ１０の制御にしたがって、各種コンテンツや、メニュー画面、操作画面等を表示（再生）する。また、表示部１４は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等により実現される。また、本実施形態による表示部１４は、ＣＰＵ１０の機能の一つである表示制御部１２０の制御にしたがって、画像生成部１１０により生成された画像を、認識部１００により認識された表示領域に表示する。

カメラモジュール１５（撮像部）は、撮像レンズを含む撮像光学系、撮像素子、および画像信号処理部を含む。撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージャやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージャにより実現される。画像信号処理部は、ノイズ除去、階調補正、色補正、歪み補正、ぶれ補正、画像の圧縮伸長等を行うことができる。

操作部１６は、ユーザによる操作入力を受け付ける機能を有する。具体的には、操作部１６は、例えば物理的に設けられる電源スイッチや各種操作ボタン等により実現されてもよいし、表示部１４と一体化された位置検出可能なタッチセンサ（静電容量式またはカメラインセル式等）であってもよい。

記憶部１７は、写真画像やビデオ動画、テキストデータ、図表データの他、各種アプリケーションで用いられる情報（広告画像やファッションブランドのロゴ画像）等の各種コンテンツを記憶する機能を有する。

通信部１８は、無線／有線により外部装置と接続し、データの送受信を行う機能を有する。例えば通信部１８は、無線ＬＡＮ、赤外線、Ｗｉ−Ｆｉ（登録商標）等により無線ＡＰ（アクセスポイント）に接続し、無線ＡＰを介してネットワークに接続することができる。そして、通信部１８は、ネットワーク上の所定のサーバから広告画像のデータや、本実施形態による一連の処理を実行するためのソフトウェアを構成するプログラムを取得することができる。このようにネットワーク上の所定のサーバから取得されたデータは、記憶部１７に格納される。

加速度センサ１９は、情報処理装置１の動きを検出するためのモーションセンサの一例である。モーションセンサの一例としては、加速度センサ１９の他、ジャイロセンサが設けられていてもよい。

＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理装置１は、外部から視認可能な、表示部１４の表示領域を認識し、当該表示領域に応じて表示すべき画像を生成することにより、より効果的に情報提示を行うことができる。

また、表示領域以外の領域（外部から視認できない表示部１４の領域）の表示をＯＦＦにすることで、画面書き換えによる電力消費や画素の劣化を抑えることができる。

また、表示領域以外の領域（外部から視認できない表示部１４の領域）からのタッチイベントを受け付けないことで、誤動作を防止することができる。

また、外部から視認可能な表示領域に表示すべき画像を改めて生成して表示することで、ポケット等に提示情報の一部が隠れて不完全な提示状態になることを回避することができる。

また、情報の優先度に応じて再レイアウトすることで、表示領域が小さい場合でも効率的な情報提示を行うことができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、情報処理装置１に内蔵されるＣＰＵ１０、ＲＯＭ１１、およびＲＡＭ１２等のハードウェアに、図２を参照して説明したＣＰＵ１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本明細書の情報処理装置１の処理における各ステップは、必ずしも添付したフローチャートにおいて開示された順序に沿って時系列に処理する必要はない。例えば、情報処理装置１の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。具体的には、例えば図１４に示すステップＳ１０３とＳ１０６は並列的に処理されてもよい。また図１４に示すステップＳ１０３の処理が省略されてもよい。

また、図２を参照して説明した機能構成をクラウド側で行ってもよい。具体的には、情報処理装置１とサーバ（不図示）を含む表示制御システムにより実現される。サーバは、情報処理装置１の向きおよび外部から視認可能な表示領域を認識するための情報（撮像画像や、加速度センサ１９による検出結果、またはタッチパネル１６ａによる検出結果）を情報処理装置１から取得し、情報処理装置１の向きおよび表示領域を認識する（認識部）。次いで、サーバは、表示領域に応じて表示すべき画像を生成する（画像生成部）。次に、サーバは、生成した画像を情報処理装置１に送信し、情報処理装置１の表示部１４における認識された表示領域に表示するよう制御する（表示制御部）。

なお、本技術は以下のような構成も取ることができる。
（１）
外部から視認可能な、表示部内の表示領域を認識する認識部と、
前記認識部により認識された表示領域に応じて、表示すべき画像を生成する画像生成部と、
前記画像生成部により生成された画像を前記表示領域に表示するよう前記表示部を制御する表示制御部と、
を備える、表示制御装置。
（２）
前記表示制御装置は、撮像部をさらに備え、
前記認識部は、前記撮像部により撮像された画像に応じて、外部から視認可能な、表示部内の表示領域を認識する、前記（１）に記載の表示制御装置。
（３）
前記撮像部は、前記表示部が設けられている面および当該面と反対側の面に設けられている、前記（２）に記載の表示制御装置。
（４）
前記表示制御部は、前記画像生成部により生成された画像を、前記表示領域のみに表示するよう制御する、前記（１）〜（３）のいずれか１項に記載の表示制御装置。
（５）
前記表示部には、タッチセンサが積層される、前記（１）〜（４）のいずれか１項に記載の表示制御装置。
（６）
前記画像生成部は、前記認識部により認識された表示領域のサイズに合うように、前記表示すべき画像を拡大または縮小処理する、前記（１）〜（５）のいずれか１項に記載の表示制御装置。
（７）
前記画像生成部は、前記認識部により認識された表示領域のサイズに合うように、前記表示すべき画像のうちの情報の優先順位に応じて、画像を生成する、前記（１）〜（６）のいずれか１項に記載の表示制御装置。
（８）
前記画像生成部は、前記優先順位の高い情報が表示領域の中央に位置するよう配置した画像を生成する、前記（７）に記載の表示制御装置。
（９）
前記画像生成部は、前記優先順位の高い複数の情報が集約された画像を生成する、前記（７）に記載の表示制御装置。
（１０）
コンピュータを、
外部から視認可能な、表示部内の表示領域を認識する認識部と、
前記認識部により認識された表示領域に応じて、表示すべき画像を生成する画像生成部と、
前記画像生成部により生成された画像を前記表示領域に表示するよう前記表示部を制御する表示制御部と、
として機能させるためのプログラムが記憶された、記憶媒体。

１、１−１、１−２、１−３、１−４ 情報処理装置
４ クレードル
１００ 認識部
１１０ 画像生成部
１２０ 表示制御部
１０ ＣＰＵ
１１ ＲＯＭ
１２ ＲＡＭ
１３ 入出力インタフェース
１４ 表示部
１５ カメラモジュール
１６ 操作部
１６ａ タッチパネル
１７ 記憶部
１８ 通信部
１９ 加速度センサ
Ｓ１〜Ｓ５ 表示領域
２１、２１ａ〜２１ｆ ポケット

Claims (10)

1. 外部から視認可能な、表示部内の表示領域を認識する認識部と、
   前記認識部により認識された表示領域に応じて、表示すべき画像を生成する画像生成部と、
   前記画像生成部により生成された画像を前記表示領域に表示するよう前記表示部を制御する表示制御部と、
   を備え、
   前記認識部は、モーションセンサによる検知結果に基づいて、進行方向と前記表示部が設けられている面が一致する場合に前記表示部が身体に対して外向きの状態であると認識し、前記外部から視認可能な表示領域の認識を行い、
   前記表示制御部は、前記表示部が身体に対して外向きの状態である間、前記生成された画像を前記表示領域に表示するよう制御する、表示制御装置。
2. 前記表示制御装置は、撮像部をさらに備え、
   前記認識部は、前記撮像部により撮像された画像に応じて、外部から視認可能な、表示部内の表示領域を認識する、請求項１に記載の表示制御装置。
3. 前記撮像部は、前記表示部が設けられている面および当該面と反対側の面に設けられている、請求項２に記載の表示制御装置。
4. 前記表示制御部は、前記画像生成部により生成された画像を、前記表示領域のみに表示するよう制御する、請求項１〜３のいずれか１項に記載の表示制御装置。
5. 前記表示部には、タッチセンサが積層される、請求項１〜４のいずれか１項に記載の表示制御装置。
6. 前記画像生成部は、前記認識部により認識された表示領域のサイズに合うように、前記表示すべき画像を拡大または縮小処理する、請求項１〜５のいずれか１項に記載の表示制御装置。
7. 前記画像生成部は、前記認識部により認識された表示領域のサイズに合うように、前記表示すべき画像のうちの情報の優先順位に応じて、画像を生成する、請求項１〜６のいずれか１項に記載の表示制御装置。
8. 前記画像生成部は、前記優先順位の高い情報が表示領域の中央に位置するよう配置した画像を生成する、請求項７に記載の表示制御装置。
9. 前記画像生成部は、前記優先順位の高い複数の情報が集約された画像を生成する、請求項７に記載の表示制御装置。
10. コンピュータを、
    外部から視認可能な、表示部内の表示領域を認識する認識部と、
    前記認識部により認識された表示領域に応じて、表示すべき画像を生成する画像生成部と、
    前記画像生成部により生成された画像を前記表示領域に表示するよう前記表示部を制御する表示制御部と、
    として機能させ、
    前記認識部は、モーションセンサによる検知結果に基づいて、進行方向と前記表示部が設けられている面が一致する場合に前記表示部が身体に対して外向きの状態であると認識し、前記外部から視認可能な表示領域の認識を行い、
    前記表示制御部は、前記表示部が身体に対して外向きの状態である間、前記生成された画像を前記表示領域に表示するよう制御する、プログラムが記憶された、記憶媒体。
    
    
    
    
    

Images