JP5811847B2 - 携帯情報端末および表示制御方法 - Google Patents

Description

本発明は、複数のディスプレイ画面を有する携帯情報端末の表示制御方法に関する。

携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、電子手帳に代表される携帯情報端末は、一般に、液晶等のディスプレイ画面によってテキストや画像を表示する表示部を備えている。そして、一部の携帯情報端末は表示部に複数のディスプレイ画面を備えている。例えば、特許文献１には、複数の筐体を有する開閉可能な折りたたみ型構造で、複数の筐体のそれぞれにディスプレイ画面を備える携帯情報端末が開示されている。特許文献１に開示された携帯情報端末は、閉じた状態では小型で携帯性がよく、開いた状態では大型画面を提供することができる。

この種の携帯情報端末では、１つの画像を２つのディスプレイ画面に合わせて分割して表示することがある。一般的に、画像を分割して２つのディスプレイ画面に表示する場合、画像を、各ディスプレイ画面のサイズに合うように定めた分割線で分割する。例えば、２つのディスプレイ画面が同サイズであれば、元の画像の中央線が分割線となる。

１つの画像を複数に分割して表示することにより、画像に含まれる文字やアイコンや写真などを大きく表示することができる。しかし、ディスプレイ画面とディスプレイ画面の間に間隙が存在するため、元の画像に含まれている文字やアイコンや写真などが分断されて見づらくなることがある。

それに対して、ディスプレイ画面の間隙による見づらさを緩和するための技術が提案されている（特許文献２参照）。特許文献２に記載された表示装置は、１つの画像を２つの表示パネルに分割して表示する際、画像を中央で単純に分割すると文字がディスプレイ画面の隙間によって分断される場合、画像を分割する位置が文字上にならないように画像をシフトする。

特開２００９−７６０３８号公報 特開２００２−００６８２２号公報

しかしながら、実際にディスプレイ画面に表示しようとする画像は、文字や写真など複数の個別の画像から構成されるものもあり、それら個別の画像の配置が複雑になっている場合も多い。例えば、表示形態としてプロポーショナルフォントを使用した複数行にわたる文章では列方向の文字の位置が行毎に異なる。このような複雑な画像に、特許文献２に開示された技術を用いても、全ての行で文字が切れないように画像をシフトすることができない場合があった。

また、全体の画像の中に個別の画像として文字だけでなく写真のような画像が含まれることもある。その場合、全体の画像に、大きさが異なる様々な個別の画像が含まれることになり、全体の画像の構成は更に複雑となる。

本発明の目的は、複数のディスプレイ画面を有する情報処理装置において画像を複数のディスプレイ画面に分割して表示するときの画像の見づらさを改善するための技術を提供することである。

上記目的を達成するために、本発明の携帯情報端末は、
複数のディスプレイ画面を有する表示手段と、
前記複数のディスプレイ画面が並ぶ方向に個別画像が並んだ行を２行以上含む全体画像を、それぞれの前記行において個別画像同士の間隙を通る分割線で複数の分割画像に分割し、前記表示手段の前記ディスプレイ画面のそれぞれに該分割画像のそれぞれを表示する制御手段と、
を有する。

本発明の表示制御方法は、複数のディスプレイ画面を有する携帯情報端末における表示制御方法であって、
制御手段が、前記複数のディスプレイ画面が並ぶ方向に個別画像が並んだ行を２行以上含む全体画像を、それぞれの前記行において個別画像同士の間隙を通る分割線で複数の分割画像に分割し、
前記制御手段が、前記ディスプレイ画面のそれぞれに該分割画像のそれぞれを表示するものである。

本発明の表示制御プログラムは、複数のディスプレイ画面を有する携帯情報端末における表示制御をコンピュータに実行させるための表示制御プログラムであって、
前記複数のディスプレイ画面が並ぶ方向に個別画像が並んだ行を２行以上含む全体画像を、それぞれの前記行において個別画像同士の間隙を通る分割線で複数の分割画像に分割する手順と、
前記ディスプレイ画面のそれぞれに該分割画像のそれぞれを表示する手順と、
をコンピュータに実行させる。

複数の個別画像を含む全体画像の例を示す図である。 図１Ａに示した全体画像の分割線５０２について説明するための図である。 図１Ｂに示した分割線で分割された分割画像５０３，５０４を示す図である。 本実施形態における携帯情報端末の概略構成を示すブロック図である。 本実施形態における携帯情報端末の詳細構成を示すブロック図である。 制御部１００による分割表示処理を示すフローチャートである。 全体画像の座標系について説明するための図である。 各ｙ座標に対するｘ軸方向における２値画像の画素値の和の計算について説明するための図である。 各行において個別画像の間隙に分割線を設定する処理を説明するための図である。 各行において個別画像の間隙に分割線を設定する処理を説明するための図である。 各行において個別画像の間隙に分割線を設定する処理を説明するための図である。 個別画像を分割する分割線の一例を示す図である。 ２人の人物が写った写真を分割線で分割する場合の処理を説明するための図である。 分割線５０２の一例を示す図である。 図９Ａに示した分割線５０２で分割された分割画像５０３、５０４を示す図である。 タッチパネルへのドラッグ操作により画面をスクロールする連動スクロール処理を示すフローチャートである。 スクロールのためのドラッグ操作がされている間の画面表示の変化の様子を示す図である。 スクロールのためのドラッグ操作がされている間の画面表示の変化の様子を示す図である。 スクロールのためのドラッグ操作がされている間の画面表示の変化の様子を示す図である。 スクロールのためのドラッグ操作が終了したときの画面表示の変化の様子を示す図である。 スクロールのためのドラッグ操作が終了したときの画面表示の変化の様子を示す図である。 スクロールのためのドラッグ操作が終了したときの画面表示の変化の様子を示す図である。 本実施形態の携帯情報端末のソフトウェア構成を示す図である。 分割画像５０３と分割画像５０４の間における個別画像間の距離の調整の様子を示す図である。

本実施形態の携帯情報端末は、２つのディスプレイ画面を有し、アプリケーションの処理や利用者による操作入力に応じて様々な画像を２つのディスプレイ画面に表示する。この携帯情報端末は、１つの画像を２つのディスプレイ画面のそれぞれに合うように２つに分割して表示することができる。

ここでは、携帯情報端末が表示しようとする全体の画像を全体画像と呼び、全体画像を２つのディスプレイ画面に表示するために分割した２つの画像を分割画像と呼ぶことにする。また、全体画像の中に含まれる文字や写真などを個別画像と呼ぶことにする。

図１Ａは、複数の個別画像を含む全体画像の例を示す図である。ここでは、全体画像の中にプロポーショナルフォントを使用した文字で構成された複数行にわたる文章が含まれている例を示す。各文字が個別画像に相当し、図中の四角形が個別画像を表している。

図１Ａの全体画像は、各行の行方向の文字の位置が行同士で一致していない。このように全体画像内に個別画像が複雑に配置されている場合、いずれの個別画像も分断されないように全体画像を直線の分割線５０１で２つに分割するのは困難である。

本実施形態の携帯情報端末は、このような全体画像に対して、図１Ｂに示すように、各行において文字と文字の間隙を通るように分割線５０２を定め、その分割線５０２で全体画像を左右２つの分割画像５０３、５０４分割する。

具体的には、本実施形態の携帯情報端末は、全体画像において個別画像で構成される行を検出し、行毎に個別画像と個別画像の間隙を検出し、各行において個別画像と個別画像の間隙を通るように分割線５０２を定める。そして、携帯情報端末は、全体画像を分割線５０２で分割し、得られた分割画像５０３、５０４を図１Ｃに示すように各ディスプレイ画面に表示する。

本実施形態の携帯情報端末によれば、複数の個別画像を含む全体画像を、２つのディスプレイ画面が並ぶ方向に行をなす個別画像同士の間隙を通る分割線で２つの分割画像に分割して２つのディスプレイ画面に表示するので、文字や写真などの個別画像が分断されて見づらくなるのを防止することができる。

図２Ａは、本実施形態の携帯情報端末の概略構成を示すブロック図である。図２Ａを参照すると、本実施形態の携帯情報端末は、２つのディスプレイ１３１、１３２と制御部１００とを有している。

制御部１００は、複数の個別画像を含む全体画像を、２つのディスプレイ１３１、１３２が並ぶ方向に行をなす個別画像同士の間隙を通る分割線５０２で２つの分割画像５０３、５０４に分割する。例えばディスプレイ１３１、１３２が横に並んでいれば、行は横方向となる。そして、制御部１００は、２つの分割画像５０３、５０４をディスプレイ１３１、１３２のそれぞれに表示する。

また、本実施形態の携帯情報端末は、２つの分割画像５０３、５０４に分割して２つのディスプレイ画面に表示した全体画像を連動的にスクロールすることができる。携帯情報端末は、全体画像をスクロールするための操作入力が行われると、スクロールに伴って２つの分割画像５０３、５０４を近づけていき結合する。携帯情報端末は、結合後は結合を維持したままで全体画像をスクロールし、スクロールのための操作入力が終わると、そのときの全体画像に対して新たに分割線５０２を定め、その分割線５０２で全体画像を分割して得られた分割画像５０３、５０４を各ディスプレイ画面に表示する。

以下、本実施形態の携帯情報端末について詳細に説明する。

図２Ｂは本実施形態における携帯情報端末の詳細構成を示すブロック図である。

図２Ｂに示すように、本実施形態における携帯情報端末１０は、制御部１００、表示制御部１１０、入力制御部１２０、表示部１３０、入力部１４０及び記憶部１５０を有する。

表示部１３０は、互いに隣り合って配置される２つの左ディスプレイ１３１および右ディスプレイ１３２を有する表示装置である。左ディスプレイ１３１と右ディスプレイ１３２は同サイズであるものとする。左ディスプレイ１３１と右ディスプレイ１３２を横に並べた通常の使用状態では、左ディスプレイ１３１が左側にきて、右ディスプレイ１３２が右側にくるものとする。

入力部１４０は、表示部１３０の左ディスプレイ１３１および右ディスプレイ１３２と一体的に構成された、利用者による操作入力を検出するタッチパネル式の入力装置であるものとする。ただし、これは一例であり、他の例として入力部１４０は表示部１３０と一体的でないタッチパネル式であってもよく、またタッチパネル式ではなく押しボタン式であってもよい。

表示制御部１１０は、左ディスプレイ１３１および右ディスプレイ１３２のそれぞれに対応する左画面表示制御部１１１および右画面表示制御部１１２を有している。左画面表示制御部１１１および右画面表示制御部１１２には、制御部１００からそれぞれの分割画像５０３、５０４が与えられる。左画面表示制御部１１１および右画面表示制御部１１２は、与えられた分割画像５０３、５０４をそれぞれディスプレイ１３１、１３２に表示する。

入力制御部１２０は、入力部１４０で検出された操作入力を受け付け、その操作入力を入力情報として制御部１００に通知する。

記憶部１５０には、リードオンリメモリ、ランダムアクセスメモリ、およびフレームバッファが含まれている。リードオンリメモリは、制御部１００あるいは表示制御部１１０が実行する各種の制御プログラムや制御部１００あるいは表示制御部１１０が処理に用いる固定的なデータを格納する。ランダムアクセスメモリは、制御部１００あるいは表示制御部１１０が制御プログラムやアプリケーションプログラムを実行するときに一時的にデータ格納する。フレームバッファは、表示部３１０に表示する全体画像を一時的に格納する。

制御部１００は、記憶部１５０のリードオンリメモリに格納されている制御プログラムを実行することにより携帯情報端末１０内の各部を制御する。

また、制御部１００は、入力制御部１２０からの入力情報あるいはその他のイベントに基づいてアプリケーションを実行する。アプリケーションの実行に伴い、制御部１００は表示部１３０に画像を表示する。その際、制御部１００は、フレームバッファの全体画像を２つの分割画像５０３、５０４に分割し、その分割画像５０３、５０４を表示制御部１１０の左画面表示制御部１１１および右画面表示制御部１１２に与える。

全体画像を２つに分割するとき、制御部１００は、全体画像内の個別画像で構成される行を検出し、行毎に個別画像と個別画像の間隙を検出し、各行において個別画像と個別画像の間隙を通るように定めた分割線５０２で全体画像を分割する。

また、制御部１００は、２つのディスプレイ画面に表示した分割画像５０３、５０４を、入力制御部１２０からの制御入力に従って連動的にスクロール表示する。

スクロールの操作入力が行われると、制御部１００は、分割画像５０３、５０４をスクロールするのに伴って分割画像同士を近づけていき結合する。結合した後のスクロール中の分割線は、全体画像の中の個別画像を分断するか否かに関わらず直線である。その後、スクロールのための操作入力が終わると、制御部１００は、そのときの全体画像に対して新たに分割線５０２を定め、その分割線５０２で全体画像を分割して得られた分割画像５０３、５０４を各ディスプレイ画面に表示する。

画像を分割して左ディスプレイ１３１と右ディスプレイ１３２に表示するときの処理を分割表示処理と呼び、２つに分割して表示している状態から画像をスクロールするときの処理を連動スクロール処理と呼ぶことにする。

（分割表示処理）
まず、分割表示処理について説明する。

図３は、制御部１００による分割表示処理を示すフローチャートである。図４は、全体画像の座標系について説明するための図である。

図４に示す例では、左ディスプレイ１３１と右ディスプレイ１３２の並びの方向にｘ軸をとり、ｘ軸に直交する方向にｙ軸をとる。画像データは左から右へそして上から下への順序で保持される場合が多いので、ここでは左上を原点Ｏとし、ｘ軸を右方向とし、ｙ軸を下方向としている。全体画像は、ｘ軸方向の幅が２Ｗであり、ｙ軸方向の高さがＨである。

本実施形態では、全体画像におけるＷ−Ｌ≦ｘ≦Ｗ＋Ｌの範囲で分割線５０２を決定し分割を行う。以下、このＷ−Ｌ≦ｘ≦Ｗ＋Ｌの範囲を分割領域と呼ぶことにする。左ディスプレイ１３１および右ディスプレイ１３２の表示幅はＷ＋Ｌ以上である。

左ディスプレイ１３１と右ディスプレイ１３２が同サイズなので個別画像を考慮しなければｘ＝Ｗが分割線となるが、本実施形態では個別画像を分断しないようにし、分割領域内に分割線５０２を定める。分割領域の幅２Ｌを大きくとると、文章がかえって読みにくくなったり、文字や画像が小さくなったりするので、それらを考慮して幅２Ｌは適切な値に設定される。また、この分割領域の幅２Ｌはアプリケーションから設定することができることにしてもよい。

図３を参照すると、まず、制御部１００は、全体画像の分割領域の部分を変換してグレースケール画像（モノクロ画像）を生成する（ステップＳ２０１）。グレースケール画像は、元のカラー画像の各色成分の値の和をとることにより生成してもよく、また、人間の目の特性に従って各色成分の値に重み付けをして和をとることにより生成してもよい。

次に、制御部１００は、グレースケール画像から２値画像を生成する（ステップＳ２０２）。その際、制御部１００は、まず、グレースケール画像のｙ軸方向に隣接した画素の差分を画像化することにより差分画像を生成する。具体的には、制御部１００は、（ｘ，ｙ）の画素値と、（ｘ，ｙ＋１）の画素値の差の絶対値を、（ｘ，ｙ）の画素値とする。次に、制御部１００は、差分画像において０以外の値を有する画素の値を１にする２値化により、２値画像を生成する。

この２値画像では、文字や写真などの個別画像がある部分に画素値が１の画素が現れる。制御部１００は、この２値画像を用いて、後述のように個別画像とそれによって構成される行の位置を推定することになる。

制御部１００は、図５のように、各ｙ座標に対して、ｘ軸方向における２値画像の画素値の和を計算する（ステップＳ２０３）。図５において左側に示したグラフがその計算結果を示している。文字列や画像が存在する領域では、この画素値の和が０でない値となる。

この計算結果を基に、制御部１００は、画素値の和が０でないｙ座標の範囲をｙ＝０からｙ軸の正方向に探索し、検出したｙ座標の範囲をＹ１≦ｙ≦Ｙ２とする（ステップＳ２０４）。この範囲が個別画像あるいは複数の個別画像からなる行が存在する範囲と推定される。

画素値の和が０でないｙ座標の範囲Ｙ１≦ｙ≦Ｙ２が検出されれば（ステップＳ２０５のＹ）、続いて、制御部１００は、図６Ａに示すように、Ｗ−Ｌ≦ｘ≦Ｗ＋ＬかつＹ１≦ｙ≦Ｙ２の範囲において、各ｘ座標に対して、ｙ軸方向における２値画像の画素値の和を計算する（ステップＳ２０６）。図６Ａの下側のグラフが、ｙ軸方向における２値画像の画素値の和を示している。この画素値の和が０でない範囲に個別画像が存在し、画素値の和が０である範囲が個別画像と個別画像の間隙であると推定される。

ここで、制御部１００は、図６Ｂのように、その画素値の和が０でない範囲をａ［ｉ］≦ｘ＜ｂ［ｉ］（ｉ＝１，２，・・・，Ｎ）とし、その画素値の和が０である範囲をｂ［ｉ］≦ｘ＜ａ［ｉ＋１］（ｉ＝１，２，・・・，Ｎ）とする（ステップＳ２０７）。また、便宜的にａ［０］＝ｂ［０］＝Ｗ−Ｌとし、ａ［Ｎ＋１］＝ｂ［Ｎ＋１］＝Ｗ＋Ｌとする。

もし、ここで画素値の和が０である範囲がＷ−Ｌ≦ｘ≦Ｗ＋Ｌにおいて存在しなければ（ステップＳ２０８のＮ）、制御部１００は、分割領域の幅２Ｌにわたる大きさの個別画像が存在すると判断し、画像分割処理に進む。画像分割処理については後述する。

画素値の和が０である範囲がＷ−Ｌ≦ｘ≦Ｗ＋Ｌにおいて存在すれば（ステップＳ２０８のＹ）、制御部１００は、ａ［ｉ］またはｂ［ｉ］の値がＷに最も近くなるｉをｍとする（ステップＳ２０９）。

更に、制御部１００は、図６Ｃに示すように、全体画像のｘ軸方向の中央に最も近い、個別画像と個別画像の間隙に分割線を設定する。

具体的には、制御部１００は、全体画像のｘ軸方向の中央であるＷと、ａ［ｍ］，ｂ［ｍ］との関係がＷ＜（ａ［ｍ］＋ｂ［ｍ］）／２であれば（ステップＳ２１０のＹ）、ｘ＝（ｂ［ｍ−１］＋ａ［ｍ］）／２の位置に、Ｙ１≦ｙ≦Ｙ２の範囲における分割線を設定する（ステップＳ２１１）。また、Ｗ≧（ａ［ｍ］＋ｂ［ｍ］）／２であれば（ステップＳ２１０のＮ）、制御部１００は、ｘ＝（ｂ［ｍ］＋ａ［ｍ＋１］）／２の位置に分割線を設定する（ステップＳ２１２）。

次に、分割領域の幅にわたる個別画像を分割するための画像分割処理について説明する。この画像分割処理は、Ｗ−Ｌ≦ｘ≦Ｗ＋Ｌ，Ｙ１≦ｙ≦Ｙ２の矩形領域に存在する写真のような大きな画像を適切な位置で分割する分割線を設定する処理である。

上述したように、各ｘ座標に対するｙ軸方向における２値画像の画素値の和が０である範囲がＷ−Ｌ≦ｘ≦Ｗ＋Ｌにおいて存在しないとき（ステップＳ２０８のＮ）、この画像分割処理が行われる。

まず、制御部１００は、前処理として、その矩形領域のグレースケール画像を取得し、それを２値化することにより２値画像を生成する（ステップＳ２１３）。なお、先の２値化は０以外の値を全て１にするものであったが、ここでの２値化は一例としてグレースケール画像の画素値を所定の閾値と比較することにより行う。

次に、制御部１００は、人の顔、車、建物等の回避対象物について予め用意された画像をテンプレート画像として、矩形領域の２値画像に対してテンプレートマッチングを行う（ステップＳ２１４）。このテンプレートマッチングにより回避対象物が存在する範囲が特定される。

なお、回避対象物としては、２つに分割されるのが望ましくない物体が設定される。また、回避対象物には優先度が定義され、各回避対象物のテンプレート画像に優先度が付与される。この優先度は、分割されるのが望ましくない度合いに応じて設定すればよい。例えば、建物の優先度よりも人の顔の優先度を高く設定することが考えられる。

制御部１００は、回避対象物が存在しないｘ座標の範囲をｃ［ｉ］≦ｘ＜ｄ［ｉ］（ｉ＝１，２，・・・，Ｋ）とし（ステップＳ２１５）、ｃ［ｉ］≦ｘ＜ｄ［ｉ］の範囲が１つ以上存在するか否か判定する（ステップＳ２１６）。

ｃ［ｉ］≦ｘ＜ｄ［ｉ］の範囲が１つ以上存在すれば、制御部１００は、図７に示すように、ｘ＝（ｃ［ｉ］＋ｄ［ｉ］）／２のうち、ｘの値が最もＷに近い直線を分割線とする（ステップＳ２１７）。図７には、個別画像を表す四角形の中に、回避対象物の範囲を表す太線の四角形が描かれている。分割線は回避対象物の範囲を避ける位置で個別画像を分割するように設定されている。

ステップＳ２１６の判定において、回避対象物が存在しないｘ座標の範囲が存在しなければ、制御部１００は、優先度が低いテンプレート画像に対応する回避対象物から除外すること（ステップＳ２１８）を、回避対象物が存在しないｘ座標の範囲が現れるまで繰り返す。

以上のようなＹ１≦ｙ≦Ｙ２の範囲に対する一連の処理が終わると、制御部１００は、検出対象をｙ＞Ｙ２の範囲に更新し（ステップＳ２１９）、図５の左側のグラフに示された、分割領域の２値画像における各ｙ座標に対するｘ軸方向の画素値の和が０でないｙ座標の範囲を探索し（ステップＳ２０４）、同様のように一連の処理を繰り返す。

もし、そのようなｘ軸方向の画素値の和が０でないｙ座標の範囲が検出されなければ（ステップＳ２０５のＮ）、制御部１００は、ｙ軸方向の範囲毎に分割線を設定する処理を完了し、次に、それらの分割線を連結する処理を行う（ステップＳ２２０）。この連結処理においては、制御部１００は、ｙ軸方向にとびとびに設定された分割線を、０≦ｙ＜Ｈの範囲で連続した線になるように結合する。

具体的には、制御部１００は、まず、個々の分割線の両端を、隣接する分割線同士のｙ座標が一致するように中央まで延長する。続いて、制御部１００は、隣接する分割線の隣接する側の先端同士をｘ軸に平行な直線で結合する。これにより分割線５０２が完成する。

なお、画像分割処理により個別画像を分割するような分割線が設定されている場合には、その個別画像から左ディスプレイ１３１と右ディスプレイ１３２の間隔に相当する部分を削除することにしてもよい。これにより、分割して表示する画像を見かけ上は元の画像と同じバランスで表示することができる。ただし、その場合に更に、左ディスプレイ１３１と右ディスプレイ１３２の間隔に相当する部分であっても回避対象物の領域を含む場合には削除しないことにしてもよい。

図８は、２人の人物が写った写真を分割線で分割する場合の処理を説明するための図である。この写真を分割する場合、削除する部分に回避対象物が含まれないことを条件として、写真の分割画像５０３に含まれる部分と分割画像５０４に含まれる部分のそれぞれから、左ディスプレイ１３１と右ディスプレイ１３２の間隔に相当する部分が削除される。この例では人物の顔が回避対象物である。ハッチングが施された部分が削除される部分である。

図９Ａは、以上のようにして決定された分割線５０２の一例を示す図である。図９Ａには、複数にわたる文章の中に写真のような大きな画像が埋め込まれた全体画像に分割線５０２を設定した例が示されている。図中のハッチングが施された四角形は大きな個別画像を表している。ただし、この個別画像は分割領域の幅２Ｌにわたって配置されてはいない。

０≦ｙ≦Ｈにわたる分割線５０２を決定し終えると、制御部１００は、その分割線５０２によって全体画像を２つの分割画像５０３、５０４に分割し、それぞれを左ディスプレイ１３１および右ディスプレイ１３２に表示する。具体的には、制御部１００は、０≦ｘ≦Ｗ＋Ｌの範囲に含まれている左側の分割画像５０３を左ディスプレイ１３１に表示し、Ｗ−Ｌ≦ｘ≦２Ｗの範囲に含まれている右側の分割画像５０４を右ディスプレイ１３２に表示する。図９Ｂは、分割線５０２で分割された分割画像５０３、５０４を左ディスプレイ１３１および右ディスプレイ１３２に表示した様子を示す図である。なお、ハッチングが施された個別画像は分割領域の幅２Ｌにわたってはいないので、分割線で分割されていない。

（連動スクロール処理）
次に連動スクロール処理について説明する。

連動スクロール処理においては、全体画像を分割線５０２で分割した分割画像５０３、５０４を左ディスプレイ１３１、１３２にそれぞれ表示している状態から、スクロールの操作入力が行われると、スクロールに伴って分割画像の距離を近づけていき結合する。スクロールの操作入力が終わると、全体画像をその時点の新たな分割線５０２で分割し、各ディスプレイ画面に表示する。

図１０は、タッチパネルへのドラッグ操作により画面をスクロールする連動スクロール処理を示すフローチャートである。

全体画像を分割線５０２で分割し、左ディスプレイ１３１および右ディスプレイ１３２の表示している状態で（ステップＳ３０１）、利用者がタッチパネルをドラッグ操作すると（ステップＳ３０２）、制御部１００は、アプリケーションによる処理として、全体画像データを保持するフレームバッファを更新する（ステップＳ３０３）。

続いて、制御部１００は、全体画像を分割線５０２で分割して表示している状態であれば（ステップＳ３０４）、以下の処理を行う。

ドラッグ操作が左方向に向かうものであれば（ステップＳ３０５のＹ）、制御部１００は、右ディスプレイ１３２に表示していた画像を左ディスプレイ１３１に表示している画像に近づけていき、結合する（ステップＳ３０６）。結合した後のスクロール中は、制御部１００は、ｘ＝Ｗ＋Ｌの直線を分割線として全体画像を分割する。このときの表示を左寄せ表示と呼ぶことにする。

ドラッグ操作が右方向に向かうものであれば（ステップＳ３０７のＹ）、制御部１００は、左ディスプレイ１３１に表示していた画像を右ディスプレイ１３２に表示している画像に近づけていき、結合する（ステップＳ３０８）。結合した後のスクロール中は、制御部１００は、ｘ＝Ｗ−Ｌの直線を分割線として全体画像を分割する。このときの表示を右寄せ表示と呼ぶことにする。

また、ドラッグ操作が左方向に向かうものでも右方向に向かうものでもなければ（ステップＳ３０７のＮ）、制御部１００は、更新された全体画像における分割線５０２を決定し（ステップＳ３０９）、その分割線５０２で全体画像を分割し、分割画像５０３、５０４を左ディスプレイ１３１および右ディスプレイ１３２に表示する（ステップＳ３１０）。例えば上方向または下方向に向かうドラッグ操作の場合がこれに当たる。

そのとき、制御部１００は、更新された全体画像に新たに現れた部分についてのみ新たに分割線を設定することにしてもよい。また、ドラッグ操作が上方向または下方向に向かうものであっても高速スクロール中は、全体画像を直線の分割線で分割することにしてもよい。

続いて、制御部１００は、ドラッグ操作が終了しているか否か判定する（ステップＳ３１１）。ドラッグ操作が終了していなければ、制御部１００はステップＳ３０３に戻る。

一方、ドラッグ操作が終了していれば、制御部１００は、左寄せ表示を行っているか否か判定する（ステップＳ３１２）。左寄せ表示を行っているのであれば、制御部１００は、更新された全体画像に新たに分割線５０２を決定して全体画像を分割する（ステップＳ３１３）。そして、制御部１００は、分割線５０２の右側の分割画像５０４を右ディスプレイ１３２に移動させる（ステップＳ３１４）。

一方、左寄せ表示を行っているのでなければ、制御部１００は、右寄せ表示を行っているか否か判定する（ステップＳ３１５）。右寄せ表示を行っているのであれば、制御部１００は、更新された全体画像に新たに分割線５０２を決定して全体画像を分割する（ステップＳ３１６）。そして、制御部１００は、分割線の左側の分割画像５０３を左ディスプレイ１３１に移動させる（ステップＳ３１７）。

以上の処理により、全体画像が２つに分割して表示された状態になったら、制御部１００は処理を終了する。

図１１Ａ〜１１Ｃは、スクロールのためのドラッグ操作がされている間の画面表示の変化の様子を示す図である。ここでは左向きのスクロールを例示するが、右向きのスクロールも左右が逆になるだけで、これと同様である。

図１１Ａに示すように、分割画像５０３、５０４を左ディスプレイ１３１、右ディスプレイ１３２にそれぞれ表示している状態から、スクロールの操作入力が行われると、制御部１００は、図１１Ｂに示すように、スクロールに伴って分割画像５０３と分割画像５０４の距離を近づけていき、結合する。結合した後のスクロール中、制御部１００は、図１１Ｃに示すように、分割画像５０３と分割画像５０４を結合したままで連動的に画像をスクロールさせる。

図１２Ａ〜１２Ｃは、スクロールのためのドラッグ操作が終了したときの画面表示の変化の様子を示す図である。

ドラッグ操作が終了すると、制御部１００は、図１２Ａに示すように新たな分割線５０２を決定し、図１２Ｂに示すように分割線５０２の右側の分割画像５０４を右側に移動し、図１２Ｃに示すように分割画像５０４を右ディスプレイ１３２に表示する。

なお、本実施形態の携帯情報端末の入力部１４０はディスプレイ１３１、１３２と一体的に構成されたタッチパネル式であるが、いずれのディスプレイへのタッチ操作によっても全体画像のスクロールが行えるものとする。そして、例えば、分割画像５０３、５０４が結合するまで画面表示の変化を、左ディスプレイ１３１へのドラッグ操作による場合と右ディスプレイ１３２へのドラッグ操作による場合とで同じにしてもよく、あるいは異ならせてもよい。

画面表示の変化を異ならせる場合の例として、左ディスプレイ１３１へ左方向のドラッグ操作が行われた場合には、右ディスプレイ１３２の画面表示を左ディスプレイ１３１の画面表示よりも早い速度で移動することにより、２つの分割画像を結合することにしてもよい。そして、右ディスプレイ１３２へ左方向のドラッグ操作が行われた場合には、左ディスプレイ１３１の画面表示を固定したままで右ディスプレイ１３２が画面表示を移動することにより、２つの分割画像を結合することにしてもよい。

次に、本実施形態の携帯情報端末におけるソフトウェア構成について説明する。

図１３は、本実施形態の携帯情報端末のソフトウェア構成を示す図である。アプリケーション１０１、ミドルウェア１０２、および分割処理プログラム１０４は、図２Ｂの機能ブロック図における制御部１００の処理を実現するソフトウェアである。ミドルウェア１０２には描画ミドルウェア１０３が含まれている。左画面表示制御プログラム１１１ａおよび右画面表示制御プログラム１１２ａのそれぞれは、図２Ｂの機能ブロック図における左画面表示制御部１１１および右画面表示制御部１１２のそれぞれの処理を実現するソフトウェアプログラムである。

分割処理プログラム１０４、左画面表示制御プログラム１１１ａ、および右画面表示制御プログラム１１２ａは制御プログラムであり、記憶部１５０のリードオンリメモリに配置される。フレームバッファ１５１は記憶部１５０のランダムアクセスメモリに配置される。

アプリケーション１０１は、表示しようとする全体画像のデータを、描画ミドルウェア１０３を介してフレームバッファ１５１に書き込む。分割処理プログラム１０４は、上述した手法により、フレームバッファ１５１から全体画像のデータを読み出し、全体画像を２つの分割画像５０３、５０４に分割する。左画面表示制御プログラム１１１ａ、右画面表示制御プログラム１１２ａは、それぞれの分割画像５０３、５０４を左ディスプレイ１３１、右ディスプレイ１３２に表示する。

このソフトウェア構成により、アプリケーションが画像を２つのディスプレイ１３１、１３２に分割して表示することを意識する必要は無く、１つの画面に表示するのと同じ汎用的な処理を行えばよい。

なお、本実施形態では、各個別画像の文字の種類によらず、個別画像間の間隙のうち中央に最も近い位置に分割線を設定することにしたが、本発明はこれに限定されるものではない。他の例として、制御部１００は、個別画像の文字が句読点である場合には、その直後の間隙に分割線を設定することにしてもよい。

また、本実施形態では、行毎の分割線の相互関係によらず、個別画像間の間隙のうち中央に最も近い位置に分割線を設定することにしたが、行毎の分割線の位置に依存関係を持たせてもよい。例えば、制御部１００は、ある行の分割線を設定するとき、ｘ座標が、その上の行の分割線に最も近い間隙に分割線を設定することにしてもよい。

また、本実施形態では、個別画像間の間隙の幅によらず、分割領域内の個別画像間の間隙のうち中央に最も近い位置に分割線を設定することにしたが、本発明はこれに限定されるものではない。他の例として、制御部１００は、個別画像間の間隙のうち幅の広い間隙に分割線を設定することにしてもよい。

また、本実施形態では、複数文字で構成される単語により文章が記述される言語である場合、単語と単語の境界に分割線を設定することにしてもよい。その場合、制御部１００は、例えば、上述した手法により文字と文字の間隙を検出するとともに文字を認識し、文字の配列から単語を認識し、文字と文字の間隙のうち単語の境界をなすものを候補として分割線を設定することにすればよい。

また、本実施形態では、個別画像間の間隙のうち中央に最も近い位置に分割線を設定するという単一の条件で分割線を設定する位置を決定したが、本発明はこれに限定されるものではない。他の例として、個別画像間の間隙と中央との近さ、句読点の直後かどうか、間隙の幅の広さなど複数の条件にそれぞれ重みづけをして各間隙のポイントを積算し、ポイントが高い間隙に分割線を設定することにしてもよい。

また、本実施形態では、アプリケーション１０１が関与することなく分割処理プログラム１０４による処理で分割線５０２が決定されるものとしたが、本発明はこれに限定されるものではない。どの個別画像間の間隙に分割線を設定するかを０≦ｙ≦Ｈの範囲の一部あるいは全部についてアプリケーション１０１から指定できるものとしてもよい。その場合、分割処理プログラムは、指定された部分については、個別画像間の間隙のうちアプリケーション１０１から指定されたものに分割線を設定すればよい。

あるいは、個別画像間の間隙のうち、分割線の設定を禁止するものをアプリケーション１０１から分割処理プログラム１０４に対して設定することができてもよい。その場合、分割処理プログラム１０４は、個別画像間の間隙のうち、分割線の設定が禁止された以外の間隙に分割線を設定すればよい。

また、分割線の設定を禁止する領域の特徴を分割処理プログラム１０４に設定しておき、分割処理プログラム１０４は、その特徴に該当する領域に分割線を設定しないようにしてもよい。例えば、ポップアップ表示の特徴を設定しておくことにより、ポップアップ表示が２つに分断されないようにすることができる。

また、本実施形態では、個別画像の間隙に分割線５０２を設定する処理を常時実行するものとしたが、本発明はこれに限定されるものではない。他の例として、個別画像の間隙に分割線を設定する処理を有効にするか無効にするかを、利用者の所望、アプリケーションからの指定、アプリケーションの種別などに応じて切り替え可能としてもよい。個別画像の間隙に分割線を設定する処理が無効になっている場合、制御部１００は、１つの全体画像を左ディスプレイ１３１と右ディスプレイ１３２に分割して表示するときには全体画像を中央線で分割すればよい。

また、本実施形態では、画面切り替え時やスクロールの終了時、全体画像の表示を２つの分割画像５０３、５０４に分割するときに利用者が分割処理を認識できるようなアニメーション処理を施してもよい。例えば、全体画像の表示を２つの分割画像５０３、５０４に分割するとき、２つのディスプレイ１３１、１３２の両方あるいはいずれか一方の表示をバネが弾むように振動させることにしてもよい。

また、本実施形態では、全体画像に個別画像として動画が含まれている場合、動画も静止画と同様に個別画像として識別され、その個別画像をできる限り分断しないように分割線を設定される。そして、個別画像が分割領域の幅にわたる場合、制御部１００は、テンプレートマッチングにより回避対象物が存在する範囲を分断しないように個別画像を分割する分割線を設定する。これらに加えて更に、制御部１００は、分割する個別画像が動画である場合には、個別画像内の動き量の分布に基づき、動きの大きい部分を回避するように分割線を設定することにしてもよい。個別画像内の各部の動き量は動き補償の情報から得ることができる。

また、本実施形態の説明においては、便宜的に、２つのディスプレイ１３１、１３２が横になるように用いる場合を例示したが、本発明はこれに限定されるものではない。２つのディスプレイ１３１、１３２が縦に並ぶように用いる場合にも本発明を同様に適用することができる。２つのディスプレイ１３１、１３２の並びが縦であっても横であっても、２つのディスプレイ１３１、１３２が並ぶ方向と同じ方向に複数の個別画像を含む行を検出し、その行に含まれている個別画像間の間隙を通るように分割線を設定すればよい。

また、２つのディスプレイ１３１、１３２が横に並ぶように用いられ、全体画像に縦書きの文章が含まれる場合や、２つのディスプレイ１３１、１３２が縦に並ぶように用いられ、全体画像に縦書きの文章が含まれる場合も考えられる。その場合に本実施形態で上述した手法をそのまま用いてもよいし、その部分にだけ他の手法を用いてもよい。例えば、２つのディスプレイ１３１、１３２が横に並ぶように用いられている場合、制御部１００は、全体画像に含まれる縦書き文章の部分を検出し、その部分では行間に分割線を設定することにしてもよい。縦書き文章部分の行は、例えば、上述したｘ軸方向の行を検出する手法をｙ軸方向に適用することにより検出することができる。

また、本実施形態における分割領域の幅２Ｌを２Ｗに設定し、２つのディスプレイ１３１、１３２の画面全体を分割領域としてもよい。その場合、分割線５０２が左ディスプレイ１３１の左端付近に設定されたり、右ディスプレイ１３２の右端付近に設定されたりすることもありうる。そして、全体画像において上下の２つの大きな画像が左右方向に入り組んで配置されている場合、分割線５０２の水平方向の部分が長くなり、その水平部分の上下にある２つの大きな画像が左右のディスプレイ１３１、１３２に配置されることもありうる。

また、本実施形態の制御部１００は、分割画像５０３と左ディスプレイ１３１の外縁との間や、分割画像５０４と右ディスプレイ１３２の外縁との間を、利用者に自然に見えるように、全体画像における背景と同じ色で表示することにしてもよい。

あるいは、本実施形態の制御部１００は、分割線５０２、または分割線５０２とディスプレイ１３１、１３２の外縁の間、あるいはその両方を、利用者が認識し易いよう、他の部分と区別できるように表示することにしてもよい。

また、本実施形態では、制御部１００は、全体画像を分割線５０２で分割した分割画像５０３、５０４を左ディスプレイ１３１と右ディスプレイ１３２に分けて表示することにより変化する個別画像間の距離を調整するように分割画像５０３、５０４に処理を施してもよい。例えば、図１４に示すように、右側の分割画像５０４内の個別画像を左側に寄せるように分割画像５０４に画像処理を施してもよい。また更に、左側の分割画像５０３内の個別画像も同様に右側に寄せるように分割画像５０３に画像処理を施してもよい。

また、本実施形態では、ディスプレイが２つの場合を例示したが、本発明はこれに限定されるものではなく、ディスプレイが３つ以上の場合にも同様に適用することができる。

以上、実施形態を参照して本発明を説明したが、本発明はそれらの実施形態に限定されるものではない。クレームに定義された本発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００９年１２月１８日に出願された日本出願特願２００９−２８７４３２を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。

Claims (18)

1. 複数のディスプレイ画面を有する表示手段と、
   前記複数のディスプレイ画面が並ぶ方向に個別画像が並んだ行を２行以上含む全体画像を、それぞれの前記行において個別画像同士の間隙を通る分割線で複数の分割画像に分割し、前記表示手段の前記ディスプレイ画面のそれぞれに該分割画像のそれぞれを表示する制御手段と、を有し、
   前記制御手段は、前記行において前記間隙が複数存在する場合、前記ディスプレイ画面のそれぞれの幅によって定まる初期分割線に近い間隙を他の間隙より優先して前記分割線を定める、携帯情報端末。
2. 複数のディスプレイ画面を有する表示手段と、
   前記複数のディスプレイ画面が並ぶ方向に個別画像が並んだ行を２行以上含む全体画像を、それぞれの前記行において個別画像同士の間隙を通る分割線で複数の分割画像に分割し、前記表示手段の前記ディスプレイ画面のそれぞれに該分割画像のそれぞれを表示する制御手段と、を有し、
   前記制御手段は、前記行において前記間隙が複数存在する場合、個別画像同士の間隔が大きい間隙を他の間隙より優先して前記分割線を定める、携帯情報端末。
3. 複数のディスプレイ画面を有する表示手段と、
   前記複数のディスプレイ画面が並ぶ方向に個別画像が並んだ行を２行以上含む全体画像を、それぞれの前記行において個別画像同士の間隙を通る分割線で複数の分割画像に分割し、前記表示手段の前記ディスプレイ画面のそれぞれに該分割画像のそれぞれを表示する制御手段と、を有し、
   前記制御手段は、前記行に前記間隙が存在しない場合、前記個別画像に含まれる特定部分を分断しない位置で該個別画像を分割するように分割線を定め、前記個別画像が動画像である場合、該個別画像内の動き量の分布に基づいて前記特定部分を定める、携帯情報端末。
4. 複数のディスプレイ画面を有する表示手段と、
   前記複数のディスプレイ画面が並ぶ方向に個別画像が並んだ行を２行以上含む全体画像を、それぞれの前記行において個別画像同士の間隙を通る分割線で複数の分割画像に分割し、前記表示手段の前記ディスプレイ画面のそれぞれに該分割画像のそれぞれを表示する制御手段と、を有し、
   前記制御手段は、前記行に前記間隙が存在しない場合、前記個別画像に含まれる特定部分を分断しない位置で該個別画像を分割するように分割線を定め、前記個別画像が分割された前記分割画像を、該個別画像から前記ディスプレイ画面の間隔に相当する部分を削除して、前記ディスプレイ画面に表示する、携帯情報端末。
5. 複数のディスプレイ画面を有する表示手段と、
   前記複数のディスプレイ画面が並ぶ方向に個別画像が並んだ行を２行以上含む全体画像を、それぞれの前記行において個別画像同士の間隙を通る分割線で複数の分割画像に分割し、前記表示手段の前記ディスプレイ画面のそれぞれに該分割画像のそれぞれを表示する制御手段と、
   利用者による操作入力を検出する入力手段と、を有し、
   前記制御手段は、前記分割線で分割された前記分割画像が前記ディスプレイ画面に表示されているとき、前記入力手段に対して前記全体画像をスクロールするための操作入力が行われると、該スクロールに伴って前記分割画像同士を近づけて結合する、携帯情報端末。
6. 前記制御手段は、前記全体画像内の所定の分割領域内の間隙に前記分割線を定める、
   請求項１から５のいずれか１項に記載の携帯情報端末。
7. 前記制御手段は、前記行において前記間隙が複数存在する場合、前記ディスプレイ画面のそれぞれの幅によって定まる初期分割線に近い間隙を他の間隙より優先して前記分割線を定める、
   請求項２から５のいずれか１項に記載の携帯情報端末。
8. 前記制御手段は、前記行において前記間隙が複数存在する場合、個別画像同士の間隔が大きい間隙を他の間隙より優先して前記分割線を定める、
   請求項３から５のいずれか１項に記載の携帯情報端末。
9. 前記制御手段は、前記行に前記間隙が存在しない場合、前記個別画像に含まれる特定部分を分断しない位置で該個別画像を分割するように分割線を定める、
   請求項５に記載の携帯情報端末。
10. 前記制御手段は、前記個別画像が動画像である場合、該個別画像内の動き量の分布に基づいて前記特定部分を定める、
    請求項４に記載の携帯情報端末。
11. 前記制御手段は、前記全体画像を前記分割線で分割し、更に、分割画像間を跨いで隣り合う個別画像間の距離を行毎に調整した分割画像を前記ディスプレイ画面に表示する、
    請求項５に記載の携帯情報端末。
12. 前記制御手段は、前記個別画像が分割された前記分割画像を、該個別画像から前記ディスプレイ画面の間隔に相当する部分を削除して、前記ディスプレイ画面に表示する、
    請求項５に記載の携帯情報端末。
13. 前記制御手段は、前記分割画像を結合した後に前記スクロールが終了すると、新たに分割線を定めて前記全体画像を分割し、得られた分割画像を前記ディスプレイ画面に表示する、
    請求項５に記載の携帯情報端末。
14. 前記制御手段は、前記スクロールの終了時、該スクロールの移動先側にあった第１のディスプレイ画面内の所定の分割領域に前記新たな分割線を定めて全体画像を分割し、前記第１のディスプレイ画面に表示すべき分割画像を該第１のディスプレイ画面に固定し、前記スクロールの移動元側にあった第２のディスプレイ画面に表示すべき分割画像を該第２のディスプレイ画面に移動させるように、前記分割画像を表示する、
    請求項１３に記載の携帯情報端末。
15. 複数のディスプレイ画面を有する表示手段と、
    前記複数のディスプレイ画面が並ぶ方向に個別画像が並んだ行を２行以上含む全体画像を、それぞれの前記行において個別画像同士の間隙を通る分割線で複数の分割画像に分割し、前記表示手段の前記ディスプレイ画面のそれぞれに該分割画像のそれぞれを表示する制御手段と、を有し、
    前記制御手段は、前記全体画像内の所定の分割領域内の間隙に前記分割線を定め、前記分割領域における隣接画素間の画素値の差分を２値化した２値画像に基づいて該分割領域内の前記行と該行に含まれる個別画像とを検出し、該行毎に個別画像間の間隙を通る分割線を設定し、該行毎の分割線を１本に接続する、携帯情報端末。
16. 複数のディスプレイ画面を有する携帯情報端末における表示制御方法であって、
    制御手段が、前記複数のディスプレイ画面が並ぶ方向に個別画像が並んだ行を２行以上含む全体画像を、それぞれの前記行において個別画像同士の間隙を通る分割線で複数の分割画像に分割し、
    前記制御手段が、前記ディスプレイ画面のそれぞれに該分割画像のそれぞれを表示し、
    前記制御手段が、前記分割線で分割された前記分割画像が前記ディスプレイ画面に表示されているとき、前記全体画像をスクロールするための操作入力が行われると、該スクロールに伴って前記分割画像同士を近づけて結合する、表示制御方法。
17. 前記制御手段が、前記全体画像内の所定の分割領域内の間隙に前記分割線を定める、
    請求項１６に記載の表示制御方法。
18. 前記制御手段は、前記行に前記間隙が存在しない場合、前記個別画像に含まれる特定部分を分断しない位置で該個別画像を分割するように分割線を定める、
    請求項１６に記載の表示制御方法。

Images