[第1実施形態のタブレット端末]
図1は、第1実施形態のタブレット端末10の正面図である。このタブレット端末10は、本発明のプログラムに相当するプログラム25(図2参照)を格納しており、このプログラム25を実行することにより、本発明の商品画像表示制御装置として機能する。
図1に示すように、タブレット端末10は、前述のプログラムを実行することにより、本発明の商品画像に相当するポストカードのテンプレート画像データ12の選択画面を表示する。このタブレット端末10の平板状の筐体15を有している。この筐体15の一方の面には、タッチパネル式の表示部16(表示入力部ともいう)が設けられている。また、筐体15には、操作部17の他に、図示は省略するがスピーカ部及びマイクロホン部及びカメラ部などが設けられている。
図2は、タブレット端末10の電気的構成を示すブロック図である。図2に示すように、タブレット端末10は、前述の表示部16及び操作部17の他に、制御部20と、メモリ21と、インタフェース22と、データ格納部23と、を備えている。なお、図2では、説明の煩雑化を防止するために、テンプレート画像データ12の選択画面の表示に関係のない構成は図示を省略している。
制御部20は、例えばCPU(Central Processing Unit)を含む各種の演算部及び処理部及び記憶部により構成されたものであり、表示部16及び操作部17からの制御信号に基づき、メモリ21から読み出した各種のプログラムを実行することで、タブレット端末10の全体の動作や処理を統括制御する。
メモリ21は、制御部20が処理を実行するための各種のプログラムが格納されている記録媒体である。このメモリ21には、テンプレート画像データ12の選択画面の表示処理を制御部20に実行させるためのアプリケーションソフトウェアであるプログラム25と、詳しくは後述する変換テーブル26と、が格納されている。
表示部16は、制御部20の制御により、静止画像および動画像を含む画像や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルである。この表示部16は、表示パネル28と、この表示パネル28を覆うように配置された操作パネル29とを備える。
表示パネル28は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル29は、表示部16の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。この操作パネル29をユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号が操作パネル29から制御部20へ出力される。制御部20は、操作パネル29から入力される検出信号に基づき、操作パネル29に対するユーザの操作を検出し、この操作に応じた処理を実行する。
操作部17は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部17は、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。制御部20は、操作部17に対する操作を検出し、この操作に応じた処理を実行する。
インタフェース22は、タブレット端末10において、テンプレート画像データ12と、テンプレート画像データ12内の写真合成用の合成領域12aに合成される写真画像データ31と、を取得する画像取得部として機能する。具体的に、インタフェース22は、図示しないプリントサービス用のサーバから、ポストカードのテンプレート画像データ12を複数取得する。また、インタフェース22は、ユーザが所有する他の端末や電子機器(パーソナルコンピュータ、スマートフォン、携帯電話機、及びデジタルカメラなど)から、写真画像データ31を取得する。従って、インタフェース22としては、プリントサービス用のサーバ、端末や電子機器などに通信接続可能な通信インタフェース等が用いられる。
なお、メモリカード(図示せず)等に記憶されているテンプレート画像データ12や写真画像データ31を取得する場合、インタフェース22としては、メモリカードが装填されるカードインタフェースが用いられる。また、写真画像データ31は、タブレット端末10のカメラ部(図示せず)からも取得可能であり、この場合のインタフェース22としては、カメラ部に接続する接続インタフェースである。
データ格納部23は、インタフェース22により取得されたテンプレート画像データ12及び写真画像データ31を格納する。また、データ格納部23には、詳しくは後述するが、制御部20(画像解析部36)により解析されたテンプレート画像データ12の特徴量の解析結果である画像解析データ33が格納される。
制御部20は、本発明のコンピュータとして機能するものである。この制御部20は、タブレット端末10においてテンプレート画像データ12の選択画面起動操作がなされた際に、メモリ21から読み出したプログラム25を実行することにより、画像解析部36と、表示制御部37と、着目領域設定部38と、として機能する。
[画像解析]
画像解析部36は、データ格納部23に格納されている各テンプレート画像データ12を解析して、各テンプレート画像データ12の特徴を表す本発明の特徴量として感性語を取得することにより、画像解析データ33を作成する。感性語は、詳しくは後述するが、ユーザがテンプレート画像データ12に期待する印象を表す。
図3は、画像解析部36による画像解析データ33の作成手順を説明するための説明図である。図3に示すように、画像解析部36は、データ格納部23に格納されている各テンプレート画像データ12から、個々のテンプレート画像データ12を代表する色を含む領域を1又は複数切り出し、切り出した領域の画像を平滑化フィルタにより平滑化処理し、平滑化処理した領域の画像の代表色を示す色特徴量を取得する。
ここで代表色とは、離れた位置からも十分に視認できる一定の面積以上を有する色をいい、例えば、大きな面積の「ベースカラー」、次に大きな面積を占める「アソートカラー」に限らず、小面積の「アクセントカラー」も代表色としてもよい。そして、本例では、色特徴量として、HSV色空間における3属性[H(Hue:色相)、S(Saturation:彩度)、V(Value Lightness:明度)]の各値(以下、「HSV値」という)を取得する。
次いで、画像解析部36は、取得した代表色の色特徴量(HSV値)毎に、130色の色数を有する基本カラーパレット40から該当する色情報を選択する。ここで、130色は、120色の有彩色と10色の無彩色とを有し、120色の有彩色は、10種類の色相と12種類のトーンとの組み合わせからなり、10色の無彩色は、白から黒までの10種類のトーンからなる。尚、基本カラーパレット40の色数及び分類方法は、この実施形態に限定されない。
このように、1つの色特徴量(HSV値)が取得されると、取得した色特徴量に対応する基本カラーパレット40における130色のうちの1つの色(色情報)を特定することができる。なお、テンプレート画像データ12の代表色が2色の場合、基本カラーパレット40上の2つの色(2色配色)を特定することができる。同様に、テンプレート画像データ12の代表色が3色の場合には、基本カラーパレット40上の3つの色(3色配色)を特定することができ、テンプレート画像データ12の代表色がN色(N:4以上の整数)の場合には、基本カラーパレット40上のN個の色(N色配色)を特定することができる。
画像解析部36は、テンプレート画像データ12の色情報(配色)を特定した後、特定した配色に対応する感性語の特定を行う。
図4は感性空間に配置される感性語を示す言語イメージスケールの説明図であり、図5は感性空間に配置される単色(基本カラーパレットの130色)の単色イメージスケールの説明図である。また、図6は感性空間に配置される3色配色のイメージスケールの説明図である。なお、図4から図6に示すイメージスケールは、株式会社日本カラーデザイン研究所から開示されたイメージスケールを示す(小林重順著「カラーシステム」(講談社)、及びhttp://www.ncd-ri.co.jp/about/image_system.htmlを参照)。
図4から図6に示す感性空間は、WARM(暖かい)/COOL(冷たい)の程度を示す横軸、及びHARD(かたい)/SOFT(やわらかい)の程度を示す縦軸の2つの座標軸により規定された空間である。
図4に示す言語イメージスケールは、上記感性空間内に64個の感性語が配置されている。また、図5に示す単色イメージスケールは、上記感性空間内に130色の単色が配置されている。図5に示した各記号は、V(ビビット)、S(ストロング)、B(ブライト)、P(ペール)、Vp(ベリー・ペール)、Lgr(ライト・グレイッシュ)、L(ライト)、Gr(グレイッシュ)、Dl(ダル)、Dp(ディープ)、Dk(ダーク)、Dgr(ダーク・グレイッシュ)の12種類のトーンの位置を示している。また、数字で示した130色のうちの代表的なものとして、1〜10は、それぞれ代表的な色相の位置を示し、1は赤、2は橙、3は黄、4は黄緑、5は緑、6は青緑、7は青、8は青紫、9は紫、10は赤紫である。また、121は白、130は黒である。
また、図6に示す3色配色のイメージスケールは、64個の感性語にそれぞれ対応する1つの3色配色を示しているが、1つの感性語に対応する3色配色は、複数存在する。
図4から図6に示すように、感性語と配色(単色、3色配色)との間には相関があることが分かる。尚、図6に示した3色配色に限らず、2色配色、N色配色の場合も感性語との間には相関がある。
従って、配色(単色、配色(2色、3色、N色))と感性語との関係を示す変換テーブル又は変換式を予め準備し、単色、配色の色情報を取得すれば、色情報を変換テーブル等により感性語に変換することができる。本実施形態では、配色と感性語との関係を示す変換テーブル26がメモリ21に予め格納されている(図2参照)。
画像解析部36は、前述の各テンプレート画像データ12の色情報(配色)の特定結果に基づき、変換テーブル26を参照して、テンプレート画像データ12毎の感性語を特定する。そして、画像解析部36は、感性語の特定結果に基づき、画像解析データ33を作成する。
画像解析データ33には、テンプレート画像データ12ごとの「ファイル名」と「色情報」と「感性語」とが登録されている。なお、色情報の(#+数字)は、130色の基本カラーパレット40の色の番号(#1〜#130)を示している。ここで、図3に示した感性語と配色の色情報との関係は便宜上のものであり、実際の感性語を想起させる配色の色情報であるとは限らない。
なお、画像解析部36による解析は、画像解析データ33に少なくとも「感性語」が登録されているテンプレート画像データ12(すなわち、1度解析済みのテンプレート画像データ12)に対しては省略することができる。また、例えばインターネット上から画像解析済みのテンプレート画像データ12を取得した際にも、画像解析部36による画像解析を省略することができる。
[テンプレート画像データの選択画面]
図2に戻って、表示制御部37は、表示部16(表示パネル28)における各種画像や文字情報の表示を制御する。表示制御部37は、画像解析部36による画像解析の終了後、データ格納部23から読み出したテンプレート画像データ12と画像解析データ33とに基づき、テンプレート画像データ12の選択画面42を、表示部16に表示させる。
図7は、選択画面42の正面図である。図7に示すように、選択画面42は、既述の図4から図6に示した感性空間(WARM/COOLの程度を示す横軸、及びHARD/SOFTの程度を示す縦軸の2つの座標軸により規定された空間)上に、各テンプレート画像データ12を各々の特徴量である感性語に応じて配置させた本発明の配置画像である。この選択画面42により、各々のテンプレート画像データ12の持つイメージを判別することができ、さらに似たようなイメージを持つテンプレート画像データ12のグループを判別することができる。
図8は、選択画面42を表示している表示部16の正面図である。なお、図8以降では図面の煩雑化を防止するため、テンプレート画像データ12を簡略化して図示している。図8に示すように、表示制御部37は、選択画面42を表示部16の表示面の中央部に表示させる。この際に、表示制御部37は、表示面の端部(外周)と選択画面42の外周との間に、テンプレート画像データ12を配置可能な空白領域EAが形成されるように、表示面上での選択画面42の大きさを調整している。これにより、詳しくは後述するが、選択画面42内のテンプレート画像データ12を表示面の端部に移動させることができる。
図9(A),(B)は、表示部16の表示面内においてテンプレート画像データ12同士が重なる場合の表示制御部37の表示制御について説明するための説明図である。
表示制御部37は、選択画面42の感性空間上での各テンプレート画像データ12の位置座標、各テンプレート画像データ12の表示サイズ、及び感性空間の画素サイズなどに基づき、一のテンプレート画像データ12が別のテンプレート画像データ12で覆われるか否かを判定する。ここでいう「覆われる」とは、一のテンプレート画像データ12の全体のうちの予め定めた許容割合(例えば70%)以上が別のテンプレート画像データ12で覆われることである。
図9(A)の点線円C内に示すように、表示制御部37は、一のテンプレート画像データ12が別のテンプレート画像データ12で覆われると判定した場合、一のテンプレート画像データ12の位置と別のテンプレート画像データ12の位置との少なくとも一方を他方から遠ざかる方向にずらす。この際のずらし量は、少なくとも一のテンプレート画像データ12が前述の許容割合以上は露呈する大きさであり、ずらし方向は、別のテンプレート画像データ12の位置を考慮して決定される。これにより、図9(B)に示すように、一のテンプレート画像データ12のデザインが判別可能となる。
また、表示制御部37は、後述の着目領域設定部38により着目領域44(図10参照)が設定された場合、詳しくは後述するが、表示部16の表示面内で着目領域44の外側にあるテンプレート画像データ12の移動処理を行う(図12参照)。
[着目領域の設定]
図2に戻って、着目領域設定部38は、表示部16による選択画面42の表示後、操作パネル29から表示部16の表示面の一部の領域を指定する領域指定操作の入力を受け付けて、表示面内に着目領域44(図10参照)を設定する。
図10は、領域指定操作について説明するための説明図である。図10に示すように、領域指定操作は、表示部16の表示面上(操作パネル29上)にユーザが指PFでタッチし、表示面に対するタッチ位置を変化させながら表示面の一部の領域(例えば、円形状または多角形状の閉じた領域)を指定する軌跡を描くタッチ操作である。着目領域設定部38は、操作パネル29からのタッチ操作の入力結果に基づき、タッチ操作で描かれた軌跡の内側の領域を着目領域44として表示部16の表示面内に設定する。なお、図10において太線で表示されているテンプレート画像データ12は、少なくとも一部が着目領域44内に含まれているものである。そして、着目領域設定部38は、前述の軌跡の各点の座標を、着目領域44の位置と形状と大きさとを示す着目領域設定情報として表示制御部37に出力する。
[第1の移動処理]
図11は、表示制御部37が、着目領域44の内側にあるテンプレート画像データ12と着目領域44の外側にあるテンプレート画像データ12とを識別する識別処理を説明するための説明図である。
図11に示すように、表示制御部37は、着目領域設定部38による着目領域44の設定が行われた場合、すなわち、着目領域設定部38から着目領域設定情報が入力された場合、最初に識別処理を行う。
表示制御部37は、着目領域設定情報に基づいて、表示部16の表示面内での着目領域44の位置と形状と大きさとを判別し、この判別結果に基づき、選択画面42内の各テンプレート画像データ12が着目領域44の内側にあるか或いは外側にあるかを判定する。この際に、表示制御部37は、少なくとも一部が着目領域44内に含まれているテンプレート画像データ12については、着目領域44の内側にあるテンプレート画像データ12と判定する。ここで、図中の符号44A(点線枠で表示)は、着目領域44の内側にあると判定される全てのテンプレート画像データ12を包含した着目領域であり、実質的に着目領域44を表すものである。すなわち、着目領域44Aの内側にあるテンプレート画像データ12は、着目領域44の内側にあるテンプレート画像データ12を意味する。このため、図12以降では着目領域44の代わりに適宜「着目領域44A」を図示している。
表示制御部37は、上記判定の結果に基づき、表示部16の表示面内において着目領域44(着目領域44A)の内側にあるテンプレート画像データ12(図中、太線で表示)を識別することができる。また同時に、表示制御部37は、着目領域44の外側にあるテンプレート画像データ12(図中、細線で表示)を識別することができる。
なお、本例では、少なくとも一部が着目領域44内に含まれているテンプレート画像データ12を着目領域44の内側にあると判定しているが、全部が着目領域44内に含まれているテンプレート画像データ12を着目領域44の内側にあると判定してもよい。
図12は、表示制御部37による第1の移動処理を説明するための説明図である。図12に示すように、表示制御部37は、前述の識別処理の後、着目領域44(着目領域44A)の外側にあるテンプレート画像データ12を表示部16の表示面の端部、すなわち、前述の空白領域EAに移動させる第1の移動処理を行う。一方、着目領域44の内側にあると判定されたテンプレート画像データ12は、第1の移動処理の対象外である。これにより、着目領域44の外側にあるテンプレート画像データ12を表示面内に残した状態のまま、表示面内において着目領域44の内側にあるテンプレート画像データ12と、着目領域44の外側にあるテンプレート画像データ12とを容易に識別することができる。
この際に、着目領域44の外側にあるテンプレート画像データ12を、空白領域EAのどの位置に移動させるかについては特に限定はされないが、着目領域44(着目領域44A)と一定距離以上離れた位置に移動させることが好ましい。
この「一定距離」は、着目領域44の内側にあるテンプレート画像データ12と、空白領域EAに移動されたテンプレート画像データ12とを区別可能な距離であり、表示部16(表示パネル28)の画面サイズなどに応じて決定される距離である。これにより、仮に着目領域44が空白領域EAの近傍に設定された場合でも、着目領域44の外側にあるテンプレート画像データ12を、着目領域44から一定距離以上離れた空白領域EA内に移動させることができる。その結果、着目領域44の位置に関係なく、表示面内において着目領域44の内側にあるテンプレート画像データ12と、着目領域44の外側にあるテンプレート画像データ12とを容易に区別することができる。
さらに、着目領域44の外側にあるテンプレート画像データ12の数が多い場合には、空白領域EAのスペースを拡大する、或いは着目領域44の外側にあるテンプレート画像データ12の表示サイズを縮小するなどして、着目領域44の外側にあるテンプレート画像データ12の全てを空白領域EA内に移動できるように、表示制御部37による表示制御を行ってもよい。
図13は、図12に示した第1の移動処理後の新たな領域指定操作による着目領域44の設定について説明するための説明図である。図14は、図13に示した新たな着目領域44の設定が行われた場合の第1の移動処理について説明するための説明図である。
図13に示すように、第1の移動処理後に表示部16の表示面上で新たな領域指定操作であるタッチ操作がなされると、着目領域設定部38は、表示面内にタッチ操作で描かれた軌跡の内側の領域を新たな着目領域44として設定し、着目領域設定情報を表示制御部37に出力する。次いで、図14に示すように、表示制御部37は、着目領域設定部38から新たに入力された着目領域設定情報を受けて前述の識別処理と第1の移動処理とを繰り返し実行する。
以下同様に、新たな領域指定操作(タッチ操作)がなされる毎に、着目領域設定部38による着目領域44の設定と、表示制御部37による識別処理及び第1の移動処理とが繰り返し実行される。
[第2の移動処理]
図15は、表示制御部37による第2の移動処理を説明するための説明図である。図15に示すように、表示制御部37は、例えば既述の図12に示した第1の移動処理後、操作パネル29を介して空白領域EA内のテンプレート画像データ12を指定する商品画像指定操作を受け付けて、第2の移動処理を実行する。
商品画像指定操作は、空白領域EA内のテンプレート画像データ12を、指PFでタッチするタッチ操作である。操作パネル29を介してタッチ操作を受け付けた表示制御部37は、タッチ操作で指定されたテンプレート画像データ12を着目領域44(着目領域44A)まで移動させる第2の移動処理を行う。これにより、着目領域44外の空白領域EAまで移動されたテンプレート画像データ12を、着目領域44まで戻すことができる。第2の移動処理後のテンプレート画像データ12の位置は、特に限定はされず、例えば第1の移動処理前の位置、あるいは最短移動距離で移動可能な位置である。
なお、上述の商品画像指定操作は、タッチ操作に限定されるものではなく、空白領域EAに移動されたテンプレート画像データ12を指PFでタッチした状態のまま着目領域44まで移動させるフリック操作、あるいはスワイプ操作であってもよい。
制御部20は、操作パネル29を介して着目領域44(着目領域44A)内のテンプレート画像データ12を選択する画像選択操作の入力を受け付けた場合、ユーザの使用するテンプレート画像データ12を選択する。次いで、表示制御部37は、データ格納部23に格納されている写真画像データ31の選択画面(図示せず)を表示部16に表示する。そして、制御部20は、操作パネル29を介して写真画像データ31を選択する画像選択操作の入力を受け付けた場合、この写真画像データ31を前述のテンプレート画像データ12の合成領域12aに合成して合成画像データを表示部16に表示させる。
[第1実施形態のタブレット端末の作用]
次に、図16を用いて上記構成の第1実施形態のタブレット端末10の作用について説明を行う。図16は、タブレット端末10による選択画面42の表示処理(本発明の商品画像表示制御方法)の流れを示すフローチャートである。なお、テンプレート画像データ12及び写真画像データ31はデータ格納部23に予め格納されているものとする。
タブレット端末10にてテンプレート画像データ12の選択画面起動操作がなされると、制御部20はメモリ21から読み出したプログラム25を実行することで画像解析部36と、表示制御部37と、着目領域設定部38として機能する(ステップS1)。
次いで、画像解析部36により、既述の図3に示したようにデータ格納部23内の各テンプレート画像データ12の解析が行われ、テンプレート画像データ12ごとの「ファイル名」と「色情報」と「感性語」とが登録された画像解析データ33が作成される(ステップS2)。この画像解析データ33は、画像解析部36によりデータ格納部23に格納される。なお、既に解析済みのテンプレート画像データ12に対する画像解析部36による解析は省略することができる。
画像解析部36による画像解析後、表示制御部37は、既述の図8に示したように、データ格納部23から読み出したテンプレート画像データ12と画像解析データ33とに基づき、テンプレート画像データ12の選択画面42を、表示部16に表示させる(ステップS3、本発明の表示制御ステップ)。この際に表示制御部37は、表示部16の表示面に前述の空白領域EAが形成されるように、表示面上での選択画面42の大きさを調整する。これにより、第1の移動処理を確実に実行することができる。
また、表示制御部37は、選択画面42の表示の際に、既述の図9(A),(B)に示したように、一のテンプレート画像データ12が別のテンプレート画像データ12で覆われる場合、両者の位置の少なくとも一方を他方から遠ざかる方向にずらす。これにより、別のテンプレート画像データ12で覆われていた一のテンプレート画像データ12のデザインが判別可能となる。
選択画面42の表示により、ユーザは、各々のテンプレート画像データ12の持つイメージを判別でき、さらに似たようなイメージを持つテンプレート画像データ12のグループを判別できるので、既述の図10に示したように、表示面上で所望の領域を指定する軌跡を描く領域指定操作としてタッチ操作を行う。これにより、操作パネル29を介してタッチ操作を受け付けた着目領域設定部38は、タッチ操作で描かれた軌跡の内側の領域を着目領域44として表示部16の表示面内に設定し、表示制御部37へ着目領域設定情報を出力する(ステップS4でYES、本発明の着目領域設定ステップ)。
着目領域設定部38による着目領域44の設定後、表示制御部37は、着目領域設定情報に基づいて、既述の図11に示したように、表示部16の表示面内において少なくとも一部が着目領域44の内側にあるテンプレート画像データ12と、着目領域44の外側にあるテンプレート画像データ12とを識別する識別処理を行う。
次いで、表示制御部37は、既述の図12に示したように、着目領域44(着目領域44A)の外側にあるテンプレート画像データ12に対して第1の移動処理を行う(ステップS5、本発明の表示制御ステップに相当)。これにより、着目領域44の外側にあるテンプレート画像データ12を表示部16の表示面内に残した状態のまま、表示面内において着目領域44の内側にあるテンプレート画像データ12をユーザが容易に識別することができる。
ユーザは、第1の移動処理により空白領域EAに移動させたテンプレート画像データ12の中で着目領域44へ戻したいテンプレート画像データ12がある場合、既述の図15に示したように、このテンプレート画像データ12を指PFでタッチするタッチ操作、すなわち商品画像指定操作を行う(ステップS6でYES)。これにより、操作パネル29を介してタッチ操作を受け付けた表示制御部37は、タッチ操作で指定されたテンプレート画像データ12を着目領域44(着目領域44A)まで移動させる第2の移動処理を行う(ステップS7)。この第2の移動処理により、着目領域44外の空白領域EAに移動させたテンプレート画像データ12を、着目領域44まで戻すことができる。
ユーザは、第2の移動処理後、あるいは前述の第1の移動処理後に第2の移動処理を行わない場合(ステップS6でNO)、タッチ操作(領域指定操作)により表示部16の表示面内に新たな着目領域44の設定を行うか否かを判断する。そして、ユーザが表示面上で新たなタッチ操作(領域指定操作)を行うと(ステップS8でYES)、既述の図13及び図14に示したように、ステップS5の処理が実行された後、ステップS6,S7の処理が必要に応じて実行される。以下、ユーザが表示面上で新たなタッチ操作(領域指定操作)を行う毎に、これらの処理が繰り返し実行される。
ユーザが着目領域44(着目領域44A)内のテンプレート画像データ12を選択するタッチ操作(画像選択操作)を行うと、制御部20は、このタッチ操作で選択されたテンプレート画像データ12を、ユーザの使用するテンプレート画像データ12として選択する(ステップS8でNO、ステップS9)。
テンプレート画像データ12の選択後、表示制御部37は、データ格納部23に格納されている写真画像データ31の選択画面(図示せず)を表示部16に表示する。そして、ユーザが写真画像データ31を選択するタッチ操作(画像選択操作)の入力を行うと、表示制御部37は、選択された写真画像データ31を先に選択されたテンプレート画像データ12の合成領域12aに合成して合成画像データを表示部16に表示させる。
[第1実施形態の効果]
以上のように、第1実施形態のタブレット端末10では、着目領域44(着目領域44A)の外側にあるテンプレート画像データ12を表示部16の表示面の端部(空白領域EA)に移動させる第1の移動処理を行うので、着目領域44の外側にあるテンプレート画像データ12を表示面内に残した状態のまま、表示面内において着目領域44の内側にあるテンプレート画像データ12をユーザが容易に識別することができる。これにより、テンプレート画像データ12が多数存在している場合でも、第1の移動処理を行うことで、選択対象となるテンプレート画像データ12の数を減らすことができる。また、着目領域44の外側にあるテンプレート画像データ12を表示面内に残しておくので、ユーザは、着目領域44の外側にあるテンプレート画像データ12をいつでも確認することができる。その結果、ユーザの選択肢を減らすことなく、ユーザが効率良くテンプレート画像データ12を選択することができる。
また、第1実施形態のタブレット端末10では、第2の移動処理を行うことにより、第1の移動処理により空白領域EAに移動させたテンプレート画像データ12を再び着目領域44まで戻すことができるため、ユーザの選択肢を減らすことが防止される。
[第2実施形態のタブレット端末]
次に、第2実施形態のタブレット端末について説明を行う。上記第1実施形態のタブレット端末10では、表示部16の表示面内において着目領域44が設定された場合に、着目領域44の外側にあるテンプレート画像データ12を空白領域EAに移動させている。これに対して、第2実施形態のタブレット端末では、着目領域44の内側にあるテンプレート画像データ12の数が多い場合に、表示部16の表示を拡大画像データの表示に切り替える。
なお、第2実施形態のタブレット端末は、上記第1実施形態のタブレット端末10と基本的に同じ構成であるので、上記第1実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
第2実施形態の表示制御部37は、着目領域設定部38による着目領域44の設定が行われた場合、上記第1実施形態で説明した識別処理を行った後、表示部16の表示面内において着目領域44の内側にあるテンプレート画像データ12の数をカウントする。そして、表示制御部37は、着目領域44の内側にあるテンプレート画像データ12の数が予め定めた第1の閾値以下であるか否かを判定する。
第1の閾値は、着目領域44(着目領域44A)内のテンプレート画像データ12をユーザが効率よく選択可能な上限値であり、表示部16(表示パネル28)の画面サイズやテンプレート画像データ12の表示サイズ等に応じて技術者が経験的、感覚的に定めた値である。着目領域44内のテンプレート画像データ12の数が非常に多くなると、既述の通り、ユーザが好みのデザインのテンプレート画像データ12を選択する際の負荷が大きくなる、すなわち、選択に時間がかかってしまう。このような場合には、前述の第1の移動処理を行う前に、着目領域44内の拡大画像データの表示を行った方が、ユーザは効率良くテンプレート画像データ12を選択することができる。
そこで、第2実施形態では、着目領域44の設定後に、表示制御部37により着目領域44の内側にあるテンプレート画像データ12の数が第1の閾値以下であるか否かを判定する。
表示制御部37は、着目領域44の内側にあるテンプレート画像データ12の数が第1の閾値以下であると判定した場合、第1実施形態で説明した第1の移動処理を行う。一方、表示制御部37は、着目領域44の内側にあるテンプレート画像データ12の数が第1の閾値よりも多くなると判定した場合、表示部16の表示を拡大画像データ50(図17参照)の表示に切り替える拡大画像表示切替処理を行う。
[拡大画像表示切替処理]
図17は、表示制御部37による拡大画像表示切替処理を説明するための説明図である。図17に示すように、表示制御部37は、例えば既述の図11に示した着目領域44(着目領域44A)の内側にあるテンプレート画像データ12の数が第1の閾値よりも多くなる場合、着目領域44の内側にあるテンプレート画像データ12を拡大した拡大画像データ50を生成する。そして、表示制御部37は、表示部16の表示を拡大画像データ50に切り替える拡大画像表示切替処理を行う。
この際に、表示制御部37は、表示部16の表示面の端部(外周)と拡大画像データ50の外周との間に、テンプレート画像データ12を配置可能な前述の空白領域EAが形成されるように、表示面上での拡大画像データ50の大きさを調整する。これにより、拡大画像表示切替処理後に第1の移動処理が可能となる。
図18は、図17に示した拡大画像表示切替処理後の新たな領域指定操作による着目領域44の設定について説明するための説明図である。図19は、図18に示した新たな着目領域44の設定後の拡大画像表示切替処理について説明するための説明図である。
図18に示すように、拡大画像表示切替処理後に、表示部16の表示面上で新たな領域指定操作であるタッチ操作がなされると、着目領域設定部38は、タッチ操作で描かれた軌跡の内側の領域を新たな着目領域44として表示面内に設定し、着目領域設定情報を表示制御部37に出力する。次いで、表示制御部37は、着目領域設定部38から新たに入力された着目領域設定情報を受けて前述の識別処理を行った後、新たな着目領域44(着目領域44A)の内側にあるテンプレート画像データ12の数が第1の閾値以下であるか否かを判定する。
図19に示すように、表示制御部37は、新たな着目領域44(着目領域44A)の内側にあるテンプレート画像データ12の数が第1の閾値よりも多くなる場合、この着目領域44の内側にあるテンプレート画像データ12を拡大した新たな拡大画像データ50を生成する。そして、表示制御部37は、表示部16の表示を新たな拡大画像データ50に切り替える拡大画像表示切替処理を行う。
以下同様に、表示制御部37は、着目領域44(着目領域44A)の内側にあるテンプレート画像データ12の数が第1の閾値以下となるまで、着目領域44の設定が行われる度に、拡大画像表示切替処理を繰り返し実行する。
図20は、図19に示した拡大画像表示切替処理後の新たな領域指定操作による着目領域44の設定について説明するための説明図である。図21は、図20に示した新たな着目領域44の設定に伴う第1の移動処理について説明するための説明図である。
図20に示すように、既述の図19に示した拡大画像表示切替処理後に、表示部16の表示面上で新たな領域指定操作であるタッチ操作がなされた場合、着目領域設定部38により、新たな着目領域44の設定と表示制御部37への着目領域設定情報の出力とが実行される。次いで、表示制御部37による前述の識別処理と、着目領域44(着目領域44A)の内側にあるテンプレート画像データ12の数が第1の閾値以下であるか否かの判定とが実行される。
図21に示すように、表示制御部37は、新たな着目領域44(着目領域44A)の内側にあるテンプレート画像データ12の数が第1の閾値以下となった場合、着目領域44(着目領域44A)の外側にあるテンプレート画像データ12に対して第1の移動処理を行う。
これ以降の処理は、上記第1実施形態と基本的に同じである。ただし、第2実施形態では、拡大画像データ50内のテンプレート画像データ12についても、ユーザが使用するテンプレート画像データ12として選択する画像選択操作が可能である。従って、第2実施形態の制御部20は、拡大画像表示切替処理後、第1の移動処理後、及び第2の移動処理後のいずれかのタイミングで画像選択操作を受け付けた場合、この画像選択操作で選択されたテンプレート画像データ12を、ユーザの使用するテンプレート画像データ12として選択する。
[第2実施形態のタブレット端末の作用]
次に、図22を用いて上記構成の第2実施形態のタブレット端末の作用について説明を行う。図22は、第2実施形態のタブレット端末によるテンプレート画像データ12の表示処理の流れを示すフローチャートである。ただし、ステップS4までの処理は、第1実施形態の図16に示したステップS1からステップS4までの処理と基本的に同じであるので、具体的な説明は省略する。
ステップS4において着目領域設定部38による表示面内への着目領域44の設定及び表示制御部37への着目領域設定情報の出力が行われると、表示制御部37は、前述の識別処理を行った後、表示面内において着目領域44の内側にあるテンプレート画像データ12の数が第1の閾値以下であるか否かを判定する(ステップS12)。
表示制御部37は、着目領域44の内側にあるテンプレート画像データ12の数が第1の閾値以下であると判定した場合(ステップS12でYES)、第1実施形態で説明した図16のステップS5からステップS7までのフローに従った処理を行う。
一方、表示制御部37は、着目領域44の内側にあるテンプレート画像データ12の数が第1の閾値よりも多くなると判定した場合(ステップS12でNO)、着目領域44の内側にあるテンプレート画像データ12の拡大画像データ50を生成する(ステップS13)。次いで、表示制御部37は、既述の図17に示したように、表示部16の表示を拡大画像データ50に切り替える拡大画像表示切替処理を行う(ステップS14)。
拡大画像表示切替処理後、既述の図18に示したように、ユーザが表示面上で新たなタッチ操作(領域指定操作)を行うと(ステップS8AでYES)、前述のステップS12の処理が再度実行される。そして、表示制御部37は、着目領域44の内側にあるテンプレート画像データ12の数が第1の閾値以下であるか否かに応じて、既述の図16に示したステップS5からステップS7までのフローに従った処理と、ステップS13及びステップS14の処理とを選択的に実行する。以下、着目領域44の設定が行われる度に、ステップS12とステップS8Aとの間のフローに従った処理が繰り返し実行される。
次いで、拡大画像表示切替処理後(ステップS14)、第1の移動処理後(ステップS5)、及び第2の移動処理後(ステップS7、図16参照)のいずれかのタイミングにおいて、ユーザは、タッチ操作(領域指定操作)により表示部16の表示面内に新たな着目領域44の設定を行うか否かを判断する。そして、ユーザは、新たな着目領域44の設定を行わない場合(ステップS8AでNO)、拡大画像データ50内または着目領域44内のテンプレート画像データ12を選択するタッチ操作(画像選択操作)を行う(ステップS9A)。操作パネル29を介してタッチ操作の入力を受け付けた制御部20は、タッチ操作で選択されたテンプレート画像データ12を、ユーザの使用するテンプレート画像データ12として選択する。これ以降の処理は、前述の第1実施形態と同じであるので、具体的な説明は省略する。
[第2実施形態の効果]
以上のように、第2実施形態のタブレット端末では、着目領域44(着目領域44A)の内側にあるテンプレート画像データ12の数が第1の閾値よりも多くなる場合、拡大画像表示切替処理を行うようにしたので、着目領域44内のテンプレート画像データ12の数が非常に多くなる場合に、表示部16に表示されるテンプレート画像データ12の数を減らすことができるので、ユーザは効率良くテンプレート画像データ12を選択することができる。
[第3実施形態のタブレット端末]
次に、図23を用いて第3実施形態のタブレット端末10Aについて説明を行う。図23は、第3実施形態のタブレット端末10Aの電気的構成を示すブロック図である。上記第1実施形態のタブレット端末10では、表示部16の表示面内において着目領域44が設定された場合に、着目領域44の外側にあるテンプレート画像データ12に対して第1の移動処理を行っている。これに対して、第3実施形態のタブレット端末では、着目領域44の内側にあるテンプレート画像データ12の数が少なくなった場合に、表示部16の表示をテンプレート画像データ12のスライド表示に切り替える。
なお、第3実施形態のタブレット端末10Aは、プログラム25を実行した制御部20が、既述の画像解析部36及び表示制御部37及び着目領域設定部38の他に、候補画像取得部61として機能する点を除けば、上記第1実施形態のタブレット端末10と基本的に同じ構成である。このため、上記第1実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
候補画像取得部61は、データ格納部23に格納されている写真画像データ31を、テンプレート画像データ12の合成領域12aに合成する写真画像データ31の候補としてデータ格納部23から取得する。従って、第3実施形態のデータ格納部23は、本発明の候補画像記憶部としても機能する。そして、候補画像取得部61は、データ格納部23から取得した写真画像データ31の候補を、表示制御部37へ出力する。
第3実施形態の表示制御部37は、着目領域設定部38による着目領域44の設定が行われた場合に、既述の第2実施形態と同様に識別処理を行った後、表示部16の表示面内において着目領域44の内側にあるテンプレート画像データ12の数をカウントする。そして、表示制御部37は、着目領域44の内側にあるテンプレート画像データ12の数が予め定めた第2の閾値以下であるか否かを判定する。
着目領域44(着目領域44A)内のテンプレート画像データ12の数が、第1の移動処理によりある程度絞られた場合、表示部16の表示をスライド表示に切り替えた方がユーザは効率良くテンプレート画像データ12を選択することができる。このため、第3実施形態では、着目領域44の設定後に、表示制御部37が着目領域44の内側にあるテンプレート画像データ12の数が第2の閾値以下であるか否かを判定する。
ここで第2の閾値は、表示部16の表示面の画面サイズに応じて決定される値であり、ユーザが効率良くテンプレート画像データ12を選択可能な数を、技術者が経験的、感覚的に定めた値である。なお、画面サイズが大きくなるのに従って表示面に同時表示可能なテンプレート画像データの数も増加するので、第2の閾値も増加する。
表示制御部37は、着目領域44の内側にあるテンプレート画像データ12の数が第2の閾値よりも多くなると判定した場合、第1実施形態で説明した第1の移動処理を行う。
[スライド表示切替処理]
図24は、表示制御部37によるスライド表示切替処理を説明するための説明図である。図24に示すように、表示制御部37は、着目領域44の内側にあるテンプレート画像データ12の数が第2の閾値以下になると判定した場合、表示部16の表示を、着目領域44の内側にあるテンプレート画像データ12のスライド表示に切り替えるスライド表示切替処理を行う。この際に、表示部16の表示面に同時表示するテンプレート画像データ12の数は、表示面の画面サイズに応じて適宜決定される。そして、表示制御部37は、操作パネル29を介してスライドボタン62Aのタッチ操作を受け付けた場合、着目領域44の内側にあるテンプレート画像データ12を所定の順番でスライド表示する。
また、表示制御部37は、スライド表示切替処理を行った場合に、候補画像取得部61(図23参照)が取得した写真画像データ31の候補を表示部16の表示面に同時表示させる。そして、表示制御部37は、操作パネル29を介してスライドボタン62Bのタッチ操作を受け付けた場合、表示面に表示する写真画像データ31の候補を所定の順番でスライド表示する。
[合成画像データ生成及び表示]
図25は、第3実施形態の表示制御部37による合成画像データ64の生成処理及び表示処理を説明するための説明図である。図25に示すように、表示制御部37は、スライド表示切替処理後、操作パネル29を介して表示部16の表示面内の写真画像データ31の候補をテンプレート画像データ12内の合成領域12aまで移動させる移動操作を受け付けた場合、この候補を合成領域12aに合成した合成画像データ64を生成する。そして、表示制御部37は、生成した合成画像データ64を表示部16に表示、すなわち、合成画像データ64を合成前のテンプレート画像データ12に置き換えて表示する。なお、移動操作としては、写真画像データ31の候補を指PFでタッチした状態のまま合成領域12aまで移動させるフリック操作、あるいはスワイプ操作などが例として挙げられる。
また、表示制御部37は、操作パネル29を介して合成画像データ64の合成領域12aに別の写真画像データ31の候補を移動させる移動操作を受け付けた場合、この候補を合成領域12aに合成した新たな合成画像データ64を生成して表示部16に表示させる。さらに、表示制御部37は、操作パネル29を介して合成画像データ64の合成領域12aを指PFでタッチするタッチ操作を受け付けた場合、この合成領域12aに合成されている写真画像データ31の候補を合成領域12aから消去する消去処理を行う。
[第3実施形態のタブレット端末の作用]
次に、図26を用いて上記構成の第3実施形態のタブレット端末10Aの作用について説明を行う。図26は、タブレット端末10Aによるテンプレート画像データ12の表示処理の流れを示すフローチャートである。ただし、ステップS4までの処理は、制御部20が候補画像取得部61として機能する点を除けば、第1実施形態の図16に示したステップS1からステップS4までの処理と基本的に同じであるので、具体的な説明は省略する。
ステップS4において、着目領域設定部38による表示部16の表示面内への着目領域44の設定と表示制御部37への着目領域設定情報の出力とが行われると、表示制御部37は、前述の識別処理を行った後、表示面内において着目領域44の内側にあるテンプレート画像データ12の数が第2の閾値以下であるか否かを判定する(ステップS20)。
表示制御部37は、着目領域44の内側にあるテンプレート画像データ12の数が第2の閾値よりも多くなると判定した場合(ステップS20でNO)、第1実施形態で説明した図16のステップS5からステップS9までのフローに従った処理を行う。
一方、表示制御部37が、着目領域44の内側にあるテンプレート画像データ12の数が第2の閾値以下になると判定した場合(ステップS20でYES)、候補画像取得部61がデータ格納部23から前述の写真画像データ31の候補を取得して表示制御部37へ出力する(ステップS21)。
次いで、表示制御部37は、既述の図24に示したように、表示部16の表示を、着目領域44の内側にあるテンプレート画像データ12のスライド表示に切り替えるスライド表示切替処理を行う(ステップS22)。また、表示制御部37は、候補画像取得部61から入力された写真画像データ31の候補を表示部16に同時表示させる。
ユーザが表示部16の表示面上でスライドボタン62Aのタッチ操作を行うと、操作パネル29を介してタッチ操作の入力を受け付けた表示制御部37は、着目領域44の内側にあるテンプレート画像データ12を所定の順番で表示部16にスライド表示させる。これにより、ユーザは、所望のデザインのテンプレート画像データ12を表示面内に表示させることができる。
次いで、ユーザが表示部16の表示面上でスライドボタン62Bのタッチ操作を行うと、操作パネル29を介してタッチ操作の入力を受け付けた表示制御部37は、写真画像データ31の候補を所定の順番で表示部16にスライド表示させる。これにより、ユーザは、表示面内のテンプレート画像データ12の合成領域12aに合成するのに適した写真画像データ31の候補を選択することができる。
そして、既述の図25に示したように、ユーザが表示部16の表示面上で写真画像データ31の候補を指PFでタッチした状態のまま合成領域12aまで移動させるフリック操作あるいはスワイプ操作などの移動操作を行うと、表示制御部37は、操作パネル29を介して移動操作の入力を受け付ける(ステップS23でYES)。次いで、表示制御部37は、移動操作された写真画像データ31の候補を合成領域12aに合成した合成画像データ64を生成して表示部16に表示させる(ステップS24)。
なお、表示制御部37は、操作パネル29を介して合成画像データ64の合成領域12aに別の写真画像データ31の候補を移動させる移動操作を受け付けると、この候補を合成領域12aに合成した新たな合成画像データ64を生成して表示部16に表示させる。
[第3実施形態の効果]
以上のように、第3実施形態のタブレット端末10Aでは、着目領域44(着目領域44A)の内側にあるテンプレート画像データ12の数が第2の閾値以下となった場合、すなわち、着目領域44内のテンプレート画像データ12の数がある程度絞られた場合、スライド表示切替処理を行うため、テンプレート画像データ12を感性空間上に配置した表示を行う場合よりもユーザは所望のテンプレート画像データ12を発見し易くなる。その結果、ユーザは効率良くテンプレート画像データ12を選択することができる。
また、スライド表示切替処理を行った際に、テンプレート画像データ12の合成領域12aに合成される写真画像データ31の候補を表示部16に同時に表示させるので、ユーザは、テンプレート画像データ12の合成領域12aに合成するのに適した写真画像データ31の候補を検索することができる。さらに、写真画像データ31の候補をテンプレート画像データ12内の合成領域12aまで移動させる移動操作に応じて合成画像データ64の生成及び表示を行うので、実際の合成画像データ64をユーザが確認することができる。その結果、ユーザは、テンプレート画像データ12の合成領域12aに合成するのに適した写真画像データ31の候補を選択することができる。
[第3実施形態の変形例]
上記第2実施形態では、着目領域44の内側にあるテンプレート画像データ12の数が第1の閾値よりも多い場合に拡大画像表示切替処理を行い、上記第3実施形態では、着目領域44の内側にあるテンプレート画像データ12の数が第2の閾値以下となった場合にスライド表示切替処理を行うが、第2実施形態と第3実施形態とを組み合わせてもよい。
図27は、上記第3実施形態の変形例におけるテンプレート画像データ12の表示処理の流れを示すフローチャートである。なお、上記第3実施形態と同様に、ステップS4までの処理は、既述の図16に示した第1実施形態と同じであるので、具体的な説明は省略する。また、上記各実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
図27に示すように、第3実施形態の変形例の表示制御部37は、ステップS4の処理後、着目領域44の内側にあるテンプレート画像データ12の数が第1の閾値よりも多くなる場合(ステップS12でNO)、上記第2実施形態の図22で説明したS13とステップS9Aとの間のフローに従った処理を実行する。
また、表示制御部37は、着目領域44の内側にあるテンプレート画像データ12の数が第1の閾値以下で且つ第2の閾値よりも多くなる場合(ステップS12でYES、ステップS20でNO)、上記第2実施形態の図22で説明したS5とステップS9A(すなわち、上記第1の実施形態の図16に示したS5とステップS9)との間のフローに従った処理を実行する。
また、表示制御部37は、着目領域44の内側にあるテンプレート画像データ12の数が第2の閾値以下となる場合(ステップS12でYES、ステップS20でYES)、上記第3実施形態の図26で説明したS21とステップS24との間のフローに従った処理を実行する。
以上のように第3実施形態の変形例では、上記第1実施形態から上記第3実施形態を組み合わせることで、各実施形態でそれぞれ説明した効果が得られる。
[第4実施形態のタブレット端末]
次に、図28を用いて第4実施形態のタブレット端末10Bについて説明を行う。図28は、第4実施形態のタブレット端末10Bの電気的構成を示すブロック図である。上記第3実施形態のタブレット端末10Aでは、スライド表示切替処理を行った場合に、写真画像データ31の候補を表示部16に同時表示させている。これに対して、第4実施形態のタブレット端末10Bでは、テンプレート画像データ12の配色に対応した配色を有する写真画像データ31の候補を表示部16に同時表示させる。
なお、第4実施形態のタブレット端末10Bは、プログラム25を実行した制御部20が、既述の画像解析部36及び表示制御部37及び着目領域設定部38の他に、組み合わせ決定部67及び候補画像取得部61Aとして機能する点を除けば、上記第3実施形態のタブレット端末10と基本的に同じ構成である。このため、上記第3実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
組み合わせ決定部67は、テンプレート画像データ12の配色と、テンプレート画像データ12の合成領域12aに合成する写真画像データ31の配色との組み合わせ(以下、単に「画像配色組み合わせ」と略す)を決定する。この組み合わせ決定部67は、スライド表示切替処理が行われる前(例えばプログラム25の起動時など)に、表示制御部37を制御して、画像配色組み合わせを入力する画像配色入力画面69(図29参照)を表示部16の表示面に表示させる。
図29は、画像配色入力画面69の一例を示した正面図である。図29に示すように、画像配色入力画面69には、色相環71と配色入力欄72とが設けられている。本例の色相環71は、「赤」、「赤みの橙」、「橙」、「黄みの橙」、「黄」、「黄緑」、「緑」、「青緑」、「青」、「青紫」、「紫」、「赤紫」の各色相を円環にして並べたものである。この色相環71では、互いに補色関係にある色相同士が色相環71の中心に対して点対称の位置に配置されている。なお、色相環71は、図29に示したものに限定されず、他の公知の色相環に置き換えてもよい。
公知の色彩理論によれば、色相環71を基にした配色の組み合わせには、後述の5つの基本的な配色の組み合わせがあることが知られている(図30参照)。
図30(A)から図30(E)は、色相環71を基にした5つの基本的な配色の組み合わせを説明するための説明図である。図30(A)は、「補色色相配色」を示したものである。この補色色相配色は、色相環71上で互いに向かい合う2色の組み合わせである。図30(B)は、「類似色相配色」を示したものである。この類似色相配色は、色相環71上で隣り合う3色の組み合わせである。図30(C)は、「3色配色」を示したものである。この3色配色は、色相環71上で等間隔(120°)の位置にある3色の組み合わせである。
図30(D)は、「分裂補色配色」を示したものである。分裂補色配色は、3つの色を使う組み合わせであり、より具体的には、1つの色と、その補色に隣り合う2つの色との組み合わせである。図30(E)は、「4色配色(二重補色色相配色)」を示したものである。この4色配色は、2組の補色色相配色にあたる4色の組み合わせである。
図29に戻って、配色入力欄72には、既述の図30(A)から図30(E)に示した5つの配色の組み合わせに従った画像配色組み合わせが入力される。例えばユーザは、色相環71上のいずれかの配色(色相)を指PFでタッチした状態のまま配色入力欄72の「テンプレート画像欄」及び「写真画像欄」までそれぞれ移動させるフリック操作あるいはスワイプ操作を行うことで、画像配色組み合わせを入力する。
なお、画像配色組み合わせは、スライド表示されるテンプレート画像データ12の配色が色相環71上のいずれの色(複数色を含む)であっても対応できるように、複数種類入力しておくことが好ましい。また、画像配色組み合わせは、必ずしも既述の図30(A)から図30(E)に示した5つの配色の組み合わせのいずれかに従う必要はなく、ユーザが適宜選択することも可能である。
組み合わせ決定部67は、ユーザによる配色入力欄72への入力内容に基づいて、画像配色組み合わせを決定し、この決定結果を示す組み合わせ決定情報を、候補画像取得部61Aへ出力する。
図28に戻って、候補画像取得部61Aは、表示制御部37によるスライド画像切替処理の実行が決定された場合、表示部16にスライド表示されるテンプレート画像データ12の主要色を画像解析により判別すると共に、データ格納部23に格納されている各写真画像データ31の主要色を画像解析により判別する。なお、ここでいう「主要色」とは、既述の代表色と基本的に同じであり、例えば離れた位置からも十分に視認できる一定の面積以上を有する色である。
次いで、候補画像取得部61Aは、組み合わせ決定部67から入力された組み合わせ決定情報に基づき、表示部16にスライド表示されるテンプレート画像データ12の主要色に対応する主要色を有する写真画像データ31の選別を行う。そして、候補画像取得部61Aは、選別した写真画像データ31を、テンプレート画像データ12の合成領域12aに合成する写真画像データ31の候補としてデータ格納部23から取得して、表示制御部37へ出力する。
なお、候補画像取得部61Aから表示制御部37へ出力される写真画像データ31の候補には、どのテンプレート画像データ12の主要色に対応した主要色を有しているのかを示す識別情報が付加されている。これにより、表示制御部37は、表示部16に現在表示されているテンプレート画像データ12の主要色に対応する主要色を有する写真画像データ31の候補を判別することができる。
第4実施形態の表示制御部37は、スライド表示切替処理を行う場合に、各写真画像データ31の候補に付加された識別情報に基づき、候補画像取得部61Aから入力された写真画像データ31の候補の中で、表示部16に現在表示されているテンプレート画像データ12の主要色に対応する主要色を有する写真画像データ31の候補を表示部16に同時表示させる。
また、表示制御部37は、操作パネル29を介してスライドボタン62Aのタッチ操作を受け付けた場合、表示部16にテンプレート画像データ12を所定の順番でスライド表示させる。この場合、表示制御部37は、表示部16に新たに表示されたテンプレート画像データ12の主要色に対応する主要色を有する写真画像データ31の候補を表示部16に同時表示させる。
[第4実施形態のタブレット端末の作用]
次に、図31を用いて上記構成の第4実施形態のタブレット端末10Bの作用について説明を行う。図31は、タブレット端末10Bによるテンプレート画像データ12の表示処理の流れを示すフローチャートである。このタブレット端末10Bにてテンプレート画像データ12の選択画面起動操作がなされると、制御部20はメモリ21から読み出したプログラム25を実行することにより画像解析部36と、表示制御部37と、着目領域設定部38と、候補画像取得部61Aと、組み合わせ決定部67として機能する。
最初に組み合わせ決定部67が、表示制御部37を制御して、既述の図29に示したような画像配色入力画面69を表示部16に表示させる(ステップS30)。
この画像配色入力画面69の表示を受けて、ユーザは、例えば既述の図30(A)から図30(E)に示した5つの配色の組み合わせを参考にして、既述の図29に示したように色相環71上のいずれかの配色(色相)を配色入力欄72の「テンプレート画像欄」及び「写真画像欄」にそれぞれ入力するスワイプ操作またはフリック操作等を行う。これにより、配色入力欄72に画像配色組み合わせが入力される。
以下同様に、ユーザは、配色入力欄72に複数種類の画像配色組み合わせを入力する。そして、ユーザによる配色入力欄72への入力が完了すると、組み合わせ決定部67は、配色入力欄72への入力内容に基づいて画像配色組み合わせを決定し、この決定結果を示す組み合わせ決定情報を候補画像取得部61Aへ出力する(ステップS31)。
ステップS31の処理後、ステップS20までの処理は、既述の第3実施形態の図26または第3実施形態の変形例の図27にそれぞれ示したステップS20までの処理の基本的に同じであるので、ここでは具体的な説明を省略する。なお、ステップS30及びステップS31の処理は、ステップS20の処理までに完了していれば処理の実行タイミングは特に限定はされない。
ステップS20において、表示制御部37により着目領域44の内側にあるテンプレート画像データ12の数が第2の閾値以下であるとの判定がなされた場合、すなわち、スライド表示切替処理の開始が決定された場合、候補画像取得部61Aが作動する。この候補画像取得部61Aは、表示部16にスライド表示されるテンプレート画像データ12の主要色と、データ格納部23に格納されている各写真画像データ31の主要色とを判別する(ステップS34,S35)。
次いで、候補画像取得部61Aは、組み合わせ決定部67から入力された組み合わせ決定情報に基づき、表示部16にスライド表示されるテンプレート画像データ12の主要色に対応する主要色を有する写真画像データ31を選別する。そして、候補画像取得部61Aは、選別した写真画像データ31をテンプレート画像データ12の合成領域12aに合成する写真画像データ31の候補としてデータ格納部23から取得して、既述の識別情報と共に表示制御部37へ出力する(ステップS36)。
表示制御部37は、候補画像取得部61Aからの写真画像データ31の候補の入力を受けて、既述の第3実施形態の図24に示したようなスライド表示切替処理を実行する(ステップS22A)。この際に、表示制御部37は、各写真画像データ31の候補に付加されている識別情報に基づき、各写真画像データ31の候補の中で、表示部16に現在表示されているテンプレート画像データ12の主要色に対応する主要色を有する写真画像データ31の候補を表示部16に同時表示させる。
ユーザがスライドボタン62Aのタッチ操作を行うと、表示制御部37は、操作パネル29を介してタッチ操作の入力を受け付けて、テンプレート画像データ12を所定の順番でスライド表示させる。また、表示制御部37は、テンプレート画像データ12のスライド表示に応じて表示部16に新たに表示されたテンプレート画像データ12の主要色に対応する主要色を有する写真画像データ31の候補を表示部16に同時表示させる。
これ以降の処理は、既述の第3実施形態の図26または第3実施形態の変形例の図27に示した処理と基本的に同じであるので、ここでは具体的な説明は省略する。
[第4実施形態の効果]
以上のように、第4実施形態のタブレット端末10Bでは、スライド表示切替処理を行った際に、予め決定した画像配色組み合わせに対応した写真画像データ31の候補を表示部16に同時に表示させるようにしたので、表示部16に表示させる写真画像データ31の候補を絞ることができる。その結果、テンプレート画像データ12の合成領域12aに合成するのに適した写真画像データ31の候補を効率良く検索することができる。
[第5実施形態のタブレット端末]
次に、図32を用いて第5実施形態のタブレット端末10Cについて説明を行う。図32は、タブレット端末10Cの電気的構成を示すブロック図である。上記第1実施形態のタブレット端末10では、データ格納部23に格納されている全てのテンプレート画像データ12を含む選択画面42の表示を行っている。これに対して、第5実施形態のタブレット端末10Cでは、ユーザの嗜好に合致するテンプレート画像データ12だけを含む選択画面42A(図34参照)の表示を行う。
なお、第5実施形態のタブレット端末10Cは、プログラム25を実行した制御部20が、画像解析部36及び表示制御部37及び着目領域設定部38の他に、嗜好情報取得部75として機能する点を除けば、上記第1実施形態のタブレット端末10と基本的に同じ構成である。このため、上記第1実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
嗜好情報取得部75は、ユーザの嗜好に対応した感性語の傾向を示す嗜好情報を取得する。具体的に嗜好情報取得部75は、プログラム25の起動時に、表示制御部37を制御して、ユーザによる嗜好情報の入力を求める嗜好情報入力画面77(図33参照)を表示させる。なお、嗜好情報入力画面77の表示のタイミング(嗜好情報の取得のタイミング)は、選択画面42A(図34参照)の表示前であれば特に限定されない。
図33は、嗜好情報入力画面77の一例を示した正面図である。図33に示すように、嗜好情報入力画面77には、既述の図4に示した様々な感性語を想起させる複数のサンプル画像78が表示されている。従って、嗜好情報入力画面77上でユーザが好ましいと感じるサンプル画像78を、ユーザにタッチ操作等で1又は複数選択させる選択操作を実行させることによりユーザの嗜好情報が得られる。
本例では、選択されたサンプル画像78の種類(複数種類を含む)と、嗜好情報(感性語)との関係は予めテーブル化されているので、嗜好情報取得部75は、ユーザによるサンプル画像78の選択結果に基づき、ユーザの嗜好情報を取得することができる。嗜好情報取得部75は、取得した嗜好情報を表示制御部37へ出力する。なお、ユーザの嗜好情報を取得する方法は、図33に示した例に限定されるものでなく、公知の各種手法を用いてもよい。
図34は、第5実施形態の表示制御部37により表示面に表示される選択画面42Aの一例を示す正面図である。図34に示すように、表示制御部37は、嗜好情報取得部75から入力された嗜好情報に基づき、画像解析データ33を参照して、データ格納部23内から嗜好情報が示す感性語の傾向に対応したテンプレート画像データ12を選択及び取得し、選択及び取得したテンプレート画像データ12に対応する選択画面42Aを表示部16に表示させる。
[第5実施形態のタブレット端末の作用]
次に、図35を用いて上記構成の第5実施形態のタブレット端末10Cの作用について説明を行う。図35は、タブレット端末10Cによるテンプレート画像データ12の表示処理の流れを示すフローチャートである。
タブレット端末10Cにてテンプレート画像データ12の選択画面起動操作がなされると、制御部20はメモリ21から読み出したプログラム25を実行することにより画像解析部36と、表示制御部37と、着目領域設定部38と、嗜好情報取得部75として機能する(ステップS40)。
最初に、嗜好情報取得部75が、表示制御部37を制御して、既述の図33に示したような嗜好情報入力画面77を表示部16に表示させる(ステップS41)。この嗜好情報入力画面77の表示を受けて、ユーザは、嗜好情報入力画面77上において好みのサンプル画像78をタッチ操作等で1又は複数選択する選択操作を行う。嗜好情報取得部75は、操作パネル29を介して選択操作の入力を受け付け(ステップS42)、ユーザによるサンプル画像78の選択結果に基づき、ユーザの嗜好情報を取得する(ステップS43)。そして、嗜好情報取得部75は、取得した嗜好情報を表示制御部37へ出力する。
次いで、既述の第1実施形態の図3及び図16のステップS2で説明したように、画像解析部36によるデータ格納部23内のテンプレート画像データ12の解析が実行され、画像解析データ33がデータ格納部23に格納される。
画像解析部36による画像解析の終了後、表示制御部37は、嗜好情報取得部75から入力された嗜好情報に基づき、画像解析データ33を参照して、データ格納部23内から嗜好情報が示す感性語の傾向に対応したテンプレート画像データ12を選択及び取得する(ステップS45)。次いで、表示制御部37は、選択及び取得したテンプレート画像データ12に対応する選択画面42Aを表示部16に表示させる(ステップS46)。
これ以降の処理は、既述の第1実施形態の図16に示したステップS4以降の処理と基本的に同じであるので、ここでは具体的な説明を省略する。
[第5実施形態の効果]
以上のように、第5実施形態のタブレット端末10Cでは、ユーザの嗜好に合致するテンプレート画像データ12だけを含む選択画面42Aの表示を行うため、テンプレート画像データ12が多数存在している場合でも、感性空間上に表示されるテンプレート画像データ12の数を減らすことができる。その結果、ユーザは、着目領域44の設定を効率良く行うことができる。
なお、上記第2実施形態から第4実施形態においても、第5実施形態と同様にユーザの嗜好に合致するテンプレート画像データ12だけを含む選択画面42Aの表示を行うようにしてもよい。
[その他]
上記各実施形態では、既述の図10及び図11で説明したように、着目領域設定部38が、領域指定操作で指定された表示部16の表示面の一部の領域を着目領域44として設定する第1の設定モードについて説明したが、領域指定操作で指定された表示部16の表示面の一部の領域とは異なる表示面内の領域を着目領域44B(図37参照)として設定する第2の設定モードを実行してもよい。
図36は、第2の設定モードでの領域指定操作を説明するための説明図であり、図37は、図36に示した領域指定操作による着目領域44Bの設定について説明するための説明図である。
図36に示すように、第2の設定モードにおいては、ユーザは、好みに合致しないテンプレート画像データ12が含まれている表示部16の表示面の一部の領域80を指定する領域指定操作を行う。この場合、図37に示すように、着目領域設定部38は、領域指定操作で指定された一部の領域80とは異なる表示面内の領域を着目領域44Bとして設定する。この第2の設定モードと第1の設定モードとの切り替えは、操作部17や操作パネル29を操作して行うことができ、ユーザの領域指定操作の選択肢を広げることができる。なお、図37中では着目領域44Bの設定後に第1の移動処理が行われているが、着目領域44B内のテンプレート画像データ12の数に応じて、拡大画像表示切替処理やスライド表示切替処理を行ってもよい。
上記各実施形態では、領域指定操作として表示部16の表示面内の一部の領域を指定する軌跡を描くタッチ操作(図10参照)を例に挙げて説明を行ったが、領域指定操作の別実施例の説明図である図38に示すように、領域指定操作として上記各実施形態とは異なるタッチ操作を行ってもよい。このタッチ操作は、表示部16の表示面内をタッチして前述の一部の領域の中心位置を決定し、且つタッチ時間に応じて一部の領域の大きさを決定する操作である。図中の符号RAは、タッチ操作で決定される一部の領域を示したものである。
上記各実施形態では、領域指定操作により表示部16の表示面内の一部の領域を1つだけ指定しているが、表示面内の一部の領域を複数指定してもよい。図39は、表示面内の一部の領域を複数指定する場合の領域指定操作を説明するための説明図であり、図40は、図39に示した領域指定操作に伴う第1の移動処理について説明するための説明図である。
図39に示すように、表示部16の表示面内の一部の領域を複数指定する場合の領域指定操作として、例えば、複数の一部の領域をそれぞれ指定する軌跡を一筆で描くタッチ操作を行ってもよい。このタッチ操作がなされると、着目領域設定部38は、タッチ操作で描かれた軌跡の内側の領域を着目領域44として表示部16の表示面内に設定する。そして、図40に示すように、表示制御部37は、表示面内において着目領域44A(着目領域44)の内側と外側とにあるテンプレート画像データ12を識別した後、第1の移動処理を行う。
なお、第1の移動処理を行う代わりに、着目領域44B内のテンプレート画像データ12の数に応じて、拡大画像表示切替処理やスライド表示切替処理を行ってもよい。また、表示面内の一部の領域を複数指定する際に、複数の一部の領域をそれぞれ指定する軌跡を一筆で描くタッチ操作を行う代わりに、複数の一部の領域を個別に指定する軌跡を描くタッチ操作を行ってもよい。また、既述の図38で説明したタッチ操作を複数本の指PFで同時に行うことで、表示面内の一部の領域を複数指定してもよい。
上記各実施形態では、テンプレート画像データ12を解析して得られるテンプレート画像データ12の特徴量として感性語を例に挙げて説明を行っているが、この特徴量が例えばデザイン特徴量(色特徴量、柄特徴量、形特徴量、及び質感特徴量の少なくともいずれか1つを含む)などの感性語以外の特徴量であってよい。この場合、選択画面42は、感性語以外の特徴量を座標軸とする空間上にテンプレート画像データ12を配置した画像になる。
上記各実施形態では、タブレット端末にデータ格納部23が設けられているが、データ格納部23がタブレット端末とは別体(例えば各種通信ネットワーク回線を介して接続可能なサーバや端末など)であってもよい。
上記各実施形態では、本発明の商品画像としてポストカードのテンプレート画像データ12を例に挙げて説明を行ったが、ポストカード以外の各種商品の商品画像を表示する場合に本発明を適用することができる。
上述の各実施形態で説明したタブレット端末のプログラム25をCD−ROM(Compact Disc Read Only Memory)や磁気ディスクやその他のコンピュータ可読媒体(有体物たる非一時的な情報記憶媒体)に記録し、情報記憶媒体を通じてプログラムを提供することが可能である。このような情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの通信ネットワークを利用してプログラム信号をダウンロードサービスとして提供することも可能である。
また、本発明を適用可能な態様は、タブレット端末には限定されず、表示出力機能を備えるモバイル機器類(携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機、及びデジタルカメラ等)や、モニタ等の表示部に接続されたパーソナルコンピュータや映像再生装置などの各種表示出力装置に対しても適用可能である。以下、本発明を適用可能なスマートフォンの一例について説明する。
<スマートフォンの構成>
図41は、本発明を適用可能なスマートフォン500の外観斜視図である。図41に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541と、LED(Light Emitting Diode)発光部542とを備えている。尚、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。
図42は、図41に示したスマートフォン500の電気的構成を示すブロック図である。図42に示すように、スマートフォン500の主たる構成要素として、無線通信部510と、表示入力部520と、通話部530と、操作部540と、カメラ部541と、記憶部550と、外部入出力部560と、GPS(Global Positioning System)受信部570と、モーションセンサ部580と、電源部590と、主制御部501とを備える。また、スマートフォン500の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部510は、主制御部501の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部520は、主制御部501の制御により、画像(静止画及び動画)や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル521と、操作パネル522とを備える。生成された3D画像を鑑賞する場合には、表示パネル521は、3D表示パネルであることが好ましい。
表示パネル521は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル522は、表示パネル521の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部501に出力する。次いで、主制御部501は、受信した検出信号に基づいて、表示パネル521上の操作位置(座標)を検出する。
図41に示すように、スマートフォン500の表示パネル521と操作パネル522とは一体となって表示入力部520を構成しているが、操作パネル522が表示パネル521を完全に覆うような配置となっている。この配置を採用した場合、操作パネル522は、表示パネル521外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル522は、表示パネル521に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル521に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
尚、表示領域の大きさと表示パネル521の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル522が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体502の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル522で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部530は、スピーカ531やマイクロホン532を備え、マイクロホン532を通じて入力されたユーザの音声を主制御部501にて処理可能な音声データに変換して主制御部501に出力したり、無線通信部510あるいは外部入出力部560により受信された音声データを復号してスピーカ531から出力したりするものである。また、図41に示すように、例えば、スピーカ531及びマイクロホン532を表示入力部520が設けられた面と同じ面に搭載することができる。
操作部540は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部540は、スマートフォン500の筐体502の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部550は、主制御部501の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部550は、スマートフォン内蔵の内部記憶部551と着脱自在な外部メモリスロットを有する外部記憶部552により構成される。尚、記憶部550を構成するそれぞれの内部記憶部551と外部記憶部552は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、Micro SD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。なお、記憶部550は、上記各実施形態のメモリ21及びデータ格納部23に相当する。
外部入出力部560は、スマートフォン500に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバスなど)又はネットワーク(例えば、インターネット、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン500に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン500の内部の各構成要素に伝達することや、スマートフォン500の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部570は、主制御部501の指示に従って、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン500の緯度、経度、高度からなる位置を検出する。GPS受信部570は、無線通信部510や外部入出力部560(例えば、無線LAN)から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
モーションセンサ部580は、例えば、3軸の加速度センサなどを備え、主制御部501の指示に従って、スマートフォン500の物理的な動きを検出する。スマートフォン500の物理的な動きを検出することにより、スマートフォン500の動く方向や加速度が検出される。この検出結果は、主制御部501に出力されるものである。
電源部590は、主制御部501の指示に従って、スマートフォン500の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部501は、マイクロプロセッサを備え、記憶部550が記憶する制御プログラムや制御データに従って動作し、スマートフォン500の各部を統括して制御するものである。また、主制御部501は、無線通信部510を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部550が記憶するアプリケーションソフトウェアに従って主制御部501が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部560を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部501は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画や動画のデータ)に基づいて、映像を表示入力部520に表示する等の画像処理機能を備える。画像処理機能とは、主制御部501が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部520に表示する機能のことをいう。
更に、主制御部501は、表示パネル521に対する表示制御と、操作部540、操作パネル522を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部501は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル521の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部501は、操作部540を通じたユーザ操作を検出したり、操作パネル522を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部501は、操作パネル522に対する操作位置が、表示パネル521に重なる重畳部分(表示領域)か、それ以外の表示パネル521に重ならない外縁部分(非表示領域)かを判定し、操作パネル522の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部501は、操作パネル522に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部541は、CMOS(Complementary Metal Oxide Semiconductor)型あるいはCCD(charge-coupled device)型の撮像素子を用いて電子撮像する撮像装置である。
LED発光部542は、白色LED及び近赤外LEDを有し、可視光画像撮像モード時に被写体の光量が不足する場合には、白色LEDを点灯し、可視光画像撮像時の補助光として白色LEDから白色光を発光し、近赤外光画像撮像モード時に近赤外LEDを点灯し、近赤外光画像撮像時の補助光として近赤外LEDから近赤外光を発光する。また、近赤外LEDは、赤外線通信機能を有するスマートフォン500の場合、赤外線通信の光源として使用することも可能である。
また、カメラ部541は、主制御部501の制御により、撮像によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部550に記録したり、外部入出力部560や無線通信部510を通じて出力したりすることができる。図41に示すにスマートフォン500において、カメラ部541は表示入力部520と同じ面に搭載されているが、カメラ部541の搭載位置はこれに限らず、表示入力部520の背面に搭載されてもよいし、あるいは、複数のカメラ部541が搭載されてもよい。尚、複数のカメラ部541が搭載されている場合には、撮像に供するカメラ部541を切り替えて単独にて撮像したり、あるいは、複数のカメラ部541を同時に使用して撮像したりすることもできる。
また、カメラ部541はスマートフォン500の各種機能に利用することができる。例えば、表示パネル521にカメラ部541で取得した画像を表示することや、操作パネル522の操作入力のひとつとして、カメラ部541の画像を利用することができる。また、GPS受信部570が位置を検出する際に、カメラ部541からの画像を参照して位置を検出することもできる。更には、カメラ部541からの画像を参照して、3軸の加速度センサを用いずに、あるいは、3軸の加速度センサと併用して、スマートフォン500のカメラ部541の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部541からの画像をアプリケーションソフトウェア内で利用することもできる。
主制御部501は、上記各実施形態の制御部20と同等の機能を有するものであり、本発明の商品画像表示制御装置に相当するものである。