JP6386803B2

JP6386803B2 - 装置、方法、及びプログラム

Info

Publication number: JP6386803B2
Application number: JP2014122751A
Authority: JP
Inventors: 真耶黒川; 梅田　清; 清梅田; 尚紀鷲見; 鈴木　智博; 智博鈴木; 加藤　真夫; 真夫加藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-06-13
Filing date: 2014-06-13
Publication date: 2018-09-05
Anticipated expiration: 2034-06-13
Also published as: US9471284B2; JP2016004321A; US20150363173A1

Description

本発明は、外部デバイスを利用する装置で提供する表示画面の制御に関するものである。

近年、カメラ機能が搭載された可搬型多機能携帯端末（以下、モバイルコンピュータ）が普及し、デジタルカメラや従来のパーソナルコンピュータ（以下、ＰＣ）の販売台数を遥かに凌ぐ勢いで拡販されている。

このようなモバイルコンピュータは、基本的には３つの要素で成り立っている。即ち、コンピュータ自身であるハードウェアと、該ハードウェア上で動作するオペレーティングシステム（以下、ＯＳ）と、該ＯＳ上で動作するアプリケーションである。ユーザは、該アプリケーションを用いて、地図やメール、インターネット上のウェブサイトの閲覧等の機能を使用することが可能である。

このようなモバイルコンピュータ上で動作するアプリケーションの形態としては、主に二つのものが存在する。即ち、ネイティブアプリケーションとウェブアプリケーションである。以下、それぞれの特徴を説明する。

まず、ネイティブアプリケーションとは、通常、ＯＳ毎に用意される開発環境、及び開発言語を用いて開発される。例えば、Ａ社が提供するＯＳ上ではＣ／Ｃ＋＋言語、Ｂ社が提供するＯＳ上ではＪａｖａ（登録商標）言語、Ｃ社が提供するＯＳ上では更に異なる開発言語を用いる、という具合である。通常、ネイティブアプリケーションは、各開発環境において予めコンパイルされ、人間が理解可能ないわゆる高水準言語から、コンピュータのＣＰＵが解釈可能なアセンブラ等の命令セット群に変換される。このように、通常のネイティブアプリケーションでは、命令をＣＰＵが直接解釈するために、高速動作が可能である、というメリットが存在する。

一方、ウェブアプリケーションとは、近年では、各コンピュータ上のＯＳに標準的に組み込まれているウェブブラウザ上で動作するアプリケーションのことである。アプリケーションはウェブブラウザが解釈できるよう、一般的には、ＨＴＭＬ５及びＣＳＳ、さらにＪａｖａＳｃｒｉｐｔ（登録商標）等の言語を用いて開発される。これらはウェブ標準言語であるため、これらのウェブ標準言語でウェブアプリケーションを一旦記述すれば、ウェブブラウザが動作する環境であれば、どこでも動作可能というメリットが存在する。

特許文献１には、ウェブブラウザ上で動作するウェブアプリケーションにより印刷を実行することが開示されている。

特開２０１１−２３３０３４号公報

上述のように、近年のモバイルコンピュータにおいては、高解像度のカメラを保持している。モバイルコンピュータは日常携帯されており、かつ写真を数千枚程度記憶可能なメモリを備えているため、ユーザは非常に高い頻度で気楽に写真撮影を楽しむことができる。これによって得られる撮影画像に対して、例えば、モノクロ・セピア調にするフィルタ処理を施したり、写真の明るさ、色バランス等を修正するための画像処理は、ユーザにとっても大変重要で欠かせないアプリケーションとなっている。このような画像処理をユーザに対して、ストレスなく、簡単に提供できるようなアプリケーションを、上記２つのアプリケーション形態で作成することを考えると、以下のようなことが発生し得る。

まず、ネイティブアプリケーションでは、上述のように処理を高速実行できるというメリットがある。しかし、本形態は、ＯＳ毎に異なる開発言語で別々に開発する必要があるため、開発コストと開発時間が増大し、ユーザに迅速に提供できない場合がある。また、ネイティブアプリケーションは、予めコンパイル（翻訳）する必要がある。そのため、例えば、アプリケーションのＵＩ（ユーザインタフェース）デザインを動作時に変更したり、機能を動的に追加する等は難しく、柔軟性に欠ける場合がある。

また、ウェブアプリケーションでは、ＨＴＭＬ５、ＣＳＳ、ＪａｖａＳｃｒｉｐｔで記述されたウェブアプリケーションの本体が、モバイルコンピュータ外部のサーバ上に存在することが通常である。ウェブアプリケーションは、利用時に動的にサーバからモバイルコンピュータにインターネット回線を介してダウンロードするため、ＵＩデザイン等を予めコンパイルすることなく動的に変更することが可能である。

しかし、高度で複雑な処理を実行する場合、ウェブアプリケーションは、ブラウザのセキュリティ上の制約から、ブラウザ上でＪａｖａＳｃｒｉｐｔによって実行するか、サーバ上で実行するという２つの選択肢しか存在しない。従来、ＪａｖａＳｃｒｉｐｔは、人間が視認可能な文字列のスクリプトとして記述され、該スクリプトを動作時に随時コンパイルすることで実行することができる。このことから、複雑な処理をＪａｖａＳｃｒｉｐｔで記述すると動作が遅くなる場合がある。

一方、この複雑な処理をサーバで実行するように構築した場合、モバイルコンピュータ内部に存在する写真等のデータを、インターネット回線を介してサーバ上にアップロードし、サーバで処理後の結果を、今度はサーバからダウンロードする時間が必要となる。このような構成は、モバイルアプリケーションに対してストレスの少ない、即時的な処理を実現することができない場合がある。

それに加え、プリンタの機能や用途は機種に応じて様々である。例えば、印刷機能だけのプリンタもあれば、印刷機能以外にスキャン機能やコピー機能を有するプリンタもある。また、ユースケースとして、オフィス等の拠点で、ビジネス文書を印刷することを想定しているプリンタもあれば、プロの写真家がデジタルカメラで撮影した写真を印刷することを想定しているプリンタもある。これらの多種多様なプリンタにＵＩを対応させる必要があるが、全機種の全機能を網羅したＵＩを作成できたとしても、ユーザによっては不必要な機能が多く含まれる可能性があり、また、複雑なＵＩとなってしまう可能性もある。つまり、プリンタの機種や用途に応じて、ユーザに対して最適な画像処理体験を提供することが望まれている。

以上から、近い将来訪れるモバイルコンピュータ全盛時代においては、開発期間をより短縮し、かつより汎用性の高いアプリケーション形態、開発環境をユーザに提供することが要望されている。

本発明は上記の課題を解決するためになされたものであり、より柔軟かつ利便性の高い装置の使用環境を提供することを目的とする。

上記の目的を達成するための本発明のプログラムは以下の特徴を有する。即ち、
プロセッサで翻訳され実行されるための命令セットを含む第１のプログラム層と、前記プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層とを包含する単一のアプリケーションプログラムであって、前記プロセッサを、
前記第１のプログラム層により、前記プロセッサが外部デバイスとの通信を前記第２のプログラム層を介して行うよう制御する通信制御手段と、
前記第２のプログラム層により、前記通信制御手段による通信により前記外部デバイスから受信した前記外部デバイスに関する情報を前記第１のプログラム層で解釈できる所定の形式のデータに変換する変換手段と、
前記第１のプログラム層により、前記変換手段による変換が行われた前記データに基づき、前記データに対応する表示内容を含む、前記外部デバイスの機能を利用するための表示画面を表示する表示制御手段
として機能させることを特徴とするプログラム。

本発明によれば、より柔軟かつ利便性の高い装置の使用環境を提供できる。

情報処理装置の構成を示すブロック図である。情報処理装置のソフトウェアの構成を示すブロック図である。ユーザ操作に伴う処理を示すフローチャートである。写真画像選択の詳細を示すフローチャートである。画像処理の詳細を示すフローチャートである。スタンプ追加の詳細を示すフローチャートである。スタンプ特定の詳細を示すフローチャートである。スタンプ操作の詳細を示すフローチャートである。プリンタ設定の詳細を示すフローチャートである。レンダリングの詳細を示すフローチャートである。プリントの詳細を示すフローチャートである。アプリケーション画面の一例を示す図である。設定画面の一例を示す図である。機能選択画面の一例を示す図である。機能選択画面の一例を示す図である。機能選択画面の一例を示す図である。機能選択画面の一例を示す図である。機能選択画面の一例を示す図である。機能選択画面の一例を示す図である。機能選択画面の一例を示す図である。機能選択画面の一例を示す図である。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜実施形態１＞
本実施形態では、情報処理装置上で、後述するハイブリッド型アプリケーションを動作させ、ユーザが選択した画像に対して、様々な画像処理を適用した後に、その画像を印刷する構成について説明する。

＜ハードウェア構成の説明＞
図１は情報処理装置１１５として、例えば、スマートフォンや携帯電話等の携帯型情報端末の構成例を説明するブロック図である。同図において、１００はＣＰＵ（中央演算装置／プロセッサ）であり、以下で説明する各種処理をプログラムに従って実行する。図中のＣＰＵ１００は１つであるが、複数のＣＰＵあるいはＣＰＵコアによって構成されていても良い。１０１はＲＯＭであり、ＣＰＵ１００により実行されるプログラムが記憶されている。１０２はＲＡＭであり、ＣＰＵ１００によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリである。

１０３はハードディスクやフラッシュメモリ等の２次記憶装置であり、ファイルや画像解析等の処理結果を保持するデータベース等のデータや、各種プログラムを記憶するための記憶媒体である。１０４はディスプレイであり、各種処理を実現するための操作を受け付けるためのＵＩ（ユーザインタフェース）や、実行された処理による処理結果等の各種情報を表示する。ディスプレイ１０４は、タッチセンサ１０５を備えても良い。

情報処理装置１１５は、内部撮像デバイス１１０を備えてもよい。内部撮像デバイス１１０による撮像によって得られた画像データは、所定の画像処理を経た後、２次記憶装置１０３に保存される。また、画像データは、外部Ｉ／Ｆ１０８を介して接続された外部撮像デバイス１１１から読み込むこともできる。

情報処理装置１１５は、外部Ｉ／Ｆ１０９を備え、インターネット等のネットワーク１１３を介して通信を行うことができる。情報処理装置１１５は、この通信Ｉ／Ｆ１０９を介して、ネットワーク１１３に接続されたサーバ１１４より画像データを取得することもできる。

情報処理装置１１５は、加速度センサ１０６を備え、情報処理装置１１５自身の位置姿勢に関する加速度情報を取得することができる。情報処理装置１１５は、外部Ｉ／Ｆ１０７を介し、プリンタ１１２と接続されており、画像データ等のデータを出力することができる。プリンタ１１２は、ネットワーク１１３にも接続されており、通信Ｉ／Ｆ１０９経由で、画像データを送受信することができる。

外部Ｉ／Ｆ１０７〜１０９は、有線通信と無線通信の内、少なくともいずれかの通信形態を有するインタフェースであり、利用する通信形態に応じて外部デバイス（プリンタ１１２あるいはサーバ１１４）との通信を行う。有線通信には、例えば、ＵＳＢ、イーサネット（登録商標）等があり、無線通信には、無線ＬＡＮ、ＮＦＣ、ブルートゥース、赤外線通信等がある。また、無線通信として、無線ＬＡＮを利用する場合には、装置同士が直接接続する形態もあれば、無線ＬＡＮルータ等の中継装置を介して接続する形態もある。また、外部Ｉ／Ｆ１０７〜１０９は、図では別々に構成されているが、一体となって構成されていても良い。

情報処理装置１１５の動作に必要な電源は、バッテリ１１７によって供給される。情報処理装置１１５が備える各種構成要素は、制御バス／データバス１１６を介して相互に接続され、ＣＰＵ１００は、この制御バス／データバス１１６を介して、各種構成要素を制御する。

尚、本実施形態では、情報処理装置１１５が、その情報処理装置１１５が備える制御部（ＣＰＵ１００）によって実行されるプログラム等のソフトウェアの実行場所（ソフトウェア実行環境）となる。

＜ソフトウェアのブロック図＞
図２は情報処理装置１１５で動作するソフトウェア構成のブロック図である。

情報処理装置１１５は、スクリプト層２１７、ネイティブ層２１８、及びＯＳ層２１９のプログラムを実装している。これらの各層は、ＣＰＵ１００がＲＯＭ１０１あるいは２次記憶装置１０３に記憶されている対応するプログラムを読み出し実行することにより実現される。

スクリプト層２１７は、ＨＴＭＬ５やＣＳＳ３、及びＪａｖａＳｃｒｉｐｔ等のウェブ標準言語を使って、テキストデータで命令セット（コンテンツの描画や画像の表示、動画の再生等）が記述されているプログラム層である。このスクリプト層２１７では、アプリケーション実行環境上で、そのアプリケーション実行環境に存在するプロセッサ（例えば、ＣＰＵ１００）を用いて、テキストデータの各種命令セットを翻訳して実行することになる。形態としては、実行の度に命令文を一行ずつ動的に翻訳する場合や、アプリケーションを起動したときに翻訳する場合、アプリケーションを情報処理装置１１５にインストールしたときに翻訳する場合等が考えられる。

以後、スクリプト層２１７で処理することや内容をスクリプトと呼ぶ。スクリプトの命令を情報処理装置１１５内で翻訳する形態の例として、ネイティブ層２１８やＯＳ層２１９が備えるインタプリタの機能を使用することが挙げられる。尚、本実施形態においては、アプリケーションのＵＩの大部分が、このスクリプト層２１７で記述されていることを想定している。

ネイティブ層２１８は、アプリケーション実行環境以外で予め翻訳（コンパイル）された命令セットを実行する部分である。形態としては、ＣもしくはＣ＋＋といった高水準言語で記述されたコードが、予めアプリケーションの開発者のＰＣやサーバ上でコンパイルされ、ＣＰＵ１００が解釈できる命令の集合体となっている。以後、ネイティブ層２１８で処理することや内容、後述するＯＳ層２１９の機能をネイティブ層２１８から呼び出すことを含め、ネイティブと呼ぶこととする。尚、ネイティブ層２１８の別の実装系として、Ｊａｖａが挙げられる。Ｊａｖａは、Ｃ／Ｃ＋＋と類似の高水準言語であり、予めアプリケーション開発時の開発環境上で中間コードに翻訳される。翻訳された中間コードは、各ＯＳが備えるＪａｖａ仮想環境上で動作する。本実施形態においては、このようなプログラム形態も、ネイティブ層２１８の一種に含める。

ＯＳ層２１９は、情報処理装置１１５のオペレーティングシステム（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ：ＯＳ）に対応する。ＯＳ層２１９は、ハードウェア機能の使用をアプリケーションに提供する役割及び固有の機能を有する。ＯＳ層２１９は、ＡＰＩを備え、スクリプト層２１７やネイティブ層２１８から機能を使用することができる。

本実施形態では、スクリプト層２１７からネイティブ層２１８の呼び出しを可能にすることをバインディング、もしくはバインドと呼ぶ。各種ネイティブの機能は、ＡＰＩを備え、該ＡＰＩをスクリプトが呼び出すことでネイティブの機能を使用することができる。このようなバインディング機能は、通常、各種ＯＳが標準的に備えている機能である。

尚、本実施形態では、スクリプト層２１７とネイティブ層２１８を含むアプリケーションのことをハイブリッド型アプリケーションと呼ぶ。

スクリプト層２１７の画像取得部２０１は、ネイティブ層２１８に対し画像データの取得を依頼する。取得依頼時に、画像取得部２０１は、一意なＩＤを生成し、ネイティブ層２１８に送信する。このＩＤと、ネイティブ層２１８の画像読込部２０２で読み込まれた画像データは、対となって、ネイティブ層２１８のデータ保持部２０４に記憶される。これ以外にも、例えば、絶対パスを指定する方法や、ダイアログ表示を促す方法等が挙げられる。

ネイティブ層２１８の画像読込部２０２は、画像データ群２１５から画像データを取得する。画像データ群２１５からの画像データの取得方法は、スクリプト層２１７の画像取得部２０１の依頼に依存する。依頼方法は、ＵＩ上に提供されているダイアログボックスから選択する、ファイルのパスから直接画像を選択する等が挙げられる。

ネイティブ層２１８のデータ変換部２０３は、ネイティブ層２１８のデータをスクリプト層２１７で利用できる形式のデータに変換する。一方で、データ変換部２０３は、スクリプト層２１７から送られてきたデータをネイティブ層２１８で利用できる形式にする変換も行う。

スクリプト層２１７のデータ変換部２０７は、スクリプト層２１７のデータをネイティブ層２１８で利用できる形式のデータに変換する。一方で、データ変換部２０７は、ネイティブ層２１８から送られてきたデータをスクリプト層２１７で利用できる形式にする変換も行う。

ネイティブ層２１８のデータ保持部２０４は、画像読込部２０２で読み込んだ画像データ、画像処理部２０８で画像処理が施された画像データを保持する。保持される画像データは、例えば、ＲＧＢ画像信号に展開されており、すぐに画像処理が実行できる形式になっている。また、保持されている画像データは、スクリプト層２１７の画像取得部２０１で生成されたＩＤと対になっており、このＩＤを指定することで、データ保持部２０４から対応する画像データを取得することができる。

スクリプト層２１７のコンテンツ描画部２０５は、ネイティブ層２１８のデータ変換部２０３を経由して取得した画像データをディスプレイ１０４に表示する。また、コンテンツ描画部２０５は、コンテンツ操作部２１０で操作された画像データの再描画も行う。コンテンツ操作部２１０は、スクリプト層２１７で画像データを操作する。この操作には、画像データの拡大、移動、回転等が挙げられる。また、コンテンツ描画部２０５は、プリントのためのコンテンツをウェブ標準言語を利用して記述する。この記述には、コンテンツ操作部２１０で操作されたスクリプトも反映される。コンテンツ描画部２０５で記述されたコンテンツのスクリプトは、ＯＳ層２１９のインタプリタ２１４で解釈され、ディスプレイ１０４に表示されることになる。

画像処理制御部２０６は、画像処理に用いる補正パラメータを決定し、ネイティブ層２１８の画像処理部２０８に画像処理を依頼する。まず、画像処理制御部２０６は、スクリプト層２１７で補正パラメータを設定する。設定された補正パラメータは、データ変換部２０７でネイティブ層２１８へ送信できる形式へ変換される。その後、変換された補正パラメータは、処理対象となる画像データのＩＤと共にネイティブ層２１８へ送信される。

スクリプト層２１７の画像処理部２０８は、画像処理制御部２０６で指定されたＩＤと対応する画像をネイティブ層２１８のデータ保持部２０４から取得し、画像処理を施す。その際、どのような画像処理を施すかは、画像処理制御部２０６で設定された補正パラメータにより決定される。

ＯＳ層２１９のタッチイベント２０９は、ディスプレイ１０４のタッチに関する情報を取得する。タッチに関する情報とは、ディスプレイ１０４のタッチ検知、タッチされた位置情報等が挙げられる。取得したタッチに関する情報は、ネイティブ層２１８経由でスクリプト層２１７のコンテンツ操作部２１０に送信される。

スクリプト層２１７のプリンタ制御部２１１は、レンダリング部２１６へのレンダリング開始依頼、プリンタ検知の依頼、プリンタ設定画面の表示、プリント情報の生成と送信を制御する。プリンタ設定画面では、用紙のサイズ、用紙の種類、カラー・モノクロ等のプリンタ設定がなされる。ここで設定された項目を基に、プリンタデータ生成部２１２でプリンタデータが生成される。

プリンタデータ生成部２１２は、プリンタ制御部２１１からの依頼を基に、プリンタ通信に必要なデータ、コマンドを生成する。プリンタ通信に必要なデータとは、通信プロトコルに則ったデータであり、コマンドとは、印刷やスキャン等、プリンタの動作を決定するためのデータである。

ＯＳ層２１９のプリンタ通信部２１３は、プリンタデータ生成部２１２から受信したプリンタデータを接続しているプリンタ１１２に送信したり、プリンタ１１２からプリンタ１１２に関する情報を受信する。ＯＳ層２１９のインタプリタ２１４は、スクリプト層２１７で生成された命令を解釈・実行する。例えば、画像の描画等の命令は、インタプリタ２１４を通して実行され、ディスプレイ１０４に表示される。

画像データ群２１５は、画像データを保持している領域である。画像保存部２２０は、必要に応じて、データ保持部２０４が保持する画像データを画像データ群２１５に保存する。

レンダリング部２１６は、コンテンツ描画部２０５、画像処理制御部２０６、及びコンテンツ操作部２１０を制御して、処理対象の画像データのレンダリングを行う。このレンダリングには、例えば、スクリプト層２１７で出力解像度の画像を生成することが含まれる。また、この際、レンダリング結果、及び、生成途中の画像はディスプレイ１０４に表示しない。レンダリング結果は、ネイティブ層２１８のデータ変換部２０３に送信され、プリンタ１１２が利用できる形式の画像データに変換される。

＜ユーザ操作に伴う処理＞
図３はユーザ操作を含む処理を示すフローチャートである。まず、図３を用いて、Ｓ２１からＳ２８の各処理の概要を説明し、詳細は後述する。また、この図３に示す処理は、情報処理装置１１５のＣＰＵ１００が、ＲＯＭ１０１あるいは２次記憶装置１０３に記憶されているプログラムを実行することにより実現される。また、図３に示す各ステップは、ＵＩの１つである図１２に示すアプリケーション画面１２００に対するユーザ操作に従って遷移する。このアプリケーション画面１２００は、スクリプト層２１７によって生成される。このアプリケーション画面１２００の操作は、例えば、タッチセンサ１０５を介して実現される。

Ｓ２１で、ＣＰＵ１００は、アプリケーション画面１２００の写真画像選択ボタン１２０１に対するユーザ操作（タッチ操作も含む。以後も同様）を検知すると、その操作に応じて、任意の画像を選択する。画像を選択すると、ＣＰＵ１００は、アプリケーション画面１２００の描画領域１２０６の全体に選択された画像を表示する。

Ｓ２２では、ＣＰＵ１００は、表示されている画像の輝度を調整するためのスライドバー１２０２に対するユーザ操作を検知すると、そのユーザ操作に応じて、画像処理時に利用する補正パラメータを設定させる。そして、ＣＰＵ１００は、設定した補正パラメータに従って、表示されている画像に画像処理を施し、その処理内容及び処理結果を描画領域１２０６に表示する。

Ｓ２３は、ＣＰＵ１００は、スタンプ追加ボタン１２０３に対するユーザ操作を検知すると、スタンプ一覧１２０７を表示する。スタンプ一覧１２０７に対するユーザ操作によってスタンプの選択を検知すると、ＣＰＵ１００は、描画領域１２０６に選択されたスタンプを追加・表示する。

Ｓ２４で、ＣＰＵ１００は、アプリケーション画面１２００に対するユーザ操作に応じて、スタンプを特定する。スタンプの特定とは、ディスプレイ１０４にユーザ操作によってタッチされた座標とスタンプの座標より、スタンプがタッチされたか否かを判断するものである。スタンプがタッチされた場合、そのスタンプは操作受付状態となる。ここでは、ユーザ操作に応じて、スタンプが操作受付状態になっているものとする。操作受付状態については後述する。

Ｓ２５で、ＣＰＵ１００は、操作受付状態になっているスタンプを回転するためのスライドバー１２０４に対するユーザ操作を検知すると、そのユーザ操作に応じて、スタンプ操作として、操作受付状態にあるスタンプを回転する。

Ｓ２６で、ＣＰＵ１００は、プリントボタン１２０５に対するユーザ操作を検知すると、プリントに必要な情報を設定するための設定画面１３０１（図１３）を表示する。プリントに必要な情報とは、例えば、図１３の設定画面１３０１に示されるように、用紙サイズ、用紙種類、印刷品位、縁あり／なしの設定項目がある。これ以外にも、両面／片面、モノクロ・カラー等、使用するプリンタが有する機能に応じて、設定可能な設定項目が構成される。

Ｓ２７で、ＣＰＵ１００は、設定画面１３０１の設定完了ボタン１３０２に対するユーザ操作を検知すると、描画領域に表示されている画像を、プリンタに出力するためのプリント解像度に変換するためのレンダリングを実行する。

Ｓ２８で、ＣＰＵ１００は、プリントの解像度に変換された画像を、プリンタ制御のコマンドと共にプリンタに送信することで、プリンタ１１２でプリントを実行する。

尚、図３に示す処理では、説明を簡単にするため、必要最小限のステップ群を示しているが、処理内容はこれに限定されず、ステップ群の処理順序もこれに限定されるものではない。また、本実施形態において、プロセッサで翻訳され実行されるための命令セットを含む第１のプログラム層をスクリプト層２１７、プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層をネイティブ層２１８と定義する。そして、これらの第１のプログラム層と第２のプログラム層とを包含するプログラムがハイブリッド型アプリケーションを実現する。文字列データを第１の形式、バイナリデータを第２の形式と定義する。

＜プリンタの選択＞
最初に、ユーザ操作によって、図３に示す処理を実現するアプリケーションが起動される際には、アプリケーションは、まず、接続可能な外部デバイス（プリンタ１１２）のディスカバリ処理（不図示）を行う。ディスカバリ処理とは、情報処理装置１１５が存在するネットワーク１１３内において、接続可能なプリンタ１１２のＩＰアドレスを特定する処理のことである。

情報処理装置１１５は、ディスカバリ処理によって取得したＩＰアドレス（場合によっては、複数個）に対して、各種プリンタの属性情報取得の命令を送信して、その返信を取得することができる。

より具体的には、ネイティブ層２１８において、各プリンタの情報を取得するためのコマンドを生成する。コマンドとは、プリンタの動作を指定する命令であり、下記のようなＸＭＬで表現される。

＜?xml version="1.0" encoding="utf-8" ?＞
＜cmd xmlns:trans="http://www.trans/example/"＞
＜contents＞
＜operation＞GetInformation＜/operation＞
＜/contents＞
＜/cmd＞

生成されたコマンドは、プリンタの通信プロトコルに従った形式で、ネットワーク上のネットワーク機器（例えば、Ｗｉ−Ｆｉ（登録商標）接続されたルータ）に対しブロードキャストされる。ここで、通信方法は、Ｗｉ−Ｆｉダイレクトや電話回線を利用する形態が考えられるが、これに限定されるものではない。コマンドの送信の結果、ネイティブ層２１８は、プリンタからの応答を受信する。受信する応答の例としては、下記のようなＸＭＬで表現される。

＜?xml version="1.0" encoding="utf-8" ?＞
＜cmd xmlns:trans="http://www.trans/example/"＞
＜contents＞
＜PrinterName＞PrinterA＜/PrinterName＞
＜ImageProcGrp＞A＜/ImageProcGrp＞
＜/contents＞
＜/cmd＞

上記は、簡単な例であるが、ＰｒｉｎｔｅｒＮａｍｅタグによって、それぞれのプリンタ名称を取得することができる。

ネイティブ層２１８で取得された機種名は、スクリプト層２１７に伝達されて、以下の仮想コードにより、プリンタのリストを表示することができる。

＜form name=”frmPrinter”＞
＜select name=”selPrinter”＞
＜/select＞
＜/form＞
＜script type=”text/javascript”＞
Function fAddPrinter(PrinterName, count){
var sObj=document.forms[“frmPrinter”].elements[“selPrinter”];
for (var i=0;i＜count;i++){
var idx=sObj.length;
sObj.options[idx]=new Option(PrinterName[i]);
}
}
＜/script＞

上記において、ｓｅｌｅｃｔタグは、リストを表示するための記述であり、ｓｃｒｉｐｔタグ内に記載したＪａｖａＳｃｒｉｐｔコードによって、リストに取得したプリンタの名称（ＰｒｉｎｔｅｒＮａｍｅに配列として格納）を追加することができる。

図１５は、スクリプト層２１７において生成した仮想コードがインタプリタ２１４で解釈され、ディスプレイ１０４で表示されたプリンタのリストを含むプルダウンメニュー１５０１を示している。ユーザが所望のプリンタを選択すると、何番目のリストを選択したかというＩＤを取得することができる。プリンタを選択すると、次に、ユーザは、写真画像の選択操作に遷移する。

＜写真画像選択の詳細＞
図３のＳ２１の写真画像選択の詳細について、図４を用いて説明する。

Ｓ３０１で、ＣＰＵ１００は、スクリプト層２１７で、一意なＩＤを生成する。このＩＤは、数値、文字列等、スクリプト層２１７からネイティブ層２１８へ送信できる形式であればどのような形でも良い。Ｓ３０２で、ＣＰＵ１００は、スクリプト層２１７で、生成したＩＤとともに、ネイティブ層２１８に、写真画像選択ボタン１２０１に対するユーザ操作に応じて画像選択を依頼する。依頼方法は、バインディング機能によりスクリプト層２１７からネイティブ層２１８固有の画像選択ＡＰＩを呼び出す。ネイティブ層２１８には、スクリプト層２１７から直接呼び出せる関数もしくはその関数を間接的に呼び出す、いわゆる、ラッパーが予め用意してある。

Ｓ３０３で、ＣＰＵ１００は、ネイティブ層２１８で、デバイス固有の画像選択ＵＩをディスプレイ１０４に表示する。表示された画像選択ＵＩに対するユーザ操作に基づいて、任意の画像を１枚選択する。画像の選択は、例えば、情報処理装置１１５内で管理されるフォルダから画像を１枚選択するものとするが、これに限定されるものではない。例えば、インターネット上の画像や、脱着可能な記憶媒体内の画像を選択しても良いし、情報処理装置１１５の内部撮像デバイス１１０を利用して撮影した画像を取得しても良い。

Ｓ３０４で、ＣＰＵ１００は、ネイティブ層２１８で、選択された画像を取得する。例えば、選択した画像が画像ファイルの状態であれば、ＣＰＵ１００は、ファイルを開き、その内容を読み取る。Ｓ３０５で、ＣＰＵ１００は、ネイティブ層２１８で、取得した画像をＲＧＢ展開する。Ｓ３０６で、ＣＰＵ１００は、ネイティブ層２１８で、展開したＲＧＢ画像を、スクリプト層２１７から取得したＩＤと関連付けてデータ保持部２０４に保持する。関連付け方法は、例えば、ＩＤとＲＧＢ画像を有するオブジェクトを作成することで、ＩＤによりＲＧＢ画像の特定を可能にするという方法が考えられる。ここで、関連付け方法は、これに限らず、ＩＤと選択された画像のアクセス先であるパスや、ＩＤとＲＧＢ展開に応じて実行される関数やクラス等も考えられる。

Ｓ３０７で、ＣＰＵ１００は、ネイティブ層２１８で、展開したＲＧＢ画像をスクリプト層２１７で解釈できる形式のデータに変換する。本実施形態では、変換するデータ形式をＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｙＥｘｐｅｒｔＧｒｏｕｐ）とする。Ｓ３０８で、ＣＰＵ１００は、ネイティブ層２１８で、ＪＰＥＧ形式のデータをＢＡＳＥ６４データに変換し、スクリプト層２１７へ送信する。これは、スクリプト層２１７では、ＲＧＢ画像のデータ配列をそのまま利用できないため、ネイティブ層２１８において、スクリプト層２１７で利用できる形式に変換する必要があるためである。ＪａｖａＳｃｒｉｐｔ（登録商標）では、文字列しか扱えないため、本実施形態では、文字列としてデータを表現するＢＡＳＥ６４の形式を利用する。

Ｓ３０９で、ＣＰＵ１００は、スクリプト層２１７で、ネイティブ層２１８で変換されたＢＡＳＥ６４データを受信するとともに、そのＢＡＳＥ６４データを表示するための描画領域をＲＡＭ１０２に確保する。本実施形態では、描画領域の確保の一例としてＨＴＭＬのＣａｎｖａｓ機能を利用し、画像の描画は、Ｃａｎｖａｓの有するＣｏｎｔｅｘｔオブジェクトのＡＰＩを利用する。

Ｓ３１０で、ＣＰＵ１００は、スクリプト層２１７で、補正パラメータを生成し、初期化する。ここで、補正パラメータとは、Ｓ２２の画像処理の内容を決定するパラメータ群を保持するオブジェクトである。ＪａｖａＳｃｒｉｐｔ（登録商標）で保持する補正パラメータの一例として、下記のような形態が考えられる。

var CorrectionParam = function(){
this.brightness = 0;
}

この補正パラメータは、ＣｏｒｒｅｃｔｉｏｎＰａｒａｍオブジェクトの中に、明るさ補正用にｂｒｉｇｈｔｎｅｓｓという名前の変数が設けられており、０という値を格納するということを表している。

本実施形態では、説明の簡略化のために、補正パラメータは明るさ（輝度）補正用のみであるが、その他の補正処理用のパラメータ（ぼかしフィルタの強度、セピア変換のオン・オフ等）を追加しても良い。

Ｓ３１１で、ＣＰＵ１００は、スクリプト層２１７で、描画領域で描画するデータにＢＡＳＥ６４データを指定し、それに従って、その描画領域に画像を描画する。具体的には、インタプリタ２１４がＢＡＳＥ６４データのスクリプトを解釈し、描画領域に画像として表示する。ここで、描画領域に、ＢＡＳＥ６４データを反映させるサンプルコードの一例を示す。

--------------------------------------------------
var base64Data = ネイティブ層からのＢＡＳＥ６４データ
var canvas = document.createElement("canvas"); //画像の描画領域確保
canvas.setAttribute("width", 100); //描画領域の大きさ設定
canvas.setAttribute("height", 100);
var context = canvas.getContext("2d"); //描画領域に描画するＡＰＩを持つオブジェクトの生成
var img = new Image(); //Imageオブジェクトの生成
img.src = base64Data; //画像のＵＲＩを受け取ったＢＡＳＥ６４データとする
img.onload = function(){ //画像のロードが終わってから処理を開始する
context.drawImage(img, 0, 0, img.width, img.height, 0, 0, canvas.width, canvas.height); //contextオブジェクトのメソッドを用いて画像を描画領域に描画
document.getElementById("div").appendChild(canvas);
//本フローチャートではＣａｎｖａｓが何層にもなるレイヤー構造を想定している。これらのＣａｎｖａｓは至る所好き勝手に存在するわけではなく、描画、移動、拡大等の操作は、特定の領域内（図１２の描画領域１２０６）で完結する。その領域を指定しているものが「ｄｉｖ」であり、Ｃａｎｖａｓはそのｄｉｖに追加されてゆく形態をとる。
}
--------------------------------------------------

＜画像処理の詳細＞
図３のＳ２２の画像処理の詳細について、図５を用いて説明する。
Ｓ４０１で、ＣＰＵ１００は、スクリプト層２１７で、補正パラメータを設定する。ここでは、図３のＳ３１０で生成した補正パラメータのｂｒｉｇｈｔｎｅｓｓの値を、スライドバー１２０２に対するユーザ操作に応じて設定される値に更新する。Ｓ４０２で、ＣＰＵ１００は、スクリプト層２１７で、インジケータを起動し、ディスプレイ１０４に表示する。ここで、インジケータとは、ユーザに処理中である旨を伝える表示であり、一般には、プログレスバーや、時計マーク、図形の点滅や回転等の画像で表現する。Ｓ４０３で、ＣＰＵ１００は、スクリプト層２１７で、設定した補正パラメータをネイティブ層２１８で利用できる形式に変換する。ここで、補正パラメータはオブジェクトの形態を取っており、そのままではネイティブ層２１８で利用できないため、設定した補正パラメータをＪＳＯＮ文字列に変換する。そして、ＣＰＵ１００は、ＪＳＯＮ文字列に変換された補正パラメータを、図３のＳ３０１で生成したＩＤと共にネイティブ層２１８へ送信する。

Ｓ４０４で、ＣＰＵ１００は、ネイティブ層２１８で、ＪＳＯＮ文字列に変換された補正パラメータをデコードし、補正パラメータを取得する。より具体的には、補正パラメータをＯＳ層２１９に備えられているパーサを利用してパースする。パース後に、上記の例の場合、補正パラメータ内のｂｒｉｇｈｔｎｅｓｓを取得することになる。

Ｓ４０５で、ＣＰＵ１００は、ネイティブ層２１８で、スクリプト層２１７から取得したＩＤを基に、図３のＳ３０５で展開されたＲＧＢ画像を特定する。尚、上述のように、ＩＤと画像の対応付けは、ＩＤとＲＧＢ画像と対にすることに限定されるわけではなく、例えば、ＩＤと画像のパスを関連付ける方法を用いてもよい。その他にＩＤと関連付ける例として、ネイティブ層２１８のオブジェクト、画像データの先頭アドレス、画像を呼び出す関数等、様々なものが考えられる。

Ｓ４０６で、ＣＰＵ１００は、ネイティブ層２１８で、取得した補正パラメータから施すべき画像処理を判断し、ＲＧＢ画像に対して画像処理を行う。本実施形態では、明るさ補正のパラメータにより、全ての画素のＲＧＢの値に１０が加算される。

Ｓ４０７で、ＣＰＵ１００は、ネイティブ層２１８で、画像処理が施されたＲＧＢ画像から、スクリプト層２１７で解釈できる形式のデータに変換する。ここでは、図３のＳ３０７と同様に、ＪＰＥＧ形式のデータに変換する。Ｓ４０８で、ＣＰＵ１００は、ネイティブ層２１８で、スクリプト層２１７にインジケータの停止を依頼する。これは、ネイティブ層２１８から、スクリプト層２１７で定義されているインジケータ停止の関数を呼び出すことで実現する。

Ｓ４０９で、ＣＰＵ１００は、スクリプト層２１７で、インジケータを停止して、ディスプレイ１０４の表示から消去する。

一方、Ｓ４１０で、ＣＰＵ１００は、ネイティブ層２１８で、変換されたＪＰＥＧ形式のデータをＢＡＳＥ６４データに変換し、スクリプト層２１７へ送信する。

Ｓ４１１で、ＣＰＵ１００は、スクリプト層２１７で、ネイティブ層２１８で変換されたＢＡＳＥ６４データを受信し、それに従って、図３のＳ３０９で確保した描画領域に画像を描画する。この画像がＯＳ層２１９で解釈されることで、指定した表示領域内に画像として表示される。

画像処理機能の選択においては、本実施形態では、図１４に示すように、プルダウンメニュー１４０１を含む機能選択画面１４００によって、利用できる画像処理機能の一覧を表示し、ユーザが所望の処理を選択することができる。

ここで、プルダウンメニュー１４０１中の「ＩｍａｇｅＦｉｘ」とは、写真画像を、人物顔検出やシーン解析部を用いて自動で解析し、適切な明るさ・ホワイトバランス調整を行う機能（顔検出機能）である（特開２０１０−２７８７０８号公報参照）。また、「ＲｅｄｅｙｅＦｉｘ」とは、画像中から自動で赤目画像を検出して補正する機能（赤目検出機能）である（特開２００６−３５０５５７号公報参照）。また、「ＳｍａｒｔＳｋｉｎ」とは、写真画像から人物の顔を検出して、該顔の肌領域を好適に加工する機能である（特開２０１０−１０９３８号公報参照）。また、「Ｍｏｎｏ」は、公知のモノクロ変換を行うモノクロ化処理機能である。「Ｓｅｐｉａ」は公知のセピア色変換を行うセピア化処理機能である。尚、画像処理機能の種類には、図１４に示すものに限定されるものではなく、用途や目的に応じて、様々な画像処理を利用することができる。

この時に、本実施形態では、属性情報取得の命令によって、プリンタ１１２が利用可能な画像処理グループをプリンタ１１２から取得する。画像処理グループが取得できたら、スクリプト層２１７において、以下のコードによって利用可能な画像処理の表示用スクリプトを制御する。

＜form name=”frmIProc”＞
＜select name=”selIProc”＞
＜/select＞
＜/form＞

＜script type=”text/javascript”＞
Function fAddImageProc(Grp){
var sObj=document.forms[“frmIProc”].elements[“selIProc”];
if( Grp =”A” ){
var idx=sObj.length;
sObj.options[idx]=new Option(“ImageFix”);
var idx=sObj.length;
sObj.options[idx]=new Option(“RedEyeFix”);
var idx=sObj.length;
sObj.options[idx]=new Option(“SmartSkin”);
var idx=sObj.length;
sObj.options[idx]=new Option(“Mono”);
var idx=sObj.length;
sObj.options[idx]=new Option(“Sepia”);
}
Else if (Grp=”B”){
var idx=sObj.length;
sObj.options[idx]=new Option(“Mono”);
var idx=sObj.length;
sObj.options[idx]=new Option(“Sepia”);
}
}
＜/script＞

上記スクリプト操作においては、取得した画像処理グループに応じて、選択可能な画像処理機能を切り替える。ここでは、画像処理グループとして、プリント機能のみを有するシングルファンクションプリンタとプリント以外の機能も有するマルチファンクションプリンタの２つがある場合について説明する。

画像処理グループがシングルファンクションプリンタである場合、図１６に示すように、プリントするためのプリントボタン１６０１と、その際に選択可能な画像処理機能リストを含むプルダウンメニュー１６０２を含む機能選択画面１６００を表示する。各画像処理機能については前述したため、ここでは割愛する。

また、画像処理グループがマルチファンクションプリンタである場合、図１７に示すように、プリントするためのプリントボタン１７０１と、スキャンするためのスキャンボタン１７０２を含む機能選択画面１７００を表示する。また、機能選択画面１７００では、その際の選択可能な画像処理機能リストを含むプルダウンメニュー１７０３を表示する。画像処理機能リスト中の「ＩｍａｇｅＦｉｘ」、「ＲｅｄｅｙｅＦｉｘ」、「ＳｍａｒｔＳｋｉｎ」、「Ｍｏｎｏ」、「Ｓｅｐｉａ」については前述しているためここでは説明しない。新たな機能として、原稿の有する紙の色や裏写り部分の除去を行う「ＢａｃｋＤｅｓｔｒｕｃｔ」がある。さらに、原稿読込時に生じるモアレを低減する「ＭｏｉｒｅＲｅｄｕｃｔ」、原稿に付着したごみや傷等を除去する「ＤｕｓｔＲｅｄｕｃｔ」等がある。

ここで、マルチファンクションプリンタの機能として、プリントとスキャン以外の機能があってもよい。また、マルチファンクションプリンタのプリント時に選択可能な画像処理機能とスキャン時に選択可能な画像処理機能についても、本実施形態で示す画像処理機能に限定されない。さらに、シングルファンクションプリンタとマルチファンクションプリンタのプリント時の画像処理機能は異なっていてもよい。

上記スクリプトは、ＯＳ層２１９が保持するインタプリタ２１４で翻訳され、画面上に描画される。

ユーザが所望の画像処理機能を選択すると、ＨＴＭＬの機能によって、選択された画像処理機能を識別する画像処理ＩＤが判別できる。この画像処理ＩＤは、ネイティブ層２１８に伝達され、画像処理部２０８において、選択した画像処理機能に相当する画像処理が適用される。尚、ここでは各画像処理の詳細に関する説明は割愛する。

また、図１６では、プリンタの種類に応じてユーザが選択可能な画像処理を絞り込んで表示する例を示している。但し、表示方法はこれに限らず、例えば、情報処理装置１１５の性能に適さない画像処理を選択可能に表示するものの、警告マーク等の表示アイテムや警告文書を表示させてもよい。上記の表示アイテムや警告文書は、ユーザが当該画像処理を選択する前に表示されてもよいし、ユーザによる選択に応じて表示されてもよい。

また、例えば、特定の画像処理に必要なプログラムがインストールされていない場合など、情報処理装置１１５が実行できない画像処理についてはユーザによる選択肢から除外し、情報処理装置１１５に適さない画像処理については警告を行ってもよい。

＜スタンプ追加の詳細＞
図３のＳ２３のスタンプ追加の詳細について、図６を用いて説明する。ここでは、ユーザ操作によって、図１２のアプリケーション画面１２００のスタンプ追加ボタン１２０３が押下されてスタンプ一覧が表示された後、ハートスタンプ１２０８が選択された場合を例に挙げて説明する。

Ｓ５０１で、ＣＰＵ１００は、スクリプト層２１７で、一意なＩＤを生成する。このＩＤは、図３のＳ３０１で生成するＩＤと同等の性質を有する。Ｓ５０２で、ＣＰＵ１００は、スクリプト層２１７で、生成したＩＤととともに、スタンプとして利用される画像のアクセス先（絶対パス）をネイティブ層２１８に送信することで、スタンプに対応するスタンプ画像の画像選択を依頼する。

Ｓ５０３で、ＣＰＵ１００は、ネイティブ層２１８で、スクリプト層２１７から受信したスタンプ画像の絶対パスとデバイス固有の画像選択ＡＰＩを利用して、スタンプ画像を取得する。Ｓ５０４で、ＣＰＵ１００は、ネイティブ層２１８で、取得したスタンプ画像をＲＧＢ展開する。Ｓ５０５で、ＣＰＵ１００は、ネイティブ層２１８で、展開したＲＧＢ画像を、スクリプト層２１７から取得したＩＤと関連付けてデータ保持部２０４に保持する。関連付け方法は、図３のＳ３０６と同様である。Ｓ５０６で、ＣＰＵ１００は、ネイティブ層２１８で、展開したＲＧＢ画像をスクリプト層２１７で解釈できる形式のデータに変換する。ここでの変換は、図３のＳ３０７と同様に、ＪＰＥＧ形式のデータに変換する。Ｓ５０７で、ＣＰＵ１００は、ネイティブ層２１８で、ＪＰＥＧ形式のデータをＢＡＳＥ６４データに変換し、スクリプト層２１７へ送信する。

Ｓ５０８で、ＣＰＵ１００は、スクリプト層２１７で、ネイティブ層２１８で変換されたＢＡＳＥ６４データを受信するとともに、そのＢＡＳＥ６４データを表示するための描画領域をＲＡＭ１０２に確保する。Ｓ５０９で、ＣＰＵ１００は、スクリプト層２１７で、オブジェクトパラメータを生成し、初期化する。ここで、オブジェクトパラメータとは、図３のＳ２７のレンダリングの際、レンダリング後のスタンプの回転角度を決定するために用いられるパラメータを保持するオブジェクトである。ＪａｖａＳｃｒｉｐｔ（登録商標）で保持するオブジェクトパラメータの一例としては、下記のような形態が考えられる。

var ObjectParam = function(){
this.theta = 0;
this.posX = 0;
this.posY = 0;
this.width = 100;
this.height = 100;
}

このオブジェクトパラメータは、ＯｂｊｅｃｔＰａｒａｍオブジェクトの中に、回転角度を示すｔｈｅｔａという変数名と、ｔｈｅｔａには０という値が格納されているということを表している。同様に、ｐｏｓＸは描画領域の左上を基準点とした時のｘ座標、ｐｏｓＹは描画領域の左上を基準点とした時のｙ座標、ｗｉｄｔｈは描画領域の横幅、ｈｅｉｇｈｔは描画領域の縦幅を表している。尚、本実施形態では、説明を簡単にするため、オブジェクトパラメータは必要最小限であるが、その他のパラメータ（平行移動量、拡大倍率等）を追加し、描画時やレンダリング時に利用できることは明らかである。

Ｓ５１０で、ＣＰＵ１００は、スクリプト層２１７で、ＢＡＳＥ６４データを、生成したオブジェクトパラメータを基に、描画領域１２０６に画像として表示する。尚、本実施形態では、説明を簡単にするために、スタンプを１つ選択した場合を例に挙げているが、複数個のスタンプを選択できる。また、本実施形態では、スタンプに予め用意した画像を利用しているが、Ｃｏｎｔｅｘｔオブジェクトを利用して描画物をスクリプト層で生成する方法を用いても良い。

＜スタンプ特定の詳細＞
図３のＳ２４のスタンプ特定の詳細について、図７を用いて説明する。

Ｓ６０１で、ＣＰＵ１００は、ネイティブ層２１８で、ディスプレイ１０４上でタッチされた座標を取得し、スクリプト層２１７に送信する。

Ｓ６０２で、ＣＰＵ１００は、スクリプト層２１７で、ネイティブ層２１８から受信した座標と、図５のＳ５０９で生成したオブジェクトパラメータの情報より、図３のＳ２３で追加したスタンプがタッチされたかどうかを判断する。追加したスタンプにおいて、オブジェクトパラメータは初期値のままである。そのため、上記のオブジェクトパラメータの一例に従えば、スタンプは、描画領域１２０６の左上を（０，０）とし、そこからｘ方向に１００、ｙ方向に１００の領域に描画されていることになる。これより、受信した座標の座標（ｘ，ｙ）の内、」ｘ座標から描画領域１２０６のｘ座標分を差し引いた値が０〜１００の範囲、かつ、ｙ座標から描画領域１２０６のｙ座標分を差し引いた値が０〜１００の範囲であれば、スタンプはタッチされたと判断できる。スタンプがタッチされたと判断された場合、そのスタンプは、操作受付状態となる。以降の説明では、Ｓ２３で追加したスタンプがタッチされたものとして説明する。

Ｓ６０３で、ＣＰＵ１００は、スクリプト層２１７で、判断結果に応じて、スタンプを操作受付状態に設定する。ここで、操作受付状態に設定することは、タッチされたスタンプのＩＤを注目スタンプＩＤとして、一時的にスクリプト層２１７に記録しておくことである。これは、データ保持部２０４には、画像とＩＤが対となって記憶されているため、ＩＤさえ把握しておけば一意な画像を特定できるためである。

＜スタンプ操作の詳細＞
図３のＳ２５のスタンプ操作の詳細について、図８を用いて説明する。

Ｓ７０１で、ＣＰＵ１００は、スクリプト層２１７で、スタンプのオブジェクトパラメータのｒｏｔａｔｅの値を更新する。例えば、図１２のスライドバー１２０４で設定した値に更新する。Ｓ７０２で、ＣＰＵ１００は、スクリプト層２１７で、オブジェクトパラメータを用いて、図７のＳ６０３で操作受付状態に設定されたスタンプを描画領域１２０６に再描画する。例えば、スタンプ画像の描画をＨＴＭＬのＣａｎｖａｓで行っている場合、ＣａｎｖａｓのＣｏｎｔｅｘｔオブジェクトのｒｏｔａｔｅメソッドを利用することで、Ｃａｎｖａｓ内の画像を回転することが可能である。

尚、本実施形態では、スタンプの操作は回転のみであるが、拡大・縮小、平行移動等の他の操作も考えられる。また、写真画像に対してオブジェクトパラメータを持たせれば、スタンプ操作と同様の操作が可能となることも、明らかである。

＜プリンタ設定の詳細＞
図３のＳ２６のプリンタ設定の詳細について、図９を用いて説明する。

Ｓ８０１で、ＣＰＵ１００は、スクリプト層２１７からネイティブ層２１８へデバイス情報としてのプリンタ情報取得を依頼する。これは、プリンタ１１２と通信を行うためのスクリプト層２１７からの要求にあたる。依頼の方法は、画像選択時と同様に、バインディング機能によりスクリプトからネイティブ固有のＡＰＩを呼び出す。ネイティブ層２１８には、スクリプト層２１７から直接呼び出せる関数もしくはその関数を間接的に呼び出す、いわゆる、ラッパーが予め用意してある。例えば、ＧｅｔＰｒｉｎｔｅｒＩｎｆｏというネイティブ関数を用意しておき、スクリプト側からその関数を呼び出す。このように、ネイティブ層はスクリプトからの外部デバイスとの通信の要求を取得する。

通常、スクリプト層２１７からはセキュリティ上の制限で外部デバイスと直接通信することはできない。そのため、上記のように、スクリプト層２１７から、一旦、ネイティブ層２１８へ外部デバイス情報の取得を依頼し、ネイティブ層２１８を介して外部デバイスと通信を行う。ここで、ネイティブ層２１８は、ＯＳ層２１９を介して、外部デバイス（例えば、プリンタ１１２）と通信する機能を備えている。

Ｓ８０２で、ＣＰＵ１００は、ネイティブ層２１８で、スクリプト層２１７からの依頼に従って、プリンタ情報取得のための関数を呼び出し、プリンタの検知、いわゆる、ディスカバリを行う。この検知には、例として、同一の無線ＬＡＮルータで接続しているプリンタを検知するという方法がある。ここでは、通信可能なプリンタの検知を行うため、例えば、Ｂｏｎｊｏｕｒ等のプロトコルにより、ブロードキャストやマルチキャスト等の方法で応答の要求を行い、プリンタからの応答を待機することでプリンタを検知する。

Ｓ８０３で、ＣＰＵ１００は、ネイティブ層２１８で、プリンタ１１２からの応答に含まれるＩＰアドレスを記憶する。Ｓ８０４で、ＣＰＵ１００は、ネイティブ層２１８で、記憶したＩＰアドレスに対応するプリンタ１１２へ、デバイス情報取得コマンドとしてプリンタ情報取得コマンドを送信する。ここで、応答したプリンタ１１２が複数である場合、全てのプリンタ１１２に対して、プリンタ情報取得コマンドを送信する。プリンタ情報取得コマンドとは、プリンタの動作を指定する命令であり、その一例としては、以下のようなＸＭＬで表現される。

----------------------------------------------
01: ＜?xml version="1.0" encoding="utf-8" ?＞
02: ＜cmd xmlns:trans="http://www.xxxx/yyyyy/"＞
03: ＜contents＞
04: ＜operation＞GetCapability＜/operation＞
05: ＜/contents＞
06: ＜/cmd＞
----------------------------------------------

上記各行の左側に書かれている「０１：」等の数値は説明を行うために付加した行番号であり、本来のＸＭＬ形式のテキストには記載されない。

１行目はヘッダであり、ＸＭＬ形式で記述していることを表している。

２行目のｃｍｄはコマンドの開始を意味する。ｘｍｌｎｓで名前空間を指定し、コマンドの解釈の定義を指定している。尚、６行目の＜／ｃｍｄ＞でコマンドの終了を示している。

３行目は以後に内容を記載する宣言であり、５行目でその終了を示している。

４行目には要求する命令が記載されており、＜ｏｐｅｒａｔｉｏｎ＞と＜／ｏｐｅｒａｔｉｏｎ＞の間に実際の命令文言が存在する。命令文言であるＧｅｔＣａｐａｂｉｌｉｔｙは、外部デバイスであるプリンタの情報を取得する命令である。例えば、プリンタが対応している用紙種類、サイズ、縁なし印刷機能の有無、印刷品位、等のケーパビリティ情報を提供するよう要求する。

尚、プリンタ情報取得コマンドの生成は、例えば、ＲＯＭ１０１に予め記憶した固定のテキストを読み込んでも構わない。また、ＸＭＬ等のテキスト形式に限らず、バイナリ形式で記述し、それに沿ったプロトコルで通信しても良い。また、生成したプリンタ情報取得コマンドは、ＨＴＴＰ等のプリンタが対応している通信プロトコルに従った形式で、プリンタ通信部２１３を介してプリンタ１１２へ送信される。

また、通信方法はこれに限定されるものではない。Ｗｉ−Ｆｉ（登録商標）ダイレクトやＢｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、電話回線、有線ＬＡＮ、ＵＳＢを用いた接続でも良く、その方法に沿ったプロトコルで通信を行えば同様の効果を得ることができる。

図９では、ネイティブ層２１８で、プリンタ情報取得コマンドを生成する構成としているが、スクリプト層２１７で、プリンタ情報取得コマンドを生成する構成でも、同様の効果が得られる。その場合、スクリプト層２１７で、例えば、上記のＸＭＬ形式の命令文を含むプリンタ情報取得コマンドを作成し、ネイティブ層２１８へ渡す。それを受けて、ネイティブ層２１８は、通信プロトコルに従った形式でプリンタ１１２へプリンタ情報取得コマンドを送信する。

プリンタ１１２は、情報処理装置１１５からプリンタ情報取得コマンドを受信すると、デバイス情報であるプリンタ情報をＸＭＬ形式で通信プロトコルに沿って、情報処理装置１１５へ送信する。以下に、プリンタの情報の一例を示す。

----------------------------------------------
01: ＜?xml version="1.0" encoding="utf-8" ?＞
02: ＜cmd xmlns:trans="http://www.xxxx/yyyyy/"＞
03: ＜contents＞
04: ＜device id=”Printer001” /＞
05: ＜mode = 1＞
06: ＜media＞GlossyPaper＜/media＞
07: ＜size＞A4＜/size＞
08: ＜quality＞1＜/quality＞
09: ＜border＞no＜/border＞
10: ＜/mode＞
11: ＜mode = 2＞
〜中略〜
＜/mode＞
＜mode = 3＞
〜中略〜
＜/mode＞

〜中略〜

＜/contents＞
＜/cmd＞
----------------------------------------------

１行目はヘッダであり、ＸＭＬ形式で記述していることを表している。
２行目のｃｍｄはコマンドの開始を意味する。ｘｍｌｎｓで名前空間を指定し、コマンドの解釈の定義を指定している。尚、最下行の＜／ｃｍｄ＞でコマンドの終了を示している。

３行目は以後に内容を記載する宣言であり、下の＜／ｃｏｎｔｅｎｔｓ＞までその内容は継続する。
４行目でデバイスＩＤを示している。ここでは、プリンタ１１２の機種名が「Ｐｒｉｎｔｅｒ００１」であることを表している。
５行目以降はプリンタ１１２が有する各モードについての記述である。＜ｍｏｄｅ＞から＜／ｍｏｄｅ＞までで、１つのモードにおける情報が記述されている。５行目では、モードの番号が１である。以降の＜ｍｅｄｉａ＞は印刷用紙の種類、＜ｓｉｚｅ＞は用紙サイズ、＜ｑｕａｌｉｔｙ＞は印刷品位、＜ｂｏｒｄｅｒ＞は縁あり／なしの情報をそれぞれ記述している。

１１行目以降は他のモードであるモード２についての情報が記述されている。このように、プリンタ１１２の機種名と、そのプリンタが対応している全てのモードがこのＸＭＬに記述されている。

尚、プリンタ情報の記述方法はこれに限定されることはなく、タグ形式でないテキストや、バイナリ形式等の他の形式であっても構わない。

Ｓ８０５で、ＣＰＵ１００は、ネイティブ層２１８で、プリンタ１１２からプリンタ情報を受信する。ＣＰＵ１００は、ネイティブ層で、受信したプリンタ情報から、例えば、プリンタ１１２が有する全てのモードにおける印刷用紙の種類、サイズ、印刷品位、縁あり／なしの項目と項目数等を含むプリンタ機能一覧を取得する。

Ｓ８０６で、ＣＰＵ１００は、ネイティブ層２１８で、受信したプリンタ情報をスクリプト層２１７が解釈できる形式に変換して、スクリプト層２１７へ送信する。つまり、プリンタ１１２との通信によって得られた情報をスクリプト層２１７へ渡す。具体的には、ネイティブ関数を設けておき、バインディング機能を用いる。スクリプト層２１７からそのネイティブ関数を呼び出し、戻り値として情報を受け渡す。取得するモード等を引数とし、スクリプト層２１７はそのモードの戻り値を受け取るようにしても良い。その他の例として、受け取ったＸＭＬ形式のプリンタ情報で送信したり、タグなしのテキスト形式に変えて送信する等の方法がある。加えて、上述のＪＳＯＮ文字列を用いた受け渡しや、データ変換部２０７及び２０３を用いてＢＡＳＥ６４等の文字列で受け渡しを行ってもよい。

Ｓ８０７で、ＣＰＵ１００は、スクリプト層２１７で、ネイティブ層２１８から受信したプリンタ情報に基づいて、プリンタ１１２で利用できる機能を含む設定画面（図１３）を形成し、表示する。これを、本実施形態では、表示制御と呼ぶ。ここで、接続可能なプリンタが複数ある場合は、プリンタ名を表示し、ユーザに印刷するプリンタを選択させるための表示画面を生成する（表示内容を制御する）。尚、プリンタの選択は、上記に限らず、一番早く応答してきたプリンタや、より機能が多いプリンタ、印刷ジョブが混んでいないプリンタを選択する、等の方法も考えられる。

このように、ＣＰＵ１００は、スクリプト層２１７で、印刷用紙の種類・サイズ、印刷品位、縁あり／なし等のプリンタで利用できる機能を選択させる設定画面１３０１（図１３）を表示する。設定画面の形成方法の一例として、以下に、ＨＴＭＬ記述のサンプルを示す。

------------------------------------------------
＜!DOCTYPE html＞
＜head＞
＜title＞印刷設定＜/title＞
＜script＞
＜!-- 用紙サイズ --＞
var PaperSizeNum = GetPaperSizeNum();
var p = document.getElementById("PaperList");
var i;
for(i=0; i＜PaperSizeNum; i++){
p.options[i] = new Option(GetPaperSize(i), GetPaperSize(i));
}

＜!-- 用紙種類--＞
var MediaTypeNum = GetMediaTypeNum();
var m = document.getElementById("MediaList");
var j;
for(j=0; j＜MediaTypeNum; j++){
m.options[i] = new Option(GetMediaType(j), GetMediaType(j));
}

＜!-- 印刷品位 --＞
var QualityNum = GetQualityNum();
var q = document.getElementById("QualityList");
var k;
for(k=0; k＜ QualityNum; k++){
q.options[i] = new Option(GetQuality(k), GetQuality(k));
}

＜!-- 縁あり/なし--＞
var BorderNum = GetBorderNum();
var b = document.getElementById("BorderList");
var l;
for(l=0; l＜BorderNum; l++){
b.options[i] = new Option(GetBorder(l), GetBorder(l));
}

＜!-- 印刷関数--＞
function printer() {
SetPrint(document.getElementById("PaperList").value,
document.getElementById("MediaList").value,
document.getElementById("QualityList").value,
document.getElementById("BorderList").value);
}
＜/script＞
＜/head＞

＜!-- 表示部 --＞
＜body＞
用紙サイズ＜select id="PaperList"＞＜/select＞＜br /＞
用紙種類＜select id="MediaList"＞＜/select＞＜br /＞
印刷品位＜select id="QualityList"＞＜/select＞＜br /＞
縁あり/なし＜select id="BorderList"＞＜/select＞＜br /＞
＜br /＞

＜button id="btn1" onclick="printer()"＞設定完了＜/button＞
＜/body＞
＜/html＞
------------------------------------------------

上記のＧｅｔＰａｐｅｒＳｉｚｅＮｕｍ（）、ＧｅｔＭｅｄｉａＴｙｐｅＮｕｍ（）、ＧｅｔＱｕａｌｉｔｙＮｕｍ（）、ＧｅｔＢｏｒｄｅｒＮｕｍ（）はネイティブ関数であり、それぞれの項目数を取得する機能を備える。例えば、プリンタが対応している用紙サイズがＡ４、Ａ５、Ｂ５、Ｌ判の４種類である場合、ＧｅｔＰａｐｅｒＳｉｚｅＮｕｍ（）は４を返す。

ＧｅｔＰａｐｅｒＳｉｚｅ（ｎ）、ＧｅｔＭｅｄｉａＴｙｐｅ（ｎ）、ＧｅｔＱｕａｌｉｔｙ（ｎ）、ＧｅｔＢｏｒｄｅｒ（ｎ）もネイティブ関数であり、引数ｎの値番目の文字列を返す。例えば、用紙サイズのテキストを返す関数のＧｅｔＰａｐｅｒＳｉｚｅ（０）の返り値は「Ａ４」、ＧｅｔＰａｐｅｒＳｉｚｅ（１）の返り値は「Ａ５」となる。これらの値は、プリンタから受信するプリンタ情報からネイティブ関数が取り出す。

尚、上記では、例として、用紙サイズ、用紙種類、印刷品位、縁あり／なしの設定を行う仕様であるが、これに限定されるものではない。他の例として、両面／片面、カラー／モノクロ、画像補正のオン／オフ等の他の設定項目が挙げられる。また、印刷機能のみではなく、プリンタが処理可能な画像処理や解析処理、サイレントモードの有無、メモリカードの利用有無、インク残量等のステータス等の情報を表示しても良い。

Ｓ８０８で、ＣＰＵ１００は、スクリプト層２１７で、設定画面１３０１に対するユーザ操作に基づいて、プリンタに設定する機能を選択する。上記の例で示したＨＴＭＬ記述を、レンダリング部２１６を用いてレンダリングしてディスプレイ１０４に表示した例が、図１３の設定画面１３０１である。ネイティブ層２１８を介してプリンタ情報を要求し、プリンタ情報から、上記のネイティブ関数を用いて取得した情報を基に設定画面１３０１が形成されている。

尚、上記では、ＨＴＭＬ記述はスクリプト層２１７で形成する構成で説明しているが、これに限定されるものではない。例えば、ネイティブ層２１８でＨＴＭＬ記述を形成し、スクリプト層２１７でそれをレンダリングしてディスプレイ１０４に表示するようにしても良い。

また、設定画面１３０１の用紙サイズ等の設定項目はそれぞれプルダウンメニューになっており、ユーザ操作によって各設定項目を選択することができる。ここで、設定画面１３０１は、プルダウンメニューによって、用紙サイズの設定項目として選択可能な項目の一覧が表示されている状態を示しており、ユーザ操作によってＡ４やＡ５等の用紙サイズを選択することができる。

Ｓ８０９で、ＣＰＵ１００は、スクリプト層２１７で、設定完了ボタン１３０２に対するユーザ操作を検知すると、ユーザ操作によって選択された設定項目を含む設定情報を作成して、ネイティブ層２１８へ送信する。上記ＨＴＭＬ記述の例にあるＳｅｔＰｒｉｎｔ（）もバインディング機能を有するネイティブ関数である。上記の例では、ＳｅｔＰｒｉｎｔ（）を用いて、用紙サイズ、用紙種類、印刷品位、縁あり／なしの設定を文字列としてネイティブ層２１８へ渡している。

Ｓ８１０で、ＣＰＵ１００は、ネイティブ層２１８で、バインディング機能によりスクリプト層２１７から設定情報を受信する。ネイティブ層２１８では、後に、受信した設定情報を基に、プリンタ１１２の通信プロトコルに従って、プリントコマンドを生成して、プリンタ通信部２１３を介してプリンタ１１２へ送信することになる。

以上のように、ＣＰＵ１００は、スクリプト層２１７からの要求によりネイティブ層２１８を介してプリンタ１１２から情報を取得する通信制御を行う。これにより、ＣＰＵ１００は、プリンタ１１２の性能を取得して、スクリプト層２１７で表示されるＵＩを制御することができる。

＜レンダリングの詳細＞
図３のＳ２７のレンダリングの詳細について、図１０を用いて説明する。

Ｓ９０１で、ＣＰＵ１００は、スクリプト層２１７で、インジケータの起動をＯＳ層２１９に依頼する。

Ｓ９０２で、ＣＰＵ１００は、ＯＳ層２１９で、依頼によって起動したインジケータをディスプレイ１０４に表示する。

Ｓ９０３で、ＣＰＵ１００は、スクリプト層２１７で、Ｓ８０９で作成した設定情報で設定されている用紙サイズに対応する出力サイズを決定し、出力画像の描画領域を算出する。

Ｓ９０４で、ＣＰＵ１００は、ＯＳ層２１９で、算出した出力画像の描画領域をＲＡＭ１０２に確保する。

Ｓ９０５で、ＣＰＵ１００は、スクリプト層２１７で、ＯＳ層２１９に写真画像の描画を依頼する。

Ｓ９０６で、ＣＰＵ１００は、ＯＳ層２１９で、写真画像の描画の依頼のスクリプトを解釈し、写真画像をレンダリングする。その後、Ｓ９０７で、Ｓ９０４で確保した描画領域に対し、レンダリング後の写真画像を反映する。ここでの反映とは、描画領域に変更を加えることであり、ディスプレイ１０４上に画像を表示することではない。

Ｓ９０８で、ＣＰＵ１００は、スクリプト層２１７で、スタンプ画像の描画を依頼する前に、オブジェクトパラメータによるレンダリング条件の変更をスクリプトで記述して設定する。Ｓ９０９で、ＣＰＵ１００は、スクリプト層２１７で、ＯＳ層２１９にスタンプ画像の描画を依頼する。

Ｓ９１０で、ＣＰＵ１００は、ＯＳ層２１９で、レンダリング条件に従って、スタンプ画像をレンダリングする。つまり、画像の回転処理やリサイズは、ＯＳ層で実行されている。レンダリング終了後、Ｓ９１１で、Ｓ９０４で確保した描画領域に対し、レンダリング後のスタンプ画像を反映する。

Ｓ９１２で、ＣＰＵ１００は、スクリプト層２１７で、ＯＳ層２１９に出力画像データの取得を依頼する。

Ｓ９１３で、ＣＰＵ１００は、ＯＳ層２１９で、描画領域に存在する画像データを、ＢＡＳＥ６４データに変換して、スクリプト層２１７へ送信する。

Ｓ９１４で、ＣＰＵ１００は、スクリプト層２１７で、ネイティブ層２１８に対し、ＯＳ層２１９から受信したＢＡＳＥ６４データを送信して、印刷を依頼する。

Ｓ９１５で、ＣＰＵ１００は、ネイティブ層２１８で、スクリプト層２１７から受信したＢＡＳＥ６４データをデコードする。Ｓ９１６で、ＣＰＵ１００は、ネイティブ層２１８で、ＢＡＳＥ６４データをＲＧＢ画像に変換する。Ｓ９１７で、ＣＰＵ１００は、ネイティブ層２１８で、インジケータの停止をＯＳ層２１９へ依頼する。

Ｓ９１８で、ＣＰＵ１００は、ＯＳ層２１９で、インジケータを停止して、ディスプレイ１０４の表示から消去する。

＜プリントの詳細＞
図３のＳ２８のプリントの詳細について、図１１を用いて説明する。

Ｓ１００１で、ＣＰＵ１００は、ネイティブ層２１８で、Ｓ８０９で作成した設定情報を基に、Ｓ９１６で変換したＲＧＢ画像をプリンタ１１２で利用可能な形式に変換する。プリンタが利用可能な形式は、ＲＧＢやＪＰＥＧ、ＣＭＹＫ、ＰＤＦ等のプリンタベンダーの独自フォーマット等の画像データである。Ｓ１００２で、ＣＰＵ１００は、ネイティブ層２１８で、設定情報とＳ１００１で変換した画像を基に、プリンタ１１２へ送信するコマンドを生成する。Ｓ１００３で、ＣＰＵ１００は、ネイティブ層２１８で、プリンタの利用できる通信プロトコルに則り、Ｓ１００２で生成したコマンドを、Ｓ８０３で記憶したＩＰアドレスに対応するプリンタ１１２に対し、プリンタ通信部２１３を利用して送信する。

Ｓ１００４で、プリンタ１１２は、情報処理装置１１５から受信したコマンドに従って、プリントを実行する。

以上説明したように、本実施形態によれば、スクリプト層とネイティブ層での画像データのやり取りが実現できる。多くのＯＳはＪａｖａＳｃｒｉｐｔを解釈できる機能を標準的に備えている。これにより、ネイティブ言語の違いを意識せずとも、一度の開発で多くのＯＳのユーザに対してのアプリケーション提供が可能となる。それに加え、実行速度で優位であるネイティブ層を利用することが可能となり、ユーザビリティが向上する。また、ネイティブ層を外部サーバとの通信を行わずに実現できるため、オフラインでの動作も可能となる。

＜実施形態２＞
実施形態１では、画像処理グループとして、シングルファンクションプリンタとマルチファンクションプリンタという２つのグループがある場合に、グループに応じて画像処理機能のＵＩ表示を制御しているが、これに限定されるものではない。

例えば、画像処理グループとして、ハイエンドユーザ向けのプロフェッショナルプリンタ、一般ユーザ向けのコンシューマプリンタ、ビジネスユーザ向けのビジネスプリンタという３つのグループがあることも考えられる。

画像処理グループがコンシューマプリンタである場合、図１７と同様の、プリントボタン１７０１、スキャンボタン１７０２及び、プルダウンメニュー１７０３を含む機能選択画面１７００を表示する。

画像処理グループがプロフェッショナルプリンタである場合、図１８に示すような、プリントボタン１８０１、スキャンボタン１８０２、プルダウンメニュー１８０３を含む機能選択画面１８００を表示する。プルダウンメニュー１８０３では、コンシューマプリンタとは異なる機能として、画像をニュートラルグレーから赤味がかったグレーとなるように変換する「ＷａｒｍＭｏｎｏ」がある。また、プルダウンメニュー１８０３では、画像をニュートラルグレーから青味がかったグレーとなるように変換する「ＣｏｌｄＭｏｎｏ」がある。
このように、プロフェッショナルプリンタの場合は、コンシューマプリンタには表示しない詳細な画像処理機能を表示する。これにより、プロフェッショナルプリンタの場合には、一般ユーザのニーズとしては低いがハイエンドユーザのニーズとしては高い機能も選択可能となる。

画像処理グループがビジネスプリンタである場合、図１９に示すような、プリントボタン１９０１、スキャンボタン１９０２、コピーボタン１９０３及びプルダウンメニュー１９０４を含む機能選択画面１９００を表示する。コンシューマプリンタ、プロフェッショナルプリンタとは異なる機能として、文字等のエッジを強調する「Ｅｄｇｅ」、図やグラフ等の色を鮮やかにする「Ｇｒａｐｈｉｃ」がある。

このように、ビジネスプリンタの場合は、コンシューマプリンタやプロフェッショナルプリンタでは使用用途のない、ビジネス文書特有の課題を解決するための画像処理機能を選択することが可能となる。

ここで、コンシューマプリンタ、プロフェッショナルプリンタ、ビジネスプリンタにおいて、プリントやスキャン等の機能表示のＵＩは同一であっても、あるいは、それぞれに異なっていてもよい。

以上説明したように、本実施形態によれば、ユーザにとって不要な画像処理の表示を抑制し、同時に、必要な画像処理の欠落を防止することが可能となり、使用するユーザのニーズに対応した画像処理機能をより最適にユーザに提示することが可能となる。

＜実施形態３＞
実施形態１及び２以外の画像処理グループとして、プリントを含むスキャン、コピー等の各機能実行時に複数の画像処理を行う多用途プリンタと、各機能実行時に簡単な１つの画像処理のみを行う単一用途プリンタという２つのグループがあることも考えられる。このような単一用途のプリンタは、プリンタ本体で実現できる機能は非常に限定している一方で、ユーザは様々な設定を行わずに済み、使い勝手は良い。

画像処理グループが多用途プリンタである場合、図２０に示すように、プリントボタン２００１、スキャンボタン２００２、コピーボタン２００３及びプルダウンメニュー２００４を含む機能選択画面２０００を表示する。これまでの画像処理グループでは表示されていない新たな画像処理機能として、プルダウンメニュー２００４には、「ＤｉｇｉｔａｌＬｅｎｓ」、「ＡｕｔｏＬａｙｏｕｔ」が存在する。「ＤｉｇｉｔａｌＬｅｎｓ」とは、レンズの光学特性を擬似的に画像にかけて変換を行う機能である（特開２０１３−２６９３８号公報参照）。また、「ＡｕｔｏＬａｙｏｕｔ」とは、複数枚の画像が選択された場合やＷｅｂサイトの印刷が指定された場合等に出力用紙サイズに合うように自動でレイアウトを行う機能（自動レイアウト機能）である（特開２０１４−１６８２５号公報参照）。

一方、画像処理グループが単一用途プリンタである場合、図２１に示すように、プリントボタン２１０１、スキャンボタン２１０２、コピーボタン２１０３及びプルダウンメニュー２１０４を含む機能選択画面２１００を表示する。ここでは、プルダウンメニュー２１０４には、写真画像に対して自動で補正を行う「ＩｍａｇｅＦｉｘ」のみを選択可能な機能として表示している。つまり、多用途プリンタでは選択可能な画像処理機能として複数の機能を表示するが、単用途プリンタでは必要最低限の機能（ここでは「ＩｍａｇｅＦｉｘ」）以外は表示しない。

これにより、使用用途が限られたユーザにとっては目的の画像処理機能を簡単に選択することが可能となる。ここで、選択可能な画像処理機能として、「ＩｍａｇｅＦｉｘ」以外の機能を表示してもよい。例えば、文書が印刷される頻度が写真が印刷される頻度よりも多いと想定される場合は、「ＩｍａｇｅＦｉｘ」の代わりに文字のエッジ強調を行う「Ｅｄｇｅ」を表示してもよい。

以上説明したように、本実施形態によれば、単一用途プリンタは多用途プリンタのような詳細な設定を必要としないため、簡易的にプリンタを使用したいユーザに対してシンプルなＵＩを提供することが可能となる。

＜実施形態４＞
上記実施形態の各実施形態で示す画像処理グループは、プリンタ本体に予め保持されている例を示しているが、これに限定されるものではない。例えば、画像処理グループのデータは、図１のサーバ１１４に保存されていることも考えられる。アプリケーションが起動した際に、インターネットの標準的通信機能を用いて、画像処理グループのデータを取得する構成とすることや、アプリケーション内部に予め包含させる構成とすることも可能である。

また、上記実施形態では、プリンタの機能、ジャンル、使用用途について、それぞれ個別に画像処理機能のＵＩのスクリプトを制御する構成について説明しているが、これに限定されるものではない。例えば、それらを複数個組み合わせた情報を用いて、画像処理機能のＵＩのスクリプトを制御する構成とすることも可能である。

また、上記実施形態では、シングルファンクションプリンタとマルチファンクションプリンタのような、プリンタの「種類」によって、画像処理機能のＵＩのスクリプトを制御する構成としているが、これに限定されるものではない。例えば、プリンタの「種類」の代わりに、プリンタの「機種名（モデル名）」によって使用できる画像処理機能のＵＩのスクリプト制御を行ってもよい。この場合、機種毎に異なる画像処理機能のより詳細な設定が可能となり、ユーザビリティが向上する。

また、上記実施形態では、情報処理装置に接続されるプリンタの「種類」によって、画像処理機能のＵＩのスクリプト制御を行っているが、他の情報を判断条件に加えることにより、さらにユーザ毎に適した画像処理機能のＵＩのスクリプト制御が可能となる。例えば、端末機器の「性能」や「状態」の「端末機器の属性情報」がその一例となる。例えば、端末機器のＣＰＵのクロック数によっては、複雑な画像処理は速度低下を招きユーザビリティを損ねる可能性がある。たとえプリンタがサポートしている画像処理機能でも、ＣＰＵのクロック数が低い場合には、そのような負荷の高い画像処理機能は表示を禁止する制御が可能となり、よりユーザビリティの高いＵＩを提供できる。ここで「端末機器の属性情報」として、ＣＰＵのクロック数を挙げているか、他に、以下のものがあげられる。以下において、「端末機器の属性情報」の項目とともに、（）内に複雑な画像処理機能のＵＩの表示を禁止するケースが数値等で制御できる例を列挙している。

端末機器の性能に関する情報
・ＣＰＵクロック数（低い）
・ＣＰＵコア数（少ない）
・ＣＰＵコアの種類（遅い）
・メモリ容量（少ない）
・バッテリ容量（少ない）
・通話機能の搭載種類
端末機器の状態に関する情報
・バッテリ残量（少ない）
・充電状態（非充電中）
・公共ネットワークとの接続状態
・他のプログラムが動作しているか（あり）

上記のような「端末機器の属性情報（性能／状態）」と「プリンタの属性情報」に基づき、より細やかな画像処理機能のＵＩを制御することが可能となり、よりユーザビリティの高い画像処理環境が提供できる。また、上記「端末機器の属性情報」すべてでは無く、少なくとも一部と「プリンタの属性情報」とを組み合すことでユーザビリティが向上する。
例えば、プリンタの属性情報として、プリンタの機能が取得された場合、その機能に応じて端末機器で実行される画像処理の処理負荷が大きなことがある。このとき、例えば、端末機器の属性情報により示される情報処理装置１１５の処理性能が低い場合や他のプログラムが動作している場合、この画像処理が適さないことがある。そこで、このような場合、当該画像処理をユーザが選択しないようにＵＩを制御する。また、上記組み合わせに限らず、「プリンタの属性情報」を用いず、「端末機器の属性情報」を用いて表示制御を行ってもよい。

尚、ＵＩの制御方法として、例えば、この画像処理を選択できないように制御する。あるいは、当該画像処理を選択可能に表示するものの、警告マーク等の表示アイテムや警告文書を表示させ、ユーザに処理負荷が大きく動作が遅くなる可能性があることを警告してもよい。上記の表示アイテムや警告文書は、ユーザが当該画像処理を選択する前に表示されてもよいし、ユーザによる選択に応じて表示されてもよい。

また、情報処理装置１１５の性能や状態は上記「端末機器の属性情報」として、ユーザが画像処理機能の選択開始を指示した場合に取得される。情報処理装置１１５の性能であれば当該指示の前に予め取得されてもよい。但し、「状態」であれば新しい情報である方が適切な表示制御を行えるため、画像処理機能の選択が開始されるときに情報処理装置１１５の状態が取得される。例えば、図９におけるＳ８０５とＳ８０６の間で取得される。

また、上記実施形態では、プリンタが有する画像処理機能のＵＩを制御する構成としているが、これに限定されない。例えば、利用する外部デバイスに対するデバイス情報に従って、その外部デバイスが有する画像処理機能以外の機能のＵＩを制御する構成とすることもできる。

＜実施形態５＞
上記実施形態では、情報処理装置１１５として、携帯型情報端末上でハイブリッド型アプリケーションを動作させる場合を例に挙げて説明しているが、これに限定されるものではない。例えば、ハイブリッド型アプリケーションが動作する環境は、スマートフォンやタブレットＰＣを始めとする情報端末の他に、ＰＣやサーバ、ゲーム機、デジタルカメラ等の他の電子機器とすることもできる。

加えて、上記実施形態では、外部デバイスとしてプリンタを例に挙げて説明しているが、これに限定されるものではない。例えば、外部デバイスとして、他のスマートフォンやタブレットＰＣ、ＰＣやサーバ、ゲーム機、スキャナ等の、自身に関する情報を提供可能な他の電子機器も対象となる。例えば、スクリプト層から他の携帯型情報端末のバッテリ残量、通信状態、無線ＬＡＮの接続有無、ＧＰＳや温度、湿度、加速度等、その電子機器が有する機能等の電子機器に関する情報を取得することも可能となる。

また、外部デバイスの例として、電化製品や自動車も含まれる。例えば、携帯型情報端末上のスクリプト層から外部の冷蔵庫、洗濯機、エアコン、照明、掃除機、ポット等の電化機器の情報を取得したり、その電子機器の機能のオン／オフや出力の調整等も可能となる。

加えて、上記実施形態では、コンテンツ（写真画像やスタンプ画像）の描画として、ＪａｖａＳｃｒｉｐｔのＣａｎｖａｓ機能で例に挙げて説明しているが、コンテンツの描画は、これに限定されるものではない。例えば、ＳＶＧ（ＳｃａｌａｂｌｅＶｅｃｔｏｒＧｒａｐｈｉｃｓ）を利用して、コンテンツを描画することも可能である。

加えて、上記実施形態のプリンタは、インクジェットプリンタ、レーザープリンタ、昇華型プリンタ、ドットインパクトプリンタ等を利用することができる。これらには、プリンタ機能、スキャナ機能等を有する、単一機能ではない、いわゆる、複合機の場合もある。

尚、以上の実施形態の機能は以下の構成によっても実現することができる。つまり、本実施形態の処理を行うためのプログラムコードをシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムコードを実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することとなり、またそのプログラムコードを記憶した記憶媒体も本実施形態の機能を実現することになる。

また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。

２１７：スクリプト層、２１８：ネイティブ層、２１９：ＯＳ層、２１１：プリンタ制御部、２０１：画像取得部、２０７：データ変換部、２１６：レンダリング部、２０６：画像処理制御部、２０５：コンテンツ描画部、２１０：コンテンツ操作部、２０３：データ変換部、２１２：プリンタデータ生成部、２０８：画像処理部、２１５：画像データ群、２１３：プリンタ通信部、２２０：データ保存部、２０４：データ保持部、２０２：画像読込部、２１４：インタプリタ、２０９：タッチイベント

Claims

プロセッサで翻訳され実行されるための命令セットを含む第１のプログラム層と、前記プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層とを包含する単一のアプリケーションプログラムであって、前記プロセッサを、
前記第１のプログラム層により、前記プロセッサが外部デバイスとの通信を前記第２のプログラム層を介して行うよう制御する通信制御手段と、
前記第２のプログラム層により、前記通信制御手段による通信により前記外部デバイスから受信した前記外部デバイスに関する情報を前記第１のプログラム層で解釈できる所定の形式のデータに変換する変換手段と、
前記第１のプログラム層により、前記変換手段による変換が行われた前記データに基づき、前記データに対応する表示内容を含む、前記外部デバイスの機能を利用するための表示画面を表示する表示制御手段
として機能させることを特徴とするプログラム。
前記通信制御手段は、前記第１のプログラム層による表示に対するユーザによる指示に応じて、前記第２のプログラム層を介して前記外部デバイスと通信する
ことを特徴とする請求項１に記載のプログラム。
前記通信制御手段は、
前記第１のプログラム層による表示に対するユーザによる指示に応じて、前記第１のプログラム層により前記第２のプログラム層に対して前記外部デバイスとの通信を依頼し、
前記第２のプログラム層により、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）を介して、前記外部デバイスと通信する
ことを特徴とする請求項１または２に記載のプログラム。
前記所定の形式は、文字列を用いた形式であることを特徴とする請求項３に記載のプログラム。
前記所定の形式は、ＢＡＳＥ６４であることを特徴とする請求項４に記載のプログラム。
前記表示制御手段は、前記外部デバイスに関する情報と、前記プロセッサを含む装置の属性情報とに基づく表示内容を含む前記表示内容を制御する
ことを特徴とする請求項１乃至５のいずれか１項に記載のプログラム。
前記装置の属性情報は、前記装置の性能と状態の少なくとも一方を含む
ことを特徴とする請求項６に記載のプログラム。
前記表示制御手段は、前記通信制御手段により通信可能な外部デバイスの内、選択された外部デバイスに関する情報に基づく表示内容を含む、当該選択された外部デバイスの機能を利用するための表示画面を表示する
ことを特徴とする請求項１乃至７のいずれか１項に記載のプログラム。
前記第２のプログラム層により、前記通信制御手段を介して接続可能な前記外部デバイスを検知する検知手段と、
前記第１のプログラム層により、前記検知手段で検知された外部デバイスから、ユーザ操作に基づいて、処理対象の画像の画像処理に使用する外部デバイスを選択する選択手段と、
前記選択手段で選択した外部デバイスに関する情報を取得する取得手段として前記プロセッサをさらに機能させ、
前記表示制御手段は、前記取得手段で取得した前記外部デバイスに関する情報に基づく、前記処理対象の画像に利用可能な画像処理機能を前記表示内容として含む前記表示画面を表示する
ことを特徴とする請求項１乃至８のいずれか１項に記載のプログラム。
前記検知手段は、前記第２のプログラム層により、前記通信制御手段を介して接続可能な前記外部デバイスに関する名称を取得し、
前記選択手段は、前記第１のプログラム層により、前記検知手段で取得されて前記第１のプログラム層に伝達された、複数の外部デバイスに対応する複数の名称を表示し、前記複数の名称のいずれかに対するユーザ操作に基づいて、前記複数の外部デバイスから前記処理対象の画像の画像処理に使用する外部デバイスを選択する
ことを特徴とする請求項９に記載のプログラム。
前記第１のプログラム層は、ウェブ標準言語で記述されている
ことを特徴とする請求項１乃至１０のいずれか１項に記載のプログラム。
前記第１のプログラム層は、ＨＴＭＬ５、ＣＳＳ、ＪａｖａＳｃｒｉｐｔの少なくとも１つにより記述されている
ことを特徴とする請求項１１に記載のプログラム。
前記表示制御手段は、前記外部デバイスに関する情報として、前記外部デバイスが有する機能、前記外部デバイスの種類、前記外部デバイスの機種、前記外部デバイスの使用用途の少なくとも１つに基づく、処理対象の画像に利用可能な機能を前記表示内容として含む前記表示画面を表示する
ことを特徴とする請求項１乃至１２のいずれか１項に記載のプログラム。
前記表示制御手段は、画像処理として、人物の顔検出、赤目検出、自動レイアウト、モノクロ化処理、及びセピア化処理の少なくとも１つを選択可能な表示画面を表示する
ことを特徴とする請求項１乃至１３のいずれか１項に記載のプログラム。
前記外部デバイスに関する情報は、前記外部デバイス、前記プロセッサを含む装置とネットワークを介して接続される外部装置、及び前記第２のプログラム層の内の少なくとも１つに保持される
ことを特徴とする請求項１乃至１４のいずれか１項に記載のプログラム。
前記通信制御手段は、
前記第１のプログラム層から外部デバイスとの通信を要求する要求手段と、
前記第２のプログラム層で前記要求手段からの要求を取得する取得手段と、
を含み、
前記取得手段が取得した要求に応じて、前記第２のプログラム層を介して前記プロセッサによる前記外部デバイスとの通信を行わせる
ことを特徴とする請求項１乃至１５のいずれか１項に記載のプログラム。
前記通信制御手段は、前記外部デバイスからの前記第１のプログラム層に対する応答を、前記第２のプログラム層を介して前記第１のプログラム層で受信する
ことを特徴とする請求項１６に記載のプログラム。
前記外部デバイスは、画像を印刷する印刷装置である
ことを特徴とする請求項１乃至１７のいずれか１項に記載のプログラム。
前記表示制御手段は、前記通信制御手段による通信により前記外部デバイスから受信した情報に基づき、前記印刷装置がスキャン機能を備える場合、前記印刷装置が前記スキャン機能を備えない場合では含まれない所定の表示内容を含む表示画面を表示する
ことを特徴とする請求項１８に記載のプログラム。
前記所定の表示内容は、前記スキャン機能の実行を指示するための表示項目であることを特徴とする請求項１９に記載のプログラム。
プロセッサで翻訳され実行されるための命令セットを含む第１のプログラム層と、前記プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層とを包含する単一のアプリケーションプログラムを前記プロセッサが実行することで実現される方法であって、
前記第１のプログラム層により、前記プロセッサが外部デバイスとの通信を前記第２のプログラム層を介して行うよう制御する通信制御工程と、
前記第２のプログラム層により、前記通信制御工程による通信により前記外部デバイスから受信した前記外部デバイスに関する情報を前記第１のプログラム層で解釈できる所定の形式のデータに変換する変換工程と、
前記第１のプログラム層により、前記変換工程による変換が行われた前記データに基づき、前記データに対応する表示内容を含む、前記外部デバイスの機能を利用するための表示画面を表示する表示制御工程と
を備えることを特徴とする方法。
プロセッサで翻訳され実行されるための命令セットを含む第１のプログラム層と、前記プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層とを包含する単一アプリケーションプログラムを記憶する記憶手段と、
前記記憶手段により記憶されている前記第１のプログラム層により、前記プロセッサが外部デバイスとの通信を前記第２のプログラム層を介して行うよう制御する通信制御手段と、
前記第２のプログラム層により、前記通信制御手段による通信により前記外部デバイスから受信した前記外部デバイスに関する情報を前記第１のプログラム層で解釈できる所定の形式のデータに変換する変換手段と、
前記第１のプログラム層により、前記変換手段による変換が行われた前記データに基づき、前記データに対応する表示内容を含む、前記外部デバイスの機能を利用するための表示画面を表示する表示制御手段
を備えることを特徴とする装置。