JP6478487B2

JP6478487B2 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: JP6478487B2
Application number: JP2014122750A
Authority: JP
Inventors: 梅田　清; 清梅田; 尚紀鷲見; 鈴木　智博; 智博鈴木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-06-13
Filing date: 2014-06-13
Publication date: 2019-03-06
Anticipated expiration: 2034-06-13
Also published as: US9769335B2; US20150365546A1; JP2016004320A

Description

本発明は、例えば、プリンタなどの画像出力装置に対して外部デバイスとして動作する移動体端末などの情報処理装置で実行される画像処理に関するものである。

近年、カメラ機能が搭載された可搬型多機能携帯端末（以下、モバイルコンピュータ）が爆発的に普及し、デジタルカメラや従来のパーソナルコンピュータ（以下、ＰＣ）の販売台数を遥かに凌ぐ勢いで拡販されている。

このようなモバイルコンピュータは、基本的には３つの要素で成り立っている。即ち、コンピュータ自身であるハードウェアと、該ハードウェア上で動作するオペレーティングシステム（以下、ＯＳ）と、そのＯＳ上で動作するアプリケーションである。ユーザは、そのアプリケーションを用いて、地図やメール、インターネット上のウェブサイトの閲覧等の機能を使用することが可能である。

このようなモバイルコンピュータ上で動作するアプリケーションの形態としては、主に二つのものが存在する。即ち、ネイティブアプリケーションとウェブアプリケーションである。以下、それぞれの特徴を説明する。

まず、ネイティブアプリケーションとは、通常、ＯＳ毎に用意される開発環境、及び開発言語を用いて開発される。例えば、Ａ社が提供するＯＳ上ではＣ／Ｃ＋＋言語、Ｂ社が提供するＯＳ上ではＪａｖａ（登録商標）言語、Ｃ社が提供するＯＳ上では更に異なる開発言語を用いる、という具合である。通常、ネイティブアプリケーションは、各開発環境において予めコンパイルされ、人間が理解可能ないわゆる高水準言語から、コンピュータのＣＰＵが解釈可能なアセンブラ等の命令セット群に変換される。このように、通常のネイティブアプリケーションでは、命令をＣＰＵが直接解釈するために、高速動作が可能である、というメリットがある。

一方、ウェブアプリケーションとは、近年では、各コンピュータ上のＯＳに標準的に組み込まれているウェブブラウザ上で動作するアプリケーションのことである。そのアプリケーションはウェブブラウザが解釈できるよう、一般的には、ＨＴＭＬ５及びＣＳＳ、さらにＪａｖａＳｃｒｉｐｔ（登録商標）等の言語を用いて開発される。これらはウェブ標準言語であるため、これらのウェブ標準言語でウェブアプリケーションを一旦記述すれば、ウェブブラウザが動作する環境であれば、どこでも動作可能というメリットがある。

近年では、このようなモバイルコンピュータの普及とともに、上記ＯＳの種類も多種多様なものとなっている。そのため、それらのＯＳ上で動作するアプリケーションを如何に短期間で開発して、ユーザにスピーディに提供できるかがソフトウェア開発における重要な課題となっている。

このような課題を解決する方法として、クロス開発と呼ばれる手法がある。クロス開発とは、アプリケーションの大部分を、各種ＯＳに横断的に利用できる共通プログラム言語を用いて開発を行うことである。この方法は、共通プログラム言語を用いるため、各ＯＳで個別にアプリケーションを開発する場合と比較し、大幅に開発工数を削減することができ、有効なアプリケーション開発手法として知られている。

従って、ウェブアプリケーションは上記課題を解決する一つの方法であると言える。しかし、ウェブアプリケーションはブラウザ上で動作するため、ネイティブアプリケーションとして各ベンダが運営するアプリケーションストアから配布することができない。このため、多くの開発者は、上記ストアから配布可能なネイティブアプリケーション形式におけるクロス開発手法を求めていた。

そのストア配布可能なクロス開発手法の一つとして、特許文献１に記載されているようなハイブリッドアプリケーションが注目されている。ハイブリッドアプリケーションとは、アプリケーション自身は、前述したネイティブアプリケーションとしてユーザに配布される。しかし、そのユーザインタフェース（ＵＩ）の全て、あるいは大部分は、ＨＴＭＬ５、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ（登録商標）といったいわゆるウェブの標準言語で記述されている。即ち、１つのアプリケーション内部に、ウェブ標準言語によるスクリプト層とネイティブ層を双方包含する構成となっている。このような構成を採用することにより、上記ネイティブアプリケーションとウェブアプリケーションの利点の双方を生かしたソフトウェアを開発することができる。

特開２０１１−０８０４７０号公報

しかしながら上述したハイブリッドアプリケーションを、写真や文書を印刷するといったプリントアプリケーションに適用しようとした場合、以下のような課題がある。

通常のハイブリッドアプリケーションでは、ＵＩ部はウェブ標準言語で記述され、それがテキストデータとしてアプリケーション内部に保持されている。このテキストデータをスクリプトと呼ぶ。このスクリプトは、アプリケーションが起動した際に、ＯＳが保持するスクリプトを翻訳し実行するためのエンジンに入力される。この結果、モバイルコンピュータの画面上にＵＩが表示され、ユーザが操作することが可能となる。ここでは、このエンジンのことをインタプリタと呼ぶ。

写真印刷アプリケーションの場合、例えば、ＵＩ上で、印刷対象となる写真を描画する。そして、写真に対して撮影日時などの日付情報を重畳し、絵文字などのスタンプを重畳し、その結果をユーザがプリントできるよう、そのソフトウェアを設計開発する必要がある。ハイブリッドアプリケーションの場合、日付情報やスタンプ等の印刷コンテンツの描画も、ウェブ標準言語を用いて記述することになる。

上記印刷コンテンツを印刷するためには、ウェブ標準言語を用いて記述されたスクリプトをプリンタの印刷エンジンが要求する、一般的には高解像度画像データ（いわゆるビットマップ（登録商標）データ）へ変換する必要がある。この処理をレンダリング処理と呼ぶ。このレンダリング処理を、通常のＯＳが保持するインタプリタを用いて行うと以下のような課題がある。

（１）処理速度の低下
ウェブ標準言語で記述された印刷コンテンツを上記インタプリタ内部で翻訳し、高解像度画像データに変換を行う。この高解像度画像データをプリンタに転送するためには、アプリケーションが、ＯＳのインタプリタ内部から変換後の画像データを取得し、フォーマット変換を加えた上でプリンタに転送することが必要になる。なぜなら、プリンタが解釈可能なデータに変換する機能を、ＯＳが保持するインタプリタ内部に備えていないためである。そのため、アプリケーションは、変換後の画像データをインタプリタ内部から取り出す必要があるが、通常はＢａｓｅ６４という文字列データとして取り出すことになる。従って、インタプリタ内部で、レンダリング後の画素値（Ｒ，Ｇ，Ｂ）をＢａｓｅ６４というキャラクタ（文字列）データに変換するためには膨大な時間を要する。レンダリングに時間を要することは、ユーザの観点からすれば、ＵＩの印刷ボタンを押下してから実際に印刷が開始されるまでの待ち時間が発生することを意味し、その結果、ユーザの使い勝手を著しく低減させることになってしまう。

（２）印刷用レンダリングに必要なメモリの不足
近年のモバイルコンピュータは、その飛躍的な性能向上から、数ＧＢ単位の物理ＲＡＭを搭載している。そのため、数百ＭＢ程度の高解像度画像データであれば、メモリ内部に保持することが可能である。通常のハイブリッドアプリケーションの場合、この高解像度画像データはＯＳ内部のインタプリタでＢａｓｅ６４に変換され、アプリケーションはそれを取得することになる。しかしながら、この時、使用するＯＳによっては、インタプリタから返却された大量のＢａｓｅ６４データを保持するメモリが確保できず、メモリ不足に陥る場合がある。

以上のように、上記２つの理由を解決しない限り、クロス開発手法として有効なハイブリッドアプリケーションでの印刷アプリケーションを構築することができないという課題があった。なお、印刷アプリケーションは、一例であり、対象のコンピュータから外部装置へフォーマットを変換してデータを送信する際にも同様の課題が生じる。

本発明は上記の課題を解決するためになされたものであり、ハイブリッドアプリケーションを実行する場合にも高速に処理することができ、かつ、メモリ不足を発生させない情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。

上記の目的を達成するための本発明の情報処理装置は以下のような構成を備える。

即ち、第１の言語で記述され第１形式のデータに基づき表示処理を行う第１のプログラム層と、前記第１の言語とは異なる第２の言語で記述され前記第１形式のデータとは異なる第２形式のデータに基づく印刷データの生成処理を行う第２のプログラム層とを包含するプログラムおよび前記表示処理に関わる出力コンテンツに対して翻訳処理を行う第１の翻訳手段を含むオペレーティングシステムが動作可能な情報処理装置であって、前記第１のプログラム層において画像データを選択する選択指示を受け付けた場合、前記選択された画像データに対応する前記第２形式のデータを前記第１形式のデータに変換して前記第１のプログラム層に送信する変換制御手段と、前記第１のプログラム層において印刷指示を受け付けた場合、印刷処理に関わる出力コンテンツを解釈して印刷用の画像データを生成する第２の翻訳手段と、前記画像データに基づいて印刷データを生成する生成処理を実行する生成手段とを有し、前記第１の翻訳手段は、前記表示処理に関わる出力コンテンツである前記第１形式のデータを前記第１のプログラム層から受信して、前記第１形式のデータに基づく画像を表示装置に表示させ、前記第１のプログラム層において印刷指示を受け付けた場合、前記変換制御手段により前記画像データが前記第１形式のデータに変換されることなく前記生成処理が実行され、前記変換制御手段と前記第２の翻訳手段と前記生成手段は、前記第２のプログラム層に含まれることを特徴とする。

また本発明を別の側面から見れば、第１の言語で記述され第１形式のデータに基づき表示処理を行う第１のプログラム層と、前記第１の言語とは異なる第２の言語で記述され前記第１形式のデータとは異なる第２形式のデータに基づく印刷データの生成処理を行う第２のプログラム層とを包含するプログラムと前記表示処理に関わる出力コンテンツに対して翻訳処理を行う機能を含むオペレーティングシステムをプロセッサで実行する情報処理方法であって、前記第１のプログラム層において画像データを選択する選択指示を受け付けた場合、前記選択された画像データに対応する前記第２形式のデータを前記第１形式のデータに変換して前記第１のプログラム層に送信する変換工程と、前記第１のプログラム層において印刷指示を受け付けた場合、印刷処理に関わる出力コンテンツを解釈して印刷用の画像データを生成する第１の生成工程と、前記画像データに基づいて印刷データを生成する生成処理を実行する第２の生成工程と有し、前記翻訳処理を行う機能の実行により、前記表示処理に関わる出力コンテンツである前記第１形式のデータを前記第１のプログラム層から受信して、前記第１形式のデータに基づく画像を表示装置に表示させ、前記第１のプログラム層において印刷指示を受け付けた場合、前記変換工程において前記画像データが前記第１形式のデータに変換されることなく前記生成処理が実行され、前記変換工程と前記第１の生成工程と前記第２の生成工程の実行は、前記第２のプログラム層の実行に含まれることを特徴とする情報処理方法を備える。

さらに本発明を別の側面から見れば、コンピュータを、上記構成の情報処理装置の各手段として機能させるためのプログラムを備える。

従って、本発明によれば、ハイブリッド構成のプログラムで、例えば、印刷アプリケーションを実行しても、処理速度の速い、メモリ不足が発生しないユーザにとって使い勝手のよい環境を提供することが可能となるという効果がある。

本発明の代表的な実施形態である情報処理装置の構成を示すブロック図である。図１に示した情報処理装置のソフトウェアの構成を示すブロック図である。ユーザ操作に伴う処理を示すフローチャートである。写真画像選択の詳細を示すフローチャートである。画像処理の詳細を示すフローチャートである。スタンプ追加の詳細を示すフローチャートである。スタンプ特定の詳細を示すフローチャートである。スタンプ操作の詳細を示すフローチャートである。プリンタ設定の詳細を示すフローチャートである。レンダリングの詳細を示すフローチャートである。プリントの詳細を示すフローチャートである。アプリケーション画面の一例を示す図である。設定画面の一例を示す図である。プリンタ選択画面の一例を示す図である。画像処理機能選択画面の一例を示す図である。他の実施形態に従うソフトウェアの構成を示すブロック図である。プリントＵＩの例を示す図である。プレビューＵＩの例を示す図である。

以下、本発明の実施の形態について添付図面を参照して詳細に説明する。特に、以下の実施形態では、情報処理装置上で、後述するハイブリッド型写真印刷アプリケーションを動作させ、ユーザが選択した画像に対して、様々な画像処理を適用した後に、その画像を印刷する構成について説明する。なお、その情報処理装置の代表例としては、携帯電話やスマートフォンやタブレット端末のような携帯型情報端末が含まれる。

＜ハードウェア構成の説明＞
図１は本発明の代表的な実施形態である情報処理装置１１５として、例えば、スマートフォンや携帯電話等の携帯型情報端末の構成例を説明するブロック図である。同図において、１００はＣＰＵ（中央演算装置／プロセッサ）であり、以下で説明する各種処理をプログラムに従って実行する。図中のＣＰＵ１００は１つであるが、複数のＣＰＵあるいはＣＰＵコアによって構成されていても良い。１０１はＲＯＭであり、ＣＰＵ１００により実行されるプログラムが記憶されている。１０２はＲＡＭであり、ＣＰＵ１００によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリである。

１０３はハードディスクやフラッシュメモリ等の２次記憶装置であり、ファイルや画像解析等の処理結果を保持するデータベース等のデータや、各種プログラムを記憶するための記憶媒体である。１０４はディスプレイであり、各種処理を実現するための操作を受け付けるためのＵＩ（ユーザインタフェース）や、実行された処理による処理結果等の各種情報を表示する。ディスプレイ１０４は、タッチセンサ１０５を備えても良い。

情報処理装置１１５は、内部撮像デバイス１１０を備えてもよい。内部撮像デバイス１１０による撮像によって得られた画像データは、所定の画像処理を経た後、２次記憶装置１０３に保存される。また、画像データは、外部Ｉ／Ｆ（インタフェース）１０８を介して接続された外部撮像デバイス１１１から読み込むこともできる。

情報処理装置１１５は、外部Ｉ／Ｆ（インタフェース）１０９を備え、インターネット等のネットワーク１１３を介して通信を行うことができる。情報処理装置１１５は、この通信Ｉ／Ｆ１０９を介して、ネットワーク１１３に接続されたサーバ１１４より画像データを取得することもできる。

情報処理装置１１５は、加速度センサ１０６を備え、情報処理装置１１５自身の位置姿勢に関する加速度情報を取得することができる。情報処理装置１１５は、外部Ｉ／Ｆ１０７を介し、プリンタ１１２と接続されており、画像データ等のデータを出力することができる。プリンタ１１２は、ネットワーク１１３にも接続されており、通信Ｉ／Ｆ１０９経由で、画像データを送受信することができる。

外部Ｉ／Ｆ１０７〜１０９は、有線通信と無線通信の内、少なくともいずれかの通信形態を有するインタフェースであり、利用する通信形態に応じて外部デバイス（プリンタ１１２あるいはサーバ１１４）との通信を行う。有線通信には、例えば、ＵＳＢ、イーサネット（登録商標）等があり、無線通信には、無線ＬＡＮ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等がある。また、無線通信として、無線ＬＡＮを利用する場合には、装置同士が直接接続する形態もあれば、無線ＬＡＮルータ等の中継装置を介して接続する形態もある。また、外部Ｉ／Ｆ１０７〜１０９は、図では別々に構成されているが、一体となって構成されていても良い。

情報処理装置１１５の動作に必要な電源は、バッテリ１１７によって供給される。情報処理装置１１５が備える各種構成要素は、制御バス／データバス１１６を介して相互に接続され、ＣＰＵ１００は、この制御バス／データバス１１６を介して、各種構成要素を制御する。

尚、本実施形態では、情報処理装置１１５が、その情報処理装置１１５が備える制御部（ＣＰＵ１００）によって実行されるプログラム等のソフトウェアの実行場所（ソフトウェア実行環境）となる。

＜ソフトウェアのブロック図＞
図２は情報処理装置１１５で動作するソフトウェア構成のブロック図である。

情報処理装置１１５は、スクリプト層２１７、ネイティブ層２１８、及びＯＳ層２１９のプログラムを実行する。これらの各層は、ＣＰＵ１００がＲＯＭ１０１あるいは２次記憶装置１０３に記憶されている対応するプログラムを読み出し実行することにより実現される。

スクリプト層２１７は、ＨＴＭＬ５やＣＳＳ３、及びＪａｖａＳｃｒｉｐｔ等のウェブ標準言語を使って、テキストデータで命令セット（コンテンツの描画や画像の表示、動画の再生等）が記述されているプログラム層である。スクリプト層２１７では、アプリケーション実行環境上で、そのアプリケーション実行環境に存在するプロセッサ（例えば、ＣＰＵ１００）を用いて、テキストデータの各種命令セットを翻訳して実行することになる。その実行形態としては、実行の度に命令文を一行ずつ動的に翻訳する場合や、アプリケーションを起動したときに翻訳する場合、アプリケーションを情報処理装置１１５にインストールしたときに翻訳する場合等が考えられる。

以後、スクリプト層２１７で処理することや内容をスクリプトと呼ぶ。スクリプトの命令を情報処理装置１１５内で翻訳する形態の例として、ネイティブ層２１８やＯＳ層２１９が備えるインタプリタの機能を使用することが挙げられる。尚、この実施形態においては、アプリケーションのＵＩの大部分が、スクリプト層２１７で記述されていることを想定している。

ネイティブ層２１８は、アプリケーション実行環境以外で予め翻訳（コンパイル）された命令セットが記述されているプログラム層である。形態としては、ＣもしくはＣ＋＋といった高水準言語で記述されたコードが、予めアプリケーションの開発者のＰＣやサーバ上でコンパイルされ、ＣＰＵ１００が解釈可能な命令の集合体となっている。以後、ネイティブ層２１８で処理することや内容、後述するＯＳ層２１９の機能をネイティブ層２１８から呼び出すことを含め、ネイティブと呼ぶこととする。尚、ネイティブ層２１８の別の実装系として、Ｊａｖａが挙げられる。Ｊａｖａは、Ｃ／Ｃ＋＋と類似の高水準言語であり、予めアプリケーション開発時の開発環境上で中間コードに翻訳される。翻訳された中間コードは、各ＯＳが備えるＪａｖａ仮想環境上で動作する。本実施形態においては、このようなプログラム形態も、ネイティブ層２１８の一種に含める。

ＯＳ層２１９は、情報処理装置１１５のオペレーティングシステム（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ：ＯＳ）に対応する。ＯＳ層２１９は、ハードウェア機能の使用をアプリケーションに提供する役割及び固有の機能を有する。ＯＳ層２１９は、ＡＰＩを備え、スクリプト層２１７やネイティブ層２１８から機能を使用することができる。

この実施形態では、スクリプト層２１７からネイティブ層２１８の呼び出しを可能にすることをバインディング、もしくはバインドと呼ぶ。各種ネイティブの機能は、ＡＰＩを備え、該ＡＰＩをスクリプトが呼び出すことでネイティブの機能を使用することができる。このようなバインディング機能は、通常、各種ＯＳが標準的に備えている機能である。

尚、この実施形態では、スクリプト層２１７とネイティブ層２１８を含むアプリケーションのことをハイブリッド型アプリケーションと呼ぶ。つまり、本願の処理は、ハイブリッド型アプリケーションおよびオペレーティングシステムが動作可能な情報処理装置において実行される。

スクリプト層２１７の画像取得部２０１は、ネイティブ層２１８に対し画像データの取得を依頼する。取得依頼時に、画像取得部２０１は、一意なＩＤを生成し、ネイティブ層２１８に送信する。このＩＤと、ネイティブ層２１８の画像読込部２０２で読み込まれた画像データは、対となって、ネイティブ層２１８のデータ保持部２０４に記憶される。これ以外にも、例えば、絶対パスを指定する方法や、ダイアログ表示を促す方法等が挙げられる。

ネイティブ層２１８の画像読込部２０２は、画像データ群２１５から画像データを取得する。画像データ群２１５からの画像データの取得方法は、スクリプト層２１７の画像取得部２０１の依頼に依存する。依頼方法は、ＵＩ上に提供されているダイアログボックスから選択する、ファイルのパスから直接画像を選択する等が挙げられる。

ネイティブ層２１８のデータ変換部２０３は、ネイティブ層２１８のデータをスクリプト層２１７で利用できる形式のデータに変換する。一方で、データ変換部２０３は、スクリプト層２１７から送られてきたデータをネイティブ層２１８で利用できる形式にする変換も行う。

スクリプト層２１７のデータ変換部２０７は、スクリプト層２１７のデータをネイティブ層２１８で利用できる形式のデータに変換する。一方で、データ変換部２０７は、ネイティブ層２１８から送られてきたデータをスクリプト層２１７で利用できる形式にする変換も行う。

ネイティブ層２１８のデータ保持部２０４は、画像読込部２０２で読み込んだ画像データ、画像処理部２０８で画像処理が施された画像データを保持する。保持される画像データは、例えば、ＲＧＢ画像信号に展開されており、すぐに画像処理が実行できる形式になっている。

スクリプト層２１７のコンテンツ描画部２０５は、プリントのためのコンテンツをウェブ標準言語を利用して記述する。この記述には、コンテンツ操作部２１０で操作されたスクリプトも反映される。コンテンツ描画部２０５で記述されたコンテンツのスクリプトは、ＯＳ層２１９のインタプリタ２１４で解釈され、ディスプレイ１０４に表示されることになる。

スクリプト層２１７の画像処理部２０８は、画像処理制御部２０６で指定された画像に対し画像処理を施す。その際、どのような画像処理を施すかは、画像処理制御部２０６で設定されたパラメータにより決定される。画像の指定については、例えば、スクリプト層から画像のパスを受け取る方法や、画像データごと受け取る方法などが考えられる。

ＯＳ層２１９のタッチイベント２０９は、ディスプレイ１０４のタッチに関する情報を取得する。タッチに関する情報とは、ディスプレイ１０４のタッチ検知、タッチされた位置情報等が挙げられる。取得したタッチに関する情報は、ネイティブ層２１８経由でスクリプト層２１７のコンテンツ操作部２１０に送信される。

スクリプト層２１７のコンテンツ操作部２１０は、画像を操作、例えば、画像の拡大、移動、回転などを行い、その操作を反映すべく、スクリプト命令を変更する。

スクリプト層２１７のプリンタ制御部２１１は、レンダリング部２１６へのレンダリング開始依頼、プリンタ検知の依頼、プリンタ設定画面の表示、プリント情報の生成と送信を制御する。プリンタ設定画面では、用紙のサイズ、用紙の種類、カラー・モノクロ等のプリンタ設定がなされる。ここで設定された項目を基に、プリンタデータ生成部２１２でプリンタデータが生成される。

ネイティブ層２１８のプリンタデータ生成部２１２は、プリンタ制御部２１１からの依頼を基に、プリンタ通信に必要なデータ、コマンドを生成する。プリンタ通信に必要なデータとは、通信プロトコルに則ったデータであり、コマンドとは、印刷やスキャン等、プリンタの動作を決定するためのデータである。

ＯＳ層２１９のプリンタ通信部２１３は、プリンタデータ生成部２１２から受信したプリンタデータを接続しているプリンタ１１２に送信したり、プリンタ１１２からプリンタ１１２に関する情報を受信する。ＯＳ層２１９のインタプリタ２１４は、スクリプト層２１７で生成されたウェブ標準言語で記述された命令を解釈・実行する。例えば、画像の描画等の命令の翻訳処理は、インタプリタ２１４により実行され、ディスプレイ１０４に表示される。

また、ネイティブ層２１８の中にも別のインタプリタ２２１が存在する。インタプリタ２２１は、詳細は後述するが、スクリプト層２１７で描画された印刷コンテンツに対して翻訳処理を実行し、印刷解像度にレンダリングし、画像データをＲＧＢ画素値で出力する。なお、印刷コンテンツとは、記録媒体に印刷される画像に対応する。よって、印刷コンテンツには、印刷対象として選択された画像データ、画像データに付加されるスタンプ、日付情報が含まれる。もちろん、印刷コンテンツには、画像データのみが含まれていても良い。なお、印刷コンテンツは、外部デバイスで表示されても良いので、単に出力コンテンツと呼ばれても良い。

画像データ群２１５は、画像データを保持している領域である。データ保存部２２０は、必要に応じて、データ保持部２０４が保持する画像データを画像データ群２１５に保存させるために機能する。

レンダリング部２１６は、コンテンツ描画部２０５、画像処理制御部２０６、及びコンテンツ操作部２１０を制御して、処理対象の画像データのレンダリングを行う。このレンダリングには、例えば、スクリプト層２１７のインタプリタ２２１でプリンタ１１２への出力解像度で画像を生成することが含まれる。また、インタプリタ２２１による、レンダリング結果、及び、生成途中の画像はディスプレイ１０４に表示されない。レンダリング結果は、ネイティブ層２１８のデータ変換部２０３に送信され、プリンタ１１２が利用できる形式の画像データに変換される。

＜ユーザ操作に伴う処理＞
図３はユーザ操作を含む処理を示すフローチャートである。まず、図３を用いて、Ｓ２１からＳ２８の各処理の概要を説明し、詳細は後述する。なお、本願のフローチャートの各ステップの処理は、情報処理装置１１５のＣＰＵ１００が、ＲＯＭ１０１あるいは２次記憶装置１０３に記憶されているプログラムを実行することにより実現される。また、図３に示す各ステップは、ＵＩの１つである図１２に示すアプリケーション画面１２００に対するユーザ操作に従って遷移する。アプリケーション画面１２００は、スクリプト層２１７によって生成される。アプリケーション画面１２００の操作は、例えば、タッチセンサ１０５を介して実現される。

Ｓ２１で、ＣＰＵ１００は、アプリケーション画面１２００の写真画像選択ボタン１２０１に対するユーザ操作（タッチ操作も含む。以後も同様）を検知すると、その操作に応じて、任意の画像を選択する。画像を選択すると、ＣＰＵ１００は、アプリケーション画面１２００の描画領域１２０６の全体に選択された画像を表示する。

Ｓ２２では、ＣＰＵ１００は、表示されている画像の輝度を調整するためのスライドバー１２０２に対するユーザ操作を検知すると、そのユーザ操作に応じて、画像処理時に利用する補正パラメータを設定する。そして、ＣＰＵ１００は、設定した補正パラメータに従って、表示されている画像に画像処理を施し、その処理内容及び処理結果を描画領域１２０６に表示する。

Ｓ２３は、ＣＰＵ１００は、スタンプ追加ボタン１２０３に対するユーザ操作を検知すると、スタンプ一覧を表示する。スタンプ一覧に対するユーザ操作によってスタンプの選択を検知すると、ＣＰＵ１００は、描画領域１２０６に選択されたスタンプを追加・表示する。

Ｓ２４で、ＣＰＵ１００は、アプリケーション画面１２００に対するユーザ操作に応じて、スタンプを特定する。スタンプの特定とは、ディスプレイ１０４にユーザ操作によってタッチされた座標とスタンプの座標より、スタンプがタッチされたか否かを判断するものである。スタンプがタッチされた場合、そのスタンプは操作受付状態となる。ここでは、ユーザ操作に応じて、スタンプが操作受付状態になっているものとする。操作受付状態については後述する。

Ｓ２５で、ＣＰＵ１００は、操作受付状態になっているスタンプを回転するためのスライドバー１２０４に対するユーザ操作を検知すると、そのユーザ操作に応じて、スタンプ操作として、操作受付状態にあるスタンプを回転する。

Ｓ２６で、ＣＰＵ１００は、プリントボタン１２０５に対するユーザ操作を検知すると、プリントに必要な情報を設定するための設定画面１３０１（図１３）を表示する。プリントに必要な情報とは、例えば、図１３の設定画面１３０１に示されるように、用紙サイズ、用紙種類、印刷品位、縁あり／なしの設定項目がある。これ以外にも、両面／片面、モノクロ・カラー等、使用するプリンタが有する機能に応じて、設定可能な設定項目が構成される。

Ｓ２７で、ＣＰＵ１００は、設定画面１３０１の設定完了ボタン１３０２に対するユーザ操作を検知すると、描画領域に表示されている画像を、プリンタに出力するためのプリント解像度に変換するためのレンダリングを実行する。

Ｓ２８で、ＣＰＵ１００は、プリントの解像度に変換された画像を、プリンタ制御のコマンドと共にプリンタ１１２に送信する。以上の処理により、ユーザにより選択された画像がプリンタ１１２でプリントされる。

尚、図３に示す処理は一例であり、処理内容はこれに限定されず、ステップ群の処理順序もこれに限定されるものではない。また、この実施形態において、プロセッサで翻訳され実行されるための命令セットを含む第１のプログラム層をスクリプト層２１７、プロセッサ以外で予め翻訳された命令セットを含む第２のプログラム層をネイティブ層２１８と定義する。そして、これらの第１のプログラム層と第２のプログラム層とを包含するプログラムがハイブリッド型アプリケーションを実現する。文字列データを第１の形式、バイナリデータを第２の形式と定義する。

＜プリンタの選択＞
最初に、ユーザ操作によって、図３に示す処理を実現するアプリケーションが起動される際には、アプリケーションは、まず、接続可能な外部デバイス（プリンタ１１２）のディスカバリ処理（不図示）を行う。ディスカバリ処理とは、情報処理装置１１５が存在するネットワーク１１３内において、接続可能なプリンタ１１２のＩＰアドレスを特定する処理のことである。

情報処理装置１１５は、ディスカバリ処理によって取得したＩＰアドレス（場合によっては、複数個）に対して、各種プリンタの属性情報取得の命令を送信して、その返信を取得することができる。

より具体的には、ネイティブ層２１８において、各プリンタの情報を取得するためのコマンドを生成する。コマンドとは、プリンタの動作を指定する命令であり、下記のようなＸＭＬで表現される。

＜?xml version="1.0" encoding="utf-8" ?＞
＜cmd xmlns:trans="http://www.trans/example/"＞
＜contents＞
＜operation＞GetInformation＜/operation＞
＜/contents＞
＜/cmd＞
生成されたコマンドは、プリンタの通信プロトコルに従った形式で、ネットワーク上のネットワーク機器（例えば、Ｗｉ−Ｆｉ（登録商標）接続されたルータ）に対しブロードキャストされる。ここで、通信方法は、Ｗｉ−Ｆｉダイレクトや電話回線を利用する形態が考えられるが、これに限定されるものではない。コマンドの送信の結果、ネイティブ層２１８は、プリンタからの応答を受信する。受信する応答の例としては、下記のようなＸＭＬで表現される。

＜?xml version="1.0" encoding="utf-8" ?＞
＜cmd xmlns:trans="http://www.trans/example/"＞
＜contents＞
＜PrinterName＞PrinterA＜/PrinterName＞
＜ImageProcGrp＞A＜/ImageProcGrp＞
＜ResolutionX＞400＜/ResolutionX＞
＜ResolutionY＞400＜/ResolutionY＞
＜/contents＞
＜/cmd＞
上記は、簡単な例であるが、ＰｒｉｎｔｅｒＮａｍｅタグによって、それぞれのプリンタ名称を取得することができる。また、ＩｍａｇｅＰｒｏｃＧｒｐタグによって、それぞれのプリンタが利用可能な画像処理グループを取得することもできる。この画像処理グループにより、図１５の１５０１に表示される選択肢が決まる。また、ＲｅｓｏｌｕｔｉｏｎＸおよびＲｅｓｏｌｕｔｉｏｎＹは、このプリンタのエンジンが必要とする画像の解像度であり、例えば単位はｄｐｉである。

ネイティブ層２１８で取得された機種名は、スクリプト層２１７に伝達されて、以下の仮想コードにより、プリンタのリストとして表示される。

＜form name=”frmPrinter”＞
＜select name=”selPrinter”＞
＜/select＞
＜/form＞
＜script type=”text/javascript”＞
Function fAddPrinter(PrinterName, count){
var sObj=document.forms[“frmPrinter”].elements[“selPrinter”];
for (var i=0;i＜count;i++){
var idx=sObj.length;
sObj.options[idx]=new Option(PrinterName[i]);
}
}
＜/script＞
上記において、ｓｅｌｅｃｔタグは、リストを表示するための記述であり、ｓｃｒｉｐｔタグ内に記載したＪａｖａＳｃｒｉｐｔコードによって、リストに取得したプリンタの名称（ＰｒｉｎｔｅｒＮａｍｅに配列として格納）を追加することができる。

図１４は、スクリプト層２１７において生成した仮想コードがインタプリタ２１４で解釈され、ディスプレイ１０４で表示されたプリンタのリストを含むプルダウンメニュー１４０１を示している。ユーザが所望のプリンタを選択すると、スクリプト層２１７が何番目のリストを選択したかというＩＤを取得することができる。プリンタを選択すると、次に、ユーザは、写真画像の選択操作に遷移する。

＜写真画像選択の詳細＞
ユーザが図１２に示した写真画像選択ボタン１２０１を押下することでＳ２１が開始する。ここで、図３のＳ２１の写真画像選択の詳細について、図４を用いて説明する。なお、Ｓ３０１〜Ｓ３０２、Ｓ３０９〜Ｓ３１１は、ＣＰＵがスクリプト層のプログラムを用いて実行する処理であり、Ｓ３０３〜Ｓ３０８はＣＰＵがネイティブ層のプログラムを用いて実行する処理である。

Ｓ３０１で、ＣＰＵ１００は、一意なＩＤを生成する。このＩＤは、数値、文字列等、スクリプト層２１７からネイティブ層２１８へ送信できる形式であればどのような形でも良い。Ｓ３０２で、ＣＰＵ１００は、写真画像選択ボタン１２０１に対するユーザ操作に応じて画像選択をネイティブ層２１８に依頼する。Ｓ３０２ではＳ３０１で生成されたＩＤもネイティブ層２１８に送信される。その依頼は、バインディング機能によりスクリプト層２１７からネイティブ層２１８固有の画像選択ＡＰＩを呼び出すことによりなされる。しかしながら、直接ネイティブ層固有の画像選択ＡＰＩを呼び出せないのであれば、ネイティブ層２１８にスクリプト層２１７から直接呼び出せる関数を用意し、その関数内にネイティブ層固有の画像選択ＡＰＩを呼び出す関数を記述しておけばよい。これは、ラッパを予め用意しておく方法である。

Ｓ３０３で、ＣＰＵ１００は、デバイス固有の画像選択ＵＩをディスプレイ１０４に表示する。表示された画像選択ＵＩに対するユーザ操作に基づいて、ＣＰＵ１００は、任意の画像を１枚選択する。画像の選択は、例えば、情報処理装置１１５内で管理されるフォルダから画像を１枚選択するものとするが、これに限定されるものではない。例えば、インターネット上の画像や、脱着可能な記憶媒体内の画像を選択しても良いし、情報処理装置１１５の内部撮像デバイス１１０を利用して撮影した画像を取得しても良い。

Ｓ３０４で、ＣＰＵ１００は、選択された画像を取得する。例えば、選択した画像が画像ファイルの状態であれば、ＣＰＵ１００は、ファイルを開き、その内容を読み取る。Ｓ３０５で、ＣＰＵ１００は、取得した画像をＲＧＢ空間に展開する。Ｓ３０６で、ＣＰＵ１００は、スクリプト層２１７から取得したＩＤと展開したＲＧＢ画像を関連付けてデータ保持部２０４に保持する。関連付け方法は、例えば、ＩＤとＲＧＢ画像を有するオブジェクトを作成することで、ＩＤによりＲＧＢ画像の特定を可能にするという方法が考えられる。この関連付け方法は、これに限らず、ＩＤと選択された画像のアクセス先であるパスや、ＩＤとＲＧＢ展開に応じて実行される関数やクラス等も考えられる。

Ｓ３０７で、ＣＰＵ１００は、展開したＲＧＢ画像をスクリプト層２１７で利用可能な形式（サポート可能な形式）の画像データに変換する。この実施形態では、変換するデータ形式をＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｙＥｘｐｅｒｔＧｒｏｕｐ）とする。Ｓ３０８で、ＣＰＵ１００は、ＪＰＥＧ形式のデータをＢＡＳＥ６４データに変換し、スクリプト層２１７へ送信する。これは、スクリプト層２１７では、ＲＧＢ画像のデータ配列をそのまま利用できないため、ネイティブ層２１８において、スクリプト層２１７で利用できる形式に変換する必要があるためである。ＪａｖａＳｃｒｉｐｔ（登録商標）では、文字列しか扱えないため、この実施形態では、文字列としてデータを表現するＢＡＳＥ６４の形式を利用する。

Ｓ３０９で、ＣＰＵ１００は、ネイティブ層２１８で変換されたＢＡＳＥ６４データを受信するとともに、そのＢＡＳＥ６４データを表示するための描画領域をＲＡＭ１０２に確保する。この実施形態では、描画領域の確保の一例としてＨＴＭＬのＣａｎｖａｓ機能を利用し、画像の描画は、Ｃａｎｖａｓの有するＣｏｎｔｅｘｔオブジェクトのＡＰＩを利用する。

Ｓ３１０で、ＣＰＵ１００は、補正パラメータを生成し、初期化する。ここで、補正パラメータとは、Ｓ２２の画像処理の内容を決定するパラメータ群を保持するオブジェクトである。ＪａｖａＳｃｒｉｐｔ（登録商標）で保持する補正パラメータの一例として、下記のような形態が考えられる。

var CorrectionParam = function(){
this.brightness = 0;
}
この補正パラメータは、ＣｏｒｒｅｃｔｉｏｎＰａｒａｍオブジェクトの中に、明るさ補正用にｂｒｉｇｈｔｎｅｓｓという名前の変数が設けられており、０という値を格納するということを表している。

この実施形態では、説明の簡略化のために、補正パラメータは明るさ（輝度）補正用のみであるが、その他の補正処理用のパラメータ（ぼかしフィルタの強度、セピア変換のオン・オフ等）を追加しても良いことは言うまでもない。

Ｓ３１１で、ＣＰＵ１００は、描画領域で描画するデータにＢＡＳＥ６４データを指定し、それに従って、その描画領域に画像を描画する。具体的には、ＣＰＵ１００は、スクリプト層２１７で指定されたＢＡＳＥ６４データをＯＳ層のインタプリタ２１４に送信する。そして、インタプリタ２１４がＢＡＳＥ６４データのスクリプトを解釈し、描画領域に画像として表示する。ここで、描画領域に、ＢＡＳＥ６４データを反映させるサンプルコードの一例を示す。

--------------------------------------------------
var base64Data = ネイティブ層からのＢＡＳＥ６４データ
var canvas = document.createElement("canvas"); //画像の描画領域確保
canvas.setAttribute("width", 100); //描画領域の大きさ設定
canvas.setAttribute("height", 100);
var context = canvas.getContext("2d"); //描画領域に描画するＡＰＩを持つオブジェクトの生成
var img = new Image(); //Imageオブジェクトの生成
img.src = base64Data; //画像のＵＲＩを受け取ったＢＡＳＥ６４データとする
img.onload = function(){ //画像のロードが終わってから処理を開始する
context.drawImage(img, 0, 0, img.width, img.height, 0, 0, canvas.width,
canvas.height); //contextオブジェクトのメソッドを用いて画像を描画領域に描画
document.getElementById("div").appendChild(canvas);
//本フローチャートではＣａｎｖａｓが何層にもなるレイヤー構造を想定している}
これらのＣａｎｖａｓは至る所好き勝手に存在するわけではなく、描画、移動、拡大等の操作は、特定の領域内（図１２の描画領域１２０６）で完結するその領域を指定しているものが「ｄｉｖ」であり、Ｃａｎｖａｓはそのｄｉｖに追加されてゆく形態をとる。

--------------------------------------------------
＜画像処理の詳細＞
ユーザが図１２に示したスライドバー１２０２を変化させることでＳ２２が開始する。ここでは、図３のＳ２２の画像処理の詳細について、図５を用いて説明する。なお、Ｓ４０１〜Ｓ４０３、Ｓ４０９、Ｓ４１１は、ＣＰＵがスクリプト層のプログラムを用いて実行する処理であり、Ｓ４０４〜Ｓ４０８、Ｓ４１０はＣＰＵがネイティブ層のプログラムを用いて実行する処理である。

Ｓ４０１で、ＣＰＵ１００は、補正パラメータを設定する。ここでは、図３のＳ３１０で生成した補正パラメータのｂｒｉｇｈｔｎｅｓｓの値を、スライドバー１２０２に対するユーザ操作に応じて設定される値に更新する。Ｓ４０２で、ＣＰＵ１００は、インジケータを起動し、ディスプレイ１０４に表示する。ここで、インジケータとは、ユーザに処理中である旨を伝える表示であり、一般には、プログレスバーや、時計マーク、図形の点滅や回転等の画像で表現する。Ｓ４０３で、ＣＰＵ１００は、スクリプト層２１７で、設定した補正パラメータをネイティブ層２１８で利用できるＪＳＯＮ文字列の形式に変換する。ここで、補正パラメータはオブジェクトの形態を取っており、そのままではネイティブ層２１８で利用できないため、設定した補正パラメータをＪＳＯＮ文字列に変換する。そして、ＣＰＵ１００は、ＪＳＯＮ文字列に変換された補正パラメータを、図３のＳ３０１で生成したＩＤと共にネイティブ層２１８へ送信する。

Ｓ４０４で、ＣＰＵ１００は、ＪＳＯＮ文字列に変換された補正パラメータをデコードし、補正パラメータを取得する。より具体的には、補正パラメータをＯＳ層２１９に備えられているパーサを利用してパースする。パース後に、上記の例の場合、補正パラメータ内のｂｒｉｇｈｔｎｅｓｓが取得されることになる。

Ｓ４０５で、ＣＰＵ１００は、スクリプト層２１７から取得したＩＤを基に、図３のＳ３０５で展開されたＲＧＢ画像を特定する。尚、上述のように、ＩＤと画像の対応付けは、ＩＤとＲＧＢ画像と対にすることに限定されるわけではなく、例えば、ＩＤと画像のパスを関連付ける方法を用いてもよい。その他にＩＤと関連付ける例として、ネイティブ層２１８のオブジェクト、画像データの先頭アドレス、画像を呼び出す関数等、様々なものが考えられる。

Ｓ４０６で、ＣＰＵ１００は、取得した補正パラメータから施すべき画像処理を判断し、ＲＧＢ画像に対して画像処理を行う。

Ｓ４０７で、ＣＰＵ１００は、画像処理が施されたＲＧＢ画像から、スクリプト層２１７で利用可能な形式（サポート可能な形式）の画像データに変換する。ここでは、図３のＳ３０７と同様に、ＪＰＥＧ形式のデータに変換する。Ｓ４０８で、ＣＰＵ１００は、スクリプト層２１７にインジケータの停止を依頼する。これは、ネイティブ層２１８から、スクリプト層２１７で定義されているインジケータ停止の関数を呼び出すことで実現する。

Ｓ４０９で、ＣＰＵ１００は、インジケータを停止して、ディスプレイ１０４の表示から消去する。

一方、Ｓ４１０で、ＣＰＵ１００は、変換されたＪＰＥＧ形式のデータをＢＡＳＥ６４データに変換し、スクリプト層２１７へ送信する。

Ｓ４１１で、ＣＰＵ１００は、ネイティブ層２１８で変換されたＢＡＳＥ６４データを受信し、それに従って、図３のＳ３０９で確保した描画領域に画像を描画する。具体的には、ＣＰＵ１００は、スクリプト層で指定されたＢＡＳＥ６４データをＯＳ層のインタプリタ２１４に送信する。そして、インタプリタ２１４がＢＡＳＥ６４データのスクリプトを解釈し、描画領域に表示する。以上の処理により補正パラメータに基づく画像処理が適用された画像データが表示される。また、この実施形態においては、図１５に示すように、プルダウンメニュー１５０１によって、利用可能な画像処理の一覧を表示し、ユーザが所望の処理を選択することができる。

ここで、プルダウンメニュー１５０１中の「ＩｍａｇｅＦｉｘ」とは、写真画像を、人物顔検出やシーン解析部を用いて自動で解析し、適切な明るさ・ホワイトバランス調整を行う機能（顔検出機能）である（特開２０１０−２７８７０８号公報参照）。また、「ＲｅｄｅｙｅＦｉｘ」とは、画像中から自動で赤目画像を検出して補正する機能（赤目検出機能）である（特開２００６−３５０５５７号公報参照）。また、「ＳｍａｒｔＳｋｉｎ」とは、写真画像から人物の顔を検出して、該顔の肌領域を好適に加工する機能である（特開２０１０−０１０９３８号公報参照）。また、「Ｍｏｎｏ」は、公知のモノクロ変換を行うモノクロ化処理機能である。「Ｓｅｐｉａ」は公知のセピア色変換を行うセピア化処理機能である。尚、画像処理機能の種類は、図１５に示すものに限定されるものではなく、用途や目的に応じて、様々な画像処理を利用することができる。

この時に、この実施形態では、ＪａｖａＳｃｒｉｐｔからバインド機能によってＯＳ層２１９が通常備えているシステム関数を呼び出し、このシステム関数から、情報処理装置１１５のＣＰＵ１００のクロック速度Ｃｌｋ［ＭＨｚ］を取得する。そして、このクロック速度Ｃｌｋから、予め定められた閾値Ｔｈ１を用いて、利用できる画像処理機能を含む画像処理グループを特定する。画像処理グループの特定のための仮想コードは、以下のようになる。

If ( Clk ＞ Th1 ) ImageProcGrp = “A”;
Else ImageProcGrp = “B”
尚、この判定は、通常、アプリケーションが起動した際に、スクリプト層２１７において行われる。画像処理グループを特定できたら、スクリプト層２１７において、以下のコードによって利用可能な画像処理の表示用スクリプトを制御する。

＜form name=”frmIProc”＞
＜select name=”selIProc”＞
＜/select＞
＜/form＞
＜script type=”text/javascript”＞
Function fAddImageProc(Grp){
var sObj=document.forms[“frmIProc”].elements[“selIProc”];
if( Grp =”A” ){
var idx=sObj.length;
sObj.options[idx]=new Option(“ImageFix”);
var idx=sObj.length;
sObj.options[idx]=new Option(“RedEyeFix”);
var idx=sObj.length;
sObj.options[idx]=new Option(“SmartSkin”);
var idx=sObj.length;
sObj.options[idx]=new Option(“Mono”);
var idx=sObj.length;
sObj.options[idx]=new Option(“Sepia”);
}
Else if (Grp=”B”){
var idx=sObj.length;
sObj.options[idx]=new Option(“Mono”);
var idx=sObj.length;
sObj.options[idx]=new Option(“Sepia”);
}
}
＜/script＞
上記スクリプト操作においては、情報処理装置１１５のＣＰＵ１００のクロック数が所定値（閾値）より大きく、複雑な画像処理を実行可能と判断した場合には（Ｇｒｐ＝Ａ）、より多くの画像処理機能を選択可能なものとしている。一方、情報処理装置１１５のＣＰＵ１００のクロック数が所定値以下の場合には、処理としては負荷の軽いモノクロ変換、セピア変換という処理しか選択できないようになる。

当然のことながら、上記スクリプトは、図２のインタプリタ２１４で翻訳され、ディスプレイ１０４上に機能選択画面１６００（図１５）として表示される。

ユーザが所望の画像処理機能を選択すると、ＨＴＭＬの機能によって選択された画像処理ＩＤを判別できる。この画像処理ＩＤは、ネイティブ層２１８に伝達され、図２の画像処理部２０８において、選択した画像処理機能に相当する画像処理が適用される。

＜スタンプ追加の詳細＞
ユーザが、図１２に示すスタンプ追加ボタン１２０３を押下し、ハートスタンプ１２０８を選択すると、Ｓ２３の処理が開始する。ここでは、図３のＳ２３のスタンプ追加の詳細について、図６を用いて説明する。以下の説明では、ユーザ操作によって、図１２のアプリケーション画面１２００のスタンプ追加ボタン１２０３が押下されてスタンプ一覧が表示された後、ハートスタンプ１２０８が選択された場合を例に挙げる。なお、Ｓ５０１〜Ｓ５０２、Ｓ５０８〜Ｓ５１０は、ＣＰＵがスクリプト層のプログラムを用いて実行する処理であり、Ｓ５０３〜Ｓ５０７はＣＰＵがネイティブ層のプログラムを用いて実行する処理である。

Ｓ５０１で、ＣＰＵ１００は、一意なＩＤを生成する。このＩＤは、図３のＳ３０１で生成するＩＤと同等の性質を有する。Ｓ５０２で、ＣＰＵ１００は、生成したＩＤととともに、スタンプとして利用される画像のアクセス先（絶対パス）をネイティブ層２１８に送信することで、スタンプに対応するスタンプ画像の画像選択を依頼する。

Ｓ５０３で、ＣＰＵ１００は、スクリプト層２１７から受信したスタンプ画像の絶対パスとデバイス固有の画像選択ＡＰＩを利用して、スタンプ画像を取得する。Ｓ５０４で、ＣＰＵ１００は、取得したスタンプ画像をＲＧＢ展開する。Ｓ５０５で、ＣＰＵ１００は、スクリプト層２１７から取得したＩＤと展開したＲＧＢ画像を関連付けてデータ保持部２０４に保持する。その関連付け方法は、図３のＳ３０６と同様である。Ｓ５０６で、ＣＰＵ１００は、展開したＲＧＢ画像をスクリプト層２１７で利用可能な形式（サポート可能な形式）の画像データに変換する。ここでの変換は、図３のＳ３０７と同様に、ＪＰＥＧ形式のデータに変換する。Ｓ５０７で、ＣＰＵ１００は、ＪＰＥＧ形式のデータをＢＡＳＥ６４データに変換し、スクリプト層２１７へ送信する。

Ｓ５０８で、ＣＰＵ１００は、ネイティブ層２１８で変換されたＢＡＳＥ６４データを受信するとともに、そのＢＡＳＥ６４データを表示するための描画領域をＲＡＭ１０２に確保する。Ｓ５０９で、ＣＰＵ１００は、オブジェクトパラメータを生成し、初期化する。ここで、オブジェクトパラメータとは、図３のＳ２７のレンダリング（詳細は後述）の際、レンダリング後のスタンプの回転角度を決定するために用いられるパラメータを保持するオブジェクトである。ＪａｖａＳｃｒｉｐｔ（登録商標）で保持するオブジェクトパラメータの一例としては、下記のような形態が考えられる。

var ObjectParam = function(){
this.theta = 0;
this.posX = 0;
this.posY = 0;
this.width = 100;
this.height = 100;
}
このオブジェクトパラメータは、ＯｂｊｅｃｔＰａｒａｍオブジェクトの中に、回転角度を示すｔｈｅｔａという変数名と、ｔｈｅｔａには０という値が格納されているということを表している。同様に、ｐｏｓＸは描画領域の左上を基準点とした時のｘ座標、ｐｏｓＹは描画領域の左上を基準点とした時のｙ座標、ｗｉｄｔｈは描画領域の横幅、ｈｅｉｇｈｔは描画領域の縦幅を表している。尚、この実施形態では、説明を簡単にするため、オブジェクトパラメータは必要最小限であるが、その他のパラメータ（平行移動量、拡大倍率等）を追加し、描画時やレンダリング時に利用できることは明らかである。

Ｓ５１０で、ＣＰＵ１００は、ＢＡＳＥ６４データを、生成したオブジェクトパラメータを基に、描画領域１２０６に画像として表示する。具体的には、ＣＰＵ１００は、選択されたスタンプに対応するＢＡＳＥ６４データをＯＳ層のインタプリタ２１４に送信する。そして、インタプリタ２１４がＢＡＳＥ６４データのスクリプトを解釈し、描画領域にスタンプ画像として表示する。尚、この実施形態では、説明を簡単にするために、スタンプを１つ選択した場合を例に挙げているが、複数個のスタンプを選択できることは言うまでもない。また、この実施形態では、スタンプに予め用意した画像を利用しているが、Ｃｏｎｔｅｘｔオブジェクトを利用して描画物をスクリプト層で生成する方法を用いても良い。

＜スタンプ特定の詳細＞
ユーザが図１に示したディスプレイ１０４にタッチすることでＳ２４が開始する。ここでは、図３のＳ２４のスタンプ特定の詳細について、図７を用いて説明する。なお、Ｓ６０２〜６０３は、ＣＰＵがスクリプト層のプログラムを用いて実行する処理であり、Ｓ６０１はＣＰＵがネイティブ層のプログラムを用いて実行する処理である。

Ｓ６０１で、ＣＰＵ１００は、ディスプレイ１０４上でタッチされた座標を取得し、スクリプト層２１７に送信する。

Ｓ６０２で、ＣＰＵ１００は、ネイティブ層２１８から受信した座標と、図５のＳ５０９で生成したオブジェクトパラメータの情報より、図３のＳ２３で追加したスタンプがタッチされたかどうかを判断する。追加したスタンプにおいて、オブジェクトパラメータは初期値のままである。そのため、上記のオブジェクトパラメータの一例に従えば、スタンプは、描画領域１２０６の左上端を（０，０）とし、そこからｘ方向に１００、ｙ方向に１００の領域に描画されていることになる。これより、受信した座標の座標（ｘ，ｙ）の内、ｘ座標から描画領域１２０６のｘ座標分を差し引いた値が０〜１００の範囲、かつ、ｙ座標から描画領域１２０６のｙ座標分を差し引いた値が０〜１００の範囲であれば、スタンプはタッチされたと判断できる。スタンプがタッチされたと判断された場合、そのスタンプは、図３のＳ２５の操作受付状態となる。

以降の説明では、図３のＳ２４において、図３のＳ２３で追加したスタンプがタッチされたものとして説明する。

Ｓ６０３で、ＣＰＵ１００は、判断結果に応じて、スタンプを操作受付状態に設定する。ここで、操作受付状態に設定することは、タッチされたスタンプのＩＤを注目スタンプＩＤとして、一時的にスクリプト層２１７に記憶しておくことである。これは、データ保持部２０４には、画像とＩＤが対となって記憶されているため、ＩＤさえ把握しておけば一意な画像を特定できるためである。

＜スタンプ操作の詳細＞
ユーザがディスプレイ１０４のスライドバーにタッチすることで図３のＳ２５が開始する。以下、図３のＳ２５のスタンプ操作の詳細について、図８を用いて説明する。なお、図８の各ステップは、ＣＰＵがスクリプト層のプログラムを用いて実行する処理である。

Ｓ７０１で、ＣＰＵ１００は、スタンプのオブジェクトパラメータのｒｏｔａｔｅの値を更新する。例えば、図１２のスライドバー１２０４で設定した値に更新する（図１２では１８０°）。Ｓ７０２で、ＣＰＵ１００は、オブジェクトパラメータを用いて、図７のＳ６０３で操作受付状態に設定されたスタンプを描画領域１２０６に再描画する。例えば、スタンプ画像の描画をＨＴＭＬのＣａｎｖａｓで行っている場合、ＣａｎｖａｓのＣｏｎｔｅｘｔオブジェクトのｒｏｔａｔｅメソッドを利用することで、Ｃａｎｖａｓ内の画像を回転することが可能である。

尚、この実施形態では、スタンプの操作は回転のみであるが、当然、拡大・縮小、平行移動等の他の操作も考えられる。また、写真画像に対してオブジェクトパラメータを持たせれば、スタンプ操作と同様の操作が可能となることも、明らかである。

＜プリンタ設定の詳細＞
ユーザが、図１２に示したプリントボタン１２０５を押下することで図３のＳ２６の処理が開始する。ここでは、図３のＳ２６のプリンタ設定の詳細について、図９を用いて説明する。なお、Ｓ８０１、Ｓ８０７〜Ｓ８０９は、ＣＰＵがスクリプト層のプログラムを用いて実行する処理であり、Ｓ８０２〜Ｓ８０６、Ｓ８１０はＣＰＵがネイティブ層のプログラムを用いて実行する処理である。

Ｓ８０１で、ＣＰＵ１００は、スクリプト層２１７からネイティブ層２１８へデバイス情報としてのプリンタ情報取得を依頼する。これは、プリンタ１１２と通信を行うためのスクリプト層２１７からの要求にあたる。依頼の方法は、画像選択時と同様に、バインディング機能によりスクリプトからネイティブ固有のＡＰＩを呼び出す。ネイティブ層２１８には、スクリプト層２１７から直接呼び出せる関数もしくはその関数を間接的に呼び出す、いわゆる、ラッパが予め用意されている。例えば、ＧｅｔＰｒｉｎｔｅｒＩｎｆｏというネイティブ関数を用意しておき、スクリプト側からその関数を呼び出す。このように、ネイティブ層はスクリプトからの外部デバイスとの通信の要求を取得する。

通常、スクリプト層２１７からはセキュリティ上の制限で外部デバイスと直接通信することはできない。そのため、上記のように、スクリプト層２１７から、一旦、ネイティブ層２１８へ外部デバイス情報の取得を依頼し、ネイティブ層２１８を介して外部デバイスと通信を行う。ここで、ネイティブ層２１８は、ＯＳ層２１９を介して、外部デバイス（例えば、プリンタ１１２）と通信する機能を備えている。

Ｓ８０２で、ＣＰＵ１００は、プリンタ情報取得コマンドを送信する。例えば、Ｂｏｎｊｏｕｒ（登録商標）などのプロトコルにより、ブロードキャストやマルチキャスト等の方法を用いてプリンタ情報取得コマンドが送信される。Ｓ８０２の送信結果に対する応答がプリンタから返信される。Ｓ８０３で、ＣＰＵ１００は、プリンタからの応答を受信することでプリンタを検知する。そして、Ｓ８０４では、ＣＰＵ１００は応答のあったプリンタのＩＰアドレスを記憶する。例えば、同一無線ＬＡＮルータで繋がっているプリンタを検出する。

Ｓ８０５で、ＣＰＵ１００は、応答のあったプリンタのＩＰアドレスへプリンタ情報の提供を要求する。応答のあったプリンタが複数の場合、ＣＰＵ１００は全てのプリンタに対して情報の提供を要求する。そのために、ＣＰＵ１００はネイティブ層で、プリンタの情報を取得するためのコマンドを生成する。そのコマンドとは、プリンタの動作を指定する命令であり、その一例としては、以下のようなＸＭＬで表現される。

----------------------------------------------
01: ＜?xml version="1.0" encoding="utf-8" ?＞
02: ＜cmd xmlns:trans="http://www.xxxx/yyyyy/"＞
03: ＜contents＞
04: ＜operation＞GetInformation＜/operation＞
05: ＜/contents＞
06: ＜/cmd＞
----------------------------------------------
上記各行の左側に書かれている「０１：」等の数値は説明を行うために付加した行番号であり、本来のＸＭＬ形式のテキストには記載されない。

１行目はヘッダであり、ＸＭＬ形式で記述していることを表している。

２行目のｃｍｄはコマンドの開始を意味する。ｘｍｌｎｓで名前空間を指定し、コマンドの解釈の定義を指定している。尚、６行目の＜／ｃｍｄ＞でコマンドの終了を示している。

３行目は以後に内容を記載する宣言であり、５行目でその終了を示している。

４行目には要求する命令が記載されており、＜ｏｐｅｒａｔｉｏｎ＞と＜／ｏｐｅｒａｔｉｏｎ＞の間に実際の命令文言が存在する。命令文言であるＧｅｔＩｎｆｏｒｍａｔｉｏｎは、外部デバイスであるプリンタの情報を取得する命令である。例えば、プリンタが対応している用紙種類、サイズ、縁なし印刷機能の有無、印刷品位、等のケーパビリティ情報を提供するよう要求する。

尚、プリンタ情報取得コマンドの生成は、例えば、ＲＯＭ１０１に予め記憶した固定のテキストを読み込んでも構わない。また、ＸＭＬ等のテキスト形式に限らず、バイナリ形式で記述し、それに沿ったプロトコルで通信しても良い。また、生成したプリンタ情報取得コマンドは、ＨＴＴＰ等のプリンタが対応している通信プロトコルに従った形式で、プリンタ通信部２１３を介してプリンタ１１２へ送信される。

また、通信方法はこれに限定されるものではない。Ｗｉ−Ｆｉ（登録商標）ダイレクトやＢｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、電話回線、有線ＬＡＮ、ＵＳＢを用いた接続でも良く、その方法に沿ったプロトコルで通信を行えば同様の効果を得ることができる。

図９では、ネイティブ層２１８で、コマンドを生成する構成としているが、スクリプト層２１７で、コマンドを生成する構成でも、同様の効果が得られる。その場合、スクリプト層２１７で、例えば、上記のＸＭＬ形式の命令文を含むコマンドを作成し、ネイティブ層２１８へ渡す。それを受けて、ネイティブ層２１８は、通信プロトコルに従った形式でプリンタ１１２へそのコマンドを送信する。

プリンタ１１２は、情報処理装置１１５からコマンドを受信すると、デバイス情報であるプリンタ情報をＸＭＬ形式で通信プロトコルに沿って、情報処理装置１１５へ送信する。そして、Ｓ８０５では、ネイティブ層２１８がプリンタからプリンタ機能を取得する。以下に、プリンタの情報の一例を示す。

----------------------------------------------
01: ＜?xml version="1.0" encoding="utf-8" ?＞
02: ＜cmd xmlns:trans="http://www.xxxx/yyyyy/"＞
03: ＜contents＞
04: ＜device id=”Printer001” /＞
05: ＜mode = 1＞
06: ＜media＞GlossyPaper＜/media＞
07: ＜size＞A4＜/size＞
08: ＜quality＞1＜/quality＞
09: ＜border＞no＜/border＞
10: ＜/mode＞
11: ＜mode = 2＞
〜中略〜
＜/mode＞
＜mode = 3＞
〜中略〜
＜/mode＞

〜中略〜

＜/contents＞
＜/cmd＞
----------------------------------------------
１行目はヘッダであり、ＸＭＬ形式で記述していることを表している。２行目のｃｍｄはコマンドの開始を意味する。ｘｍｌｎｓで名前空間を指定し、コマンドの解釈の定義を指定している。尚、最下行の＜／ｃｍｄ＞でコマンドの終了を示している。

３行目は以後に内容を記載する宣言であり、下の＜／ｃｏｎｔｅｎｔｓ＞までその内容は継続する。４行目でデバイスＩＤを示している。ここでは、プリンタ１１２の機種名が「Ｐｒｉｎｔｅｒ００１」であることを表している。５行目以降はプリンタ１１２が有する各モードについての記述である。＜ｍｏｄｅ＞から＜／ｍｏｄｅ＞までで、１つのモードにおける情報が記述されている。５行目では、モードの番号が１である。以降の＜ｍｅｄｉａ＞は印刷用紙の種類、＜ｓｉｚｅ＞は用紙サイズ、＜ｑｕａｌｉｔｙ＞は印刷品位、＜ｂｏｒｄｅｒ＞は縁あり／なしの情報をそれぞれ記述している。

１１行目以降は他のモードであるモード２についての情報が記述されている。このように、プリンタ１１２の機種名と、そのプリンタが対応している全てのモードがこのＸＭＬに記述されている。

尚、プリンタ情報の記述方法はこれに限定されることはなく、タグ形式でないテキストや、バイナリ形式等の他の形式であっても構わない。また、上記の例ではプリンタの印刷機能の情報を受け渡ししているが、それに限定される事ではない。例えば、プリンタが処理可能な画像処理や解析処理、静かに印刷するモードの有無、メモリカードの利用有無、インク残量などのステータスなどの情報が受け渡されても良い。画像処理の例としては、モノクロやセピア、彩度強調などの色変換、複数画像のレイアウト、ホワイトバランス補正、ノイズ除去、その他自動で写真を好ましい色や輝度に補正する処理などが挙げられる。

Ｓ８０５で、ＣＰＵ１００は、プリンタ１１２からプリンタ情報を受信する。ＣＰＵ１００は、ネイティブ層で、受信したプリンタ情報から、例えば、プリンタ１１２が有する全てのモードにおける印刷用紙の種類、サイズ、印刷品位、縁あり／なしの項目と項目数等を含むプリンタ機能一覧を取得する。

Ｓ８０６で、ＣＰＵ１００は、受信したプリンタ情報をスクリプト層２１７が解釈可能な形式に変換して、スクリプト層２１７へ送信する。つまり、ＣＰＵ１００はプリンタ１１２との通信によって得られた情報をスクリプト層２１７へ渡す。具体的には、受け取ったＸＭＬ形式のプリンタ情報で送信したり、タグなしのテキスト形式に変えて送信する等の方法がある。加えて、スクリプト層２１７から特定のネイティブ関数を呼び出す毎に、その戻り値として情報を取得しても良い。また、ネイティブ関数に取得するモードなどの引数を渡し、その戻り値として情報を得ても良い。さらに、上述のＪＳＯＮ文字列を用いた受け渡しや、データ変換部２０７及び２０３を用いてＢＡＳＥ６４等の文字列で受け渡しを行ってもよい。

Ｓ８０７で、ＣＰＵ１００は、ネイティブ層２１８から受信したプリンタ情報に基づいて、プリンタ１１２で利用できる機能を含む設定画面（図１３）を形成し、表示する。これを、この実施形態では、表示制御と呼ぶ。ここで、接続可能なプリンタが複数ある場合は、プリンタ名を表示し、ユーザに印刷するプリンタを選択させるための表示画面を生成する（表示内容を制御する）。尚、プリンタの選択は、上記に限らず、一番早く応答してきたプリンタや、より機能が多いプリンタ、印刷ジョブが混雑していないプリンタを選択する、等の方法も考えられる。

このように、ＣＰＵ１００は、印刷用紙の種類・サイズ、印刷品位、縁あり／なし等のプリンタで利用できる機能を選択させる設定画面１３０１（図１３）を表示する。設定画面の形成方法の一例として、以下に、ＨＴＭＬ記述のサンプルを示す。

------------------------------------------------
＜!DOCTYPE html＞
＜head＞
＜title＞印刷設定＜/title＞
＜script＞
＜!-- 用紙サイズ --＞
var PaperSizeNum = GetPaperSizeNum();
var p = document.getElementById("PaperList");
var i;
for(i=0; i＜PaperSizeNum; i++){
p.options[i] = new Option(GetPaperSizeT(i), GetPaperSizeV(i));
}

＜!-- 用紙種類--＞
var MediaTypeNum = GetMediaTypeNum();
var m = document.getElementById("MediaList");
var j;
for(j=0; j＜MediaTypeNum; j++){
m.options[i] = new Option(GetMediaTypeT(j), GetMediaTypeV(j));
}

＜!-- 印刷品位 --＞
var QualityNum = GetQualityNum();
var q = document.getElementById("QualityList");
var k;
for(k=0; k＜ QualityNum; k++){
q.options[i] = new Option(GetQualityT(k), GetQualityV(k));
}

＜!-- 縁あり/なし--＞
var BorderNum = GetBorderNum();
var b = document.getElementById("BorderList");
var l;
for(l=0; l＜BorderNum; l++){
b.options[i] = new Option(GetBorderT(l), GetBorderV(l));
}

＜!-- 印刷関数--＞
function printer() {
SetPrint(document.getElementById("PaperList").value,
document.getElementById("MediaList").value,
document.getElementById("QualityList").value,
document.getElementById("BorderList").value);
}
＜/script＞
＜/head＞

＜!-- 表示部 --＞
＜body＞
用紙サイズ＜select id="PaperList"＞＜/select＞＜br /＞
用紙種類＜select id="MediaList"＞＜/select＞＜br /＞
印刷品位＜select id="QualityList"＞＜/select＞＜br /＞
縁あり/なし＜select id="BorderList"＞＜/select＞＜br /＞
＜br /＞

＜button id="btn1" onclick="printer()"＞設定完了＜/button＞
＜/body＞
＜/html＞
------------------------------------------------
上記のＧｅｔＰａｐｅｒＳｉｚｅＮｕｍ（）、ＧｅｔＭｅｄｉａＴｙｐｅＮｕｍ（）、ＧｅｔＱｕａｌｉｔｙＮｕｍ（）、ＧｅｔＢｏｒｄｅｒＮｕｍ（）はネイティブ関数であり、それぞれの項目数を取得する機能を備える。例えば、プリンタが対応している用紙サイズがＡ４、Ａ５、Ｂ５、Ｌ判の４種類である場合、ＧｅｔＰａｐｅｒＳｉｚｅＮｕｍ（）は４を返す。

ＧｅｔＰａｐｅｒＳｉｚｅＴ（ｎ）、ＧｅｔＭｅｄｉａＴｙｐｅＴ（ｎ）、ＧｅｔＱｕａｌｉｔｙＴ（ｎ）、ＧｅｔＢｏｒｄｅｒＴ（ｎ）もネイティブ関数であり、引数ｎの値番目の文字列を返す。例えば、用紙サイズのテキストを返す関数のＧｅｔＰａｐｅｒＳｉｚｅ（０）の返り値は「Ａ４」、ＧｅｔＰａｐｅｒＳｉｚｅ（１）の返り値は「Ａ５」となる。これらの値は、プリンタから受信するプリンタ情報からネイティブ関数が取り出す。

また、ＧｅｔＰａｐｅｒＳｉｚｅＶ（ｎ）、ＧｅｔＭｅｄｉａＴｙｐｅＶ（ｎ）、ＧｅｔＱｕａｌｉｔｙＶ（ｎ）、ＧｅｔＢｏｒｄｅｒＶ（ｎ）もネイティブ関数であり、引数ｎの値番目の値を返す。例えば、用紙種類のテキストを返す関数のＧｅｔＭｅｄｉａＴｙｐｅＴ（０）の返り値は「光沢紙」のように、表示してユーザに示す文言である。これに対して、ＧｅｔＰａｐｅｒＴｙｐｅＶ（０）の返り値は「ＧｌｏｓｓｙＰａｐｅｒ」と、プリンタが解釈できる文言となっている。これらの文言は、プリンタから送られてきた情報と結び付けてネイティブが決定する。例えば、プリンタから送られてきた情報より取り出した値が「ＧｌｏｓｓｙＰａｐｅｒ」であった場合、表示するテキストは「光沢紙」と決定する。決定の方法として、ネイティブはこれらの対応表を予め保持しておき、その対応表に沿ってテキストを決定すれば良い。

尚、上記では、例として、用紙サイズ、用紙種類、印刷品位、縁あり／なしの設定を行う仕様であるが、これに限定されるものではない。他の例として、両面／片面、カラー／モノクロ、画像補正のオン／オフ等の他の設定項目が挙げられることは言うまでもない。また、印刷機能のみではなく、プリンタが処理可能な画像処理や解析処理、サイレントモードの有無、メモリカードの利用有無、インク残量等のステータス等の情報を表示しても良い。

Ｓ８０８で、ＣＰＵ１００は、設定画面１３０１に対するユーザ操作に基づいて、プリンタに設定する機能を選択する。上記の例で示したＨＴＭＬを、レンダリング部２１６を用いてディスプレイ１０４に表示した例が図１３に示す１３０１である。ネイティブ層２１８を介してプリンタ情報を要求し、プリンタ情報から上記のネイティブ関数を用いて取得した情報を基に設定画面１３０１が形成されている。尚、上記ＨＴＭＬはスクリプト層２１７、ネイティブ層２１８のいずれで形成しても良い。

また、図１３に示す用紙サイズ等の設定項目はそれぞれプルダウンメニューになっており、ユーザ操作によって項目を選択する事ができる。ここで、設定画面１３０１は、プルダウンメニューによって、用紙サイズの設定項目として選択可能な項目の一覧が表示されている状態を示しており、ユーザ操作によってＡ４やＡ５等の用紙サイズを選択することができる。

Ｓ８０９で、ＣＰＵ１００は、設定完了ボタン１３０２に対するユーザ操作を検知すると、ユーザ操作によって選択された設定項目を含む設定情報を作成して、ネイティブ層２１８へ送信する。上記ＨＴＭＬ記述の例にあるＳｅｔＰｒｉｎｔ（）もバインディング機能を有するネイティブ関数である。上記の例では、ＳｅｔＰｒｉｎｔ（）を用いて、用紙サイズ、用紙種類、印刷品位、縁あり／なしの設定を文字列としてネイティブ層２１８へ渡している。

Ｓ８１０で、ＣＰＵ１００は、バインディング機能によりスクリプト層２１７から設定情報を受信する。ネイティブ層２１８では、後に、受信した設定情報、印刷対象の画像データ、さらにはスタンプの画像データとを基に、プリンタ１１２の通信プロトコルに従って、プリントコマンドを生成する。そして、プリンタコマンドがプリンタ通信部２１３を介してプリンタ１１２へ送信されることになる。

＜レンダリングの詳細＞
ユーザが、図１３に示した設定画面１３０１の設定完了ボタン１３０２を押下することで図３のＳ２７のレンダリング処理が開始する。この実施形態では、印刷用のレンダリング処理は図２に示したネイティブ層に設けられたインタプリタ２２１で実行される。なお、インタプリタ（第２のインタプリタ）２２１も、ＯＳ層２１９に設けられたインタプリタ（第１のインタプリタ）２１４と同様、ウェブ標準言語を翻訳し、描画・実行できるプログラムモジュールである。

ここでは、図３のＳ２７のレンダリングの詳細について、図１０を用いて説明する。なお、Ｓ９０１〜Ｓ９０３、Ｓ９０８は、ＣＰＵがスクリプト層のプログラムを用いて実行する処理であり、Ｓ９０４〜Ｓ９０７はＣＰＵがネイティブ層のプログラムを用いて実行する処理である。さらになお、詳細に説明すると、図１０のＳ９０４〜Ｓ９０６はインタプリタ２２１で実行される。

まず、Ｓ９０１では、ＣＰＵ１００は、インジケータを起動する。ここで、インジケータとはアプリケーション内部でなんらかの処理が進行中であることを示すＵＩ（ユーザインタフェース）表示のことである。例えば、プログレスバーなどがそれに相当する。レンダリング処理には通常、数秒から数１０秒の時間がかかることが考えられるため、このようなインジケータの表示は必須である。

次に、Ｓ９０２では、ユーザがＳ８０８で選択した用紙種別情報と、「ＧｅｔＩｎｆｏｒｍａｔｉｏｎ」で取得した「ＲｅｓｏｌｕｔｉｏｎＸ」の値と「ＲｅｓｏｌｕｔｉｏｎＹ」の値とから、レンダリングに必要な解像度情報を算出する。例えば、このアプリケーションにおいては、スクリプト層２１７で、以下のような対応表を保持しているものとする。

＜表１＞
・−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−・
｜用紙サイズ｜ＰａｐｅｒＨ［ｍｍ］｜ＰａｐｅｒＷ［ｍｍ］｜
・−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−・
｜４×６｜１０１．６｜１５２．４｜
・−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−・
｜Ａ４｜２９７｜２１０｜
・−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−・
｜Ｌ判｜８９｜１２７｜
・−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−・

表１において、ＰａｐｅｒＨは用紙の高さ、ＰａｐｅｒＷは用紙幅を示している。レンダリングに必要な解像度情報ＲｅｓＸおよびＲｅｓＹ（単位は画素）は、以下の式によって算出することができる。即ち、
ＲｅｓＸ＝ＰａｐｅｒＨ／２５．４×ＲｅｓｏｌｕｔｉｏｎＸ
ＲｅｓＹ＝ＰａｐｅｒＷ／２５．４×ＲｅｓｏｌｕｔｉｏｎＹ
である。

Ｓ９０２で上記値の算出が終了後、Ｓ９０３では、ＣＰＵ１００はネイティブ層２１８で用意されているインタプリタ２２１のＡＰＩをバインド機能によって呼び出し、そのＡＰＩに必要な情報を伝達する。必要な情報とは、具体的には、算出した解像度情報と、さらに、印刷コンテンツを描画したスクリプト情報（Ｃａｎｖａｓによる記述情報）を伝達する。

Ｓ９０４では、ＣＰＵ１００はネイティブ層２１８のインタプリタ２２１でのレンダリング処理に必要な画像領域のＲＡＭ１０２に確保する。確保すべきメモリのサイズＭは、以下の通りである。即ち、
Ｍ＝ＲｅｓＸ×ＲｅｓＹ×要素数［バイト］
である。上式において要素数は、１画素あたりの色成分の数であり、通常はＲＧＢ成分を保持するため３となる。

Ｓ９０５では、ＣＰＵ１００は印刷コンテンツの描画情報を必要解像度に変換するための、拡大率（ＥｘｐＸ，ＥｘｐＹ）を次式によって算出する。即ち、
ＥｘｐＸ＝ＲｅｓＸ／ＣａｎＸ
ＥｘｐＹ＝ＲｅｓＹ／ＣａｎＹ
を用いて算出する。上式において、ＣａｎＸおよびＣａｎＹは、元々表示のために用意されたＣａｎｖａｓエリアのサイズ（単位は画素）を示している。

拡大率の算出後、その値を用いて、Ｓ９０５では、ＣＰＵ１００は描画情報のスケーリングを行う。具体的には、ＣａｎｖａｓのＣｏｎｔｅｘｔに用意されているｓｃａｌｅ関数を用いてスケーリングを行う。

Ｓ９０６では、ＣＰＵ１００はそのスケーリング処理を実行し、その結果、Ｓ９０４で確保したＲＡＭ１０２の領域内に、描画情報を解釈して拡大レンダリングを行う。このようにして画像情報をＲＧＢ各成分の画素値として得ることができる。

レンダリング処理に成功したら、Ｓ９０７では、ＣＰＵ１００は、インジケータの停止依頼をスクリプト層２１７に発行する。

Ｓ９０８で、ＣＰＵ１００は、スクリプト層２１７で、インジケータを停止して、ディスプレイ１０４の表示から消去する。

＜プリントの詳細＞
図３のＳ２８ではレンダリングした後の画像データを用いてプリント処理を実行する。実際には、図１０のＳ９０６の処理が終了し次第、Ｓ２８の処理が開始される。ここでは、図３のＳ２８のプリントの詳細について、図１１を用いて説明する。なお、図１１の各ステップは、ＣＰＵがネイティブ層のプログラムを用いて実行する処理である。

Ｓ１００１で、ＣＰＵ１００は、Ｓ９０６でレンダリングされた画像情報（ＲＧＢ値）を基に、そのＲＧＢ値をプリンタ１１２で利用可能な形式に変換する。プリンタが利用可能な形式は、ＲＧＢやＪＰＥＧ、ＣＭＹＫに加え、ＰＤＦ等のプリンタベンダーの独自フォーマット等もある。ここではそれらのうち、どのような形式であっても構わない。

Ｓ１００２で、ＣＰＵ１００は、前記設定情報とＳ１００１で変換された画像データを基に、プリンタ１１２へ送信するコマンドを生成する。Ｓ１００３で、ＣＰＵ１００は、プリンタの利用できる通信プロトコルに則り、Ｓ１００２で生成したコマンドを、Ｓ８０４で記憶したＩＰアドレスに対応するプリンタ１１２に対し、プリンタ通信部２１３を利用して送信する。

Ｓ１００４で、プリンタ１１２は、情報処理装置１１５から受信したコマンドに従って、プリントを実行する。

従って以上説明した実施形態によれば、アプリケーションのＵＩおよび印刷コンテンツの描画・表示用のレンダリング処理は、通常通りＯＳが提供する第１のインタプリタを利用する。一方、印刷用レンダリング処理は、ＯＳが提供するものとは別の第２のインタプリタを利用する。第２のインタプリタはネイティブ層で動作し、そこから出力された高解像度画像データ（ビットマップデータ）は、テキストデータに変換されることなくプリンタに送出される。そのため、高解像度画像データ（ビットマップデータ）をＢａｓｅ６４データに変換するために必要な時間を節約し高速に処理を行うことが可能となる。

また、その画像データは、ネイティブ層から直接プリンタに送信されるため、ＯＳの構成に起因するメモリ不足を回避することもできる。

なお、加えて、上記実施形態では、コンテンツ（写真画像やスタンプ画像）の描画として、ＪａｖａＳｃｒｉｐｔのＣａｎｖａｓ機能で例に挙げて説明しているが、コンテンツの描画は、これに限定されるものではない。例えば、ＳＶＧ（ＳｃａｌａｂｌｅＶｅｃｔｏｒＧｒａｐｈｉｃｓ）を利用して、コンテンツを描画することも可能である。この場合、インタプリタ２２１はＳＶＧを解釈するインタプリタとなるが、本発明の目的を同様に実現することが可能である。また、ＳＶＧに関する詳細な説明は、先行文献が多数存在するため、ここでは割愛する。

また、以上説明した実施形態では、アプリケーションを起動した最初にプリンタを選択するとして説明したが、本発明はこれに限定されるものではない。例えば、印刷設定を行う過程において、プリンタを設定し、そのプリンタにＸＭＬによる情報取得コマンドを送信するようにしてもよい。

さらに、表１で示したような情報は、アプリケーション内部に予め保持されていてもよいし、プリンタ本体に含まれており、それを「ＧｅｔＩｎｆｏｒｍａｔｉｏｎ」コマンドで取得するようにしてもよい。或いは、その情報が図１で示したようなサーバ１１４に保持されており、アプリケーションが起動した際に、そのサーバからウェブの標準的な通信プロトコルに従って表１に示したような情報を取得するようにしてもよい。

またさらに、以上説明した実施形態では、スクリプト層の命令を翻訳・実行するためのインタプリタを２つ備えた例を示したが、本発明はこれに限定されるものではない。例えば、ＵＩに使用する言語や、印刷の目的に応じて、ネイティブ層２１８の内部で複数個のインタプリタを備え、これらを利用するようにしてもよい。

＜他の実施形態＞
以上説明した実施形態では、情報処理装置に実装されるＯＳを特定して説明したものではなかったが、ここでは、特定のＯＳ、即ち、Ａｎｄｒｏｉｄ（登録商標）ＯＳが実装された場合について説明する。

図１６は、Ａｎｄｒｏｉｄ（登録商標）ＯＳが動作する情報処理装置のソフトウェア構成を示すブロック図である。なお、図１６において、図２で説明したのと同じ構成要素については同じ参照番号を付し、その説明は省略する。ここでは、ＡｎｄｒｏｉｄＯＳ特有の構成に関して説明する。

図１６に示すように、ＡｎｄｒｏｉｄＯＳではスクリプト層２１７とＯＳ層２１９との間に、ネイティブ層２１８に加えて、Ｊａｖａ（登録商標）で構成されているプログラム層（以下、Ｊａｖａ層）２２２が設けられる。また、ネイティブ層２１８はもともとＣ／Ｃ＋＋言語で記述されたプログラムコードを、ＮａｔｉｖｅＤｅｌｅｖｏｐｍｅｎｔＫｉｔ（登録商標）（＝ＮＤＫ）により機械語に翻訳された層となる。

このようなソフトウェア構成では、図１６に示すように、コンテンツ描画部２０５で描画されたコンテンツは、Ｊａｖａ層２２２を経由してインタプリタ２１４に入力され、インタプリタ２１４により解釈され、描画される。本願の課題の項で指摘したように、印刷用レンダリングをＯＳ層に設けられたインタプリタで行う場合、そのレンダリングにより得られた画像データをＢａｓｅ６４形式でＪａｖａ層２２２が取得し、これを画像データに変換してプリンタに送信する必要がある。

しかしながら、一般的には、Ｊａｖａ層２２２で取り扱い可能なメモリの総量は、ＮＤＫを用いたネイティブ層２１８に比べ小さく制限されている。このため、ＯＳ層のインタプリタ２１４で印刷用の大容量の高解像度画像データを生成し、Ｊａｖａ層２２２でこれを抽出すると、Ｊａｖａ層２２２でメモリ不足が発生する可能性が高い。

このため、この実施形態では、そのようなコンテンツの印刷に関しては、図１６に示すように、コンテンツの描画スクリプトを、ネイティブ層２１８に備えられたインタプリタ２２１に入力し、そこで印刷用の高解像度画像データを生成するようにしている。その結果、生成された画像データは前述の実施形態と同様、データ変換部２０３で所望のデータ形式に変換され、プリンタ通信部２１３を介してプリンタ１１２に送信される。

従って、以上説明した実施形態によれば、特定のＯＳ（ＡｎｄｒｏｉｄＯＳ）を実装した情報処理装置でも、画像データはネイティブ層から直接プリンタに送信されるため、ＯＳの構成に起因した、Ｊａｖａ層におけるメモリ不足を回避することができる。

＜さらに別の実施形態＞
前述の実施形態では、印刷用のレンダリング処理を行う際に、ネイティブ層に設けられたスクリプトを利用する例について説明したが、ここでは、このスクリプトを印刷プレビュー表示に利用する場合について説明する。

図３を参照して説明したように、ユーザは、Ｓ２１〜Ｓ２５で印刷コンテンツを描画後、Ｓ２６で印刷設定を行うが、印刷プレビューの場合、図１７に示すようなＵＩの設定画面から印刷プレビューを行うことができる。図１７に示されているように、この設定画面にはプレビューボタン１７０１が設けられている。この設定画面で、ユーザがそのボタンを押す又はタッチすると、スクリプト層２１７で描画されている印刷コンテンツ情報とユーザが選択した用紙等の印刷設定情報がスクリプト層２１７に入力され、印刷用レンダリングが実行される。

その印刷用レンダリングにより得られた結果は、Ｂａｓｅ６４形式のテキストデータに変換されて、スクリプト層２１７に渡される。その結果、図１８に示すようなプレビュー画面に印刷プレビューが表示される。図１８に示すプレビュー画面には、レンダリング結果を描画するエリア（プレビューエリア）１８０１と、その表示内容の拡大を指示できるスライドバー１８０２とが設けられている。

従って上記のような構成により、印刷用のレンダリングと印刷プレビュー用のレンダリングを、同じインタプリタを用いて行うことができる。このような構成により、印刷用と印刷プレビュー用のレンダリングを実行するインタプリタが別々である場合と比べ、印刷コンテンツの内容によってはインタプリタ間の微小な差異が発生し、印刷結果とプレビューが一致しない問題を回避することができる。なお、本願では出力処理の一例として印刷と表示を記載したが、その他の出力処理として送信処理が実行されても良い。

また、図１で示した情報処理装置の例は、携帯可能なモバイルコンピュータを想定したハードウェアとなっているが、本発明はそれに限定されない。例えば、据え置き型のパーソナルコンピュータやゲーム機等のハードウェア上においても、同様の構成を実現することは可能である。

加えて、上記実施形態のプリンタは、インクジェットプリンタ、レーザープリンタ、昇華型プリンタ、ドットインパクトプリンタ等を利用することができる。これらには、プリンタ機能、スキャナ機能等を有する、単一機能ではない、いわゆる、複合機（マルチファンクションプリンタ）の場合もある。

尚、以上の実施形態の機能は以下の構成によっても実現することができる。つまり、本実施形態の処理を行うためのプログラムコードをシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムコードを実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することとなり、またそのプログラムコードを記憶した記憶媒体も本実施形態の機能を実現することになる。

また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。

２０１：画像取得部、２０２：画像読込部、２０３：データ変換部、
２０４：データ保持部、２０５：コンテンツ描画部、２０６：画像処理制御部、
２０７：データ変換部、２０８：画像処理部、２１０：コンテンツ操作部、
２１１：プリンタ制御部、２１２：プリンタデータ生成部、２１３：プリンタ通信部、
２１４、２２１：インタプリタ、２１５：画像データ群、２１６：レンダリング部、
２１７：スクリプト層、２１８：ネイティブ層、２１９：ＯＳ層、２２０：データ保存部

Claims

第１の言語で記述され第１形式のデータに基づき表示処理を行う第１のプログラム層と、前記第１の言語とは異なる第２の言語で記述され前記第１形式のデータとは異なる第２形式のデータに基づく印刷データの生成処理を行う第２のプログラム層とを包含するプログラムおよび前記表示処理に関わる出力コンテンツに対して翻訳処理を行う第１の翻訳手段を含むオペレーティングシステムが動作可能な情報処理装置であって、
前記第１のプログラム層において画像データを選択する選択指示を受け付けた場合、前記選択された画像データに対応する前記第２形式のデータを前記第１形式のデータに変換して前記第１のプログラム層に送信する変換制御手段と、
前記第１のプログラム層において印刷指示を受け付けた場合、印刷処理に関わる出力コンテンツを解釈して印刷用の画像データを生成する第２の翻訳手段と、
前記画像データに基づいて印刷データを生成する生成処理を実行する生成手段とを有し、
前記第１の翻訳手段は、前記表示処理に関わる出力コンテンツである前記第１形式のデータを前記第１のプログラム層から受信して、前記第１形式のデータに基づく画像を表示装置に表示させ、
前記第１のプログラム層において印刷指示を受け付けた場合、前記変換制御手段により前記画像データが前記第１形式のデータに変換されることなく前記生成処理が実行され、
前記変換制御手段と前記第２の翻訳手段と前記生成手段は、前記第２のプログラム層に含まれることを特徴とする情報処理装置。
前記第１形式のデータはＢＡＳＥ６４データであり、前記第２形式のデータはＲＧＢ画像であることを特徴とする請求項１に記載の情報処理装置。
前記第１のプログラム層と印刷装置との通信を、前記第２のプログラム層を介して行う通信手段をさらに有し、
前記第２の翻訳手段は、前記通信手段を介して接続する前記印刷装置に関する情報に基づいて、前記印刷用の画像データを生成することを特徴とする請求項１又は２に記載の情報処理装置。
前記第１のプログラム層はインジケータを起動し、
前記第２のプログラム層は、前記画像データの生成が完了した場合、前記第１のプログラム層にインジケータの停止を依頼することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
前記通信手段は、前記印刷装置から解像度情報を取得し、
前記第２の翻訳手段は、該取得した解像度情報を用いてレンダリングの解像度を算出し、該レンダリングの解像度に応じた画像データを格納するための領域をメモリに確保し、該領域に、前記領域を用いてレンダリング処理を実行することで前記画像データを生成することを特徴とする請求項３に記載の情報処理装置。
表示用の前記出力コンテンツはＣａｎｖａｓを用いて記述されることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
表示用の前記出力コンテンツは、ＳｃａｌａｂｌｅＶｅｃｔｏｒＧｒａｐｈｉｃｓ（ＳＶＧ）を用いて記述されることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
前記オペレーティングシステムはＡｎｄｒｏｉｄＯＳであり、
前記オペレーティングシステムと前記第１のプログラム層との間には、Ｊａｖａ層が設けられていることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
前記第１の言語は、ＨＴＭＬ５、ＪａｖａＳｃｒｉｐｔのいずれかを含むことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
前記第２の言語は、ＣもしくはＣ＋＋であることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
前記第２のプログラム層は、前記第１のプログラム層および前記第２のプログラム層を含むプログラムの実行環境以外で予め翻訳された命令セットが記述されているプログラム層であることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
前記第１のプログラム層は、前記第１のプログラム層および前記第２のプログラム層を含むプログラムの実行環境に存在するプロセッサを用いて翻訳および実行される命令セットが記述されているプログラム層であることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
第１の言語で記述され第１形式のデータに基づき表示処理を行う第１のプログラム層と、前記第１の言語とは異なる第２の言語で記述され前記第１形式のデータとは異なる第２形式のデータに基づく印刷データの生成処理を行う第２のプログラム層とを包含するプログラムと前記表示処理に関わる出力コンテンツに対して翻訳処理を行う機能を含むオペレーティングシステムをプロセッサで実行する情報処理方法であって、
前記第１のプログラム層において画像データを選択する選択指示を受け付けた場合、前記選択された画像データに対応する前記第２形式のデータを前記第１形式のデータに変換して前記第１のプログラム層に送信する変換工程と、
前記第１のプログラム層において印刷指示を受け付けた場合、印刷処理に関わる出力コンテンツを解釈して印刷用の画像データを生成する第１の生成工程と、
前記画像データに基づいて印刷データを生成する生成処理を実行する第２の生成工程と有し、
前記翻訳処理を行う機能の実行により、前記表示処理に関わる出力コンテンツである前記第１形式のデータを前記第１のプログラム層から受信して、前記第１形式のデータに基づく画像を表示装置に表示させ、
前記第１のプログラム層において印刷指示を受け付けた場合、前記変換工程において前記画像データが前記第１形式のデータに変換されることなく前記生成処理が実行され、
前記変換工程と前記第１の生成工程と前記第２の生成工程の実行は、前記第２のプログラム層の実行に含まれることを特徴とする情報処理方法。
コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。