JP5170472B2 - 画像処理装置およびプログラム - Google Patents

Description

本発明は、絵画調などの画調変換された背景画像に、絵画調などの画調に変換された動画像を合成して表示する画像処理装置およびプログラムに関する。

デジタルカメラの普及により、写真は画像データとして保存することが一般的となっている。画像データとして保存すると、撮影したデジタルカメラで閲覧することはもとより、パーソナルコンピュータに取り込んで閲覧することもできる為、写真の楽しみ方にも変化が生じている。その一例として電子写真立てとして知られるデジタルフォトフレームがある。

デジタルフォトフレームでは、撮影した画像を額縁に飾った写真のように高精細に画面表示して鑑賞したり、ＢＧＭとして曲再生しながらスライドショー表示したりする他、画像データを保存するアルバム端末として使用できる。また、近年では、こうしたデジタルフォトフレームに搭載される画像処理装置の機能として、撮影した画像を水彩画や油彩画などの絵画調に画調変換して表示するものや、絵画調など画調変換された画像の画質を変更するものが知られている。なお、画像データを絵画調に変換する技術については例えば特許文献１に開示され、絵画調などの画質を変更する技術については例えば特許文献２に開示されている。

特開平８−４４８６７号公報 特公平０１−４６９０５号公報

ところで、絵画調などに画調変換された背景画像に、同じく絵画調に画調変換された動画像を合成しようとする場合に、双方の画調変換の種類が相違すると、合成した画像が違和感の有る不自然なものになったり、これとは逆に、双方の画調変換の種類を同一にすると、動画が背景（静止画）に埋没し易く、とりわけ背景に対して動画のサイズが小さければその弊害が顕著となり、結果的に合成した画像が見難いものになったりするという問題が生じる。

本発明は、このような事情に鑑みてなされたもので、画調変換された背景画像と動画像とを違和感なく自然で見易く合成することができる画像処理装置およびプログラムを提供することを目的としている。

上記目的を達成するため、請求項１に記載の発明では、画調変換された背景画像から変換要素を検出する検出手段と、前記検出手段により検出された変換要素の内、画調の種類以外の要素の少なくとも１つの値を変更した類似変換要素を生成する変換要素発生手段と、前記変換要素発生手段により生成された類似変換要素に従って動画像を画調変換する画調変換手段と、前記画調変換手段により画調変換された動画像を、画調変換された背景画像上に合成して表示する合成表示手段とを具備することを特徴とする。

上記請求項１に従属する請求項２に記載の発明では、前記画調変換手段は、動画像を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については前記変換要素発生手段により生成された類似変換要素に従って画調変換を施す第１の変換手段と、動画像を構成する一連の静止画像の内、最後の静止画像については前記検出手段により検出された変換要素に従って画調変換を施す第２の変換手段とを具備することを特徴とする。

請求項３に記載の発明では、画調変換された動画像から変換要素を検出する検出手段と、前記検出手段により検出された変換要素の内、画調の種類以外の要素の少なくとも１つの値を変更した類似変換要素を生成する変換要素発生手段と、前記変換要素発生手段により生成された類似変換要素に従って背景画像の画調を変換する画調変換手段と、前記画調変換手段により画調変換された背景画像上に、画調変換された動画像を合成して表示する合成表示手段とを具備することを特徴とする。

請求項４に記載の発明では、コンピュータに、画調変換された背景画像から変換要素を検出する検出ステップと、前記検出ステップにて検出された変換要素の内、画調の種類以外の要素の少なくとも１つの値を変更した類似変換要素を生成する変換要素発生ステップと、前記変換要素発生ステップにより生成された類似変換要素に従って動画像を画調変換する画調変換ステップと、前記画調変換ステップにて画調変換された動画像を、画調変換された背景画像上に合成して表示する合成表示ステップとを実行させることを特徴とする。

請求項５に記載の発明では、コンピュータに、画調変換された動画像から変換要素を検出する検出ステップと、前記検出ステップにて検出された変換要素の内、画調の種類以外の要素の少なくとも１つの値を変更した類似変換要素を生成する変換要素発生ステップと、前記変換要素発生ステップにより生成された類似変換要素に従って背景画像を画調変換する画調変換ステップと、前記画調変換ステップにて画調変換された背景画像上に、画調変換された動画像を合成して表示する合成表示ステップとを実行させることを特徴とする。

本発明では、画調変換された背景画像と動画像とを違和感なく自然で見易く合成することができる。

実施の一形態による画像処理装置１００の構成を示すブロック図である。 ＲＡＭ１２のメモリ構成を示すメモリマップである。 データメモリ１３のメモリ構成を示すメモリマップである。 画像データのデータ形式を説明するための図である。 筆触パターンの一例を示す図である。 メインルーチンの動作を示すフローチャートである。 スイッチ処理の動作を示すフローチャートである。 背景選択スイッチ処理の動作を示すフローチャートである。 動画選択スイッチ処理の動作を示すフローチャートである。 変換スイッチ処理の動作を示すフローチャートである。 動画スタートスイッチ処理の動作を示すフローチャートである。 動画スタートスイッチ処理の動作を示すフローチャートである。 変換処理の動作を示すフローチャートである。 画像変換処理の動作を示すフローチャートである。 画像変換処理の動作を示すフローチャートである。 画像変換処理の動作の一例を説明するための図である。 表示処理の動作を示すフローチャートである。

以下、図面を参照して本発明の実施形態について説明する。
Ａ．構成
図１は実施の一形態による画像処理装置１００の電気的構成を示すブロック図である。この図において、ＣＰＵ１０は、操作部１４が発生する各種スイッチイベントに応じて装置各部を制御する。本発明の要旨に係わるＣＰＵ１０の処理動作については追って詳述する。ＲＯＭ１１には、ＣＰＵ１０にロードされる各種の制御プログラムや制御データが記憶される。各種の制御プログラムとは、後述のメインルーチン、スイッチ処理、変換処理および表示処理を含む。なお、スイッチ処理は、背景選択スイッチ処理、動画選択スイッチ処理、変換スイッチ処理および動画スタートスイッチ処理から構成される。また、動画スタートスイッチ処理と変換処理とは、画像変換処理を含む。

ＲＡＭ１２は、図２に図示するように、バックグラウンドエリアＢＧＥ、オブジェクトエリアＯＢＥ、変換画像エリアＴＭＥ、変換元画像エリアＴＨＥおよびワークエリアＷＥから構成される。バックグラウンドエリアＢＧＥには、絵画調に画調変換された背景画像が一時記憶される。オブジェクトエリアＯＢＥには、絵画調に画調変換された動画像を構成する静止画像が、対応する位置データと共に一時記憶される。

変換画像エリアＴＭＥには、絵画調変換された背景画像もしくは絵画調変換された動画像を構成する複数の静止画像が一時記憶される。変換元画像エリアＴＨＥは、絵画調変換する為の作業エリアであり、絵画調変換の対象としてデータメモリ１３からコピーされる動画像（複数の静止画像）もしくは背景画像が一時記憶される。ワークエリアＷＥには、ＣＰＵ１０の処理に用いられる各種レジスタ・フラグデータが一時記憶される。

データメモリ１３は、図３に図示するように、背景画像データエリアＢＥ、動画像データエリアＭＥおよび筆触パターンエリアＨＥを備える。背景画像データエリアＢＥには、複数の背景画像（１）〜（Ｎ）が格納される。なお、本実施形態で扱う画像は、例えば図４に図示するｎ行ｍ列の画素Ｐ（１）〜Ｐ（ｎ×ｍ）からなる公知のビットマップ形式で表現されるものとする。動画像データエリアＭＥには、複数の動画像（１）〜（Ｎ）が格納される。一つの動画像は、例えば連写撮影画像から動く被写体を切り出して生成した複数の静止画像（１）〜（ｎ）と、これら各静止画像（１）〜（ｎ）毎に設けられ、オブジェクト上の表示位置を表す位置データから構成される。

筆触パターンエリアＨＥには、筆触図形（タッチ形状）を示す複数種の筆触パターンＨＰ（１）〜ＨＰ（Ｎ）が格納される。これら筆触パターンＨＰ（１）〜ＨＰ（Ｎ）は、上述の変換元画像エリアＴＨＥ（図２参照）にストアされた静止画像（又は背景画像）を、絵画調の画像に変換する際に用いられる。例えば油彩画における筆触図形であれば、図５に図示する一例の筆触パターンＨＰ（１）〜ＨＰ（４）が筆触パターンエリアＨＥに登録される。筆触パターンＨＰ（１）は、筆触図形１を形成する１０個の画素から構成される。筆触パターンＨＰ（２）は、筆触図形２を形成する１３個の画素から構成される。筆触パターンＨＰ（３）は、筆触図形３を形成する１３個の画素から構成される。筆触パターンＨＰ（４）は、筆触図形４を形成する９個の画素から構成される。

操作部１４は、装置パネルに配設される各種操作スイッチを有し、ユーザ操作されるスイッチ種に対応したスイッチイベントを発生する。スイッチイベントはＣＰＵ１０に取り込まれる。この操作部１４には、電源をパワーオンオフする電源スイッチの他、背景画像を選択する背景選択スイッチ、動画像を選択する動画選択スイッチ、背景画像の絵画調変換を指示する変換スイッチ、動画表示の開始を指示する動画スタートスイッチ等が設けられる。表示部１５は、カラー液晶パネル等から構成され、ＣＰＵ１０から供給される表示制御信号に応じて、絵画調変換された背景画像を表示すると共に、その背景画像上に絵画調変換された動画像を動画表示する。

Ｂ．動作
次に、図６〜図１７を参照して上記構成による実施形態の動作について説明する。以下では、画像処理装置１００のＣＰＵ１０が実行するメインルーチン、当該メインルーチンからコールされるスイッチ処理、変換処理および表示処理の各動作について述べる。

（１）メインルーチンの動作
ユーザの電源スイッチ操作に応じてパワーオンされると、ＣＰＵ１０は図７に図示するメインルーチンのステップＳＡ１に処理を進め、ＲＡＭ１２のワークエリアＷＥ（図２参照）に設けられる各種レジスタ・フラグデータをゼロリセットもしくは初期値セットするイニシャライズを実行する。イニシャライズが完了すると、ステップＳＡ２を介してスイッチ処理を実行する。スイッチ処理では、背景選択スイッチ操作で背景画像（ＨＧ）を選択したり、動画選択スイッチ操作で動画（ＤＧ）を選択したりする他、変換スイッチ操作により背景画像（ＨＧ）の絵画調変換の実行を指示し、さらに動画スタートスイッチ操作に応じて動画スタートスイッチ処理を実行させる。

後述するように、動画スタートスイッチ処理では、背景画像（ＨＧ）が絵画調変換されてバックグラウンドエリアＢＧＥに転送済みであると、動画選択スイッチ操作に応じて選択された動画像（ＤＧ）を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については背景画像（ＨＧ）と類似する変換要素で絵画調変換し、最後の静止画像については背景画像（ＨＧ）と同じ変換要素で絵画調変換して変換画像エリアＴＭＥに格納する。そして、変換画像エリアＴＭＥから動画像（ＤＧ）を構成する一連の静止画像および位置データを読み出し、読み出した静止画像を位置データの示すオブジェクトエリアＯＢＥにストアした後、フレーム周期に相当する最小単位時間を計時するタイマカウンタをスタートさせる。

続いて、ステップＳＡ３では、変換処理を実行する。後述するように、変換処理では、背景画像（ＨＧ）を絵画調変換する前に、既に動画像（ＤＧ）が絵画調変換済みであると、絵画調変換済みの動画像（ＤＧ）を構成する静止画像から変換要素を検出し、検出した変換要素の内、絵画調の種類で指定される筆触パターンＨＰ（タッチの形状）以外の要素（「大きさ」、「長さ」、「角度」、「重なり具合（離間値Ｎ）」、「色のばらつき具合」等）の少なくとも１つの値を変更して生成される動画像（ＤＧ）の絵画調変換要素に類似した絵画調変換要素に基づき背景画像（ＨＧ）を絵画調変換してＲＡＭ１２のバックグラウンドエリアＢＧＥにストアする。

次いで、ステップＳＡ４では、表示処理を実行する。後述するように、表示処理では、動画表示の開始が指示される前ならば、ＲＡＭ１２のバックグラウンドエリアＢＧＥにストアされた絵画調変換前の背景画像（ＨＧ）と、オブジェクトエリアＯＢＥにストアされた絵画調変換前の動画像（ＤＧ）を構成する最初の静止画像とを合成して表示部１５に画面表示しておき、動画スタートスイッチ操作により動画表示の開始が指示されると、最小単位時間（１フレーム周期）が経過する毎に歩進される画像読み出しアドレスＡＤに応じて、絵画調変換された動画像（ＤＧ）を構成する一連の静止画像とその位置データとを順番に読み出して絵画調変換された背景画像（ＨＧ）上に合成表示することで絵画調変換された動画像（ＤＧ）を動画表示する。

続いて、ステップＳＡ５では、例えばユーザ操作に応じて装置の動作状態や設定状態などを表示部１６に表示する等の、その他の処理を実行した後、上述のステップＳＡ２に処理を戻す。以後、パワーオフされるまで上述したステップＳＡ２〜ＳＡ６の各処理を繰り返し実行する。

（２）スイッチ処理の動作
次に、図７〜図１２を参照してスイッチ処理の動作を説明する。上述したメインルーチンのステップＳＡ２（図６参照）を介してスイッチ処理が実行されると、ＣＰＵ１０は図７に図示するステップＳＢ１に進み、背景選択スイッチ処理を実行する。背景選択スイッチ処理が実行されると、図８に図示するステップＳＣ１に進み、背景選択スイッチのオン操作の有無を判断する。オン操作されなければ、判断結果は「ＮＯ」になり、背景選択スイッチ処理を完了させるが、オン操作されると、判断結果が「ＹＥＳ」になり、ステップＳＣ２に進む。

ステップＳＣ２では、オン操作された背景選択スイッチに対応付けられた背景画像番号をレジスタＨＧにストアする。以下、レジスタＨＧの内容を背景画像番号ＨＧと称す。背景画像番号ＨＧは、データメモリ１３の背景画像データエリアＢＥ（図３参照）に格納される背景画像（ＨＧ）を指定する。次いで、ステップＳＣ３では、背景画像が選択されたことを表す為、フラグＨＦに「１」をセットして本処理を終える。

背景選択スイッチ処理が完了すると、ＣＰＵ１０はステップＳＢ２（図７参照）を介して動画選択スイッチ処理を実行し、図９に図示するステップＳＤ１に処理を進め、動画選択スイッチのオン操作の有無を判断する。オン操作されなければ、判断結果は「ＮＯ」になり、曲選択スイッチ処理を完了させるが、オン操作されると、判断結果が「ＹＥＳ」になり、ステップＳＤ２に進む。ステップＳＤ２では、ＲＡＭ１２の変換画像エリアＴＭＥ（図２参照）をクリアし、続くステップＳＤ３では、オン操作された動画選択スイッチに対応付けられた動画像番号をレジスタＤＧにストアして本処理を終える。以下、レジスタＤＧの内容を動画像番号ＤＧと称す。動画像番号ＤＧは、データメモリ１３の動画像データエリアＭＥ（図３参照）に格納される動画像（ＤＧ）を指定する。

そして、動画選択スイッチ処理が完了すると、ＣＰＵ１０はステップＳＢ３（図７参照）を介して変換スイッチ処理を実行し、図１０に図示するステップＳＥ１に処理を進め、変換スイッチのオン操作の有無を判断する。オン操作されなければ、判断結果は「ＮＯ」になり、変換スイッチ処理を完了させるが、オン操作されると、判断結果が「ＹＥＳ」となり、ステップＳＥ２に進み、背景選択スイッチ操作で選択された背景画像（ＨＧ）を絵画調変換する変換処理（後述する）の実行を指示する為に、フラグＡＦに「１」をセットして本処理を終える。

続いて、ＣＰＵ１０は図７に図示するステップＳＢ４を介して動画スタートスイッチ処理を実行し、図１１に図示するステップＳＦ１に処理を進め、動画スタートスイッチのオン操作の有無を判断する。オン操作されなければ、判断結果は「ＮＯ」になり、動画スタートスイッチ処理を完了させるが、オン操作されると、判断結果が「ＹＥＳ」になり、ステップＳＦ２に進む。ステップＳＦ２では、ＲＡＭ１２のバックグラウンドエリアＢＧＥに変換画像が格納されているか否か、すなわち背景選択スイッチ操作で選択された背景画像（ＨＧ）が絵画調変換されてバックグラウンドエリアＢＧＥに転送済みであるかどうかを判断する。バックグラウンドエリアＢＧＥに絵画調変換された背景画像（ＨＧ）がストアされていなければ、判断結果は「ＮＯ」になり、後述のステップＳＦ１４（図１２参照）に処理を進める。

これに対し、バックグラウンドエリアＢＧＥに絵画調変換された背景画像（ＨＧ）がストアされていると、上記ステップＳＦ２の判断結果は「ＹＥＳ」になり、ステップＳＦ３に進む。ステップＳＦ３では、絵画調変換された背景画像（ＨＧ）から変換要素を検出する。変換要素とは、絵画調の種類で指定される筆触パターンＨＰ（タッチの形状）と、その「大きさ」、「長さ」、「角度」、「重なり具合（離間値Ｎ）」、「色のばらつき具合」等を指す。

絵画調変換された背景画像（ＨＧ）から変換要素を検出すると、ステップＳＦ４に進み、上述の変換要素の内、絵画調の種類で指定される筆触パターンＨＰ（タッチの形状）以外の要素（「大きさ」、「長さ」、「角度」、「重なり具合（離間値Ｎ）」、「色のばらつき具合」等）の少なくとも１つの値を変更する。つまり、背景画像（ＨＧ）の絵画調変換要素に類似した絵画調変換要素を発生する。

次に、ステップＳＦ５に進むと、データメモリ１３の動画像データエリアＭＥ（図３参照）において動画選択スイッチ操作で選択された動画像（ＤＧ）の先頭アドレスをレジスタＡＤにストアする。以下、レジスタＡＤの内容を画像読み出しアドレスＡＤと称す。次いで、ステップＳＦ６では、画像読み出しアドレスＡＤに応じて、動画像（ＤＧ）を構成する最初の静止画像および位置データを読み出す。続いて、ステップＳＦ７では、画像読み出しアドレスＡＤに応じて読み出された静止画像を、背景画像（ＨＧ）の絵画調変換要素に類似した絵画調変換要素に基づき絵画調に変換する画像変換処理を実行する。

ステップＳＦ７を介して実行される画像変換処理では、後述するように、変換元画像エリアＴＨＥにコピーされた静止画像から任意選択した開始画素Ｐを起点として、画素数（離間値Ｎ）置きの各画素をパターン始点となるように各筆触パターンＨＰの重なり具合を決め、静止画像から各パターン始点の画素に対応する色Ｃｐを取得し、取得した色Ｃｐに従って対応する筆触パターンを塗り潰すことによって静止画像が絵画調（例えば油彩画）に変換される。

ステップＳＦ７の画像変換処理が完了すると、ステップＳＦ８に進み、絵画調変換された静止画像と、画像読み出しアドレスＡＤに応じて読み出された位置データとを変換画像エリアＴＭＥ（図２参照）にストアする。次いで、ステップＳＦ９では、画像読み出しアドレスＡＤをインクリメントして歩進させ、続くステップＳＦ１０（図１２参照）では、歩進された画像読み出しアドレスＡＤが最終アドレスに達したか否か、すなわち動画像（ＤＧ）を構成する一連の静止画像の内、最後の一つ前の静止画像まで絵画調変換し終えたかどうかを判断する。

最後の一つ前の静止画像まで絵画調変換し終えていなければ、判断結果は「ＮＯ」になり、前述したステップＳＦ６（図１１参照）に処理を戻す。以後、動画像（ＤＧ）を構成する一連の静止画像の内、最後の一つ前の静止画像まで絵画調変換し終えるまでステップＳＦ６〜ＳＦ１０を繰り返す。そして、最後の一つ前の静止画像まで絵画調変換し終え、画像読み出しアドレスＡＤが最終アドレスに達すると、上記ステップＳＦ１０の判断結果が「ＹＥＳ」になり、ステップＳＦ１１に進む。

ステップＳＦ１１では、最終アドレスに達した画像読み出しアドレスＡＤに応じて、動画像（ＤＧ）を構成する一連の静止画像の内、最後の静止画像を読み出す一方、前述のステップＳＦ４において変更した変換要素の値を元に戻す。すなわち、背景画像（ＨＧ）を絵画調変換した際の変換要素に戻す。そして、ステップＳＦ１２を介して画像変換処理を実行し、動画像（ＤＧ）を構成する一連の静止画像の内、最後の静止画像について背景画像（ＨＧ）と同じ変換要素を用いて絵画調変換を施す。

つまり、動画像（ＤＧ）を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については背景画像（ＨＧ）の絵画調変換要素に類似した絵画調変換要素で絵画調変換し、最後の静止画像については背景画像（ＨＧ）と同じ絵画調変換要素で絵画調変換するのである。こうした点が意図するところについては追って述べる。

最後の静止画像について背景画像（ＨＧ）と同じ絵画調変換が施されると、ステップＳＦ１３に進み、絵画調変換された静止画像と、画像読み出しアドレスＡＤに応じて読み出された位置データとを変換画像エリアＴＭＥ（図２参照）にストアする。そして、ステップＳＦ１４に進み、スタートフラグＳＴＦを「１」にセットして動画表示の開始を指示する。

次いで、ステップＳＦ１５に進むと、絵画調変換された動画像（ＤＧ）が変換画像エリアＴＭＥ（図２参照）に格納済みであるか否かを判断する。絵画調変換された動画像（ＤＧ）が格納済みの場合、すなわち絵画調変換された背景画像（ＨＧ）がバックグラウンドエリアＢＧＥに格納済みとなっているのに対応して、前述のステップＳＦ３〜ＳＦ１３を実行して動画像（ＤＧ）を構成する一連の静止画像について絵画調変換を施して変換画像エリアＴＭＥにストアした場合には、判断結果が「ＹＥＳ」になり、ステップＳＦ１６に進み、変換画像エリアＴＭＥにストアした動画像（ＤＧ）の先頭アドレスを画像読み出しアドレスＡＤにセットした後、ステップＳＦ１８に進む。

一方、絵画調変換された背景画像（ＨＧ）がバックグラウンドエリアＢＧＥに格納されておらず、これにより前述のステップＳＦ２（図１１参照）の判断結果が「ＮＯ」となって、前述のステップＳＦ３〜ＳＦ１３を実行せずに上記ステップＳＦ１４に進んだ結果、絵画調変換された動画像（ＤＧ）が変換画像エリアＴＭＥにストアされていない状態では、上記ステップＳＦ１５の判断結果は「ＮＯ」になり、ステップＳＦ１７に進み、データメモリ１３の動画像データエリアＭＥ（図３参照）において、動画選択スイッチ操作に応じて選択された動画像（ＤＧ）の先頭アドレスを画像読み出しアドレスＡＤにセットした後、ステップＳＦ１８に進む。

このように、絵画調変換された動画像（ＤＧ）が変換画像エリアＴＭＥに格納済みならば、絵画調変換された動画像（ＤＧ）を構成する一連の静止画像を画像読み出しアドレスＡＤに応じて読み出すようにし、一方、背景画像（ＨＧ）が絵画調変換されておらず、これに対応して変換画像エリアＴＭＥに絵画調変換された動画像（ＤＧ）が格納されていなければ、データメモリ１３の動画像データエリアＭＥから動画像（ＤＧ）を画像読み出しアドレスＡＤに応じてそのまま読み出すようにする。

そして、ステップＳＦ１８に進むと、画像読み出しアドレスＡＤに応じて、ＲＡＭ１２の変換画像エリアＴＭＥ（又はデータメモリ１３の動画像データエリアＭＥ）から静止画像および位置データを読み出し、続くステップＳＦ１９では、読み出された静止画像を、位置データの示すオブジェクトエリアＯＢＥにストアする。この後、ステップＳＦ２０に進み、フレーム周期に相当する最小単位時間を計時するタイマカウンタをスタートさせて本処理を終える。

以上のように、動画スタートスイッチ処理では、背景画像（ＨＧ）が絵画調変換されてバックグラウンドエリアＢＧＥに転送済みであると、動画選択スイッチ操作に応じて選択された動画像（ＤＧ）を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については背景画像（ＨＧ）と類似する変換要素で絵画調変換し、最後の静止画像については背景画像（ＨＧ）と同じ変換要素で絵画調変換して変換画像エリアＴＭＥに格納する。そして、変換画像エリアＴＭＥから動画像（ＤＧ）を構成する一連の静止画像および位置データを読み出し、読み出した静止画像を位置データの示すオブジェクトエリアＯＢＥにストアした後、フレーム周期に相当する最小単位時間を計時するタイマカウンタをスタートさせる。

こうした動画スタートスイッチ処理が完了すると、ＣＰＵ１０は図７に図示するステップＳＢ５に進み、例えばユーザのスイッチ操作に応じて絵画調変換の種類（水彩画、油彩画（印象派）、油彩画（野獣派）、ガッシュ画、パステル画など）を選択する等の、その他のスイッチ処理を実行した後、スイッチ処理を完了させる。

（３）変換処理の動作
次に、図１３を参照して変換処理の動作を説明する。前述したメインルーチンのステップＳＡ３（図６参照）を介して本処理が実行されると、ＣＰＵ１０は図１３に図示するステップＳＧ１に進み、フラグＡＦが「１」であるか否かを判断する。変換スイッチがオン操作されなければ、フラグＡＦに「１」がセットされないので、判断結果は「ＮＯ」になり、本処理を終えるが、変換スイッチのオン操作に応じてフラグＡＦが「１」にセットされると、判断結果は「ＹＥＳ」になり、ステップＳＧ２に進む。

ステップＳＧ２では、ＲＡＭ１２の変換画像エリアＴＭＥに絵画調変換された静止画像（動画像（ＤＧ））が格納されているか否かを判断する。絵画調変換された静止画像がストアされていなければ、判断結果は「ＮＯ」になり、後述のステップＳＧ５に処理を進めるが、絵画調変換された静止画像がストアされていると、上記ステップＳＧ２の判断結果は「ＹＥＳ」になり、ステップＳＧ３に進む。ステップＳＧ３では、絵画調変換された静止画像から変換要素を検出する。変換要素とは、絵画調の種類で指定される筆触パターンＨＰ（タッチの形状）と、その「大きさ」、「長さ」、「角度」、「重なり具合（離間値Ｎ）」、「色のばらつき具合」等を指す。

絵画調変換された静止画像から変換要素を検出すると、ステップＳＧ４に進み、上述の変換要素の内、絵画調の種類で指定される筆触パターンＨＰ（タッチの形状）以外の要素（「大きさ」、「長さ」、「角度」、「重なり具合（離間値Ｎ）」、「色のばらつき具合」等）の少なくとも１つの値を変更する。つまり、動画像（ＤＧ）の絵画調変換要素に類似した絵画調変換要素を発生する。

続いて、ステップＳＧ５では、背景選択スイッチ操作で選択された背景画像（ＨＧ）をデータメモリ１３の背景画像データエリアＢＥから読み出し、続くステップＳＧ６では、読み出した背景画像（ＨＧ）を、動画像（ＤＧ）の絵画調変換要素に類似した絵画調変換要素に基づき絵画調に変換する画像変換処理を実行する。次いで、ステップＳＧ７では、絵画調変換された背景画像（ＨＧ）をＲＡＭ１２のバックグラウンドエリアＢＧＥ（図２参照）にストアした後、ステップＳＧ８に進み、フラグＡＦをゼロリセットして本処理を終える。

このように、変換処理では、背景画像（ＨＧ）の絵画調変換以前に、既に動画像（ＤＧ）が絵画調変換済みならば、その動画像（ＤＧ）を構成する静止画像から変換要素を検出し、検出した変換要素の内、絵画調の種類で指定される筆触パターンＨＰ（タッチの形状）以外の要素（「大きさ」、「長さ」、「角度」、「重なり具合（離間値Ｎ）」、「色のばらつき具合」等）の少なくとも１つの値を変更して生成される、動画像（ＤＧ）の絵画調変換要素に類似した絵画調変換要素に基づき背景画像（ＨＧ）を絵画調変換してＲＡＭ１２のバックグラウンドエリアＢＧＥにストアする。

（４）画像変換処理の動作
次に、図１４〜図１６を参照して画像変換処理の動作を説明する。前述した動画スタートスイッチ処理のステップＳＦ７（図１１参照）、ステップＳＦ１２（図１２参照）あるいは上述した変換処理のステップＳＧ５（図１３参照）の何れかを介して本処理が実行されると、ＣＰＵ１０は図１４に図示するステップＳＨ１に進む。ステップＳＨ１では、データメモリ１３の筆触パターンエリアＨＥ（図３参照）に格納される各種筆触パターンＨＰ（１）〜（Ｎ）の中から、前述したステップＳＢ５の、その他のスイッチ処理で指定された絵画調の種類に対応付けられた筆触パターンを、他の変換要素（「大きさ」、「長さ」、「角度」、「重なり具合（離間値Ｎ）」、「色のばらつき具合」等）で修飾して設定する。ここでは、説明の簡略化を図る為、例えば筆触パターンＨＰ（１）を設定したとする。

続いて、ステップＳＨ２では、画像読み出しアドレスＡＤに応じて、データメモリ１３の動画像データエリアＭＥ（図３参照）から読み出された静止画像（ＤＧ）をＲＡＭ１２の変換元画像エリアＴＨＥ（図２参照）にコピーする。そして、ステップＳＨ３では、変換元画像エリアＴＨＥにコピーされた静止画像（ＤＧ）において、変換を開始する開始画素Ｐを設定する。開始画素Ｐは、ビットマップ形式の画素Ｐ（１）〜Ｐ（ｎ×ｍ）の何れか一つを選択する。具体的には、例えば図１６（ａ）に図示する変換画像エリアＴＭＥの画素Ｐ（１）を開始画素Ｐに設定する。

次に、ステップＳＨ４では、離間値Ｎを設定する。離間値Ｎとは、図１６（ａ）に図示する通り、開始画素Ｐに設定した画素Ｐ（１）と次に変換を開始する画素Ｐ（２）との間の離間距離を画素数で表すものであり、筆触パターンＨＰの重なり具合を表す。前述の動画スタート処理のステップＳＦ４（図１１参照）や、変換処理のステップＳＧ４（図１３参照）において「重なり具合（離間値Ｎ）」が変更対象の変換要素とされた場合には、その変更された値の「重なり具合（離間値Ｎ）」に設定し、一方、変更対象の変換要素でなければ、絵画調変換された背景画像（ＨＧ）（又は動画像（ＤＧ））と同じ値の「重なり具合（離間値Ｎ）」に設定する。

次いで、ステップＳＨ５では、変換元画像エリアＴＨＥにコピーされた静止画像（ＤＧ）において、変換を開始する開始画素Ｐ（画素Ｐ（１））の色Ｃｐを取得する。続いて、ステップＳＨ６では、上記ステップＳＨ１で設定された筆触パターンＨＰ（１）を構成する画素の番号を指定するポインタｎに初期値「１」をセットする。そして、図１５に図示するステップＳＨ７に進み、変換元画像エリアＴＨＥの開始画素Ｐと同じ位置の画素に、上記ステップＳＨ１で設定された筆触パターンＨＰ（１）の１番目の画素を合わせる。なお、筆触パターンＨＰ（１）は、図５に図示する一例のように、筆触図形１を形成する１０個の画素から構成される。

続いて、ステップＳＨ８では、１番目の画素が開始画素Ｐに位置合わせされた筆触パターンＨＰ（１）において、ポインタｎで指定されるｎ番目の画素に対応した画素を検索する。ステップＳＨ９では、その検索した画素が対象画像内に収まっているか否かを判断する。対象画像外ならば、判断結果は「ＮＯ」になり、後述のステップＳＨ１１に進む。一方、検索した画素が対象画像内に収まっていれば、判断結果は「ＹＥＳ」となり、ステップＳＨ１０に進み、その検索した画素の色を、上記ステップＳＨ５で取得した色Ｃｐに設定する。この後、ステップＳＨ１１に進み、ポインタｎをインクリメントして歩進させる。

次いで、ステップＳＨ１２では、歩進されたポイントｎの値が筆触パターンＨＰ（１）の最終画素の番号以上になったか否か、つまり筆触パターンＨＰ（１）を構成する全ての画素について色設定し終えたかどうかを判断する。全ての画素について色設定し終えていなければ、判断結果は「ＮＯ」になり、ステップＳＨ８に処理を戻す。以後、筆触パターンＨＰ（１）を構成する全ての画素について色設定し終えるまで上記ステップＳＨ８〜ＳＨ１２を繰り返す。これにより、上述の一例の場合、図１６（ｂ）に図示する通り、画素Ｐ（１）に対応する位置の開始画素Ｐを１番目の画素とした筆触パターンＨＰ（１）が、ステップＳＨ５で取得した色Ｃｐで塗り潰されることになる。

こうして、最初の開始画素Ｐ（画素Ｐ（１））について筆触パターンＨＰ（１）による塗り潰しを終えると、上記ステップＳＨ１２の判断結果が「ＹＥＳ」になり、ステップＳＨ１３に進み、開始画素Ｐ（画素Ｐ（１））に離間値Ｎを加算して次の開始画素Ｐ（画素Ｐ（２））に更新する。そして、ステップＳＨ１４に進むと、更新された次の開始画素Ｐ（画素Ｐ（２））が最終画素に達したか否かを判断する。

更新された次の開始画素Ｐ（画素Ｐ（２））が最終画素に達していない場合には、判断結果は「ＮＯ」になり、図１４に図示したステップＳＨ５以降の処理を繰り返す。これにより、例えば図１６（ａ）に図示するように、離間値Ｎを隔てて並ぶ画素Ｐ（１）、Ｐ（２）、Ｐ（３）がそれぞれ開始画素Ｐに設定された場合には、これら開始画素Ｐを１番目の画素として配置された筆触パターンＨＰ（１）が、同図１６（ｂ）に図示する通り、それぞれの取得色Ｃｐで塗り潰されて重ね合わされる結果、同図（ｃ）のように筆触図形１のタッチで描かれる油彩画として画像変換される。そして、更新された次の開始画素Ｐが最終画素に達した場合には、上述したステップＳＨ１４の判断結果は「ＹＥＳ」となり、本処理を終える。

このように、画像変換処理では、変換元画像エリアＴＨＥにコピーされた静止画像（ＤＧ）から任意選択した開始画素Ｐを起点として、画素数（離間値Ｎ）置きの各画素をパターン始点となるように各筆触パターンＨＰの重なり具合を決め、静止画像（ＤＧ）から各パターン始点の画素に対応する色Ｃｐを取得し、取得した色Ｃｐに従って対応する筆触パターンを塗り潰すことによって静止画像（ＤＧ）が絵画調（例えば油彩画）に変換される。

（５）表示処理の動作
次に、図１７を参照して表示処理の動作を説明する。前述したメインルーチンのステップＳＡ４（図６参照）を介して本処理が実行されると、ＣＰＵ１０は図１７に図示するステップＳＪ１に進み、フラグＨＦが「１」であるか否か、すなわち背景画像（ＨＧ）を選択済みであるかどうかを判断する。背景画像（ＨＧ）が未選択（フラグＨＦが「０」）ならば、判断結果は「ＮＯ」になり、後述のステップＳＪ４に進む。

一方、背景画像（ＨＧ）を選択済みで、フラグＨＦが「１」であると、上記ステップＳＪ１の判断結果は「ＹＥＳ」になり、ステップＳＪ２に進む。ステップＳＪ２では、背景選択スイッチ操作により選択された背景画像（ＨＧ）をデータメモリ１３の背景画像データエリアＢＥから読み出してＲＡＭ１２のバックグラウンドエリアＢＧＥにストアし、続くステップＳＪ３ではフラグＨＦをゼロリセットする。

そして、ステップＳＪ４に進むと、スタートフラグＳＴＦが「１」であるか否か、すなわち前述した動画スタートスイッチ処理（図１１〜図１２参照）において、絵画調変換し終えた動画像（ＤＧ）の動画表示をスタートさせているかどうかを判断する。動画表示をスタートさせておらず、スタートフラグＳＴＦが「０」であると、ここでの判断結果は「ＮＯ」になり、ステップＳＪ５に進み、ＲＡＭ１２のバックグラウンドエリアＢＧＥにストアされた絵画調変換前の背景画像（ＨＧ）と、ＲＡＭ１２のオブジェクトエリアＯＢＥにストアされた絵画調変換前の動画像（ＤＧ）を構成する最初の静止画像とを合成して表示部１５に画面表示する。

さて、こうして絵画調変換前の背景画像（ＨＧ）と、絵画調変換前の動画像（ＤＧ）を構成する最初の静止画像とが合成されて画面表示された後に、前述の変換処理（図１３参照）において絵画調変換された背景画像（ＨＧ）がＲＡＭ１２のバックグラウンドエリアＢＧＥにストアされ、かつ動画スタートスイッチ処理（図１１〜図１２参照）において絵画調変換し終えた動画像（ＤＧ）の動画表示をスタートさせた状態で本処理が実行されたとする。そうすると、上記ステップＳＪ１の判断結果が「ＮＯ」となり、ステップＳＪ４に進み、当該ステップＳＪ４の判断結果が「ＹＥＳ」となってステップＳＪ６に進む。

ステップＳＪ６では、前述のステップＳＦ２０（図１２参照）においてタイマカウンタをスタートさせてから最小単位時間（１フレーム周期）が経過したか否かを判断する。最小単位時間が経過していなければ、判断結果は「ＮＯ」になり、ステップＳＪ５に進む。この場合、ステップＳＪ５では、絵画調変換された背景画像（ＨＧ）と、絵画調変換された動画像（ＤＧ）を構成する最初の静止画像とが合成表示される。合成表示の態様は、背景画像（ＨＧ）の絵画調変換と類似の変換要素に基づき動画像（ＤＧ）を絵画調変換した場合と、動画像（ＤＧ）の絵画調変換と類似の変換要素に基づき背景画像（ＨＧ）を絵画調変換した場合とで異なる。

つまり、前者の場合には、絵画調変換された背景画像（ＨＧ）上に、当該背景画像（ＨＧ）の絵画調変換と類似の変換要素に基づき絵画調変換された動画像（ＤＧ）を構成する最初の静止画像が位置データで指定される箇所に合成表示され、一方、後者の場合であると、動画像（ＤＧ）の絵画調変換と類似の変換要素に基づき絵画調変換された背景画像（ＨＧ）上に、絵画調変換された動画像（ＤＧ）を構成する最初の静止画像が位置データで指定される箇所に合成表示される。

こうして、絵画調変換された動画像（ＤＧ）を構成する最初の静止画像が背景画像（ＨＧ）上に合成表示された後に最小単位時間（１フレーム周期）が経過すると、上述したステップＳＪ６の判断結果が「ＹＥＳ」になり、ステップＳＪ７に進み、画像読み出しアドレスＡＤをインクリメントして歩進させる。次いで、ステップＳＪ８では、歩進された画像読み出しアドレスＡＤが最終アドレス以下であるか否かを判断する。

歩進された画像読み出しアドレスＡＤが最終アドレス以下ならば、判断結果は「ＹＥＳ」になり、ステップＳＪ９に進む。ステップＳＪ９では、ＲＡＭ１２のオブジェクトエリアＯＢＥをクリアし、続くステップＳＪ１０では、歩進された画像読み出しアドレスＡＤに応じて、ＲＡＭ１２の変換画像エリアＴＭＥから次の静止画像および位置データを読み出し、読み出した静止画像を、位置データの示すオブジェクトエリアＯＢＥにストアした後、上述のステップＳＪ５に進む。これにより、次の静止画像が背景画像（ＨＧ）上に合成表示される。

以後、最小単位時間（１フレーム周期）が経過する毎に画像読み出しアドレスＡＤをインクリメントして歩進させ、歩進された画像読み出しアドレスＡＤに応じて、絵画調変換された動画像（ＤＧ）を構成する一連の静止画像とその位置データとを順番に読み出して背景画像（ＨＧ）上に合成表示することで絵画調変換された動画像（ＤＧ）が動画として表示される。

そして、歩進された画像読み出しアドレスＡＤが最終アドレスを超え、絵画調変換された動画像（ＤＧ）を構成する一連の静止画像を全て読み出し終えると、上記ステップＳＪ８の判断結果が「ＮＯ」になり、ステップＳＪ１１に進み、スタートフラグＳＴＦをゼロリセットして動画表示停止を表し、続くステップＳＪ１２では、最小単位時間を計時するタイマカウンタを停止させた後、上述のステップＳＪ５に進む。これにより、最後の静止画像が停止した状態で背景画像（ＨＧ）上に合成表示される。

このように、表示処理では、動画表示の開始が指示される前ならば、ＲＡＭ１２のバックグラウンドエリアＢＧＥにストアされた絵画調変換前の背景画像（ＨＧ）と、オブジェクトエリアＯＢＥにストアされた絵画調変換前の動画像（ＤＧ）を構成する最初の静止画像とを合成して表示部１５に表示しておき、動画スタートスイッチ操作により動画表示の開始が指示されると、最小単位時間（１フレーム周期）が経過する毎に歩進される画像読み出しアドレスＡＤに応じて、絵画調変換された動画像（ＤＧ）を構成する一連の静止画像とその位置データとを順番に読み出して絵画調変換された背景画像（ＨＧ）上に合成表示することで絵画調変換された動画像（ＤＧ）を動画表示する。

以上説明したように、本実施形態では、背景画像（ＨＧ）が絵画調変換済みであると、動画像（ＤＧ）を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については背景画像（ＨＧ）と類似した変換要素で絵画調変換を施し、最後の静止画像については背景画像（ＨＧ）と同じ変換要素で絵画調変換を施す。そして、最小単位時間（１フレーム周期）の経過毎に、絵画調変換された動画像（ＤＧ）を構成する一連の静止画像とその位置データとを順番に読み出して絵画調変換された背景画像（ＨＧ）上に合成表示するので、背景画像（ＨＧ）と動画像（ＤＧ）との双方の絵画調変換の種類が相違して動画表示が違和感の有る不自然なものになったり、これとは逆に、双方の絵画調変換の種類を同一にすることで動画表示が背景画像（ＨＧ）に埋没して見難いものになったりする弊害を回避し、絵画調変換された背景画像と動画像とを違和感なく自然で見易く合成することができる。

また、動画像（ＤＧ）を構成する一連の静止画像の内、最後の静止画像については背景画像（ＨＧ）と同じ変換要素で絵画調変換を施すようにしたので、絵画調変換された背景画像と動画表示が完了した動画像とを違和感なく自然で見易く合成することができる。

さらに、本実施形態では、背景画像（ＨＧ）の絵画調変換以前に、既に動画像（ＤＧ）が絵画調変換済みならば、その動画像（ＤＧ）を構成する静止画像から検出した絵画調変換要素の内の少なくとも１つの値を変更して動画像（ＤＧ）の絵画調変換要素に類似した絵画調変換要素を生成し、それに基づき絵画調変換された背景画像（ＨＧ）上に、絵画調変換された動画像（ＤＧ）を合成表示するので、絵画調変換された背景画像と動画像とを違和感なく自然で見易く合成することができる。

なお、上述した実施形態では、絵画調変換された静止画の背景画像（ＨＧ）上に、絵画調変換された一連の静止画像から構成される動画像（ＤＧ）を合成表示する一例について言及したが、本発明の要旨はこれに限定されず、絵画調変換された一連の静止画像から構成される背景動画像上に、絵画調変換された一連の静止画像から構成される動画像（ＤＧ）を合成表示する態様にも適用可能である。この場合、例えば背景動画像を構成する各静止画について類似性を維持させながら個々の異ならせた絵画調変換要素に基づき絵画調変換を施し、一方、動画像（ＤＧ）を構成する各静止画については背景動画像を構成する各静止画の絵画調変換要素に各々類似した絵画調変換要素を生成し、それに基づき絵画調変換を施し、そうして得られた背景動画像上に動画像（ＤＧ）を合成表示すれば、絵画調変換された動画同士を違和感なく自然で見易く合成し得るようになる。

また、本発明においては、背景画像（ＨＧ）及び動画像（ＤＧ）ともに、ひとつの画像処理装置に記憶する構成としていたが、画像処理装置がネットワークを介してサーバーに接続可能でかつ、背景画像（ＨＧ）はサーバー側に記憶される構成としてもよい。このように構成することにより、画像処理装置は、必要な背景画像（ＨＧ）をサーバーから取り出して、当該処理装置内部にある動画像（ＤＧ）と合成させる。これにより動画像（ＤＧ）は、より多くの背景画像（ＨＧ）と組み合わせて合成することが可能となる。
あるいは、画像処理装置に背景画像（ＨＧ）を記憶し、サーバーに動画像（ＤＧ）を記憶するような構成としてもよい。

１０ ＣＰＵ
１１ ＲＯＭ
１２ ＲＡＭ
１３ データメモリ
１４ 操作部
１５ 表示部
１００ 画像処理装置

Claims (5)

1. 画調変換された背景画像から変換要素を検出する検出手段と、
   前記検出手段により検出された変換要素の内、画調の種類以外の要素の少なくとも１つの値を変更した類似変換要素を生成する変換要素発生手段と、
   前記変換要素発生手段により生成された類似変換要素に従って動画像を画調変換する画調変換手段と、
   前記画調変換手段により画調変換された動画像を、画調変換された背景画像上に合成して表示する合成表示手段と
   を具備することを特徴とする画像処理装置。
2. 前記画調変換手段は、
   動画像を構成する一連の静止画像の内、最初から最後の一つ前までの各静止画像については前記変換要素発生手段により生成された類似変換要素に従って画調変換を施す第１の変換手段と、
   動画像を構成する一連の静止画像の内、最後の静止画像については前記検出手段により検出された変換要素に従って画調変換を施す第２の変換手段と
   を具備することを特徴とする請求項１記載の画像処理装置。
3. 画調変換された動画像から変換要素を検出する検出手段と、
   前記検出手段により検出された変換要素の内、画調の種類以外の要素の少なくとも１つの値を変更した類似変換要素を生成する変換要素発生手段と、
   前記変換要素発生手段により生成された類似変換要素に従って背景画像を画調変換する画調変換手段と、
   前記画調変換手段により画調変換された背景画像上に、画調変換された動画像を合成して表示する合成表示手段と
   を具備することを特徴とする画像処理装置。
4. コンピュータに、
   画調変換された背景画像から変換要素を検出する検出ステップと、
   前記検出ステップにて検出された変換要素の内、画調の種類以外の要素の少なくとも１つの値を変更した類似変換要素を生成する変換要素発生ステップと、
   前記変換要素発生ステップにより生成された類似変換要素に従って動画像を画調変換する画調変換ステップと、
   前記画調変換ステップにて画調変換された動画像を、画調変換された背景画像上に合成して表示する合成表示ステップと
   を実行させることを特徴とするプログラム。
5. コンピュータに、
   画調変換された動画像から変換要素を検出する検出ステップと、
   前記検出ステップにて検出された変換要素の内、画調の種類以外の要素の少なくとも１つの値を変更した類似変換要素を生成する変換要素発生ステップと、
   前記変換要素発生ステップにより生成された類似変換要素に従って背景画像を画調変換する画調変換ステップと、
   前記画調変換ステップにて画調変換された背景画像上に、画調変換された動画像を合成して表示する合成表示ステップと
   を実行させることを特徴とするプログラム。

Images