JP5703793B2 - 情報表示装置、情報表示方法およびプログラム - Google Patents

Description

本発明は、食材の画像を合成して出力するための合成画像出力装置およびその制御プログラムに関する。

近年、学校や幼稚園などでお弁当が必要な子供を持つ家庭において、アニメ等のキャラクタを食材で模したキャラ弁（登録商標）を作るのがブームとなっており、食品会社のホームページで紹介されたり、関係書籍も多数出版されたりしている。

従来、料理作りやお弁当作りを支援する技術として、例えば次に上げる装置やシステムが考えられている。

撮影した人物画像の外見的特徴（肥満／痩せ、性別、子供／大人等）を認識し、予め記憶された人物の外見的特徴毎に適したレシピの中から、該当するレシピを読み出して表示することで、人の好みや健康を考慮した料理のレシピを容易に知ることのできる自動レシピ作成装置が考えられている（例えば、特許文献１参照。）。

食材の３Ｄ画像から３Ｄ商品サンプルを作成して、お弁当などの商品をバーチャルに開発する商品開発支援システムが考えられている（例えば、特許文献２参照。）。

お弁当などを構成する各種の要素画像と同要素の特性値とを予め格納し、ここから選択された要素画像同士を重ねた構成体画像（商品サンプル）を表示させると、当該構成体の特性値も算出され、必要に応じて表示させることができる商品サンプル設計システムが考えられている（例えば、特許文献３参照。）。

特開２０１０−０６１３８１号公報 特開２００３−３３１００６号公報 特開２００２−００７５１２号公報

従来キャラ弁を作るにあたっては、キャラクタをリアルに再現することに重きが置かれており、テクニックが必要で初心者には作成困難である場合が多い。

本発明は、このような課題に鑑みなされたもので、色彩のバランスのとれたキャラ弁作りを支援することが可能な情報表示装置、情報表示方法およびプログラムを提供することを目的とする。

請求項１に記載の情報表示装置は、食材の色情報、食材画像又は食材名を関連付けて記憶する食材データ記憶手段と、任意の画像を入力する画像入力手段と、前記画像入力手段により入力された前記画像に含まれる色を判別する色判別手段と、前記色判別手段によって判別された色に応じた食材を前記食材データ記憶手段により記憶された食材の中から決定する食材決定手段と、前記食材決定手段により決定された食材を、前記色判別手段によって判別された前記画像に含まれる色に対応させて表示する表示手段と、を備え、前記表示手段は、前記食材決定手段により決定された食材を、前記色判別手段によって判別された前記画像に含まれる色に対応させて食材画像又は食材名で表示することを特徴としている。

本発明によれば、色彩のバランスのとれたキャラ弁作りを支援することが可能な情報表示装置、情報表示方法およびそのプログラムを提供できる。

本発明の合成画像出力装置の実施形態に係るキャラクタ弁当表示装置１０の電子回路の構成を示すブロック図。 前記キャラクタ弁当表示装置１０を搭載した各種画像表示装置の外観構成を示す図。 前記キャラクタ弁当表示装置１０の食材データベースメモリ１２ｂに記憶される食材データベースのうち色分類[1]〜[3]×食材分類[1]〜[3]に対応するところの内容を示す図。 前記キャラクタ弁当表示装置１０の食材データベースメモリ１２ｂに記憶される食材データベースのうち色分類[1]〜[3]×食材分類[4][5]に対応するところの内容を示す図。 前記キャラクタ弁当表示装置１０の食材データベースメモリ１２ｂに記憶される食材データベースのうち色分類[4]〜[7]×食材分類[1]〜[3]に対応するところの内容を示す図。 前記キャラクタ弁当表示装置１０の食材データベースメモリ１２ｂに記憶される食材データベースのうち色分類[4]〜[7]×食材分類[4][5]に対応するところの内容を示す図。 前記キャラクタ弁当表示装置１０のレシピデータメモリ１２ｃに記憶されるレシピデータの内容を示す図。 前記キャラクタ弁当表示装置１０の使用食材テーブルメモリ１２ｇに記憶される使用食材テーブルの内容を示す図。 前記キャラクタ弁当表示装置１０の画像処理プログラム１２ａに従った画像処理を示すフローチャート。 前記キャラクタ弁当表示装置１０の画像処理に伴う画像変換処理（その１）を示すフローチャート。 前記キャラクタ弁当表示装置１０の画像処理に伴う画像変換処理（その２）を示すフローチャート。 前記キャラクタ弁当表示装置１０の画像処理に伴うレシピ表示処理を示すフローチャート。 前記キャラクタ弁当表示装置１０の画像処理に伴う画像変換処理に従い生成されたカエルの入力画像ＧＩとそのキャラ弁画像ＧＣ（その１）とを並べてなるカエルのキャラ弁合成画面Ｇ１（その１）を示す図。 前記キャラクタ弁当表示装置１０の画像処理に伴い生成されたカエルのキャラ弁画像ＧＣ（その１）の食材表示画面Ｇ２を示す図。 前記カエルのキャラ弁画像ＧＣ（その１）の食材表示画面Ｇ２にて何れかの食材に食材無しマーク“×”を付加した場合に前記画像変換処理に従い再生成されたカエルのキャラ弁画像ＧＣ（その２）からなるキャラ弁合成画面Ｇ１（その２）を示す図。 前記画像変換処理に従い再生成されたカエルのキャラ弁画像ＧＣ（その２）の食材表示画面Ｇ２を示す図。 前記キャラクタ弁当表示装置１０の画像処理に伴うレシピ表示処理に従い生成された前記カエルのキャラ弁画像ＧＣ（その２）におけるユーザ指定の画像ブロック（Ｂ）に対応したレシピ表示画面Ｇ３を示す図。 前記キャラクタ弁当表示装置１０の画像処理に伴う画像変換処理に従い生成されたスマイルの入力画像ＧＩとそのキャラ弁画像ＧＣ（その１）とを並べてなるスマイルのキャラ弁合成画面Ｇ１（その１）において、入力画像ＧＩに予め設定された７色分類のうち茶色が含まれていない場合のユーザ指定の画像ブロックに対応した色変更メッセージＭａ，Ｍｂの表示状態を示す図。 前記図１５における色変更メッセージＭａ，Ｍｂに従い画像ブロック（Ｂ）に対応する黒色×３類の食材[ソースカツ]を茶色×３類の食材[トンカツ]に変更した場合のスマイルの入力画像ＧＩとそのキャラ弁画像ＧＣ（その２）とを並べてなるスマイルのキャラ弁合成画面Ｇ１（その２）を示す図。 前記キャラクタ弁当表示装置１０の画像処理に伴うレシピ表示処理に従い生成された前記スマイルのキャラ弁画像ＧＣ（その２）におけるユーザ指定の画像ブロック（Ｂ）に対応したレシピ表示画面Ｇ３を示す図。

以下図面により本発明の実施の形態について説明する。

図１は、本発明の合成画像出力装置の実施形態に係るキャラクタ弁当表示装置１０の電子回路の構成を示すブロック図である。

図２は、前記キャラクタ弁当表示装置１０を搭載した各種画像表示装置の外観構成を示す図である。

このキャラクタ弁当表示装置１０は、例えば図２（Ａ）に示すようなデジタルカメラ１０Ａ、図２（Ｂ）に示すようなＰＣ(personal computer)１０Ｂ、図２（Ｃ）に示すようなデジタルフォトフレーム１０Ｃなどの画像表示機能を備えた電子機器に搭載されて実現され、ユーザ任意のキャラクタを含む入力画像ＧＩに応じたキャラ弁画像ＧＣを生成し、キャラ弁合成画面Ｇ１として表示できる。

このキャラクタ弁当表示装置１０は、コンピュータであるＣＰＵ(central processing unit)１１を備えている。

ＣＰＵ１１は、メモリ１２に予め記憶された装置制御プログラム、あるいはメモリカードやＣＤ−ＲＯＭなどの外部記録媒体１３から記録媒体読取部１４を介してメモリ１２に読み込まれた装置制御プログラム、あるいはインターネットなどの通信ネットワーク上のＷｅｂサーバ（プログラムサーバ）から通信部１５を介してメモリ１２に読み込まれた装置制御プログラムに従い回路各部の動作を制御する。

前記メモリ１２に記憶される装置制御プログラムとしては、デジタルカメラ１０Ａ、ＰＣ１０Ｂ、デジタルフォトフレーム１０Ｃ等として装置全体の制御を司るシステムプログラムの他に、入力画像ＧＩに応じたキャラ弁画像ＧＣを生成して表示するための画像処理プログラム１２ａが記憶される。

そして、これらの装置制御プログラムは、キー入力部１６やタッチパネル式表示部１８からのユーザ操作に応じた入力信号、通信部１５を介して受信される外部機器からの通信信号、画像入力部１７を介して入力される画像入力信号等に応じて起動される。

前記画像処理プログラム１２ａに従い、入力画像ＧＩに応じたキャラ弁画像ＧＣを生成する場合に、当該入力画像ＧＩは、外部のＰＣ２０から通信部１５を介して入力されるか、カメラ３０ＡやＴＶチューナ３０Ｂから画像入力部１７を介して入力される。

前記メモリ１２には、前記画像処理プログラム１２ａを実行するための作業領域として、食材データベースメモリ１２ｂ、レシピデータメモリ１２ｃ、入力画像メモリ１２ｄ、変換画像メモリ１２ｅ、変換画像履歴（レシピ履歴）メモリ１２ｆ、使用食材テーブルメモリ１２ｇの領域が確保される。

図３Ａは、前記キャラクタ弁当表示装置１０の食材データベースメモリ１２ｂに記憶される食材データベースのうち色分類[1]〜[3]×食材分類[1]〜[3]に対応するところの内容を示す図である。

図３Ｂは、前記キャラクタ弁当表示装置１０の食材データベースメモリ１２ｂに記憶される食材データベースのうち色分類[1]〜[3]×食材分類[4][5]に対応するところの内容を示す図である。

図３Ｃは、前記キャラクタ弁当表示装置１０の食材データベースメモリ１２ｂに記憶される食材データベースのうち色分類[4]〜[7]×食材分類[1]〜[3]に対応するところの内容を示す図である。

図３Ｄは、前記キャラクタ弁当表示装置１０の食材データベースメモリ１２ｂに記憶される食材データベースのうち色分類[4]〜[7]×食材分類[4][5]に対応するところの内容を示す図である。

この食材データベースメモリ１２ｂには、多種多様な色・種類の食材のデータが縦方向に７色[1:緑][2:白][3:黄][4:肌][5:赤][6:茶][7:黒]で分類されると共に、横方向に５種類[1:ご飯イモ][2:野菜][3:肉魚卵][4:乳製品・豆][5:食物繊維]で分類されたデータベースとして記憶される。この食材データベースに記憶される食材毎のデータとしては、その食材の「加工自由度(粗/中/細)」「サイズ(大/中/小)」「食材名」「カラー画像（テクスチャ）」「レシピ番号」「付加食材」が記憶される。

なお、前記食材データベースにおける色と種類の分類は、７色の食材を５種類の食材を全て含めて取ることで栄養がバランス良く取れることを考慮して予め組み立てられる。

図４は、前記キャラクタ弁当表示装置１０のレシピデータメモリ１２ｃに記憶されるレシピデータの内容を示す図である。

このレシピデータメモリ１２ｃには、前記食材データベース（１２ｂ）に含まれる各食材のうち、料理が必要な各食材について、該当する食材の「食材名」および「レシピ番号」に対応付けて、料理の手順を追った画像とその説明からなるレシピが記憶される。

入力画像メモリ１２ｄには、前記通信部１５や画像入力部１７を介して取得された、例えば人気キャラクタの登場するアニメなどの一場面を捕らえた入力画像ＧＩが記憶される。

変換画像メモリ１２ｅには、前記画像処理プログラム１２ａに従い、前記入力画像メモリ１２ｄに記憶された入力画像ＧＩに応じて前記食材データベースメモリ１２ｂに記憶された各食材の画像（テクスチャ）を合成して生成（変換）されたキャラ弁画像ＧＣが記憶される。

変換画像履歴（レシピ履歴）メモリ１２ｆには、前記画像処理プログラム１２ａに従い前記変換画像メモリ１２ｅに前記入力画像ＧＩに応じたキャラ弁画像ＧＣが生成されて記憶される毎に、当該各キャラ弁画像ＧＣ_１，ＧＣ_２，…が生成履歴として記憶される。この際、前記画像処理プログラム１２ａに従い生成表示されたキャラ弁画像ＧＣについて、ユーザ所望の食材のレシピデータを表示させた場合には、当該表示されたレシピデータのレシピ番号がレシピ履歴として該当するキャラ弁画像ＧＣ_ｎと共に記憶される。

図５は、前記キャラクタ弁当表示装置１０の使用食材テーブルメモリ１２ｇに記憶される使用食材テーブルの内容を示す図である。

この使用食材テーブルメモリ１２ｇには、前記食材データベースメモリ１２ｂに記憶された食材データベース（図３Ａ〜図３Ｄ参照）に対応した７色（[1:緑][2:白][3:黄][4:肌][5:赤][6:茶][7:黒]）×５種類（[1:ご飯][2:野菜][3:肉魚卵][4:ミルク／豆][5:繊維]）のセルからなるテーブルが記憶される。

そして、この使用食材テーブル（１２ｇ）には、前記画像処理プログラム１２ａに従い入力画像ＧＩに応じたキャラ弁画像ＧＣが生成されるのに伴い、当該キャラ弁画像ＧＣに使用された各食材の色／種類の分類に対応するところの各セルに“○”マークが付加される。

この使用食材テーブル１２ｇを参照することで、前記キャラ弁画像ＧＣの生成にあたり、全色の食材が使用されたか否か、未使用の食材の色が何色か、全種類の食材が使用されたか否か、未使用の食材の種類は何類かなどを容易に判断できる。

このように構成されたキャラクタ弁当表示装置１０は、ＣＰＵ１１が前記装置制御プログラム（画像処理プログラム１２ａを含む）に記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べる機能を実現する。

次に、前記構成のキャラクタ弁当表示装置１０の動作について説明する。

図６は、前記キャラクタ弁当表示装置１０の画像処理プログラム１２ａに従った画像処理を示すフローチャートである。

図７は、前記キャラクタ弁当表示装置１０の画像処理に伴う画像変換処理（その１）を示すフローチャートである。

図８は、前記キャラクタ弁当表示装置１０の画像処理に伴う画像変換処理（その２）を示すフローチャートである。

図９は、前記キャラクタ弁当表示装置１０の画像処理に伴うレシピ表示処理を示すフローチャートである。

図１０は、前記キャラクタ弁当表示装置１０の画像処理に伴う画像変換処理に従い生成されたカエルの入力画像ＧＩとそのキャラ弁画像ＧＣ（その１）とを並べてなるカエルのキャラ弁合成画面Ｇ１（その１）を示す図である。

図１１は、前記キャラクタ弁当表示装置１０の画像処理に伴い生成されたカエルのキャラ弁画像ＧＣ（その１）の食材表示画面Ｇ２を示す図である。

図１２は、前記カエルのキャラ弁画像ＧＣ（その１）の食材表示画面Ｇ２にて何れかの食材に食材無しマーク“×”を付加した場合に前記画像変換処理に従い再生成されたカエルのキャラ弁画像ＧＣ（その２）からなるキャラ弁合成画面Ｇ１（その２）を示す図である。

図１３は、前記画像変換処理に従い再生成されたカエルのキャラ弁画像ＧＣ（その２）の食材表示画面Ｇ２を示す図である。

図１４は、前記キャラクタ弁当表示装置１０の画像処理に伴うレシピ表示処理に従い生成された前記カエルのキャラ弁画像ＧＣ（その２）におけるユーザ指定の画像ブロック（Ｂ）に対応したレシピ表示画面Ｇ３を示す図である。

図１５は、前記キャラクタ弁当表示装置１０の画像処理に伴う画像変換処理に従い生成されたスマイルの入力画像ＧＩとそのキャラ弁画像ＧＣ（その１）とを並べてなるスマイルのキャラ弁合成画面Ｇ１（その１）において、入力画像ＧＩに予め設定された７色分類のうち茶色が含まれていない場合のユーザ指定の画像ブロックに対応した色変更メッセージＭａ，Ｍｂの表示状態を示す図である。

図１６は、前記図１５における色変更メッセージＭａ，Ｍｂに従い画像ブロック（Ｂ）に対応する黒色×３類の食材[ソースカツ]を茶色×３類の食材[トンカツ]に変更した場合のスマイルの入力画像ＧＩとそのキャラ弁画像ＧＣ（その２）とを並べてなるスマイルのキャラ弁合成画面Ｇ１（その２）を示す図である。

図１７は、前記キャラクタ弁当表示装置１０の画像処理に伴うレシピ表示処理に従い生成された前記スマイルのキャラ弁画像ＧＣ（その２）におけるユーザ指定の画像ブロック（Ｂ）に対応したレシピ表示画面Ｇ３を示す図である。

ユーザ操作に応じて、キャラ弁合成画面Ｇ１を生成するためのモードが設定されると、図６における画像処理プログラム１２ａが起動される。

例えば子供に人気のあるカエルのキャラクタを含む入力画像ＧＩ（図１０参照）が、カメラ３０ＡやＴＶチューナ３０Ｂから画像入力部１７を介して入力されるか、あるいはＰＣ２０から通信部１５を介して入力されると、この入力画像ＧＩは入力画像メモリ１２ｄに記憶される（ステップＳ１）。

すると、図７，図８における画像変換処理に移行され（ステップＳＡ）、変換対象となる前記カエルの入力画像ＧＩから、背景画像に対するエッジ検出処理や顔画像認識処理に従い画像ブロックが抽出される。そして、抽出された大きい画像ブロックから順にブロック記号（Ａ）（Ｂ）（Ｃ）…が対応付けされる（ステップＡ１）。

ここで、前記抽出された画像ブロックが４個以上あるか否か、つまり（Ｄ）以降のブロック記号があるか否かが判断され（ステップＡ２）、４個以上の画像ブロック（Ｄ）（Ｅ）…があると判断されると（ステップＡ２（Ｙｅｓ））、そのうち４個目から６個目の画像ブロック（Ｄ）（Ｅ）（Ｆ）には同一のブロック記号（Ｄ）が対応付けされる（ステップＡ３）。

そして、６個目を超える画像ブロック（Ｇ）（Ｈ）…があると判断された場合には（ステップＡ４（Ｙｅｓ））、同６個目を超える画像ブロック（Ｇ）（Ｈ）…は、これ以降の処理において無視される（ステップＡ５）。

前記図１０におけるカエルの入力画像ＧＩでは、４個の画像ブロックが抽出され、大きい方から順にブロック記号（Ａ）（Ｂ）（Ｃ）（Ｄ）が対応付けられて管理される。

すると先ず、前記入力画像ＧＩ内の最大の画像ブロック（Ａ）に対応する食材の分類が１類[ご飯イモ]に設定され（ステップＡ６）、当該画像ブロック（Ａ）の全体の色、つまり同画像ブロック（Ａ）を占める最大の領域の色（ここでは“緑色”）が判別される（ステップＡ７）。

そして、食材データベース１２ｂ（図３Ａ〜図３Ｄ参照）において、前記最大の画像ブロック（Ａ）に設定された１類の食材[ご飯イモ]の中から、同画像ブロック（Ａ）の全体の色／細工の細かさ／サイズに対応した色“緑色”／加工自由度“粗”／サイズ“大”の食材［高菜おにぎり］が決定される。そして、図５（Ａ）に示すように、前記カエルの入力画像ＧＩに対応する使用食材テーブル１２ｇ１において、前記画像ブロック（Ａ）に応じて決定された食材［高菜おにぎり］の分類(緑色×１類)に対応するセルに“○”マークが付加される（ステップＡ８）。

なお、前記画像ブロックの細工の細かさは、例えばブロック（画像部分）外形の屈曲数に応じて判定され、また、前記画像ブロックのサイズは、例えば顔画像認識されたブロック１層目となる顔画像の全体部分である場合は“大”、同顔画像を構成しブロック２層目となる目，口等の基本部分である場合は“中”、さらにブロック３層目以上となる瞳，頬，皺等の最上部分である場合は“小”として判定される。

ここで、図１２（Ａ）を参照して後述する食材表示画面Ｇ２において、用意できない食材に“×”（食材無し）マークを付けた否かが判断されるが、これに関係する処理ステップＡ９，Ａ９′の内容については後述する。

これにより、前記画像ブロック（Ａ）の１層目を構成する食材が［高菜おにぎり］として決定される（ステップＡ１０）。

続いて、前記画像ブロック（Ａ）に対応する全体画像（層１）以外の当該全体画像（層１）に重ねるべき各層各部分の色／細工の細かさ／サイズに応じて、前記ステップＡ８での処理と同様に、それぞれの部分に対応する食材が決定され、前記カエルの使用食材テーブル１２ｇ１に“○”マークが付加される（ステップＡ１１）。

すなわち具体的には、前記画像ブロック（Ａ）の２層目に重ねる黄色の頭の部分は、色“黄色”／加工自由度“細”／サイズ“中”の食材［チーズ］(黄色×４類)に決定され、また白目の部分は、色“白色”／加工自由度“細”／サイズ“中”の食材［かまぼこ］(白色×３類)に決定され、また肌色の頬の部分は、色“肌色”／加工自由度“細”／サイズ“小”の食材［ハム］(肌色×３類)に決定される。さらに、３層目に重ねる赤色の星の部分および舌の部分は、色“赤色”／加工自由度“細”／サイズ“小”の食材［にんじん］(赤色×２類)に決定され、また、黒色の瞳の部分は、色“黒色”加工自由度“細”／サイズ“中”の食材［のり］(黒色×５類)に決定される。

すると次に、前記画像ブロック（Ａ）以外の各画像ブロック（Ｂ）（Ｃ）（Ｄ）について、前記ステップＡ７〜Ａ１１での処理と同様に、該当する画像ブロックの全体部分である１層目の食材、これに重ねる各部分である２層目以降の各食材が決定され、前記カエルの使用食材テーブル１２ｇ１（図５（Ａ）参照）にマークされる（ステップＡ１２）。

すなわち具体的には、前記画像ブロック（Ｂ）の１層目となる赤い顔の全体部分は、色“赤色”／加工自由度“中”／サイズ“中”の食材[プチトマト](赤色×２類)に決定され、２層目に重ねる茶色の頭の部分は、色“茶色”／加工自由度“中”／サイズ“中”の食材［ハンバーグ］(茶色×３類)に決定され、また白目の部分は、色“白色”／加工自由度“細”／サイズ“中”の食材［かまぼこ］(白色×３類)に決定される。また３層目に重ねる黒色の瞳の部分は、色“黒色”加工自由度“細”／サイズ“中”の食材［のり］(黒色×５類)に決定される。

さらに、前記画像ブロック（Ｃ）の１層目となる白い顔の全体部分は、色“白色”／加工自由度“細”／サイズ“中”の食材[かまぼこ](白色×３類)に決定され、２層目に重ねる黄色の頭の部分は、色“黄色”／加工自由度“細”／サイズ“中”の食材［チーズ］(黄色×４類)に決定され、また白目の部分は、色“白色”／加工自由度“細”／サイズ“中”の食材［かまぼこ］(白色×３類)に決定され、また肌色の頬の部分は、色“肌色”／加工自由度“細”／サイズ“小”の食材［ハム］(肌色×３類)に決定される。さらに、３層目に重ねる赤色の舌の部分は、色“赤色”／加工自由度“細”／サイズ“小”の食材［にんじん］(赤色×２類)に決定され、また、黒色の瞳の部分は、色“黒色”加工自由度“細”／サイズ“中”の食材［のり］(黒色×５類)に決定される。

なお、画像ブロック（Ｄ）の１層目となる肌色の顔の全体部分は、色“肌色”／加工自由度“細”／サイズ“中”の食材[さくらづけ](肌色×５類)に決定されるが、２層目以降に重ねる頭や目などの部分は、予め設定されたサイズ以下となり無視される。

ここで、前記ステップＡ１１，Ａ１２にて決定された前記画像ブロック（Ａ）における２層目以降の各部分の食材および他の画像ブロック（Ｂ）（Ｃ）（Ｄ）における各層各部分の食材についても、図１２（Ａ）を参照して後述する食材表示画面Ｇ２にて用意できない食材に“×”（食材無し）マークを付けた否かが判断されるが、これに関係する処理ステップＡ１３，Ａ１３′の内容については後述する。

これにより、前記カエルの入力画像ＧＩにおける画像ブロック（Ａ）の２層目以降を構成する各層各部分の食材、および画像ブロック（Ｂ）（Ｃ）（Ｄ）における各層各部分の食材も決定され、使用食材テーブル１２ｇ１にマークされる（ステップＡ１４）。

すると、前記図５（Ａ）で示したカエルの使用食材テーブル１２ｇ１における食材分類のマーク位置に基づき、前記カエルの入力画像ＧＩに応じて決定された食材に全色（[1:緑][2:白][3:黄][4:肌][5:赤][6:茶][7:黒]）が含まれているか否かが判断される（ステップＡ１５）。

ここで、前記カエルの使用食材テーブル１２ｇ１において、含まれていない色の食材があると判断された場合は（ステップＡ１５（Ｎｏ））、同じ色で複数の食材がマークされているところの１つの食材が色替え候補として選択され、「何色を何色に変更する」との情報と共に一時記憶される（ステップＡ１６）。

すなわち具体的には、図５（Ｂ）に示すスマイルの使用食材テーブル１２ｇ２（図１５（Ａ）に示すスマイルの入力画像ＧＩとそのキャラ弁画像ＧＣ（その１）に対応）を例に説明すると、茶色の食材が含まれていない場合、同じ色で複数の食材が含まれる黒色の各使用食材のうち１つの食材（例えば黒色×３類のソースカツ）が色替え候補として選択され、「黒色を茶色に変更する」との情報と共に一時記憶される。

また、前記図５（Ａ）で示したカエルの使用食材テーブル１２ｇ１における食材分類のマーク位置に基づき、前記カエルの入力画像ＧＩに応じて決定された食材に全種類（[1:ご飯][2:野菜][3:肉魚卵][4:ミルク／豆][5:繊維]）が含まれているか否かが判断される（ステップＡ１７）。

ここで、前記カエルの使用食材テーブル１２ｇ１において、含まれていない種類の食材があると判断された場合は（ステップＡ１７（Ｎｏ））、色違いで複数ある同じ種類の食材のうち１つを、それと同じ色で前記含まれていない種類の食材に変更する（ステップＡ１８）。

すなわち具体的には、前記カエルの使用食材テーブル１２ｇ１において、４類[ミルク／豆]の食材が含まれていない場合、色違いで複数ある３類[肉魚卵]の食材のうち１つ（ここでは黄色[薄焼き卵]）が、それと同じ黄色で前記含まれていない４類[ミルク／豆]の食材（チーズ）に変更される。

すると、前記画像ブロック（Ａ）（Ｂ）（Ｃ）（Ｄ）毎に、該当する画像ブロックの１層目の画像部分から、順次、各層各部分に対応する形状の図形に対し前記決定された食材の画像（テクスチャ）を塗った画像データが生成され、変換画像（層ｉ(i=1,2,…)）として重ねられながら変換画像メモリ１２ｅに記憶される。そして、画像ブロック（Ａ）以外のブロック（Ｂ）（Ｃ）（Ｄ）の各変換画像の背景に、レタス等の画像（テクスチャ）が貼り付けられて記憶される（ステップＡ１９）。

これにより、前記変換画像メモリ１２ｅには、前記入力画像メモリ１２ｄに記憶された入力画像ＧＩに対応して、当該入力画像ＧＩの各画像部分に応じて決定された各種の食材の画像（テクスチャ）からなる変換画像（キャラ弁画像ＧＣ）が生成されて記憶される。

すると、図１０（あるいは図１５）に示すように、前記入力画像メモリ１２ｄに記憶された入力画像ＧＩと前記変換画像メモリ１２ｅに生成記憶された変換画像（キャラ弁画像ＧＣ）とが読み出され、同入力画像ＧＩとキャラ弁画像ＧＣを並べたキャラ弁合成画面Ｇ１としてタッチパネル式表示部１８に表示される（ステップＳ２）。

ここで、前記入力画像ＧＩを構成する色の種類について、前記食材データベース１２ｂ（図３Ａ〜図３Ｄ）にて定義されている全色（[1:緑][2:白][3:黄][4:肌][5:赤][6:茶][7:黒]）が含まれているか否か判断される（ステップＳ３）。

例えば前記入力画像ＧＩが、図１５（Ａ）に示すスマイルの入力画像ＧＩであった場合に、前記食材データベース１２ｂにて定義されている全７色のうち茶色が含まれていないと判断されると（ステップＳ３（Ｎｏ））、前述のステップＡ１６において一時記憶されている色替え候補の食材[ソースカツ](黒色×３類)に対応するところのキャラ弁画像ＧＣ上での画像ブロック（Ｂ）の部分が指定枠Ｗにより識別表示される（ステップＳ４）。

また、これに伴い、前記識別表示された画像ブロック（Ｂ）の黒色の部分について、前述のステップＡ１６において一時記憶されている「何色を何色に変更する」との色変更メッセージ、ここでは「黒色を茶色に変更しますか？」のメッセージＭａ，Ｍｂが、図１５（Ａ）に示すスマイルの入力画像ＧＩとそのキャラ弁画像ＧＣとからなるキャラ弁合成画面Ｇ１に表示される（ステップＳ５）。

ここで、図１５（Ｂ）に示すように、キャラ弁合成画面Ｇ１が表示されたタッチパネル式表示部１８に対するユーザ操作に応じて、キャラ弁画像ＧＣ上で色替え候補としたい、例えば複数の黄色の画像部分の中から画像ブロック（Ｃ）に含まれるチーズ(黄色×４類)のテクスチャからなる画像部分が指定され指定枠Ｗにより識別表示されると（ステップＳ６（Ｙｅｓ））、当該指定された画像部分の色“黄色”に応じた色変更メッセージ「黄色を茶色に変更しますか？」Ｍａ，Ｍｂが表示される（ステップＳ５）。

前記図１５（Ａ）で示したように、色変更メッセージ「黒色を茶色に変更しますか？」Ｍａ，Ｍｂが表示されたスマイルのキャラ弁合成画面Ｇ１において、ユーザ操作に応じて色変更の実行が指示されると（ステップＳ７（Ｙｅｓ））、指定枠Ｗにより識別表示されている画像ブロック（Ｂ）に対応するところの入力画像ＧＩにおける黒色の画像部分が、入力画像メモリ１２ｄ上で茶色に変更される（ステップＳ８）。

すると、この色変更後の入力画像ＧＩに基づいて、前記図７，図８における画像変換処理（ステップＳＡ）に従い、当該入力画像ＧＩに応じたキャラ弁画像ＧＣが再生成され、図１６に示すように、スマイルの入力画像ＧＩの画像ブロック（Ｂ）における黒色の画像部分の食材が、ソースカツ(黒色×３類)からトンカツ(茶色×３類)に変更されてなるキャラ弁画像ＧＣが表示される（ステップＳ３）。

これにより、例えば人気キャラクタの入力画像ＧＩに対応した各色各種の食材が食材データベース１２ｂから選択的に決定されると共に、当該決定された各食材の画像データのテクスチャからなるキャラ弁画像ＧＣが生成され、前記入力画像ＧＩとキャラ弁画像ＧＣとを並べたキャラ弁合成画像Ｇ１が表示される。

この際、前記キャラ弁画像ＧＣを生成すべく前記入力画像ＧＩに基づき決定された食材の種類に、前記食材データベース１２ｂに予め設定された５種類の食材が含まれない場合には、色違いで複数ある同じ種類の食材の中の１つが、同色で足りない種類の食材に変更されて前記キャラ弁画像ＧＣが生成される。

さらに、前記入力画像ＧＩに前記食材データベース１２ｂに予め設定された７色の画像部分が含まれず、これに基づき決定された食材の色の種類に前記７色が含まれない場合には、同色で複数ある異なる種類の食材の中の１つが、同じ種類の足りない色の食材に変更され、前記キャラ弁画像ＧＣが再生成されて表示される。

このため、栄養や色彩のバランスとれたキャラ弁作りを支援できるだけでなく、このようなキャラ弁画像ＧＣを子供に見せることで、バランスの良い食事に興味を持たせることができ、食育にも大きな効果を発揮できる。

一方、前記図１０で示したように、前記カエルの入力画像ＧＩに前記食材データベース１２ｂに予め設定された７色の画像部分が全色含まれていると判断された場合の当該カエルのキャラ弁合成画面Ｇ１の表示状態（ステップＳＡ，Ｓ２，Ｓ３（Ｙｅｓ））、または、前記図１５で示したように、前記色変更メッセージ「黒色を茶色に変更しますか？」Ｍａ，Ｍｂが表示されたスマイルのキャラ弁合成画面Ｇ１の表示状態において（ステップＳＡ〜Ｓ５）、ユーザ操作に応じて「食材表示」の指示が入力されると（ステップＳ９（Ｙｅｓ））、例えば前記カエルのキャラ弁合成画面Ｇ１が表示されていた場合には、図１１に示すように、当該キャラ弁合成画面Ｇ１のうちキャラ弁画像ＧＣだけがタッチパネル式表示部１８の中央に表示される（ステップＳ１０）。

すると、前記画像変換処理ＳＡに従い前記カエルの入力画像ＧＩの各画像部分毎に決定された各食材に応じて、前記カエルのキャラ弁画像ＧＣの各画像部分に対応してその食材名が付加され、当該カエルのキャラ弁画像ＧＣの食材表示画面Ｇ２として表示される（ステップＳ１１）。

この食材表示画面Ｇ２において、キャラ弁画像ＧＣの各画像部分に対応して付加された各食材名には、さらに、その端から順に“◎”（食材有り）マークが付加される。なお、重複する食材名には端から最初の食材名にだけ“◎”マークが付加される（ステップＳ１２）。

このカエルのキャラ弁画像ＧＣの食材表示画面Ｇ２において、ユーザ操作に応じて何れかの食材名の“◎”（食材有り）マークがタッチされ、例えば図１２（Ａ）に示すように、食材名[高菜]の“◎” （食材有り）マークが“×”（食材無し）マークに切り替えられて付加されると（ステップＳ１３（Ｙｅｓ））、前記図７，図８における画像変換処理に戻り、前記カエルの入力画像ＧＩに対応したキャラ弁画像ＧＣが再生成される（ステップＳＡ）。

この画像変換処理によるカエルのキャラ弁画像ＧＣの再生成処理において、先ず、ステップＡ１〜Ａ８に従い、前述同様にカエルの入力画像ＧＩの画像ブロック（Ａ）に対応して１類[ご飯イモ]の食材[高菜おにぎり]が決定されると、前記図１２（Ａ）で示したカエルのキャラ弁画像ＧＣの食材表示画面Ｇ２にて、食材名[高菜]に“×”（食材無し）マークが付加されたと判断される（ステップＡ９（Ｙｅｓ））。

すると、前記食材データベース１２ｂに基づき、前記ステップＡ７にて判別された当該画像ブロック（Ａ）の色“黄色”に対応した１類の食材の中から、前記“×”（食材無し）マークが付加された食材[高菜おにぎり]以外の食材(ここでは[ほうれん草入り卵焼きごはん])が読み出されて使用食材テーブル１２ｇ１が訂正され（ステップＡ９′）、前記画像ブロック（Ａ）の１層目を構成する食材が決定される（ステップＡ１０）。

またこの後のステップＡ１１，Ａ１２に従い、前述同様にカエルの入力画像ＧＩにおける画像ブロック（Ａ）の２層目以降の各部の食材、および画像ブロック（Ｂ）（Ｃ）（Ｄ）の各層各部の食材も決定されると、前記図１２（Ａ）で示したカエルのキャラ弁画像ＧＣの食材表示画面Ｇ２にて、該当する何れかの食材名に“×”（食材無し）マークが付加されたか否か判断される（ステップＡ１３（Ｙｅｓ））。

ここで、前記図１２（Ａ）で示したカエルのキャラ弁画像ＧＣの食材表示画面Ｇ２にて、画像ブロック（Ａ）の２層目以降の各部の食材および画像ブロック（Ｂ）（Ｃ）（Ｄ）の各層各部の食材について、その何れかの食材名に“×”（食材無し）マークが付加されたと判断されると（ステップＡ１３（Ｙｅｓ））、前記食材データベース１２ｂに基づき、該当する食材と同じ色、同じ分類の中の他の食材が読み出されて使用食材テーブル１２ｇ１が訂正される（ステップＡ１３′）。

これにより、前記カエルの入力画像ＧＩにおける画像ブロック（Ａ）の２層目以降を構成する各層各部分の食材、および画像ブロック（Ｂ）（Ｃ）（Ｄ）における各層各部分の食材も再決定される（ステップＡ１４）。

そして、ステップＡ１５〜Ａ１８の処理を経て、前述同様に、前記再決定された各食材に、全７色が含まれるか否かの判断処理、および含まれない場合の変更処理、全５分類が含まれるか否かの判断処理、および含まれない場合の変更処理が実行される。

これにより、前記図１２（Ａ）で示した食材表示画面Ｇ２にて“×”（食材無し）マークを付加したところの食材(ここでは[高菜おにぎり])が、当該食材の色と分類が同じで他の食材[ほうれん草入り卵焼きごはん]に変更されてなるキャラ弁画像ＧＣ（その２）が再生成され、変換画像メモリ１２ｅに書き換えられて記憶される（ステップＡ１９）。

すると、図１２（Ｂ）に示すように、前記入力画像メモリ１２ｄに記憶されたカエルの入力画像ＧＩと前記変換画像メモリ１２ｅに再生成されて記憶された食材変更後のキャラ弁画像ＧＣとが読み出され、同入力画像ＧＩとキャラ弁画像ＧＣとを並べた新たなキャラ弁合成画面Ｇ１としてタッチパネル式表示部１８に表示される（ステップＳ３）。

ここで、ユーザ操作に応じて「食材表示」の指示が入力されると（ステップＳ９（Ｙｅｓ））、図１３に示すように、前記新たなキャラ弁合成画面Ｇ１のうちキャラ弁画像ＧＣだけがタッチパネル式表示部１８の中央に表示され、変更後の食材名と“◎”（食材有り）マークが付加された食材表示画面Ｇ２としてタッチパネル式表示部１８に表示される（ステップＳ１０〜Ｓ１２）。

この後、ユーザ操作に応じて「戻る」の指示が入力されると（ステップＳ１４（Ｙｅｓ））、前記図１２（Ｂ）で示した食材変更後のキャラ弁合成画面Ｇ１の表示状態に戻る（ステップＳ２）。

このカエルのキャラ弁合成画面Ｇ１の表示状態において、ユーザ操作に応じて「作り方表示」の指示が入力されると（ステップＳ１５（Ｙｅｓ））、キャラ弁画像ＧＣにおける先頭の画像ブロック（Ｂ）が指定枠Ｗにより識別表示され（ステップＳ１６）、図９におけるレシピ表示処理へ移行される（ステップＳＢ）。

すると、図１４に示すように、カエルのキャラ弁画像ＧＣにおけるユーザ指定Ｗの画像ブロック（Ｂ）に対応したレシピ表示画面ＲＥが表示される。

すなわち、レシピ表示処理が起動されると、前記指定枠Ｗにより識別表示された画像ブロック（Ｂ）を構成する各食材[ハンバーグ(茶色×３類)][プチトマト(赤色×２類)][かまぼこ(白色×３類)][のり(黒色×５類)]のうちの何れかの食材のレシピについて、前記食材データベース１２ｂにおける該当する各食材名に対応付けられたレシピ番号の有無に従い、レシピデータメモリ１２ｃ（図４参照）に記憶されているか否か判断される（ステップＢ１）。

ここで、前記指定枠Ｗにより識別表示された画像ブロック（Ｂ）の頭の部分を構成する食材[ハンバーグ(茶色×３類)]のレシピ（レシピ番号３５）について、レシピデータメモリ１２ｃに記憶されていると判断されると（ステップＢ１（Ｙｅｓ））、該当するハンバーグの各レシピ1.2.3にある各画像のテクスチャが、前記画像ブロック（Ｂ）の対応する頭の部分の形状に合わせて変形され、これに同レシピ1.2.3にある各説明テキストを付加したレシピ画像が生成される（ステップＢ２）。

なお、図４に示すハンバーグの各レシピ1.2.3のうちの２番目のレシピは、入力画像ＧＩの対応する画像部分に突起がある場合のレシピであって、図１４で示すカエルのキャラ弁画像ＧＣの場合は省かれる。

この時点で、前記指定枠Ｗにより識別表示された画像ブロック（Ｂ）の頭の部分を構成する食材[ハンバーグ(茶色×３類)]のレシピ画像としては、図１４のレシピ表示画面ＲＥで示す「ひき肉を整形」→「焼く」までのレシピが生成された状態になる。

この後、前記生成された「ひき肉を整形」→「焼く」までのレシピ画像に続けて、前記指定の画像ブロック（Ｂ）の各層各部分に対応した各食材画像[プチトマト]→[かまぼこ]→[のり]を順に重ねていくレシピ画像が生成され、その個々のレシピ画像に「[食材名]付加」の説明テキスト、つまり「プチトマト付加」「かまぼこ付加」「のり付加」が挿入される（ステップＢ３）。

こうして、図１４に示すように、前記カエルのキャラ弁画像ＧＣと当該キャラ弁画像ＧＣ内の指定の画像ブロック（Ｂ）を構成する食材のレシピ表示画面ＲＥとを並べたキャラ弁レシピ対応画面Ｇ３が生成され、タッチパネル式表示部１８に表示される。

ここで、前記レシピ表示処理（ステップＳＢ）の対象となるキャラ弁画像ＧＣが、例えば図１７に示すようにスマイルのキャラ弁画像ＧＣであって、その画像ブロック（Ｂ）が指定枠Ｗにより指定されている場合、前記ステップＢ１，Ｂ２に従い生成されたレシピ画像は、先ずレシピデータメモリ１２ｃ（図４参照）に記憶されている[トンカツ]のレシピ（レシピ番号３６）に従った「豚ロースをカット」→「爪楊枝をさす」→「フライにする」までのレシピ画像となる。そして、ステップＢ３に従い、続けて追加されるレシピ画像は、[かまぼこ付加]→[のり付加]→[ハム付加]→[黒豆付加]の順に生成される。

するとこの場合、個々のレシピ画像の数が多くなりレシピ表示画面ＲＥ内に入らないと判断され（ステップＢ４（Ｙｅｓ））、重ねていく途中のレシピ画像（ここでは最後から２番目の[ハム付加]の画像）が間引かれると共に、間引かれたところの食材名[ハム]が次のレシピ画像（ここでは最後の[黒豆付加]の画像）の食材名[黒豆]と纏められる（ステップＢ５）。

これにより、図１７に示すように、前記スマイルのキャラ弁画像ＧＣと当該キャラ弁画像ＧＣ内の指定の画像ブロック（Ｂ）を構成する食材のレシピ表示画面ＲＥとを並べたキャラ弁レシピ対応画面Ｇ３が生成され、タッチパネル式表示部１８に表示される。

この後、前記図１４で示したカエルのキャラ弁レシピ対応画面Ｇ３であるか、または前記図１７で示したスマイルのキャラ弁レシピ対応画面Ｇ３において、ユーザ操作に応じてキャラ弁画像ＧＣ内でレシピ表示の対象となる任意の画像部分が指定されると（ステップＳ１７（Ｙｅｓ））、その都度、当該キャラ弁画像ＧＣ内に表示される指定枠Ｗが任意の画像部分に移動されて表示される（ステップＳ１８）。

すると、前記図９におけるレシピ表示処理に戻り、前記キャラ弁画像ＧＣ内の任意の画像部分に対応したレシピ表示画面ＲＥが再生成され、新たなキャラ弁レシピ対応画面Ｇ３が表示される（ステップＳＢ）。

この後、ユーザ操作に応じて「戻る」の指示が入力されると（ステップＳ１９（Ｙｅｓ））、例えば前記図１０（あるいは図１６）で示した入力画像ＧＩとそのキャラ弁画像ＧＣとを並べてなるキャラ弁合成画面Ｇ１の表示状態に戻る（ステップＳ２）。

そして、ユーザ操作に応じて「終了」の指示が入力されると（ステップＳ２０（Ｙｅｓ））、前記一連の画像処理によるキャラ弁画像の生成およびその表示動作は終了される。

したがって、前記構成のキャラクタ弁当表示装置１０による任意の入力画像ＧＩに応じたキャラ弁画像ＱＣの生成機能によれば、色と栄養のバランスを考慮して７色（[1:緑][2:白][3:黄][4:肌][5:赤][6:茶][7:黒]）×５種類（[1:ご飯][2:野菜][3:肉魚卵][4:ミルク／豆][5:繊維]）に分類した各種食材の食材名，画像（テクスチャ）等を格納した食材データベース１２ｂを有し、例えば人気キャラクタを含む任意の画像を入力すると、当該入力画像ＧＩの各画像部分に対応した食材が、同各画像部分の色を基準にして全７色且つ５種類の食材を含むように決定される。この際、入力画像ＧＩ内の最大の画像部分に対応する食材は、同画像の色の１類[ご飯]に属する各食材の中から決定される。そして、前記入力画像ＧＩの各画像部分を当該各画像部分の形状に合わせて前記決定された各食材の画像（テクスチャ）に変換した合成画像が生成され、この入力画像ＧＩに応じた食材画像の合成画像がキャラ弁画像ＧＣとして表示される。

また、前記キャラ弁画像ＧＣの表示状態において、ユーザ操作に応じて「食材表示」が指示されると、当該キャラ弁画像ＧＩの各食材の画像部分に食材名が付加された食材表示画面Ｇ２が生成されて表示される。

さらに、前記キャラ弁画像ＧＣの任意の食材部分が指定されると、この指定の食材のレシピが前記レシピデータメモリ１２ｃに記憶されている場合には、同レシピの表示画面ＲＥを前記キャラ弁画像ＧＣに並べてなるキャラ弁レシピ対応画面Ｇ３が生成されて表示される。

このため、栄養や色彩のバランスのとれたキャラ弁作りを支援できるだけでなく、例えば子供が好きなキャラクタの画像を撮り、これを入力画像ＧＩとしてキャラ弁画像ＧＣに変換して遊ぶだけでも、食育に大きな効果を発揮することができる。

なお、前記実施形態において記載したキャラクタ弁当表示装置１０による各処理の手法、および各データベース、すなわち、図６のフローチャートに示す画像処理、図７，図８のフローチャートに示す前記画像処理に伴う画像変換処理、図９のフローチャートに示す前記画像処理に伴うレシピ表示処理などの各手法、および食材データベース１２ｂ、レシピデータ１２ｃなどの各データベースは、何れもコンピュータに実行させることができるプログラムとして、メモリ・カード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、画像入力部（１７）および表示部（１８）を備えた電子機器（１０Ａ，１０Ｂ，１０Ｃ）のコンピュータは、この外部記録媒体１３に記憶されたプログラムを記憶装置（１２）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した入力画像ＧＩに応じたキャラ弁画像ＧＣの生成機能、キャラ弁画像ＧＣに対応した食材表示機能、ユーザ指定の食材のレシピ表示機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態としてネットワーク（インターネット等）上を伝送させることができ、このプログラムデータを、ネットワークに接続された画像入力部（１７）および表示部（１８）を有する電子機器（１０Ａ，１０Ｂ，１０Ｃ）のコンピュータに通信制御部（１５）を介して取り込むことで、前述した一連の入力画像ＧＩに応じたキャラ弁画像ＧＣの生成機能、キャラ弁画像ＧＣに対応した食材表示機能、ユーザ指定の食材のレシピ表示機能を実現することもできる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

［１］
各種の食材毎に当該食材の色情報、栄養分類、食材画像を記憶する食材データ記憶手段と、
任意の画像を入力する画像入力手段と、
この画像入力手段により入力された画像の各画像部分に対応して、当該各画像部分の色に応じた食材を前記食材データ記憶手段により記憶された各食材の中からその栄養分類を全て含むように決定する食材決定手段と、
この食材決定手段により決定された前記入力画像の各画像部分に対応する各食材の中に、予め設定された複数の色の食材が全色含まれているか否かを判断する色分類判断手段と、
この色分類判断手段により予め設定された複数の色の食材が全色含まれていないと判断された場合には、前記食材決定手段により決定された食材のうち同じ色で異なる栄養分類の食材の何れかを同じ栄養分類で足りない色の食材に変更する色分類変更手段と、
前記画像入力手段により入力された画像の各画像部分を、前記食材決定手段により決定された各食材または前記色分類変更手段により変更され後の各食材に応じて、当該各食材の画像に置き換えて合成した食材合成画像を生成する合成画像生成手段と、
この合成画像生成手段により生成された食材合成画像を出力する画像出力手段と、
を備えたことを特徴とする合成画像出力装置。

［２］
前記食材決定手段は、
前記画像入力手段により入力された画像の各画像部分に対応して、当該各画像部分の色に応じた食材を前記食材データ記憶手段により記憶された各食材の中から決定する食材予備決定手段と、
この食材予備決定手段により決定された前記入力画像の各画像部分に対応する各食材の中に、全ての栄養分類の食材が含まれているか否かを判断する栄養分類判断手段と、
この栄養分類判断手段により全ての栄養分類の食材が含まれていないと判断された場合には、前記食材予備決定手段により決定された食材のうち同じ栄養分類で異なる色の食材の何れかを同じ色で足りない栄養分類の食材に変更する栄養分類変更手段と、
を有することを特徴とする［１］に記載の合成画像出力装置。

［３］
前記食材データ記憶手段は、さらに、各種の食材毎に当該食材の食材名を記憶し、
前記画像出力手段により出力された食材合成画像の各画像部分に対応付けて、該当する食材の食材名を付加する食材名付加手段を備えた、
ことを特徴とする［１］または［２］に記載の合成画像出力装置。

［４］
前記食材データ記憶手段は、さらに、各種の食材毎に当該食材のレシピを記憶し、
前記画像出力手段により出力された食材合成画像の中のユーザ操作に応じて指定された画像部分に対応して、該当する食材のレシピを出力するレシピ出力手段を備えた、
ことを特徴とする請求項１ないし請求項３の何れか１項に記載の合成画像出力装置。

［５］
電子機器のコンピュータを、
各種の食材毎に当該食材の色情報、栄養分類、食材画像をメモリに記憶させる食材データ記憶手段、
ユーザ操作に応じて任意の画像を入力する画像入力手段、
この画像入力手段により入力された画像の各画像部分に対応して、当該各画像部分の色に応じた食材を前記食材データ記憶手段により記憶された各食材の中からその栄養分類を全て含むように決定する食材決定手段、
この食材決定手段により決定された前記入力画像の各画像部分に対応する各食材の中に、予め設定された複数の色の食材が全色含まれているか否かを判断する色分類判断手段、
この色分類判断手段により予め設定された複数の色の食材が全色含まれていないと判断された場合には、前記食材決定手段により決定された食材のうち同じ色で異なる栄養分類の食材の何れかを同じ栄養分類で足りない色の食材に変更する色分類変更手段、
前記画像入力手段により入力された画像の各画像部分を、前記食材決定手段により決定された各食材または前記色分類変更手段により変更され後の各食材に応じて、当該各食材の画像に置き換えて合成した食材合成画像を生成する合成画像生成手段、
この合成画像生成手段により生成された食材合成画像を出力する画像出力手段、
として機能させるためのプログラム。

１０ …キャラクタ弁当表示装置
１０Ａ…デジタルカメラ
１０Ｂ…ＰＣ
１０Ｃ…デジタルフォトフレーム
１１ …ＣＰＵ
１２ …メモリ
１２ａ…画像処理プログラム
１２ｂ…食材データベースメモリ
１２ｃ…レシピデータメモリ
１２ｄ…入力画像メモリ
１２ｅ…変換画像メモリ
１２ｆ…変換画像履歴（レシピ履歴）メモリ
１２ｇ…使用食材テーブルメモリ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …通信部
１６ …キー入力部
１７ …画像入力部
１８ …タッチパネル式表示部
２０ …ＰＣ
３０Ａ…カメラ
３０Ｂ…ＴＶチューナ
Ａ，Ｂ，…画像ブロック
ＧＩ…入力画像
ＧＣ…キャラ弁画像
ＲＥ…レシピ表示画面
Ｇ１…キャラ弁合成画面
Ｇ２…食材表示画面
Ｇ３…キャラ弁レシピ対応画面
Ｗ …指定枠
Ｍａ，Ｍｂ，Ｍｃ…色変更メッセージ

Claims (9)

1. 食材の色情報、食材画像又は食材名を関連付けて記憶する食材データ記憶手段と、
   任意の画像を入力する画像入力手段と、
   前記画像入力手段により入力された前記画像に含まれる色を判別する色判別手段と、
   前記色判別手段によって判別された色に応じた食材を前記食材データ記憶手段により記憶された食材の中から決定する食材決定手段と、
   前記食材決定手段により決定された食材を、前記色判別手段によって判別された前記画像に含まれる色に対応させて表示する表示手段と、
   を備え、
   前記表示手段は、前記食材決定手段により決定された食材を、前記色判別手段によって判別された前記画像に含まれる色に対応させて食材画像又は食材名で表示することを特徴とする情報表示装置。
2. 食材の色情報、食材画像又は食材名を関連付けて記憶する食材データ記憶手段と、
   任意の画像を入力する画像入力手段と、
   前記画像入力手段により入力された前記画像に含まれる色を判別する色判別手段と、
   前記色判別手段によって判別された色に応じた食材を前記食材データ記憶手段により記憶された食材の中から決定する食材決定手段と、
   前記食材決定手段により決定された食材を、前記色判別手段によって判別された前記画像に含まれる色に対応させて表示する表示手段と、
   を備え、
   前記食材データ記憶手段は、食材毎に該食材のレシピを、さらに記憶し、
   前記表示手段は、前記食材決定手段により決定された食材のレシピを表示することを特徴とする情報表示装置。
3. 食材の色情報、食材画像又は食材名を関連付けて記憶する食材データ記憶手段と、
   任意の画像を入力する画像入力手段と、
   前記画像入力手段により入力された前記画像に含まれる色を判別する色判別手段と、
   前記色判別手段によって判別された色に応じた食材を前記食材データ記憶手段により記憶された食材の中から決定する食材決定手段と、
   前記食材決定手段により決定された食材を、前記色判別手段によって判別された前記画像に含まれる色に対応させて表示する表示手段と、
   を備え、
   前記食材データ記憶手段は、食材の栄養分類を、さらに記憶し、
   前記食材決定手段は、前記食材データ記憶手段により記憶された食材の中から、予め設定された栄養分類を全て含むように食材を決定することを特徴とする情報表示装置。
4. 前記食材決定手段は、
   前記食材データ記憶手段により記憶された食材の中から決定された食材に、予め設定された複数の色の食材を全色含めることができるか否かを判断する色分類判断手段と、
   前記色分類判断手段により、予め設定された複数の色の食材を全色含めることができないと判断された場合に、前記食材決定手段により決定された食材のうちの何れかを、同じ栄養分類で足りない色の食材に変更する色分類変更手段と、
   をさらに備えることを特徴とする請求項３記載の情報表示装置。
5. 前記食材決定手段は、
   前記食材データ記憶手段により記憶された食材の中から決定された食材に、予め設定された栄養分類の食材を全て含めることができるか否かを判断する栄養分類判断手段と、
   前記栄養分類判断手段により、予め設定された栄養分類の食材を全て含めることができないと判断された場合に、前記食材決定手段により決定された食材のうちの何れかを、同じ色で足りない栄養分類の食材に変更する栄養分類変更手段と、
   をさらに備えることを特徴とする請求項３又は４記載の情報表示装置。
6. 前記色判別手段は、
   前記画像入力手段により入力された前記画像を画像ブロックに分割する画像分割手段をさらに備え、
   前記画像分割手段により分割された前記画像ブロックに含まれる色を判別することを特徴とする請求項１乃至５のいずれか１項に記載の情報表示装置。
7. 前記表示手段は、
   前記画像分割手段により分割された前記画像の前記画像ブロックを、前記食材決定手段により決定された食材の画像に置き換えた食材合成画像を生成する合成画像生成手段をさらに備え、
   前記合成画像生成手段により生成された前記食材合成画像を表示することを特徴とする請求項６記載の情報表示装置。
8. 食材の色情報、食材画像又は食材名を関連付けて記憶する食材データ記憶ステップと、
   任意の画像を入力する画像入力ステップと、
   前記画像入力ステップにより入力された前記画像に含まれる色を判別する色判別ステップと、
   前記色判別ステップによって判別された色に応じた食材を前記食材データ記憶ステップにより記憶された食材の中から決定する食材決定ステップと、
   前記食材決定ステップにより決定された食材を、前記色判別ステップによって判別された前記画像に含まれる色に対応させて表示する表示ステップと、
   を含み、
   前記表示ステップは、前記食材決定ステップにより決定された食材を、前記色判別ステップによって判別された前記画像に含まれる色に対応させて食材画像又は食材名で表示することを特徴とする情報表示方法。
9. 電子機器のコンピュータを、
   食材の色情報、食材画像又は食材名を関連付けて記憶する食材データ記憶手段、
   任意の画像を入力する画像入力手段、
   前記画像入力手段により入力された前記画像に含まれる色を判別する色判別手段、
   前記色判別手段によって判別された色に応じた食材を前記食材データ記憶手段により記憶された食材の中から決定する食材決定手段、
   前記食材決定手段により決定された食材を、前記色判別手段によって判別された前記画像に含まれる色に対応させて表示する表示手段、
   として機能させ、
   前記表示手段は、前記食材決定手段により決定された食材を、前記色判別手段によって判別された前記画像に含まれる色に対応させて食材画像又は食材名で表示することを特徴とするプログラム。

Images