JP7314704B2 - 画像プリント装置及び画像処理装置 - Google Patents

Description

本発明は、画像プリント装置及び画像処理装置に関する。

デジタルカメラやスマートフォン等で撮影した画像のデジタルデータを読み込んでプリント出力する画像プリント装置が様々な場所に設置されている。例えば、利用者は、デジタルカメラで撮影した画像データが記憶された記憶媒体を持参し、記憶媒体内の画像データを画像プリント装置に読み込ませる。画像プリント装置は、記憶媒体から読み込んだ画像データをプリントしたり、画像データの編集を行った上でプリントしたりする。

利用者は、プリント出力された写真をアルバムに入れて保存したり、フォトキーホルダ（フォトストラップ）に入れて携帯したりする。フォトキーホルダは、透明プラスチックケースの中に写真が入れられるようになっており、円形や矩形など様々なケース形状のものが販売されている。

従来、利用者は、ケースのサイズや形状に合わせてカッターやハサミで写真を切っていた。しかし、写真はフォトキーホルダに入れることを考慮して撮影されたものとは限らないため、ケースに合わせて切る際に、被写体の重要な部分を切り落とさざるを得ないことがあった。

特許第５７１９２７１号公報 特許第５７３５３９５号公報 特開２０１８－１５１９７９号公報 特開２００６－１３７２２号公報

本発明は、画像の重要な部分を残すようにトリミングを行う画像プリント装置及び画像処理装置を提供することを課題とする。

本発明の画像プリント装置は、画像を入力する入力部と、前記画像の切り取りサイズの入力を受け付ける編集処理部と、前記切り取りサイズに基づいて前記画像のサイズ補正を行う画像処理部と、サイズ補正された画像を用紙にプリントして出力するプリンタと、を備え、前記画像処理部は、前記画像の各画素のエネルギー値を算出し、前記エネルギー値に基づいて決定した画素を削除して、プリント出力される前記画像が前記切り取りサイズに収まるように画像サイズを補正するものである。

本発明の一態様では、各画素の前記エネルギー値は、周囲の画素との画素値の差に基づいて算出される。

本発明の一態様では、前記編集処理部は、切り取り形状の種類の選択を受け付ける。

本発明の一態様では、前記編集処理部は、前記切り取り形状として四角形が選択された場合、前記切り取りサイズとして四角形の縦及び横の長さの入力を受け付け、前記切り取り形状として円形が選択された場合、前記切り取りサイズとして円の直径の入力を受け付け、前記切り取り形状として正三角形が選択された場合、前記切り取りサイズとして正三角形の一辺の長さの入力を受け付ける。

本発明の一態様では、前記画像処理部は、画像の切り取り形状及び切り取りサイズに対して入力画像の足りない部分に画像を追加する。

本発明の画像処理装置は、画像の切り取りサイズの入力を受け付ける編集処理部と、前記切り取りサイズに基づいて前記画像のサイズ補正を行う画像処理部と、を備え、前記画像処理部は、前記画像の各画素のエネルギー値を算出し、前記エネルギー値に基づいて決定した画素を削除して、プリント出力される前記画像が前記切り取りサイズに収まるように画像サイズを補正するものである。

本発明の一態様では、前記編集処理部は、切り取り形状の種類の選択を受け付け、前記画像処理部は、切り取り形状及び切り取りサイズに対して画像の足りない部分に画像を追加する。

本発明によれば、画像の重要な部分を残すようにトリミングを行うことができる。

本発明の実施形態に係る画像プリント装置のハードウェアのブロック図である。 画像プリント装置の斜視図である。 画像プリント装置の機能ブロック図である。 画像プリント方法を説明するフローチャートである。 レイアウト選択画面の例を示す図である。 （ａ）～（ｃ）は編集画面の例を示す図である。 （ａ）～（ｃ）は切り取り線の例を示す図である。 （ａ）～（ｆ）は画像補正の方法を説明する図である。 画像補正の例を示す図である。 画像補正の例を示す図である。 プリント物の例を示す図である。 フォトキーホルダの例を示す図である。 画像補正の例を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は本実施形態による画像プリント装置のハードウェア構成のブロック図であり、図２は画像プリント装置の斜視図である。この画像プリント装置は、ユーザから入力された画像データを用紙にプリントして出力するにあたり、フォトキーホルダ３０（図１２参照）に入れやすいように、フォトキーホルダ３０のサイズ・形状に合わせ、画像の重要な部分を残しながらサイズ変更等の画像処理を行うものである。

図１、図２に示すように、画像プリント装置は、第１タッチパネル１０Ａ、第２タッチパネル１０Ｂ、データ入力部１１、課金部１２、プリンタ１３、ＣＰＵ（中央処理部）１４、ディスク装置（記憶部）１５、及びメインメモリ１６を有する。

図２に示すように、第１タッチパネル１０Ａ及び第２タッチパネル１０Ｂは上下に配置されている。第１タッチパネル１０Ａは、手前側が低く、奥側が高くなるようにやや傾斜しており、入力操作を行い易くなっている。第２タッチパネル１０Ｂは、略垂直に立った状態となっている。

第１タッチパネル１０Ａ及び第２タッチパネル１０Ｂは、画像を含む情報を表示したり、利用者から各種指示の入力を受け付けたりする。例えば、第１タッチパネル１０Ａは、画像プリント装置への画像データの入力方法（例えば、記憶媒体の使用、携帯端末からの赤外線通信、又はスマートフォンからの無線通信）選択画面、注意事項の表示画面、プリント出力する画像の選択やプリント枚数指定などを受け付ける注文画面、注文内容や請求金額の確認画面等の基本操作画面、後述するレイアウト選択画面や編集画面等を表示する。

データ入力部１１は、デジタルカメラ等で撮影した画像データが記憶された記憶媒体から画像データを読み取ることで、画像データの入力を受け付ける。データ入力部１１は、様々な記憶媒体に対応したデータ読取装置を有している。また、データ入力部１１は、有線通信又は無線通信により携帯端末から画像データの入力を受け付けることができる。

課金部１２は、筐体１の前面側に設けられた硬貨投入口１２Ａ、紙幣投入口１２Ｂ、釣銭返却口１２Ｃを有し、硬貨投入口１２Ａ及び紙幣投入口１２Ｂから投入された貨幣を識別計数し、釣銭を釣銭返却口１２Ｃから放出する。また、課金部１２は、電子マネーによる決済機能を有していてもよい。また、課金部１２は、プリント枚数、単価、請求金額、投入金額、釣銭額等をレシートに印字して出力するレシートプリンタを有していてもよい。

プリンタ１３は、昇華型又はインクジェット型などの高解像度カラープリンタであり、画像のプリント出力を行う。プリンタ１３は筐体１内に収容されている。図２に示すように、筐体１の前面側には、透明な開閉扉２が開閉自在に設けられている。開閉扉２の裏面側には、プリンタ１３がプリント出力したプリント物が集積される集積部（図示せず）が設けられており、開閉扉２を開けると集積部に集積されたプリント物を取り出せるようになっている。

ディスク装置１５は、画像処理プログラム、制御プログラム、及びスタンプ等の編集アイテムデータを格納する。ディスク装置１５は例えばハードディスクドライブである。

ＣＰＵ１４は、ディスク装置１５内の制御プログラムをメインメモリ１６にロードし、制御プログラムを実行することで、第１タッチパネル１０Ａ、第２タッチパネル１０Ｂ、課金部１２及びプリンタ１３を制御する制御部として機能する。

また、ＣＰＵ１４は、ディスク装置１５内の画像処理プログラムをメインメモリ１６にロードして、画像処理プログラムを実行する。画像処理プログラムの実行に伴い、図３に示すように、プリントサイズ選択部１４１、レイアウト選択部１４２、画像選択部１４３、編集処理部１４４、画像処理部１４５及びプリント処理部１４６の機能が実現される。各部の処理については後述する。

次に、この画像プリント装置を用いた画像プリント方法を、図４に示すフローチャートに沿って説明する。

データ入力部１１がユーザから画像データの入力を受け付ける（ステップＳ１）。

プリントサイズ選択部１４１が、第１タッチパネル１０Ａにプリントサイズ選択画面を表示し、ユーザからプリントサイズの選択を受け付ける（ステップＳ２）。例えば、Ｌ判、２Ｌ判等のプリントサイズ（用紙サイズ）を選択できる。

レイアウト選択部１４２が、第１タッチパネル１０Ａにレイアウト選択画面を表示し、ユーザから印刷レイアウトの選択を受け付ける（ステップＳ３）。例えば、ユーザは、１枚の用紙に１つの画像をプリントする通常プリントや、１枚の用紙の画像形成領域を複数の領域に分割し、各分割領域に１つずつ画像を配置してプリントする分割プリントを選択する。

本実施形態では、プリント出力した写真を切り抜いてフォトキーホルダ３０に入れることを想定し、ユーザが図５に示すようなレイアウト選択画面でフォトキーホルダ用の分割プリントのレイアウトＬ１又はＬ２を選択するものとする。

レイアウトＬ１は、間隔をあけて画像を配置するレイアウトであり、レイアウトＬ２は、間隔をあけずに画像を配置するレイアウトである。レイアウトＬ１でプリント物を作製した場合は、画像を１つずつ切り取り、２つの画像の裏面同士を重ね合わせてフォトキーホルダのケースに入れる。レイアウトＬ２でプリント物を作製した場合は、２画像をまとめて切り取り、中央で折り畳んでフォトキーホルダのケースに入れる。

続いて、画像選択部１４３が、ユーザから、レイアウトの各領域に配置する画像の選択を受け付ける（ステップＳ４）。例えば、ユーザがタッチパネルに表示されたレイアウト内の１つの領域を選択すると、画像選択部１４３はステップＳ１で入力された画像のサムネイルの一覧をタッチパネルに表示する。ユーザが画像を選択すると、レイアウト内の選択領域にその画像が配置される。

画像選択後、ユーザはレイアウト内の各画像の編集処理を行うことができる。ユーザが、編集したい画像を選択すると、編集処理部１４４が、図６（ａ）に示すような編集画面をタッチパネルに表示させる。

編集ツールとして、例えば、「ペン」、「スタンプ」、「切り取り線」を選択できる。

ユーザが「ペン」を選択すると、第２タッチパネル１０Ｂにペン先の色やテクスチャ等の一覧が編集アイテムとして表示され、それぞれを選択した後に、第１タッチパネル１０Ａの編集対象画像の任意の位置を指定して描くことで、画像の上に自由に線描することができる。

利用者が「スタンプ」を選択すると、第２タッチパネル１０Ｂに様々な模様や図形のスタンプが編集アイテムとして表示される。スタンプを選択した後に、第１タッチパネル１０Ａの編集対象画像の任意の位置を指定すると、指定した位置に選択したスタンプが付加される。

フォトキーホルダ３０に入れるための切り取り線を描きたい場合、ユーザは「切り取り線」を選択する。「切り取り線」を選択すると、切り取り線形状選択領域が表示される。ユーザは、使用するフォトキーホルダ３０のケース形状に合った切り取り線形状を選択する。例えば、切り取り線形状には、四角形、円形、正三角形がある。

図６（ａ）は、切り取り線形状として四角形を選択した例を示している。四角形を選択すると、切り取りサイズ入力領域ＳＺ１が表示される。ユーザは、切り取りサイズ、すなわちフォトキーホルダ３０のケース（写真収容部）の縦及び横の長さを入力する（ステップＳ５）。

編集処理部１４４は、入力されたケースサイズに基づいて、切り取り線Ｃ１を画像に重ね合わせて表示する。例えば、編集処理部１４４は、プリントサイズ（用紙サイズ）及びレイアウトから、この画像が実際にプリントされるサイズを算出し、入力されたケースサイズに対応する切り取り線が実際のプリント物（写真）ではどのようにプリントされるか分かるように切り取り線Ｃ１を表示する。

ユーザは、位置調整キーＢ１を押して、画像内での切り取り線Ｃ１の位置を調整できる。

図６（ｂ）は、切り取り線形状として円形を選択した例を示している。円形を選択すると、切り取りサイズ入力領域ＳＺ２が表示される。ユーザは、切り取りサイズ、すなわちフォトキーホルダ３０の円形ケースの直径を入力する。

図６（ｃ）は、切り取り線形状として正三角形を選択した例を示している。正三角形を選択すると、切り取りサイズ入力領域ＳＺ３が表示される。ユーザは、切り取りサイズ、すなわちフォトキーホルダ３０の正三角形ケースの一辺の長さを入力する。

被写体の重要な部分が切り取り線からはみ出している場合、フォトキーホルダのケースに合わせてプリント物を切り取ると、重要な部分が切り落されてしまう。例えば、図７（ａ）～（ｃ）に示す例では、切り取り線Ｃ４をどこに配置しても、人物の少なくとも一部が切り取り線Ｃ４からはみ出してしまう。

このような場合、ユーザが補正ボタンＢ２を押すと、画像処理部１４５が、切り取り線内に画像が収まるように画像を補正する（ステップＳ６）。画像処理部１４５は、単に画像を均等に縮小するのではなく、画像内の重要度の低い領域を検出して間引くことで、画像サイズを変更する。

画像処理部１４５は、シームカービング等のトリミング手法を用いて画像サイズを変更する。図８（ａ）～（ｆ）を用いて、縦５画素、横７画素の画像を縦５画素、横６画素となるように横方向に縮小する例について説明する。まず、画像処理部１４５は、画像内の全ての画素について画素の重要度を表すエネルギー値を算出する。エネルギー値は、輝度勾配及びサリエンシ等を用いて算出できる。例えば、周囲の画素の画素値との差が大きい画素値を持つ画素は、重要度が高く、エネルギー値が高くなる。一方、周囲の画素の画素値との差が小さい画素値を持つ画素は、重要度が低く、エネルギー値が低くなる。

図８（ａ）に示すように、最下端の行でエネルギー値が最小の画素Ｐ１を検出する。次に、図８（ｂ）に示すように、画素Ｐ１の左斜め上、上、右斜め上の３画素の中でエネルギー値が最小の画素Ｐ２を検出する。次に、図８（ｃ）に示すように、画素Ｐ２の左斜め上、上、右斜め上の３画素の中でエネルギー値が最小の画素Ｐ３を検出する。同様の処理を繰り返し、図８（ｄ）に示すように画素Ｐ４，Ｐ５を検出する。

図８（ｅ）、図８（ｆ）に示すように、検出した画素Ｐ１～Ｐ５を削除し、削除した画素の左右の画素群を結合する。図８は、画像を左右方向に縮小する例を示すが、同様の手法で、画像を上下方向に縮小することができる。この処理を繰り返すことで、除去しても問題ない部分を除去し、重要な部分を残して、画像サイズを縮小することができる。

例えば、図９に示すように、人物のサイズは（ほとんど）縮小することなく、中央の雲の部分を削除することで、画像サイズを縮小し、切り取り線Ｃ４内に画像を収めることができる。図１０は画像サイズ縮小の別の例を示す。

画像補正を含む編集処理が完了し、課金部１２を用いた精算処理が行われると、プリント処理部１４６が、切り取り線サイズに補正されたプリント画像データをプリンタ１３へ転送し、プリント処理を実行させる（ステップＳ７）。プリンタ１３から、図１１に示すような、切り取り線Ｃのサイズの画像がプリントされた写真２０（プリント物）が出力される。

図１２に示すように、ユーザは、切り取り線Ｃに沿ってハサミ等で写真２０を切り、切り抜き部２１をフォトキーホルダ３０のケースに収容する。切り取り線Ｃは、フォトキーホルダ３０のケースサイズに合ったものであるため、切り抜き部２１はフォトキーホルダ３０のケースにぴったりと嵌まる。切り取り線Ｃは省略されていてもよい。切り取り線Ｃを省略した場合、ユーザは画像の縁に沿って写真２０を切ればよい。

上記実施形態では、筐体１内にプリンタ１３を備え、その場でプリント物を出力する画像プリント装置について説明したが、プリンタ１３を省略し、プリント注文の受け付けを行う注文受付端末としてもよい。この場合、注文受付端末には、プリント注文された画像データ及び注文内容を、有線又は無線ネットワークを介してプリンタサーバへ送信する通信部が設けられる。利用者は、窓口でプリント物を受け取ったり、郵送で受け取ったりする。

また、切り取り線に合わせて画像サイズを変更する画像処理装置を画像プリント装置とは別に設けてもよい。例えば、ＰＣやスマートフォン等に編集処理部１４４及び画像処理部１４５の機能を持たせて画像処理装置として動作させてもよい。

上記実施形態では矩形の切り取り線に収まるように画像サイズを縮小する例について説明したが、画像処理部１４５による補正処理はこれに限定されず、様々な方法で、画像が切り取り線内に収まるようにする。例えば、図１３に示すように、まず、三角形の切り取り線Ｃ５に被写体が収まるように画像全体を縮小する。次に、切り取り線Ｃ５が画像からはみ出している部分Ｈ１～Ｈ３（画像が足りない部分）に画像を補完する。補完する画像の画素値は、例えば、周囲の（近接する）画素から推定されたものとする。あるいはまた、画像外周縁をフレーム画像で縁取りして、切り取り形状に対して画像が足りない部分に画像を補完（追加）してもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ 筐体
２ 開閉扉
１０Ａ 第１タッチパネル
１０Ｂ 第２タッチパネル
１１ データ入力部
１２ 課金部
１３ プリンタ
１４ ＣＰＵ
１５ ディスク装置
１６ メインメモリ
２０ プリント物（写真）
３０ フォトキーホルダ
１４１ プリントサイズ選択部
１４２ レイアウト選択部
１４３ 画像選択部
１４４ 編集処理部
１４５ 画像処理部
１４６ プリント処理部

Claims (4)

1. 画像を入力する入力部と、
   前記画像の切り取りサイズの入力を受け付ける編集処理部と、
   前記切り取りサイズに基づいて前記画像のサイズ補正を行う画像処理部と、
   サイズ補正された画像を用紙にプリントして出力するプリンタと、
   を備え、
   前記編集処理部は、切り取り形状の種類の選択を受け付け、
   前記画像処理部は、前記画像の各画素のエネルギー値を算出し、前記エネルギー値に基づいて決定した画素を削除して、プリント出力される前記画像が前記切り取りサイズに収まるように画像サイズを補正し、選択された切り取り形状に入力画像内の被写体が収まるように画像を縮小することで画像の切り取り形状及び切り取りサイズに対して画像が足りなくなった場合、画像が足りない部分に周囲の画素から推定された画素値の画像を追加することを特徴とする画像プリント装置。
2. 各画素の前記エネルギー値は、周囲の画素との画素値の差に基づいて算出されることを特徴とする請求項１に記載の画像プリント装置。
3. 前記編集処理部は、
   前記切り取り形状として四角形が選択された場合、前記切り取りサイズとして四角形の縦及び横の長さの入力を受け付け、
   前記切り取り形状として円形が選択された場合、前記切り取りサイズとして円の直径の入力を受け付け、
   前記切り取り形状として正三角形が選択された場合、前記切り取りサイズとして正三角形の一辺の長さの入力を受け付けることを特徴とする請求項１又は２に記載の画像プリント装置。
4. 画像の切り取りサイズの入力を受け付ける編集処理部と、
   前記切り取りサイズに基づいて前記画像のサイズ補正を行う画像処理部と、
   を備え、
   前記編集処理部は、切り取り形状の種類の選択を受け付け、
   前記画像処理部は、前記画像の各画素のエネルギー値を算出し、前記エネルギー値に基づいて決定した画素を削除して、プリント出力される前記画像が前記切り取りサイズに収まるように画像サイズを補正し、選択された切り取り形状に入力画像内の被写体が収まるように画像を縮小することで画像の切り取り形状及び切り取りサイズに対して画像が足りなくなった場合、画像が足りない部分に周囲の画素から推定された画素値の画像を追加することを特徴とする画像処理装置。

Images