JP5343739B2 - 出力装置及びプログラム - Google Patents

出力装置及びプログラム Download PDF

Info

Publication number
JP5343739B2
JP5343739B2 JP2009158008A JP2009158008A JP5343739B2 JP 5343739 B2 JP5343739 B2 JP 5343739B2 JP 2009158008 A JP2009158008 A JP 2009158008A JP 2009158008 A JP2009158008 A JP 2009158008A JP 5343739 B2 JP5343739 B2 JP 5343739B2
Authority
JP
Japan
Prior art keywords
image
frame
correction
output
storage area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009158008A
Other languages
English (en)
Other versions
JP2011013971A (ja
Inventor
智彦 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2009158008A priority Critical patent/JP5343739B2/ja
Priority to US12/817,713 priority patent/US8831373B2/en
Publication of JP2011013971A publication Critical patent/JP2011013971A/ja
Application granted granted Critical
Publication of JP5343739B2 publication Critical patent/JP5343739B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original

Description

本発明は、画像ファイルの表す画像を出力する出力装置に関するものである。
従来、写真等の静止画像を表す画像ファイル(静止画像ファイル)を記憶媒体から読み出し、読み出した画像ファイルの表す静止画像を印刷する印刷装置が知られている。また、最近では、静止画像ファイルだけでなく、動画像を表す画像ファイル(動画像ファイル)についても印刷対象とすることが可能な印刷装置が提案されている。
例えば、特許文献1に記載の印刷装置では、動画像ファイルの表す動画像から複数のフレーム画像を抽出し、それらを同一ページに配置した画像を印刷可能としている。また、この印刷装置では、フレーム画像に対して画像補正処理を行うことができるようになっており、ユーザが、プレビュー画面で補正状態を確認しながら、カラーバランスや明るさ等の補正パラメータを調整できるようになっている。
特開2005−130254号公報
画像補正処理の補正パラメータを適正な値に調整することは、特に専門知識を有しないユーザにとって困難であることが多い。そこで、画像補正処理の対象の画像に基づき補正パラメータを自動的に算出する技術(既存技術)を利用することが好ましい。
しかしながら、動画像から抽出した出力対象のフレーム画像には、撮像素子の影響などによりノイズ成分が含まれていることがあり、この場合、ノイズ成分が補正パラメータの算出に影響して適正な値が算出されないことが考えられる。
本発明は、こうした問題にかんがみてなされたものであり、フレーム画像に含まれたノイズ成分等の補正パラメータへの影響を緩和することのできる出力装置及びプログラムを提供することを目的としている。
上記目的を達成するためになされた本発明の出力装置は、動画像を表す画像ファイルを入力する入力手段と、入力手段により入力された動画像から出力対象のフレーム画像を抽出し、抽出したフレーム画像に対して画像補正処理を行うことにより補正画像を生成する補正手段と、補正画像を出力する出力手段とを備えるものである。なお、「補正画像を出力する」とは、補正画像を印刷することや表示することなどを含む意味である。
そして、この出力装置は、動画像から抽出された出力対象のフレーム画像と、動画像においてこのフレーム画像と時系列的に連続する所定数のフレーム画像(非出力対象のフレーム画像を含む)である周辺フレーム画像とに基づいて、その出力対象のフレーム画像に対して行う画像補正処理の補正パラメータを算出する算出手段を備え、補正手段は、算出手段により算出された補正パラメータを用いて画像補正処理を行う。なお、周辺フレーム画像が複数である場合に、すべての周辺フレーム画像のそれぞれが出力対象のフレーム画像と直接的に時系列的な連続関係にある必要はなく、出力対象のフレーム画像及び所定数の周辺フレーム画像が全体として時系列的な連続関係にあればよい。
つまり、この出力装置では、出力対象のフレーム画像に対して行う画像補正処理の補正パラメータを、出力対象でない(非出力対象の)フレーム画像を加味して算出するようにしている。具体的には、出力対象のフレーム画像と類似している可能性の高いフレーム画像が用いられるようにするために、出力対象のフレーム画像と時系列的に連続するものを用いるようにしている。
このような出力装置によれば、出力対象のフレーム画像のみに基づいて画像補正処理の補正パラメータを算出する場合に比べ、出力対象のフレーム画像に含まれたノイズ成分等の補正パラメータへの影響を緩和することができる。この結果、より適正な補正パラメータを算出することが可能となる。
ところで、出力対象のフレーム画像と時系列的に連続する周辺フレーム画像であっても、シーンの切り替わりなどにより、その出力対象のフレーム画像と類似していない可能性もあり、このような周辺フレーム画像を加味して補正パラメータを算出することは好ましくない。
そこで、例えば、算出手段は、動画像から抽出された出力対象のフレーム画像と、周辺フレーム画像のうち出力対象のフレーム画像との差分が所定の判定基準値未満の周辺フレーム画像とに基づいて、補正パラメータを算出してもよい。つまり、算出手段は、出力対象のフレーム画像との差分が所定の判定基準値以上の周辺フレーム画像については、補正パラメータの算出に加味しないようにしている。このような出力装置によれば、適切でないフレーム画像を加味することによる補正パラメータの悪化を防ぐことができる。
また、出力対象のフレーム画像と時系列的に近い周辺フレーム画像ほどその出力対象のフレーム画像と類似している可能性が高いといえるが、動画像によって単位時間当たりのフレーム数が異なり得るため、単位時間当たりのフレーム数が少ないものよりも多いものの方が類似性が高くなる傾向にある。
そこで、補正パラメータの算出に用いられる周辺フレーム画像の数を設定する設定手段を備え、設定手段は、単位時間当たりのフレーム数が多い動画像ほど周辺フレーム画像の数を多くしてもよい。このような出力装置によれば、動画像に応じて適切な数の周辺フレーム画像を用いることができる。
ところで、出力対象のフレーム画像及び周辺フレーム画像に基づく補正パラメータの算出は、具体的にはのように行うことができる。
すなわち、算出手段は、出力対象のフレーム画像及び周辺フレーム画像について画像ごとの補正パラメータを算出し、算出した画像ごとの補正パラメータを平均することで画像補正処理の補正パラメータを算出してもよい。なお、ここでいう「平均」は、相加平均に限定されるものではなく、例えば加重平均(重み付き平均)も含まれる。
また、算出手段が、画像ごとの補正パラメータを、出力対象のフレーム画像との差分が小さい画像のものほど重み係数を大きくして加重平均することで、画像補正処理の補正パラメータを算出してもよい。このようにすることで、出力対象のフレーム画像との差分が小さい(類似性が高い)画像ほど加味されるように補正パラメータを算出することができる。このため、差分を加味せずに(一定とみなして)補正パラメータを算出する場合に比べ、より適正な補正パラメータを算出することができる。
また、算出手段は、出力対象のフレーム画像及び周辺フレーム画像を平均することで平均画像を生成し、生成した平均画像に基づき画像補正処理の補正パラメータを算出してもよい。なお、ここでいう「平均」も、相加平均に限定されるものではなく、例えば加重平均(重み付き平均)も含まれる。
また、算出手段が、出力対象のフレーム画像との差分が小さい画像ほど重み係数を大きくして加重平均することで平均画像を生成してもよい。このようにすることで、出力対象のフレーム画像との差分が小さい(類似性が高い)画像ほど加味されるように平均画像を生成することができる。このため、差分を加味せずに(一定とみなして)平均画像を生成する場合に比べ、より適正な補正パラメータを算出することができる。
一方、例えば、補正手段は、入力手段により入力された動画像から時系列的に非連続の複数の出力対象のフレーム画像を抽出し、これら複数のフレーム画像のそれぞれに対して画像補正処理を行うことにより複数の補正画像を生成し、算出手段は、動画像から抽出された複数の出力対象のフレーム画像のそれぞれについて、出力対象のフレーム画像とその周辺フレーム画像とに基づき画像補正処理の補正パラメータを算出し、出力手段は、補正画像が複数配置されてなる画像を出力してもよい
つまり、この出力装置は、時系列的に非連続の(動画像において離散的に存在する)複数のフレーム画像が配置されてなる画像を出力する。このような構成では、補正パラメータを複数のフレーム画像で共通とするよりも、フレーム画像ごとに適正な値を設定することが好ましい。
そこで、この出力装置では、複数の出力対象のフレーム画像のそれぞれについて、そのフレーム画像に対して行う画像補正処理の補正パラメータを、非出力対象のフレーム画像を加味して算出する。
このような出力装置によれば、出力対象のフレーム画像のみに基づいて画像補正処理の補正パラメータを算出する場合に比べ、出力対象のフレーム画像に含まれたノイズ成分等の補正パラメータへの影響を緩和することができる。この結果、より適正な補正パラメータを算出することが可能となる。
また、本発明のプログラムによれば、前述した出力装置としてコンピュータを機能させることができ、これにより前述した効果を得ることができる。
実施形態の複合機の概略構成を表すブロック図である。 補正パラメータの算出方法の説明図である。 選択画面の説明図である。 入力画像情報記憶領域の説明図である。 動画像情報記憶領域の説明図である。 フレーム画像情報記憶領域の説明図である。 液晶表示位置情報記憶領域の説明図である。 補正パラメータ算出情報記憶領域の説明図である。 メディア画像印刷処理のフローチャートである。 出力画像生成処理のフローチャートである。 第1実施形態の画像補正パラメータ算出処理のフローチャートである。 第2実施形態の画像補正パラメータ算出処理のフローチャートである。
以下、本発明が適用された実施形態について、図面を用いて説明する。
[1.第1実施形態]
まず、第1実施形態について説明する。
[1−1.全体構成]
図1は、第1実施形態の出力装置としての複合機10の概略構成を表すブロック図である。
この複合機10は、プリンタ機能の他、スキャナ機能やコピー機能等を有する多機能装置であり、CPU11、ROM12、内部メモリ(RAM)13、スキャナ読取部14、印刷制御部15、液晶表示部16、操作入力部17及びメディアカードスロット18を備えており、これらは信号線を介して接続されている。
CPU11は、複合機10におけるすべての演算を行うための装置である。
ROM12は、後述する処理(図9〜図11)をCPU11に実行させるためのプログラムがあらかじめ記憶されている装置である。
内部メモリ13は、CPU11による演算結果や入力データなどを一時的に記憶しておくための装置である。なお、内部メモリ13の記憶領域の具体的内容については後述する。
印刷制御部15は、印刷命令が出された画像データを印刷するための装置であり、CMYKの色材(トナーやインク等)によりカラー画像を印刷可能なものである。
液晶表示部16は、小型のカラー液晶ディスプレイに画像(メッセージ等の文字列を表す画像を含む。)を表示するための装置である。
操作入力部17は、ユーザによって押操作される各種操作キーが配置され、操作に基づく情報を入力するための装置である。具体的には、上下左右操作を行うための上キー、下キー、左キー及び右キーと、決定操作を行うためのOKキーとを備えている。
メディアカードスロット18は、SDカードやCFカード等のメディアカード(不揮発性の可搬型記憶媒体)を挿入可能に構成されている。そして、複合機10は、メディアカードスロット18に挿入された状態のメディアカードから画像ファイルを直接読み出し、読み出した画像ファイルの表す画像を印刷する機能(いわゆるダイレクトプリント機能)を有している。
ここで、画像ファイルとしては、静止画像を表す静止画像ファイルだけでなく、動画像を表す動画像ファイルも対象となる。具体的には、印刷対象の画像ファイルが静止画像ファイルの場合には、その静止画像ファイルの表す静止画像のみを1ページに印刷する。一方、印刷対象の画像ファイルが動画像ファイルの場合には、その動画像ファイルの表す動画像を構成する複数のフレーム画像の中から印刷対象のフレーム画像を所定の配置フレーム数(本実施形態では9個)抽出し、抽出したフレーム画像を同一ページに時系列順にレイアウト(配置)したフレーム配置画像を印刷する。
本実施形態の複合機10では、9個のフレーム画像として、動画像ファイルの総フレーム数を先頭フレーム画像から末尾(最終)フレーム画像までの間で8等分した各等分位置(正確に等分できない場合は近似位置)の7個のフレーム画像、先頭フレーム画像及び末尾フレーム画像の計9個のフレーム画像が時間順に自動的に抽出される。したがって、動画像から抽出可能なフレーム画像の総数が極端に少なくない限り、時系列的に非連続のフレーム画像が抽出されることになる。なお、8等分する基準は総フレーム数に限定されるものではなく、例えば動画像の再生時間としてもよい。
また、本実施形態の複合機10では、印刷対象のフレーム画像に画像補正処理を行う。画像補正処理の補正パラメータは、補正対象(印刷対象)のフレーム画像に基づき自動的に算出するが、動画像から抽出した出力対象のフレーム画像には、撮像素子の影響などによりノイズ成分が含まれていることがあり、この場合、ノイズ成分が補正パラメータの算出に影響して適正な値が算出されないことが考えられる。
そこで、本実施形態の複合機10では、補正対象(印刷対象)のフレーム画像だけでなく、動画像においてこのフレーム画像と時系列的に連続する所定数のフレーム画像である周辺フレーム画像も加味して、画像補正処理の補正パラメータを算出する。すなわち、例えば図2に示すように、動画像から時系列的に非連続の9個の印刷対象のフレーム画像を抽出し、これら複数のフレーム画像のそれぞれに対して画像補正処理を行う際に、画像補正処理ごとに、補正対象のフレーム画像と、このフレーム画像と時系列的に連続する所定数(図2では前後3個ずつ)の周辺フレーム画像とに基づき、補正パラメータを算出する。周辺フレーム画像は、通常は非印刷対象のフレーム画像のみからなるが、動画像から抽出可能なフレーム画像の総数が極端に少ない場合などには他の印刷対象のフレーム画像も含まれ得る。
なお、複合機10は、メディアカードに記憶されている複数の画像ファイルの中から印刷対象の画像ファイルをユーザに選択させるため、図3に示すような選択画面を液晶表示部16に表示し、この選択画面で選択された画像ファイルの表す画像を印刷する。具体的には、この選択画面には、選択候補となる各画像ファイルの選択用画像として、その画像ファイルを実際に印刷した場合のイメージ(印刷イメージ)を把握可能なサムネイル画像を表示する。つまり、静止画像ファイルについては、その静止画像ファイルの表す静止画像が選択用画像として表示され、動画像ファイルについては、配置フレーム数(本実施形態では9個)のフレーム画像が同一ページに配置された画像が選択用画像として表示される。
[1−2.内部メモリの記憶領域]
次に、内部メモリ13の記憶領域について説明する。
図1に示すように、内部メモリ13には、各種情報を記憶するための記憶領域として、入力画像情報記憶領域31、動画像情報記憶領域32、出力画像データ記憶領域33、拡大/縮小画像データ記憶領域34、フレーム画像情報記憶領域35、フレーム画像データ記憶領域36、印刷データ記憶領域37、一時変数記憶領域38、液晶表示位置情報記憶領域39、液晶表示画像記憶領域40、パラメータ算出用画像データ記憶領域41、補正パラメータ算出情報記憶領域42及び統合補正パラメータ記憶領域43が用意されている。
入力画像情報記憶領域31は、メディアカードに記憶されている画像ファイルの情報を記憶するための領域である。具体的には、図4に示すように、入力画像情報記憶領域31は、入力画像ID記憶領域51、入力画像ファイル名記憶領域52及び入力画像ファイルサイズ記憶領域53を備えている。
入力画像ID記憶領域51は、メディアカードに記憶されている画像ファイルの数に応じて0から順に振り分けた画像ファイルのID(以下「入力画像ID」という。)を記憶するための領域である。具体的には、メディアカードから読み出された画像ファイルに対し、読み出された順に入力画像IDが割り振られる。
入力画像ファイル名記憶領域52は、メディアカードに記憶されている画像ファイルのファイル名を記憶するための領域である。
入力画像ファイルサイズ記憶領域53は、メディアカードに記憶されている画像ファイルのファイルサイズを数値(この例ではキロバイト単位の数値)として記憶するための領域である。
動画像情報記憶領域32は、メディアカードに記憶されている画像ファイルのうち、処理対象となっている動画像ファイルの情報を一時的に記憶するための領域である。具体的には、図5に示すように、動画像情報記憶領域32は、フォーマット種別記憶領域61、コーデック種別記憶領域62、横方向サイズ記憶領域63、縦方向サイズ記憶領域64、総フレーム数記憶領域65及びFPS情報記憶領域66を備えている。
フォーマット種別記憶領域61は、処理対象となっている動画像ファイルのファイルフォーマットの種別を記憶する領域である。本実施形態では、3種類のファイルフォーマットに対応付けられた数値(例えば、AVIフォーマットであれば「0」、MOVフォーマットであれば「1」、MPEGフォーマットであれば「2」)が記憶される。
コーデック種別記憶領域62は、処理対象となっている動画像ファイルのコーデックの種別を記憶する領域である。本実施形態では、3種類のコーデックに対応付けられた数値(例えば、MotionJPEGコーデックであれば「0」、MPEG1コーデックであれば「1」、DivXコーデックであれば「2」)が記憶される。
横方向サイズ記憶領域63は、処理対象となっている動画像ファイル(フレーム画像)の横方向のピクセルサイズを数値データとして記憶する領域である。
縦方向サイズ記憶領域64は、処理対象となっている動画像ファイル(フレーム画像)の縦方向のピクセルサイズを数値データとして記憶する領域である。
総フレーム数記憶領域65は、処理対象となっている動画像ファイルを構成するフレーム画像データの総数(総フレーム数)を数値データとして記憶する領域である。
FPS情報記憶領域66は、処理対象となっている動画像ファイルの1秒間に再生するフレーム数であるFPS(Frames Per Second)情報を数値データとして記憶する領域である。
出力画像データ記憶領域33は、印刷制御部15に渡すための出力画像データ(印刷用画像を表す画像データ)を一時的に記憶するための領域である。
拡大/縮小画像データ記憶領域34は、画像データをあらかじめ決められたサムネイル画像のサイズに変換(拡大又は縮小)処理した画像データを記憶するための領域である。
フレーム画像情報記憶領域35は、フレーム配置画像に配置するフレーム画像に関する情報を記憶するための領域である。具体的には、図6に示すように、フレーム画像情報記憶領域35は、フレーム配置位置番号記憶領域71、オフセットサイズ情報記憶領域72、フレームサイズ情報記憶領域73及びフレーム番号記憶領域74を備えている。
フレーム配置位置番号記憶領域71は、フレーム配置画像におけるフレーム画像の配置位置に対応した番号(0〜8の番号)を記憶するための領域である。具体的には、フレーム配置画像における3行3列の配置位置には、1行目の左から0,1,2、2行目の左から3,4,5、3行目の左から6,7,8の番号が対応づけられている。
オフセットサイズ情報記憶領域72は、フレーム画像の動画像ファイルにおける位置を特定する情報を記憶するための領域である。具体的には、オフセットサイズ情報記憶領域72には、フレーム画像データの先頭が元の動画像ファイルの先頭から何バイト目に当たるかを示すオフセットサイズが、数値(この例ではバイト単位の数値)として記憶されている。すなわち、動画像ファイルのファイル構造は、先頭のヘッダ情報と末尾のインデックス情報との間に、フレーム画像データが順に配置された構造となっており、ここでいうオフセットサイズとは、動画像ファイルの先頭(つまりヘッダ情報の先頭)から抽出対象のフレーム画像データの先頭までのデータサイズのことである。なお、オフセットサイズをキロバイト単位でなくバイト単位で記憶するのは、フレーム画像データの位置を正確に特定するためである。
フレームサイズ情報記憶領域73は、フレーム画像データのデータサイズ(伸張(デコード)処理前の圧縮状態(例えばJPEG形式)でのデータサイズ)を記憶するための領域であり、データサイズが数値(この例ではバイト単位の数値)として記憶されている。
フレーム番号記憶領域74は、フレーム画像が元の動画像ファイルの何フレーム目に当たるかを示す数値(フレーム番号)を記憶するための領域である。なお、先頭フレームは0番とする。
フレーム画像データ記憶領域36は、動画像ファイルから抽出したフレーム画像データを一時的に記憶するための領域である。この領域に記憶されるフレーム画像データは、伸張処理前の圧縮状態の画像データである。
印刷データ記憶領域37は、出力画像データを実際に印刷するためのデータに変換したものを一時的に記憶するための領域である。
一時変数記憶領域38は、変数やカウンタなど、一時的な情報を記憶するための領域である。
液晶表示位置情報記憶領域39は、液晶表示部16に表示する選択画面の表示ページ及び選択用画像(サムネイル画像)の表示位置の情報としてあらかじめ設定されている情報が記憶された領域である。具体的には、図7に示すように、液晶表示位置情報記憶領域39は、入力画像ID記憶領域81、表示ページ番号記憶領域82、表示画像番号記憶領域83、横方向表示座標記憶領域84及び縦方向表示座標記憶領域85を備えている。
入力画像ID記憶領域81は、入力画像情報記憶領域31の入力画像ID記憶領域51に記憶されている入力画像IDに対応する入力画像IDを記憶するための領域である。
表示ページ番号記憶領域82は、液晶表示部16に表示する選択画面のページ番号を記憶するための領域である。すなわち、液晶表示部16に一度に表示できる選択用画像の数には上限があるため、この上限(本実施形態では3個)よりも多くの画像ファイルが存在する場合には、複数ページに切り替えられる構成となっている。例えば、選択画面で選択候補となる画像ファイルが4個存在する場合には、図3(a)に示すように1ページ目に3個が表示され、図3(b)に示すように2ページ目に残りの1個が表示される。
表示画像番号記憶領域83は、選択画面に表示する選択用画像の位置(左から「0番目」、「1番目」又は「2番目」)を0、1又は2の番号(表示画像番号)で記憶するための領域である。
横方向表示座標記憶領域84は、選択用画像を液晶表示部16に表示する際の横方向の画像配置開始点を示す情報を記憶するための領域である。
縦方向表示座標記憶領域85は、選択用画像を液晶表示部16に表示する際の縦方向の画像配置開始点を示す情報を記憶するための領域である。
液晶表示画像記憶領域40は、液晶表示部16に表示する選択用画像を記憶するための領域である。具体的には、液晶表示画像記憶領域40は、選択用画像を記憶するための3つの領域(表示画像番号記憶領域83の表示画像番号と対応付けられた「0番目」、「1番目」及び「2番目」の領域)から構成されている。
パラメータ算出用画像データ記憶領域41は、補正パラメータの算出に用いるフレーム画像(パラメータ算出フレーム画像)のフレーム画像データ(パラメータ算出用画像データ)を記憶するための領域である。第1実施形態では、1つ分のフレーム画像データを記憶可能な領域が確保されている。
補正パラメータ算出情報記憶領域42は、補正パラメータの算出に用いる各種情報を記憶するための領域である。具体的には、図8に示すように、補正パラメータ算出情報記憶領域42は、パラメータ算出フレーム数記憶領域91、パラメータ算出フレームID記憶領域92、パラメータ算出フレーム番号記憶領域93、オフセットサイズ記憶領域94、フレームデータサイズ記憶領域95及び補正パラメータ記憶領域96を備えている。
パラメータ算出フレーム数記憶領域91は、パラメータ算出フレーム画像の数(パラメータ算出フレーム数)を記憶するための領域である。
パラメータ算出フレームID記憶領域92は、パラメータ算出フレーム画像を格納する領域につけられたID番号(パラメータ算出フレームID)を記憶するための領域であり、「0」から「パラメータ算出フレーム数−1」までの番号が順に割り振られる。
パラメータ算出フレーム番号記憶領域93は、パラメータ算出フレーム画像が、元の動画像ファイルの何フレーム目に当たるかを示す数値(フレーム番号)を記憶するための領域である。
オフセットサイズ記憶領域94は、パラメータ算出フレーム画像のオフセットサイズを記憶するための領域である。
フレームデータサイズ記憶領域95は、パラメータ算出フレーム画像のデータサイズ(伸張処理前の圧縮状態でのデータサイズ)を記憶するための領域である。
補正パラメータ記憶領域96は、各パラメータ算出フレーム画像から算出した補正パラメータを記憶するための領域である。
統合補正パラメータ記憶領域43は、フレーム画像情報記憶領域35に記憶されたフレーム画像の補正に用いる補正パラメータを記憶するための領域である。
[1−3.CPUが実行する処理]
次に、複合機10のCPU11が実行する具体的処理内容について説明する。
まず、画像ファイルの記憶されているメディアカードがメディアカードスロット18に挿入されている状態で、「メディア画像印刷」モードを選択する操作が操作入力部17で行われることによりCPU11が実行するメディア画像印刷処理について、図9のフローチャートを用いて説明する。
CPU11は、このメディア画像印刷処理を開始すると、まずS101で、メディアカードに記憶されている1つの画像ファイルの情報(ファイル名及びファイルサイズ)を読み出す。
続いて、S102では、S101で読み出した画像ファイルの情報を、入力画像情報記憶領域31に記憶する。
続いて、S103では、メディアカードに記憶されているすべての画像ファイルについて、情報の読み出しが完了したか否かを判定する。
そして、S103で、全画像ファイルの情報の読み出しが完了していないと判定した場合には、S101へ戻り、まだ読み出していない画像ファイルの情報を読み出す。
一方、S103で、全画像ファイルの情報の読み出しが完了したと判定した場合には、S104へ移行し、後述する処理に用いるページ番号カウンタ及びカーソル位置カウンタをそれぞれ初期化(値を0に)する。
続いて、S105では、選択画面のページ番号が更新されたか否かを判定する。具体的には、初期値(メディア画像印刷処理開始時の値)が−1の処理中ページ番号記憶変数を一時変数記憶領域38にあらかじめ用意しておき、この処理中ページ番号記憶変数の値とページ番号カウンタの値とを比較し、値が異なるか否かを判定することで、ページ番号が更新されたか否かを判定する。なお、処理中ページ番号記憶変数の初期値を−1としているのは、1回目の処理でページ番号が更新された場合の処理を実行する必要があるからである。また、処理中ページ番号記憶変数の値は、この判定処理の終了後、ページ番号カウンタの値に一致するように更新される。
そして、S105で、ページ番号が更新されたと判定した場合には、S106へ移行し、処理対象とする画像ファイルの入力画像IDを決定する。具体的には、生成画像数カウンタを一時変数記憶領域38に用意し、ページ番号カウンタの値に対応する表示ページ番号記憶領域82の値(ページ番号)と、生成画像数カウンタに対応する表示画像番号記憶領域83の値(表示画像番号)とに基づき、処理対象の画像ファイルの入力画像IDを決定する。なお、生成画像数カウンタの値は、S105からS106へ移行した際に0にリセットされる。
続いて、S107では、処理対象の画像ファイルに対して出力画像生成処理を実行する。これにより、処理対象の画像ファイルの出力画像データ(印刷用画像を表す画像データ)が出力画像データ記憶領域33に記憶される。なお、出力画像生成処理の具体的な内容については後述する(図10)。
続いて、S108では、出力画像データ記憶領域33に記憶されている出力画像データに対して液晶表示画像生成処理を実行する。具体的には、この液晶表示画像生成処理では、出力画像データをあらかじめ決められたサムネイル画像用のサイズに変換(拡大又は縮小)した画像データを、拡大/縮小画像データ記憶領域34で生成する。その後、表示画像番号に対応する液晶表示画像記憶領域40内の領域に、その画像データ(選択用画像を表す画像データ)をコピーする。
続いて、S109では、1画面分の選択用画像を生成したか否かを判定する。具体的には、S108で選択用画像が1個生成されるごとに、S106で用いた生成画像数カウンタの値に1を加算する。そして、この生成画像数カウンタの値が、1画面に表示できる最大画像数(本実施形態では3個であり、生成画像数カウンタの値としては初期値が0であるため2)に達したか否かを判定することで、1画面分の選択用画像を生成したか否かを判定する。
そして、S109で、1画面分の選択用画像を生成していないと判定した場合には、S106へ戻る。
一方、S109で、1画面分の選択用画像を生成したと判定した場合には、S110へ移行し、液晶表示画像記憶領域40に記憶されている画像データ(選択用画像を表す画像データ)を、液晶表示部16に表示する。その後、S111へ移行する。
一方、S105で、ページ番号が更新されていないと判定した場合には、S106〜S110の処理をスキップしてS111へ移行する。
S111では、カーソル位置カウンタ値に対応する画像表示領域上に、カーソル画像Cを表示する。本実施形態では、図3(a)及び図3(b)に示すように、サムネイル画像の周囲を縁取る枠をカーソル画像Cとして表示する。
続いて、S112では、ユーザによって操作入力部17で行われた操作キーの押操作の情報を入力する。
続いて、S113では、S112で入力した情報に基づき、押されたキーがOKキーであるかそれ以外のキー(具体的には、上キー、下キー、左キー又は右キー)であるかを判定する。
そして、S113で、押されたキーがOKキー以外のキーであると判定した場合には、S114へ移行し、ページ番号カウンタ及びカーソル位置カウンタを更新する。
具体的には、押されたキーが下キー又は右キーの場合には、カーソル画像Cの位置を右方向に1つ移動させるため、カーソル位置カウンタの値に1を加算する。ただし、この演算の結果、カーソル位置カウンタの値が最大値(本実施形態では2。なお、最大値が3でないのはカウンタの初期値が0であるため。)を超える場合(つまり、カーソル画像Cが最も右にある状態で下キー又は右キーが押された場合)には、カーソル位置カウンタの値を0に戻し、ページ番号カウンタの値に1を加算する。ここで、この演算の結果、ページ番号カウンタの値が最大値(最終ページのページ番号−1。なお、最大値が最終ページのページ番号でないのはカウンタの初期値が0であるため。)を超える場合(つまり、次のページが存在しない場合)には、加算を行わずにその最大値に維持する。
一方、押されたキーが上キー又は左キーの場合には、カーソル画像Cの位置を左方向に1つ移動させるため、カーソル位置カウンタの値から1を減算する。ただし、この演算の結果、カーソル位置カウンタの値が最小値である0よりも小さくなる場合(つまり、カーソル画像Cが最も左にある状態で上キー又は左キーが押された場合)には、カーソル位置カウンタの値を0に戻し、ページ番号カウンタの値から1を減算する。ここで、この演算の結果、ページ番号カウンタの値が最小値である0よりも小さくなる場合(つまり、前のページが存在しない場合)には、減算を行わずに0に維持する。
このS114の処理の後、S105へ戻る。
一方、S113で、押されたキーがOKキーであると判定した場合には、S115へ移行し、ページ番号カウンタの値に対応する表示ページ番号記憶領域82の値(ページ番号)と、カーソル位置カウンタの値に対応する表示画像番号記憶領域83の値(表示画像番号)とから、印刷対象の入力画像IDを決定する。
続いて、S116では、S115で印刷対象に決定した入力画像IDの画像ファイルを処理対象として、出力画像生成処理を実行する。これにより、印刷対象の画像ファイルの出力画像データ(印刷用画像を表す画像データ)が出力画像データ記憶領域33に記憶される。なお、出力画像生成処理の具体的な内容については後述する(図10)。
続いて、S117では、出力画像データ記憶領域33に記憶されている出力画像データの印刷処理を実行する。この印刷処理では、出力画像データ記憶領域33に記憶されている出力画像データを、1ライン単位で印刷データ記憶領域37にコピーし、色変換処理(RGB→CMYK)及び二値化処理を行った後、印刷制御部15へ出力する。これにより、印刷制御部15で二値データに基づく印刷が行われる。
このS117の印刷処理の後、本メディア画像印刷処理を終了する。
次に、前述したメディア画像印刷処理におけるS107及びS116の処理としてCPU11が実行する出力画像生成処理について、図10のフローチャートを用いて説明する。
CPU11は、この出力画像生成処理を開始すると、まずS201で、処理対象の画像ファイルの種類を、そのヘッダ情報などを参照して判定する。
続いて、S202では、S201で判定した画像ファイルの種類が静止画像ファイル及び動画像ファイルのうちのいずれに分類されるものであるかを判定する。
そして、S202で、画像ファイルの種類が動画像ファイルであると判定した場合には、S203へ移行し、この動画像ファイルの解析処理を実行する。この解析処理により、動画像ファイルのフォーマット種別情報及びコーデック種別情報が得られる。こうして得られた各種別情報は、動画像情報記憶領域32内のフォーマット種別記憶領域61及びコーデック種別記憶領域62にそれぞれ記憶される。
続いて、S204では、動画像から抽出する9個のフレーム画像(先頭フレーム画像、8等分した各等分位置の7個のフレーム画像、及び、末尾フレーム画像)のフレーム番号を算出する。
続いて、S205では、動画像パラメータの抽出処理を実行する。この抽出処理により、動画像ファイルの横方向サイズ情報、縦方向サイズ情報、総フレーム数情報、抽出対象のフレーム画像データのフレーム番号、オフセットサイズ及び伸張処理前のデータサイズ、並びにFPS情報が得られる。こうして得られた各情報は、動画像情報記憶領域32又はフレーム画像情報記憶領域35に記憶される。具体的には、横方向サイズ情報、縦方向サイズ情報、総フレーム数情報及びFPS情報は、動画像情報記憶領域32における横方向サイズ記憶領域63、縦方向サイズ記憶領域64、総フレーム数記憶領域65及びFPS情報記憶領域66にそれぞれ記憶される。また、オフセットサイズ、伸張処理前のデータサイズ及びフレーム番号は、フレーム画像情報記憶領域35におけるオフセットサイズ情報記憶領域72、フレームサイズ情報記憶領域73及びフレーム番号記憶領域74にそれぞれ記憶される。なお、フレーム画像情報記憶領域35には、動画像から抽出されるフレーム画像の数(9個)の情報が、配置位置に対応した領域にそれぞれ記憶される。
続いて、S206では、FPS情報記憶領域66に記憶されているFPS情報から、パラメータ算出フレーム数(補正パラメータの算出に用いるフレーム画像の数)を決定する。本実施形態では、FPS情報の値が大きいほど(1秒間に再生するフレーム数が多いほど)パラメータ算出フレーム数を多くするようにしており、30fpsであれば5フレーム、15fpsであれば3フレームというようにあらかじめ対応関係が決められている。なお、FPS情報の値の1/6といったように設定してもよい。
続いて、フレーム配置画像に配置すべきフレーム画像を表すフレーム画像データを、画像補正処理を施した上で出力画像データ記憶領域33に配置する処理(S207〜S213)へ移行する。具体的には、配置すべき(補正用の)フレーム画像データを順に処理対象として選択し、処理対象のフレーム画像データについてS207〜S212の処理を行う。これを処理対象のフレーム画像データの数だけ繰り返すことになる。具体的には、初期値(出力画像生成処理開始時の値)が0の処理フレーム画像数カウンタを一時変数記憶領域38にあらかじめ用意しておき、この処理フレーム画像数カウンタの値に対応するフレーム画像データを処理対象とする。なお、この処理フレーム画像数カウンタの値は、後述するように、処理対象のフレーム画像データについての処理が完了するごとに加算される。
S207では、処理対象の(補正用の)フレーム画像データをオフセットサイズ情報記憶領域72に記憶されているオフセットサイズ及びフレームサイズ情報記憶領域73に記憶されている伸張処理前のデータサイズに基づき動画像ファイルから読み出す処理を行う。
続いて、S208では、S207で読み出されたフレーム画像データ(伸張処理前の画像データ)を、フレーム画像データ記憶領域36に記憶する。
続いて、S209では、画像補正処理(ヒストグラム補正)に用いる補正パラメータである統合補正パラメータを算出する画像補正パラメータ算出処理を実行する。これにより、算出された統合補正パラメータが統合補正パラメータ記憶領域43に記憶される。なお、画像補正パラメータ算出処理の具体的な内容については後述する(図11)。
続いて、S210では、フレーム画像データ記憶領域36に記憶されているフレーム画像データに伸張処理を施し、フレーム画像データをピクセル演算が可能な形式(ピクセルごとにRGB値をそれぞれ0〜255の値で表した画像データ)に変換する。
続いて、S211では、統合補正パラメータ記憶領域43に記憶されている統合補正パラメータ(ヒストグラム補正の補正パラメータ)を用いて画像補正処理(周知のヒストグラム補正)を行う。具体的には、統合補正パラメータ記憶領域43に記憶されている上端及び下端に該当する強度の画素値をそれぞれ下端値→0、上端値→255の点に決定し、その間を255等分することで、各画素値のルックアップテーブルを生成する。そして、伸張されたフレーム画像データの画素値を、生成したルックアップテーブルを用いて変換する。
続いて、S212では、S211で補正されたフレーム画像データ(伸張処理後のピクセルデータ)を、出力画像データ記憶領域33における各フレーム画像に対応した位置に記憶する。
続いて、S213では、すべてのフレーム画像データを出力画像データ記憶領域33に配置したか否かを判定する。具体的には、1つのフレーム画像データについて処理が完了するごとに、処理フレーム画像数カウンタの値に1を加算し、この処理フレーム画像数カウンタの値がフレーム画像データの配置数(総フレーム数が配置フレーム数未満の場合には、総フレーム数+補完フレーム数)に達したか否かを判定することで、すべてのフレーム画像データを配置したか否かを判定する。
そして、S213で、すべてのフレーム画像データを配置していないと判定した場合には、S207へ戻り、未処理のフレーム画像データを処理対象として前述した処理を行う。
一方、S213で、すべてのフレーム画像データを配置したと判定した場合には、そのまま本出力画像生成処理を終了する。なお、この時点で出力画像データ記憶領域33に記憶されている画像データが、動画像ファイルの出力画像データである。
また、前述したS202で、画像ファイルの種類が静止画像ファイルであると判定した場合には、S214へ移行し、この静止画像ファイルに伸張処理を施し、データをピクセル演算が可能な形式に変換する。
続いて、S215では、S214で伸張処理した画像データを出力画像データ記憶領域33に記憶した後、本出力画像生成処理を終了する。なお、この時点で出力画像データ記憶領域33に記憶されている画像データが、静止画像ファイルの出力画像データである。
次に、前述した出力画像生成処理におけるS209の処理としてCPU11が実行する画像補正パラメータ算出処理について、図11のフローチャートを用いて説明する。
CPU11は、この画像補正パラメータ算出処理を開始すると、まずS301で、補正パラメータの算出に用いるフレーム画像(パラメータ算出フレーム画像)のフレーム番号を決定する。具体的には、フレーム番号記憶領域74に記憶されているフレーム番号(補正対象のフレーム画像のフレーム番号)を、パラメータ算出フレームID記憶領域92のID番号(パラメータ算出フレームID)が0に対応するパラメータ算出フレーム番号記憶領域93に記憶する。そして、そのフレーム画像の前後のフレーム画像を、時系列的に近いものから順にパラメータ算出フレーム画像として決定する。
例えば、フレーム番号記憶領域74に記憶されているフレーム番号が400である場合、パラメータ算出フレームIDが0のフレーム番号は400、IDが1のフレーム番号は399、IDが2のフレーム番号は401、IDが3のフレーム番号は398、IDが4のフレーム番号は402、という具合に決定される。
ここで、先頭フレームや末尾フレームなどがID=0のフレーム番号に設定された場合、先頭フレームよりも前のフレームや末尾フレームよりも後が存在しないことになるが、このような存在しないフレーム番号はスキップされる。例えば、パラメータ算出フレーム数が5フレームの前提で、先頭フレームがID=0のフレーム番号に設定された場合、IDが1のフレーム番号は1、IDが2のフレーム番号は2、IDが3のフレーム番号は3、IDが4のフレーム番号は4、という具合に決定される。
続いて、S302では、パラメータ算出フレーム画像のフレーム画像データ(パラメータ算出用画像データ)を抽出する。具体的には、初期値(画像補正パラメータ算出処理開始時の値)が0の算出フレーム画像カウンタを一時変数記憶領域38にあらかじめ用意しておき、この算出フレーム画像カウンタの値のパラメータ算出フレームIDに対応するパラメータ算出用画像データを抽出する。
続いて、S303では、S302で抽出したパラメータ算出用画像データを、パラメータ算出用画像データ記憶領域41に記憶する。
続いて、S304では、パラメータ算出用画像データ記憶領域41に記憶されているパラメータ算出用画像データと、フレーム画像データ記憶領域36に記憶されている補正対象(印刷対象)のフレーム画像データとの類似性を判定する解析処理を実行する。具体的には、これら2つのフレーム画像データに伸張処理を施し、各座標位置単位で画素値の差分絶対値を算出する。これを、RGBそれぞれについて全座標分算出し、この合計値(フレーム画像データ間の差分)が判定基準値未満である場合に、次のS305において相関がある(類似している)と判定することになる。本実施形態では、判定基準値が「フレーム画像のピクセルサイズ×2」に設定されている。
続いて、S305では、S304での解析処理の結果に基づき、パラメータ算出用画像データと補正対象のフレーム画像データとに相関があるか否かを判定する。
そして、S305で、相関があると判定した場合には、S306へ移行し、パラメータ算出用画像データ記憶領域41に記憶されているパラメータ算出用画像データに基づく補正パラメータ(ヒストグラム補正を行う上限画素値及び下限画素値)を算出する。具体的には、まず、画素値(0〜255)ごとの頻度を算出する(RGBごとに求めた頻度を合算する)。そして、画素値の高い方から(255,254,253,…)頻度を加算していき、この合計値が全ピクセル数(フレーム画像のピクセルサイズ×3)の5%以上になったときの画素値を上限画素値とする。同様に、画素値の低い方から(0,1,2,…)頻度を加算していき、この合計値が全ピクセル数の5%以上になったときの画素値を下限画素値とする。
続いて、S307では、S306で算出した補正パラメータを、算出フレーム画像カウンタの値のパラメータ算出フレームIDに対応する補正パラメータ記憶領域96に記憶する。その後、S308へ移行する。
一方、S305で、相関がないと判定した場合には、S306,S307の処理をスキップしてS308へ移行する。
S308では、S302〜S307の処理をパラメータ算出フレーム数だけ繰り返したか否かを判定する。具体的には、1つのパラメータ算出用画像データについて処理が完了(S305でNOと判定した場合も含む。)するごとに、パラメータ算出フレームIDの値に1を加算し、このパラメータ算出フレームIDの値がパラメータ算出フレーム数に達したか否かを判定することで、S302〜S307の処理をパラメータ算出フレーム数だけ繰り返したか否かを判定する。
そして、S308で、S302〜S307の処理をパラメータ算出フレーム数だけ繰り返していないと判定した場合には、S302へ戻り、未処理のパラメータ算出用画像データを処理対象として前述した処理を行う。
一方、S308で、S302〜S307の処理をパラメータ算出フレーム数だけ繰り返したと判定した場合には、S309へ移行し、各パラメータ算出用画像データに基づき算出した補正パラメータから、統合補正パラメータを算出する。具体的には、補正パラメータ記憶領域96に記憶されている値を、S304の解析処理で算出した補正対象のフレーム画像データとの差分に基づき重み付き平均(加重平均)することで、統合補正パラメータを算出する。
例えば、5つのパラメータ算出フレーム画像IMG1〜IMG5が存在し、それぞれの補正パラメータをP1〜P5、差分の絶対値をD1〜D5とすると、次の式(1)〜式(8)に従い統合補正パラメータTPを算出する。
TotalD=D1+D2+D3+D4+D5 …式(1)
W1=TotalD−D1 …式(2)
W2=TotalD−D2 …式(3)
W3=TotalD−D3 …式(4)
W4=TotalD−D4 …式(5)
W5=TotalD−D5 …式(6)
TotalW=W1+W2+W3+W4+W5 …式(7)
TP=P1×(W1/TotalW)+P2×(W2/TotalW)+P3×(W3/TotalW)+P4×(W4/TotalW)+P5×(W5/TotalW) …式(8)
続いて、S310では、S309で算出した統合補正パラメータを、統合補正パラメータ記憶領域43に記憶する。その後、本画像補正パラメータ算出処理を終了する。
[1−4.効果]
以上説明したように、第1実施形態の複合機10では、動画像から抽出された印刷対象のフレーム画像と、動画像においてこのフレーム画像と時系列的に連続するパラメータ算出フレーム数のパラメータ算出フレーム画像(非印刷対象のフレーム画像が含まれる。)とに基づいて、その印刷対象のフレーム画像に対して行う画像補正処理の補正パラメータを算出する(S209)。つまり、この複合機10では、印刷対象のフレーム画像に対して行う画像補正処理の補正パラメータを、印刷対象でない(非印刷対象の)フレーム画像を加味して算出するようにしている。
このため、第1実施形態の複合機10によれば、印刷対象のフレーム画像のみに基づいて画像補正処理の補正パラメータを算出する場合に比べ、印刷対象のフレーム画像に含まれたノイズ成分等の補正パラメータへの影響を緩和することができる。この結果、より適正な補正パラメータを算出することが可能となる。なお、印刷対象のフレーム画像のみにノイズ成分が含まれている場合は当然として、非印刷対象のフレーム画像にもノイズ成分が含まれている場合にも、フレーム画像ごとのノイズ成分の態様がそれぞれ異なることにより、それぞれのノイズ成分の影響を緩和することができ、結果的に目立ちにくくすることができる。
また、この複合機10では、印刷対象のフレーム画像との差分が大きい(相関のない)パラメータ算出フレーム画像については、補正パラメータの算出に加味しないようにしているため(S305:NO)、適切でないフレーム画像を加味することによる補正パラメータの悪化を防ぐことができる。
さらに、この複合機10では、各パラメータ算出用画像データに基づき算出した補正パラメータを、印刷対象のフレーム画像データとの差分に基づき重み付き平均(加重平均)することで、統合補正パラメータを算出する(S309)。このため、印刷対象のフレーム画像との差分が小さい(類似性が高い)画像ほど加味されるように補正パラメータを算出することができ、差分を加味せずに(一定とみなして)補正パラメータを算出する場合に比べ、より適正な補正パラメータを算出することができる。
[1−5.特許請求の範囲との対応]
なお、第1実施形態の複合機10では、S101〜S103の処理を実行するCPU11が入力手段に相当し、S117の処理を実行するCPU11が出力手段に相当し、S209の処理を実行するCPU11が算出手段に相当し、S211の処理を実行するCPU11が補正手段に相当する。
[2.第2実施形態]
次に、第2実施形態について説明する。なお、基本的な構成は第1実施形態と同じであるため、共通する部分の説明は省略するとともに、符号についても流用する。
前述した第1実施形態の複合機10では、パラメータ算出フレーム数のパラメータ算出フレーム画像のそれぞれに基づき補正パラメータを算出し、算出した補正パラメータを平均することで、統合補正パラメータを算出するようにしている。これに対し、第2実施形態の複合機10では、パラメータ算出フレーム数のパラメータ算出フレーム画像を先に平均して補正パラメータ算出用の平均画像を生成し、その平均画像に基づき算出した補正パラメータを統合補正パラメータとする点が異なる。
具体的には、パラメータ算出用画像データ記憶領域41が第1実施形態と異なる。また、第1実施形態で説明した画像補正パラメータ算出処理(図11)に代えて、図12に示す画像補正パラメータ算出処理をCPU11が実行する。なお、第2実施形態では、補正パラメータ記憶領域96は使用しない。
パラメータ算出用画像データ記憶領域41は、パラメータ算出用画像データを記憶するためのパラメータ算出用画像データ記憶領域を5つ分備えている。さらに、伸張処理後のフレーム画像データを一時的に記憶するための一時画像記憶領域と、平均画像を記憶するためのパラメータ算出用平均画像記憶領域とを備えている。つまり、第3実施形態のパラメータ算出用画像データ記憶領域41には、7フレーム分のデータ記憶領域が設けられている。
次に、図12に示す画像補正パラメータ算出処理について説明する。なお、この画像補正パラメータ算出処理におけるS401,S402,S406,S408,S412は、図11の画像補正パラメータ算出処理におけるS301,S302,S305,S308,S310と同一の処理であるため、説明を省略する。
S403では、S402で抽出したパラメータ算出用画像データに伸張処理を施す。
続いて、S404では、S403で伸張処理を施したパラメータ算出用画像データを、パラメータ算出用画像データ記憶領域41の画像一時記憶領域に記憶する。
続いて、S405では、パラメータ算出用画像データ記憶領域41の画像一時記憶領域に記憶されているパラメータ算出用画像データと、フレーム画像データ記憶領域36に記憶されている補正対象(印刷対象)のフレーム画像データとの類似性を判定する解析処理を実行する。具体的には、フレーム画像データ記憶領域36に記憶されているフレーム画像データに伸張処理を施し、各座標位置単位で画素値の差分絶対値を算出する。これを、RGBそれぞれについて全座標分算出し、この合計値(フレーム画像データ間の差分)が判定基準値未満である場合に、次のS305において相関がある(類似している)と判定することになる。本実施形態では、判定基準値が「フレーム画像のピクセルサイズ×2」に設定されている。
また、S407では、画像一時記憶領域に記憶されているパラメータ算出用画像データを、パラメータ算出用画像データ記憶領域41のパラメータ算出用画像データ記憶領域に記憶する。具体的には、パラメータ算出用画像データ記憶領域41に設けられた5つのパラメータ算出用画像データ記憶領域には、0〜5の番号が割り付けられており、このS407では、パラメータ算出フレームID記憶領域92に対応する番号の領域にパラメータ算出用画像データを記憶する。
また、S409では、パラメータ算出用画像データ記憶領域に記憶されているパラメータ算出用画像データから、平均画像を生成する。具体的には、パラメータ算出用画像データの画素値を、S405の解析処理で算出した補正対象のフレーム画像データとの差分に基づき重み付き平均(加重平均)することで、平均画像を算出する。
例えば、5つのパラメータ算出フレーム画像IMG1〜IMG5が存在し、それぞれの画像の画素値をI1(x,y)〜I5(x,y)、差分の絶対値をD1〜D5とすると、上記式(1)〜式(7)及び次の式(9)に従い各画素値TI(x,y)を算出する。なお、x,yは座標を意味する。
TI(x,y)=I1(x,y)×(W1/TotalW)+I2(x,y)×(W2/TotalW)+I3(x,y)×(W3/TotalW)+I4(x,y)×(W4/TotalW)+I5(x,y)×(W5/TotalW) …式(9)
S410では、S409で生成した平均画像を、パラメータ算出用画像データ記憶領域41のパラメータ算出用平均画像記憶領域に記憶する。
続いて、S411では、パラメータ算出用平均画像記憶領域に記憶されている平均画像に基づく補正パラメータ(ヒストグラム補正を行う上限画素値及び下限画素値)を算出する。なお、算出方法はS306と同様である。
以上説明したように、第2実施形態の複合機10によれば、第1実施形態の複合機10と同様の効果を得ることができる。
[3.他の形態]
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
例えば、上記各実施形態の複合機10では、平均値として重み付き平均(加重平均)の平均値を算出するようにしているが、これに限定されるものではなく、相加平均の平均値としてもよい。
また、上記各実施形態の複合機10では、画像補正処理としてヒストグラム補正を行う構成を例示したが、これに限定されるものではなく、例えばホワイトバランス補正などであってもよい。
さらに、上記各実施形態の複合機10では、動画像ファイルから抽出する9個のフレーム画像を自動的に特定するようにしているが、これに限定されるものではない。例えば、抽出するフレーム画像をユーザに指定させるようにしてもよい。また、動画像ファイルから抽出するフレーム画像の数は9個に限定されるものではなく、例えば1個であっても本発明を適用可能である。また、個数は固定である必要もなく、例えば、ユーザに指定させるようにしてもよい。
また、上記各実施形態では、ピクセル単位の差分の絶対値の合計を「差分」としたが、これに限らず、例えば、公知のオプティカルフロー法などで算出したフレーム間の「動きベクトルの大きさ」を差分算出に用いてもよい。
一方、上記各実施形態では、本発明を複合機に適用した構成を例示したが、これに限定されるものではなく、複合機以外の印刷装置(例えばスキャナ機能を有しない印刷装置)にも適用することができる。また、画像を印刷しない装置(例えば画像の表示のみ行う装置)であってもよく、画像を出力する出力装置であれば本発明を適用することができる。
10…複合機、11…CPU、12…ROM、13…内部メモリ、15…印刷制御部、16…液晶表示部、17…操作入力部、18…メディアカードスロット、31…入力画像情報記憶領域、32…動画像情報記憶領域、33…出力画像データ記憶領域、34…拡大/縮小画像データ記憶領域、35…フレーム画像情報記憶領域、36…フレーム画像データ記憶領域、37…印刷データ記憶領域、38…一時変数記憶領域、39…液晶表示位置情報記憶領域、40…液晶表示画像記憶領域、41…パラメータ算出用画像データ記憶領域、42…補正パラメータ算出情報記憶領域、43…統合補正パラメータ記憶領域

Claims (6)

  1. 動画像を表す画像ファイルを入力する入力手段と、
    前記入力手段により入力された動画像から出力対象のフレーム画像を抽出し、抽出したフレーム画像に対して画像補正処理を行うことにより補正画像を生成する補正手段と、
    前記補正画像を出力する出力手段と、
    を備える出力装置であって、
    前記動画像から抽出された出力対象のフレーム画像と、前記動画像においてこのフレーム画像と時系列的に連続する非出力対象を含む所定数のフレーム画像である周辺フレーム画像とに基づいて、その出力対象のフレーム画像に対して行う画像補正処理の補正パラメータを算出する算出手段を備え、
    前記算出手段は、前記出力対象のフレーム画像及び前記周辺フレーム画像を平均することで平均画像を生成し、生成した平均画像に基づき前記画像補正処理の補正パラメータを算出し、
    前記補正手段は、前記算出手段により算出された補正パラメータを用いて前記画像補正処理を行うこと
    を特徴とする出力装置。
  2. 前記算出手段は、前記出力対象のフレーム画像との差分が小さい画像ほど重み係数を大きくして加重平均することで前記平均画像を生成すること
    を特徴とする請求項1に記載の出力装置。
  3. 前記補正手段は、前記入力手段により入力された動画像から時系列的に非連続の複数の出力対象のフレーム画像を抽出し、これら複数のフレーム画像のそれぞれに対して前記画像補正処理を行うことにより複数の補正画像を生成し、
    前記算出手段は、前記動画像から抽出された複数の出力対象のフレーム画像のそれぞれについて、出力対象のフレーム画像とその周辺フレーム画像とに基づき前記画像補正処理の補正パラメータを算出し、
    前記出力手段は、前記補正画像が複数配置されてなる画像を出力すること
    を特徴とする請求項1又は請求項2に記載の出力装置。
  4. 前記算出手段は、前記動画像から抽出された出力対象のフレーム画像と、前記周辺フレーム画像のうち前記出力対象のフレーム画像との差分が所定の判定基準値未満の周辺フレーム画像とに基づいて、前記補正パラメータを算出すること
    を特徴とする請求項1から請求項までのいずれか1項に記載の出力装置。
  5. 前記補正パラメータの算出に用いられる前記周辺フレーム画像の数を設定する設定手段を備え、
    前記設定手段は、単位時間当たりのフレーム数が多い動画像ほど前記周辺フレーム画像の数を多くすること
    を特徴とする請求項1から請求項までのいずれか1項に記載の出力装置。
  6. 動画像を表す画像ファイルを入力する入力手段と、
    前記入力手段により入力された動画像から出力対象のフレーム画像を抽出し、抽出したフレーム画像に対して画像補正処理を行うことにより補正画像を生成する補正手段と、
    前記補正画像を出力する出力手段と、
    を備える出力装置としてコンピュータを機能させるためのプログラムであって、
    前記動画像から抽出された出力対象のフレーム画像と、前記動画像においてこのフレーム画像と時系列的に連続する非出力対象を含む所定数のフレーム画像である周辺フレーム画像とに基づいて、その出力対象のフレーム画像に対して行う画像補正処理の補正パラメータを算出する算出手段としてコンピュータを機能させ、
    前記算出手段は、前記出力対象のフレーム画像及び前記周辺フレーム画像を平均することで平均画像を生成し、生成した平均画像に基づき前記画像補正処理の補正パラメータを算出し、
    前記補正手段は、前記算出手段により算出された補正パラメータを用いて前記画像補正処理を行うこと
    を特徴とするプログラム。
JP2009158008A 2009-07-02 2009-07-02 出力装置及びプログラム Active JP5343739B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009158008A JP5343739B2 (ja) 2009-07-02 2009-07-02 出力装置及びプログラム
US12/817,713 US8831373B2 (en) 2009-07-02 2010-06-17 Output device that adjusts images shown thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009158008A JP5343739B2 (ja) 2009-07-02 2009-07-02 出力装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2011013971A JP2011013971A (ja) 2011-01-20
JP5343739B2 true JP5343739B2 (ja) 2013-11-13

Family

ID=43412711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009158008A Active JP5343739B2 (ja) 2009-07-02 2009-07-02 出力装置及びプログラム

Country Status (2)

Country Link
US (1) US8831373B2 (ja)
JP (1) JP5343739B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI555407B (zh) * 2012-07-18 2016-10-21 晶睿通訊股份有限公司 影像播放設定方法
EP3461415A1 (en) 2017-09-27 2019-04-03 Koninklijke Philips N.V. System and method for positioning a mobile medical imaging system
KR102602173B1 (ko) * 2021-08-23 2023-11-14 조성애 실감 체험을 위한 vr 영상의 보정 시스템

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0712224B2 (ja) 1987-09-24 1995-02-08 富士写真フイルム株式会社 ビデオプリンタ
JPH0481736A (ja) 1990-07-24 1992-03-16 Canon Inc 磁気記憶部付フィルムを用いるカメラ
US5404316A (en) * 1992-08-03 1995-04-04 Spectra Group Ltd., Inc. Desktop digital video processing system
US5689610A (en) * 1994-06-20 1997-11-18 Eastman Kodak Company Method of making an index print having an indicator of substantially where an image is stored on a motion picture image recording medium
US5706097A (en) * 1995-11-13 1998-01-06 Eastman Kodak Company Index print with a digital recording medium containing still images, motion sequences, and sound sequences
US5963204A (en) * 1996-09-20 1999-10-05 Nikon Corporation Electronic camera with reproduction and display of images at the same timing
US6701011B1 (en) * 1997-01-20 2004-03-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method and storage medium
JPH10243273A (ja) * 1997-02-24 1998-09-11 Canon Inc デジタルカメラ用画像表示方法
US6028603A (en) * 1997-10-24 2000-02-22 Pictra, Inc. Methods and apparatuses for presenting a collection of digital media in a media container
US6456779B1 (en) * 1997-10-31 2002-09-24 Sony Corporation Method and apparatus for providing a video editor
US7954056B2 (en) * 1997-12-22 2011-05-31 Ricoh Company, Ltd. Television-based visualization and navigation interface
JP3882346B2 (ja) * 1998-07-17 2007-02-14 富士フイルムホールディングス株式会社 プリンタ
US6657637B1 (en) * 1998-07-30 2003-12-02 Matsushita Electric Industrial Co., Ltd. Moving image combining apparatus combining computer graphic image and at least one video sequence composed of a plurality of video frames
US6453078B2 (en) * 1998-08-28 2002-09-17 Eastman Kodak Company Selecting, arranging, and printing digital images from thumbnail images
JP3728744B2 (ja) * 1998-09-18 2005-12-21 富士写真フイルム株式会社 プリント方法及び装置
JP4550198B2 (ja) 2000-01-14 2010-09-22 富士フイルム株式会社 画像再生装置、画像再生方法、画像記録再生方法及びデジタルカメラ
US7145601B2 (en) * 2000-01-14 2006-12-05 Fuji Photo Film Co., Ltd. Multi-modal reproducing apparatus and digital camera
US6807361B1 (en) * 2000-07-18 2004-10-19 Fuji Xerox Co., Ltd. Interactive custom video creation system
KR100853349B1 (ko) * 2000-08-17 2008-08-21 가부시키가이샤 이 미디어 출판물 작성방법, 그 방법에 의한 전자화 출판물 및 그표시방법 및 네트워크 시스템
JP3756748B2 (ja) * 2000-09-29 2006-03-15 株式会社東芝 画像送信装置および画像伝送方法
DE10062266A1 (de) 2000-12-14 2002-07-04 Henkel Kgaa Wässrige Einschicht-Gummi-Metall-Bindemittel
JP2002200210A (ja) * 2000-12-28 2002-07-16 Asobous:Kk 野球におけるスコアメイカーシステムと、自動編集システムと、動作分析システムよりなる情報処理の方法
US7540011B2 (en) * 2001-06-11 2009-05-26 Arrowsight, Inc. Caching graphical interface for displaying video and ancillary data from a saved video
US6816552B2 (en) 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US7495795B2 (en) * 2002-02-21 2009-02-24 Ricoh Company, Ltd. Interface for printing multimedia information
US6903760B2 (en) * 2002-01-30 2005-06-07 Hewlett-Packard Development Company, L.P. Method and system for labeling a storage media
JP2003231323A (ja) * 2002-02-07 2003-08-19 Canon Inc 印刷装置、印刷方法、画像処理装置、画像処理方法、記憶媒体およびプログラム
JP4253158B2 (ja) * 2002-03-29 2009-04-08 富士フイルム株式会社 画像処理装置、プログラム、画像処理方法、及び動画像の生産方法
JP4392548B2 (ja) * 2002-05-30 2010-01-06 富士フイルム株式会社 動画画像プリント装置、方法及びプログラム
JP2004064231A (ja) 2002-07-25 2004-02-26 Canon Inc 画像処理方法及び装置
US7225738B2 (en) * 2003-02-28 2007-06-05 Hewlett-Packard Development Company, L.P. Eye marks in image processing
JP3873918B2 (ja) 2003-03-14 2007-01-31 セイコーエプソン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP4579578B2 (ja) * 2003-07-03 2010-11-10 キヤノン株式会社 印刷方法、および印刷制御装置、記憶媒体、プログラム
JP2005035201A (ja) * 2003-07-17 2005-02-10 Funai Electric Co Ltd 印刷装置
US20050033758A1 (en) * 2003-08-08 2005-02-10 Baxter Brent A. Media indexer
JP2005091430A (ja) * 2003-09-12 2005-04-07 Fuji Photo Film Co Ltd 画像比較表示方法及びその装置並びに画像比較表示プログラム
US7511846B2 (en) * 2003-09-25 2009-03-31 Ricoh Co., Ltd. Printer having embedded functionality for printing time-based media
JP2005130254A (ja) 2003-10-24 2005-05-19 Noritsu Koki Co Ltd プリントシステム
JP4428159B2 (ja) * 2003-11-05 2010-03-10 セイコーエプソン株式会社 画像データ生成装置、画質補正装置、画像データ生成方法および画質補正方法
JP4315344B2 (ja) * 2003-11-27 2009-08-19 富士フイルム株式会社 画像編集装置および方法並びにプログラム
JP4412159B2 (ja) * 2004-01-29 2010-02-10 セイコーエプソン株式会社 画像処理装置、プリンタ及びプリンタの制御方法
US20050237588A1 (en) * 2004-04-15 2005-10-27 Fuji Photo Film Co., Ltd. Printing order receiving method and apparatus and frame extraction method and apparatus
JP2006011754A (ja) 2004-06-24 2006-01-12 Ricoh Co Ltd 画像処理装置および画像処理方法
JP4727342B2 (ja) * 2004-09-15 2011-07-20 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JP4380523B2 (ja) 2004-12-17 2009-12-09 カシオ計算機株式会社 画像処理装置及び画像処理方法、カメラ装置
US7675661B2 (en) * 2005-02-04 2010-03-09 Seiko Epson Corporation Printing based on motion picture
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
CN101180874B (zh) * 2005-05-25 2010-09-08 松下电器产业株式会社 成像装置、显示控制装置、显示装置、打印控制装置、以及打印装置
US7855803B2 (en) * 2005-06-20 2010-12-21 Canon Kabushiki Kaisha Printing control apparatus, information processing apparatus, control method therefor, computer program, and computer-readable storage medium
JP4730050B2 (ja) 2005-10-11 2011-07-20 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
EP1793577A1 (en) * 2005-12-05 2007-06-06 Microsoft Corporation Playback of digital images
JP4770460B2 (ja) 2005-12-28 2011-09-14 ソニー株式会社 画像記録装置、画像記録方法、画像処理装置、画像処理方法及びプログラム
JP4792985B2 (ja) * 2006-01-18 2011-10-12 カシオ計算機株式会社 カメラ装置、撮影条件設定方法、及び、プログラム
JP4506683B2 (ja) 2006-02-15 2010-07-21 セイコーエプソン株式会社 画像処理装置、コンピュータプログラム、画像出力装置および画質調整方法
JP4709043B2 (ja) 2006-03-27 2011-06-22 富士フイルム株式会社 データ表示装置および方法並びにプログラム
JP4596329B2 (ja) 2006-03-28 2010-12-08 セイコーエプソン株式会社 情報処理装置
US20070291153A1 (en) * 2006-06-19 2007-12-20 John Araki Method and apparatus for automatic display of pictures in a digital picture frame
JP4757113B2 (ja) * 2006-06-26 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、情報処理装置、印刷装置、印刷データ生成方法
JP2008022482A (ja) * 2006-07-14 2008-01-31 Seiko Epson Corp 画像補正方法、画像補正装置、印刷装置、及び、プログラム
US7581186B2 (en) * 2006-09-11 2009-08-25 Apple Inc. Media manager with integrated browsers
EP2067626B1 (en) 2006-09-26 2014-08-13 Nikon Corporation Printer and printer system
JP2008080522A (ja) 2006-09-26 2008-04-10 Nikon Corp プリンタ
US8274564B2 (en) * 2006-10-13 2012-09-25 Fuji Xerox Co., Ltd. Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
JP4885690B2 (ja) * 2006-11-28 2012-02-29 株式会社エヌ・ティ・ティ・ドコモ 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置
JP4757183B2 (ja) * 2006-12-20 2011-08-24 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラム
US20080159383A1 (en) * 2006-12-27 2008-07-03 Yahoo! Inc. Tagboard for video tagging
US20080231741A1 (en) * 2007-03-21 2008-09-25 Mcintyre Dale F Camera with multiple displays
JP2008236454A (ja) 2007-03-22 2008-10-02 Brother Ind Ltd プリンタ複合機、プリントシステム、及び、静止画像印刷プログラム
US8289562B2 (en) * 2007-09-21 2012-10-16 Fujifilm Corporation Image processing apparatus, method and recording medium
JP4969390B2 (ja) * 2007-09-28 2012-07-04 三洋電機株式会社 動画再生装置および動画再生方法
US20090267909A1 (en) * 2008-04-27 2009-10-29 Htc Corporation Electronic device and user interface display method thereof
JP4550129B2 (ja) * 2008-06-09 2010-09-22 富士フイルム株式会社 画像処理装置、プログラム、及び画像処理方法
US20090316056A1 (en) * 2008-06-19 2009-12-24 Allan Rosencwaig Digital picture frame device and system
US8332757B1 (en) * 2009-09-23 2012-12-11 Adobe Systems Incorporated Visualizing and adjusting parameters of clips in a timeline

Also Published As

Publication number Publication date
JP2011013971A (ja) 2011-01-20
US20110002556A1 (en) 2011-01-06
US8831373B2 (en) 2014-09-09

Similar Documents

Publication Publication Date Title
US9053556B2 (en) Image processing apparatus for panoramic synthesis of a plurality of sub-images
US8634590B2 (en) Image processing device and storage medium storing image processing program
JP2005275977A (ja) 画像表示方法、画像表示装置及び画像表示プログラム
JP5477320B2 (ja) 画像処理装置
JP2012212963A (ja) 制御装置
JP4692614B2 (ja) 印刷装置及びプログラム
JP5343739B2 (ja) 出力装置及びプログラム
JP5920293B2 (ja) 画像処理装置及びプログラム
US8649064B2 (en) Printing device capable of printing image of image file
JP4692615B2 (ja) 印刷装置及びプログラム
JP5120366B2 (ja) 画像処理装置及び画像処理プログラム
US8599428B2 (en) Output device and storage medium storing image processing program
JP2008228017A (ja) 色変換処理プログラム、色変換処理装置及び画像形成システム
JP4569659B2 (ja) 画像処理装置
JP4962384B2 (ja) 画像処理装置
JP6413450B2 (ja) 画像処理装置、画像形成装置およびプログラム
JP5672340B2 (ja) 制御装置
JP4826562B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2011015226A (ja) 出力装置及びプログラム
US20090037475A1 (en) Image Processing Device, Image Processing Method, and Image Processing Program
JP2013046280A (ja) 画像処理装置及び画像処理システム
JP2007129444A (ja) 属性情報の学習機能を持つ画像処理装置
JP2009246900A (ja) 画像処理装置
JP2011250284A (ja) 出力装置及びプログラム
JP2012205238A (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130729

R150 Certificate of patent or registration of utility model

Ref document number: 5343739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150