JP4985243B2 - 画像処理装置及び画像処理プログラム - Google Patents

画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
JP4985243B2
JP4985243B2 JP2007226088A JP2007226088A JP4985243B2 JP 4985243 B2 JP4985243 B2 JP 4985243B2 JP 2007226088 A JP2007226088 A JP 2007226088A JP 2007226088 A JP2007226088 A JP 2007226088A JP 4985243 B2 JP4985243 B2 JP 4985243B2
Authority
JP
Japan
Prior art keywords
image
value
correction
corrected
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007226088A
Other languages
English (en)
Other versions
JP2009060388A (ja
Inventor
智彦 長谷川
真樹 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2007226088A priority Critical patent/JP4985243B2/ja
Priority to US12/202,872 priority patent/US8174731B2/en
Publication of JP2009060388A publication Critical patent/JP2009060388A/ja
Application granted granted Critical
Publication of JP4985243B2 publication Critical patent/JP4985243B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像補正処理を行うための画像処理装置及び画像処理プログラムに関するものである。
従来、ユーザの好みに応じた画像補正を行う画像処理装置が知られている。
例えば、あらかじめ用意されている複数種類の調整用データの中から1つの調整用データを選択したり、任意の調整用データを設定したりすることで特定された調整用データに基づき、画像調整を行う構成のものがある(特許文献1参照)。
特開2007−89179号公報
しかしながら、前述したような構成で所望の画像補正が行われるような調整用データを設定するためには、画像に関する専門知識が必要となり、直感的に設定を行うことは困難であった。また、調整用データを利用することによりどのような画像補正が施されるのかを画像補正処理前に予測することは難しく、利用する調整用データの選択や設定に関し効率のよいものではなかった。
本発明は、こうした問題にかんがみてなされたものであり、画像補正の設定を直感的に行うことが可能であり、かつ、どのような画像補正が施されるのかを画像補正処理前に予測可能で画像補正に利用するデータを効率よく選定できる画像処理装置及び画像処理プログラムを提供することを目的としている。
上記目的を達成するためになされた本発明の請求項1に記載の画像処理装置は、複数種類の第1画像を入力可能な第1画像入力手段と、第1画像入力手段により入力された第1画像の特徴を表す第1特徴量を、入力された第1画像ごとに特定する第1特徴量特定手段と、画像補正の対象とする画像である第2画像を入力する第2画像入力手段と、第2画像入力手段により入力された第2画像の特徴を表す第2特徴量を特定する第2特徴量特定手段と、第2特徴量を第1特徴量に近づけるように第2画像に対する画像補正処理を行った場合の画像補正処理結果を表す補正イメージ画像を、複数の第1特徴量のそれぞれについて生成するイメージ画像生成手段と、イメージ画像生成手段により生成された複数の補正イメージ画像を、各補正イメージ画像の生成に用いた第1特徴量が特定された第1画像とそれぞれ対応付けて配置した状態で出力するイメージ画像出力手段とを備える。
このような画像処理装置によれば、ユーザは、第1画像を用いて画像補正を行う場合に、所望の補正結果が得られる第1画像を効率よく選定することができる。すなわち、画像補正の設定を直感的に行うための手法として、第1画像をユーザに指定させ、第2画像の特徴を第1画像の特徴に近づけるように画像補正処理を行う構成が考えられる。このような構成では、所望の補正結果が得られる第1画像の選定が重要となるが、本発明の画像処理装置によれば、複数の第1画像に対する補正イメージ画像が出力されるため、ユーザは、補正イメージ画像を参考にして第1画像を効率よく選定することができる。
そして、請求項2に記載の画像処理装置は、第2画像入力手段により入力された第2画像を加工した加工画像を生成する加工画像生成手段を備え、イメージ画像生成手段は、加工画像生成手段により生成された加工画像に対する画像補正処理を行うことにより補正イメージ画像を生成する。このようにすれば、第2画像に対して実際に画像補正処理を行った結果に基づき補正イメージ画像を生成する場合に比べ、補正イメージ画像を生成する処理を簡素化することが可能となる。
具体的には、例えば請求項3に記載のように、加工画像生成手段は、第2画像入力手段により入力された第2画像を縮小した画像を加工画像として生成するとよい。
ここで、請求項4に記載の画像処理装置は、イメージ画像出力手段により出力された補正イメージ画像のうちの1つを選択する選択手段と、第2特徴量を選択手段により選択された補正イメージ画像の生成に用いた第1特徴量に近づけるように第2画像に対する画像補正処理を行う画像補正手段とを備える。
このような画像処理装置によれば、補正イメージ画像の中から1つを選択することで、第1画像を再度入力することなく、その補正イメージ画像の表す画像補正処理を行うことができる。
特に、請求項5に記載のように、画像補正手段により画像補正処理が行われた第2画像を印刷するための印刷処理を行う印刷制御手段を備えていれば、補正イメージ画像の中から1つを選択することで、その補正イメージ画像の表す画像補正処理が行われた第2画像を印刷することができる。
一方、請求項6に記載の画像処理装置では、イメージ画像生成手段は、第2画像に対して実際に画像補正処理を行った結果に基づき補正イメージ画像を生成するものである。そして、この画像処理装置は、イメージ画像出力手段により出力された補正イメージ画像のうちの1つを選択する選択手段と、イメージ画像生成手段により画像補正処理が行われた第2画像のうち選択手段により選択された補正イメージ画像に対応するものを印刷するための印刷処理を行う印刷制御手段とを備える。
このような画像処理装置によれば、補正イメージ画像の中から1つを選択することで、その補正イメージ画像を生成した際に行われた画像補正処理結果を利用して、第1画像を再度入力することなく、その補正イメージ画像の表す画像補正処理が行われた第2画像を印刷することができる。
また、請求項7に記載の画像処理装置では、イメージ画像出力手段は、補正イメージ画像及びその補正イメージ画像の生成に用いた第1特徴量が特定された第1画像をその第1特徴量の値が第2特徴量の値に近いものから順に配置する。このような画像処理装置によれば、複数の補正イメージ画像を比較しやすくすることができる。
一方、請求項8に記載の画像処理装置では、第1画像入力手段は、所定の読取位置にセットされた印刷媒体から光学的に読み取られる画像を入力するものであり、読取位置にセットされた印刷媒体から複数の画像が読み取られた場合に、各画像をそれぞれ独立した第1画像として入力可能である。
このような画像処理装置によれば、ユーザは、複数の印刷媒体を一度に読取位置にセットしたり、複数の画像が印刷された印刷媒体を読取位置にセットしたりすることで、複数の第1画像を容易に読み取らせることが可能となり、作業時間を短縮することができる。
具体的には、例えば請求項9に記載のように、第1画像入力手段は、読取位置を複数に分割した各読取領域で読み取られる画像を独立した第1画像として入力するようにすれば、複数の画像の認識を比較的正確に行うことができる。
また、請求項10に記載の画像処理装置において、第1画像入力手段は、所定の読取位置にセットされた印刷媒体から光学的に読み取られる画像を入力するものであり、読取位置を複数に分割した各読取領域で読み取られる画像をそれぞれ独立した第1画像として入力し、イメージ画像出力手段は、補正イメージ画像及びその補正イメージ画像の生成に用いた第1特徴量が特定された第1画像を読取領域ごとに対応付けられた所定の位置に配置する。
このような画像処理装置によれば、請求項8及び請求項9と同様、ユーザは、複数の印刷媒体を一度に読取位置にセットしたり、複数の画像が印刷された印刷媒体を読取位置にセットしたりすることで、複数の第1画像を容易に読み取らせることが可能となり、作業時間を短縮することができる。また、複数の画像の認識を比較的正確に行うことができる。加えて、補正イメージ画像及び第1画像の配置にユーザの意思を反映させることができる。
そして特に、例えば請求項11に記載のように、第1画像入力手段が、読取領域で読み取られた画像の平均輝度値が所定値以上の場合には、その読取領域には画像が存在しないと判定するようにすれば、画像が存在しない部分を第1画像として入力してしまうことを防ぐことができる。
また、請求項12に記載の画像処理装置では、イメージ画像出力手段は、補正イメージ画像及びその補正イメージ画像の生成に用いた第1特徴量が特定された第1画像を印刷出力する。このような画像処理装置によれば、補正イメージ画像をディスプレイ等の表示手段に表示することにより出力する場合に比べ、補正イメージ画像が印刷された際の色合い等を正確に出力することができる。
次に、請求項13に記載の画像処理プログラムは、複数種類の第1画像を入力可能な第1画像入力手段と、第1画像入力手段により入力された第1画像の特徴を表す第1特徴量を、入力された第1画像ごとに特定する第1特徴量特定手段と、画像補正の対象とする画像である第2画像を入力する第2画像入力手段と、第2画像入力手段により入力された第2画像の特徴を表す第2特徴量を特定する第2特徴量特定手段と、第2特徴量を第1特徴量に近づけるように第2画像に対する画像補正処理を行った場合の画像補正処理結果を表す補正イメージ画像を、複数の第1特徴量のそれぞれについて生成するイメージ画像生成手段と、イメージ画像生成手段により生成された複数の補正イメージ画像を、各補正イメージ画像の生成に用いた第1特徴量が特定された第1画像とそれぞれ対応付けて配置した状態で出力するイメージ画像出力手段としてコンピュータを機能させる。
このような画像処理プログラムによれば、請求項1に記載の画像処理装置としてコンピュータを機能させることができ、これにより前述した効果を得ることができる。
以下、本発明が適用された実施形態について、図面を用いて説明する。
[1.第1実施形態]
[1−1.全体構成]
図1は、第1実施形態の画像処理装置としての複合機10の外観を示す斜視図である。
この複合機10は、プリンタ機能の他、スキャナ機能やカラーコピー機能等を有したものであり、本体ケーシング11における上部位置に、原稿の読み取りに用いられる画像読取部20を備えている。
画像読取部20は、原稿載置面(ガラス台)にセット(載置)された原稿から画像を光学的に読み取るいわゆるフラットベッドスキャナである。ここで、原稿載置面は、その上面が薄板状の原稿カバー21によって覆われており、原稿カバー21を上方へ開くことにより、原稿載置面への原稿のセット及びセットされた原稿の除去(つまり原稿の出し入れ)が可能となる。また、原稿カバー21における原稿載置面と対向する側の面は白色となっており、原稿カバー21が閉じられた状態(図1に示す状態)で画像の読み取りが行われた場合に、原稿載置面における原稿の載置されていない部分は白色に読み取られる。
一方、複合機10は、画像読取部20の前方位置(手前側の位置)に、各種操作ボタンを配置した操作部31及びメッセージ等の画像を表示する表示部(例えば液晶ディスプレイ)32からなる操作パネル30を備えている。
また、複合機10は、画像読取部20の下方位置に、用紙等の印刷媒体にカラー画像を印刷可能な画像印刷部40を備えている。この画像印刷部40で画像が印刷された用紙は、本体ケーシング11の前面に形成された開口12から排紙される。
さらに、複合機10は、本体ケーシング11の前面における開口12の上方位置に、SDカードやCFカード等の各種メモリカード(可搬型記憶媒体)を挿入可能なカードスロット50を備えている。また、複合機10は、パーソナルコンピュータ等の情報処理装置を介さずに直接メモリカードから画像(デジタルスチルカメラで撮影した画像等)を読み取ってその画像を印刷する機能(いわゆるダイレクトプリント機能)を有している。
次に、複合機10の制御系について説明する。
図2は、複合機10の制御系の概略構成を示すブロック図である。
同図に示すように、複合機10は、前述した画像読取部20、操作パネル30、画像印刷部40及びカードスロット50と、通信部60と、制御部70とを備えており、これらは信号線80を介して接続されている。
通信部60は、通信ケーブル(LANケーブル)が接続された状態でその通信ケーブルを介したデータの送受信処理を行う。つまり、外部装置との間でデータ通信を行うためのものであり、例えば、LANに存在するパーソナルコンピュータや、インターネット上に存在するウェブサーバとの間でデータ通信が可能となっている。
制御部70は、CPU71、ROM72、RAM73等からなるマイクロコンピュータを中心に構成されており、複合機10を構成する各部を統括制御する。また、ROM72には、後述する色変換処理をCPU71に実行させるためのプログラムが記憶されている。
[1−2.色変換処理の概要]
次に、複合機10が行う色変換処理の概要について説明する。
本実施形態の複合機10は、色変換対象の画像に対し、色変換の見本となる画像(以下「お手本画像」ともいう。)に基づく色変換処理を行う。ここで、まず、このような色変換処理の基本的な流れについて、図3を用いて説明する。
ユーザが、お手本画像の印刷された原稿(例えば写真)を画像読取部20の原稿載置面にセットし、操作部31で原稿読取操作を行うと(1)、複合機10は、原稿載置面における設定範囲(L版サイズ、A4サイズ等、ユーザによって設定された範囲)からお手本画像を読み取る(2)。これにより、原稿載置面にセットされた原稿からお手本画像が読み込まれる。
次に、ユーザが、色変換の対象とする画像が記憶されたメモリカードをカードスロット50に挿入すると(3)、複合機10は、挿入されたメモリカードを認識し、ユーザに対し、メモリカードに記憶されている画像のうち色変換の対象とするものを選択させる(4)。なお、ユーザに画像を選択させるための処理としては、公知の処理(例えば、メモリカードに記憶されている各画像を表示部32に表示させて操作部31での操作により選択させる処理)を適宜採用可能である。
そして、色変換対象の画像がユーザにより選択されると(5)、複合機10は、選択された画像を読み込む(6)。なお、以下の説明において、当該画像を「元画像」ということがある。
その後、複合機10は、画像読取部20から読み込んだお手本画像を見本として、メモリカードから読み込んだ元画像を補正する処理を行う(7)。
なお、ここでは、画像読取部20からお手本画像を読み込んだ後にメモリカードから元画像を読み込む手順を例示したが、これに限定されるものではなく、先にメモリカードから元画像を読み込み、その後に画像読取部20からお手本画像を読み込むようにしてもよい。
このような色変換処理によれば、ユーザは、お手本画像を用いることで、元画像の色変換を簡単な操作でかつ感覚的に行うことができる。
具体的には、例えば、建物と空が写っている元画像に対し、空の青を鮮やかな海の青に変換したい場合は、鮮やかな海の写っているお手本画像を用いることによって、元画像の青色を鮮やかな海の青に変換することができる。
また、人の顔が映っている元画像に対し、肌色を明るく変換したい場合は、明るい肌色の写っているお手本画像を用いることによって、元画像の肌色を明るい肌色に変換することができる。
このように、ユーザは、何ら専門的な知識を必要とせず、お手本画像を画像読取部20に読み取らせるだけで、所望の色変換を行うことができる。
しかしながら、ユーザが所望の補正結果を得るには、複数種類のお手本画像を何度も試すことにより所望の補正結果が得られるお手本画像を探す必要があった。
そこで、本実施形態の複合機10では、1つの元画像に対して複数種類のお手本画像を入力可能とし、各お手本画像とそのお手本画像に対する補正結果のサムネイル画像を一覧印刷(インデックス印刷)することで、所望の補正結果が得られるお手本画像を効率よく選定できるようにしている。
[1−3.色変換処理の具体的内容]
以下、本実施形態の複合機10が行う色変換処理の具体的内容について説明する。
[1−3−1.色変換処理]
図4は、CPU71が実行する色変換処理のフローチャートである。
CPU71は、色変換処理を開始すると、まず、S101で、メモリカードに記憶されている色変換対象の画像(元画像)をRAM73に読み込む。なお、読み込む画像の形式は特に限定されないが、本実施形態ではRGB形式を前提として説明する。
続いて、S102では、S101で読み込んだ元画像のサムネイル画像を生成する。すなわち、元画像に対し、あらかじめ設定されているサムネイル画像のサイズとなるようにサイズ変更処理(縮小処理)を行う。なお、元画像はサムネイル画像よりも大きいことが通常であるため、ここではサイズ変更処理として縮小処理を行うと説明しているが、元画像がサムネイル画像のサイズよりも小さい場合には、サイズ変更処理として拡大処理を行うことになる。また、サイズ変更処理としては、例えば、ニアレストネイバー法、バイリニア法、バイキュービック法、縮小に限定すれば平均画素法などを用いることができる。
続いて、S103では、S101で読み込んだ元画像(S102で生成したサムネイル画像ではない)を構成する各画素をHSVパラメータ(H値:0〜360、S値及びV値:0〜1)に変換する処理を行う。
なお、RGBからHSVパラメータへの変換や、HSVからRGBへの変換は、以下に示す公知の変換式に従い行うことができる。
(1)RGB⇒HSVの変換式
max(a,b,c)はa,b,cの中で最も大きい値を表す。
min(a,b,c)はa,b,cの中で最も小さい値を表す。
V = max(R/255,G/255,B/255)
Vが0でない時、
S = [V - min(R,G,B)] ÷ V
Vが0の時、
S = 0
[V - min(R,G,B)]が0でない時、
r = (V - R/255)÷(V-min(R,G,B)
g = (V - G/255)÷(V-min(R,G,B)
b = (V - B/255)÷(V-min(R,G,B)
[V - min(R,G,B)]が0の時、
r = 0
g = 0
b = 0
V = R/255の時
H = 60 × (b-g)
V = G/255の時
H = 60 × (2+r-g)
V = B/255の時
H = 60 × (4+g-r)
ただしH<0の時
H = H+360
として、RGBからHSVへ変換される。また、HSVからRGBへは、
(2)HSV⇒RGBの変換式
(以下で示すin, fl, m, nは、HSVからRGBを算出する過程で利用する媒介変数である)
in を (H/60)の整数部分
fl を (H/60)の小数部分とする。
in が偶数の場合
fl = 1-fl
m = V × (1-S)
n = V × (1-S×fl)
inが0の時
R = V × 255
G = n × 255
B = m × 255
inが1の時
R = n × 255
G = V × 255
B = m × 255
inが2の時
R = m × 255
G = V × 255
B = n × 255
inが3の時
R = m × 255
G = n × 255
B = V × 255
inが4の時
R = n × 255
G = m × 255
B = V × 255
inが5の時
R = V × 255
G = m × 255
B = n × 255
として変換される。
続いて、S104では、S103での変換処理により得られたHSVパラメータに基づいて、元画像の特徴を表す特徴量である第2特徴量を特定する第2特徴量特定処理を行う。なお、第2特徴量特定処理の具体的な処理内容については後述する(図7)。
続いて、S105では、S101で読み込んだ元画像と、S104で特定した第2特徴量とを、RAM73における記憶維持領域に記憶させる。ここで、記憶維持領域とは、少なくとも本色変換処理が終了されるまで記憶情報が保持される領域(他の情報によって上書きされない領域)のことである。つまり、本色変換処理が終了されるまでの間、元画像及び第2特徴量の記憶状態が保証される。なお、記憶手段はRAM73に限定されるものではなく、例えば複合機10がハードディスクを備えている場合にはハードディスクに記憶させてもよい。
続いて、S106では、画像読取部20の原稿載置面全域を1つの全体画像として読み取る。なお、読み取った画像の形式は特に限定されないが、本実施形態ではRGB形式を前提として説明する。
続いて、S107では、S106で読み取った全体画像から、お手本画像を抽出する。本実施形態では、原稿載置面を複数に分割した各読取領域で読み取られる画像を独立したお手本画像として認識するようにしている。具体的には、例えば図5(b)に示すように、原稿載置面を縦横にそれぞれ二分して4つの読取領域に分割することが可能であり、この場合には、図5(a)に示すように複数(図の例では3枚)の写真をセットすれば、図5(c)に示すように各写真の画像が独立した画像として認識される。したがって、この段階では、写真がセットされていない読取領域(図5(c)でいうImage1)についても、1つの画像(白色の画像)として認識されることになる。なお、読取領域の分割数は、あらかじめ設定されていてもよく、ユーザが設定できるようにしてもよい。
続いて、S108では、S107で抽出した各お手本画像のうち、画像全体の平均輝度値meanVが、あらかじめ設定されているしきい値ThreV(例えば0.97)以上のものが存在するか否かを判定する。ここで、しきい値ThreVは、画像読取部20の原稿載置面に原稿がセットされているか否かの判定基準値として設定されており、平均輝度値meanVがしきい値ThreV以上の場合(白色のみの画像と判断される場合)には、原稿が存在しない可能性が高いことになる。
そして、S108で、平均輝度値meanVがしきい値ThreV以上のお手本画像が存在すると判定した場合には、S109へ移行し、そのお手本画像を排除した後、S110へ移行する。つまり、前述した図5の例では、4つの読取領域のうちImage1で読み取られた画像(白色の画像)が排除される。
一方、S108で、平均輝度値meanVがしきい値ThreV以上のお手本画像が存在しないと判定した場合には、そのままS110へ移行する。
S110では、S106〜S109の処理の結果として抽出された複数種類のお手本画像のうちの1つ(S110〜S114の処理をまだ行っていないもの)を処理対象として選択し、そのお手本画像のサムネイル画像を生成する。すなわち、お手本画像に対し、S102と同様のサイズ変更処理(縮小処理)を行う。なお、お手本画像もサムネイル画像よりも大きいことが通常であるため、ここではサイズ変更処理として縮小処理を行うと説明しているが、お手本画像がサムネイル画像のサイズよりも小さい場合には、サイズ変更処理として拡大処理を行うことになる。
続いて、S111では、S110で処理対象として選択したお手本画像(S110で生成したサムネイル画像ではない)を構成する各画素をHSVパラメータに変換する処理を行う。
続いて、S112では、S111での変換処理により得られたHSVパラメータに基づいて、お手本画像の特徴を表す特徴量である第1特徴量を特定する第1特徴量特定処理を行う。なお、第1特徴量特定処理の具体的な処理内容については後述する(図8)。
続いて、S113では、S112で特定した第1特徴量を、処理対象のお手本画像の識別情報と対応付けて、S105と同様、RAM73における記憶維持領域に記憶させる。ここで、既に別のお手本画像についての第1特徴量が記憶維持領域に記憶されている場合には、その第1特徴量の記憶状態を維持しつつ、新たに追加する形で記憶させる。したがって、S110〜S114の処理が繰り返されることにより、複数のお手本画像についての複数の第1特徴量がRAM73に記憶されることになる。なお、ここでいうお手本画像の識別情報は、S106〜S109の処理の結果として抽出された複数種類のお手本画像の中から処理対象のお手本画像を識別可能な情報であればよく、例えば、処理対象とした順番を表す数値を識別情報とすることができる。
続いて、S114では、S112で特定した第1特徴量(処理対象のお手本画像の第1特徴量)及びS104で特定した第2特徴量に基づいて、S102で生成した元画像のサムネイル画像を補正する。なお、具体的な補正方法については後述する。
続いて、S115では、すべてのお手本画像についてS110〜S114の処理を行ったか否かを判定する。なお、すべてのお手本画像について処理を行ったか否かは、S106〜S109の処理の結果として抽出されたお手本画像の数だけ処理を繰り返したか否かに基づき判定することができる。
そして、S115で、すべてのお手本画像について処理を行っていない(未処理のお手本画像が存在する)と判定した場合には、S110に戻る。
一方、S115で、すべてのお手本画像について処理を行ったと判定した場合には、S116へ移行し、各お手本画像について特定した第1特徴量に基づき、インデックス印刷を行う際のサムネイル画像の配置(レイアウト位置)を決定する。なお、具体的な処理内容については後述する。
続いて、S117では、S116で決定したレイアウト位置に従い、S110で生成した各お手本画像のサムネイル画像と、そのお手本画像を見本としてS114で補正した補正後の元画像のサムネイル画像(以下「補正イメージ画像」ともいう。)とを、インデックス用バッファに配置する。具体的には、図6に示すように、お手本画像の右側にそのお手本画像に基づく色変換処理結果を表す補正イメージ画像を配置して1組(ワンセット)とし、各お手本画像の左側に画像番号(この例では自然数による連番)を配置する。なお、インデックス用バッファとは、インデックス印刷用の画像を一時的に記憶するためにRAM73において用意された記憶領域のことである。
続いて、S118では、インデックス用バッファに配置されているインデックス印刷用の画像(図6)を画像印刷部40に印刷させる。これにより、ユーザは、どのお手本画像によりどのような色変換処理結果が得られるかを一目で把握することができる。そして、ユーザは、所望の色変換処理結果が得られる画像番号を操作部31で指定する操作を行うことにより、その画像番号に対応するお手本画像で元画像を補正した画像を印刷することができる。
すなわち、CPU71は、S119で、操作部31で行われる操作に基づき画像番号を入力する。
続いて、S120では、S119で入力した画像番号のお手本画像から特定された第1特徴量(そのお手本画像の識別情報と対応付けて記憶されている第1特徴量)をRAM73における記憶維持領域から読み出す。
続いて、S121では、S120で読み出した第1特徴量と、記憶維持領域に記憶されている第2特徴量に基づいて、記憶維持領域に記憶されている元画像(サムネイル画像ではない)を補正する。なお、具体的な補正方法については後述する。
続いて、S122では、S121で補正された補正後の元画像を画像印刷部40に印刷させた後、本色変換処理を終了する。
[1−3−2.第2特徴量特定処理]
次に、色変換処理(図4)におけるS104で行われる第2特徴量特定処理について、図7のフローチャートを用いて説明する。なお、この第2特徴量特定処理においては、H値は、−30〜330の値をとるものとし、H値がこの範囲内にない場合は、H値を適宜変換することにより(例えば、“H値+360×n”又は“H値−360×n”、nは整数)、この範囲内に調整する。
CPU71は、第2特徴量特定処理を開始すると、まず、S201で、元画像を複数の領域に分割する。本実施形態では、一般的に用いられる6つの色相に基づいて分割する。具体的には、それぞれの画素のH値に基づき、
・R領域: −30以上〜30未満
・Y領域: 30以上〜90未満
・G領域: 90以上〜150未満
・C領域: 150以上〜210未満
・B領域: 210以上〜270未満
・M領域: 270以上〜330未満
に分割する。つまり、元画像の構成画素をその色相値に応じた上記分類基準に従い、6つの分類項目に分類する処理を行う。なお、これらの領域とH値の対応関係はあくまでも一例であり、適宜変更可能なものである。
続いて、S202では、S201で分割した領域ごとに、各領域が元画像中に占める割合と、各領域に属する構成画素の特徴を表す代表値(HSV値)とを、第2特徴量として算出する。
ここで、各領域の代表値(HSV値)を、以下のように定義する。
・R領域の代表値:iHr,iSr,iVr
・G領域の代表値:iHg,iSg,iVg
・B領域の代表値:iHb,iSb,iVb
・C領域の代表値:iHc,iSc,iVc
・M領域の代表値:iHm,iSm,iVm
・Y領域の代表値:iHy,iSy,iSy
本実施形態では、各領域に属する構成画素のHSV値それぞれの平均値を代表値として特定する。なお、代表値は平均値に限定されるものではなく、例えば中間値を用いることもできる。
また、各領域が元画像中に占める割合を、以下のように定義する。
・R領域が元画像中に占める割合:iRateR
・G領域が元画像中に占める割合:iRateG
・B領域が元画像中に占める割合:iRateB
・C領域が元画像中に占める割合:iRateC
・M領域が元画像中に占める割合:iRateM
・Y領域が元画像中に占める割合:iRateY
例えばR領域については、
iRateR=(元画像中のR領域の画素数)÷(元画像の全画素数)
とすることができる。なお、他の式によって定義してもよい。
[1−3−3.第1特徴量特定処理]
次に、前述した色変換処理(図4)におけるS112で行われる第1特徴量特定処理について、図8のフローチャートを用いて説明する。なお、この第1特徴量特定処理では、前述した第2特徴量特定処理(図7)で元画像に対して行った処理と同様の処理を、お手本画像に対して行う。
すなわち、CPU71は、第1特徴量特定処理を開始すると、まず、S301で、処理対象のお手本画像を6つの領域に分割する。この処理内容は、第2特徴量特定処理におけるS201の処理と同様であるので、具体的な説明については省略する。
続いて、S302では、お手本画像に対し、第2特徴量特定処理におけるS202の処理と同様の処理を行うことにより、第1特徴量を算出する。ここでは、各領域の代表値(HSV値)を、以下のように定義する。
・R領域の代表値:sHr,sSr,sVr
・G領域の代表値:sHg,sSg,sVg
・B領域の代表値:sHb,sSb,sVb
・C領域の代表値:sHc,sSc,sVc
・M領域の代表値:sHm,sSm,sVm
・Y領域の代表値:sHy,sSy,sSy
また、各領域がお手本画像中に占める割合を、以下のように定義する。
・R領域がお手本画像中に占める割合:sRateR
・G領域がお手本画像中に占める割合:sRateG
・B領域がお手本画像中に占める割合:sRateB
・C領域がお手本画像中に占める割合:sRateC
・M領域がお手本画像中に占める割合:sRateM
・Y領域がお手本画像中に占める割合:sRateY
[1−3−4.元画像の補正処理]
次に、前述した色変換処理(図4)におけるS114及びS121で行われる元画像(S114では元画像のサムネイル画像。以下同様に読み替える。)の補正処理の具体的方法について説明する。この処理は、元画像の各画素のH値、S値、V値をそれぞれ変換することによって行われる。
まず、H値における変換処理について説明する。
第2特徴量のH値の代表値をX軸にとり、第1特徴量のH値の代表値をY軸にとって領域ごとのH値の代表値をプロットする。そしてプロットされた点の間を、例えば線形補間することにより、図9に示す色相補正テーブルを作成する。ここで、この色相補正テーブルによる補正後のH値(Y軸のH値)をH’とし、H’<0の場合は、H’=H’+360とし、H’>360の場合は、H’=H’−360とする。
そして、元画像のそれぞれの画素に対し、上記色相補正テーブルを適用することによって、H値を補正する。具体的には、補正後のH’は、以下の式で定義することができる。
H’=(y2-y1)÷(x2-x1) × H
- (y2-y1)÷(x2-x1) × x2 + y2
・・・(式1)
ここで、x1,x2,y1,y2は、以下のように定義される。
H<iHrのときは、
(x1,y1)= (iHm−360,sHm−360)
(x2,y2)= (iHr,sHr)
iHr≦H<iHyのときは、
(x1,y1)= (iHr,sHr)
(x2,y2)= (iHy,sHy)
iHy≦H<iHgのときは、
(x1,y1)= (iHy,sHy)
(x2,y2)= (iHg,sHg)
iHg≦H<iHcのときは、
(x1,y1)= (iHg,sHg)
(x2,y2)= (iHc,sHc)
iHc≦H<iHbのときは、
(x1,y1)= (iHc,sHc)
(x2,y2)= (iHb,sHb)
iHb≦H<iHmのときは、
(x1,y1)= (iHb,sHb)
(x2,y2)= (iHm,sHm)
iHm≦Hのときは、
(x1,y1)= (iHm,sHm)
(x2,y2)= (iHr+360,sHr+360)
次に、S値及びV値における変換について説明する。
S値及びV値は、H値によって分割された領域ごとに値が変換される。例えば、R領域について、
S ≦ iSrのときは、
S’=S×(sSr÷iSr) ・・・(式2)
S > iSrのときは、
S’=1+(S−1)×{(1−sSr)÷(1−iSr)} ・・・(式3)
V ≦ iVrのときは、
V’=V×(sVr÷iVr) ・・・(式4)
V > iVrのときは、
V’=1+(V−1)×{(1−sVr)÷(1−iVr)} ・・・(式5)
の式で求めることができる。また、その他の領域の計算についても同様に算出することができる。なお、以下においては、上記S値の変換式で定義される変換テーブルを彩度補正テーブルということがあり、また、上記V値の変換式で定義される変換テーブルを明度補正テーブルということがある。
その後、変換されたHSV値を、画像印刷部40に適するフォーマット(例えば、RGB値)に変換する。なお、HSV値からRGB値への変換は、前述した公知の変換式に従い行うことができる。
このように、H値に基づいて分割された領域ごとに、第2特徴量を第1特徴量に近づけるように元画像に対する補正処理を行うことによって、元画像の色合いをお手本画像の色合いに変換することができる。
[1−3−5.レイアウト位置の決定処理]
次に、前述した色変換処理(図4)におけるS116で行われるレイアウト位置の決定処理について、2つの方法(A),(B)を例に挙げて説明する。
なお、ここでは、具体例として、3つのお手本画像A,B,Cが入力されたものとし、元画像及び各お手本画像A,B,Cにおける各領域が占める割合は以下の値であるものとする。
<元画像>
・R領域が元画像に占める割合:iRateR=40%、
・G領域が元画像に占める割合:iRateG=15%
・B領域が元画像に占める割合:iRateB=20%
・C領域が元画像に占める割合:iRateC=10%
・M領域が元画像に占める割合:iRateM=8%
・Y領域が元画像に占める割合:iRateY=7%
<お手本画像A>
・R領域がお手本画像Aに占める割合:sRateR_A=25%
・G領域がお手本画像Aに占める割合:sRateG_A=15%
・B領域がお手本画像Aに占める割合:sRateB_A=30%
・C領域がお手本画像Aに占める割合:sRateC_A=10%
・M領域がお手本画像Aに占める割合:sRateM_A=8%
・Y領域がお手本画像Aに占める割合:sRateY_A=12%
<お手本画像B>
・R領域がお手本画像Bに占める割合:sRateR_B=30%
・G領域がお手本画像Bに占める割合:sRateG_B=12%
・B領域がお手本画像Bに占める割合:sRateB_B=8%
・C領域がお手本画像Bに占める割合:sRateC_B=15%
・M領域がお手本画像Bに占める割合:sRateM_B=10%
・Y領域がお手本画像Bに占める割合:sRateY_B=25%
<お手本画像C>
・R領域がお手本画像Cに占める割合:sRateR_C=8%
・G領域がお手本画像Cに占める割合:sRateG_C=10%
・B領域がお手本画像Cに占める割合:sRateB_C=12%
・C領域がお手本画像Cに占める割合:sRateC_C=25%
・M領域がお手本画像Cに占める割合:sRateM_C=30%
・Y領域がお手本画像Cに占める割合:sRateY_C=15%
(A)各色の存在割合を比較してソートする方法
(A−1)まず、元画像における各領域の割合値を大きい順にソートし、割合の大きいものから番号付けする。この例では次のように番号付けされる。
[1]iRateR=40%
[2]iRateB=20%
[3]iRateG=15%
[4]iRateC=10%
[5]iRateM=8%
[6]iRateY=7%
(A−2)次に、各お手本画像A,B,Cにおける各領域の割合値を、(A−1)で特定した順番に従って番号付けする。
<お手本画像A>
[1]sRateR_A=25%
[2]sRateB_A=30%
[3]sRateG_A=15%
[4]sRateC_A=10%
[5]sRateM_A=8%
[6]sRateY_A=12%
<お手本画像B>
[1]sRateR_B=30%
[2]sRateB_B=8%
[3]sRateG_B=12%
[4]sRateC_B=15%
[5]sRateM_B=10%
[6]sRateY_B=25%
<お手本画像C>
[1]sRateR_C=8%
[2]sRateB_C=12%
[3]sRateG_C=10%
[4]sRateC_C=25%
[5]sRateM_C=30%
[6]sRateY_C=15%
(A−3)次に、元画像における各領域の割合値(iRate)と、各お手本画像A,B,Cにおける各領域の割合値(sRate)とを比較して、お手本画像A,B,Cを元画像に近いものから順にソートする。具体的には、各お手本画像A,B,Cにおける番号の最も若い領域の割合値を比較して、元画像の割合値に近い順にソートする。なお、割合値が同じ場合には、次に番号の若い領域の割合値を比較する。この例では、R領域が元画像に占める割合iRateR(40%)に近い順であるため
[1]お手本画像B:sRateR_B(30%)
[2]お手本画像A:sRateR_A(25%)
[3]お手本画像C:sRateR_C(8%)
という順にソートされる。
(B)お手本画像と元画像のRGB値が近いものから順にソートする方法
(B−1)まず、元画像及び各お手本画像における各領域の代表値をHSV→RGB変換する。
(B−2)次に、元画像における各領域の割合値を大きい順にソートする。
(B−3)次に、(B−2)で一番割合値の大きかった領域について、お手本画像A,B,Cを元画像のRGB値に近いものから順にソートする。
なお、ここでは2つの方法(A),(B)を例示したが、これ以外にも様々な方法でレイアウト位置を決定することができることは言うまでもない。
[1−4.効果]
以上説明したように、本実施形態の複合機10は、色変換の対象とする元画像をメモリカードから入力し(S101)、入力した元画像の特徴を表す第2特徴量を特定する(S103,S104)。また、複数種類のお手本画像を画像読取部20から入力し(S106〜S109)、各お手本画像の特徴を表す第1特徴量を特定する(S111,S112)。さらに、第2特徴量を第1特徴量に近づけるように元画像に対する色変換処理を行った場合の色変換処理結果を表す補正イメージ画像を、各お手本画像の第1特徴量について生成する(S114)。こうして生成した複数の補正イメージ画像を、各補正イメージ画像の生成に用いたお手本画像とそれぞれ対応付けて配置したインデックス形式で印刷する(S116〜S118)。
このような複合機10によれば、ユーザは、複数種類のお手本画像を用意して、お手本画像に対する補正イメージ画像を一覧印刷させることで、色変換処理の結果を事前に確認することができ、所望の補正結果が得られるお手本画像を効率よく選定することができる。このため、ユーザの意図を正確に反映した色変換処理を行うことができる。
また、この複合機10は、入力した元画像のサムネイル画像を生成し(S102)、生成したサムネイル画像に対して色変換処理を行うことにより補正イメージ画像を生成する(S114)。このため、元画像に対して直接色変換処理を行った結果に基づき補正イメージ画像を生成する場合に比べ、補正イメージ画像を生成する処理を簡素化することができる。
さらに、この複合機10は、ユーザにより補正イメージ画像のうちの1つが選択されると(S119)、選択された補正イメージ画像の生成に用いた第1特徴量に近づけるように元画像に対する色変換処理を行い(S120,S121)、色変換処理後の元画像を印刷する(S122)。このため、ユーザは、補正イメージ画像の中から1つを選択することで、お手本画像や元画像を再度読み取らせることなく、その補正イメージ画像の表す色変換処理が行われた元画像を印刷することができる。
また、この複合機10では、お手本画像及び補正イメージ画像を、お手本画像の特徴が元画像の特徴に類似するものから順に配置して印刷するようにしているため(S116〜S118)、複数の補正イメージ画像を視覚的に比較しやすくすることができる。
一方、この複合機10では、原稿載置面を複数に分割した各読取領域で読み取られる画像を独立したお手本画像として入力するようにしているため、ユーザは、複数のお手本画像を容易に読み取らせることが可能となり、作業時間を短縮することができる。
加えて、読取領域で読み取られた画像の平均輝度値がしきい値ThreV以上の場合には、その読取領域には画像が存在しないと判定するようにしているため、画像が存在しない部分をお手本画像として入力してしまうことを防ぐことができる。
[1−5.特許請求の範囲との対応]
なお、第1実施形態の複合機10では、色変換処理(図4)におけるS101の処理を実行するCPU71が、第2画像入力手段に相当し、S102の処理を実行するCPU71が、加工画像生成手段に相当し、S103,S104の処理を実行するCPU71が、第2特徴量特定手段に相当する。また、S106〜S109の処理を実行するCPU71が、第1画像入力手段に相当し、S111,S112の処理を実行するCPU71が、第1特徴量特定手段に相当する。また、S114の処理を実行するCPU71が、イメージ画像生成手段に相当し、S116〜S118の処理を実行するCPU71が、イメージ画像出力手段に相当する。また、S119の処理を実行するCPU71が、選択手段に相当し、S120,S121の処理を実行するCPU71が、画像補正手段に相当し、S122の処理を実行するCPU71が、印刷制御手段に相当する。
[2.第2実施形態]
次に、第2実施形態の複合機10について説明する。
第2実施形態の複合機10は、前述した第1実施形態の色変換処理(図4)に代えて、図10のフローチャートに示す色変換処理を行う点が第1実施形態の複合機10と異なる。その他、共通する内容については説明を省略する。
図10の色変換処理は、図4の色変換処理と対比すると、次の(1),(2)の点が異なる。
(1)図4の色変換処理では、元画像のサムネイル画像に対して色変換処理を行うことにより補正イメージ画像を生成するのに対し、図10の色変換処理では、元画像に直接色変換処理を行って補正画像を実際に生成し、その補正画像から補正イメージ画像を生成する。つまり、元画像自体に対し、各お手本画像に基づく色変換処理を実際に行うことにより、各お手本画像についての補正画像を生成する。このため、インデックス印刷した画像から画像番号が選択された際には、画像補正を再度行うことなく、既に生成した補正画像をそのまま印刷する。
(2)図4の色変換処理では、お手本画像の第1特徴量に基づきレイアウト位置を決定するのに対し、図10の色変換処理では、画像読取部20の原稿載置面におけるどの読取領域でお手本画像が読み取られたかに応じてレイアウト位置を決定する。
具体的には、図10の色変換処理では、図4の色変換処理におけるS102,S105,S113,S121の処理の代わりに、S411,S412の処理を行う。また、S114,S116,S120の処理に代えて、S413,S415,S419の処理を行う。一方、S101,S103,S104,S106〜S112,S115,S117〜S119,S122の各処理内容は、S401〜S410,S414,S416〜S418,S420の各処理内容と共通している。そこで、この相違点に係る処理を中心に説明し、共通する部分については説明を省略する。
S411では、S410で特定した第1特徴量(処理対象のお手本画像の第1特徴量)及びS403で特定した第2特徴量に基づいて、S401で読み込んだ元画像を補正する。なお、具体的な補正方法については前述したとおりである。
続いて、S412では、S411で補正された補正後の元画像(補正画像)を、処理対象のお手本画像の識別情報と対応付けて、RAM73における記憶維持領域に記憶させる。ここで、既に別のお手本画像についての補正画像が記憶維持領域に記憶されている場合には、その補正画像の記憶状態を維持しつつ、新たに追加する形で記憶させる。したがって、S408〜S413の処理が繰り返されることにより、複数のお手本画像についての複数の補正画像がRAM73に記憶されることになる。なお、記憶手段はRAM73に限定されるものではなく、例えば複合機10がハードディスクを備えている場合にはハードディスクに記憶させてもよい。
続いて、S413では、S411で補正された補正後の元画像(補正画像)のサムネイル画像(補正イメージ画像)を生成する。すなわち、補正画像に対し、あらかじめ設定されているサムネイル画像のサイズとなるようにサイズ変更処理(縮小処理)を行う。なお、補正画像(元画像)はサムネイル画像よりも大きいことが通常であるためサイズ変更処理として縮小処理を行うと説明しているが、補正画像がサムネイル画像のサイズよりも小さい場合には、サイズ変更処理として拡大処理を行うことになる。また、サイズ変更処理としては、例えば、ニアレストネイバー法、バイリニア法、バイキュービック法、縮小に限定すれば平均画素法などを用いることができる。
また、S415では、各お手本画像の読取位置に基づき、インデックス印刷を行う際のサムネイル画像の配置(レイアウト位置)を決定する。具体的には、原稿載置面を複数に分割した各読取領域とサムネイル画像の配置とをあらかじめ対応付けておけばよく、例えば図5に示す例では、読取領域がImage1,Image2,Image3,Image4の順にサムネイル画像を配置するようにする。
また、S419では、S418で入力した画像番号のお手本画像に基づき補正された補正画像(そのお手本画像の識別情報と対応付けて記憶されている補正画像)をRAM73における記憶維持領域から読み出し、S420で画像印刷部40に印刷させた後、本色変換処理を終了する。
以上のように、第2実施形態の複合機10では、元画像に対して実際に色変換処理を行った結果に基づき補正イメージ画像を生成するようにしているため(S411,S413)、色変換処理結果を正確に表す補正イメージ画像を生成することができる。また、ユーザにより補正イメージ画像のうちの1つが選択された際に(S418)、再度画像補正処理を行うことなく補正画像を印刷することができる(S419,S420)。
また、この複合機10では、各お手本画像の読取位置に基づき、インデックス印刷を行う際のサムネイル画像の配置(レイアウト位置)を決定するようにしているため、ユーザの意思でサムネイル画像の配置を決定することができる。
なお、第2実施形態の複合機10では、色変換処理(図10)におけるS401の処理を実行するCPU71が、第2画像入力手段に相当し、S402,S403の処理を実行するCPU71が、第2特徴量特定手段に相当する。また、S404〜S407の処理を実行するCPU71が、第1画像入力手段に相当し、S409,S410の処理を実行するCPU71が、第1特徴量特定手段に相当する。また、S411の処理を実行するCPU71が、イメージ画像生成手段に相当し、S415〜S417の処理を実行するCPU71が、イメージ画像出力手段に相当する。また、S418の処理を実行するCPU71が、選択手段に相当し、S420の処理を実行するCPU71が、印刷制御手段に相当する。
[3.他の形態]
以上、本発明の実施形態について説明したが、本発明は、種々の形態をとり得ることは言うまでもない。
(1)上記実施形態では、複合機10が原稿載置面を複数に分割した各読取領域で読み取られる画像を独立したお手本画像として入力する例について説明したが、これに限定されるものではない。例えば、原稿載置面全域を1つの全体画像として読み取り、その全体画像の内容を解析して画像を抽出するようにしてもよい。このようにすれば、図11に示すように原稿載置面における不特定の位置に配置された複数の画像を独立した画像として抽出することができる。ここで、全体画像から複数の画像を抽出する方法としては、例えば次の(a),(b)ような方法が挙げられる。
(a)原稿が存在しない部分の読取色(白色)に基づいて設定されたしきい値に基づき白色でないと判定される画素値が一定以上固まって存在する場所を1つの画像として認識する方法。
(b)原稿載置面において設定された特定範囲にある画像を1つの画像として認識し、その特定範囲内に上記(a)と同様のしきい値に基づき白色でないと判定される画素値が一定以上存在する場合に画像が存在すると判定する方法。
また、お手本画像は1枚の原稿につき1つである必要はなく、複数の画像が印刷された原稿から各画像をそれぞれ独立したお手本画像として抽出するようにしてもよい。
(2)上記実施形態では、複数のお手本画像を一度に読み取る例について説明したが、これに限定されるものではなく、お手本画像の読取操作を繰り返し行うことにより、お手本画像を1つずつ読み取るようにしてもよい。このようにすれば、1つの画像を複数の画像と誤認識したり、逆に複数の画像を1つの画像と誤認識したりすることを確実に防ぐことができる。
(3)上記実施形態では、複合機10がお手本画像を画像読取部20で読み取る例について説明したが、これに限定されるものではない。例えば、メモリカードから読み込んだ画像や、通信部60を介して外部から受信した画像をお手本画像としてもよい。
(4)上記実施形態では、色変換の対象とする画像(元画像)をメモリカードから入力する例について説明したが、これに限定されるものではない。例えば、画像読取部20で読み取られた画像や、通信部60を介して外部から受信した画像を色変換の対象としてもよい。
(5)上記実施形態では、色変換処理において、第1特徴量及び第2特徴量を特定するための処理を行う前に、お手本画像及び元画像の各構成画素をHSVパラメータに変換する処理を行うようにしているが、これに限定されるものではない。例えば、HSVパラメータに代えて、L***パラメータやRGBパラメータ等の他のパラメータに変換してもよい。
(6)上記実施形態では、色変換処理において、第2特徴量を特定した後に第1特徴量を特定しているが、これに限定されるものではなく、第1特徴量を特定した後に第2特徴量を特定してもよい。
(7)上記実施形態では、第1特徴量を特定するアルゴリズムと第2特徴量を特定するアルゴリズムとを同一のものとして説明したが、これに限定されるものではなく、異なるアルゴリズムによって特定してもよい。
(8)上記実施形態では、補正イメージ画像を印刷するようにしているが、これに限定されるものではなく、例えば、印刷に代えて、複合機10の表示部32や複合機10と通信可能な状態にあるパーソナルコンピュータのディスプレイ等に表示するようにしてもよい。ただし、上記実施形態のように補正イメージ画像を印刷する場合には、補正イメージ画像を表示部32等に表示する場合に比べ、補正画像を実際に印刷した際の色合い等を正確に判断できるという面で効果的である。
(9)上記実施形態では、RAM73における記憶維持領域に記憶させた情報が、色変換処理が終了されるまで保持される構成を例に挙げて説明したが、これに限定されるものではなく、例えば、ユーザによる消去操作が行われるまでは半永久的に記憶しておくようにしてもよい。
(10)上記実施形態では、画像番号として自然数を例示したが、これに限定されるものではなく、文字や記号など、複数の画像の中から1つの画像を特定可能なものであればよい。また、画像番号を印刷せず、画像の配置(例えば上から何番目)などに基づき所望の画像を特定させることも可能である。
(11)上記実施形態では、画像補正処理として色変換処理を例示したが、これに限定されるものではなく、上記実施形態で例示した以外の画像補正処理を行うものであってもよい。
(12)上記実施形態では、色相に応じて分割した6つの領域すべてについて画像補正を行うようにしているが、これに限定されるものではなく、例えば、画像に占める割合の小さい領域については画像補正を行わない(又は補正量を減少させる)ようにしてもよい。具体的には、画像補正処理を行う前に、画像補正処理に用いる第1特徴量及び第2特徴量の値を条件に応じて再設定する代表値再設定処理を行う。
ここで、代表値再設定処理の一例について、図12のフローチャートを用いて説明する。
CPU71は、代表値再設定処理を開始すると、まず、S501で、元画像において色相ごとに分割した6つの領域のうちの1つの領域について、色変換処理の対象とするか否かを判定する。ここで、その領域を色変換処理の対象とするか否かは、その領域が後述の変換対象条件を満たすか否かによって判定する。そして、色変換の対象とすると判定した場合には(S501:YES)、S503へ移行する。一方、色変換の対象としないと判定した場合には(S501:NO)、S502へ移行し、その領域に係る第1特徴量及び第2特徴量の代表値を再設定した後、S503へ移行する。なお、代表値の再設定方法については後述する。
S503では、6つの領域すべてについて、色変換の対象とするか否かの判定処理を行ったか否かを判定する。そして、色変換の対象とするか否かの判定処理を行っていない領域が残っていると判定した場合には(S503:NO)、S501に戻り処理を繰り返す。一方、すべての領域について判定処理を行ったと判定した場合には(S503:YES)、本代表値再設定処理を終了する。
ここで、S501の変換対象条件について説明する。
(A)しきい値Threを用いる方法
S501では、第1特徴量及び第2特徴量における対象領域についての割合値(お手本画像中又は元画像中に占める割合)がしきい値Thre以上である場合に、変換対象条件を満たす(色変換の対象とする)と判定する。そして、第1特徴量及び第2特徴量の少なくとも一方における対象領域についての割合値がしきい値Thre未満の場合には、S502で、その領域に係る第1特徴量及び第2特徴量の代表値を同じ値に変更し、変更後の代表値を用いて補正処理が行われるようにする。具体的には、代表値を次のように再設定する。
sRateR<Thre 又は iRateR<Thre のときは、
sHr=0,sSr=0.5,sVr=0.5,
iHr=0,iSr=0.5,iVr=0.5
sRateG<Thre 又は iRateG<Thre のときは、
sHg=120,sSg=0.5,sVg=0.5,
iHg=120,iSg=0.5,iVg=0.5
sRateB<Thre 又は iRateB<Thre のときは、
sHb=240,sSb=0.5,sVb=0.5,
iHb=240,iSb=0.5,iVb=0.5
sRateC<Thre 又は iRateC<Thre のときは、
sHc=180,sSc=0.5,sVc=0.5,
iHc=180,iSc=0.5,iVc=0.5
sRateM<Thre 又は iRateM<Thre のときは、
sHm=300,sSm=0.5,sVm=0.5,
iHm=300,iSm=0.5,iVm=0.5
sRateY<Thre 又は iRateY<Thre のときは、
sHy=60,sSy=0.5,sVy=0.5,
iHy=60,iSy=0.5,iVy=0.5
本実施形態では、S値及びV値については、そのとり得る値(0〜1)の中間値である0.5を採用し、H値においては、それぞれの領域の中間値を採用したが、これらはあくまでも一例に過ぎず、これらの数値に限定されるものではない。
このように代表値を変更することで、補正処理において、S値及びV値については、前述した変換式(式2)〜(式5)から明らかなように値が変換されない。すなわち、例えばR領域に関して、S ≦ iSrのときは、前述した(式2)のとおり、
S’=S×(sSr÷iSr)
の式で算出されるが、当該式において、sSr=0.5,iSr=0.5となるので、前述した式は、
S’=S×(0.5÷0.5)=S ・・・(式6)
となる。S>iSrのときも同様にS’=Sとなる。また、V値及び他の領域についても同様に変換されない。
一方、H値については、図9においてプロットされる点が代表値に変更されるので、その領域における変換量を小さくすることができる。すなわち、前述した変換式(式1)を利用した場合であっても、代表値を変更することによって変換量が小さくなる。
次に、しきい値Threの決定方法について説明する。この値は、例えば官能評価に基づいて決定することができる。官能評価では、約6%以上の面積を占めていれば、その領域は知覚されやすいことを確認した。したがって、しきい値Threとして、6%を採用することができる。ただし、しきい値Threは6%に限定されるものではない。
また、例えば、他の領域に対して相対的に面積が大きい領域を抽出するようにしきい値Threを決定してもよい。具体的には、分割される領域の数が6であれば、その逆数である1/6をしきい値Threとする。
ここで、分割される領域の数が6とは、色彩を表現する色域の1つであるRGB空間(頂点数8)から、無彩色である白と黒とを除いた残りの6つの頂点である。人が色彩を識別するには、色域を頂点数6に分類すれば十分であり、6より少なくすると、元画像がお手本画像のように変換されていないとユーザが感じる可能性が高くなる。逆に、6より細かく分割すれば、変換精度は高くなるが、人には識別できなくなる可能性が高くなる。また、分割数の増加に伴い計算量も増えるため、印刷結果が得られるまでの時間が長くなり、ユーザの不満も増加する可能性も高くなるので、分割される領域の数は6が好ましい。
なお、本実施形態では、すべての領域において同一のしきい値Threを用いているが、これに限定されるものではなく、領域ごとにしきい値Threを変更してもよい。
(B)最大領域の情報を用いる方法
上記(A)の方法では、しきい値Threを設定し、当該しきい値Threに基づいて代表値の変更、すなわち、色変換処理の停止、変換量の減少の制御を行った。ここでは、お手本画像の特定の色のみについて元画像に反映させるために、画像中の最大領域の情報を用いる方法について説明する。
この場合、S501では、第1特徴量及び第2特徴量のいずれにおいても最も割合値が大きい領域である場合に、変換対象条件を満たす(色変換の対象とする)と判定する。そして、変換対象条件を満たさない領域については、S502で、その領域に係る第1特徴量及び第2特徴量の代表値を次のように再設定する。ここで、第1特徴量の割合値のうち最も大きい割合値を、sMaxRateとする。また、第2特徴量の割合値のうち最も大きい割合値を、iMaxRateとする。
sRateR≠iMaxRate又はiRateR≠sMaxRateのとき、
sHr=0,sSr=0.5,sVr=0.5,
iHr=0,iSr=0.5,iVr=0.5
sRateG≠iMaxRate又はiRateG≠sMaxRateのとき、
sHg=120,sSg=0.5,sVg=0.5,
iHg=120,iSg=0.5,iVg=0.5
sRateB≠iMaxRate又はiRateB≠sMaxRateのとき、
sHb=240,sSb=0.5,sVb=0.5,
iHb=240,iSb=0.5,iVb=0.5
sRateC≠iMaxRate又はiRateC≠sMaxRateのとき、
sHc=120,sSc=0.5,sVc=0.5,
iHc=120,iSc=0.5,iVc=0.5
sRateM≠iMaxRate又はiRateM≠sMaxRateのとき、
sHm=300,sSm=0.5,sVm=0.5,
iHm=300,iSm=0.5,iVm=0.5
sRateY≠iMaxRate又はiRateY≠sMaxRateのとき、
sHy=60,sSy=0.5,sVy=0.5,
iHy=60,iSy=0.5,iVy=0.5
このように代表値を設定することで、第1特徴量及び第2特徴量のいずれにおいても最も割合値の大きい領域のみが変換対象となるから、変換対象とならなかった領域のS値及びV値については変換が行われず、また、H値については変換量を減少させることができる。
具体的には、例えばB領域のみを変換対象とした場合、図13に示すような色相補正テーブルが作成されることになる。この色相補正テーブルにおいては、色空間上B領域に隣接するC領域におけるH値の代表値(iHc=180,sHc=180)とB領域におけるH値の代表値(iHb,sHb)とが直線で結ばれ、また、色空間上B領域に隣接するM領域におけるH値の代表値(iHm=300,sHm=300)とB領域におけるH値の代表値(iHb,sHb)とが直線で結ばれることになる。
このため、H値が180<H≦210のC領域、及びH値が270<H≦300のM領域についても変換されることになる。この変換量は、B領域に近い値ほど大きくなる。
このように、変換対象の領域を選択可能であり、また、変換対象ではない領域であっても、色空間上隣接するH値については一部変換されることになるから、変換対象の領域の変換対象ではない領域との間に擬似輪郭(階調とび)が生成されることを防ぐことができる。
このような代表値再設定処理を行うことにより、分割されたそれぞれの領域に対し、領域の大きさに基づいて補正処理の一部を停止したり、変換量を小さくしたりすることができるため、ユーザは、お手本画像の一部の色合いのみを元画像の色合いに反映させるといったことが可能となる。
(13)上記(12)では、変換対象としない領域のH値は、変換量を減少させることはできるものの、変換量をゼロとすることはできない。図9に示すように、変換対象としない領域の代表値との間で線形補間されるため、他の領域の代表値の影響を受けるからである。
そこで、図14に示すような色相補正テーブルを採用することができる。図14は、B領域のみを変換対象とした場合の色相補正テーブルである。なお、この図においては、変換対象の領域の数を1つとしているが、複数の領域を補正対象とした場合にも同様に適用できる。
図14においては、B領域以外のH値は、H’=Hであるから、色変換は行われない。B領域のH’値については、B領域中の最小値をHmin,B領域中の最大値をHmaxとすれば、以下の式で求めることができる。
H<iHのときは、
H’=Hmin+(sHb−Hmin)×(H−Hmin)÷(iHb−Hmin)
H>iHのときは、
H’=sHb+(Hmax−sHb)×(H−iHb)÷(Hmax−iHb)
この式を用いることにより、変換対象の領域のみを変換することができる。
このようにすれば、変換対象のH値のみを変換することができるから、色変換の効果を大きくすることができる。
(14)上記実施形態においては、S値及びV値に対し、領域ごとに補正カーブ(変換式)を独立して用いるため、擬似輪郭(階調とび)が生成されるおそれがある。すなわち、図15に示すように、領域ごとに、SとS’との関係を示すテーブルを有しており、隣接する領域におけるテーブルの性質を何ら考慮していない。
これに対し、図16に示すように、各色領域における補正カーブを滑らかにすることで階調とびを防止できる。
ここで、具体的な処理について以下に説明する。なお、図17及び図18を参照しつつC領域の一部及びB領域の一部の色変換処理について説明を行うが、他の領域についても処理の内容は基本的には同じである。
補正されたS値(Sb’’)は、変換対象領域のH値(H)、変換対象とする領域のH値の中間値(Hbmid)、変換対象となる画素のH値の色相座標位置と、変換対象とする領域のH値の中間値の色相座標位置とを比較し、変換対象となる画素のH値の色相座標位置は近くに、かつ、変換対象とする領域のH値の中間値の色相座標位置からは遠くに隣接する領域のH値の代表値(Hcmid)、上記変換式(式2)に対応する変換式で変換された(すなわち、B領域の彩度補正テーブルを用いて算出された)変換対象領域のS値(Sb’)、上記変換式(式3)に対応する変換式で変換された(すなわち、C領域の彩度補正テーブルを用いて算出された)隣接する領域のS値(Sc’)を用いて、以下の式で求めることができる。
Sb’’ = {(H−Hcmid)×Sb’+(Hbmid−H)×Sc’}
÷{(Hbmid−Hcmid)} ・・・(式7)
なお、上記Hbmid、Hcmidは、上記再設定された「代表値」である。
また、この例における補正されたV値(Vb’’)は、変換対象領域のH値(H)、変換対象領域のH値の代表値(Hbmid)、隣接する領域のH値の代表値(Hcmid)、上記変換式(式4)に対応する変換式で変換された(すなわち、B領域の明度補正テーブルを用いて算出された)変換対象領域のV値(Vb’)、上記変換式(式5)に対応する変換式で変換された(すなわち、C領域の明度補正テーブルを用いて算出された)隣接する領域のS値(Vc’)を用いて、以下の式で求めることができる。
Vb’’ = {(H−Hcmid)×Vb’+(Hbmid−H)×Vc’}
÷{(Hbmid−Hcmid)} ・・・(式8)
前述した処理を、図19に示されるB領域の一部(H値の範囲:210<H≦240)及びC領域の一部(H値の範囲180<H≦210)に対して行う。これにより、入力の色相値(H)に応じた重み付け計算により、出力の彩度値(S'')及び明度値(V'')を求めることにより、各色相間の補正効果を滑らかにすることができる。
(15)上記実施形態では、画像処理装置として複合機10を例示したが、これに限定されるものではなく、例えば、パーソナルコンピュータのような情報処理装置であってもよい。
第1実施形態の複合機の外観を示す斜視図である。 複合機の制御系の概略構成を示すブロック図である。 色変換処理におけるユーザの動作及び複合機の処理の概略を示した説明図である。 第1実施形態の色変換処理のフローチャートである。 補正イメージ画像の表示画面の説明図である。 インデックス印刷用の画像の説明図である。 第2特徴量特定処理のフローチャートである。 第1特徴量特定処理のフローチャートである。 色相補正テーブルの説明図である。 第2実施形態の色変換処理のフローチャートである。 原稿載置面における不特定の位置に複数の画像が配置された状態を示す説明図である。 代表値再設定処理のフローチャートである。 B領域のみを変換対象とした場合に作成される色相補正テーブルの説明図である。 変形例における色相補正テーブルを示した図である。 彩度補正テーブルを示した図である。 彩度補正のカーブの変化を示した図である。 B領域及びC領域における彩度補正テーブルを示した図である。 B領域及びC領域における補正されたS値を示した図である。 B領域及びC領域の一部が変換対象となることを示した図である。
符号の説明
10…複合機、11…本体ケーシング、12…開口、20…画像読取部、21…原稿カバー、30…操作パネル、31…操作部、32…表示部、40…画像印刷部、50…カードスロット、60…通信部、70…制御部、71…CPU、72…ROM、73…RAM、80…信号線

Claims (13)

  1. 複数種類の第1画像を入力可能な第1画像入力手段と、
    前記第1画像入力手段により入力された第1画像の特徴を表す第1特徴量を、入力された第1画像ごとに特定する第1特徴量特定手段と、
    画像補正の対象とする画像である第2画像を入力する第2画像入力手段と、
    前記第2画像入力手段により入力された第2画像の特徴を表す第2特徴量を特定する第2特徴量特定手段と、
    前記第2特徴量を前記第1特徴量に近づけるように前記第2画像に対する画像補正処理を行った場合の画像補正処理結果を表す補正イメージ画像を、前記複数の第1特徴量のそれぞれについて生成するイメージ画像生成手段と、
    前記イメージ画像生成手段により生成された複数の補正イメージ画像を、各補正イメージ画像の生成に用いた第1特徴量が特定された第1画像とそれぞれ対応付けて配置した状態で出力するイメージ画像出力手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記第2画像入力手段により入力された第2画像を加工した加工画像を生成する加工画像生成手段を備え、
    前記イメージ画像生成手段は、前記加工画像生成手段により生成された加工画像に対する前記画像補正処理を行うことにより前記補正イメージ画像を生成すること
    を特徴とする請求項1に記載の画像処理装置。
  3. 加工画像生成手段は、前記第2画像入力手段により入力された第2画像を縮小した画像を前記加工画像として生成すること
    を特徴とする請求項2に記載の画像処理装置。
  4. 前記イメージ画像出力手段により出力された補正イメージ画像のうちの1つを選択する選択手段と、
    前記第2特徴量を前記選択手段により選択された補正イメージ画像の生成に用いた第1特徴量に近づけるように前記第2画像に対する画像補正処理を行う画像補正手段と、
    を備えることを特徴とする請求項2又は請求項3に記載の画像処理装置。
  5. 前記画像補正手段により画像補正処理が行われた第2画像を印刷するための印刷処理を行う印刷制御手段を備えること
    を特徴とする請求項4に記載の画像処理装置。
  6. 前記イメージ画像生成手段は、前記第2画像に対して実際に前記画像補正処理を行った結果に基づき前記補正イメージ画像を生成するものであり、
    前記イメージ画像出力手段により出力された補正イメージ画像のうちの1つを選択する選択手段と、
    前記イメージ画像生成手段により画像補正処理が行われた第2画像のうち前記選択手段により選択された補正イメージ画像に対応するものを印刷するための印刷処理を行う印刷制御手段と、
    を備えることを特徴とする請求項1に記載の画像処理装置。
  7. 前記イメージ画像出力手段は、前記補正イメージ画像及びその補正イメージ画像の生成に用いた第1特徴量が特定された第1画像をその第1特徴量の値が前記第2特徴量の値に近いものから順に配置すること
    を特徴とする請求項1から請求項6までのいずれか1項に記載の画像処理装置。
  8. 前記第1画像入力手段は、所定の読取位置にセットされた印刷媒体から光学的に読み取られる画像を入力するものであり、前記読取位置にセットされた印刷媒体から複数の画像が読み取られた場合に、各画像をそれぞれ独立した第1画像として入力可能であること
    を特徴とする請求項1から請求項7までのいずれか1項に記載の画像処理装置。
  9. 前記第1画像入力手段は、前記読取位置を複数に分割した各読取領域で読み取られる画像を独立した第1画像として入力すること
    を特徴とする請求項8に記載の画像処理装置。
  10. 前記第1画像入力手段は、所定の読取位置にセットされた印刷媒体から光学的に読み取られる画像を入力するものであり、前記読取位置を複数に分割した各読取領域で読み取られる画像をそれぞれ独立した第1画像として入力し、
    前記イメージ画像出力手段は、前記補正イメージ画像及びその補正イメージ画像の生成に用いた第1特徴量が特定された第1画像を前記読取領域ごとに対応付けられた所定の位置に配置すること
    を特徴とする請求項1から請求項6までのいずれか1項に記載の画像処理装置。
  11. 前記第1画像入力手段は、前記読取領域で読み取られた画像の平均輝度値が所定値以上の場合には、その読取領域には画像が存在しないと判定すること
    を特徴とする請求項9又は請求項10に記載の画像処理装置。
  12. 前記イメージ画像出力手段は、前記補正イメージ画像及びその補正イメージ画像の生成に用いた第1特徴量が特定された第1画像を印刷出力すること
    を特徴とする請求項1から請求項11までのいずれか1項に記載の画像処理装置。
  13. 複数種類の第1画像を入力可能な第1画像入力手段と、
    前記第1画像入力手段により入力された第1画像の特徴を表す第1特徴量を、入力された第1画像ごとに特定する第1特徴量特定手段と、
    画像補正の対象とする画像である第2画像を入力する第2画像入力手段と、
    前記第2画像入力手段により入力された第2画像の特徴を表す第2特徴量を特定する第2特徴量特定手段と、
    前記第2特徴量を前記第1特徴量に近づけるように前記第2画像に対する画像補正処理を行った場合の画像補正処理結果を表す補正イメージ画像を、前記複数の第1特徴量のそれぞれについて生成するイメージ画像生成手段と、
    前記イメージ画像生成手段により生成された複数の補正イメージ画像を、各補正イメージ画像の生成に用いた第1特徴量が特定された第1画像とそれぞれ対応付けて配置した状態で出力するイメージ画像出力手段としてコンピュータを機能させること
    を特徴とする画像処理プログラム。
JP2007226088A 2007-08-31 2007-08-31 画像処理装置及び画像処理プログラム Expired - Fee Related JP4985243B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007226088A JP4985243B2 (ja) 2007-08-31 2007-08-31 画像処理装置及び画像処理プログラム
US12/202,872 US8174731B2 (en) 2007-08-31 2008-09-02 Image processing device outputting image for selecting sample image for image correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007226088A JP4985243B2 (ja) 2007-08-31 2007-08-31 画像処理装置及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2009060388A JP2009060388A (ja) 2009-03-19
JP4985243B2 true JP4985243B2 (ja) 2012-07-25

Family

ID=40555712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007226088A Expired - Fee Related JP4985243B2 (ja) 2007-08-31 2007-08-31 画像処理装置及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP4985243B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712689B2 (en) 2013-08-22 2017-07-18 Ricoh Company, Limited Image processing system, image processing method, and computer program product

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6205860B2 (ja) * 2013-05-31 2017-10-04 株式会社ニコン 画像処理プログラム
JP6273928B2 (ja) * 2014-03-12 2018-02-07 ブラザー工業株式会社 画像情報制御装置、プログラム、及び画像情報制御システム
JP2017228313A (ja) * 2017-09-07 2017-12-28 株式会社ニコン 画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11185034A (ja) * 1997-12-24 1999-07-09 Casio Comput Co Ltd 画像データ補正装置、及び画像データ補正処理プログラムを記録した記録媒体
JP4230730B2 (ja) * 2002-07-23 2009-02-25 パナソニック コミュニケーションズ株式会社 画像処理システム及び画像処理方法
JP2005202469A (ja) * 2004-01-13 2005-07-28 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびプログラム
EP1648158A1 (en) * 2004-10-18 2006-04-19 Thomson Licensing Device and method for colour correction of an input image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712689B2 (en) 2013-08-22 2017-07-18 Ricoh Company, Limited Image processing system, image processing method, and computer program product

Also Published As

Publication number Publication date
JP2009060388A (ja) 2009-03-19

Similar Documents

Publication Publication Date Title
JP4442664B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
US8174731B2 (en) Image processing device outputting image for selecting sample image for image correction
US20090027732A1 (en) Image processing apparatus, image processing method, and computer program
US8384954B2 (en) Image processing apparatus, method and computer-readable medium for converting monochrome image into color image with the determination of pixel attributes and selected colorization methods
EP3105915A1 (en) Image processing apparatus, image processing system, image processing method, and recording medium
KR101756277B1 (ko) 화상형성장치 및 화상처리방법
JP4985243B2 (ja) 画像処理装置及び画像処理プログラム
US8019128B2 (en) Face detection device
JP4433017B2 (ja) 画像処理装置及び画像処理プログラム
JP2022050362A (ja) スキャンした文書の背景領域を検出、抑制、及び修正するためのシステム及び方法
JP4389977B2 (ja) 画像印刷装置、画像印刷方法、画像印刷プログラム
US8159716B2 (en) Image processing device performing image correction by using a plurality of sample images
JP4793356B2 (ja) 画像処理装置及び画像処理プログラム
US8094343B2 (en) Image processor
JP4826562B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP4840295B2 (ja) 画像処理装置及び画像処理プログラム
JP4442665B2 (ja) 画像処理装置、画像処理プログラム
JP4831020B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP4442663B2 (ja) 画像処理装置及び画像処理プログラム
JP5045836B2 (ja) 画像処理装置及び画像処理プログラム
JP4831019B2 (ja) 画像処理装置、画像処理方法、画像処理印刷プログラム
JP2009284214A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JPH04160982A (ja) 複写機の像域別画像処理装置
JP2011228923A (ja) 原稿読取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R150 Certificate of patent or registration of utility model

Ref document number: 4985243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees