JP4539744B2 - 画像処理装置、画像処理システム及び画像処理プログラム - Google Patents

画像処理装置、画像処理システム及び画像処理プログラム Download PDF

Info

Publication number
JP4539744B2
JP4539744B2 JP2008072834A JP2008072834A JP4539744B2 JP 4539744 B2 JP4539744 B2 JP 4539744B2 JP 2008072834 A JP2008072834 A JP 2008072834A JP 2008072834 A JP2008072834 A JP 2008072834A JP 4539744 B2 JP4539744 B2 JP 4539744B2
Authority
JP
Japan
Prior art keywords
color value
reading
color
module
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008072834A
Other languages
English (en)
Other versions
JP2009230298A (ja
Inventor
透 布施
幸代 上堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2008072834A priority Critical patent/JP4539744B2/ja
Priority to US12/209,849 priority patent/US8055068B2/en
Publication of JP2009230298A publication Critical patent/JP2009230298A/ja
Application granted granted Critical
Publication of JP4539744B2 publication Critical patent/JP4539744B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of two-dimensional [2D] relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像処理装置、画像処理システム及び画像処理プログラムに関する。
会議等で用いられる電子黒板装置に記入するペンの色について、主として次の2つの方式によりその色を決めている。(1)表示色毎に複数のペンを用意する方式、(2)表示色を電子黒板装置上に表示されるパレットから選択する方式、がある。
これらに関する技術として、例えば、特許文献1には、電子黒板装置等の画像処理装置で、読取画像の編集処理する部分を編集色で読取画像に指定する場合に、機器に固定的に設定された編集色のマーカを使用する必要をなくすことを目的として、シート読取部等の画像読取手段で画像データを読み取る画像読取モードの他、画像読取手段で編集色を読み取る編集設定モードを切替自在に設定し、この編集設定モードで画像読取手段が読み取った編集色をシステム制御部と画像編集部とからなる画像編集手段に設定する編集設定手段を設け、編集色をユーザが設定できるようにしたことが開示されている。
特開平08−065485号公報
画像処理装置において、予め用意された色以外の色を利用者が用いたい場合に、観察できる色の色値を組合わせて新たな色値を作成することはできなかった。
本発明は、利用者が観察できる色の色値に基づいて、色値を作成するようにした画像処理装置、画像処理システム及び画像処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の画像処理装置は、対象物の色を読み取る読取手段と、該読取手段によって読み取られた対象物の色の色値を算出する色値算出手段と、前記読取手段での読み取った時間を計測する読取時間計測手段と、該色値算出手段によって算出された色値と前記読取時間計測手段によって計測された前記読取手段での読み取りに要した時間の時間情報とを複数の対象物毎に格納する色値格納手段と、該色値格納手段に格納された複数の対象物の色値と前記時間情報とに基づいて、色値を作成する色値作成手段と、前記色値作成手段によって作成された色値を出力する色値出力手段を具備することを特徴とする。
請求項2の画像処理装置は、対象物の色を読み取る読取手段と、該読取手段によって読み取られた対象物の色の色値を算出する色値算出手段と、前記読取手段での読み取りの際に読取手段の移動した距離を計測する移動距離計測手段と、該色値算出手段によって算出された色値と前記移動距離計測手段によって計測された前記読取手段での読み取りに要した距離の距離情報とを複数の対象物毎に格納する色値格納手段と、該色値格納手段に格納された複数の対象物の色値と前記距離情報とに基づいて、色値を作成する色値作成手段と、前記色値作成手段によって作成された色値を出力する色値出力手段を具備することを特徴とする。
請求項3の画像処理システムは、対象物の色を読み取る可搬型の読取手段と、該読取手段によって読み取られた対象物の色の色値を算出する色値算出手段と、前記読取手段での読み取った時間を計測する読取時間計測手段と、該色値算出手段によって算出された色値と前記読取時間計測手段によって計測された前記読取手段での読み取りに要した時間の時間情報とを複数の対象物毎に格納する色値格納手段と、該色値格納手段に格納された複数の対象物の色値と前記時間情報とに基づいて、色値を作成する色値作成手段と、前記色値作成手段によって作成された色値を出力する色値出力手段を具備することを特徴とする。
請求項4の画像処理システムは、対象物の色を読み取る可搬型の読取手段と、該読取手段によって読み取られた対象物の色の色値を算出する色値算出手段と、前記読取手段での読み取りの際に読取手段の移動した距離を計測する移動距離計測手段と、該色値算出手段によって算出された色値と前記移動距離計測手段によって計測された前記読取手段での読み取りに要した距離の距離情報とを複数の対象物毎に格納する色値格納手段と、該色値格納手段に格納された複数の対象物の色値と前記距離情報とに基づいて、色値を作成する色値作成手段と、前記色値作成手段によって作成された色値を出力する色値出力手段を具備することを特徴とする。
請求項5の画像処理プログラムは、画像処理装置を、対象物の色を読み取る読取手段と、該読取手段によって読み取られた対象物の色の色値を算出する色値算出手段と、前記読取手段での読み取った時間を計測する読取時間計測手段と、該色値算出手段によって算出された色値と前記読取時間計測手段によって計測された前記読取手段での読み取りに要した時間の時間情報とを複数の対象物毎に格納する色値格納手段と、該色値格納手段に格納された複数の対象物の色値と前記時間情報とに基づいて、色値を作成する色値作成手段と、前記色値作成手段によって作成された色値を出力する色値出力手段として機能させることを特徴とする。
請求項6の画像処理プログラムは、画像処理装置を、対象物の色を読み取る読取手段と、該読取手段によって読み取られた対象物の色の色値を算出する色値算出手段と、前記読取手段での読み取りの際に読取手段の移動した距離を計測する移動距離計測手段と、該色値算出手段によって算出された色値と前記移動距離計測手段によって計測された前記読取手段での読み取りに要した距離の距離情報とを複数の対象物毎に格納する色値格納手段と、該色値格納手段に格納された複数の対象物の色値と前記距離情報とに基づいて、色値を作成する色値作成手段と、前記色値作成手段によって作成された色値を出力する色値出力手段として機能させることを特徴とする。
請求項7の画像処理装置は、請求項1に記載の画像処理装置であって、前記読取時間計測手段は、同一箇所で前記読取手段による色値の読み取りが行われている時間を計測すること又は該読取手段による同一色値の読み取りが行われている時間を計測することを特徴とする。
請求項1記載の画像処理装置によれば、利用者が観察できる色の色値に基づいて、色値を作成することができる。
請求項2記載の画像処理装置によれば、利用者が観察できる色の色値に基づいて、色値を作成することができる。
請求項3記載の画像処理システムによれば、利用者によって所持された読取手段によって読み取られた色値に基づいて、色値を作成することができる。
請求項4記載の画像処理システムによれば、利用者によって所持された読取手段によって読み取られた色値に基づいて、色値を作成することができる。
請求項5記載の画像処理プログラムによれば、利用者が観察できる色の色値に基づいて、色値を作成することができる。
請求項6記載の画像処理プログラムによれば、利用者が観察できる色の色値に基づいて、色値を作成することができる。
請求項7記載の画像処理装置によれば、同一箇所での読み取りが行われている時間又は同一色値の読み取りが行われている時間に基づいて、色値を作成することができる。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、一つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、一つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。
以下、色値を提示することとして、その色値に基づいた発光を主に例示して説明する。なお、色値に基づいた発光の他に、その色値の表示、音声等による出力等であってもよい。
本実施の形態は、図1に示すように、色値読取モジュール110、色値算出モジュール120、計測モジュール125(移動距離計測モジュール123、読取時間計測モジュール124のいずれか一方又はその組み合わせ)、色値格納モジュール130、色値作成モジュール140、補正値受付モジュール150、色値補正モジュール160、色値出力モジュール170、発光モジュール181、印字モジュール182、送信モジュール183を有している。
色値読取モジュール110は、計測モジュール125、色値算出モジュール120と接続されており、対象物の色値を読み取り、その色値を色値算出モジュール120へ渡す。色値を読み取るとは、具体的には、例えば、スキャナー(例えば、ペン型のような可搬型のスキャナーを含む)で画像を読み取ることが含まれる。また、色値読取モジュール110は、計測モジュール125が必要とする情報を渡す。具体的には、例えば、距離を算出するための光パターンの検出結果等を移動距離計測モジュール123に渡し、また、読み取り開始時刻と終了時刻を読取時間計測モジュール124に渡す。また、色値読取モジュール110は、可搬型の筐体に含まれるようにしてもよい。その場合に、色値出力モジュール170とともにひとつの可搬型の筐体に含まれるようにしてもよい。
色値算出モジュール120は、色値読取モジュール110、色値格納モジュール130と接続されており、色値読取モジュール110によって読み取られた対象物の色の色値を算出する。つまり、色値読取モジュール110から受け取った色値を本実施の形態内又は色値出力モジュール170の出力先で処理を行いやすいような色空間に変換する。例えば、色値読取モジュール110の受け取る色値がRGBの色空間であり、これをYMCの色空間に変換等する。そして、変換後の色値を色値格納モジュール130へ渡す。
色値格納モジュール130は、色値算出モジュール120、計測モジュール125、色値作成モジュール140と接続されており、色値算出モジュール120によって算出された色値と読取時間計測モジュール124によって計測された時間情報とを複数の対象物毎に格納する。また、色値格納モジュール130は、色値算出モジュール120によって算出された色値と移動距離計測モジュール123によって計測された距離情報とを複数の対象物毎に格納する。例えば、メモリ等で構成されている。そして、色値作成モジュール140からのアクセスに応じて、記憶している色値及びそれに対応する時間情報又は距離情報を色値作成モジュール140へ渡す。
移動距離計測モジュール123は、色値読取モジュール110、色値格納モジュール130と接続されており、色値読取モジュール110での読み取りの際にその色値読取モジュール110の移動した距離を計測する。色値読取モジュール110が色値を読み取る距離を測るために例えば、特開平06−230897号公報記載の技術を利用してもよい。計測した距離を色値格納モジュール130へ渡す。
読取時間計測モジュール124は、色値読取モジュール110、色値格納モジュール130と接続されており、色値読取モジュール110での読み取った時間を計測する。ここでの計測する時間は、その色値の読み取り開始時刻から読み取り終了時刻までの間隔の時間である。計測した時間を色値格納モジュール130へ渡す。
なお、移動距離計測モジュール123、読取時間計測モジュール124は、いずれか一方だけを具備していてもよいし、その両方を組み合わせて具備していてもよい。また、その色値を読み取った距離又は時間において、「その色値」とは、同一の色値(ここでの同一の色値とは、同一又はこれに等価な色値を含む。以下同様。)を読み取っている距離又は時間である。
色値作成モジュール140は、色値格納モジュール130、色値補正モジュール160と接続されており、色値格納モジュール130に格納された複数の対象物の色値とその色値に対応する時間情報とに基づいて、色値を作成する。また、色値作成モジュール140は、色値格納モジュール130に格納された複数の対象物の色値とその色値に対応する距離情報とに基づいて、色値を作成する。つまり、色値格納モジュール130にアクセスして複数の色値及びその色値に対応する時間情報又は距離情報を読み取り、時間情報又は距離情報に応じて混合比率を決定し、その混合比率で複数の色値を混合させて、新しい色値を作成する。
補正値受付モジュール150は、色値補正モジュール160と接続されており、色値作成モジュール140によって作成された色値を補正するための情報を受け付け、その情報に基づいた補正値を色値補正モジュール160へ渡す。
色値補正モジュール160は、色値作成モジュール140、補正値受付モジュール150、色値出力モジュール170と接続されており、色値作成モジュール140によって作成された色値及び補正値受付モジュール150からの補正値を受け取り、その補正値に基づいて作成した色値を補正する。ここでの補正は、本実施の形態が出力する先の出力デバイスに合わせて適正な色値にするものである。そして、補正後の色値を色値出力モジュール170へ渡す。
さらに、補正値受付モジュール150、色値補正モジュール160について説明する。
色値読取モジュール110は、読み取りデバイスの特性に依存した値で測色する。同様に、測色した色を視覚的に同一、あるいは近似色として出力するためには出力デバイスの特性に合わせ変換してから出力する必要がある。
色値算出モジュール120は、色値読取モジュール110から受け取った色値を読み取りデバイスに依存しない色空間、例えばIEC61966−2−1で定義されるsRGBへ変換する。また、sRGB色空間へ変換された色値は、出力時に出力デバイスの特性に依存した色値へ変換する必要がある。色値補正モジュール160はこの変換を行う。
補正値受付モジュール150は、出力デバイスの指定を受け付ける。本実施の形態では、発光モジュール181、印字モジュール182、送信モジュール183の3つの出力先を選択できる構成であり、補正値受付モジュール150はそのいずれか又は組み合わせの指定を受け取り、指定された出力デバイスにあわせた補正値を色値補正モジュール160に渡す。そして、色値補正モジュール160は、補正値受付モジュール150から補正値を受け取り、出力デバイスにあわせた色値に補正する。
色値出力モジュール170は、色値補正モジュール160、発光モジュール181、印字モジュール182、送信モジュール183と接続されており、色値補正モジュール160から受け取った色値を発光モジュール181、印字モジュール182、送信モジュール183のうちのいずれか、又はこれらの組み合わせに出力する。
発光モジュール181は、色値出力モジュール170と接続されており、色値出力モジュール170から受け取った色値に基づいて発光する。色値に基づいて発光するとは、その色値と同一の色値になる光を発光することである。具体的には、その色値を再現するLight Emitting Diode(LED)を発光させること等が該当する。
印字モジュール182は、色値出力モジュール170と接続されており、色値出力モジュール170から受け取った色値に基づいて印字する。印字には、単にその色値と同一の色値のインク染料等を出力することを含む。具体的には、その色値を再現するインクジェット等によって印刷すること等が該当する。
送信モジュール183は、色値出力モジュール170と接続されており、色値出力モジュール170から受け取った色値を、通信媒体を介して他の情報処理装置に送信する。例えば、他の情報処理装置として、電子黒板装置等があり、その電子黒板装置では利用者の指定する位置に受信した色値を表示する。
図2は、本実施の形態を実現するにあたっての一つの構成例を示す説明図である。本実施の形態は色値読み取りペン220と彩色装置230から構成されている。
色値読み取りペン220内には色値読取モジュール110があり、彩色装置230内には色値算出モジュール120〜色値出力モジュール170があり、外部処理装置240内には発光モジュール181〜送信モジュール183が構成されている。
利用者は、印刷物210内の一部の領域の色値を色値読み取りペン220の先端にある色値読取モジュール110で読み取らせる。利用者によって、複数回この操作が行われる。色値読み取りペン220内の色値読取モジュール110は、操作の都度に、その領域の色値を読み取り、彩色装置230へ色値を渡す。
彩色装置230は、色値読み取りペン220が読み取った色値の変換、新しい色値の作成、補正等を行い、その結果を外部処理装置240へ渡す。
外部処理装置240は、彩色装置230から受け取った色値の処理を行う。具体的には、送信モジュール183を用いてその色値を扱うソフトウェアへ送信する。例えば、送信先が電子黒板に描画を行う描画ソフトウェア等である場合は、その後、色値読み取りペン220を用いて電子黒板上を触れた位置を検知し、その位置に受信した色値の画素を表示するようにしてもよい。また、発光モジュール181を用いてその色値を示すインジケータとして発光させるようにしてもよい。また、印字モジュール182を用いてその色値のインクをプリントノズルから出力するようにしてもよい。
図3は、本実施の形態を実現するにあたっての一つの構成例を示す説明図である。図2に示した構成例は、色値読み取りペン220、彩色装置230が別体に構成されているが、図3に示した構成例は、これを一つの可搬型の筐体である採色ペン300に含ませるようにしたものである。
採色ペン300は、CCD(Charge Coupled Device)311、色値変換モジュール312、メモリ313、色値作成モジュール320、補正モジュール331、補正値受付モジュール332、出力モジュール341、発光制御モジュール342、発光モジュール343、指示ボタン344、通信モジュール345、プリント制御モジュール346、プリントヘッド347、制御モジュール350を有している。
制御モジュール350は、採色ペン300全体の制御を行うものであり、例えば、指示ボタン344が利用者によって操作されたことを検知して出力モジュール341が色値を出力するタイミング等を制御する。
指示ボタン344は、利用者によって操作され、その操作は制御モジュール350又は動作検知モジュール322等に伝えられる。なお、この操作として、色値の読み取り操作開始、読み取り操作終了、作成した色値の送信開始、送信終了等がある。これらの操作の区別は、指示ボタン344を押す回数、指示ボタン344を回転させた位置等によって行ってもよい。
CCD311は、色値変換モジュール312と接続されており、CCD311が近接している印刷物301内の領域の色値を読み取る。読み取った色値を色値変換モジュール312へ渡す。
色値変換モジュール312は、CCD311、メモリ313と接続されており、CCD311から受け取った色値の色変換を行う。色変換を行った色値をメモリ313に記憶させる。
メモリ313は、色値変換モジュール312、色値作成モジュール320からアクセスされ、色値変換モジュール312によって色変換された色値を記憶し、その色値は色値作成モジュール320から読み取られる。
色値作成モジュール320は、メモリ313、補正モジュール331と接続されており、複数回の読み取り操作でメモリ313に記憶された色値に基づいて、新しい色値を作成して、その作成した色値を補正モジュール331へ渡す。
また、色値作成モジュール320は、色値作成処理モジュール321、動作検知モジュール322、計時モジュール323を有している。
動作検知モジュール322は、色値作成処理モジュール321と接続されており、指示ボタン344に対する操作を検知して、色値作成処理モジュール321による色値作成処理を行わせる。また、動作検知モジュール322は、色値読み取りの距離も計測して、メモリ313にその読み取った色値と対応させて距離情報を格納する。指示ボタン344が利用者によって読み取り開始操作されたことを検知し、それを1回の色値の読み取りとして判別する。複数回の読み取りがあった都度に、又は指示ボタン344が利用者によって読み取り終了操作されたことを検知したときに、色値作成処理モジュール321に対して、それまで読み取られた色値に基づいて、新しい色値を作成するように指示する。また、動作検知モジュール322は、採色ペン300全体を用いた動作(ジェスチャー)を検知するようにしてもよい。例えば、水平検知を行って採色ペン300の傾き角度を検知し、又は採色ペン300の動きを加速度から検知し、これらの検知した動作から色値の読み取り開始、読み取り終了等を判断するようにしてもよい。
計時モジュール323は、色値作成処理モジュール321と接続されており、動作検知モジュール322によって検知された動作の時間を計測して、メモリ313にその読み取った色値と対応させて時間情報を格納する。例えば、同一箇所で色値の読み取りが行われている時間を計測する。また、同一色値の読み取りが行われている時間を計測する。
色値作成処理モジュール321は、動作検知モジュール322、計時モジュール323と接続されており、動作検知モジュール322からの指示に基づいて、メモリ313内に記憶されている複数回の読み取り結果の色値及び距離情報又は時間情報に基づいて、新しい色値を作成する。色値の作成を行う際に用いる混合比率については後述する。
補正モジュール331は、色値作成モジュール320、補正値受付モジュール332、出力モジュール341と接続されており、色値作成モジュール320によって作成された色値を、補正値受付モジュール332から受け取った補正値に応じて補正する。その補正された色値を出力モジュール341へ渡す。
補正値受付モジュール332は、補正モジュール331と接続されており、色値の補正値を決定する情報を受け取り、その情報に対応する補正値を補正モジュール331へ渡す。この補正値は、色値を出力する先の出力デバイスに応じて定められるものである。また、補正値を決定する情報の代わりに、補正値そのものを受け取るようにしてもよい。例えば、色値を通信モジュール345によって外部の情報処理装置に送信する場合は、その情報処理装置から補正値を受け取るようにしてもよい。また、出力先がプリントヘッド347である場合は、プリント制御モジュール346からプリントヘッド347が出力する染料の性質に合わせた補正値を受け取るようにしてもよい。同様に、出力先が発光モジュール343である場合は、発光制御モジュール342から発光モジュール343の発光の色値に合わせた補正値を受け取るようにしてもよい。
出力モジュール341は、補正モジュール331、発光制御モジュール342、通信モジュール345、プリント制御モジュール346と接続されており、補正モジュール331から色値を受け取り、発光制御モジュール342、通信モジュール345、プリント制御モジュール346のいずれか、又はこれらの組み合わせへ出力する。
発光制御モジュール342は、出力モジュール341、発光モジュール343と接続されており、出力モジュール341から色値を受け取り、その色値に基づいて発光モジュール343を発光させる。
通信モジュール345は、出力モジュール341と接続されており、出力モジュール341から色値を受け取り、その色値を外部の情報処理装置に送信する。
プリント制御モジュール346は、出力モジュール341、プリントヘッド347と接続されており、出力モジュール341から色値を受け取り、その色値に基づいてプリントヘッド347を制御して印刷対象に印刷を行う。
図4は、本実施の形態の利用例を示す説明図である。
図4内の採色ペン300A、300B、300Cは、図3を用いて説明した採色ペン300であり、採色ペン300の経時的な状態を示したものである。
利用者の操作によって、電子黒板430に描く場合の採色ペン300(300C)の色として、物体410内の読み取り対象領域411(花びら)の色値と色チャート420内の色見本424の色値とに基づいて、新しい色値を作成する場合について説明する。
採色ペン300が物体410の一部である読み取り対象領域411の色値を読み取ることによって採色ペン300Aの状態になり、次に色チャート420内の色見本424の色値を読み取ることによって採色ペン300Bの状態になり、読み取った2つの色値に基づいて、新しい色値を作成することによって採色ペン300Cの状態になる。採色ペン300Aの状態は、読み取り対象領域411の色値を読み取ることによって発光モジュール343Aがその色値に発光する。同様に、採色ペン300Bの状態は、色見本424の色値を読み取ることによって発光モジュール343Bがその色値に発光する。そして、採色ペン300Cの状態は、読み取った2つの色値に基づいて、新しい色値を作成することによって発光モジュール343Cがその作成した色値に発光する。それぞれの読み取りの際に、利用者によって、採色ペン300の指示ボタン344に対する読み取り開始操作が行われる。そして、読み取り対象領域411及び色見本424の読み取りを終了した後に、利用者によって、指示ボタン344に対する読み取り終了操作が行われると、読み取り対象領域411を読み取った色値、色見本424を読み取った色値に基づいて、新しい色値を作成する。利用者は、発光モジュール343Cの発光色を確認して、電子黒板430に採色ペン300Cを用いて描画を行う。つまり、採色ペン300の通信モジュール345は、作成した色値を電子黒板430に送信し、電子黒板430内の描画ソフトウェアはその色値を受信して、電子黒板430上に作成した色値を有した線を描画する。
図5は、新しい色値の作成例を示す説明図である。つまり、色値作成処理モジュール321が2つの色値に基づいて、新しい色値を作成する際に用いる混合比率を求める場合について説明する。
図5内の採色ペン300D、300Eは、図3を用いて説明した採色ペン300であり、採色ペン300の経時的な状態を示したものである。
採色ペン300Dは、色見本511の色値を読み取る。その色値はCMYで表して(Ca,Ma,Ya)とする。また、読み取った際の読み取り領域512(図5内では、採色ペン300Dのペン先(CCD311)の軌跡として黒く表現しているが、読み取った色値は色見本511のものである)の距離情報、時間情報のいずれか一方又はそれらの組み合わせ(以下、距離情報等という)をAとする。同様に、採色ペン300Eは、色見本513の色値を読み取る。その色値は(Cb,Mb,Yb)とする。その読み取った際の読み取り領域514(図5内では、採色ペン300Eのペン先(CCD311)の軌跡として白く表現しているが、読み取った色値は色見本513のものである)の距離情報等をBとする。なお、採色ペン300D、300Eの発光モジュール343は、測色中はそれぞれ色見本511、513の色に発光する。
2つの色値に基づいて、新しい色値を作成した色値(C,M,Y)は、数1に示すようになる。つまり、混合比率は、読み取った色値の距離情報等に応じた値となる。より具体的には、複数の色値を読み取った距離情報等の合計に対する各色値を読み取った距離情報等の割合である。図5に示す例では、読み取り領域512の距離よりも読み取り領域514の距離の方が長いので、色見本511の色値(Ca,Ma,Ya)よりも色見本513の色値(Cb,Mb,Yb)の混合比率が高くなる。
Figure 0004539744
また、一般的に複数の色値(N色)に基づいて、新しい色値を作成する場合は、それぞれn番目の読み取った色値を数2のようにし、その色値を読み取った距離情報等をSnとすると、例えば、作成した色値のCは数3のように表すことができる。
Figure 0004539744
Figure 0004539744
読み取り距離及び読み取り時間の両方を用いて混合比率を求めてもよい。なお、読み取り距離は、動作検知モジュール322によって計測された距離を用い、読み取り時間は、計時モジュール323による計時結果を用いる。
図6は、本実施の形態による処理例を示すフローチャートである。この処理例は、採色ペン300が距離情報等の比率に応じて色値を作成するものである。
ステップS602では、採色ペン300のCCD311は、印刷物301の色値を読み取る。その色値は色値変換モジュール312で色変換され、メモリ313に記憶される。
ステップS604では、動作検知モジュール322は、指示ボタン344に対する読み取り終了操作を検知した場合はステップS606へ進み、それ以外の場合はステップS602へ戻る。
ステップS606では、計時モジュール323又は動作検知モジュール322は、ステップS602で読み取られた各色値の読み取り時間又は読み取り距離を計測し、その色値と対応させてメモリ313に記憶させる。
ステップS608では、色値作成処理モジュール321は、ステップS602で読み取られた各色値及びステップS606で計測された距離情報等に応じて、新しい色値を作成する。そして、その作成された色値を補正モジュール331が補正する。
ステップS610では、出力モジュール341は、ステップS608で作成され補正された色値を発光制御モジュール342等に出力する。
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図7に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、携帯端末である採色ペン300等を制御するコンピュータ等である。色値算出モジュール120、色値作成モジュール140、色値補正モジュール160等のプログラムを実行するCPU701と、そのプログラムや色値等のデータを記憶するRAM702と、本コンピュータを起動するためのプログラム等が格納されているROM703と、指示ボタン344等のデータを入力する入力装置706と、発光モジュール343等に該当する出力装置705と、外部の情報処理装置と接続するための通信モジュール345に該当する通信回線インタフェース707(例えばネットワークインタフェースカードを用いることができる)、そして、それらをつないでデータのやりとりをするためのバス708により構成されている。
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図7に示すハードウェア構成は、一つの構成例を示すものであり、本実施の形態は、図7に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えばASIC等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよい。
前記実施の形態においては、2つの色値に基づいて、新しい色値を作成する場合を主に示したが、3つ以上の色値に基づいて、新しい色値の作成を行ってもよい。
また、色を合成し続けると出力される色が黒に近づく(減色混合の場合)ので、色を薄めることができる濃淡調整モジュールとして、「白」を読み取り、合成するようにしてもよい。もちろん、色値読取モジュール110が濃淡調整モジュールとして機能してもよい。また、色値補正モジュール160が濃淡調整モジュールとして機能してもよい。つまり、色値補正モジュール160は、色値作成モジュール140が作成する色値が所定値以下の色値になった場合に、その色値を薄めるための補正値を用いて、色値を補正するようにしてもよい。なお、加色混合を用いた場合は、反対の処理を行う。
また、濃淡調整モジュールは、色値を読み取って合成する場合、色値出力モジュール170が出力する先の出力デバイス(発光モジュール181、印字モジュール182、送信モジュール183等)の特性が減色混合か加色混合かの情報を得て、そして、例えば、減色混合特性をもつ出力デバイス(プリンタなど)であれば、白色を加え輝度を上げるようにしてもよい。一方、加色混合特性を持つ出力デバイス(LEDやディスプレイなど)であれば、色を合成し続けると逆に白色に近づくので、輝度を下げるようにしてもよい。
なお、数式を用いて説明したが、数式には、その数式と同等のものを含めてもよい。同等のものとは、その数式そのものの他に、最終的な結果に影響を及ぼさない程度の数式の変形、又は数式をアルゴリズミックな解法で解くこと等が含まれる。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM)、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を実現するにあたっての一つの構成例を示す説明図である。 本実施の形態を実現するにあたっての一つの構成例を示す説明図である。 本実施の形態の利用例を示す説明図である。 新しい色値の作成例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
符号の説明
110…色値読取モジュール
120…色値算出モジュール
123…移動距離計測モジュール
124…読取時間計測モジュール
125…計測モジュール
130…色値格納モジュール
140…色値作成モジュール
150…補正値受付モジュール
160…色値補正モジュール
170…色値出力モジュール
181…発光モジュール
182…印字モジュール
183…送信モジュール
210…印刷物
220…色値読み取りペン
230…彩色装置
240…外部処理装置
300…採色ペン
301…印刷物
311…CCD
312…色値変換モジュール
313…メモリ
320…色値作成モジュール
321…色値作成処理モジュール
322…動作検知モジュール
323…計時モジュール
331…補正モジュール
332…補正値受付モジュール
341…出力モジュール
342…発光制御モジュール
343…発光モジュール
344…指示ボタン
345…通信モジュール
346…プリント制御モジュール
347…プリントヘッド
350…制御モジュール

Claims (7)

  1. 対象物の色を読み取る読取手段と、
    該読取手段によって読み取られた対象物の色の色値を算出する色値算出手段と、
    前記読取手段での読み取った時間を計測する読取時間計測手段と、
    該色値算出手段によって算出された色値と前記読取時間計測手段によって計測された前記読取手段での読み取りに要した時間の時間情報とを複数の対象物毎に格納する色値格納手段と、
    該色値格納手段に格納された複数の対象物の色値と前記時間情報とに基づいて、色値を作成する色値作成手段と、
    前記色値作成手段によって作成された色値を出力する色値出力手段
    を具備することを特徴とする画像処理装置。
  2. 対象物の色を読み取る読取手段と、
    該読取手段によって読み取られた対象物の色の色値を算出する色値算出手段と、
    前記読取手段での読み取りの際に読取手段の移動した距離を計測する移動距離計測手段と、
    該色値算出手段によって算出された色値と前記移動距離計測手段によって計測された前記読取手段での読み取りに要した距離の距離情報とを複数の対象物毎に格納する色値格納手段と、
    該色値格納手段に格納された複数の対象物の色値と前記距離情報とに基づいて、色値を作成する色値作成手段と、
    前記色値作成手段によって作成された色値を出力する色値出力手段
    を具備することを特徴とする画像処理装置。
  3. 対象物の色を読み取る可搬型の読取手段と、
    該読取手段によって読み取られた対象物の色の色値を算出する色値算出手段と、
    前記読取手段での読み取った時間を計測する読取時間計測手段と、
    該色値算出手段によって算出された色値と前記読取時間計測手段によって計測された前記読取手段での読み取りに要した時間の時間情報とを複数の対象物毎に格納する色値格納手段と、
    該色値格納手段に格納された複数の対象物の色値と前記時間情報とに基づいて、色値を作成する色値作成手段と、
    前記色値作成手段によって作成された色値を出力する色値出力手段
    を具備することを特徴とする画像処理システム。
  4. 対象物の色を読み取る可搬型の読取手段と、
    該読取手段によって読み取られた対象物の色の色値を算出する色値算出手段と、
    前記読取手段での読み取りの際に読取手段の移動した距離を計測する移動距離計測手段と、
    該色値算出手段によって算出された色値と前記移動距離計測手段によって計測された前記読取手段での読み取りに要した距離の距離情報とを複数の対象物毎に格納する色値格納手段と、
    該色値格納手段に格納された複数の対象物の色値と前記距離情報とに基づいて、色値を作成する色値作成手段と、
    前記色値作成手段によって作成された色値を出力する色値出力手段
    を具備することを特徴とする画像処理システム。
  5. 画像処理装置を、
    対象物の色を読み取る読取手段と、
    該読取手段によって読み取られた対象物の色の色値を算出する色値算出手段と、
    前記読取手段での読み取った時間を計測する読取時間計測手段と、
    該色値算出手段によって算出された色値と前記読取時間計測手段によって計測された前記読取手段での読み取りに要した時間の時間情報とを複数の対象物毎に格納する色値格納手段と、
    該色値格納手段に格納された複数の対象物の色値と前記時間情報とに基づいて、色値を作成する色値作成手段と、
    前記色値作成手段によって作成された色値を出力する色値出力手段
    として機能させることを特徴とする画像処理プログラム。
  6. 画像処理装置を、
    対象物の色を読み取る読取手段と、
    該読取手段によって読み取られた対象物の色の色値を算出する色値算出手段と、
    前記読取手段での読み取りの際に読取手段の移動した距離を計測する移動距離計測手段と、
    該色値算出手段によって算出された色値と前記移動距離計測手段によって計測された前記読取手段での読み取りに要した距離の距離情報とを複数の対象物毎に格納する色値格納手段と、
    該色値格納手段に格納された複数の対象物の色値と前記距離情報とに基づいて、色値を作成する色値作成手段と、
    前記色値作成手段によって作成された色値を出力する色値出力手段
    として機能させることを特徴とする画像処理プログラム。
  7. 前記読取時間計測手段は、同一箇所で前記読取手段による色値の読み取りが行われている時間を計測すること又は該読取手段による同一色値の読み取りが行われている時間を計測すること
    を特徴とする請求項1に記載の画像処理装置。
JP2008072834A 2008-03-21 2008-03-21 画像処理装置、画像処理システム及び画像処理プログラム Expired - Fee Related JP4539744B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008072834A JP4539744B2 (ja) 2008-03-21 2008-03-21 画像処理装置、画像処理システム及び画像処理プログラム
US12/209,849 US8055068B2 (en) 2008-03-21 2008-09-12 Image processing apparatus and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008072834A JP4539744B2 (ja) 2008-03-21 2008-03-21 画像処理装置、画像処理システム及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2009230298A JP2009230298A (ja) 2009-10-08
JP4539744B2 true JP4539744B2 (ja) 2010-09-08

Family

ID=41088991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008072834A Expired - Fee Related JP4539744B2 (ja) 2008-03-21 2008-03-21 画像処理装置、画像処理システム及び画像処理プログラム

Country Status (2)

Country Link
US (1) US8055068B2 (ja)
JP (1) JP4539744B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4539744B2 (ja) * 2008-03-21 2010-09-08 富士ゼロックス株式会社 画像処理装置、画像処理システム及び画像処理プログラム
US8860548B2 (en) * 2009-04-02 2014-10-14 Devecka Enterprises, Inc. Methods and apparatus for art supply useage compliance
CN106304496B (zh) * 2010-03-26 2021-12-10 昕诺飞控股有限公司 向照明单元的光施加动态颜色方案的方法
CN103926998B (zh) * 2013-01-14 2017-03-01 联想(北京)有限公司 一种处理方法及电子设备
KR102292619B1 (ko) 2014-01-23 2021-08-23 삼성전자주식회사 색상 생성 방법 및 그에 따른 장치, 그에 따른 시스템
US9436296B2 (en) * 2014-08-12 2016-09-06 Microsoft Technology Licensing, Llc Color control
CN106293139A (zh) * 2015-05-19 2017-01-04 名硕电脑(苏州)有限公司 具颜色撷取功能的电子笔
CN106997246A (zh) * 2016-01-26 2017-08-01 和硕联合科技股份有限公司 绘图触控笔
KR102323488B1 (ko) * 2017-04-04 2021-11-09 한국전자통신연구원 디지털 그림 그리기 장치 및 디지털 그림 그리기 방법
US11815968B2 (en) * 2017-12-14 2023-11-14 Societe Bic Stylus for a touchscreen
EP3499346A1 (en) * 2017-12-14 2019-06-19 Société BIC Active stylus
JP2023053705A (ja) * 2021-10-01 2023-04-13 ソニーセミコンダクタソリューションズ株式会社 スタイラス

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4884221A (en) * 1986-04-14 1989-11-28 Minolta Camera Kabushiki Kaisha Color measuring apparatus
US5638183A (en) * 1989-05-10 1997-06-10 Canon Kabushiki Kaisha Image forming apparatus with selectively controlled resolution
JPH06230897A (ja) 1993-02-01 1994-08-19 Fuji Xerox Co Ltd 位置指示装置
JP3363551B2 (ja) * 1993-10-01 2003-01-08 三洋電機株式会社 描画エディタ装置及びカラー指定方法
JP3463893B2 (ja) * 1994-08-22 2003-11-05 株式会社リコー 画像処理装置
JPH09128518A (ja) * 1995-10-31 1997-05-16 Casio Comput Co Ltd カラー画像出力装置
DE10216669B4 (de) * 2002-04-15 2007-10-18 Best Gmbh Druckvorrichtung und Verfahren zum Betreiben einer Druckvorrichtung
US20060227241A1 (en) * 2005-04-06 2006-10-12 Dyke Phil V Apparatus and method for adjusting colors of an image
US8401304B2 (en) * 2007-07-27 2013-03-19 Sportvision, Inc. Detecting an object in an image using edge detection and morphological processing
US8120824B2 (en) * 2007-11-13 2012-02-21 Konica Minolta Business Technologies, Inc. Image forming apparatus and image forming method
JP4539744B2 (ja) * 2008-03-21 2010-09-08 富士ゼロックス株式会社 画像処理装置、画像処理システム及び画像処理プログラム
JP4720894B2 (ja) * 2008-10-30 2011-07-13 ブラザー工業株式会社 画像形成システム
JP5652022B2 (ja) * 2009-08-07 2015-01-14 株式会社リコー 色材量決定テーブル作成方法および色材量計測装置

Also Published As

Publication number Publication date
JP2009230298A (ja) 2009-10-08
US8055068B2 (en) 2011-11-08
US20090238451A1 (en) 2009-09-24

Similar Documents

Publication Publication Date Title
JP4539744B2 (ja) 画像処理装置、画像処理システム及び画像処理プログラム
US8576442B2 (en) Color coefficient apparatus, color reproduction device, and computer readable medium storing program
JP5344518B2 (ja) 画像処理方法および画像処理装置
US20110176157A1 (en) Print information managing apparatus, print information managing method, print information managing system, and recording medium with program recorded therein
US7843605B2 (en) Color processing apparatus and method thereof
JP2010034683A (ja) 画像処理装置及びプログラム
EP2306701A1 (en) Printing apparatus and calibration method
JP2010157920A (ja) 情報処理装置、方法、及び、プログラム
JP2019029826A (ja) 画像処理装置、画像処理方法及びプログラム
JP2008028679A (ja) 色変換テーブル生成方法、色変換テーブル及び色変換テーブル生成装置
JP2009278362A (ja) プロファイル作成方法及びプロファイル作成装置
CN103209285A (zh) 图像数据生成装置及方法、图像处理装置及方法与系统
US9349082B2 (en) Recording data generation apparatus, recording system, program, recording data generation method and image data display method
JP4401853B2 (ja) 画像処理装置およびその方法
JP2019205104A (ja) 情報処理装置、情報処理方法及びプログラム
JP2003250045A (ja) プリンタ更正装置及びその制御方法
JP5983166B2 (ja) 画像処理装置及び画像処理プログラム
JP2009159050A (ja) 情報処理装置、情報処理方法、及びプログラム
JP5043511B2 (ja) 色処理装置および方法
JP2010213120A (ja) 画像処理装置および画像処理方法
JP5845670B2 (ja) 情報画像処理装置、画像処理装置及び画像処理プログラム
JP2009296168A (ja) 画像処理装置、画像処理方法及びプログラム
JP2007110651A (ja) 画像処理装置及び画像処理方法並びにプログラム
JP2005210365A (ja) 画像データ補間装置、画像データ補間方法および画像データ補間プログラム。
JP2009004863A (ja) プロファイル作成方法及びプロファイル作成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100601

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100614

R150 Certificate of patent or registration of utility model

Ref document number: 4539744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130702

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140702

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees