JP4389728B2 - 画像形成装置、画像選択画面生成方法、及びプログラム - Google Patents

画像形成装置、画像選択画面生成方法、及びプログラム Download PDF

Info

Publication number
JP4389728B2
JP4389728B2 JP2004250940A JP2004250940A JP4389728B2 JP 4389728 B2 JP4389728 B2 JP 4389728B2 JP 2004250940 A JP2004250940 A JP 2004250940A JP 2004250940 A JP2004250940 A JP 2004250940A JP 4389728 B2 JP4389728 B2 JP 4389728B2
Authority
JP
Japan
Prior art keywords
subject
image
image data
screen
subjects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004250940A
Other languages
English (en)
Other versions
JP2006067512A (ja
Inventor
諭 津田
雅之 栗本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2004250940A priority Critical patent/JP4389728B2/ja
Publication of JP2006067512A publication Critical patent/JP2006067512A/ja
Application granted granted Critical
Publication of JP4389728B2 publication Critical patent/JP4389728B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像データに含まれる被写体を一意に識別する情報(以下、「被写体ID」という)が画像データの付帯情報に記録されている場合に、被写体IDを用いて画像を選択する技術に関する。尚、本明細書において「被写体」とは、人物には限らず、撮影の対象となり得るあらゆる物体を指すものとする。
近年、我々の周りには写真等の画像が溢れている。その要因の1つとして、デジタルカメラ(デジタルカメラとして機能する携帯電話等を含む)の急速な普及が挙げられる。
銀塩カメラでは、感光剤としてハロゲン化銀を用いたフィルムに画像を記録するため、一旦撮影した画像を後で削除することはできない。これに対し、デジタルカメラでは、デジタルデータとして画像を記録するため、撮影に失敗する可能性があったとしてもとりあえず撮影しておき、失敗した場合は後で削除するということも可能である。また、永久保存するかどうか判断に迷う画像については、とりあえずPC(Personal Computer)等に移しておき、後で削除するか保存するかを判断することもよくある。このように我々の意識も銀塩カメラを用いる場合とは大きく異なってきており、その結果、多くの画像がデジタルカメラの中、記録媒体の中、PCのハードディスクの中等に散乱する状況が生じているのである。そして、このように画像が散乱してくると、画像の取り扱い効率の向上が求められるようになってくる。
かかる画像の取り扱い効率の向上が特に要求される場面について具体的に説明する。
例えば、結婚式の披露宴、アーティストの握手会、子供の運動会等において、専属のカメラマンによる撮影サービスが広く行われている。このような撮影サービスにおいて撮影した画像は、後日郵送等する手間を省くため、行事の終了後、即時に分類し配布することが望ましい。しかし、専属カメラマンは、画像に写っている人物との面識がないため、そのような分類、配布の作業は非常に困難である。従って、このような分類、配布が容易に行えるよう、画像の取り扱い効率を向上させることが要求される。
こうした要求に応じ、披露宴の列席者の画像データをテーブル番号と関連付けて記憶し、画像プリントシステムでのプリント時に、列席者の縮小画像上にテーブル番号を表示する方式が提案されている(例えば、特許文献1参照。)。
特開2000−216989号公報(第10−12頁、第24、25図)
しかしながら、特許文献1の発明では、画像プリントの操作性は、テーブル番号の順にプリントしていく場合において向上するのみである。特定の被写体に着目し、その被写体が写っている画像のみを抽出してプリントしようとしても、その操作性を向上することができないという問題点があった。
また、特許文献1の発明では、披露宴における座席の座席コードとその座席に座っている列席者の画像データとを対応付けて記憶することも記載されてはいるが、座席コードも、このような特定の被写体に着目した画像プリントの操作性を向上させるために用いられているわけではない。
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的は、特定の被写体が写っている画像をプリントする際の操作性を向上することにある。
また本発明の他の目的は、特定の被写体が写っている画像をプリントする際の操作性を向上するための画像選択画面を作成することにある。
かかる目的のもと、本発明は、特定の被写体が写っている画像を選択するために被写体の一覧情報を表示するようにしている。即ち、本発明の画像形成装置は、所定の画像データ群に含まれる複数の被写体を、その画像データ群における個々の画像データに含まれる被写体を識別することにより特定する被写体特定部と、この被写体特定部により特定された複数の被写体の一覧情報を表示する表示部と、画像データ群における個々の画像データのうち、表示部により表示された一覧情報の中から選択された特定の被写体を含む所定の画像データを取得する画像データ取得部と、この画像データ取得部により取得された画像データを用いて画像形成を行う画像形成部とを備えている。
また、本発明は、特定の被写体が写っている画像の中からプリント対象の画像を選択するための画面を生成する方法として捉えることもできる。その場合、本発明の画像選択画面生成方法は、所定の画像データ群における個々の画像データと、個々の画像データに含まれる少なくとも1つの被写体のIDとの対応情報を記憶するステップと、個々の画像データに含まれる少なくとも1つの被写体のIDに基づいて、画像データ群に含まれる複数の被写体の一覧情報を生成するステップと、生成された一覧情報を表示するステップと、表示された一覧情報の中から選択された特定の被写体のIDに対応する画像データを、対応情報を参照することにより特定するステップと、特定された画像データの中から特定の画像データを選択するための画面を生成するステップとを含んでいる。
更に、本発明は、所定の機能をコンピュータに実現させるためのコンピュータプログラムとして捉えることもできる。その場合、本発明のプログラムは、コンピュータに、所定の画像データ群における個々の画像データと、個々の画像データに含まれる少なくとも1つの被写体のIDとの対応情報を記憶する機能と、個々の画像データに含まれる少なくとも1つの被写体のIDに基づいて、画像データ群に含まれる複数の被写体の一覧情報を生成する機能と、生成された一覧情報の中から選択された特定の被写体のIDに対応する画像データを、対応情報を参照することにより特定する機能と、特定された画像データの中から特定の画像データを選択するための画面を生成する機能とを実現させる。
本発明によれば、特定の被写体が写っている画像をプリントする際の操作性を向上することが可能となる。
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
図1(a)〜(c)は、本実施の形態が適用される画像形成装置10の概要と、画像形成装置10の入出力装置40に表示される画面の例を示した図である。図1(a)は画像形成装置10の外観を、図1(b)は待機表示画面の一例を、図1(c)は写真プリント操作画面の一例を示している。
図1(a)に示すように、本実施の形態が適用される画像形成装置10は、入力された画像データを用紙に展開して印刷する装置本体20と、画像形成装置10の有する各種機能の選択をユーザに対して可能にするとともに画像形成装置10の操作パネルとして用いられる入出力装置40とを備えている。また、接続された外部機器などから受信した画像を処理する処理装置30と、外部機器と接続される通信手段として機能する通信装置50とを備えている。
装置本体20は、例えば電子写真方式を用いて、入力された画像データに基づきトナー像を形成してフルカラーのプリント画像を得るプリンタとして機能する。また、スキャナを備え、このスキャナにより読み取られた画像データを出力するデジタル複写機としても機能する。更には、通信装置50を介して電話回線に接続されスキャン画像データの送受信と受信した画像データを出力するファクシミリとしても機能させることができる。このように、従来からある複合機として機能すると共に、装置本体20は、例えばデジタルカメラ(デジタルカメラとして機能する携帯電話等を含む)によって撮影された撮影画像を写真プリントする写真プリント装置として機能している。この写真プリント装置として機能させるために、装置本体20では、通常のトナー像形成に加えて、他の高画質化処理が行われる。また、例えば透明トナーなどを付加して光沢度(グロス)を向上させるなどにより、銀塩写真フィルムを用いた場合と同等レベルの写真プリントの出力を可能としている。
この装置本体20を含む画像形成装置10は、入出力装置40を用いたデータ端末としても利用される。より具体的には、例えば処理装置30にブラウザとしての機能を備え、通信装置50を介してインターネット等のネットワークに接続され、各種サービスを提供するサーバと接続される。ユーザは、入出力装置40に表示された機能を選択してサイトにアクセスし、例えば航空券のチケット予約や保険の申し込み、カタログギフトの購入等を行うことが可能である。また、コンビニエンスストアの端末として、弁当の予約等を行うことも可能である。このように、画像形成装置10は、複写機、プリンタ、ファクシミリの機能を備えた、従来のマルチファンクション機としての機能の他に、データ端末などの機能を含む多機能型(複合型)画像形成装置として構成されている。
入出力装置40は、例えば液晶ディスプレイ(LCD)等のディスプレイを備えている。ディスプレイの表面には、例えばタッチパネルを形成し、ユーザインタフェースとしての入力機能も備えることも可能である。タッチパネルの機能を備えていない場合には、例えば装置本体20の上面などに別に入力パネル(図示せず)やポインティングデバイス等を設け、入出力装置40に対するユーザからの操作入力を可能とするように構成することもできる。
入出力装置40のディスプレイに表示される画面表示としては、例えば、図1(b)に示す待機表示画面や、図1(c)に示す写真プリント操作画面等がある。図1(b)に示す待機表示画面では、機能表示のための文字列41や、企業広告や商品宣伝広告等の広告42が表示されている。ユーザは、文字列41の中から特定の機能を選択することにより、その機能特有の画面に移行させることができる。一方、その機能特有の画面の一つとして、図1(c)に示す写真プリント操作画面では、注意書き43と、ユーザ選択ボタン44とが表示される。
処理装置30は、パーソナルコンピュータ(PC)やサーバ等のコンピュータ装置であり、各種記憶媒体からデータを読み取るドライブ装置を備えている。また、通信装置50を介して例えばインターネットに接続されている場合には、例えば通信装置50に接続されているデジタルカメラ等の機器最新情報を、このインターネットを介して取得することが可能である。
通信装置50は、例えばケーブルを備え、このケーブルに接続される機器の情報や画像データを取得できる。また、処理装置30からの命令を、ケーブルに接続される機器に送信できる双方向通信を可能としている。利用できるインタフェース規格としては、USB(Universal Serial Bus)、IEEE1394(Institute of Electrical and Electronic Engineers1394)、SCSI(Small Computer System Interface)等である。ケーブルを有する場合の他、これらのデータ伝送方法が利用できるインタフェースコネクタを有するだけの構成とすることも可能である。尚、通信装置50のケーブルは、ユーザの選別を容易にするために、例えば通信機能毎に色分けがなされたり、また、機器を接続する端子部にUSBやIEEE1394などの名称が書かれたタックが付加されていることが好ましい。
次に、本実施の形態の前提条件について説明する。
図2に、デジタルカメラで撮影して得られた画像ファイルのフォーマットの一例を示す。これは、Exif(Exchangeable Image File Format)規格による画像ファイルのフォーマットを示したものであり、撮影日時、撮影条件(露光、絞り)、サムネイル画像等の付帯情報が、画像データと共に保存されている。尚、Exifとは、富士写真フィルム株式会社が提唱し、JEIDA(日本電子工業振興協会)によって標準化されているデジタルカメラ用の画像ファイルの規格である。
このExif規格においては、デジタルカメラのメーカ側で任意に使用できる領域が付帯情報中に用意されている。従って、本実施の形態では、図2に示すように、被写体を一意に識別するための被写体IDをこの領域に記録することを前提とする。尚、付帯情報への被写体IDの記録は、例えば、特願2004−238295に記載したような方法を用いて行うことができる。
以下、この被写体IDを用いて画像を選択する場合の具体的な実施の形態を述べる。
(第1の実施の形態)
第1の実施の形態は、付帯情報に記録された被写体IDをそのまま被写体を選択するための選択肢として表示するものである。
まず、本実施の形態を実現するための機能について説明する。
図3に示すように、処理装置30は、データ取得部31と、リスト作成部32と、リスト記憶部33と、項目選択画面生成部34と、被写体選択画面生成部35と、画像選択画面生成部36と、画面出力部37と、選択入力受付部38と、画像出力部39とを備える。
データ取得部31は、記録媒体又はデジタルカメラから付帯情報又は画像データを取得する機能部分であり、付帯情報の取得に着目すれば「付帯情報取得部」として、画像データの取得に着目すれば「画像データ取得部」として把握することが可能である。リスト作成部32は、取得した付帯情報に基づいて画像ファイル名と付帯情報とのリストを作成する機能部分であり、リスト記憶部33は、そのリストを記憶する機能部分である。
項目選択画面生成部34は、リスト中の付帯情報に含まれる項目の中から検索に用いる項目を選択するための画面(以下、「項目選択画面」という)を生成する機能部分である。被写体選択画面生成部35は、リスト中の付帯情報により特定される被写体の中から着目する被写体を選択するための画面(以下、「被写体選択画面」という)を生成する機能部分であり、リストにて管理される画像データ群に含まれる被写体を特定するという観点から「被写体特定部」として把握することも可能である。また、画像選択画面生成部36は、選択された被写体が写っている画像の中からプリント対象の画像を選択するための画面(以下、「画像選択画面」という)を生成する機能部分である。
画面出力部37は、項目選択画面生成部34が生成した項目選択画面、被写体選択画面生成部35が生成した被写体選択画面、及び、画像選択画面生成部36が生成した画像選択画面を入出力装置40に出力する機能部分であり、選択入力受付部38は、入出力装置40に表示されたこれらの画面上での選択入力を受け付ける機能部分である。また、画像出力部39は、選択された画像をデータ取得部31を介して取得し装置本体20に対し画像を出力する機能部分である。
尚、これらの機能部分は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、処理装置30のCPUが、データ取得部31、リスト作成部32、項目選択画面生成部34、被写体選択画面生成部35、画像選択画面生成部36、画面出力部37、選択入力受付部38、画像出力部39を実現するプログラムを外部記憶装置から主記憶装置に読み込み、外部記憶装置としてのリスト記憶部33に記憶された情報を必要に応じて参照しながら処理を行う。
次に、図4を参照して、かかる構成を有する処理装置30を含む画像形成装置10の動作を説明する。
まず、画像形成装置10は、記録媒体が挿入されるか、又は、デジタルカメラがケーブル等を介して接続されると、付帯情報検索による画像選択を行うかどうかの選択画面を入出力装置40に表示する(ステップ301)。或いは、従来のようにファイル順にサムネイルを表示する画面の隅に、この選択画面への移行を指示するためのボタンを設け、サムネイルを表示中にこのボタンが押下された場合に、この選択画面に切り替わるようにしてもよい。
画像形成装置10は、この選択画面上で「付帯情報を検索する」が選択されたかどうかを判定する(ステップ302)。その結果、「付帯情報を検索する」以外が選択されたと判定された場合は、他の方法による画像選択が行われる。一方、「付帯情報を検索する」が選択されたと判定された場合は、データ取得部31が、記録媒体又はデジタルカメラから付帯情報を読み込み(ステップ303)、リスト作成部32が、画像ファイル名と付帯情報とのリストを作成し、リスト記憶部33に記憶する(ステップ304)。例えば、図5に示すようなリストが作成され、記憶される。
そして、項目選択画面生成部34が、リスト記憶部33に記憶されたリスト中の付帯情報に含まれる項目を抽出して項目選択画面を生成し、画面出力部37が、この項目選択画面を入出力装置40に出力する(ステップ305)。これにより、入出力装置40は、項目選択画面を表示する。図5では省略しているが、リスト中の付帯情報の「日時」と「被写体ID」の間に「露出」、「絞り」、「シーン」という項目があったとすると、例えば、図6(a)に示すような項目選択画面が表示される。
その後、ユーザが検索を行うのに用いる項目を選択すると、選択入力受付部38が、選択された項目を特定する(ステップ306)。そして、検索を行うのに用いる項目として、被写体IDが選択されたかどうかを判定する(ステップ307)。その結果、被写体ID以外が選択されたと判定された場合は、他の項目による画像選択が行われる。一方、被写体IDが選択されたと判定された場合は、被写体選択画面生成部35が、リスト記憶部33に記憶されたリストから、記録されている被写体IDを抽出して被写体選択画面を生成し、画面出力部37が、この被写体選択画面を入出力装置40に出力する(ステップ308)。これにより、入出力装置40は、被写体選択画面を表示する。この場合、複数の画像データに対して記録されている同じ被写体IDは、被写体選択画面上では、1つに集約して表示する。図5のリスト中の付帯情報に登場する被写体IDは、「1」、「2」、「3」、「4」、「5」なので、例えば、図6(b)に示すような被写体選択画面が表示される。尚、図6(b)では、各被写体IDを「No.」を付した形式で表記している。
次に、ユーザが着目する被写体の被写体IDを選択すると、選択入力受付部38が、選択された被写体IDを特定する(ステップ309)。そして、画像選択画面生成部36が、リスト記憶部33に記憶されたリストを参照することにより、その被写体IDが記録されている画像ファイル名を取得し、これらの画像ファイル名に対応するサムネイル(縮小画像)を抽出して画像選択画面を生成する。そして、画面出力部37が、この画像選択画面を入出力装置40に出力する(ステップ310)。例えば、図5のリストがリスト記憶部33に記憶されている場合において、図6(b)の被写体選択画面から被写体ID「2」が選択されたとする。その場合は、被写体ID「2」が記録された画像ファイルは「DSCF0001」、「DSCF0005」、「DSCF0007」、「DSCF0008」なので、例えば、図7のような画像選択画面が表示される。
その後、ユーザがプリントしたい画像を選択すると、選択入力受付部38が、選択された画像を特定する(ステップ311)。これにより、画像出力部39は、データ取得部31に対し、選択された画像データの取得を要求する。そして、データ取得部31から画像データが渡されると、画像処理を行い(ステップ312)、装置本体20に対し画像プリントを指示する(ステップ313)。尚、ここでは、選択入力受付部38が選択された画像を特定してから、データ取得部31が画像データを取得するようにしたが、ユーザが画像選択画面上で選択している間に、バックグラウンドで画像データを先読みするようにしてもよい。
尚、本実施の形態では、画像選択画面に表示するサムネイルは、画像データに付帯する付帯情報から取得することとした。しかしながら、付帯情報にサムネイルが記録されていない場合等は、データ取得部31に対し画像データの取得を指示し、その取得された画像データからサムネイルを生成するように構成してもよい。
以上述べたように、本実施の形態によれば、着目する被写体の被写体IDを指定することにより、その被写体を含む画像のみを表示するようにできるので、プリント対象の画像を選択することが容易になる。
尚、ステップ305で、項目選択画面に全ての項目を表示すると、ユーザによる選択に時間がかかってしまう場合がある。従って、項目ごとに複数の値が記録されているかどうかを調べ、複数の値が記録されている項目のみを項目選択画面に表示するようにしてもよい。例えば、記録媒体中の複数の画像ファイルの付帯情報において、撮影機種や日付けは全て同じで、露出のみが異なる場合、項目選択画面には、撮影機種や日付けは表示せず、露出のみを表示するようにする。これにより、ブランケット撮影等の露出を段階的に変えた撮影により得られた画像ファイルから、一定の露出条件の画像ファイルのみを容易に表示することができる。
(第2の実施の形態)
上述した第1の実施の形態では、被写体選択画面に表示される選択肢が被写体IDのみであるので、ユーザは、撮影時に画像ファイルに付帯させた被写体IDを覚えておかなければ、どの人物がどの被写体IDに対応するのか分からないという問題がある。従って、この第2の実施の形態では、被写体を選択するための選択肢として、その被写体が写っている画像のサムネイルを採用することとした。このサムネイルとしては、対象とする被写体が写っているどの画像のサムネイルを採用してもよいが、次のようなサムネイルの表示方法であれば、更に効果的である。
まず、画像ファイル名と付帯情報とのリストから被写体IDが1つだけ記録されている画像、即ち、被写体が1人で写っている画像を選択して表示するという方法である。これにより、サムネイルが、どの被写体に対応する選択肢であるかが一目瞭然に分かり、画像選択の効率化が図れる。
また、1人で写っている画像がない被写体については、数人で写っている画像を複数選択し、それらを合わせてその被写体に対応する選択肢とする方法も考えられる。これにより、サムネイルが、複数の画像に共通に写っている被写体に対応する選択肢であることが分かり、上記同様、画像選択の効率化が図れる。
まず、以上のような方法を実現するための機能について説明する。
図8に示すように、処理装置30は、データ取得部31と、リスト作成部32と、リスト記憶部33と、被写体選択画面生成部35と、画像選択画面生成部36と、画面出力部37と、選択入力受付部38と、画像出力部39とを備える。
全ての機能部分の大まかな動作は、第1の実施の形態で述べたもの同様であるので、説明を省略する。但し、被写体選択画面生成部35については、詳細な動作が第1の実施の形態とは異なる。これについては、動作の説明において詳しく述べる。
尚、これらの機能部分は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、処理装置30のCPUが、データ取得部31、リスト作成部32、被写体選択画面生成部35、画像選択画面生成部36、画面出力部37、選択入力受付部38、画像出力部39を実現するプログラムを外部記憶装置から主記憶装置に読み込み、外部記憶装置としてのリスト記憶部33に記憶された情報を必要に応じて参照しながら処理を行う。
次に、図9を参照して、かかる構成を有する処理装置30を含む画像形成装置10の動作を説明する。
まず、画像形成装置10は、記録媒体が挿入されるか、又は、デジタルカメラがケーブル等を介して接続されると、付帯情報検索による画像選択を行うかどうかの選択画面を入出力装置40に表示する(ステップ321)。或いは、従来のようにファイル順にサムネイルを表示する画面の隅に、この選択画面への移行を指示するためのボタンを設け、サムネイルを表示中にこのボタンが押下された場合に、この選択画面に切り替わるようにしてもよい。
画像形成装置10は、この選択画面上で「付帯情報を検索する」が選択されたかどうかを判定する(ステップ322)。その結果、「付帯情報を検索する」以外が選択されたと判定された場合は、他の方法による画像選択が行われる。一方、「付帯情報を検索する」が選択されたと判定された場合は、データ取得部31が、記録媒体又はデジタルカメラから付帯情報を読み込み(ステップ323)、リスト作成部32が、画像ファイル名と付帯情報とのリストを作成し、リスト記憶部33に記憶する(ステップ324)。例えば、図5に示すようなリストが作成され、記憶される。
ところで、本実施の形態においては、付帯情報検索による画像選択がそのまま被写体IDによる画像選択を意味することとし、項目選択画面は表示しない。従って、次に、被写体選択画面生成部35が、リスト記憶部33に記憶されたリストから、記録されている被写体IDを抽出して被写体選択画面を生成し、画面出力部37が、この被写体選択画面を入出力装置40に出力する(ステップ325)。
尚、上述したように、被写体選択画面に選択肢として被写体IDのみを表示したのでは、各選択肢がどの被写体を示しているかの判別が困難である。そこで、本実施の形態では、各選択肢がどの被写体を示しているかの判別を容易にするために特別な構成を採用している。具体的には、次のような構成である。
第一に、各被写体を含む任意の画像データのサムネイルを選択肢として表示する構成である。即ち、ある被写体を示す選択肢として、その被写体が写っている画像の中から任意に選択した画像のサムネイルを表示するというものである。被写体が1人で写っている画像が多い場合や、一部の被写体の被写体IDをユーザが把握している場合等は、かかる構成でも、画像選択の効率の向上が十分に期待できる。
第二に、1つの被写体IDだけが付帯情報に記録されている画像、つまり、被写体が1人で写っている画像のサムネイルを選択肢として表示する構成である。
図5のリストがリスト記憶部33に記憶されている場合であれば、例えば、図10に示すような被写体選択画面が表示される。即ち、図5に示すように、被写体ID「2」、「4」の被写体は、それぞれ、画像「DSCF0005」、「DSCF0002」において1人で写っているので、図10では、これらの画像のサムネイルが選択肢として表示されているのである。尚、被写体ID「4」の被写体は、画像「DSCF0006」にも1人で写っているが、かかる場合は、任意の規則によりいずれかの画像を選択すればよい。
一方、被写体ID「1」、「3」、「5」の被写体については、1人で写っている画像はないので、いかなる画像も選択肢として表示されていない。或いは、これらの被写体については、複数人で写っている画像の中から任意のものを選択して表示するようにしてもよい。
第三に、1つの被写体IDだけが付帯情報に記録されている画像がない被写体、つまり、1人で写っている画像がない被写体については、その被写体の被写体IDを含むn個の被写体IDが付帯情報に記録された画像をn個組み合わせて選択肢として表示する構成である。但し、n個の画像の組み合わせからなる選択肢が、特定の被写体を示すことが判別できるためには、そのn個の画像の付帯情報の全てに共通に記録されている被写体IDが、その特定の被写体の被写体IDのみであることが必要である。
ここで、図11を参照して、第三の構成を採用した場合の被写体選択画面の生成処理について、詳細に説明する。尚、ここでは、簡単のために、n=2とし、入出力装置40により切り替えて表示するための2つの被写体選択画面を生成することとする。また、この2つの被写体選択画面を、被写体選択画面(1)、被写体選択画面(2)と表記し、被写体選択画面(j)に含めるサムネイルをサムネイル(i,j)と表記することとする。尚、「i」は、被写体に付した一連の番号を示す記号である。
まず、被写体選択画面生成部35は、i番目の被写体に着目する(ステップ351)。尚、「i」は、初期値を「1」とし、このステップが実行される都度、「1」が加算されるものとする。そして、この着目している被写体の被写体IDのみが付帯情報として付加された画像データが存在するかどうかを判定する(ステップ352)。
その結果、そのような画像データが存在すると判定された場合は、その画像データのうちの所定の1つを被写体情報とする。具体的には、この所定の画像データのサムネイルを取得し、サムネイル(i,1)及びサムネイル(i,2)の両方に格納する(ステップ353)。
図5のリストがリスト記憶部33に記憶されているとすると、被写体ID「2」の被写体は、「DSCF0005」において1人で写っているので、「DSCF0005」のサムネイルをサムネイル(2,1)及びサムネイル(2,2)に格納する。また、被写体ID「4」の被写体は、「DSCF0002」において1人で写っているので、「DSCF0002」のサムネイルをサムネイル(4,1)及びサムネイル(4,2)に格納する。尚、被写体ID「4」の被写体は、「DSCF0006」にも1人で写っているが、かかる場合は、任意の規則によりいずれかの画像を選択すればよい。
一方、ステップ352で条件を満たす画像が存在しないと判定された場合は、この着目している被写体の被写体IDと他の被写体の被写体IDとの2つが付帯情報として付加され、かつ、他の被写体の被写体IDとして互いに異なるものが付加されているような2つの画像データが存在するかどうかを判定する(ステップ354)。
その結果、そのような2つの画像データが存在すると判定された場合は、その2つの画像データのうちの一方をサムネイル(i,1)に格納すると共に、他方をサムネイル(i,2)に格納する(ステップ355)。
図5のリストがリスト記憶部33に記憶されているとすると、被写体ID「1」については、「DSCF0001」及び「DSCF0003」がそのような2つの画像データに該当するので、例えば、「DSCF0001」をサムネイル(1,1)に格納し、「DSCF0003」をサムネイル(1,2)に格納する。また、被写体ID「3」については、「DSCF0007」及び「DSCF0009」がそのような2つの画像データに該当するので、例えば、「DSCF0007」をサムネイル(3,1)に格納し、「DSCF0009」をサムネイル(3,2)に格納する。尚、被写体ID「3」については、例えば、「DSCF0003」及び「DSCF0007」をそのような2つの画像データとして選択してもよいが、ここでは、「DSCF0003」は、被写体ID「1」について選択済みであるので、重複して選択しないようにしている。また、「DSCF0007」及び「DSCF0008」の付帯情報には、いずれも、被写体ID「2」及び「3」が記録されており、これら2つを選択肢として表示しても、被写体ID「2」の被写体、被写体ID「3」の被写体のいずれを示すのか分からないため、これらが同時に選択されないように制御している。
一方、そのような画像が存在しないと判定された場合は、表示する画像が選択できなかったことを示す任意の画像(例えば、空白画像)をサムネイル(i,1)及びサムネイル(i,2)に格納する(ステップ356)。
図5のリストがリスト記憶部33に記憶されているとすると、被写体ID「5」については、ステップ354の条件を満たす2つの画像データは存在しないので、表示する画像が選択できなかったことを示す空白画像をサムネイル(5,1)及びサムネイル(5,2)に格納する。
その後、被写体選択画面生成部35は、他に被写体IDが存在するかどうかを判定する(ステップ357)。その結果、他に被写体IDが存在すると判定されれば、ステップ351に戻り、他に被写体IDが存在しないと判定されれば、ステップ358に進む。
次に、被写体選択画面生成部35は、サムネイル(1,1)、サムネイル(2,1)、・・・、サムネイル(n,1)を被写体選択画面(1)に書き込むと共に、サムネイル(1,2)、サムネイル(2,2)、・・・、サムネイル(n,2)を被写体選択画面(2)に書き込む(ステップ358)。但し、「n」は、被写体の数である。
そして、最後に、画面出力部37は、被写体選択画面(1)及び被写体選択画面(2)を交互に出力するよう入出力装置40に指示する(ステップ359)。
これにより、入出力装置40は、図12(a)に示すような被写体選択画面(1)と、図12(b)に示すような被写体選択画面(2)とを一定時間間隔で切り替えながら表示する。
次に、ユーザが着目する被写体の被写体IDを選択すると、選択入力受付部38が、選択された被写体IDを特定する(ステップ326)。そして、画像選択画面生成部36が、リスト記憶部33に記憶されたリストを参照することにより、その被写体IDが記録されている画像ファイル名を取得し、これらの画像ファイル名に対応するサムネイルを抽出して画像選択画面を生成する。そして、画面出力部37が、この画像選択画面を入出力装置40に出力する(ステップ327)。例えば、図5のリストがリスト記憶部33に記憶されている場合において、図12(a)及び(b)が切り替え表示される被写体選択画面から被写体ID「2」が選択されたとする。その場合は、被写体ID「2」が記録されたファイルは「DSCF0001」、「DSCF0005」、「DSCF0007」、「DSCF0008」なので、例えば、図7のような画像選択画面が表示される。
尚、上記説明では、n個の被写体IDが付帯情報に記録された画像をn個組み合わせて選択肢として表示するとしたが、n個より多くの画像を組み合わせて選択肢としても構わない。
その後、ユーザがプリントしたい画像を選択すると、選択入力受付部38が、選択された画像を特定する(ステップ328)。これにより、画像出力部39は、データ取得部31に対し、選択された画像データの取得を要求する。そして、データ取得部31から画像データが渡されると、画像処理を行い(ステップ329)、装置本体20に対し画像プリントを指示する(ステップ330)。尚、ここでは、選択入力受付部38が選択された画像を特定してから、データ取得部31が画像データを取得するようにしたが、ユーザが画像選択画面上で選択している間に、バックグラウンドで画像データを先読みするようにしてもよい。
尚、本実施の形態では、画像選択画面に表示するサムネイルは、画像データに付帯する付帯情報から取得することとした。しかしながら、付帯情報にサムネイルが記録されていない場合等は、データ取得部31に対し画像データの取得を指示し、その取得された画像データからサムネイルを生成するように構成してもよい。
以上述べたように、本実施の形態では、被写体を選択するための選択肢として、被写体IDをそのまま用いるのではなく、どの被写体を示しているのかが容易に判別できるような情報を表示するようにした。これにより、着目する被写体の被写体IDを指定する際の操作性をより向上することが可能となる。
(第3の実施の形態)
第3の実施の形態では、被写体IDをユーザに選択させるために、従来のように記録媒体を挿入するとファイル順にサムネイルを表示する。その際、表示された複数のサムネイルの中に着目する被写体が写っていて、ユーザがそのサムネイルを選択すると、以降、選択された被写体IDに対応するサムネイルを優先して読み込んで表示するようにする。
また、上記の選択された第1の被写体IDに対応するサムネイル表示が全て終了した後は、別の複数の被写体IDに対応するサムネイルを表示する。そして、その中で更にサムネイルが選択されると、選択されたサムネイルの第2の被写体IDを所得し、第1の被写体IDのサムネイルを表示したページの次に、第2の被写体IDのサムネイルを表示したページを並べて表示するようにしてもよい。これにより、ユーザが特に意識することなく、好みの被写体ID順にまとめて表示することができるようになる。
更に、被写体ID以外の一般の撮影条件等のタグ情報についても、ユーザが複数選択したサムネイル画像から、共通する条件を判定し、その条件に一致した画像ファイルを順にサムネイル表示するように構成してもよい。
(第4の実施の形態)
第4の実施の形態は、第1の実施の形態のステップ310、又は、第2の実施の形態のステップ327において、着目する被写体が画像データの中央に写っているものだけを画像選択画面に含めるものである。
即ち、画像ファイルの付帯情報中に着目する被写体IDが検出された場合、その被写体IDと対応して保存された位置情報を用いて、その被写体が構図のどの位置にいるかを判断し、構図の中央でない場合は、プリント対象から除外する。或いは、プリント対象から除外するかしないかをユーザに選択させるように構成してもよい。また、被写体IDが検出された全てのサムネイルを表示し、その被写体が中央に写っているものだけプリント枚数カウンタを1とし、中央に写っていないものについてはプリント枚数カウンタを0とするようにしてもよい。
また、第2の実施の形態における、複数のサムネイルを周期的に切り替えて表示する被写体選択画面において、数人並んで撮影された画像を表示する時には、対象の被写体がサムネイル上のどの位置の人物なのかを矢印で表示するようにしてもよい。
以上のように構成することにより、対象の被写体が1人で写っているが構図の端に写っていたりするような失敗画像を、予め画像形成装置で除外することができる。
尚、付帯情報への位置情報の記録は、例えば、特願2004−238295に記載したような方法を用いて行うことができる。
また、本実施の形態では、被写体が画像の中央に写っているものだけをプリント対象に含めることとしたが、被写体が画像の所定の範囲に写っているものだけをプリント対象に含めるような構成も可能である。
(第5の実施の形態)
第5の実施の形態は、第1の実施の形態のステップ310、又は、第2の実施の形態のステップ327において、着目する被写体が正面を向いて写っているものだけを画像選択画面に含めるものである。
即ち、画像ファイルの付帯情報中に着目する被写体IDが検出された場合、その被写体IDと対応して保存された位置情報を用いて、その被写体が構図のどの位置にいるかを顔抽出処理によるテンプレート処理で判断する。
従来のテンプレート処理では、中央に1人とか3人並んだ状態等の決まった構図でなければ顔抽出が難しかったり、画像中のどの位置に人がいるかを肌色抽出等により特定してから顔抽出を行なう必要があって面倒だったりしたが、本実施の形態では、付帯情報に各被写体の位置情報が記録されているので容易に顔抽出を行える。
対象の被写体の被写体IDに対応した位置情報によって、画像中のどこに被写体が写っているかを特定し、その近傍で顔抽出を行ないテンプレートに一致する顔があるか否かを検査することにより、たとえ一緒並んで写っているほかの人が前を向いていても、対象とする被写体の顔が検出されない場合は、プリント対象から除外する。或いは、プリント対象から除外するかしないかをユーザに選択させるように構成してもよい。また、第4の実施の形態と同様に、被写体IDが検出された全てのサムネイルを表示し、その被写体が正面を向いているものだけプリント枚数カウンタを1とし、正面を向いていない場合はプリント枚数カウンタを0とするようにしてもよい。
また、第2の実施の形態における、複数のサムネイルを周期的に切り替えて表示する被写体選択画面において、複数の画像を表示する際には、対象の被写体が正面を向いているものだけ表示するようにしてもよい。
以上のように構成することにより、対象の被写体が後ろを向いて写っていたりするような失敗画像を、予め画像形成装置で除外することができる。
尚、付帯情報への位置情報の記録は、例えば、特願2004−238295に記載したような方法を用いて行うことができる。
また、本実施の形態では、画像における被写体が存在する領域を解析した結果、被写体が正面を向いていることが分かったものだけをプリント対象に含めることとしたが、解析結果が所定の条件を満足するものだけをプリント対象に含めるような構成も可能である。
(第6の実施の形態)
第6の実施の形態は、ICタグの埋め込まれたチケットを用いて撮影した画像の中から、目的の画像をICタグをスキャンすることにより探すというものである。
また、被写体IDと個人名とを対応させた情報を参照して個人名を求め、画像を個人名と共に掲示することにより、目的の画像を探し出すことが一層容易になる。
本発明の実施の形態が適用される画像形成装置の概要と、画像形成装置の入出力装置に表示される機能表示画面の例を示した図である。 本発明の実施の形態で用いる画像ファイルの構成を示した図である。 本発明の第1の実施の形態における画像形成装置の処理装置の機能構成を示したブロック図である。 本発明の第1の実施の形態における画像形成装置の処理装置の動作を示したフローチャートである。 本発明の第1及び第2の実施の形態においてリスト記憶部に記憶されるリストの一例を示した図である。 本発明の第1の実施の形態において表示される項目選択画面及び被写体選択画面の一例を示した図である。 本発明の第1及び第2の実施の形態において表示される画像選択画面の一例を示した図である。 本発明の第2の実施の形態における画像形成装置の処理装置の機能構成を示したブロック図である。 本発明の第2の実施の形態における画像形成装置の処理装置の動作を示したフローチャートである。 本発明の第2の実施の形態において表示される被写体選択画面の一例を示した図である。 本発明の第2の実施の形態における被写体選択画面生成部の詳細な動作を示したフローチャートである。 本発明の第2の実施の形態において表示される被写体選択画面の一例を示した図である。
符号の説明
10…画像形成装置、20…装置本体、30…処理装置、31…データ取得部、32…リスト作成部、33…リスト記憶部、34…項目選択画面生成部、35…被写体選択画面生成部、36…画像選択画面生成部、37…画面出力部、38…選択入力受付部、39…画像出力部、40…入出力装置、50…通信装置

Claims (11)

  1. 所定の画像データ群に含まれる複数の被写体を、当該画像データ群における個々の画像データに含まれる被写体を識別することにより特定する被写体特定部と、
    前記被写体特定部により特定された前記複数の被写体の一覧情報を表示する表示部と、
    前記画像データ群における個々の画像データのうち、前記表示部により表示された前記一覧情報の中から選択された特定の被写体を含む所定の画像データを取得する画像データ取得部と、
    前記画像データ取得部により取得された前記画像データを用いて画像形成を行う画像形成部とを備え
    前記表示部は、前記一覧情報として前記複数の被写体のそれぞれを含む画像を第1の画面及び第2の画面に配置し、当該複数の被写体のうちの第1の被写体を含みかつ当該複数の被写体のうちの他の被写体を含まない画像が前記所定の画像データ群の中にない場合は、当該第1の被写体及び当該複数の被写体のうちの第2の被写体を含む画像を当該第1の被写体の第1の画像として当該第1の画面に配置し、当該第1の被写体及び当該複数の被写体のうちの第3の被写体を含む画像を当該第1の被写体の第2の画像として当該第2の画面に配置し、当該第1の画面と当該第2の画面とを一定の時間間隔で切り替えて表示することを特徴とする画像形成装置。
  2. 前記表示部は、前記一覧情報として、前記複数の被写体のそれぞれの識別情報のリストを表示することを特徴とする請求項1記載の画像形成装置。
  3. 前記表示部は、前記複数の被写体のうちの一の被写体を含み、かつ、当該複数の被写体のうちの他の被写体を含まない画像がある場合は、当該画像を当該一の被写体の画像として前記第1の画面及び前記第2の画面に配置することを特徴とする請求項1記載の画像形成装置。
  4. 前記画像データ取得部は、前記特定の被写体を含む画像データのうち、当該特定の被写体が当該画像データにおける所定の範囲に含まれているものを取得することを特徴とする請求項1記載の画像形成装置。
  5. 前記画像データ取得部は、前記特定の被写体を含む画像データのうち、当該画像データにおける当該特定の被写体が存在する領域の解析結果が所定の条件を満足するものを取得することを特徴とする請求項1記載の画像形成装置。
  6. 所定の画像データ群における個々の画像データと、当該個々の画像データに含まれる少なくとも1つの被写体のIDとの対応情報を記憶するステップと、
    前記個々の画像データに含まれる前記少なくとも1つの被写体のIDに基づいて、前記画像データ群に含まれる複数の被写体の一覧情報を生成するステップと、
    生成された前記一覧情報を表示するステップと、
    表示された前記一覧情報の中から選択された特定の被写体のIDに対応する画像データを、前記対応情報を参照することにより特定するステップと、
    特定された前記画像データの中から特定の画像データを選択するための画面を生成するステップとを備え
    前記一覧情報を生成するステップでは、前記複数の被写体のそれぞれを含む画像を第1の画面及び第2の画面に配置し、当該複数の被写体のうちの第1の被写体を含みかつ当該複数の被写体のうちの他の被写体を含まない画像が前記所定の画像データ群の中にない場合は、当該第1の被写体及び当該複数の被写体のうちの第2の被写体を含む画像を当該第1の被写体の第1の画像として当該第1の画面に配置し、当該第1の被写体及び当該複数の被写体のうちの第3の被写体を含む画像を当該第1の被写体の第2の画像として当該第2の画面に配置し、
    前記一覧情報を表示するステップでは、前記第1の画面と前記第2の画面とを一定の時間間隔で切り替えて表示することを特徴とする画像選択画面生成方法。
  7. 前記一覧情報を生成するステップでは、当該一覧情報として、前記複数の被写体のそれぞれの識別情報のリストを生成することを特徴とする請求項記載の画像選択画面生成方法。
  8. 前記一覧情報を生成するステップでは、前記複数の被写体のうちの一の被写体を含み、かつ、当該複数の被写体のうちの他の被写体を含まない画像がある場合は、当該画像を当該一の被写体の画像として前記第1の画面及び前記第2の画面に配置することを特徴とする請求項記載の画像選択画面生成方法。
  9. コンピュータに、
    所定の画像データ群における個々の画像データと、当該個々の画像データに含まれる少なくとも1つの被写体のIDとの対応情報を記憶する機能と、
    前記個々の画像データに含まれる前記少なくとも1つの被写体のIDに基づいて、前記画像データ群に含まれる複数の被写体の一覧情報を生成する機能と、
    生成された前記一覧情報の中から選択された特定の被写体のIDに対応する画像データを、前記対応情報を参照することにより特定する機能と、
    特定された前記画像データの中から特定の画像データを選択するための画面を生成する機能とを実現させ
    前記一覧情報を生成する機能では、前記複数の被写体のそれぞれを含む画像を第1の画面及び第2の画面に配置し、当該複数の被写体のうちの第1の被写体を含みかつ当該複数の被写体のうちの他の被写体を含まない画像が前記所定の画像データ群の中にない場合は、当該第1の被写体及び当該複数の被写体のうちの第2の被写体を含む画像を当該第1の被写体の第1の画像として当該第1の画面に配置し、当該第1の被写体及び当該複数の被写体のうちの第3の被写体を含む画像を当該第1の被写体の第2の画像として当該第2の画面に配置し、当該第1の画面と当該第2の画面とを一定の時間間隔で切り替えて表示することを特徴とするプログラム。
  10. 前記一覧情報を生成する機能では、当該一覧情報として、前記複数の被写体のそれぞれの識別情報のリストを生成することを特徴とする請求項記載のプログラム。
  11. 前記一覧情報を生成する機能では、前記複数の被写体のうちの一の被写体を含み、かつ、当該複数の被写体のうちの他の被写体を含まない画像がある場合は、当該画像を当該一の被写体の画像として前記第1の画面及び前記第2の画面に配置することを特徴とする請求項記載のプログラム。
JP2004250940A 2004-08-30 2004-08-30 画像形成装置、画像選択画面生成方法、及びプログラム Expired - Fee Related JP4389728B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004250940A JP4389728B2 (ja) 2004-08-30 2004-08-30 画像形成装置、画像選択画面生成方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004250940A JP4389728B2 (ja) 2004-08-30 2004-08-30 画像形成装置、画像選択画面生成方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2006067512A JP2006067512A (ja) 2006-03-09
JP4389728B2 true JP4389728B2 (ja) 2009-12-24

Family

ID=36113541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004250940A Expired - Fee Related JP4389728B2 (ja) 2004-08-30 2004-08-30 画像形成装置、画像選択画面生成方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP4389728B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4273434B2 (ja) 2006-08-25 2009-06-03 ソニー株式会社 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
JP6369076B2 (ja) * 2014-03-20 2018-08-08 フリュー株式会社 管理装置および管理装置の制御方法、並びに、端末装置、制御プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP2006067512A (ja) 2006-03-09

Similar Documents

Publication Publication Date Title
US7444354B2 (en) Method and apparatus for storing images, method and apparatus for instructing image filing, image storing system, method and apparatus for image evaluation, and programs therefor
JP4945486B2 (ja) 画像重要度判定装置、アルバム自動レイアウト装置、プログラム、画像重要度判定方法およびアルバム自動レイアウト方法
US20070230703A1 (en) Transmission of media keys
EP1840898B1 (en) Techniques for using media keys
US20120275704A1 (en) Ranking image importance with a photo-collage
JP2009507419A (ja) ボーダー・プリントを形成するためのシステムおよび方法
JP2007179198A (ja) 画像管理サーバおよび画像掲載情報生成方法およびプログラムおよび記録媒体
US8184343B2 (en) Image forming apparatus, apparatus for creating electronic album, image forming method, method for creating electronic album, program and index sheet
US20120033247A1 (en) Simultaneous digital image and associated image metadata printing system
JP5336759B2 (ja) 画像出力装置及び画像出力方法
US20050001851A1 (en) Apparatus and method for processing annotated images
KR20050054456A (ko) 인쇄 시스템 및 인쇄 방법
JP5942516B2 (ja) 表示処理装置、表示処理方法及びコンピュータプログラム
US8967482B2 (en) Image selection method using machine-readable codes
JP5556330B2 (ja) 画像処理装置、画像処理方法及びそのプログラム
JP5264155B2 (ja) プログラム、ファイル管理装置及びファイル管理方法
JP4389728B2 (ja) 画像形成装置、画像選択画面生成方法、及びプログラム
US20150070733A1 (en) Simultaneous digital image and the image file's internal metadata printing system
US20080239363A1 (en) Copier device capable of electronically storing and recalling copied documents
JP2001160103A (ja) 注文状況追跡システム、プリント注文受付装置及び画像形成装置
JP5794476B2 (ja) 画像処理システム、画像処理装置、画像処理方法、画像処理プログラム及び印刷物
JP6486077B2 (ja) 表示装置、サーバ装置、表示システム及びその制御方法、並びに制御プログラム、記憶媒体
JP4932802B2 (ja) 画像処理装置、方法およびプログラム
JP4239829B2 (ja) 電子アルバム作成装置、電子アルバム作成方法、およびプログラム
JP2007080164A (ja) 注文受付装置および方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees