JP4704253B2 - アルバム作成装置、アルバム作成方法、及びプログラム - Google Patents

アルバム作成装置、アルバム作成方法、及びプログラム Download PDF

Info

Publication number
JP4704253B2
JP4704253B2 JP2006069992A JP2006069992A JP4704253B2 JP 4704253 B2 JP4704253 B2 JP 4704253B2 JP 2006069992 A JP2006069992 A JP 2006069992A JP 2006069992 A JP2006069992 A JP 2006069992A JP 4704253 B2 JP4704253 B2 JP 4704253B2
Authority
JP
Japan
Prior art keywords
color
image
album
unit
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006069992A
Other languages
English (en)
Other versions
JP2006318449A (ja
Inventor
健嗣 小島
章 依田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006069992A priority Critical patent/JP4704253B2/ja
Priority to EP06731934A priority patent/EP1872335A4/en
Priority to CN2006800212278A priority patent/CN101213576B/zh
Priority to PCT/JP2006/307998 priority patent/WO2006109879A1/en
Publication of JP2006318449A publication Critical patent/JP2006318449A/ja
Priority to US11/872,446 priority patent/US8090196B2/en
Application granted granted Critical
Publication of JP4704253B2 publication Critical patent/JP4704253B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876Recombination of partial images to recreate the original image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Description

本発明は、アルバム作成装置、アルバム作成方法、及びプログラムに関する。特に本発明は、複数の画像を含むアルバムを作成するアルバム作成装置、アルバム作成方法、並びに、アルバム作成装置用のプログラムに関する。
旅行先で撮影した画像データに付帯された位置情報、撮影時間情報等のタグ情報を元にして、画面の中心に旅行先の地図を配置して、地図の周囲に配置された画像と地図上における撮像位置とを線で結ぶなどして、地図と画像との関連がわかるようにレイアウトされたアルバムを作成する技術が知られている(例えば、特許文献1参照。)。
特開平10−126731号公報
しかしながら、特許文献1による技術によってアルバムを作成すると、例えば海辺で撮像された砂浜、海、空の画像等の画像が、黒色を多く含む地図の周囲に配置されたアルバムが作成されてしまうことがある。砂浜、海、空の画像に含まれる淡い色と、アルバムの地図に含まれる黒色とは視覚的に調和がとれないため、アルバムの閲覧者は違和感を感じてしまう。アルバムのタイトル、アルバム内のイラスト等のオブジェクト、画像を強調する枠等に用いる色は、アルバムに収める画像の色と調和のとれた色であることが望ましい。また、閲覧者にとっては、アルバムに使用する色を決定するなどといった煩雑な作業をすることなく、調和のとれた色が使用されたアルバムが手軽に作成されて閲覧できるのが望ましい。
そこで本発明は、上記の課題を解決することができるアルバム作成装置、アルバム作成方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
本発明の第1の形態によると、画像を含むアルバムを作成するアルバム作成装置であって、画像の主要被写体を判断する主要被写体判断部と、主要被写体判断部によって判断された主要被写体以外の画像領域の色を解析する画像色解析部と、画像色解析部の解析結果に基づいて、画像を含むアルバムにおける画像以外の部分に使用する色を決定するアルバム使用色決定部とを備える。
画像色解析部は、主要被写体判断部によって判断された主要被写体以外の画像領域に含まれる複数の色を抽出する色抽出部と、色抽出部が抽出した複数の色の出現頻度を算出する色出現頻度算出部とを有し、アルバム使用色決定部は、色出現頻度算出部が算出した複数の色の出現頻度に基づいて、主要被写体判断部によって判断された主要被写体以外の画像領域における特徴的な色である特徴色を決定する特徴色決定部と、特徴色決定部が決定した特徴色に基づいて、画像を含むアルバムにおける画像以外の部分に使用する色であるアルバム使用色を選択するアルバム使用色選択部とを有する。
アルバム使用色決定部は、予め定められた複数の色の組み合わせを示すカラーパレットの情報を複数格納するカラーパレット情報格納部をさらに有し、アルバム使用色選択部は、特徴色決定部が決定した特徴色を含むカラーパレットを選択し、選択したカラーパレットに含まれる色をアルバム使用色として選択する。
特徴色決定部は、色出現頻度算出部が算出した複数の色の出現頻度に基づいて、主要被写体判断部によって判断された主要被写体以外の画像領域における複数の特徴色を決定し、アルバム使用色選択部は、特徴色決定部が決定した複数の特徴色を含むカラーパレットを選択し、選択されたカラーパレットに含まれる色をアルバム使用色として選択する。
アルバム使用色決定部は、複数の色のそれぞれに対応づけて、複数の色のそれぞれが画像中に出現し得る平均的な頻度を示す平均出現頻度を予め格納する平均出現頻度情報格納部をさらに有し、特徴色決定部は、平均出現頻度情報格納部が格納する平均出現頻度に対する、色出現頻度算出部が算出した出現頻度の割合がより大きい色を、主要被写体判断部によって判断された主要被写体以外の画像領域における特徴色として決定する。
画像が撮像された撮像位置を特定する撮像位置特定部をさらに備え、カラーパレット情報格納部は、撮像位置に対応づけて、予め定められた複数の色の組み合わせを示すカラーパレットの情報を複数格納しており、アルバム使用色選択部は、撮像位置特定部が特定した撮像位置に対応づけてカラーパレット情報格納部が格納するカラーパレットを複数選択し、選択した複数のカラーパレットから、特徴色決定部が決定した特徴色を含むカラーパレットを選択し、選択したカラーパレットに含まれる色をアルバム使用色として選択する。
複数の画像を格納する画像格納部と、アルバムにおいて主要な画像となるべき主画像を、画像格納部が格納している複数の画像から選択する主画像選択部とをさらに備え、色抽出部は、主画像選択部が選択した主画像において主要被写体判断部によって判断された主要被写体以外の画像領域に含まれる複数の色を抽出し、色出現頻度算出部は、色抽出部が抽出した複数の色の出現頻度を算出し、特徴色決定部は、色出現頻度算出部が算出した複数の色の出現頻度に基づいて、主要被写体判断部によって判断された主要被写体以外の画像領域における特徴的な色である特徴色を決定する。
特徴色決定部が決定した特徴色に基づいて、主画像選択部が選択した主画像にアルバムにおいて従属する画像となるべき従画像を、画像格納部が格納している複数の画像から選択する従画像選択部をさらに備える。
色抽出部は、画像格納部が格納している複数の画像において主要被写体判断部によって判断された主要被写体以外の画像領域に含まれる複数の色を抽出し、特徴色決定部は、色出現頻度算出部が算出した複数の色の出現頻度に基づいて、主要被写体判断部によって判断された主要被写体以外の画像領域における特徴的な色である特徴色を決定し、従画像選択部は、主画像選択部が選択した主画像において特徴色決定部が決定した特徴色を含むカラーパレットを選択し、選択したカラーパレットに含まれる色を、特徴色決定部が決定した特徴色として含む画像を従画像として選択する。
アルバム使用色決定部は、予め定められた複数の色の組み合わせを示すカラーパレットの情報を複数格納するカラーパレット情報格納部と、特徴色決定部が決定した特徴色を含むカラーパレットを選択するカラーパレット選択部とをさらに有し、アルバム使用色選択部は、色抽出部が抽出した複数の色の中から、カラーパレット選択部が選択したカラーパレットに含まれる少なくとも1つ色のそれぞれに最も類似する色である類似色を抽出し、抽出した類似色をアルバム使用色として選択してよい。
アルバム使用色決定部は、カラーパレット情報格納部が格納しているカラーパレットに含まれるそれぞれの色に対応づけて、類似色として抽出されるべき条件である抽出条件を格納する抽出条件格納部をさらに有し、アルバム使用色選択部は、カラーパレット選択部が選択したカラーパレットに含まれるそれぞれの色に対応づけて抽出条件格納部が格納している抽出条件に合致する色を、色抽出部が抽出した複数の色の中から類似色として抽出し、抽出した類似色をアルバム使用色として選択してよい。
抽出条件格納部は、カラーパレット情報格納部が格納しているカラーパレットに含まれるそれぞれの色に対応づけて、当該色を含む、類似色として抽出されるべき色範囲を格納し、アルバム使用色選択部は、カラーパレット選択部が選択したカラーパレットに含まれるそれぞれの色に対応づけて抽出条件格納部が格納している色範囲に含まれる色を、色抽出部が抽出した複数の色の中から類似色として抽出し、抽出した類似色をアルバム使用色として選択してよい。
特徴色決定部が決定した特徴色を持つ、画像に含まれるオブジェクトからテクスチャの特徴量を抽出するテクスチャ抽出部と、テクスチャ抽出部が抽出したテクスチャの特徴量に基づいて生成されたテクスチャテンプレート画像を、画像を含むアルバムにおける画像以外の部分に配置するアルバム作成部とをさらに備えてよい。
本発明の第2の形態によると、画像を含むアルバムを作成するアルバム作成方法であって、画像の主要被写体を判断する主要被写体判断段階と、主要被写体判断段階において判断された主要被写体以外の画像領域の色を解析する画像色解析段階と、画像色解析段階における解析結果に基づいて、画像を含むアルバムにおける画像以外の部分に使用する色を決定するアルバム使用色決定段階とを備える。
本発明の第3の形態によると、画像を含むアルバムを作成するアルバム作成装置用のプログラムであって、アルバム作成装置を、画像の主要被写体を判断する主要被写体判断部、主要被写体判断部によって判断された主要被写体以外の画像領域の色を解析する画像色解析部、画像色解析部の解析結果に基づいて、画像を含むアルバムにおける画像以外の部分に使用する色を決定するアルバム使用色決定部として機能させる。
本発明の第4の形態によると、画像を含むアルバムを作成するアルバム作成装置であって、画像の主要被写体を判断する主要被写体判断部と、主要被写体判断部によって判断された主要被写体以外の画像領域に含まれるテクスチャの特徴量を抽出するテクスチャ抽出部と、テクスチャ抽出部が抽出したテクスチャの特徴量に基づいて生成されたテクスチャテンプレート画像を、画像を含むアルバムにおける画像以外の部分に配置するアルバム作成部とを備える。
テクスチャ抽出部は、主要被写体判断部によって判断された主要被写体以外の画像領域において空間周波数を解析することによって、主要被写体以外の画像領域における特徴的な周波数領域を抽出し、アルバム作成部は、テクスチャ抽出部が抽出した周波数領域を強調して生成されたテクスチャテンプレート画像を、画像を含むアルバムにおける画像以外の部分に配置してよい。
画像を含むアルバムにおける画像以外の部分のデザインを定めた背景テンプレートを格納するテンプレート格納部をさらに備え、アルバム作成部は、テクスチャ抽出部が抽出した周波数領域が強調された輝度信号パターンを生成して、生成した輝度信号パターンを、テンプレート格納部が格納している背景テンプレートに重ね合わせることによってテクスチャテンプレート画像を生成し、生成したテクスチャテンプレート画像を、画像を含むアルバムにおける画像以外の部分に配置してよい。
テクスチャの特徴量に対応づけて、当該特徴量を持つテクスチャテンプレート画像を格納するテクスチャテンプレート格納部をさらに備え、アルバム作成部は、テクスチャ抽出部が抽出したテクスチャの特徴量に対応づけてテクスチャテンプレート格納部が格納しているテクスチャテンプレート画像を、画像を含むアルバムにおける画像以外の部分に配置してよい。
本発明の第5の形態によると、画像を含むアルバムを作成するアルバム作成方法であって、画像の主要被写体を判断する主要被写体判断段階と、主要被写体判断段階によって判断された主要被写体以外の画像領域に含まれるテクスチャの特徴量を抽出するテクスチャ抽出段階と、テクスチャ抽出段階において抽出されたテクスチャの特徴量に基づいて生成されたテクスチャテンプレート画像を、画像を含むアルバムにおける画像以外の部分に配置するアルバム作成段階とを備える。
本発明の第6の形態によると、画像を含むアルバムを作成するアルバム作成装置用のプログラムであって、アルバム作成装置を、画像の主要被写体を判断する主要被写体判断部、主要被写体判断部によって判断された主要被写体以外の画像領域に含まれるテクスチャの特徴量を抽出するテクスチャ抽出部、テクスチャ抽出部が抽出したテクスチャの特徴量に基づいて生成されたテクスチャテンプレート画像を、画像を含むアルバムにおける画像以外の部分に配置するアルバム作成部として機能させる。
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
本発明によれば、画像と視覚的に調和のとれた色が用いられたアルバムを容易に作成することができる。
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の一実施形態に係るアルバム作成装置100の利用環境の一例を示す。アルバム作成装置100は、複数の画像からアルバムを作成して、ディスプレイ、プリンタ等の出力デバイスに出力させる。アルバム作成装置100は、被写体として撮像された人物の背景など、主要被写体以外の画像領域に含まれる特徴的な色を抽出する。例えばアルバム作成装置100は、ハワイで撮像した主要被写体である人物の背景の砂浜、海、空の画像領域に最も多く現れる色として白色、水色等を抽出する。そしてアルバム作成装置100は、ハワイの旅行アルバム向けに用意された複数のカラーパレットの中から、抽出した色を含むカラーパレットを選択する。そしてアルバム作成装置100は、選択したカラーパレットに含まれる色を用いてアルバムのタイトル、画像の枠、オブジェクト等に着色してアルバムを作成する。なお、アルバム作成装置100は、アルバムを作成して印刷する装置であってもよい。例えばアルバム作成装置100は、パーソナルコンピュータ、電子アルバム、HDTV、プリンタ等であってよい。
以上説明したアルバム作成装置100によれば、主要被写体の周囲の環境色に含まれる色と調和のとれた色が用いられたアルバムを自動的に作成することができる。このため、ユーザ180は、視覚的な違和感のないアルバムを容易に作成することができる。
図2は、アルバムにおける主画像及び従画像の一例を示す。本実施形態でいう主画像とは、ページにおいて閲覧者に対して最も強く印象づけることが意図されている画像をいう。例えば主画像とは、ページに配置された複数の画像のうち、最も強調された画像であってよい。具体的には、主画像とは、他の画像よりサイズが大きい画像、他の画像より前面に配置される画像、他の画像より中央寄りに配置される画像であってよい。他にも主画像とは、周囲が枠で強調された画像であったり、被写体にエフェクト等の視覚効果が施された画像であってもよい。また、本実施形態でいう従画像とは、主画像よりも小さく、より外側の位置に配置される画像であってよい。図2の例においては、画像301が主画像の一例であって、画像302、303、及び304は従画像の一例である。
なお、アルバム作成装置100は、ページ内に画像をはめ込むべき画像枠が定められた複数のテンプレートを有していて、テンプレートで示される画像枠に画像をはめ込むことによってアルバムを作成してよい。そして、当該テンプレートにおいては、主画像をはめ込むべき主画像用の画像枠と、従画像をはめ込むべき従画像用の画像枠が予め定められていてもよい。そして、アルバム作成装置100は、主画像の特徴的な色と視覚的に調和のとれた色を特徴的な色として持つ画像を従画像として選択して、従画像用に定められた画像枠にはめ込む。
なお、本実施形態におけるページとは、アルバムの見開きページのことであってよく、アルバムの見開きの片方のページであってもよい。また、アルバム作成装置100が、ディスプレイ等の表示デバイスにアルバムとして出力する装置である場合においては、ページとは、表示デバイスに複数の画像が同時に表示される表示領域のことであってよい。
図3は、アルバム作成装置100のブロック構成の一例を示す。アルバム作成装置100は、画像格納部252、主画像選択部212、従画像選択部222、撮像位置特定部234、画像色解析部260、アルバム使用色決定部270、テンプレート格納部254、テクスチャ抽出部290、テクスチャテンプレート格納部292、及びアルバム作成部256を備える。画像色解析部260は、主要被写体判断部232、色抽出部262、及び色出現頻度算出部264を有する。アルバム使用色決定部270は、特徴色決定部274、アルバム使用色選択部276、カラーパレット情報格納部278、平均出現頻度情報格納部272、カラーパレット選択部280、及び抽出条件格納部282を有する。
画像格納部252は、複数の画像を格納する。主要被写体判断部232は、画像の主要被写体を判断する。具体的には、画像格納部252は、アルバムの作成に使用される複数の画像を格納する。そして、主要被写体判断部232は、画像格納部252が格納する、アルバムの作成に使用される複数の画像の主要被写体を判断する。主画像選択部212は、アルバムにおいて主要な画像となるべき主画像を、画像格納部252が格納している複数の画像から選択する。
画像色解析部260は、主要被写体判断部232によって判断された主要被写体以外の画像領域の色を解析する。テンプレート格納部254は、予め定められたアルバムのレイアウトを示すテンプレートを格納する。例えば、テンプレート格納部254は、アルバムの各ページにおいて配置される画像の大きさ及び位置を格納するとともに、アルバムのタイトル領域、アルバムの画像の背景となる領域、画像の外枠の領域等の、着色されるべき領域を示す着色領域を格納する。
アルバム使用色決定部270は、画像色解析部260の解析結果に基づいて、画像を含むアルバムにおける画像以外の部分に使用する色を決定する。そして、アルバム作成部256は、テンプレート格納部254が格納するテンプレートで示される着色領域に、アルバム使用色決定部270によって決定された色を用いて着色する。そして、アルバム作成部256は、テンプレート格納部254が格納するテンプレートに基づいて、画像格納部252が格納する複数の画像を配置してアルバムを作成する。
色抽出部262は、主要被写体判断部232によって判断された主要被写体以外の画像領域に含まれる複数の色を抽出する。色出現頻度算出部264は、色抽出部262が抽出した複数の色の出現頻度を算出する。なお、出現頻度とは、それぞれの色が画像において占める面積を指標にするものであってよい。また、画像格納部252が画素毎の色を格納している場合には、色抽出部262は各画素毎の色を抽出し、色出現頻度算出部264は色抽出部262によって抽出された色を有する画素の総数を出現頻度の指標としてよい。
平均出現頻度情報格納部272は、複数の色のそれぞれに対応づけて、複数の色のそれぞれが画像中に出現し得る平均的な頻度を示す平均出現頻度を予め格納する。特徴色決定部274は、色出現頻度算出部264が算出した複数の色の出現頻度に基づいて、主要被写体判断部232によって判断された主要被写体以外の画像領域における特徴的な色である特徴色を決定する。なお、色抽出部262は、主画像選択部212が選択した主画像において主要被写体判断部232によって判断された主要被写体以外の画像領域に含まれる複数の色を抽出してよい。
具体的には、特徴色決定部274は、平均出現頻度情報格納部272が格納する平均出現頻度に対する、色出現頻度算出部264が算出した出現頻度の割合がより大きい色を、主要被写体判断部232によって判断された主要被写体以外の画像領域における特徴色として決定する。このため、例えば自然界の風景を背景とした画像に、自然界に多く存在しない紫色が含まれていると、特徴色決定部274によって当該紫色が特徴色として決定される。このため、閲覧者の目を引く色を特徴色として決定することができる。
カラーパレット情報格納部278は、予め定められた複数の色の組み合わせを示すカラーパレットの情報を複数格納する。なお、カラーパレット情報格納部278は、撮像位置に対応づけて、予め定められた複数の色の組み合わせを示すカラーパレットの情報を複数格納している。なお、カラーパレットとは、視覚的に調和のとれた複数の色の組み合わせであってよい。また、カラーパレット情報格納部278は、インターネット等の通信回線で取得されるカラーパレットを含んでよく、半導体メモリ等の記録媒体に記録されたカラーパレットを含んでもよい。
撮像位置特定部234は、アルバムを構成する画像が撮像された撮像位置を特定する。具体的には、画像格納部252は撮像位置の緯度及び経度情報を画像のタグ情報として格納しており、撮像位置特定部234は、画像のタグ情報を参照して、アルバムを構成する画像の撮像位置を含む地域を特定する。例えば、撮像位置特定部234は、アルバムを構成する画像の撮像位置を含む国を特定する。
カラーパレット選択部280は、特徴色決定部274が決定した特徴色を含むカラーパレットをカラーパレット情報格納部278から選択する。なお、カラーパレット選択部280は、撮像位置特定部234が特定した撮像位置に対応づけてカラーパレット情報格納部278が格納するカラーパレットを複数選択してよい。例えば、カラーパレット選択部280は、撮像位置特定部234が特定した地域に対応づけてカラーパレット情報格納部278が格納するカラーパレットを複数選択してよい。また、カラーパレット選択部280は、主画像選択部212が選択した主画像において特徴色決定部274が決定した特徴色を含むカラーパレットをカラーパレット情報格納部278から選択する。
アルバム使用色選択部276は、特徴色決定部274が決定した特徴色に基づいて、画像を含むアルバムにおける画像以外の部分に使用する色であるアルバム使用色を選択する。具体的には、アルバム使用色選択部276は、特徴色決定部274が決定した特徴色を含むカラーパレットを選択し、選択したカラーパレットに含まれる色をアルバム使用色として選択する。より具体的には、アルバム使用色選択部276は、カラーパレット選択部280が選択したカラーパレットに含まれる色をアルバム使用色として選択する。
なお、アルバム使用色選択部276は、撮像位置特定部234が特定した撮像位置に対応づけてカラーパレット情報格納部278が格納するカラーパレットを複数選択してよい。そして、アルバム使用色選択部276は、選択した複数のカラーパレットから、特徴色決定部274が決定した特徴色を含むカラーパレットを選択し、選択したカラーパレットに含まれる色をアルバム使用色として選択する。このため、例えば中国で撮像した画像が収められたページには、例えば中国の国旗の赤色を含む中国向けのカラーパレットの色を用いて着色することができる。したがって、ユーザ180にとって視覚的に違和感のないアルバムを作成することができる。
従画像選択部222は、特徴色決定部274が決定した特徴色に基づいて、主画像選択部212が選択した主画像にアルバムにおいて従属する画像となるべき従画像を、画像格納部252が格納している複数の画像から選択する。具体的には、色抽出部262は、画像格納部252が格納している複数の画像において主要被写体判断部232によって判断された主要被写体以外の画像領域に含まれる複数の色を抽出する。特徴色決定部274は、色出現頻度算出部264が算出した複数の色の出現頻度に基づいて、主要被写体判断部232によって判断された主要被写体以外の画像領域における特徴的な色である特徴色を決定する。そして、従画像選択部222は、主画像選択部212が選択した主画像において特徴色決定部274が決定した特徴色を含むカラーパレットを選択し、選択したカラーパレットに含まれる色を、特徴色決定部274が決定した特徴色として含む画像を、従画像として選択する。より具体的には、従画像選択部222は、カラーパレット選択部280が選択したカラーパレットに含まれる色を、特徴色決定部274が決定した特徴色として含む画像を、従画像として選択する。
このため、主画像の特徴色を含むカラーパレットに含まれる色を特徴色として含む画像を例えば同一ページにレイアウトしたりすることができるので、画像も含めて視覚的に調和のとれたアルバムにすることができる。
なお、特徴色決定部274は、色出現頻度算出部264が算出した複数の色の出現頻度に基づいて、主要被写体判断部232によって判断された主要被写体以外の画像領域における複数の特徴色を決定してよい。そして、アルバム使用色選択部276は、特徴色決定部274が決定した複数の特徴色を含むカラーパレットを選択し、選択されたカラーパレットに含まれる色をアルバム使用色として選択してよい。
カラーパレット選択部280は、特徴色決定部274が決定した特徴色を含むカラーパレットを選択する。そして、アルバム使用色選択部276は、色抽出部262が抽出した複数の色の中から、カラーパレット選択部280が選択したカラーパレットに含まれる少なくとも1つ色のそれぞれに最も類似する色である類似色を抽出し、抽出した類似色をアルバム使用色として選択する。
抽出条件格納部282は、カラーパレット情報格納部278が格納しているカラーパレットに含まれるそれぞれの色に対応づけて、類似色として抽出されるべき条件である抽出条件を格納する。そして、アルバム使用色選択部276は、カラーパレット選択部280が選択したカラーパレットに含まれるそれぞれの色に対応づけて抽出条件格納部282が格納している抽出条件に合致する色を、色抽出部262が抽出した複数の色の中から類似色として抽出し、抽出した類似色をアルバム使用色として選択する。
抽出条件格納部282は、カラーパレット情報格納部278が格納しているカラーパレットに含まれるそれぞれの色に対応づけて、当該色を含む、類似色として抽出されるべき色範囲を格納する。そして、アルバム使用色選択部276は、カラーパレット選択部280が選択したカラーパレットに含まれるそれぞれの色に対応づけて抽出条件格納部282が格納している色範囲に含まれる色を、色抽出部262が抽出した複数の色の中から類似色として抽出し、抽出した類似色をアルバム使用色として選択する。このため、アルバム作成装置100は、画像に実際に含まれる色であり、かつ、カラーパレットに近い色を用いてアルバムに配色することができる。
なお、テクスチャ抽出部290は、主要被写体判断部232によって判断された主要被写体以外の画像領域に含まれるテクスチャの特徴量を抽出する。そして、アルバム作成部256は、テクスチャ抽出部290が抽出したテクスチャの特徴量に基づいて生成されたテクスチャテンプレート画像を、画像を含むアルバムにおける画像以外の部分に配置する。
具体的には、テクスチャ抽出部290は、主要被写体判断部232によって判断された主要被写体以外の画像領域において空間周波数を解析することによって、主要被写体以外の画像領域における特徴的な周波数領域を抽出する。そして、アルバム作成部256は、テクスチャ抽出部290が抽出した周波数領域を強調して生成されたテクスチャテンプレート画像を、画像を含むアルバムにおける画像以外の部分に配置する。
具体的には、テクスチャテンプレート格納部292は、テクスチャの特徴量に対応づけて、当該特徴量を持つテクスチャテンプレート画像を格納する。そして、アルバム作成部256は、テクスチャ抽出部290が抽出したテクスチャの特徴量に対応づけてテクスチャテンプレート格納部292が格納しているテクスチャテンプレート画像を、画像を含むアルバムにおける画像以外の部分に配置する。
なお、テンプレート格納部254は、画像を含むアルバムにおける画像以外の部分のデザインを定めた背景テンプレートを格納する。そして、アルバム作成部256は、テクスチャ抽出部290が抽出した周波数領域が強調された輝度信号パターンを生成して、生成した輝度信号パターンを、テンプレート格納部254が格納している背景テンプレートに重ね合わせることによってテクスチャテンプレート画像を生成し、生成したテクスチャテンプレート画像を、画像を含むアルバムにおける画像以外の部分に配置する。
なお、テクスチャ抽出部290は、特徴色決定部274が決定した特徴色を持つ、画像に含まれるオブジェクトからテクスチャの特徴量を抽出する。アルバム作成部256は、テクスチャ抽出部290が抽出したテクスチャの特徴量に基づいて生成されたテクスチャテンプレート画像を、画像を含むアルバムにおける画像以外の部分に配置する。これにより、アルバム作成装置100は、画像において特徴的な領域のテクスチャをアルバムデザインにおいて強調することができる。
以上説明したアルバム作成装置100によれば、アルバムに収められる画像の主要被写体の背景と視覚的に調和のとれた色が使用されたアルバムを作成することができる。例えば、砂浜、海、空などが被写体の背景に大きく写っている画像を用いてアルバムを作成する場合に、アルバム作成装置100は、白、水色等の、画像と調和のとれた淡い色を含むカラーパレットの色を用いて自動的にアルバムを作成する。また、主要被写体の人物が風景の色と視覚的に調和しない色の服を着て写っている場合でも、アルバム作成装置100は、風景の色と調和のとれた色のアルバムを作成することができる。このため、アルバム作成装置100は、視覚的な違和感のないアルバムをユーザ180に提供することができる。
図4は、アルバムの作成フローの一例を示す。主要被写体判断部232は、アルバムに収める複数の画像のそれぞれにおける主要被写体を判断する(S502)。このとき、主要被写体判断部232は、画像における複数の部分領域のうち、コントラストのより高い部分領域を主要被写体が存在する部分領域と判断して、当該部分領域においてエッジ抽出などにより被写体の輪郭を抽出することによって主要被写体を判断してよい。また、主要被写体判断部232は、画像において面積のより大きい被写体を優先して主要被写体として選択してよい。また、主要被写体判断部232は、動作量のより大きい被写体を優先して主要被写体として選択してよい。
そして、特徴色決定部274は、各画像において、主要被写体以外の画像領域の特徴色を画像毎に抽出する(S504)。そして、主画像選択部212は、アルバムに収める画像の中から、主画像を選択する(S506)。なお、主画像選択部212は、アルバムの各ページに分けられた画像の中から、各ページにおける主画像を選択してよい。また、主画像は、ユーザ180によって選択されてもよい。
そして、カラーパレット選択部280は、撮像位置特定部234によって特定された画像の撮像地域に対応付けてカラーパレット情報格納部278が格納する一以上のカラーパレットの中から、主画像の特徴色を含むカラーパレットを選択する(S508)。そして、従画像選択部222は、S508において選択されたカラーパレットに含まれる色を特徴色として含む画像を、従画像として選択する(S510)。
そして、アルバム作成部256は、アルバムの各ページにおいて、主画像及び従画像をテンプレートで示される画像枠にはめ込んでレイアウトする(S512)。そして、アルバム作成部256は、S508において選択されたカラーパレットに含まれる色を用いて、テンプレートで示される着色領域に着色して(S514)、処理を終了する。これにより、アルバム作成装置100は、アルバムの各ページにおいて視覚的に調和のとれたアルバムを作成することができる。
なお、S508において、カラーパレット選択部280は、アルバムの各ページの主画像において決定された複数の特徴色を含むカラーパレットを選択してよい。そしてアルバム使用色選択部276は、カラーパレット選択部280によって選択されたカラーパレットに含まれる色の中から、アルバム使用色をページ毎に選択してよい。これにより、全体が視覚的に調和のとれたアルバムを作成することができる。また、S508において、各ページに収める画像が決定されている場合に、カラーパレット選択部280は、アルバムの各ページに収める主画像及び従画像の画像のそれぞれにおいて決定された複数の特徴色を含むカラーパレットを選択してもよい。
図5は、画像における色の出現頻度の一例を示す。図5は、色空間を複数の領域に分割した複数の色領域(色領域A、色領域B、色領域C、・・・・)のそれぞれにおける、各色領域に含まれる色が画像に出現する出現頻度に対する画像の枚数分布を示す。なお、出現頻度は、例えば各色領域の色が画像において占める面積を、当該画像の全面積で除した値であってよい。また、当該枚数分布は予め定められてもよいし、ユーザ180によって撮像された複数の画像から導かれてもよい。
そして、平均出現頻度情報格納部272は、当該枚数分布における平均出現頻度を格納する。例えば、図5の例では、平均出現頻度情報格納部272は、色領域A、色領域B、及び色領域Cの色の平均出現頻度として、それぞれ1%、0.8%、0.2%を格納する。そして、色出現頻度算出部264によって、例えば色領域A、色領域B、色領域Cの色の出現頻度が1.2%と算出されたとすると、特徴色決定部274は、平均出現頻度に対する出現頻度の割合(色領域A:1.2、色領域B:1.5、色領域C:6)に基づいて特徴色を決定する。この例では、特徴色決定部274は、平均出現頻度に対する出現頻度の割合がより大きい色である色領域Cに含まれる色を、特徴色として決定する。
そして、カラーパレット選択部280は、特徴色決定部274が決定した特徴色を含むカラーパレットを選択する。なお、特徴色決定部274は、より出現頻度の割合が高い複数の色領域のそれぞれが含む色から特徴色を決定してもよい。そして、カラーパレット選択部280は、特徴色決定部274が決定した複数の特徴色を含むカラーパレットを選択してよい。
また、特徴色決定部274は、平均出現頻度に対する出現頻度の割合がより大きい色を、特徴度のより高い特徴色として決定してよい。また、特徴色決定部274は、より多くの画像において特徴色として決定された色を、複数の画像において特徴度のより高い特徴色として決定してもよい。
なお、平均出現頻度情報格納部272は、枚数分布自体を格納してもよい。そして、特徴色決定部274は、平均出現頻度情報格納部272が格納する分布に基づいて、色出現頻度算出部264によって算出された色の偏差値を計算して、当該偏差値がより大きい色を、特徴色として決定してもよい。また、特徴色決定部274は、当該偏差値がより大きい色を、特徴度のより高い特徴色として決定してもよい。
このため、例えば広い砂浜に紫色のパラソルが人物の背景に写っている画像において、紫色の出現頻度が他の色の出現頻度に比べて小さい場合であっても、紫色の平均出現頻度が他の色に比べて小さいと、画像の特徴的な色としてアルバムに使用され得る。このため、アルバム作成装置100は、画像の中の特徴的な色を用いてアルバムを作成することができる。
図6は、抽出条件格納部282が格納する抽出条件の一例をテーブル形式で示す。抽出条件格納部282は、カラーパレットに含まれる色に対応づけて、色相、明度、彩度、及び画像領域に関する抽出条件を格納する。なお、色相、明度、及び彩度は、色の範囲を定める色的な抽出条件を示し、画像領域は画像において存在すべき位置の範囲を定める位置的な抽出条件を示す。テンプレート用色選択部276は、色抽出部262が抽出した色のうち、抽出条件格納部282が格納している抽出条件に合致する色で、カラーパレットに含まれる色を置き換える。
例えば、抽出条件格納部282は、カラーパレットが含むスカイブルーに対して、青の色相であり、かつ、明度の指標が50より大きく、彩度の指標が15より大きい色を、スカイブルーを置き換えることができる色として抽出することができる旨を格納している。また、抽出条件格納部282は、スカイブルーに対して、画像における上半分に存在する色から抽出することができる旨を格納している。
そして、テンプレート用色選択部276は、色抽出部262が抽出した色の中から、上記の色抽出条件を満たす色で、スカイブルーを置き換える。このように、テンプレート用色選択部276は、カラーパレットに含まれる色を、当該色に近く、かつ、実際に画像に含まれる色で置き換えることができる。したがって、アルバム作成装置100は、画像とより調和のとれた配色のアルバムを作成することができる。
なお、テンプレート用色選択部276は、色抽出部262が抽出した色のうち、抽出条件格納部282が格納する抽出条件に合致する色が複数存在する場合には、当該複数の色の中からより類似する色をより優先して抽出してよい。なお、より類似する色とは、カラーパレットの色との色差がより小さい色であってよい。他にも、テンプレート用色選択部276は、当該複数の色の中から、色出現頻度算出部264が算出した出現頻度がより高い色をより優先して選択してもよい。また、テンプレート用色選択部276は、当該複数の色の中から、平均出現頻度情報格納部272が格納している平均的な出現頻度に対する出現度のより高い色をより優先して選択してもよい。
なお、テンプレート用色選択部276は、パールホワイト等のような、白色光に近い色を、画像における光源色によって置き換えてよい。なお、テンプレート用色選択部276は、画像において予め定められた輝度値以上の輝度値を持ち、かつ彩度が予め定められた彩度より低い色を、光源色として抽出してよい。そして、テンプレート用色選択部276は、光源色として抽出した色で、カラーパレットに含まれる白色光に近い色を置き換えてよい。なお、抽出条件格納部282が、カラーパレットに含まれる白色光に近い色に対応づけてこのような輝度値及び彩度の条件を格納可能であることは言うまでもない。
図7は、カラーパレットの色を置き換える動作フローの一例を示す。本図のフローチャートは、図4のS514の処理において、特にカラーパレットの色を置き換える動作の具体例を示す。テンプレート用色選択部276は、S508において選択されたカラーパレットの中から1つの色を選択する(S702)。そして、テンプレート用色選択部276は、選択した色に対応づけて抽出条件格納部282が格納している抽出条件に合う色が、色抽出部262によって抽出されているか否かを判断する(S704)。S704において抽出条件に合う色が抽出されていると判断された場合、S702において選択した色を、抽出条件に合う色で置き換える(S706)。そして、テンプレート用色選択部276は、カラーパレットに含まれる色の全てが、S702において選択されて抽出条件に合う色が検索されたか否かを判断する(S708)。S708において、カラーパレットの色を全て検索したと判断された場合、置き換えられたカラーパレットの色を用いて、テンプレートで示される着色領域に着色し(S710)、処理を終了する。
なお、S704において、抽出条件に合う色が抽出されていないと判断された場合には、テンプレート用色選択部276はS708に処理を移行させる。また、S708において、カラーパレットの色を全て検索していないと判断された場合には、テンプレート用色選択部276はS702に処理を移行させ、S702において、抽出条件に合う色が検索されていない新たな色をカラーパレットから1つ選択して、S704以下の処理に移行する。
図8は、アルバム作成装置100によって作成されたアルバムの一ページの一例を示す。図8の例では、テンプレート格納部254は、ページのタイトル用の着色領域402、イラスト等のオブジェクト用の着色領域412、背景用の着色領域422及び424のレイアウト情報を格納する。また、テンプレート格納部254は、画像の位置及び大きさを示す画像枠450、452、454、及び456の構図情報を格納する。そして、アルバム作成部256は、主画像選択部212によって選択された主画像を画像枠450にはめ込む。そして、従画像選択部222によって選択された画像を、画像枠452、454、及び456にはめ込む。そして、アルバム作成部256は、アルバム使用色選択部276によって選択された色を用いて各着色領域402に着色する。
なお、アルバム作成部256は、着色領域の中でより大きい面積をもつ着色領域422を、アルバム使用色の中で特徴色決定部274により決定された特徴色に近い色相、明度、及び彩度の色を用いて着色してよい。また、アルバム作成部256は、着色領域の中でより大きい面積をもつ着色領域422に、より特徴度の高い特徴色に近い色相、明度、及び彩度の色を用いて着色してよい。他にも、アルバム作成部256は、タイトルを示す着色領域402には、アルバム使用色選択部276によって選択されたアルバム使用色のうち、他の着色領域に使用する色よりも彩度のより高い色を用いて着色してよい。
また、アルバム作成部256は、オブジェクトを配置する着色領域412等、着色領域の中でより小さい面積の着色領域には、特徴色決定部274によって決定された特徴色の中で、特徴度がより高く、かつ、平均出現頻度がより小さい特徴色を選択して、選択した特徴色に近い色相、明度、及び彩度の色を、アルバム使用色の中から選択して使用しても良い。例えば、アルバム作成部256は、紫色のパラソルが画像に写っており、特徴色決定部274によってパラソルの紫色が特徴色として決定された場合に、アルバム使用色の中からパラソルの紫色に近い色を選択して、着色領域412に着色する。これによりアルバム作成部256は、画像と調和のとれた色であり、なおかつ、ユーザ180にとって印象的な色が使用されたアルバムを作成することができる。
以上説明したアルバム作成装置100によれば、アルバムに収められる画像と視覚的に調和のとれた色を用いてアルバムを作成することができる。例えば、砂浜、海、空などが背景に大きく多く写っている画像を用いてアルバムを作成する場合に、アルバム作成装置100は、白、水色等の、淡い色を含むカラーパレットの色を用いて自動的にアルバムを作成する。このため、ユーザ180は、視覚的な違和感のないアルバムを容易に作成することができる。
図9は、テクスチャテンプレート格納部292が格納しているテクスチャテンプレートの一例を示す。テクスチャテンプレート格納部292は、テクスチャテンプレートを特徴周波数に対応づけて格納している。なお、特徴周波数とは、テクスチャテンプレートの画像の輝度値をx方向及びy方向にフーリエ解析した場合に、強い強度が算出された周波数であってよい。テクスチャテンプレート格納部292は、x方向及びy方向のそれぞれについて特徴周波数を複数格納してよい。
そして、テクスチャ抽出部290は、主要被写体以外の画像領域の画像から、フーリエ解析によって特徴的な周波数を算出する。そして、アルバム作成部256は、テクスチャテンプレート格納部292が格納している特徴周波数と、テクスチャ抽出部290が抽出した特徴的な周波数とを比較して、より合致度の高い特徴周波数に対応づけてテクスチャテンプレート格納部292が格納しているテクスチャテンプレートを選択する。そして、アルバム作成部256は、選択したテクスチャテンプレートを用いてアルバムを作成する。なお、合致度とは、テクスチャ抽出部290が抽出した特徴的な周波数と、テクスチャテンプレート格納部292が格納している特徴周波数との差を指標としてよく、当該差(又は差の合計値)がより小さい場合により合致度が高いと判断される。
なお、テクスチャテンプレート格納部292は、テクスチャテンプレートをフーリエ解析等の周波数解析をすることによって得られた周波数の強度分布そのものを格納していてもよい。その他、テクスチャテンプレート格納部292は、テクスチャテンプレートからエッジ抽出によって得られたエッジのエッジパターンに対応づけて、テクスチャテンプレートを格納してよい。そして、テクスチャ抽出部290は、主要被写体以外の画像領域の画像から、エッジ抽出によって抽出されたエッジパターンを、テクスチャとして抽出してよい。そして、アルバム作成部256は、テクスチャ抽出部290が抽出したエッジパターンと、テクスチャテンプレート格納部292が格納しているエッジパターンとを、パターンマッチングによって比較して、最も合致度の高いエッジパターンを選択する。そして、アルバム作成部256は、選択したエッジパターンに対応づけてテクスチャテンプレート格納部292が格納しているテクスチャテンプレートを選択して、選択したテクスチャテンプレートを用いてアルバムを作成してよい。
図10は、アルバム作成部256によって作成されたアルバムの1ページにおけるレイアウト結果の一例を示す。アルバム作成部256は、テクスチャテンプレートを用いて、画像枠450の周囲を縁どる(縁1010)。また、アルバム作成部256は、風船を示す着色領域412に対して、テクスチャ抽出部290が抽出したテクスチャが強調された画像処理を施す。
具体的には、アルバム作成部256は、テクスチャ抽出部290が抽出した特徴的な周波数を含む強度分布に対してフーリエ逆変換を施すことによって、当該周波数が強調された輝度パターンを生成する。そして、アルバム作成部256は、生成した輝度パターンを、着色領域412の輝度データに重ね合わせることによって、着色領域412において当該特徴的な周波数が強調されたテクスチャテンプレートを生成する。また、アルバム作成部256は、特徴色決定部274が決定した特徴色を持つオブジェクトからテクスチャ抽出部290が抽出した特徴的な周波数から、テクスチャテンプレートを生成してよい。他にも、アルバム作成部256は、着色領域412の輝度値を空間的にフーリエ変換することによって得られる周波数分布において、テクスチャ抽出部290が抽出した特徴的な周波数の強度を他の周波数の強度より大きくした周波数分布を逆フーリエ変換することによって、当該特徴的な周波数が強調されたテクスチャテンプレートを生成してもよい。
以上説明したように、アルバム作成装置100は、主要被写体の周囲におけるテクスチャに類似するテクスチャが強調されたアルバムを作成することができる。このため、アルバム作成装置100は、閲覧者にとって画像と視覚的にバランスのとれたアルバムを提供することができる。
図11は、本実施形態に係るアルバム作成装置100のハードウェア構成の一例を示す。アルバム作成装置100は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有するレガシー入出力部とを備える。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、アルバム作成装置100が起動時に実行するブート・プログラムや、アルバム作成装置100のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。
CPU1505により実行されるプログラムは、アルバム作成装置100を、図1から図10に関連して説明した画像格納部252、主画像選択部212、従画像選択部222、撮像位置特定部234、画像色解析部260、アルバム使用色決定部270、テンプレート格納部254、テクスチャ抽出部290、テクスチャテンプレート格納部292、及びアルバム作成部256として機能させる。また、CPU1505により実行されるプログラムは、画像色解析部260を、主要被写体判断部232、色抽出部262、及び色出現頻度算出部264として機能させ、アルバム使用色決定部270を、特徴色決定部274、アルバム使用色選択部276、カラーパレット情報格納部278、及び平均出現頻度情報格納部272、カラーパレット選択部280、及び抽出条件格納部282として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDやPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをアルバム作成装置100に提供してもよい。
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
アルバム作成装置100の利用環境の一例を示す図である。 アルバムにおける主画像及び従画像の一例を示す図である。 アルバム作成装置100のブロック構成の一例を示す図である。 アルバムの作成フローの一例を示す図である。 画像における色の出現頻度の一例を示す図である。 抽出条件の一例をテーブル形式で示す図である。 カラーパレットの色を置き換える動作フローの一例を示す図である。 作成されたアルバムの一ページの一例を示す図である。 テクスチャテンプレートの一例を示す図である。 アルバムの1ページにおけるレイアウト結果の一例を示す図である。 アルバム作成装置100のハードウェア構成の一例を示す図である。
符号の説明
100 アルバム作成装置
212 主画像選択部
222 従画像選択部
232 主要被写体判断部
234 撮像位置特定部
252 画像格納部
254 テンプレート格納部
256 アルバム作成部
260 画像色解析部
262 色抽出部
264 色出現頻度算出部
270 アルバム使用色決定部
272 平均出現頻度情報格納部
274 特徴色決定部
276 アルバム使用色選択部
278 カラーパレット情報格納部
280 カラーパレット選択部
282 抽出条件格納部
290 テクスチャ抽出部
292 テクスチャテンプレート格納部

Claims (21)

  1. 画像を含むアルバムを作成するアルバム作成装置であって、
    前記画像における複数の部分領域のうち、コントラストのより高い部分領域を判断する主要被写体判断部と、
    前記主要被写体判断部によって判断された部分領域以外の画像領域の色を解析する画像色解析部と、
    前記画像色解析部の解析結果に基づいて、前記画像を含むアルバムにおける前記画像以外の部分に使用する色を決定するアルバム使用色決定部と
    を備えるアルバム作成装置。
  2. 前記画像色解析部は、
    前記主要被写体判断部によって判断された部分領域以外の画像領域に含まれる複数の色を抽出する色抽出部と、
    前記色抽出部が抽出した複数の色の出現頻度を算出する色出現頻度算出部と
    を有し、
    前記アルバム使用色決定部は、
    前記色出現頻度算出部が算出した複数の色の出現頻度に基づいて、前記主要被写体判断部によって判断された部分領域以外の画像領域における特徴的な色である特徴色を決定する特徴色決定部と、
    前記特徴色決定部が決定した特徴色に基づいて、前記画像を含むアルバムにおける前記画像以外の部分に使用する色であるアルバム使用色を選択するアルバム使用色選択部と
    を有する請求項1に記載のアルバム作成装置。
  3. 前記アルバム使用色決定部は、
    予め定められた複数の色の組み合わせを示すカラーパレットの情報を複数格納するカラーパレット情報格納部
    をさらに有し、
    前記アルバム使用色選択部は、前記特徴色決定部が決定した特徴色を含むカラーパレットを選択し、選択したカラーパレットに含まれる色をアルバム使用色として選択する
    請求項2に記載のアルバム作成装置。
  4. 前記特徴色決定部は、前記色出現頻度算出部が算出した複数の色の出現頻度に基づいて、前記主要被写体判断部によって判断された部分領域以外の画像領域における複数の特徴色を決定し、
    前記アルバム使用色選択部は、前記特徴色決定部が決定した複数の特徴色を含むカラーパレットを選択し、選択されたカラーパレットに含まれる色をアルバム使用色として選択する
    請求項3に記載のアルバム作成装置。
  5. 前記アルバム使用色決定部は、
    複数の色のそれぞれに対応づけて、複数の色のそれぞれが画像中に出現し得る平均的な頻度を示す平均出現頻度を予め格納する平均出現頻度情報格納部
    をさらに有し、
    前記特徴色決定部は、前記平均出現頻度情報格納部が格納する平均出現頻度に対する、前記色出現頻度算出部が算出した出現頻度の割合がより大きい色を、前記主要被写体判断部によって判断された部分領域以外の画像領域における特徴色として決定する
    請求項2から4のいずれか一項に記載のアルバム作成装置。
  6. 前記画像が撮像された撮像位置を特定する撮像位置特定部
    をさらに備え、
    前記カラーパレット情報格納部は、撮像位置に対応づけて、予め定められた複数の色の組み合わせを示すカラーパレットの情報を複数格納しており、
    前記アルバム使用色選択部は、前記撮像位置特定部が特定した撮像位置に対応づけて前記カラーパレット情報格納部が格納するカラーパレットを複数選択し、選択した複数のカラーパレットから、前記特徴色決定部が決定した特徴色を含むカラーパレットを選択し、選択したカラーパレットに含まれる色をアルバム使用色として選択する
    請求項3に記載のアルバム作成装置。
  7. 複数の画像を格納する画像格納部と、
    アルバムにおいて他の画像よりサイズが大きい画像となるべき主画像を、前記画像格納部が格納している複数の画像から選択する主画像選択部と
    をさらに備え、
    前記色抽出部は、前記主画像選択部が選択した主画像において前記主要被写体判断部によって判断された部分領域以外の画像領域に含まれる複数の色を抽出し、
    前記色出現頻度算出部は、前記主画像選択部が選択した主画像において前記色抽出部が抽出した複数の色の出現頻度を算出し、
    前記特徴色決定部は、前記主画像選択部が選択した主画像において前記色出現頻度算出部が算出した複数の色の出現頻度に基づいて、前記主要被写体判断部によって判断された部分領域以外の画像領域における特徴的な色である特徴色を決定する
    請求項2または3に記載のアルバム作成装置。
  8. 前記特徴色決定部が決定した特徴色に基づいて、前記主画像選択部が選択した主画像にアルバムにおいて従属する画像となるべき従画像を、前記画像格納部が格納している複数の画像から選択する従画像選択部
    をさらに備える
    請求項7に記載のアルバム作成装置。
  9. 前記色抽出部は、前記画像格納部が格納している複数の画像において前記主要被写体判断部によって判断された部分領域以外の画像領域に含まれる複数の色を抽出し、
    前記特徴色決定部は、前記色出現頻度算出部が算出した複数の色の出現頻度に基づいて、前記主要被写体判断部によって判断された部分領域以外の画像領域における特徴的な色である特徴色を決定し、
    前記従画像選択部は、前記主画像選択部が選択した主画像において前記特徴色決定部が決定した特徴色を含むカラーパレットを選択し、選択したカラーパレットに含まれる色を、前記特徴色決定部が決定した特徴色として含む画像を従画像として選択する
    請求項8に記載のアルバム作成装置。
  10. 前記アルバム使用色決定部は、
    予め定められた複数の色の組み合わせを示すカラーパレットの情報を複数格納するカラーパレット情報格納部と、
    前記特徴色決定部が決定した特徴色を含むカラーパレットを選択するカラーパレット選択部と
    をさらに有し、
    前記アルバム使用色選択部は、前記色抽出部が抽出した複数の色の中から、前記カラーパレット選択部が選択したカラーパレットに含まれる少なくとも1つ色のそれぞれに最も類似する色である類似色を抽出し、抽出した類似色をアルバム使用色として選択する
    請求項2に記載のアルバム作成装置。
  11. 前記アルバム使用色決定部は、
    前記カラーパレット情報格納部が格納しているカラーパレットに含まれるそれぞれの色に対応づけて、類似色として抽出されるべき条件である抽出条件を格納する抽出条件格納部
    をさらに有し、
    前記アルバム使用色選択部は、前記カラーパレット選択部が選択したカラーパレットに含まれるそれぞれの色に対応づけて前記抽出条件格納部が格納している抽出条件に合致する色を、前記色抽出部が抽出した複数の色の中から類似色として抽出し、抽出した類似色をアルバム使用色として選択する
    請求項10に記載のアルバム作成装置。
  12. 前記抽出条件格納部は、前記カラーパレット情報格納部が格納しているカラーパレットに含まれるそれぞれの色に対応づけて、当該色を含む、類似色として抽出されるべき色範囲を格納し、
    前記アルバム使用色選択部は、前記カラーパレット選択部が選択したカラーパレットに含まれるそれぞれの色に対応づけて前記抽出条件格納部が格納している色範囲に含まれる色を、前記色抽出部が抽出した複数の色の中から類似色として抽出し、抽出した類似色をアルバム使用色として選択する
    請求項11に記載のアルバム作成装置。
  13. 前記特徴色決定部が決定した特徴色を持つ、前記画像に含まれるオブジェクトからテクスチャの特徴量を抽出するテクスチャ抽出部と、
    前記テクスチャ抽出部が抽出したテクスチャの特徴量に基づいて生成されたテクスチャテンプレート画像を、前記画像を含むアルバムにおける前記画像以外の部分に配置するアルバム作成部と
    をさらに備える請求項2から12のいずれか一項に記載のアルバム作成装置。
  14. 画像を含むアルバムを作成するアルバム作成装置用のプログラムであって、コンピュータを、
    請求項1から13のいずれか一項に記載のアルバム作成装置として機能させるプログラム。
  15. RAMに読み出されたプログラムをCPUが実行することにより、前記CPUを有するコンピュータが画像を含むアルバムを作成するアルバム作成方法であって、
    前記CPUが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、前記画像における複数の部分領域のうち、コントラストのより高い部分領域を判断する主要被写体判断段階と、
    前記CPUが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、前記主要被写体判断段階において判断された部分領域以外の画像領域の色を解析する画像色解析段階と、
    前記CPUが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、前記画像色解析段階における解析結果に基づいて、前記画像を含むアルバムにおける前記画像以外の部分に使用する色を決定するアルバム使用色決定段階と
    を備えるアルバム作成方法。
  16. 画像を含むアルバムを作成するアルバム作成装置であって、
    前記画像における複数の部分領域のうち、コントラストのより高い部分領域を判断する主要被写体判断部と、
    前記主要被写体判断部によって判断された部分領域以外の画像領域に含まれるテクスチャの特徴量を抽出するテクスチャ抽出部と、
    前記テクスチャ抽出部が抽出したテクスチャの特徴量に基づいて生成されたテクスチャテンプレート画像を、前記画像を含むアルバムにおける前記画像以外の部分に配置するアルバム作成部と
    を備えるアルバム作成装置。
  17. 前記テクスチャ抽出部は、前記主要被写体判断部によって判断された部分領域以外の画像領域において空間周波数を解析することによって、部分領域以外の画像領域における特徴的な周波数領域を抽出し、
    前記アルバム作成部は、前記テクスチャ抽出部が抽出した周波数領域を強調して生成されたテクスチャテンプレート画像を、前記画像を含むアルバムにおける前記画像以外の部分に配置する
    請求項16に記載のアルバム作成装置。
  18. 前記画像を含むアルバムにおける前記画像以外の部分のデザインを定めた背景テンプレートを格納するテンプレート格納部
    をさらに備え、
    前記アルバム作成部は、前記テクスチャ抽出部が抽出した周波数領域が強調された輝度信号パターンを生成して、生成した輝度信号パターンを、前記テンプレート格納部が格納している背景テンプレートに重ね合わせることによってテクスチャテンプレート画像を生成し、生成したテクスチャテンプレート画像を、前記画像を含むアルバムにおける前記画像以外の部分に配置する
    請求項17に記載のアルバム作成装置。
  19. テクスチャの特徴量に対応づけて、当該特徴量を持つテクスチャテンプレート画像を格納するテクスチャテンプレート格納部
    をさらに備え、
    前記アルバム作成部は、前記テクスチャ抽出部が抽出したテクスチャの特徴量に対応づけて前記テクスチャテンプレート格納部が格納しているテクスチャテンプレート画像を、前記画像を含むアルバムにおける前記画像以外の部分に配置する
    請求項16に記載のアルバム作成装置。
  20. 画像を含むアルバムを作成するアルバム作成装置用のプログラムであって、コンピュータを、
    請求項16から19のいずれか一項に記載のアルバム作成装置として機能させるプログラム。
  21. RAMに読み出されたプログラムをCPUが実行することにより、前記CPUを有するコンピュータが画像を含むアルバムを作成するアルバム作成方法であって、
    前記CPUが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、前記画像における複数の部分領域のうち、コントラストのより高い部分領域を判断する主要被写体判断段階と、
    前記CPUが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、前記主要被写体判断段階において判断された部分領域以外の画像領域に含まれるテクスチャの特徴量を抽出するテクスチャ抽出段階と、
    前記CPUが、前記プログラムに基づいて動作して前記コンピュータが有するハードウェアを制御することにより、前記テクスチャ抽出段階において抽出されたテクスチャの特徴量に基づいて生成されたテクスチャテンプレート画像を、前記画像を含むアルバムにおける前記画像以外の部分に配置するアルバム作成段階と
    を備えるアルバム作成方法。
JP2006069992A 2005-04-13 2006-03-14 アルバム作成装置、アルバム作成方法、及びプログラム Expired - Fee Related JP4704253B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006069992A JP4704253B2 (ja) 2005-04-13 2006-03-14 アルバム作成装置、アルバム作成方法、及びプログラム
EP06731934A EP1872335A4 (en) 2005-04-13 2006-04-11 ALBUM CREATION DEVICE, ALBUM CREATION PROCESS AND PROGRAM
CN2006800212278A CN101213576B (zh) 2005-04-13 2006-04-11 影集制作装置及方法
PCT/JP2006/307998 WO2006109879A1 (en) 2005-04-13 2006-04-11 Album creating apparatus, album creating method and program
US11/872,446 US8090196B2 (en) 2005-04-13 2007-10-15 Album creating apparatus, album creating method and computer readable medium storing thereon program therefor

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005115730 2005-04-13
JP2005115730 2005-04-13
JP2006069992A JP4704253B2 (ja) 2005-04-13 2006-03-14 アルバム作成装置、アルバム作成方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2006318449A JP2006318449A (ja) 2006-11-24
JP4704253B2 true JP4704253B2 (ja) 2011-06-15

Family

ID=37087136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006069992A Expired - Fee Related JP4704253B2 (ja) 2005-04-13 2006-03-14 アルバム作成装置、アルバム作成方法、及びプログラム

Country Status (5)

Country Link
US (1) US8090196B2 (ja)
EP (1) EP1872335A4 (ja)
JP (1) JP4704253B2 (ja)
CN (1) CN101213576B (ja)
WO (1) WO2006109879A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242604A (ja) * 2004-02-26 2005-09-08 Seiko Epson Corp 画像配列の決定
JP4704224B2 (ja) * 2005-03-04 2011-06-15 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293985A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP2006293986A (ja) 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
JP4985062B2 (ja) * 2006-04-14 2012-07-25 株式会社ニコン カメラ
JP4586891B2 (ja) * 2008-06-10 2010-11-24 コニカミノルタビジネステクノロジーズ株式会社 減色方法、減色処理装置、画像形成装置、およびコンピュータプログラム
JP5043767B2 (ja) * 2008-07-08 2012-10-10 キヤノン株式会社 画像処理装置及び画像処理方法
JP5736581B2 (ja) * 2009-04-24 2015-06-17 フリュー株式会社 写真シール作成装置、写真シール作成方法、およびプログラム
JP5251733B2 (ja) * 2009-06-03 2013-07-31 株式会社リコー 情報管理装置、情報表示方法およびプログラム
US20120113131A1 (en) * 2009-07-06 2012-05-10 Koninklijke Philips Electronics N.V. Method and apparatus for generating a sequence of a plurality of images
JP5686673B2 (ja) 2010-07-22 2015-03-18 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US9153056B2 (en) * 2013-03-07 2015-10-06 Shutterfly, Inc. Adaptive and fast image collage creation
JP5707947B2 (ja) * 2011-01-11 2015-04-30 株式会社リコー 画像処理装置
JP5047383B2 (ja) * 2011-07-11 2012-10-10 富士フイルム株式会社 画像合成用サーバおよびその制御方法
CN103577993B (zh) * 2012-08-07 2017-06-09 阿里巴巴集团控股有限公司 颜色选取方法及装置
EP2849425A1 (en) * 2013-09-16 2015-03-18 Thomson Licensing Color video processing system and method, and corresponding computer program
WO2016031254A1 (ja) * 2014-08-28 2016-03-03 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6358198B2 (ja) * 2015-08-31 2018-07-18 京セラドキュメントソリューションズ株式会社 画像形成装置及びプログラム
JP2018138359A (ja) * 2017-02-24 2018-09-06 キヤノン株式会社 画像処理装置、制御方法、およびプログラム
EP3942466A1 (en) * 2019-04-23 2022-01-26 L'Oréal SA Machine image colour extraction and machine image construction using an extracted colour

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138846A (ja) * 1995-11-14 1997-05-27 Canon Inc 画像処理方法及び装置
JP2002158870A (ja) * 2000-06-23 2002-05-31 Eastman Kodak Co 画像の顕著性及びアピール性に基づいて写真印画の数、寸法、及び、倍率を変更する方法
JP2002300363A (ja) * 2001-03-29 2002-10-11 Fuji Photo Film Co Ltd 背景画像設定方法および装置並びに記録媒体
JP2003023646A (ja) * 2001-04-30 2003-01-24 Hewlett Packard Co <Hp> デジタル画像用フレームの自動生成方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10126731A (ja) * 1996-10-17 1998-05-15 Toppan Printing Co Ltd 旅行アルバム作成システム
AUPO960297A0 (en) * 1997-10-03 1997-10-30 Canon Information Systems Research Australia Pty Ltd Colour advising and selection method
CN1256471A (zh) * 1999-04-16 2000-06-14 四川长虹电器股份有限公司 电视影集数据的制作方法
JP4090175B2 (ja) * 2000-01-31 2008-05-28 株式会社リコー 画像信号処理方法、画像信号処理装置及び画像信号処理プログラムを記録した媒体
US6952286B2 (en) * 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
US6859210B2 (en) * 2001-07-06 2005-02-22 Eastman Kodak Company Method for representing a digital color image using a set of palette colors based on detected important colors
CN1224242C (zh) * 2003-04-14 2005-10-19 浙江大学 数字图像处理中以任意图像为背景的快速抠图方法
JP3925476B2 (ja) * 2003-08-08 2007-06-06 セイコーエプソン株式会社 撮影場面の判定および撮影場面に応じた画像処理
US20050228785A1 (en) * 2004-04-02 2005-10-13 Eastman Kodak Company Method of diagnosing and managing memory impairment using images
US7843581B2 (en) * 2004-04-08 2010-11-30 Canon Kabushiki Kaisha Creating and sharing digital photo albums

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09138846A (ja) * 1995-11-14 1997-05-27 Canon Inc 画像処理方法及び装置
JP2002158870A (ja) * 2000-06-23 2002-05-31 Eastman Kodak Co 画像の顕著性及びアピール性に基づいて写真印画の数、寸法、及び、倍率を変更する方法
JP2002300363A (ja) * 2001-03-29 2002-10-11 Fuji Photo Film Co Ltd 背景画像設定方法および装置並びに記録媒体
JP2003023646A (ja) * 2001-04-30 2003-01-24 Hewlett Packard Co <Hp> デジタル画像用フレームの自動生成方法

Also Published As

Publication number Publication date
EP1872335A1 (en) 2008-01-02
EP1872335A4 (en) 2009-05-27
US8090196B2 (en) 2012-01-03
US20080107331A1 (en) 2008-05-08
CN101213576B (zh) 2010-07-14
JP2006318449A (ja) 2006-11-24
CN101213576A (zh) 2008-07-02
WO2006109879A1 (en) 2006-10-19

Similar Documents

Publication Publication Date Title
JP4704253B2 (ja) アルバム作成装置、アルバム作成方法、及びプログラム
JP4704224B2 (ja) アルバム作成装置、アルバム作成方法、及びプログラム
US8411968B2 (en) Album creating apparatus, method and program that classify, store, and arrange images
US7908547B2 (en) Album creating apparatus, album creating method and program
Tremeau et al. Color in image and video processing: most recent trends and future research directions
US7941002B2 (en) Apparatus and methods of producing photorealistic image thumbnails
US10573041B2 (en) Rear image candidate determination device, rear image candidate determination method, and rear image candidate determination program
US20140198234A1 (en) Image processing apparatus, program, image processing method, and imaging apparatus
JP2007312058A (ja) アルバム作成システム、アルバム作成方法及びプログラム
JP2010072934A (ja) アルバム作成装置及びアルバム作成方法
JP2005202469A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2008234124A (ja) 代表色抽出方法、および代表色抽出装置
JP2005151282A (ja) 画像処理装置、画像処理方法、およびプログラム
KR101961968B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체
JP2013521703A (ja) 画像対画像修飾物結合方法
JP5434582B2 (ja) 画像処理装置、及び、画像加工プログラム
JP2007249434A (ja) アルバム作成システム、アルバム作成方法、及びプログラム
Liu Two decades of colorization and decolorization for images and videos
JP2006013722A (ja) 画像処理装置および画像処理方法
US20170061642A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP2013141200A (ja) 画像処理装置、プログラム、画像処理方法及び撮像装置
JP2003274180A (ja) 画像処理装置、画像処理方法、プリンタドライバ、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム
JP4507673B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2010081350A (ja) 油彩画調画像の生成方法および生成プログラム
JP2013080464A (ja) 画像処理装置、撮像装置、及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061211

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101116

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110309

R150 Certificate of patent or registration of utility model

Ref document number: 4704253

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees