JP5035596B2 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP5035596B2
JP5035596B2 JP2006252238A JP2006252238A JP5035596B2 JP 5035596 B2 JP5035596 B2 JP 5035596B2 JP 2006252238 A JP2006252238 A JP 2006252238A JP 2006252238 A JP2006252238 A JP 2006252238A JP 5035596 B2 JP5035596 B2 JP 5035596B2
Authority
JP
Japan
Prior art keywords
images
image
subtree
distance
subtrees
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006252238A
Other languages
English (en)
Other versions
JP2008077138A (ja
JP2008077138A5 (ja
Inventor
卓之 大輪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006252238A priority Critical patent/JP5035596B2/ja
Priority to US11/901,592 priority patent/US8041154B2/en
Priority to CN2007101528081A priority patent/CN101150662B/zh
Priority to KR1020070094846A priority patent/KR101387849B1/ko
Publication of JP2008077138A publication Critical patent/JP2008077138A/ja
Publication of JP2008077138A5 publication Critical patent/JP2008077138A5/ja
Application granted granted Critical
Publication of JP5035596B2 publication Critical patent/JP5035596B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、コンテンツを適切にグループ分けし、新たなコンテンツを作成することができるようにした情報処理装置および方法、並びにプログラムに関する。
近年、HDD（Hard Disk Drive）レコーダやパーソナルコンピュータなどの機器において、記録されているコンテンツをグループ分けするために、様々なクラスタリングの技術が提案されている。この技術を用いて、記録されている画像を分類して、銀塩カメラで撮影された写真のアルバムのようなコンテンツを作成することも考えられる。
銀塩カメラで撮影された写真をアルバムに保存する場合、例えば、イベント毎、撮影された場所毎、日付毎にアルバムを分けたり、ページを分けたりして写真を保存することができる。ユーザは、それぞれのページに、イベント、場所、日付などが近い写真を、そのページの大きさや写真の枚数に応じて配置することができる。
ところで、写真撮影されたフィルム画像を電子画像に変換し、これに撮影日や場所等の付加情報を付加して電子データとして保存管理し、画像が記録された写真フィルムを電子データと関連付けて保管するようにしたものがある（例えば、特許文献１参照）。
特開平１０−１４３６３１号公報
しかしながら、HDDレコーダやパーソナルコンピュータにおいて、写真や動画などのコンテンツを、銀塩カメラで撮影された写真のアルバムのように、ユーザの要求に沿って、適切に分類することはできない。
本発明は、このような状況に鑑みてなされたものであり、複数の画像を意味のあるグループ毎に分類することができるようにするものである。
本発明の一側面の情報処理装置は、グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の前記画像同士を二分木構造で結び付けることで前記画像のクラスタリングを行うクラスタリング手段と、前記画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、前記画像のグループ分けをするグループ分け手段と、所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの前記第１の部分木に距離がより近い部分木とを結び付けることで、前記隣り合う部分木に含まれる画像の枚数を補正する補正手段とを備える。
前記メタデータは、前記画像の撮影された撮影時刻を示すようにすることができる。
前記メタデータは、前記画像の撮影された撮影場所を示し、前記距離は、前記撮影場所の物理的距離を示すようにすることができる。
前記メタデータは、前記画像に関するキーワードを示し、前記距離は、前記キーワードの類似度を示すようにすることができる。
前記情報処理装置には、グループ分けされた前記画像が、前記グループ毎に配置されてなるコンテンツを作成する作成手段をさらに設けることができる。
前記作成手段には、グループ分けされた前記画像の枚数に応じて、前記コンテンツを表示する場合の、前記コンテンツにおける前記画像の配置を設定させることができる。
前記情報処理装置には、前記コンテンツの表示を制御する表示制御手段をさらに設けることができる。
本発明の一側面の情報処理方法は、グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の前記画像同士を二分木構造で結び付けることで前記画像のクラスタリングを行うクラスタリング手段と、前記画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、前記画像のグループ分けをするグループ分け手段と、所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの前記第１の部分木に距離がより近い部分木とを結び付けることで、前記隣り合う部分木に含まれる画像の枚数を補正する補正手段とを備える情報処理装置の情報処理方法であって、前記クラスタリング手段が、グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の前記画像同士を二分木構造で結び付けることで前記画像のクラスタリングを行い、前記グループ分け手段が、前記画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、前記画像のグループ分けをし、前記補正手段が、所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの前記第１の部分木に距離がより近い部分木とを結び付けることで、前記隣り合う部分木に含まれる画像の枚数を補正するステップを含む。
本発明の一側面のプログラムは、グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の前記画像同士を二分木構造で結び付けることで前記画像のクラスタリングを行うクラスタリングステップと、前記画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、前記画像のグループ分けをするグループ分けステップと、所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの前記第１の部分木に距離がより近い部分木とを結び付けることで、前記隣り合う部分木に含まれる画像の枚数を補正する補正ステップとを含む処理をコンピュータに実行させる。
本発明の一側面においては、グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の画像同士を二分木構造で結び付けることで画像のクラスタリングが行われ、画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、画像のグループ分けがされ、所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの第１の部分木に距離がより近い部分木とを結び付けることで、隣り合う部分木に含まれる画像の枚数が補正される。
以上のように、本発明の一側面によれば、複数の画像からコンテンツを作成することができる。また、本発明の一側面によれば、複数の画像を意味のあるグループ毎に分類することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の情報処理装置は、グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の前記画像同士を二分木構造で結び付けることで前記画像のクラスタリングを行うクラスタリング手段（例えば、図２のクラスタリング部９１）と、前記画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、前記画像のグループ分けをするグループ分け手段（例えば、図２のグループ分け処理部９２）と、所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの前記第１の部分木に距離がより近い部分木とを結び付けることで、前記隣り合う部分木に含まれる画像の枚数を補正する補正手段（例えば、図２の補正部９３）とを備える。
前記情報処理装置には、グループ分けされた前記画像が、前記グループ毎に配置されてなるコンテンツを作成する作成手段（例えば、図２のコンテンツ作成部５５）をさらに設けることができる。
前記作成手段には、グループ分けされた前記画像の枚数に応じて、前記コンテンツを表示する場合の、前記コンテンツにおける前記画像の配置を設定させることができる（例えば、図１３のステップＳ１８）。
前記情報処理装置には、前記コンテンツの表示を制御する表示制御手段（例えば、図２の表示制御部５３）をさらに設けることができる。
本発明の一側面の情報処理方法は、グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の前記画像同士を二分木構造で結び付けることで前記画像のクラスタリングを行うクラスタリング手段と、前記画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、前記画像のグループ分けをするグループ分け手段と、所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの前記第１の部分木に距離がより近い部分木とを結び付けることで、隣り合う部分木に含まれる画像の枚数を補正する補正手段とを備える情報処理装置の情報処理方法であって、前記クラスタリング手段が、グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の前記画像同士を二分木構造で結び付けることで前記画像のクラスタリングを行い（例えば、図１３のステップＳ１３）、前記グループ分け手段が、前記画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、前記画像のグループ分けをし（例えば、図２２のステップＳ５２）、前記補正手段が、所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの前記第１の部分木に距離がより近い部分木とを結び付けることで、隣り合う部分木に含まれる画像の枚数を補正するステップ（例えば、図２２のステップＳ５５）を含む。
本発明の一側面のプログラムは、グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の前記画像同士を二分木構造で結び付けることで前記画像のクラスタリングを行うクラスタリングステップと（例えば、図１３のステップＳ１３）、前記画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、前記画像のグループ分けをするグループ分けステップ（例えば、図２２のステップＳ５２）と、所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの前記第１の部分木に距離がより近い部分木とを結び付けることで、前記隣り合う部分木に含まれる画像の枚数を補正する補正ステップ（例えば、図２２のステップＳ５５）とを含む。
図１は、本発明の一実施の形態であるHDDレコーダの構成の例を示すブロック図である。
図１のHDDレコーダ１は、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号として入力される映像信号および音声信号を記録または再生する。HDDレコーダ１は、再生された映像信号を、外部に接続されているモニタ２に出力する。また、HDDレコーダ１は、再生された音声信号を、外部に接続されているスピーカ３に出力する。
AV信号を供給する外部装置は、例えば、i.LINK（商標）を介して接続される外部装置、デジタルBS（Broadcasting Satellite）チューナもしくはデジタルCS（Communications Satellite）チューナ、デジタルビデオカメラ、デジタルスチルカメラ、またはスキャナなどである。
HDDレコーダ１には、必要に応じてドライブ４が接続される。ドライブ４には、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)を含む）、光磁気ディスク、もしくは半導体メモリなどのリムーバブルメディア５が必要に応じて装着され、データの授受を行うようになされている。
図１のHDDレコーダ１は、コーデック１１、サンプリングレートコンバータ１２、アナログ入力処理部１３、A/D（Analog to Digital）コンバータ１４、切換部１５、NTSC（National Television System Committee）デコーダ１６、エンコーダ１７、記録再生部１８、操作部１９、制御部２０、デコーダ２１、NTSCエンコーダ２２、およびD/A（Digital to Analog）コンバータ２３から構成される。
コーデック１１は、図示せぬ外部装置から供給されるAV信号のうち、デジタルビデオ信号の圧縮を伸張し、NTSCデコーダ１６に供給する。
サンプリングレートコンバータ１２は、図示せぬ外部装置から供給されるAV信号のうち、デジタルオーディオ信号のサンプリングレートを異なるサンプリングレートに変換する。サンプリングレートコンバータ１２は、変換されたデジタルオーディオ信号を切換部１５に供給する。
アナログ入力処理部１３は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、図示せぬアナログチューナ、または図示せぬラインチューナから供給されるアナログ信号のうちの一方を選択する。アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログビデオ信号をNTSCデコーダ１６に供給する。また、アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログオーディオ信号をA/Dコンバータ１４に供給する。
A/Dコンバータ１４は、アナログ入力処理部１３から供給されたアナログオーディオ信号をA/D変換する。A/Dコンバータ１４は、A/D変換された結果であるデジタルオーディオ信号を切換部１５に供給する。
切換部１５は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、サンプリングレートコンバータ１２から供給されたデジタルオーディオ信号、またはA/Dコンバータ１４から供給されたデジタルオーディオ信号のうちの一方を選択する。切換部１５は、選択されたデジタルオーディオ信号をNTSCデコーダ１６に供給する。
NTSCデコーダ１６は、コーデック１１より供給されたデジタルビデオ信号、またはアナログ入力処理部１３より入力されたアナログビデオ信号を、NTSC方式のデジタルビデオ信号に変換する。NTSCデコーダ１６は、変換されたNTSC方式のデジタルビデオ信号と、切換部１５から供給されたデジタルオーディオ信号とを合成する。
HDDレコーダ１に入力される映像信号および音声信号を記録する場合は、NTSCデコーダ１６は、合成された信号であるデジタルAV信号を、エンコーダ１７に供給する。一方、HDDレコーダ１に入力される映像信号および音声信号を記録せずそのまま再生する場合は、NTSCデコーダ１６は、合成された信号であるデジタルAV信号を、後述するNTSCエンコーダ２２およびD/Aコンバータ２３に供給する。
エンコーダ１７は、NTSCデコーダ１６より供給されたデジタルAV信号に対して、例えば、MPEG（Moving Picture Experts Group）方式などの所定の方式に従ったエンコード処理を施す。エンコーダ１７は、エンコード処理の結果である圧縮符号化された信号データを記録再生部１８に供給する。
記録再生部１８は、例えば、ハードディスクまたは光ディスクなどで構成される。記録再生部１８は、エンコーダ１７から供給された信号データを記録する。また、記録再生部１８は、記録された信号データをデコーダ２１に供給する。即ち、記録再生部１８は、記録された信号データを再生する。
操作部１９は、例えば、各種の操作ボタン、キー、またはタッチパネルなどからなる。ユーザは、HDDレコーダ１に対する指示を入力するために操作部１９を操作する。操作部１９は、ユーザの操作に応じて、ユーザの操作を示す信号を制御部２０に供給する。
制御部２０は、例えば、マイクロプロセッサなどからなり、操作部１９から供給されるユーザの操作を示す信号に基づいて、HDDレコーダ１全体を制御する。
デコーダ２１は、記録再生部１８から供給された信号データに対して、例えば、MPEG（Moving Picture Experts Group）方式など、上述した方式に対応する方式に従ったデコード処理を施す。デコーダ２１は、処理の結果である伸張復号されたデジタルAV信号のうちのデジタルビデオ信号をNTSCエンコーダ２２に供給する。また、デコーダ２１は、処理の結果である伸張復号されたデジタルAV信号のうちのデジタルオーディオ信号をD/Aコンバータ２３に供給する。
NTSCエンコーダ２２は、デコーダ２１から供給されたデジタルビデオ信号をNTSC方式のビデオ信号に変換する。NTSCエンコーダ２２は、変換されたビデオ信号をモニタ２に供給する。
D/Aコンバータ２３は、デコーダ２１から供給されたデジタルオーディオ信号をD/A変換する。D/Aコンバータ２３は、変換された結果であるオーディオ信号をスピーカ３に供給する。
このような構成により、HDDレコーダ１は入力された映像信号および音声信号を記録または再生することができる。
図２は、図１のHDDレコーダ１の記録再生部１８および制御部２０の構成の例を示すブロック図である。
記録再生部１８は、画像データベース（DB）３１、テンプレートデータベース（DB）３２、コンテンツデータベース（DB）３３、および辞書データベース（DB）３４から構成される。以下、画像データベース３１を画像DB３１と称し、テンプレートデータベース３２をテンプレートDB３２と称し、コンテンツデータベース３３をコンテンツDB３３と称し、辞書データベース３４を辞書DBと称することとする。
画像DB３１は、図１のエンコーダ１７から供給された画像のデータである画像データと、画像の属性を示すメタデータを対応づけて記憶する。
テンプレートDB３２は、コンテンツDB３３に記録されるコンテンツであるスクラップブックを表示する場合の、スクラップブックに配置される画像の背景となる背景画像のデータである背景テンプレートおよびスクラップブックにおける画像の配置を設定する情報である配置テンプレートとを記録する。また、テンプレートDB３２は、背景テンプレートと、その属性を示すメタデータとを対応づけて記録する。
コンテンツDB３３は、グループに分けられた画像が、グループ毎に配置されてなるコンテンツであるスクラップブックのデータを記録する。なお、コンテンツの詳細は後述する。
辞書DB３４は、例えば、国語辞典、英和辞典、和英辞典、類語辞典などの各種の辞典のデータを単語として記録する。
制御部２０は、選択部５１、記録再生制御部５２、表示制御部５３、メタデータ抽出部５４、およびコンテンツ作成部５５から構成される。
選択部５１は、操作部１９から供給される、ユーザの操作を示す信号に基づいて、ユーザにより操作される内容を示す情報を記録再生制御部５２に供給する。例えば、選択部５１は、操作部１９から供給される、モニタ２に表示される画像、またはスクラップブックを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される画像、またはコンテンツを示す情報を記録再生制御部５２に供給する。
また、選択部５１は、記録再生制御部５２に読み出される画像の画像データから所定の画像データを選択する。
記録再生制御部５２は、記録再生部１８が行う記録または再生を制御する。また、記録再生制御部５２は、記録再生部１８から画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを読み出す。例えば、記録再生制御部５２は、選択部５１から供給される、ユーザにより操作される内容を示す情報に基づいて、記録再生部１８に保存されている画像データを読み出す。
記録再生制御部５２は、読み出された画像データ、背景テンプレート、配置テンプレート、またはスクラップブックのデータを、コンテンツ作成部５５に供給する。
表示制御部５３は、記録再生制御部５２により読み出された画像データ、またはスクラップブックのデータを基に、デコーダ２１のデコード処理を制御する。
メタデータ抽出部５４は、記録再生制御部５２に読み出される画像データに付加されているメタデータを抽出する。メタデータ抽出部５４は、抽出されたメタデータをコンテンツ作成部５５に供給する。
コンテンツ作成部５５は、グループ分けされた画像が、グループ毎に配置されてなるコンテンツであるスクラップブックを作成する。コンテンツ作成部５５は、演算部７１、およびテンプレート設定部７２から構成される。
演算部７１は、クラスタリング部９１、グループ分け処理部９２、および補正部９３を含むように構成される。
クラスタリング部９１は、画像をグループ化する、すなわち画像のクラスタを生成するための所定の条件に基づいて、画像のクラスタリングを行う。画像のクラスタを生成するための条件は、予め用意されている複数の条件の中からユーザにより選択されるようにしてもよい。例えば、クラスタリング部９１は、メタデータ抽出部５４から供給されるメタデータに基づいて、画像のクラスタリングを行う。より具体的には、例えば、クラスタリング部９１は、同じイベントを表すメタデータが付加されている画像の画像データからなる１つのクラスタを生成する。
クラスタリング部９１は、グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の画像同士をより強く結び付けるように画像のクラスタリングを行う。例えば、ここでのメタデータは、それぞれの画像が撮影された撮影時刻を示し、画像同士の距離は、撮影された画像同士の撮影時刻の時間間隔を示す。すなわち、例えば、クラスタリング部９１は、１つのクラスタに含まれる複数の画像のそれぞれの撮影された撮影時刻に基づいて、撮影時刻の時間間隔がより小さい画像同士の間のノードの数がより少なくなるように、画像を二分木構造で結び付けることで画像のクラスタリングを行う。
例えば、二分木構造において、画像同士の結び付きは、その画像の間のノードの数が少ないものほどより強いと言える。なお、二分木構造の作成の処理については後述する。
グループ分け処理部９２は、画像同士の結び付きの強さに応じて、グループあたりの画像があらかじめ決められた所定の枚数以下になるように、画像のグループ分けをする。例えば、グループ分け処理部９２は、１つのクラスタにおいて画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、画像のグループ分けをする。
より具体的には、グループ分け処理部９２は、画像が結び付けられている二分木の頂点のノードから見て、そのノードにより結び付けられている画像の枚数が、指定された枚数より多いか否かを判定し、指定された枚数より多い場合、二分木をそのノードの子ノードを頂点とする２つの二分木に分割することによって、画像のグループ分けをする。また、グループ分け処理部９２は、分割された二分木についても、同様の処理を行う。
補正部９３は、所定の時間範囲内に撮影された画像であって、分割された部分木のうちの隣り合う部分木に含まれる画像の枚数に偏りが生じる場合、隣り合う部分木に含まれる画像の枚数を補正する。すなわち、補正部９３は、所定の時間範囲内に撮影された画像であって、グループ分けされた画像のグループのうちの時間的に隣り合うグループに含まれる画像の枚数に偏りが生じる場合、隣り合うグループに含まれる画像の枚数を補正する。
より具体的には、補正部９３は、所定の時間範囲内に撮影された画像であって、分割された二分木のうちの隣り合う二分木に含まれる画像の枚数に偏りが生じる場合、隣り合う二分木に含まれる画像の枚数を補正する。例えば、補正部９３は、１つのクラスタ、すなわち所定のイベントにおいて所定の１０分間に撮影された画像であって、隣り合う２つの二分木に含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない方の二分木と、含まれる画像の多い方の二分木が分割されたときに得られる２つの二分木のうち、含まれる画像の少ない方の二分木に距離がより近い、すなわち時間間隔がより小さい二分木とを結び付けることで、隣り合う二分木に含まれる画像の枚数を補正する。
テンプレート設定部７２は、記録再生部１８より、メタデータ抽出部５４から供給されるメタデータに応じた背景テンプレートを、記録再生制御部５２に読み出させる。また、テンプレート設定部７２は、記録再生部１８より、グループ分け処理部９２のグループ分けの結果であるグループ分けされた画像の枚数に応じた配置テンプレートを、記録再生制御部５２に読み出させる。テンプレート設定部７２は、読み出された背景テンプレートおよび配置テンプレートを生成されたクラスタに設定する。
コンテンツ作成部５５は、グループに分けられた複数の画像が、グループ毎に配置され、背景テンプレートおよび配置テンプレートが設定されたスクラップブックを、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に記録させる。
図３は、画像のグループ（クラスタ）の例を示す図である。
図３において、画像ｐ１乃至画像ｐ２５は、記録再生部１８の画像DB３１に記録されている画像を示す。図３の１つの四角形は１枚の画像を表す。また、画像ｐ１乃至画像ｐ２５には、それぞれメタデータが付加されている。
図３の例においては、画像ｐ１乃至画像ｐ１２には、イベントを表すメタデータとして「結婚式」が付加されている。画像ｐ１３乃至画像ｐ１９には、イベントを表すメタデータとして「お花見」が付加されている。画像ｐ２０乃至画像ｐ２５には、イベントを表すメタデータとして「社員旅行」が付加されている。
クラスタリング部９１は、画像ｐ１乃至画像ｐ２５に付加されているイベントを表すメタデータに基づいて、画像のクラスタリングを行う。
具体的には、図３に示すように、クラスタリング部９１は、画像ｐ１乃至画像ｐ１２からなるクラスタ、画像ｐ１３乃至画像ｐ１９からなるクラスタ、および画像ｐ２０乃至画像ｐ２５からなるクラスタを生成する。
例えば、このように生成されたそれぞれのクラスタに含まれる画像は、クラスタ毎のフォルダによりまとめて管理される。具体的には、画像ｐ１乃至画像ｐ１２は「結婚式」の名称のフォルダにより管理される。また、画像ｐ１３乃至画像ｐ１９は「お花見」の名称のフォルダにより管理される。さらに、画像ｐ２０乃至画像ｐ２５は「社員旅行」の名称のフォルダにより管理される。例えば、それぞれのクラスタに属する画像を示す情報が、記録再生部１８に記録される。
次に、クラスタリング部９１により行われる二分木構造の作成の処理の詳細について説明する。
図４乃至図１２を参照して、１００枚の画像ｐ１乃至画像ｐ１００を対象とした二分木構造の作成の処理について説明する。
図４乃至図１２において、「ｐ」の文字と数字がその中に書かれている１つの円は１枚の画像を表し、「ｎ」の文字と数字がその中に書かれている１つの円は１つのノードを表す。また、図の右方は、左方より時間的に後の方向であるものとする。なお、ここでは、画像ｐ１乃至画像ｐ１００を、撮影時刻順（画像ｐ１が一番古く、画像ｐ１００が一番新しいデータ）にクラスタリングの対象とする場合について説明する。
クラスタリングがまだ行われていない状態で、最初の撮影により得られた画像ｐ１がツリーに挿入されたとき（クラスタリングの対象とされたとき）、初期の状態ではツリーのルートとなるノードが存在しないから、図４に示されるように、画像ｐ１自身がルートノードとなる。
画像ｐ１に続けて撮影された画像ｐ２がツリーに挿入されたとき、図５に示されるように、ノードｎ１が新たに作られ、画像ｐ２の撮影時刻は画像ｐ１の撮影時刻より後であるから、ノードｎ１には、画像ｐ１が左の子ノードとして結び付けられ、画像ｐ２が右の子ノードとして結び付けられる。ノードｎ１は画像ｐ１に代わってルートノードとなる。
ノードｎ１の最小時刻として画像ｐ１の撮影時刻が記録され、最大時刻として画像ｐ２の撮影時刻が記録される。ノードの時刻として、そのノードを親のノードとする２つの子ノードの撮影時刻の平均値（中間の時刻）が記録されるようにしてもよい。
画像ｐ２に続けて撮影された画像ｐ３がツリーに挿入され、図６に示されるように、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔tdp2p3が、画像ｐ２の撮影時刻と画像ｐ１の撮影時刻の時間間隔tdp1p2より小さいとき、図７に示されるように、ノードｎ２が新たに作られ、ノードｎ２には、その左の子ノードとして画像ｐ２が結び付けられ、右の子ノードとして画像ｐ３が結び付けられる。また、ノードｎ２が、画像ｐ２の代わりに右の子ノードとしてノードｎ１に結び付けられる。
ノードｎ２の最小時刻として画像ｐ２の撮影時刻が記録され、最大時刻として画像ｐ３の撮影時刻が記録される。また、このとき、ノードｎ２の親のノードであるノードｎ１の最大時刻が画像ｐ３の撮影時刻で上書きされる。
画像ｐ３に続けて撮影された画像ｐ４がツリーに挿入され、図８に示されるように、画像ｐ４の撮影時刻と画像ｐ３の撮影時刻の時間間隔tdp3p4が、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔tdp2p3より大きく、かつ、画像ｐ４の撮影時刻とノードｎ２の最大時刻の時間間隔tdn2maxp4が、ノードｎ２の最小時刻と画像ｐ１の撮影時刻の時間間隔tdp1n2minより大きいとき、図９に示されるように、ノードｎ３が新たにルートノードとして作られる。また、ノードｎ３には、その左の子ノードとしてノードｎ１が結び付けられ、右の子ノードとして画像ｐ４が結び付けられる。
ノードｎ３の最小時刻としてノードｎ１の最小時刻が記録され、最大時刻として画像ｐ４の撮影時刻が記録される。
画像ｐ４に続けて撮影された画像ｐ５がツリーに挿入され、図１０に示されるように、画像ｐ５の撮影時刻と画像ｐ４の撮影時刻の時間間隔tdp4p5より、画像ｐ４の撮影時刻とノードｎ１の最大時刻の時間間隔tdn1maxp4の方が大きいとき、図１１に示されるように、ノードｎ４が新たに作られる。また、ノードｎ４には、その左の子ノードとして画像ｐ４が結び付けられ、右の子ノードとして画像ｐ５が結び付けられる。さらに、ノードｎ４が、画像ｐ４の代わりに右の子ノードとしてノードｎ３に結び付けられる。
ノードｎ４の最小時刻として画像ｐ４の撮影時刻が記録され、最大時刻として画像ｐ５の撮影時刻が記録される。また、このとき、ノードｎ４の親のノードであるノードｎ３の最大時刻が画像ｐ５の撮影時刻で上書きされる。
この時点で、画像ｐ１乃至画像ｐ５の５枚の画像を含むノードｎ１乃至ノードｎ４から二分木構造が形成された状態になる。
それぞれのノードに含まれる画像は、それぞれのノードに直接に、または他のノードを介して間接的に結び付けられる画像であるから、図１１に示されるようなツリーが作成されているとき、ノードｎ３に含まれる画像は画像ｐ１乃至画像ｐ５の５枚の画像となり、ノードｎ１に含まれる画像は画像ｐ１乃至画像ｐ３の３枚の画像となる。また、ノードｎ２に含まれる画像は画像ｐ２および画像ｐ３の２枚の画像となり、ノードｎ４に含まれる画像は画像ｐ４および画像ｐ５の２枚の画像となる。
このように、画像が新たに挿入される毎に、撮影時刻の時間間隔のより小さい画像同士、または、撮影時刻と設定された時刻の時間間隔のより小さい画像とノードが、同じノードにぶらさがるように結び付けられていく。
撮影が繰り返し行われ、画像ｐ６乃至画像ｐ１００がツリーに挿入されたときも同様にして処理が行われ、最終的に、ルートノードｎrootに画像ｐ１乃至画像ｐ１００が含まれる、図１２に示されるような二分木構造が得られる。
なお、この処理は、撮影されるたびにリアルタイムに行われるようにしてもよいし、ユーザの指示に基づいて、所定のフォルダ等に記録されている画像に対して行われるようにしてもよい。
次に、HDDレコーダ１におけるスクラップブックの作成処理について説明する。
HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がスクラップブックの作成処理の指示を取得すると処理を開始する。
図１３は、HDDレコーダ１におけるスクラップブックの作成処理の例を示すフローチャートである。
ステップＳ１１において、選択部５１は、操作部１９から供給される、メタデータに基づいてクラスタリングを行うことを選択するユーザの操作を示す信号に基づいて、メタデータに基づいてクラスタリングを行うことを示す情報を記録再生制御部５２に供給する。メタデータ抽出部５４は、記録再生制御部５２に供給された情報に基づいて、画像DB３１に記録されている画像データに付加されているメタデータを、記録再生制御部５２を介して抽出する。メタデータ抽出部５４は、抽出したメタデータをコンテンツ作成部５５に供給する。
ステップＳ１２において、演算部７１のクラスタリング部９１は、メタデータ抽出部５４から供給されるメタデータに基づいて、画像のクラスタリングを行う。より具体的には、クラスタリング部９１は、同じイベントを表すメタデータが付加されている画像からなる１つのクラスタを生成する。
より具体的には、例えば、クラスタリング部９１は、画像DB３１に記録されている画像ｐ１乃至画像ｐ２５の画像データを、記録再生制御部５２に読み出させる。クラスタリング部９１は、メタデータ抽出部５４から供給されるメタデータの１つである「結婚式」が付加されている画像ｐ１乃至画像ｐ１２の画像データを、記録再生制御部５２から取得し、１つのクラスタを生成する。
ステップＳ１３において、クラスタリング部９１は、１つのクラスタに含まれる複数の画像のそれぞれの撮影された撮影時刻に基づいて、撮影時刻の時間間隔がより小さい画像同士の間のノードの数がより少なくなるように、画像を二分木構造で結び付けることで画像のクラスタリングを行う。例えば、クラスタリング部９１は、図４乃至図１２を参照して説明したようにして、画像ｐ１乃至画像ｐ１２からなる二分木構造を作成する。
ステップＳ１４において、コンテンツ作成部５１のテンプレート設定部７２は、クラスタリングされた画像データに付加されているメタデータに対応するメタデータが付加されている背景テンプレートを読み出す。例えば、テンプレート設定部７２は、記録再生部１８より、画像ｐ１乃至画像ｐ１２のメタデータである「結婚式」に応じた背景テンプレートを、記録再生制御部５２に読み出させる。
ステップＳ１５において、テンプレート設定部７２は、読み出された背景テンプレートを設定する。
図１４は、背景テンプレートの構成の例を示す図である。図１４に示される１１１−１乃至１１１−３の背景テンプレートは、それぞれメタデータを有する。テンプレート設定部７２は、クラスタリングされた画像データに付加されているメタデータに対応するメタデータを有する背景テンプレートを設定する。
ステップＳ１６において、演算部７１のグループ分け処理部９２は、画像のグループ分けをするグループ分け処理を行う。
ここで、図１５乃至図１９を参照して、グループ分け処理について説明する。
図１５は、図１３のフローチャートのステップＳ１６に対応する、グループ分け処理の詳細を説明するフローチャートである。
ステップＳ３１において、グループ分け処理部９２は、頂点のノードから見て、そのノードにより結び付けられている画像の枚数が指定された枚数より多いか否かを判定する。
図１６は、図３の画像ｐ１乃至画像ｐ１２からなる二分木構造を示す図である。図１６の下方には、時間軸が示されており、時刻ｔ１乃至ｔ１２は、それぞれ画像ｐ１乃至画像ｐ１２が撮影された撮影時刻を示している。図４乃至図１２と同様に、「ｎ」の文字と数字がその中に書かれている１つの円は１つのノードを表しているが、その中に書かれている数字は、作られた順序を表している図４乃至図１２のものとは異なり、便宜上、そのノードが結び付ける画像またはノードの時間間隔の小ささの順序を表している。すなわち、図１６において、画像ｐ１０と画像ｐ１１とがノードｎ１によって結び付けられていることは、画像ｐ１０と画像ｐ１１との撮影時刻の時間間隔が最も小さいことを示している。
すなわち、ステップＳ３１において、グループ分け処理部９２は、図１６におけるノードｎ１１から見て、ノードｎ１１により結び付けられている画像の枚数が指定された枚数より多いか否かを判定する。指定された枚数が４枚であるとすると、ノードｎ１１から見た画像の枚数は画像ｐ１乃至画像ｐ１２の１２枚であるので、ノードｎ１１により結び付けられている画像の枚数が指定された枚数より多いと判定され、処理は、ステップＳ３２に進む。
一方、ステップＳ３１において、ノードに含まれる画像の枚数が指定された枚数以下であると判定された場合、処理は終了する。
ここで、指定された枚数とは、作成されるスクラップブックのページ毎に配置される画像の枚数の上限の値であり、記録されている配置テンプレートのページあたりに配置される画像の最大の枚数や、記録されている配置テンプレート自体の総数に応じて設定される。
ステップＳ３２において、グループ分け処理部９２は、二分木を分割する。例えば、グループ分け処理部９２は、図１６において、ノードｎ１１によって結び付けられている二分木を、図１７における破線で示されるように、ノードｎ９を頂点とする二分木とノードｎ１０を頂点とする二分木とに分割する。
ステップＳ３３において、グループ分け処理部９２は、分割された二分木の頂点のノードから見て、そのノードにより結び付けられている画像の枚数が指定された枚数より多いか否かを判定する。
すなわち、ステップＳ３３において、グループ分け処理部９２は、ノードｎ１０から見て、ノードｎ１０により結び付けられている画像の枚数が４枚より多いか否かを判定する。ノードｎ１０から見た画像の枚数は画像ｐ１乃至画像ｐ７の７枚であるので、指定された枚数の４枚より多いと判定され、処理は、ステップＳ３２へ戻る。
また、ステップＳ３３において、グループ分け処理部９２は、ノードｎ９から見て、ノードｎ９により結び付けられている画像の枚数が４枚より多いか否かを判定する。ノードｎ９から見た画像の枚数は画像ｐ８乃至画像ｐ１２の５枚であるので、指定された枚数の４枚より多いと判定され、処理は、ステップＳ３２へ戻る。
このように、ステップＳ３３における処理は、分割された二分木それぞれについて行われる。
２回目のステップＳ３２において、グループ分け処理部９２は、二分木を分割する。例えば、グループ分け処理部９２は、図１７において、ノードｎ９によって結び付けられている二分木を、図１８における破線で示されるように、ノードｎ６を頂点とする二分木とノードｎ８を頂点とする二分木とに分割する。また、グループ分け処理部９２は、図１７において、ノードｎ１０によって結び付けられている二分木を、図１８における破線で示されるように、画像ｐ８とノードｎ７を頂点とする二分木とに分割する。
２回目のステップＳ３３において、グループ分け処理部９２は、ノードｎ６から見て、ノードｎ６により結び付けられている画像の枚数が４枚より多いか否かを判定する。ノードｎ６から見た画像の枚数は画像ｐ１乃至画像ｐ３の３枚であるので、指定された枚数の４枚より多くないと判定され、処理は終了する。また、グループ分け処理部９２は、ノードｎ８から見て、ノードｎ８により結び付けられている画像の枚数が４枚より多いか否かを判定する。ノードｎ８から見た画像の枚数は画像ｐ４乃至画像ｐ７の４枚であるので、指定された枚数の４枚より多くないと判定され、処理は終了する。グループ分け処理部９２は、画像ｐ８を分割することはできず、指定された枚数の４枚より多くないので、処理は終了する。さらに、グループ分け処理部９２は、ノードｎ７から見て、ノードｎ７により結び付けられている画像の枚数が４枚より多いか否かを判定する。ノードｎ７から見た画像の枚数は画像ｐ９乃至画像ｐ１２の４枚であるので、指定された枚数の４枚より多くないと判定され、処理は終了する。
このように、グループ分け処理部９２は、画像ｐ１乃至画像ｐ１２からなる二分木構造を、画像ｐ１乃至画像ｐ３のグループと、画像ｐ４乃至画像ｐ７のグループと、画像ｐ８のみのグループと、画像ｐ９乃至画像ｐ１２のグループとに分割する。このようにグループ分けされた画像は、スクラップブックのページにグループ毎に配置されることとなる。
図１３のフローチャートに戻り、ステップＳ１７において、テンプレート設定部７２は、分割されたグループに含まれる画像の枚数に応じて、ページ毎の配置テンプレートを読み出す。例えば、テンプレート設定部７２は、画像ｐ１乃至画像ｐ３の３枚の画像が配置される配置テンプレートと、画像ｐ４乃至画像ｐ７の４枚の画像が配置される配置テンプレートと、画像ｐ８の１枚の画像が配置される配置テンプレートと、画像ｐ９乃至画像ｐ１２の４枚の画像が配置される配置テンプレートとを読み出す。
ステップＳ１８において、テンプレート設定部７２は、各ページに対して、読み出されたページ毎の配置テンプレートを設定する。
ステップＳ１９において、コンテンツ作成部５５は、複数の画像がグループ毎に配置され、背景テンプレートおよび配置テンプレートが設定されたスクラップブックを、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に供給し記録させ、処理は終了する。
図１９は、配置テンプレートの構成の例を示す図である。配置テンプレートは、スクラップブックの各ページに配置される画像の枚数を決定する。図１９に示されるように、配置テンプレート１３１−１は４枚、配置テンプレート１３１−２は３枚、配置テンプレート１３１−３は２枚、配置テンプレート１３１−４は１枚の画像をそれぞれ配置するためのものである。テンプレート設定部７３は、グループ分けされた画像のグループにおける画像の枚数に対応する配置テンプレートを設定する。
図２０は、作成されるスクラップブックのページの構成の例を示す図である。
図２０の例において、ページ１５１には、背景テンプレート１１１および配置テンプレート１３１が設定されている。背景テンプレート１１１は、例えば、ページ１５１に配置されている４枚の画像のメタデータと同じメタデータを有する。また、配置テンプレート１３１によって、例えば、４枚の画像の配置が決定される。また、ページ１５１には、「○△□×２００５」のコメントが表示されている。ユーザは、操作部１９を操作することによって、ページ１５１の任意の位置に、任意のコメントを設定することができる。
図２１は、作成されるスクラップブックの構成の例を示す図である。
図２１の例において、スクラップブック１７１は、ページ１５１乃至ページ１５５の５ページで構成される。スクラップブック１７１のページ１５１乃至ページ１５５に配置されている画像は全て、同じイベントを表すメタデータを有する。スクラップブック１７１には、そのメタデータに対応する背景テンプレート１１１が設定される。ページ１５１は、スクラップブック１７１の表紙となる。ページ１５２乃至ページ１５５には、ページ１５１と同様に、それぞれ配置テンプレート１３１−１乃至１３１−４によって決定される枚数の画像が配置される。
このようにして、HDDレコーダ１は、複数の画像が意味のあるグループ毎に分類され、配置されてなるスクラップブックを作成することができる。
なお、スクラップブックは、画像データから生成される新たな画像データの組み合わせとしてもよく、また、画像データを参照し、画像の表示位置を指定するデータである編集データとしてもよい。
また、上述した説明においては、クラスタリング部９１は、画像の撮影時刻を示すメタデータに基づいて、撮影された撮影時刻の時間間隔がより小さい画像同士をより強く結び付けるようにしたが、画像の撮影場所を示すメタデータに基づいて、撮影された撮影場所の物理的距離がより小さい画像同士をより強く結び付けるようにしてもよいし、画像に関するキーワードを示すメタデータに基づいて、画像に関するキーワードの類似度がより高い画像同士をより強く結び付けるようにしてもよい。
さらに、スクラップブックは、複数の他のスクラップブックとリンクさせるようにしてもよい。具体的には、例えば、それぞれのスクラップブックに配置されている画像に付加されている所定のメタデータを関連づけることによって、スクラップブック同士をリンクさせることができる。また、例えば、同じ画像が配置されているスクラップブック同士をリンクさせるようにしてもよい。
また、作成されるスクラップブックのそれぞれのページに配置されている画像の枚数に偏りが生じる場合には、ページ毎の画像の枚数を補正するようにしてもよい。例えば、同じイベントで、撮影された撮影時刻がある程度近いにもかかわらず、作成されたスクラップブックにおいて、１枚の画像が配置されているページと６枚の画像が配置されているページとが連続しているような場合、配置されている画像の枚数が３枚のページと４枚のページとなるように、ページ毎に配置される画像の枚数を補正するようにしてもよい。すなわち、上述で説明したグループ分け処理において、ページ毎に配置される画像の枚数のバランスをとるように、画像の枚数を補正するようにしてもよい。
図２２は、図１３のフローチャートのステップＳ１６に対応する、隣り合う二分木に含まれる画像の枚数を補正する処理を含むグループ分け処理の詳細を説明するフローチャートである。
図２２のフローチャートにおけるステップＳ５１乃至ステップＳ５３の処理は、図１５のフローチャートにおけるステップＳ３１乃至ステップＳ３３の処理のそれぞれと同様であるので、その説明は省略する。
ステップＳ５４において、補正部９３は、所定の時間範囲内に撮影された画像であって、分割された二分木のうちの隣り合う二分木に含まれる画像の枚数に偏りがあるか否かを判定する。より具体的には、例えば、補正部９３は、１つのクラスタ、すなわち所定のイベントにおいて所定の１０分間に撮影された画像であって、隣り合うノードに含まれる画像の枚数の差が所定の閾値以上であるか否かを判定する。ここで、所定の閾値は、例えば、ユーザによって決定される値であり、例えば３枚とする。隣り合うノードに含まれる画像の枚数の差が３枚以上であると判定された場合、処理は、ステップＳ５５に進む。
例えば、図１８において、画像ｐ８の撮影時刻ｔ８と画像ｐ１２の撮影時刻ｔ１２との時間間隔が１０分未満であるとした場合、画像ｐ８の１枚と、ノードｎ７に含まれる画像ｐ９乃至画像ｐ１２の４枚との差は３枚であり、閾値の３枚以上であるので、処理は、ステップＳ５５に進む。
ステップＳ５５において、補正部９３は、隣り合う二分木に含まれる画像の枚数を補正し、処理は終了する。
より具体的には、例えば、ステップＳ５５において、図２３に示されるように、補正部９３は、ノードｎ７によって結び付けられている画像ｐ９とノードｎ４を頂点とする二分木とを分割する。補正部９３は、分割された画像ｐ８と、画像ｐ９およびノードｎ４を頂点とする二分木のうち、画像ｐ８と時間間隔のより小さい画像ｐ９をノードｎ１２により結び付け、処理は終了する。これによって、画像ｐ８および画像ｐ９の２枚の画像を含む二分木と、画像ｐ１０乃至画像ｐ１２の３枚の画像を含む二分木とが作成される。このとき、隣り合う二分木に含まれる画像の枚数の差は１枚となる。
一方、ステップＳ５４において、隣り合う二分木に含まれる画像の枚数の差が３枚以上でないと判定された場合、処理は終了する。
このように、HDDレコーダ１は、作成されるスクラップブックのそれぞれのページに配置されている画像の枚数に偏りが生じる場合には、ページ毎の画像の枚数を補正するようにすることができる。
これにより、スクラップブックのそれぞれのページは、意味のあるグループ毎に分類された画像が配置されるとともに、各ページに配置される画像の枚数のバランスが考慮されたものとなる。
次に、HDDレコーダ１におけるスクラップブックの表示処理について説明する。
HDDレコーダ１の制御部２０は、例えば、操作部１９が操作され、制御部２０がスクラップブックの表示処理の指示を取得すると処理を開始する。
図２４は、スクラップブックの表示処理の例を示すフローチャートである。
ステップＳ７１において、選択部５１は、操作部１９から供給される、モニタ２に表示されるスクラップブックを表示する一覧の表示パターンを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックを表示する一覧の表示パターンを示す情報を記録再生制御部５２に供給する。
ステップＳ７２において、記録再生制御部５２は、記録再生部１８から記録されている全部のスクラップブックを読み出す。記録再生制御部５２は、供給されたユーザにより選択されるスクラップブックを表示する一覧の表示パターンを示す情報に応じて、スクラップブックの一覧を表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２にスクラップブックの一覧を表示させる。
ステップＳ７３において、選択部５１は、操作部１９から供給される、モニタ２に表示されるスクラップブックの一覧からスクラップブックの１つを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックの一覧からスクラップブックの１つを示す情報を記録再生制御部５２に供給する。
図２５乃至図２７は、モニタ２に表示されるスクラップブックの一覧の例を示す図である。
図２５は、インデックス形式で表示されるスクラップブックの一覧の例を示す図である。図２５の例においては、モニタ２の画面１９１上に、それぞれのスクラップブックの表紙となる１ページ目が一覧として表示されている。ユーザは、操作部１９を操作し、カーソル２１１を移動させスクラップブックの１つを選択することができる。
図２６は、カレンダーを用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示されるカレンダー表示領域と、右方に表示されるプレビュー画面表示領域とから構成される。カレンダー表示領域には、例えば、スクラップブックに付加されている日付を表すメタデータに基づいて、カレンダーの対応する日の欄に、それぞれのスクラップブックの表紙となる１ページ目が表示される。プレビュー画面表示領域には、カレンダー表示領域のカーソル２３１−１により選択される日に存在するスクラップブックのプレビュー画面２３１−２が表示される。
図２６の例においては、１１月を表すカレンダー表示領域において、カーソル２３１−１によって１１月１８日が選択されている。プレビュー画面表示領域には、選択された１１月１８日のメタデータが付加されているスクラップブックのプレビュー画面２３１−２が表示される。
図２７は、地図を用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示される地図表示領域と、右方に表示される一覧表示領域とから構成される。地図表示領域には、所定の地域を表す地図が表示される。ユーザは、表示される地図上の所定の場所を選択することができる。一覧表示領域には、例えば、ユーザにより選択された場所のメタデータが付加されているスクラップブックの一覧が表示される。
図２７の例においては、地図表示領域の地図上の「東京都」がカーソル２５１−１により選択されている。一覧表示領域には、「東京都」のメタデータが付加されているスクラップブックの表紙が表示される。ユーザは、表示された一覧から、スクラップブックの１つを選択することができる。
このようにして、表示されたスクラップブックの一覧からスクラップブックの１つを選択することができる。
図２４に戻り、ステップＳ７４において、記録再生制御部５２は、供給されたユーザにより選択されるスクラップブックの一覧からスクラップブックの１つを示す情報に基づいて、選択されたスクラップブックを表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に選択されたスクラップブックの最初のページを表示させる。
ステップＳ７５において、記録再生制御部５２は、表示されているスクラップブックの次のページが存在しないか否かを判定する。ステップＳ７５において、次のページが存在しないと判定された場合、処理は終了する。
一方、ステップＳ７５において、次のページが存在すると判定された場合、処理はステップＳ７６に進む。
ステップＳ７６において、制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に選択されたスクラップブックの次のページを表示させ、処理はステップＳ７５に戻る。
このように、HDDレコーダ１は、スクラップブックを表示させることができる。
なお、上述した説明では、画像データからスクラップブックを作成するものとしたが、スクラップブックからスクラップブックを作成するようにしてもよい。
このように、コンテンツの作成を制御するようにした場合には、複数の画像からコンテンツを作成することができる。また、グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の画像同士をより強く結び付けるように画像のクラスタリングを行い、画像同士の結び付きの強さに応じて、グループあたりの画像があらかじめ決められた所定の枚数以下になるように、画像のグループ分けをするようにした場合には、複数の画像を意味のあるグループ毎に分類することができる。
また、本発明は、HDDレコーダに限らず、画像やコンテンツを記録または再生できる機器であればよく、例えば、パーソナルコンピュータなどに適用できる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、制御部２０に、リムーバブルメディア５からインストールされる。
なお、本明細書において、リムーバブルメディア５に格納されるプログラムを記述するステップは、記載された順序に沿って時系列に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明の一実施の形態であるHDDレコーダの例を示す図である。 HDDレコーダの制御部の構成の例を示すブロック図である。 画像のクラスタの例を示す図である。 二分木構造の作成について説明する図である。 二分木構造の作成について説明する図４に続く図である。 二分木構造の作成について説明する図５に続く図である。 二分木構造の作成について説明する図６に続く図である。 二分木構造の作成について説明する図７に続く図である。 二分木構造の作成について説明する図８に続く図である。 二分木構造の作成について説明する図９に続く図である。 二分木構造の作成について説明する図１０に続く図である。 二分木構造の作成について説明する図１１に続く図である。 スクラップブックの作成処理の例を説明するフローチャートである。 背景テンプレートの例を示す図である。 グループ分け処理を説明するフローチャートである。 二分木構造の分割について説明する図である。 二分木構造の分割について説明する図１６に続く図である。 二分木構造の分割について説明する図１７に続く図である。 配置テンプレートの例を示す図である。 スクラップブックのページの構成の例を示す図である。 スクラップブックの構成の例を示す図である。 隣り合う二分木に含まれる画像の枚数を補正する処理を含むグループ分け処理を説明するフローチャートである。 隣り合う二分木に含まれる画像の枚数の補正について説明する図である。 スクラップブックの表示処理の例を説明するフローチャートである。 スクラップブックの一覧の表示の例を示す図である。 スクラップブックの一覧の表示の他の例を示す図である。 スクラップブックの一覧の表示のさらに他の例を示す図である。
符号の説明
１ HDDレコーダ， ２ モニタ， ５ リムーバブルメディア， １８ 記録再生部， １９ 操作部， ２０ 制御部， ３１ 画像DB， ３２ テンプレートDB， ３３ コンテンツDB， ３４ 辞書DB， ５１ 選択部， ５２ 記録再生制御部， ５３ 表示制御部， ５４ メタデータ抽出部， ５５ コンテンツ作成部， ７１ 演算部， ７２ テンプレート設定部， ９１ クラスタリング部， ９２ グループ分け処理部， ９３ 補正部

Claims (9)

  1. グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の前記画像同士を二分木構造で結び付けることで前記画像のクラスタリングを行うクラスタリング手段と、
    前記画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、前記画像のグループ分けをするグループ分け手段と、
    所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの前記第１の部分木に距離がより近い部分木とを結び付けることで、前記隣り合う部分木に含まれる画像の枚数を補正する補正手段と
    を備える情報処理装置。
  2. 前記メタデータは、前記画像の撮影された撮影時刻を示し、
    前記距離は、前記撮影時刻の時間間隔を示す
    請求項１に記載の情報処理装置。
  3. 前記メタデータは、前記画像の撮影された撮影場所を示し、
    前記距離は、前記撮影場所の物理的距離を示す
    請求項１に記載の情報処理装置。
  4. 前記メタデータは、前記画像に関するキーワードを示し、
    前記距離は、前記キーワードの類似度を示す
    請求項１に記載の情報処理装置。
  5. グループ分けされた前記画像が、前記グループ毎に配置されてなるコンテンツを作成する作成手段をさらに備える
    請求項１に記載の情報処理装置。
  6. 前記作成手段は、グループ分けされた前記画像の枚数に応じて、前記コンテンツを表示する場合の、前記コンテンツにおける前記画像の配置を設定する
    請求項５に記載の情報処理装置。
  7. 前記コンテンツの表示を制御する表示制御手段をさらに備える
    請求項６に記載の情報処理装置。
  8. グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の前記画像同士を二分木構造で結び付けることで前記画像のクラスタリングを行うクラスタリング手段と、
    前記画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、前記画像のグループ分けをするグループ分け手段と、
    所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの前記第１の部分木に距離がより近い部分木とを結び付けることで、前記隣り合う部分木に含まれる画像の枚数を補正する補正手段と
    を備える情報処理装置の情報処理方法であって、
    前記クラスタリング手段が、グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の前記画像同士を二分木構造で結び付けることで前記画像のクラスタリングを行い、
    前記グループ分け手段が、前記画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、前記画像のグループ分けをし、
    前記補正手段が、所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの前記第１の部分木に距離がより近い部分木とを結び付けることで、前記隣り合う部分木に含まれる画像の枚数を補正する
    ステップを含む情報処理方法。
  9. グループ分けの対象となる複数の画像のそれぞれのメタデータで決められる距離に基づいて、より近い距離の前記画像同士を二分木構造で結び付けることで前記画像のクラスタリングを行うクラスタリングステップと、
    前記画像が結び付けられている二分木を、それぞれあらかじめ決められた所定の枚数以下の画像が結び付けられた部分木に分割することによって、前記画像のグループ分けをするグループ分けステップと、
    所定の距離範囲内の画像であって、分割されて得られる隣り合う部分木それぞれに含まれる画像の枚数の差が所定の閾値以上である場合、含まれる画像の少ない第１の部分木と、含まれる画像の多い第２の部分木がさらに分割されて得られる２つの部分木のうちの前記第１の部分木に距離がより近い部分木とを結び付けることで、前記隣り合う部分木に含まれる画像の枚数を補正する補正ステップと
    を含む処理をコンピュータに実行させるプログラム。
JP2006252238A 2006-09-19 2006-09-19 情報処理装置および方法、並びにプログラム Expired - Fee Related JP5035596B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006252238A JP5035596B2 (ja) 2006-09-19 2006-09-19 情報処理装置および方法、並びにプログラム
US11/901,592 US8041154B2 (en) 2006-09-19 2007-09-18 Information processing apparatus, method and program
CN2007101528081A CN101150662B (zh) 2006-09-19 2007-09-18 信息处理设备和方法
KR1020070094846A KR101387849B1 (ko) 2006-09-19 2007-09-18 정보처리 장치 및 방법과, 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006252238A JP5035596B2 (ja) 2006-09-19 2006-09-19 情報処理装置および方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2008077138A JP2008077138A (ja) 2008-04-03
JP2008077138A5 JP2008077138A5 (ja) 2009-11-12
JP5035596B2 true JP5035596B2 (ja) 2012-09-26

Family

ID=39250977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006252238A Expired - Fee Related JP5035596B2 (ja) 2006-09-19 2006-09-19 情報処理装置および方法、並びにプログラム

Country Status (4)

Country Link
US (1) US8041154B2 (ja)
JP (1) JP5035596B2 (ja)
KR (1) KR101387849B1 (ja)
CN (1) CN101150662B (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080187231A1 (en) * 2005-03-10 2008-08-07 Koninklijke Philips Electronics, N.V. Summarization of Audio and/or Visual Data
US20090132522A1 (en) * 2007-10-18 2009-05-21 Sami Leino Systems and methods for organizing innovation documents
US20110123124A1 (en) * 2008-07-29 2011-05-26 Koninklijke Philips Electronics N.V. Method and apparatus for generating an image collection
CN101889282A (zh) * 2008-10-06 2010-11-17 松下电器产业株式会社 代表图像显示装置及代表图像选择方法
US8571331B2 (en) * 2009-11-30 2013-10-29 Xerox Corporation Content based image selection for automatic photo album generation
US8805124B2 (en) * 2010-02-17 2014-08-12 Shutterfly, Inc. System and method for automatically creating a photo calendar
JP5577766B2 (ja) * 2010-03-10 2014-08-27 セイコーエプソン株式会社 印刷制御装置および印刷制御プログラム
US9471700B2 (en) * 2010-05-18 2016-10-18 Tksn Holdings, Llc System and method for monitoring changes in databases and websites
KR20120020010A (ko) * 2010-08-27 2012-03-07 삼성전자주식회사 컨텐츠 표시 방법 및 그 장치
JP5552981B2 (ja) * 2010-09-15 2014-07-16 株式会社リコー 索引方法、検索方法、及びその記憶媒体
KR101354721B1 (ko) * 2012-05-21 2014-01-29 주식회사 다음커뮤니케이션 검색 시스템 및 검색 서비스 방법
US20150156247A1 (en) * 2012-09-13 2015-06-04 Google Inc. Client-Side Bulk Uploader
JP6002529B2 (ja) * 2012-10-04 2016-10-05 パイオニア株式会社 電子機器、データの生成方法、プログラム、記録媒体、クライアントサーバシステム、クライアント端末、およびサーバ装置
US9424280B2 (en) * 2012-12-28 2016-08-23 Animoto Inc. Organizing media items based on metadata similarities
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
KR101581917B1 (ko) 2014-08-12 2016-01-04 네이버 주식회사 컨텐츠 표시 제어 장치, 컨텐츠 표시 제어 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램
KR102644105B1 (ko) 2017-12-29 2024-03-06 주식회사 피제이팩토리 멀티 심도 이미지의 자동 생성 방법
KR102644097B1 (ko) * 2017-12-29 2024-03-06 주식회사 피제이팩토리 멀티 심도 이미지의 자동 변환 방법
KR20200039169A (ko) 2018-10-05 2020-04-16 주식회사 피제이팩토리 멀티 뎁스 이미지 표시 장치 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781906A (en) * 1996-06-06 1998-07-14 International Business Machines Corporation System and method for construction of a data structure for indexing multidimensional objects
JP3632359B2 (ja) * 1997-03-06 2005-03-23 Ｋｄｄｉ株式会社 情報検索装置
US6754389B1 (en) * 1999-12-01 2004-06-22 Koninklijke Philips Electronics N.V. Program classification using object tracking
JP4017804B2 (ja) * 2000-02-18 2007-12-05 富士フイルム株式会社 画像撮影装置、画像処理装置、及び画像管理方法
US7298895B2 (en) * 2003-04-15 2007-11-20 Eastman Kodak Company Method for automatically classifying images into events
JP2004361987A (ja) * 2003-05-30 2004-12-24 Seiko Epson Corp 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法
JP2005184795A (ja) * 2003-11-27 2005-07-07 Fuji Photo Film Co Ltd 画像編集装置および方法並びにプログラム
JP4325388B2 (ja) 2003-12-12 2009-09-02 ソニー株式会社 信号処理装置、画像表示装置および信号処理方法
US7437005B2 (en) * 2004-02-17 2008-10-14 Microsoft Corporation Rapid visual sorting of digital files and data
JP2005277619A (ja) * 2004-03-24 2005-10-06 Hitachi Ltd 画像データ管理・閲覧方法
JP4547214B2 (ja) * 2004-09-10 2010-09-22 富士フイルム株式会社 電子アルバム表示システム、電子アルバム表示方法、及びプログラム
CN1783938A (zh) * 2004-12-03 2006-06-07 上海镁原信息技术有限公司 使用日程表人机界面对数码相片进行组织的方法
US7646895B2 (en) * 2005-04-05 2010-01-12 3Vr Security, Inc. Grouping items in video stream images into events
JP4800104B2 (ja) * 2005-06-13 2011-10-26 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
JP2008010110A (ja) * 2006-06-30 2008-01-17 Sony Corp ファイル分割装置、ファイル分割方法及びファイル分割プログラム
JP4987538B2 (ja) * 2007-03-29 2012-07-25 富士フイルム株式会社 アルバム作成装置、方法およびプログラム
US8131114B2 (en) * 2008-09-22 2012-03-06 Shutterfly, Inc. Smart photobook creation

Also Published As

Publication number Publication date
US20080089593A1 (en) 2008-04-17
JP2008077138A (ja) 2008-04-03
US8041154B2 (en) 2011-10-18
CN101150662B (zh) 2010-08-18
KR20080026063A (ko) 2008-03-24
CN101150662A (zh) 2008-03-26
KR101387849B1 (ko) 2014-04-22

Similar Documents

Publication Publication Date Title
JP5035596B2 (ja) 情報処理装置および方法、並びにプログラム
JP4433327B2 (ja) 情報処理装置および方法、並びにプログラム
US8818173B2 (en) Synchronous data tracks in a media editing system
CN100454312C (zh) 信息处理设备、方法和程序产品
CN101355674B (zh) 记录装置和方法、再现装置、记录再现装置以及摄像装置
JP2004186723A (ja) ビデオ信号処理装置，ビデオ信号記録装置，ビデオ信号再生装置，ビデオ信号処理装置の処理方法，ビデオ信号記録装置の処理方法，ビデオ信号再生装置の処理方法，プログラム，記録媒体
US8326125B2 (en) Method and device for linking multimedia data
JP4252030B2 (ja) 記憶装置およびコンピュータ読取り可能な記録媒体
CN101502105B (zh) 数据处理装置和数据处理方法
JP4017290B2 (ja) 自動番組制作装置および自動番組制作プログラムを記録した記録媒体
JP2008269076A (ja) 情報処理装置および方法、並びにプログラム
JP2009140453A (ja) 情報処理装置および方法、並びにプログラム
US20070230907A1 (en) Image processing apparatus and file reproducing method
JP4129517B2 (ja) データ管理方法、記録再生装置
US20240179366A1 (en) Mutable composite media
JP4328265B2 (ja) 動画像処理装置、動画像処理方法、及びプログラム
JP2008250854A (ja) 情報処理装置および方法、並びにプログラム
JP4334545B2 (ja) 記憶装置およびコンピュータ読取り可能な記録媒体
JP4373259B2 (ja) データ記録再生装置
JP2006157343A (ja) 静止画作成方法及び静止画作成装置
JP2009037628A (ja) 記憶装置およびコンピュータ読取り可能な記録媒体
JP2005286418A (ja) データ記録再生装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090924

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120620

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees