JP4457660B2 - 画像分類装置、画像分類システム、画像分類に関するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

画像分類装置、画像分類システム、画像分類に関するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP4457660B2
JP4457660B2 JP2003414481A JP2003414481A JP4457660B2 JP 4457660 B2 JP4457660 B2 JP 4457660B2 JP 2003414481 A JP2003414481 A JP 2003414481A JP 2003414481 A JP2003414481 A JP 2003414481A JP 4457660 B2 JP4457660 B2 JP 4457660B2
Authority
JP
Japan
Prior art keywords
image
reference distance
classification
information
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003414481A
Other languages
English (en)
Other versions
JP2005174060A5 (ja
JP2005174060A (ja
Inventor
省吾 濱崎
敦 佐草
紀子 杉本
総一郎 藤岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2003414481A priority Critical patent/JP4457660B2/ja
Priority to US11/001,071 priority patent/US7991234B2/en
Priority to CNB2004101007108A priority patent/CN100414545C/zh
Publication of JP2005174060A publication Critical patent/JP2005174060A/ja
Publication of JP2005174060A5 publication Critical patent/JP2005174060A5/ja
Application granted granted Critical
Publication of JP4457660B2 publication Critical patent/JP4457660B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3214Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3215Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253Position information, e.g. geographical position at time of capture, GPS data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Description

本発明は、デジタルスチルカメラ、カメラ付き携帯電話またはムービーカメラ等の撮影装置で撮影した静止画または動画の画像情報を分類する画像分類装置、画像分類システム、画像分類に関するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
近年、デジタルスチルカメラ(以下、単にデジタルカメラと記す)やカメラ付き携帯電話等のデジタル映像を撮影する個人向けの撮影装置が急速に普及している。このような撮影装置においては、その記憶容量が増大しているので、ユーザは数多くの画像を撮影することができるが、その一方で、限られた時間内で全ての画像を見ることは難しく、効率よく画像を見ることのできる視聴方法を実現することが課題であった。
このような課題を解決するために、大量の画像を、画像に付加される情報(いわゆるメタ情報)を用いて自動的にグループに分類し、ユーザはそのグループ単位に画像を見ることができる方法が提案されている(例えば、特許文献1を参照。)。
この方法は、画像の撮影された時刻の情報を抽出して、横軸に画像が撮影された時間帯、縦軸にその時間帯に撮影された画像の枚数をとってヒストグラムを作成し、撮影枚数が0となる時刻を境界として、境界前後の画像情報を別のフォルダで管理することでグループに分類する方法であった。
また、別の方法として、画像が撮影された場所の情報にもとづいて画像をグループ分けする方法が提案されている(例えば、特許文献2を参照。)。
この方法は、撮影装置に携帯電話を接続して、携帯電話が交信している基地局のIDを取得し、撮影時に取得された基地局ID別に画像をグループに分けて管理する方法であった。
特開2003−58867号公報 特開平10−254746号公報
しかしながら、前述したような従来の技術においては、ユーザが1つのイベントであると意識して撮影した画像のグループと、従来の方法によって分類された画像のグループとが必ずしも一致しないという課題があった。なお、本明細書において、イベントとは、ホームパーティ、祭り、記念行事または旅行等、ユーザが主観的に一括りの出来事として知覚、認識する活動のことをいう。
例えば、数日間の宿泊旅行を、ユーザとしては「北海道旅行」という1つのイベントとして分類したい場合でも、画像の撮影は実質的には数日間に離散して行われるので、例えば時間を用いて画像を分類した場合には、複数のグループに分類されるという課題があった。
さらに、撮影場所の情報を用いて画像を分類する場合には、例えば、同日に自宅と近所で催された複数のイベントに参加した場合に、ユーザとしては「ホームパーティ」と「町内会」という別々のイベントとして画像を分類したい場合でも、これらの画像が近接する場所で撮影された場合には同じグループに分類されてしまうという課題があった。
これらの課題は、日常の活動エリアの近傍では比較的短時間で比較的移動範囲の狭い行動をイベントとして意識し、遠方では比較的長時間で比較的移動範囲の広い行動を1つのイベントとして意識することが多いという、ユーザの認知的な傾向に起因していると思われる。
本発明はこれらの課題に鑑みてなされたものであり、ユーザがイベントであると認識している出来事に対応する画像情報を、より適切に1つのグループに対応付けられるように分類することのできる画像分類装置ならびに画像分類方法およびプログラムを提供することを目的とする。
本発明の画像分類装置は、画像が撮影された場所の位置情報を含む画像情報が入力される画像情報入力部と、位置情報を用いて、基準となる場所から画像が撮影された場所までの基準距離を算出する基準距離算出部と、基準距離にもとづいた分類条件を用いて画像を分類する画像分類部とを備えたことを特徴としている。
このような構成によれば、ユーザが基準とする場所を基準とした基準距離を用いて画像を分類するので、ユーザがイベントであると認識している出来事に対応する画像を、適切に1つのグループに対応付けることが可能となる。
また、画像分類部が画像を分類する際に用いるべき、複数の分類条件を記憶する分類条件記憶部を備え、画像分類部は、分類条件記憶部に記憶された複数の分類条件のうち、基準距離に応じた分類条件を用いて画像を分類する構成であってもよい。
このような構成によれば、基準距離の違いにより異なる分類条件を用いて画像を分類するので、例えば、旅行や、近所での出来事等、ユーザがイベントであると認識している出来事に対応する画像を、より適切に1つのグループに対応付けることが可能となる。
また、位置情報から、画像の撮影場所とその画像の直前に撮影された画像の撮影場所との距離間隔を算出する距離間隔算出部を備え、画像分類部は、基準距離および距離間隔にもとづいて画像を分類する構成であってもよい。
このような構成によれば、画像が撮影された場所の距離間隔を用いて画像を分類するので、ユーザの移動距離にもとづいて適切な画像の分類を行うことが可能である。
さらに、分類条件は、距離間隔の距離間隔閾値を含む分類条件であり、画像分類部は、基準距離の違いによって、異なる距離間隔閾値を用いて画像を分類する構成であってもよい。
このような構成によれば、基準距離に応じて異なる距離間隔閾値を用いて画像を分類することができるので、例えば、旅行先では長距離の移動、近所では短距離の移動等、ユーザの移動距離に合わせて詳細な分類を行うことが可能となる。
また、画像情報は画像が撮影された時刻を示す時間情報を有し、時間情報から、画像の撮影された時刻とその画像の直前に撮影された画像の撮影された時刻との時間間隔を算出する時間間隔算出部を備え、画像分類部は、基準距離および時間間隔にもとづいて画像を分類する構成であってもよい。
このような構成によれば、画像が撮影された時刻の時間間隔を用いて画像を分類するので、ユーザの撮影頻度にもとづいて適切な画像の分類を行うことが可能である。
さらに、分類条件は、時間間隔の時間間隔閾値を含む分類条件であり、画像分類部は、基準距離の違いによって、異なる時間間隔閾値を用いて画像を分類する構成であってもよい。
このような構成によれば、基準距離に応じて異なる時間間隔閾値を用いて画像を分類することができるので、例えば、旅行先では頻繁な撮影、近所では時折撮影等、ユーザの基準距離に応じて詳細な分類を行うことが可能となる。
また、画像情報は画像が撮影された時刻を示す時間情報を有し、時間情報から、画像の撮影された時刻とその画像の直前に撮影された画像の撮影された時刻との時間間隔を算出する時間間隔算出部と、位置情報から、画像の撮影場所とその画像の直前に撮影された画像の撮影場所との距離間隔を算出する距離間隔算出部とを備え、画像分類部は、基準距離、距離間隔および時間間隔にもとづいて画像を分類する構成であってもよい。
このような構成によれば、画像が撮影された時間間隔と距離間隔とにもとづいて画像を分類するので、ユーザの撮影頻度および移動距離に適応した分類を行うことが可能となる。
さらに、分類条件は、時間間隔の時間間隔閾値および距離間隔の距離間隔閾値を含む分類条件であり、画像分類部は、基準距離の違いによって、異なる時間間隔閾値および距離間隔閾値を用いて画像を分類する構成であってもよい。
このような構成によれば、基準距離に応じて異なる時間間隔閾値および距離間隔閾値を用いて画像の分類を行うので、例えば、旅行先でかつ頻繁な撮影、または旅行先でかつ頻繁でない撮影等、さらに詳細な階層的な分類を行うことが可能となる。
また、複数の地図情報を記憶する地図情報記憶部と、画像分類部で分類されたグループ毎に、グループに含まれる画像の位置情報から代表位置を算出する代表位置算出部と、グループに含まれる画像の位置情報から分布を算出する分布算出部と、代表位置および位置情報に応じて複数の地図情報からグループに適切な地図情報を選択してコメントを作成するコメント作成部とを備えた構成であってもよい。
このような構成によれば、分類された画像のグループ毎に、その撮影された代表位置および分布を用いてランドマーク名や、地域名、都道府県名または地方名等の適切なグループ名を付与することが可能となる。
また、画像情報から、位置情報を抽出する位置情報抽出部を備えた構成であってもよい。
このような構成によれば、画像情報から位置情報を適切に抽出して、基準距離の算出に供することが可能となる。
さらに、画像分類部の画像分類結果にもとづいて、画像を出力する出力部を備えた構成であってもよい。
このような構成によれば、画像をグループに適切に分類して、その結果にもとづいてグループ毎に表示を行うことができるので、ユーザが多くの画像をまとめて迅速に視聴することが可能となる。
次に、本発明の画像分類システムは、画像を撮影する画像撮影装置と、本発明の画像分類装置と、画像分類装置から出力された画像を表示する表示装置とを備えたことを特徴としている。
このような構成によれば、画像撮影装置で撮影した数多くの画像を適切にグループに分類して、その結果を表示装置に表示することができ、ユーザは画像をグループ毎にまとめて迅速に視聴することの可能な構成を実現できる。
次に、本発明の画像分類方法は、少なくとも画像と、画像が撮影された場所の位置情報とを含む画像情報が入力される第1のステップと、位置情報を用いて、基準となる場所から画像が撮影された場所までの基準距離を算出する第2のステップと、基準距離にもとづいて画像を分類する第3のステップとを備えたことを特徴としている。
このような方法によれば、ユーザが基準とする場所を基準とした基準距離を用いて画像を分類するので、ユーザがイベントであると認識している出来事に対応する画像を、適切に1つのグループに対応付けることが可能な方法を提供できる。
次に、本発明のプログラムは、コンピュータに、少なくとも画像と、画像が撮影された場所の位置情報とを含む画像情報が入力される第1のステップと、位置情報を用いて、基準となる場所から画像が撮影された場所までの基準距離を算出する第2のステップと、基準距離にもとづいて画像を分類する第3のステップとを実行させることを特徴としている。
このようなプログラムまたはそのプログラムを記録したコンピュータ読み取り可能な記録媒体によれば、ユーザが指定した基準地点と撮影場所との距離である基準距離を用いて画像を分類するので、ユーザがイベントであると認識している出来事に対応する画像を、適切に1つのグループに対応付けることが可能になる。
また、本発明の画像分類方法は、基準となる場所から画像が撮影された場所までの距離を基準距離とし、画像が撮影された場所が所定の基準距離範囲に含まれる1以上の画像の識別子を、基準距離範囲に対応するリストに登録することを特徴としている。
このような方法によれば、ユーザがグループに分類された画像情報にアクセスすることが容易になる。
さらに、基準となる場所から画像が撮影された場所までの距離を基準距離とし、画像が撮影された場所が所定の基準距離範囲に含まれる1以上の画像のデータファイルを、基準距離範囲に対応するフォルダに格納する方法であってもよい。
このような方法によれば、ユーザがグループ毎の画像情報を一括して取り出すことが容易になる。
また、基準となる場所から画像が撮影された場所までの距離を基準距離とし、画像が撮影された場所が所定の基準距離範囲に含まれる1以上の画像を、他の画像と区分可能に表示する方法であってもよい。
このような方法によれば、グループに属する画像情報をユーザに対して分かりやすく呈示することができる。
以上述べたように、本発明の画像分類装置ならびに画像分類方法およびプログラムを用いれば、ユーザが単一のイベントであると認識している出来事に対応する画像情報を、より適切に1つのグループに対応付けられるように分類することができる。
以下、本発明の実施の形態として、本発明の画像分類装置ならびに画像分類方法およびプログラムについて図面を用いて詳細に説明する。
(第1の実施の形態)
まず、本発明の第1の実施の形態における画像分類装置ならびに画像分類方法およびプログラムについて説明する。
本発明の実施の形態においては、画像分類装置は撮影装置および表示装置と組み合わせて画像分類システムを構成する例を示す。
図1は本発明の実施の形態における画像分類システム30のシステム構成図である。
図1に示したように、本発明の実施の形態における画像分類システム30は、画像を撮影するデジタルカメラやムービーカメラ等の撮影装置50、撮影装置50で撮影された画像(静止画または動画)を後述する方法で分類する画像分類装置1、および、画像分類装置1で分類された画像を表示する表示装置60を備える。
ユーザは撮影装置50を画像分類装置1に有線または無線等の公知の通信手段により接続するか、または、メモリカード等の媒体を用いて、撮影した画像情報を画像分類装置1に送ることにより、画像分類装置1は、画像情報をイベント毎に適切に分類して、その結果、グループ化された画像を表示装置60上で確認することができる。
なお、本発明の第1の実施の形態における画像情報とは、撮影された画像の画素データおよび少なくとも画像が撮影された場所を特定するためのGPS情報等で得られた位置情報を含む情報のことをいう。
図2は、この画像情報のデータ構成の一例を示す図である。
図2に示した例においては、画像情報のヘッダ部に画像が撮影された撮影時間(年/月/日/時/分/秒)の時間情報、および画像が撮影された撮影場所(緯度/経度/高度)の位置情報(以下、時間情報および位置情報をあわせて撮影情報と記す)が格納されている。ヘッダ部の後には、画素データ部として、画像を構成する画素毎の輝度等の情報が格納されている。このような撮影情報が記録可能な規格としては、例えばExif(EXchangeable Image File)があり、画像情報としては、例えばExifに準拠したJPEGファイルやMPEGファイル等を用いることができる。
なお、本発明は、画像情報における時間情報および位置情報の順序やヘッダ部および画素データ部の順序を限定するものでないことはいうまでもない。さらに、本発明の第1の実施の形態においては、画像情報には位置情報が格納されていればよく、時間情報が含まれない構成であってもよい。
次に、本発明の第1の実施の形態における画像分類装置1の構成について説明する。図3は本発明の第1の実施の形態における画像分類装置1の構成を示すブロック図である。
図3に示したように、本発明の第1の実施の形態における画像分類装置1は、撮影装置50等から入力された画像情報から位置情報を抽出する位置情報抽出部2、位置情報抽出部2で抽出された位置情報から、後述する基準距離の値を算出する基準距離算出部3、画像情報を分類するための分類条件を記憶する分類条件記憶部4、基準距離算出部3で算出された基準距離の値にもとづいて、分類条件記憶部4に記憶された分類条件にもとづいて入力された画像情報を分類する画像情報分類部5、画像情報分類部5で分類された画像情報のグループID等の分類情報を記憶する分類情報記憶部6、および、分類情報記憶部6に記憶された分類情報にもとづいて、グループ化された画像を表示装置60等に出力する出力部7を備える。
また、分類条件記憶部4および分類情報記憶部6はHDD等の磁気ディスク装置やメモリカード等の公知の記憶手段から適宜選択して用いることが可能である。また、分類条件記憶部4および分類情報記憶部6の別はそれぞれの機能が異なることを示したものであり、それぞれが別の記憶手段によって実現されていてもよいし、1つの記憶手段の中に分類条件記憶部4および分類情報記憶部6の機能が実現されていてもよいことはいうまでもない。
なお、本発明の実施の形態において、「画像を分類する」とは、画像に対して対応するグループを割り当てることをいう。具体的には、グループ毎にあらかじめ用意された管理領域に、当該グループに属する画像情報を特定する識別子情報または画像情報の記録位置を示すリンク情報を格納すること、または、グループ毎にあらかじめ用意されたフォルダに画像情報を移動または複写させること、さらに画像情報のヘッダ情報にグループを示す識別情報を格納すること等の行為をいうものとする。
次に、本発明の第1の実施の形態における画像分類装置1の動作概要について説明する。図4は本発明の第1の実施の形態における画像分類装置1の動作ステップを示すフローチャートである。
まず、撮影装置50から画像情報が画像分類装置1の位置情報抽出部2に入力される(S1)。
位置情報抽出部2においては、前述の画像情報から、位置情報を抽出する(S2)。
基準距離算出部3においては、あらかじめ定められた基準となる場所から画像が撮影された撮影場所までの距離差の絶対値(以下、基準距離Dsと記す)が算出される(S3)。
画像情報分類部5においては、あらかじめ分類条件記憶部4に記憶された分類条件に応じて、送られてきた画像情報に対してグループを対応させて、画像情報の分類を行う(S4)。
画像情報は分類結果とともに分類情報記憶部6に記憶されるとともに、出力部7によって表示装置60にグループ毎に区別できる様態で表示される(S5)。
次に、具体的な画像情報を例として、詳細な処理過程を説明する。
図5は本発明の第1の実施の形態における画像分類装置1に入力される画像情報のうち撮影情報の部分の一例を示す図である。図5に示したように、本発明の第1の実施の形態における画像分類装置1においては、撮影装置50から16枚の画像情報が入力されるものとして説明する。各画像情報に画像ID(ここでは一例としてP1〜P16であるとする)が付与されている。例えば、画像IDがP1の画像情報は、2003年12月24日の5時30分10秒に、東経135度30分10秒、北緯45度10分3秒、高度30mの位置で撮影されていることが分かる。
位置情報抽出部2においては、前述の画像情報から、位置情報を抽出する(S2)。前述のP1の画像情報に対しては、東経135度30分10秒、北緯45度10分3秒、高度30mという位置情報が抽出されて、基準距離算出部3に送られる。
基準距離算出部3においては、基準距離Dsが算出される(S3)。
ここで、基準距離Dsとは、あらかじめ定めた基準となる地点(以下、原点と記す)と画像を撮影した地点(以下、取得地点と記す)との距離である。
なお、基準距離Dsは、原点と取得地点とを二地点とした場合に、緯度と経度で表現した地図上で二地点を結ぶ直線距離だけでなく、緯度と経度と高度で表現された二地点間の3次元距離でもよいし、二地点を移動する際のルート(陸路、空路または海路)の長さ(道のり)でもよいし、二地点の近傍にあるランドマーク(駅やビル等の目印となる目標物)が存在する地点間の距離としてもよい。
さらに、県、市、町等のある広がりを持ったエリアを考え、上記の二地点がそれぞれ存在する2つのエリアについて、エリア中心間の直線距離としてもよい。
また、「電車で30分」等上記の二地点を乗り物で移動するのに要する時間を用いて距離を表してもよい。このようにした場合は、地図上の直線距離とは異なり、乗り換え時間を含めて、撮影者が感じた主観的な遠近を表現できるため、撮影者が認識するイベント単位とさらに一致しやすくなる。
この原点は、ユーザが任意に設定することができるが、本発明の第1の実施の形態においては、ユーザの自宅の場所を原点として説明する。
このユーザによる原点の設定は、図示しない入力部からユーザが原点を入力することによって行われてもよいし、ユーザが画像を撮影した際にその画像を「原点で撮影された画像である」旨の入力を行うことによって設定されてもよい。
基準距離算出部3において算出された基準距離Dsの値は、画像情報分類部5へ送られる。
画像情報分類部5においては、あらかじめ分類条件記憶部4に記憶された分類条件に応じて、送られてきた画像に対してグループを対応させて、画像の分類を行う(S4)。
本発明の第1の実施の形態においては、分類条件記憶部4に、分類条件として、基準距離Dsの大きさの違いに応じて画像を分類すべく基準距離閾値を準備しておく。例えば、(5km、500km)という2つの基準距離閾値を準備しておくことにより、基準距離Dsの違いに応じて、
0≦Ds≦5km → G1(近所でのイベントを示すグループ)
5km<Ds≦500km → G2(国内旅行を示すグループ)
500km<Ds≦5000km → G3(海外旅行を示すグループ)
の3つのグループに画像情報を分類することができる。
画像情報分類部5はこのような分類条件と各画像情報の基準距離Dsとを比較して、画像情報を最適なグループに分類する。なお、この際、基準距離値Dsが大きくなるにつれて、同じグループを割り当てる範囲を大きくするようにすれば、実際のユーザの感覚に適合したグループに分類することができる。
このように、画像情報がそれぞれどのグループに属するかを示す分類情報が画像情報分類部5から分類情報記憶部6に送られて、記憶される(S5)。この場合、必要に応じて確認等のために外部の表示装置60等に画像をグループ化して出力する構成とすることも可能である。
このようにして、入力された画像情報を基準距離Dsにもとづいて分類する構成により、よりユーザが知覚するイベントに沿った分類を行うことが可能となる。
また、図4に示したフローチャートに従ってプログラムを記述し、コンピュータに実行させることによって、上述したようなユーザが知覚するイベントに沿った画像の分類を行うことが可能となる。なお、あらかじめ記述されたプログラムを記録媒体に記録させておき、コンピュータに読み込ませて実行させることも可能である。
(第2の実施の形態)
次に、本発明の第2の実施の形態における画像分類装置ならびに画像分類方法およびプログラムについて説明する。
図6は、本発明の第2の実施の形態における画像分類装置21の構成を示すブロック図である。
図6に示したように、本発明の第2の実施の形態における画像分類装置21は、第1の実施の形態における画像分類装置1と比較して、撮影装置50から送られた画像情報を記憶する画像記憶部12、画像情報の撮影情報のうち、時間情報を抽出する時間情報抽出部13、および、時間情報抽出部13で抽出された時間情報から、画像の撮影時間とその画像の直前に撮影された画像の撮影時間との差分、すなわち時間間隔を算出する時間間隔算出部14を備えた点が異なる。
よって、画像情報分類部15には、時間間隔および基準距離Dsの値が入力される。
また、このような構成の違いにともなって、画像情報分類部15の処理内容および分類条件記憶部12に記憶された分類条件も第1の実施の形態で説明したものとは異なるが、これについては後述する。
その他、本発明の第2の実施の形態における画像分類装置21において、第1の実施の形態で説明した画像分類装置1と同様の機能を有する構成ブロックについては同一の符号を付して、その説明を省略する。
画像記憶部12はデジタルカメラやカメラ付携帯電話等の撮影装置50で撮影した画像情報を単数または複数記憶している。本発明の第2の実施の形態においては、画像情報のヘッダ部には、画像が撮影された時間情報と撮影された場所を示す位置情報とを有する撮影情報が少なくとも含まれているものとする。
本発明の実施の形態においては、画像記憶部12が保持しているデータは画像情報であるとして説明する。ただし、他の種類のデータ、例えば、動画データ、音楽データまたは音声データ等どのような形式のデータであってもよい。
位置情報抽出部2および基準距離算出部3によって、画像記憶部12に記憶された画像情報から、前述の基準距離Dsが算出されることは、第1の実施の形態に説明したとおりである。
時間情報抽出部13は、画像記憶部12から送られた画像情報のヘッダ部から画像が撮影された時刻、すなわち時間情報を取り出す。
時間間隔算出部14は、直前に撮影した画像の撮影時刻と分類すべき画像の撮影時刻との時間差の絶対値(以下、時間間隔TTと記す)を算出して、画像情報分類部15に送る。
分類条件記憶部11は、画像をグループ毎に分類するための分類条件式を単数または複数記憶している。分類条件式の詳細については後述するが、時間情報に関する条件と位置情報に関する条件の少なくとも一方を含む。
画像情報分類部15は、基準距離算出部3で算出された基準距離Dsと、時間間隔算出部14で算出された時間間隔TTとを用いて、分類条件記憶部11に保持されている分類条件式から最適な分類条件式を取り出して、画像記憶部12に記録されている画像情報のそれぞれが、分類条件式にもとづいてどのグループに分類されるべきかを判定する。分類されるべきグループが存在しない場合は、グループを新規に作成して、その画像情報を新規に作成したグループに分類する。
分類情報記憶部6は、各グループとそのグループに属する各画像情報の画像記憶部12における記憶場所(ポインタ情報)とを関連付けて記録する。それ以外でも、例えばグループに対応したフォルダを用意し、画像記憶部12からそのグループに属する画像情報を移動または複写して分類情報記憶部6に記憶する構成であってもよいことは既に述べたとおりである。
なお、画像記憶部12、分類条件記憶部11または分類情報記憶部6はそれぞれ不揮発性の記録媒体であるハードディスク、DVDメディアまたは半導体メモリカード等であることが好適であるが、揮発性の記録媒体でも実現することが可能である。なお、それぞれの記憶部の機能が単一の記憶手段において実現されていてもよい。
次に、本発明の第2の実施の形態における画像分類装置21の動作概要について説明する。図7は、本発明の第2の実施の形態における画像分類装置21の動作ステップを示すフローチャートである。
本発明の第2の実施の形態における画像分類装置21では撮影装置50で撮影した画像情報があらかじめ画像記憶部12にファイルとして保存されており、そのファイル数が変数pnumに格納されているものとする。これら画像情報をそれぞれP1〜Pnumとして区別する。
まず、画像分類装置21の初期化が行われる(S11)。初期化とは、基準距離Dsの値を算出する際の基準となる原点を登録する作業である。これは通常、ユーザによる原点の入力や、基準となるべき地点(例えば自宅)等において撮影された画像を原点で撮影された画像であるとする旨の入力がされることによって行われる。
次に、グループ数をカウントする変数nに値=1を格納し(S12)、新しいグループGn(すなわちグループG1)が分類情報記憶部6に作成される。
画像情報ループAとして、以下説明するステップS14をpnum回繰り返す(S13)。このとき、ループカウンタとして変数iを使用するものとして以下説明する。
画像情報ループAの処理としては、まず位置情報抽出部2が、画像情報Piのヘッダ部から位置情報を取り出す。基準距離算出部3は、位置情報から基準距離Dsを算出する(S14)。
画像情報分類部15は、全ての画像情報P1〜Pnumについて上述の画像情報ループA処理を行った後、それぞれの画像情報について算出された基準距離Dsのうちの最大値を変数Dsmに格納する(S15)。
画像情報分類部15は、分類条件記憶部11から最大値Dsmに対応する分類条件式を選択し、分類に用いるべき分類式パラメータを決定する(S16)。なお、本実施の形態では、ステップS111〜S116に示す分類条件を選択したとして説明する。
次に、画像情報ループBとして、後述するステップS18〜S19をpnum回繰り返す(S17)。なお、画像情報ループBにおいても、ループカウンタとして変数iを使用するものとして説明する。
位置情報抽出部2は画像情報Piのヘッダ部から位置情報を抽出し、時間情報抽出部13は画像情報Piのヘッダ部から時間情報を取り出す。基準距離算出部3は、基準距離Dsを算出する。また、時間間隔算出部14は、時間間隔TTを算出する(S18)。
ここで時間間隔TTとは、画像情報Piの撮影時間と、直前に撮影した画像情報Pi−1の撮影時間との差の絶対値であるが、処理を最初(i=1)に行う画像については、その時間間隔TTを0とする。
次に、画像情報分類部15は、分類条件記憶部11から読み込んだ分類条件式に従って画像情報Piをグループに分類する(S19)。処理の詳細を図7(b)を用いてさらに説明する。
ある画像情報Piについてその基準距離Dsが距離閾値Dth以上ならば(例えば自宅から比較的遠距離ならば)時間閾値ΔTにT1の値を、それ以外ならば(自宅から比較的近くならば)時間閾値ΔTにT2の値を格納する(S111〜S113)。
次に、読み込んだ時間間隔TTが時間閾値ΔT以上ならば(S114)、新しいグループGn+1を分類情報記憶部6に作成し、そのグループGn+1に画像情報Piを分類する(S115)。
ステップS114において、時間間隔TTが時間閾値ΔT未満の場合には、既存のグループGnに画像情報Piを分類して(S116)処理を終了する。
ここで、本発明の第2の実施の形態における画像分類装置の動作について具体例をあげてさらに説明する。
画像記憶部12に記憶される画像情報は、前述の図2に示したものと同様であり、画像情報はヘッダ部と画素データ部とを含む。
ヘッダ部には前述のように位置情報および時間情報を含む撮影情報が格納されている。また、画素データ部には画像を構成する各画素の画素値が格納されている。画像情報のヘッダ部を読むことで、画像が撮影された時間と場所を知ることができる。
時間情報は、シャッターが押下された時刻を「年/月/日/時/分/秒」で表現する例を示す。なお、時間情報はこの例に限定されず、例えばある基準時刻から撮影時刻までの経過時間であってもよい。
撮影場所の位置情報は、本実施の形態においてはシャッターが押下された撮影場所について「緯度(度・分・秒)/経度(度・分・秒)/高度」として示す例を示す。なお、位置情報はこの例に限定されず、例えば、撮影場所の住所や、ある基準となる地点と撮影場所との相対的な位置関係を示す情報等であってもよい。
図8(a)は、分類条件記憶部11が記憶する分類条件式の一例を示す図である。
図8(a)に示した分類条件式は、「分類条件式ID」「選択条件」「分類式パラメータ」を有するレコードを単数または複数個保持している。
「分類条件式ID」は各レコードを識別するための情報であり、管理上の要請のために付与される。
「選択条件」は複数の分類条件式から画像情報Piに最適な式を選択するための条件であり、前述の基準距離Dsの最大値Dsmの値の違いによって表される。
また、「分類式パラメータ」は分類条件式で使用するパラメータ情報であり、距離閾値Dthおよび時間閾値ΔTを含む。
ここでは、ユーザが1日に撮影した16枚の画像情報を例にして具体的な動作を説明する。
これらの画像情報は画像記憶部12に記憶されており、撮影された順番に画像情報P1〜P16であるとする。原点はユーザの自宅であるとする。
このような画像情報について、横軸に画像が撮影された時刻をとり、縦軸に基準距離Dsをとった図を図9に示す。
図9に示すように、画像情報P1〜P3は自宅近所の公園に散歩で出かけて撮影されたものであり、画像情報P4〜P7は自宅で観光の準備をしながら撮影されたものであり、画像情報P8〜P10は旅行中にA市を観光しながら撮影されたものであり、この後A市からB市へ移動し、画像情報P11〜13はB市を観光しながら撮影されたものであり、画像情報P14〜16は帰宅後に撮影されたものであるとする。
これらの16枚の画像情報が入力されて、画像分類装置21は、前述の図7(a)に示したような処理を行う。
すなわち、ステップS12で1つめのグループG1を作成し、ステップS13〜S15で基準距離Dsの最大値Dsmを求める。この例では、Dsm=22kmであるとする。
ステップS16では、図8(a)に示したような分類条件表の全レコードから選択条件にDsmが含まれるレコードを選択し、その分類式パラメータを読み込む。すなわち、図8(a)に示した例においては、画像情報P1〜P16におけるDsmが22kmであるので、分類条件式IDがB1である分類条件式が選択され、分類式パラメータ、すなわち、距離閾値Dth=20km、時間閾値T1=60分、T2=90分が読み込まれる。
これらの分類式パラメータを用いてステップS19が実行される。
すなわち、それぞれの画像情報Piにおいて、基準距離Dsの値が距離閾値Dth以上の場合には、時間閾値T2が用いられ、基準距離Dsの値が距離閾値Dth未満の場合には、時間閾値T1が用いられて、グループに分類される。
上述の例においては、距離閾値Dth=20km未満の近距離で撮影された場合(画像情報P1〜P7,P14〜16が該当)には、画像情報を時間閾値T1=60分の前後で異なるグループに分ける一方、距離閾値Dth=20km以上の遠距離で撮影した場合(画像情報P8〜P13が該当)には、時間閾値T2=90分の前後で異なるグループに分ける。
例えば、画像情報P1と画像情報P2、画像情報P2と画像情報P3の時間間隔TTはそれぞれ60分未満なので画像情報P1〜P3は同じグループG1に分類され、画像情報P3と画像情報P4との時間間隔TTは60分以上なので新しいグループG2を作成して画像情報P4はグループG2に分類される。
また、画像情報P4と画像情報P5、画像情報P5と画像情報P6、画像情報P6と画像情報P7の時間間隔TTはそれぞれ60分未満なので、画像情報P5〜P7は画像情報P4と同じグループG2に分類される。
また、画像情報P7と画像情報P8との時間間隔TTは90分以上なので新しいグループG3を作成し、画像情報P8はグループG3に分類される。
さらに、画像情報P8と画像情報P9、画像情報P9と画像情報P10はそれぞれ時間間隔が90分未満なので同じグループG3に分類され、画像情報P10と画像情報P11との時間間隔TTは90分以上なので新しいグループG4を作成し、画像情報P11はグループG4に分類される。
さらに、画像情報P11と画像情報P12、画像情報P12と画像情報P13の時間間隔TTはそれぞれ90分未満なので画像情報P12と画像情報P13とは画像情報P11と同じグループG4に分類される。
さらに、画像情報P13と画像情報P14との時間間隔TTは60分以上なので新しいグループG5を作成し、画像情報P14はグループG5に分類される。
また、画像情報P14と画像情報P15、および画像情報P15と画像情報P16との時間間隔TTはそれぞれ60分未満なので同じグループG5に分類される。
このような処理を行った結果、図8(b)に示したようなグループ管理表が分類情報記憶部6に記憶されて、画像情報P1〜P16までの分類が終了する。
図8(b)は、分類情報記憶部6が記憶するグループ管理表の一例を示す図である。図8(b)に示したように、グループ管理表は、「グループID」「画像ID」を有するレコードを単数または複数個備えている。
「グループID」は各レコードを識別するための情報であり、管理上の要請のために付与される。
「画像ID」はそのグループに属する単数または複数の画像を特定するための識別子である。識別子としては、例えばリンク情報であってもよい。このリンク情報を参照することで、画像記憶部12に記憶されている画像情報にアクセスすることができる。また、識別子としては、それぞれの画像が区別できるような、重複しない一連の番号であってもよい。
なお、画像情報が分類された際には、グループ毎に準備されたフォルダに、対応する画像情報が移動または複写される構成でもよいし、画像情報のヘッダ情報に分類されたグループを示す識別情報を格納する構成であってもよいことは前述したとおりである。
このような処理を行うことにより、図10に示すように、画像情報P1〜P16までの画像情報を、公園への散歩の際に撮影された画像情報P1〜P3をグループG1に、自宅での観光準備をしながら撮影された画像情報P4〜P7をグループG2に、A市での観光において撮影された画像情報P8〜P10をグループG3に、B市での観光において撮影された画像情報P11〜P13をグループG4に、さらに、帰宅後に撮影された画像情報P14〜P16をグループG5に分類することができた。すなわち、画像情報P1〜P16を、ユーザの1日の行動における5つのイベント毎に適切に分類することができた。
なお、本実施の形態においては、分類条件式ID=B1を例として説明した。すなわち、分類式パラメータとして、距離閾値Dthによって基準地点からの基準距離を「近距離」と「遠距離」の2つに分割してそれぞれ異なる時間閾値ΔT(T1またはT2)を適用する例を示した。
しかしながら、本発明はこれに限定されることなく、例えば、図8(a)の分類条件式IDがB2またはB3の分類条件式に示したように、複数の距離閾値Dth(例えば、Dth1およびDth2)を設けて、「近距離」と「中距離」「遠距離」3つの範囲に分割し、それぞれ異なる時間閾値ΔT(例えばT1,T2,T3)を用いて、時間間隔TTにもとづいた分類を行うことも可能である。同様に、基準距離Dsを4つ以上の範囲に分割してそれぞれ異なる時間閾値ΔTを適用することも可能であることはいうまでもない。
さらに、このように分類された画像情報P1〜P16を、出力部7を介して表示装置60に、図11に示すようなグループ毎に表示させることができるので、ユーザは多数の画像をイベント毎にまとめて見ることができるので、ユーザの負担を増大することなく、短時間に画像を見ることが可能となる。
図11は、本発明の実施の形態の画像分類装置および画像分類システムにおける表示装置60に表示された画像の一例を示す図である。図11に示したように、前述の例に沿っていえば、画像情報P1から画像情報P10までの画像情報の概要を示すサムネール画像が、グループ毎にまとまった形態で表示されているので、本発明の実施の形態における画像分類装置および画像分類システムならびに画像分類方法を用いることにより、ユーザは負担を感じることなく所望のグループを選択することによって、短時間に所望の画像を見ることが可能となる。
また、本発明の第2の実施の形態において、図7に示したフローチャートに従ってプログラムを記述し、コンピュータに実行させることによって、上述したような、ユーザの行動におけるイベント毎に適切に画像の分類を行うことが可能となる。なお、あらかじめ記述されたプログラムを記録媒体に記録させておき、コンピュータに読み込ませて実行させることも可能である。
(第3の実施の形態)
次に、本発明の第3の実施の形態である画像分類装置31について説明する。
図12は、本発明の第3の実施の形態における画像分類装置31の構成を示すブロック図である。
図12に示したように、本発明の第3の実施の形態における画像分類装置31が本発明の第2の実施の形態に説明した画像分類装置21と異なるところは、時間情報抽出部13および時間間隔算出部14を備えていないこと、および、位置情報抽出部2で抽出された位置情報から後述する距離間隔を算出する距離間隔算出部32を備えていることである。
このような違いにより、画像情報分類部34には、画像情報毎に、基準距離算出部3から出力される基準距離の値および距離間隔算出部32から出力される距離間隔の値が入力されるので、画像情報分類部34の機能および分類条件記憶部33に記憶される分類条件が第2の実施の形態で説明した画像分類装置21のそれとは異なる。
なお、本発明の第3の実施の形態における画像分類装置31における構成要素について、第2の実施の形態における画像分類装置21における構成要素と機能が共通するものについては、画像分類装置21における符号と同一の符号を付してその説明を省略する。
距離間隔算出部32は、位置情報抽出部2で抽出された位置情報を用いて、分類すべき画像情報の撮影場所と、直前に撮影された画像情報の撮影場所との距離差の絶対値(以下、距離間隔DDと記す)を算出する。
以下、本発明の第3の実施の形態における画像分類装置31の動作について図7(a)と図13とにそれぞれ示したフローチャートを用いて説明する。なお、図13は、前述の第2の実施の形態における図7(b)に対応する図である。
また、本発明の第3の実施の形態においても、画像分類装置31に入力される画像情報は、第2の実施の形態において説明した画像情報と同じであるとして説明を行う。
図7(a)におけるステップS11〜S15の各処理は第2の実施の形態で説明した各ステップと同じであり、ここでは説明を省略する。
ステップS16において、画像情報分類部34は、分類条件記憶部33から画像情報Piに対応する分類条件式を選択し、距離閾値および間隔閾値を決定する。本実施の形態では、図13のフローチャートにおけるステップS121〜S126に示す分類条件を選択したとして説明する。
図13において、画像情報Piにおける基準距離Dsが距離閾値Dth以上ならば(自宅から比較的遠距離ならば)、場所閾値ΔDにD1の値を、それ以外ならば(自宅から比較的近距離ならば)D2の値を格納する(S121〜S123)。
画像情報における距離間隔DDが場所閾値ΔD以上ならば(S124)、新しいグループGn+1を分類情報記憶部6に作成し(S125)、そのグループに画像情報Piを分類する。それ以外ならば、既存のグループGnに画像情報Piを登録する(S126)。
以下、本発明の第3の実施の形態における画像分類装置31の処理について、さらに具体的に説明する。画像分類装置31に入力される画像情報の構成および画像情報P1〜P16は、第2の実施の形態の説明に用いたものをそのまま用いる。
図14(a)は、分類条件記憶部33が記憶する分類条件式の一例を示した図である。ここで、「分類式パラメータ」は分類条件式で使用するパラメータ情報であり、距離閾値Dthと対応した距離間隔閾値ΔDの値が格納されている。
画像記録部12には、第2の実施の形態で説明したものと同じ条件で撮影した、図9に示したような16枚の画像情報が保持されている。
このような画像情報P1〜P16について、横軸に経度を、縦軸に緯度をとり、撮影した地点を丸印としてプロットしたものを図15に示す。図15は公園と自宅とA市とB市の地理的な位置関係を表している。
図15に示したような示した16枚の画像情報が入力された場合、画像情報分類部34は、前述のステップS12で1つめのグループG1を作成し、ステップS13〜S15で基準距離Dsの最大値Dsmを求める。
ステップS16では、分類条件表の全レコードから選択条件にDsmが含まれるレコード(分類条件式)を選択し、その分類式パラメータを読み込む。すなわち、Dsm=22kmであるので、分類条件式IDがB1の分類条件式が選択され、基準距離閾値Dth=20km、距離間隔閾値D1=100m、D2=1kmが画像情報分類部34に読み込まれる。
これらの分類式パラメータを用いてステップS17が実行される。つまり、基準距離閾値20km未満の近所で撮影した場合(画像情報P1〜P7,P14〜16が該当)には、距離間隔閾値D1=100mを境に異なるグループに分け、基準距離閾値20km以上の遠方で撮影した場合(画像情報P8〜P13が該当)には、距離間隔閾値D2=1kmを境にして異なるグループに分類する。
すなわち、画像情報P1と画像情報P2、画像情報P2と画像情報P3の距離間隔DDはそれぞれ100m未満なのでP1〜P3は同じグループG1に分類される。
画像情報P3と画像情報P4とは距離間隔DDが100m以上なので新しいグループG2を作成し、画像情報P4をグループG2に分類する。
次に、画像情報P4と画像情報P5、画像情報P5と画像情報P6、および、画像情報P6と画像情報P7の距離間隔DDはそれぞれ100m未満なので画像情報P5〜P7を画像情報P4と同じグループG2に分類させる。
また、画像情報P7と画像情報P8は距離間隔DDが1km以上なので新しいグループG3を作成し、画像情報P8をグループG3に格納する。
また、画像情報P8と画像情報P9、画像情報P9と画像情報P10、および、画像情報P10と画像情報P11、画像情報P11と画像情報P12、画像情報P12と画像情報P13はA市とB市にまたがるものの、距離間隔DDが1km未満なので同じグループG3に分類する。
さらに、画像情報P13と画像情報P14とは距離間隔DDが100m以上なので新しいグループG4を作成し、画像情報P14をグループG4に分類する。
画像情報P14と画像情報P15、画像情報P15と画像情報P16は距離間隔DDが100m未満なので画像情報P14と同じグループG4に画像情報P15〜P16を分類する。
このような処理を行った結果、図14(b)に示したようなグループ管理表が分類情報記憶部6に記憶されることになる。
図14(b)は、分類情報記憶部6が記憶するグループ管理表の一例を示す図である。図14(b)に示したように、グループ管理表は、「グループID」「画像ID」を有するレコードを単数または複数個備えている。
「グループID」は各レコードを識別するための情報であり、管理上の要請のために付与される。
「画像ID」はそのグループに属する単数または複数の画像を特定するための識別子である。識別子としては、例えばリンク情報であってもよい。このリンク情報を参照することで、画像記憶部12に記憶されている画像情報にアクセスすることができる。また、識別子としては、それぞれの画像が区別できるような、重複しない一連の番号であってもよい。
なお、画像情報が分類された際には、グループ毎に準備されたフォルダに、対応する画像情報が移動または複写される構成でもよいし、画像情報のヘッダ情報に分類されたグループを示す識別情報を格納する構成であってもよいことは前述したとおりである。
この結果、図16に示すように、「公園」への散歩がグループG1に、「自宅」での観光準備がグループG2に、「A市とB市」での観光がグループG3に、「帰宅後」がグループG4に分類された。このことは、ユーザの1日の行動を4つのイベントとして分類できたこととなる。
なお、本発明の第3の実施の形態においては、分類条件式B1の例、すなわち基準距離閾値Dthにより原点(自宅)からの距離を「近距離」と「遠距離」の2つに分けてそれぞれ異なる距離間隔閾値ΔDを用いて分類を行う例を示したが、本発明はこれに限定されない。例えば、分類条件式B2またはB3のように、複数の基準距離閾値Dth(例えば、Dth1,Dth2)を設けて、「近距離」と「中距離」「遠距離」3つの範囲に分割し、それぞれ異なる距離間隔閾値ΔD(例えばD1,D2,D3)を用いて分類を行う分類条件式とすることも可能である。同様に、基準距離Dsを4つ以上の範囲に分割してそれぞれ異なる距離間隔閾値ΔDを適用することも可能であることはいうまでもない。
また、本発明の第3の実施の形態における図7(a)および図13に示したフローチャートに従ってプログラムを記述し、コンピュータに実行させることによって、上述したような、ユーザの行動におけるイベント毎に適切に画像の分類を行うことが可能となる。なお、あらかじめ記述されたプログラムを記録媒体に記録させておき、コンピュータに読み込ませて実行させることも可能である。
(第4の実施の形態)
次に、本発明の第4の実施の形態である画像分類装置41について説明する。
図17は、本発明の第4の実施の形態における画像分類装置41の構成を示すブロック図である。
図17に示したように、本発明の第4の実施の形態における画像分類装置41は、第2の実施の形態で説明した画像分類装置21および第3の実施の形態で説明した画像分類装置31を組み合わせたような構成である。
すなわち、第3の実施の形態に説明した画像分類装置31を基準とするならば、画像分類装置31に、第2の実施の形態で説明した画像分類装置21の時間情報抽出部13および時間間隔算出部14とをさらに備えた構成である。
このような構成により、画像情報分類部44には、1つの画像情報Piに対して、基準距離算出部3から送られた基準距離Dsの値、距離間隔算出部32から送られた距離間隔DDの値、および、時間間隔算出部14から送られた時間間隔TTの値の3つの値が送られてくることになる。
また、分類条件記憶部43は、図18に示したような分類条件式を記憶しており、1つの分類条件について、分類式パラメータ、すなわち基準距離閾値Dthの閾値、その前後における距離閾値DDの値および時間閾値TTの値が格納されている。
このような画像情報Piについての3つの情報および分類条件記憶部43に記憶された分類条件式を用いて、画像情報分類部44は、図7(a)および図19に示したような処理ステップを実行する。
図7(a)に示したように、本発明の第4の実施の形態における画像情報分類部44は、画像情報Piの基準距離Dsの最大値Dsmを算出した後(S15)に、図18に示した分類条件式から選択条件に合った分類条件式が選択されて、分類式パラメータが分類条件記憶部43から画像情報分類部44に読み込まれる(S16)。
次に、図19に示したように、画像情報Piの基準距離DsがDthよりも大きいか小さいかによって異なる時間閾値ΔTおよび距離間隔閾値ΔDが適用されて(S131〜S133)、距離間隔DDがΔD以上か否か(S134)、および時間間隔TTがΔT以上か否か(S135)によって、いずれか一方がYesの場合には、新しいグループGn+1を作成して(S136)画像情報Piをその新グループGn+1に分類して処理を終了する。
もし、距離間隔DDがΔD以上でなく、かつ、時間間隔TTがΔT以上でない場合には、既存のグループGnに画像情報Piを分類して(S137)処理を終了する。
このような構成および処理方法を行うことによって、本発明の第4の実施の形態における画像分類装置41によれば、さらに詳細なイベント毎の分類を行うことが可能となる。
すなわち、図20に示したように、1つの画像情報に対して、時間閾値を可変にした場合の分類情報と距離閾値を可変にした場合の分類情報の2つの属性のイベント情報を得ることができ、階層的な分類が可能となる。
また、本発明の第4の実施の形態における図7(a)および図19に示したフローチャートに従ってプログラムを記述し、コンピュータに実行させることによって、上述したような、ユーザの行動におけるイベント毎に適切に画像の分類を行うことが可能となる。なお、あらかじめ記述されたプログラムを記録媒体に記録させておき、コンピュータに読み込ませて実行させることも可能である。
(第5の実施の形態)
さらに、本発明の第5の実施の形態である画像分類装置51について説明する。
図21は、本発明の第5の実施の形態における画像分類装置51の構成を示すブロック図である。
図21に示したように、本発明の第5の実施の形態における画像分類装置51は、第2の実施の形態で説明した画像分類装置21の構成要件に加えて、地図情報を記憶する地図情報記憶部52、分類情報記憶部6に接続され、地図情報記憶部52に記憶された地図情報から画像情報のグループに対して付与すべきコメントを作成するコメント作成部53、コメント作成部53によって作成されたコメントを記憶するイベント情報記憶部54を備えた構成である。また、地図情報記憶部52とコメント作成部53の接続は直接されていてもよいし、ネットワーク等を介して行われていてもよいことはいうまでもない。
なお、地図情報とは、任意の位置情報に対応して格納された、住所や建物等の情報のことをいう。
まず、本発明の第5の実施の形態における画像分類装置51におけるコメント作成部53の動作概要について説明する。
図22は、本発明の第5の実施の形態における画像分類装置51におけるコメント作成部53の処理ステップを示すフローチャートである。
図22に示したように、まず、コメント作成部53は、分類情報記憶部6に記憶されたコメントを作成すべきグループに分類された画像情報の位置情報を読み込み、その位置的な分布から代表位置と分布範囲とを算出する。具体的には、図23に示すように、地図上にグループに属する画像の撮影場所を配置(図中丸印)したとすると、全ての撮影場所が含まれる最小の円(破線領域)を想定し、その幾何学的な中心位置を代表位置、直径を分布範囲とする(S141)。
次に、コメント作成部53は、算出された代表位置に関連付けられた地図情報を地図情報記憶部52から読み出す(S142)。
さらに、コメント作成部53は、ステップS141で算出された分布範囲から、その大きさに応じて、地図情報からコメントとして採用すべき部分を選択する(S143)。
そして、コメント作成部53は、ステップS143で選択されたコメント情報をイベント情報記憶部54に記憶させて(S144)処理を終了する。
なお、このときに作成されたコメント情報が出力部7から表示装置60等の外部装置にグループ化された画像とともに出力される構成であってもよい。例えば、図11に示したような画像が表示装置60に表示されたとした場合には、「○○公園」「自宅」「A市」がコメント情報である。このようにコメント情報をグループ化された画像とともに出力することにより、ユーザはコメント情報を見て、直接グループに対応するイベントを想起することができるので、よりユーザにとって負担の少ない構成を実現できる。
さらに具体的に説明する。例えば、ステップS141において、あるグループを構成する画像情報の位置情報から算出された代表位置が、東経:139度44分55秒、北緯:35度39分19秒であったとする。また、その分布範囲が800mであったとする。
また、この場合、ステップS142で地図情報記憶部52から読み込まれる地図情報は、「関東地方、東京都、芝公園、東京タワー」であるとする。
この場合、ステップS143では、これらの画像情報の分布範囲の大きさに応じて、「関東地方」、「東京都」、「芝公園」および「東京タワー」のいずれの情報をグループに付与すべきコメント情報として用いるかを決定する。
この決定には、例えば、
0<分布範囲<100m ならば、「東京タワー(ランドマーク)」
100m<分布範囲<1km ならば、「芝公園(地域)」
1km<分布範囲<50km ならば、「東京都(都道府県名)」
50km<分布範囲<500km ならば「関東地方(地方名)」
をそれぞれ割り当てるようなテーブルをコメント作成部53に有する構成とすればよい。
前述の例においては、グループ内の画像情報の位置情報の分布範囲が800mなので、地図情報「芝公園」がグループに付与すべきコメント情報として選択される。
なお、このときに、コメント作成部53は画像情報のうち時間情報と組み合わせてコメント情報を作成する構成であってもよい。これにより、例えば画像が撮影されたときが夏であれば、「夏の芝公園」、大晦日の夜から正月の朝までを含むような場合には、「芝公園での年越し」等のコメントを付与することが可能となる。
さらに、コメント作成部53は、祝日や暦上の情報を含むカレンダ情報を参酌して、説明文を詳細化してもよい。
また、コメント作成部53で作成されたコメントをフォルダ名にしたりファイル名にしたり、アルバム名やアルバムの説明文に用いることも可能となる。
また、本発明の第5の実施の形態における図22に示したフローチャートに従ってプログラムを記述し、コンピュータに実行させることによって、上述したような、グループに対応したコメントの作成を行うことが可能となる。なお、あらかじめ記述されたプログラムを記録媒体に記録させておき、コンピュータに読み込ませて実行させることも可能である。
なお、本発明の第5の実施の形態においては、グループの代表位置を決定する際に、全ての画像を含む円図形の幾何学的な中心位置を用いたが、全ての図形を含む多角形図形の重心位置や頂点位置等を用いてもよいし、グループで最初や最後やその中間に撮影された画像の撮影場所を代表位置としてもよい。
また、代表位置の決定は、画像情報の位置情報の分布にもとづいて行えばよく、前述のような分布範囲を用いて代表位置を決定する方法に限定されない。例えば、グループの任意の画像情報(例えば最も離れているまたは最も近接する画像情報)等、グループ内の2つ以上の画像情報の位置情報を用いて代表位置を決定する構成であってもよい。
なお、本発明の実施の形態においては、原点をユーザの自宅場所であるとして説明を行ったが、本発明における原点の位置は、ユーザの自宅場所に何ら限定されない。例えば、比較的長期間に亘る滞在型の旅行では、滞在するホテルを原点とすることもある。そうすることにより、旅行というイベントで撮影した画像群を複数の小イベントの組み合わせとして分類することが可能となる。
なお、本発明の実施の形態においては、画像情報を静止画であるとして説明を行ったが、本発明は画像情報を静止画に限定するものではない。例えば画像情報がムービーカメラ等で撮影された動画であるとした場合には、その動画の撮影を開始した時刻を画像情報の時間情報とし、その動画の撮影を開始した場所を画像情報の位置情報として用いればよい。
前述したように、本発明にかかる画像分類装置ならびに画像分類方法およびプログラムを用いれば、よりユーザが認識するイベントと適切に対応付けられたグループに画像を分類することが可能となるという効果を有するので、デジタルスチルカメラ、カメラ付き携帯電話またはムービーカメラ等の画像撮影装置で撮影した静止画または動画の画像情報を、分類する画像分類装置ならびに画像分類方法およびプログラム等として有用である。
本発明の実施の形態における画像分類システムのシステム構成図 本発明の実施の形態における画像情報のデータ構成の一例を示す図 本発明の第1の実施の形態における画像分類装置の構成を示すブロック図 本発明の第1の実施の形態における画像分類装置の動作ステップを示すフローチャート 本発明の第1の実施の形態における画像分類装置に入力される画像情報のうち撮影情報の部分の一例を示す図 本発明の第2の実施の形態における画像分類装置の構成を示すブロック図 本発明の第2の実施の形態における画像分類装置の動作ステップを示すフローチャート (a)は本発明の第2の実施の形態における分類条件記憶部が記憶する分類条件式の一例を示す図(b)は本発明の第2の実施の形態における分類情報記憶部が記憶するグループ管理表の一例を示す図 本発明の実施の形態における画像情報について横軸に画像が撮影された時間をとり縦軸に基準距離をとって示した図 本発明の第2の実施の形態における画像情報のグループ分類の結果を示す図 本発明の実施の形態における表示装置に表示された画像の一例を示す図 本発明の第3の実施の形態における画像分類装置の構成を示すブロック図 本発明の第3の実施の形態における画像分類装置の動作ステップを示すフローチャート (a)は本発明の第3の実施の形態における分類条件記憶部が記憶する分類条件式の一例を示す図(b)は本発明の第3の実施の形態における分類情報記憶部が記憶するグループ管理表の一例を示す図 本発明の実施の形態における画像情報について横軸に経度を、縦軸に緯度をとって示した図 本発明の第3の実施の形態における画像情報のグループ分類の結果を示す図 本発明の第4の実施の形態における画像分類装置の構成を示すブロック図 本発明の第4の実施の形態における分類条件記憶部が記憶する分類条件式の一例を示す図 本発明の第4の実施の形態における画像分類装置の動作ステップを示すフローチャート 本発明の第4の実施の形態における画像情報のグループ分類の結果を示す図 本発明の第5の実施の形態における画像分類装置の構成を示すブロック図 本発明の第5の実施の形態における画像分類装置におけるコメント作成部の処理ステップを示すフローチャート 本発明の第5の実施の形態における画像分類装置におけるコメント作成部の処理ステップを説明するための図
符号の説明
1,21,31,41,51 画像分類装置
2 位置情報抽出部
3 基準距離算出部
4,11,33,43 分類条件記憶部
5,15,34,44 画像情報分類部
6 分類情報記憶部
7 出力部
12 画像記憶部
13 時間情報抽出部
14 時間間隔算出部
30 画像分類システム
32 距離間隔算出部
50 撮影装置
52 地図情報記憶部
53 コメント作成部
54 イベント情報記憶部
60 表示装置

Claims (19)

  1. 画像が撮影された場所の位置情報と前記画像が撮影された時間の時間情報とを含む画像情報が入力される画像情報入力部と、
    前記位置情報を用いて、基準となる場所から前記画像が撮影された場所までの基準距離を算出する基準距離算出部と、
    前記基準距離に対応した分類条件を用いて前記画像を分類する画像分類部と、
    前記位置情報から、前記画像の撮影場所と前記画像の直前に撮影された画像の撮影場所との距離間隔を算出する距離間隔算出部とを備え、
    前記分類条件は基準距離閾値と前記基準距離閾値に対応する距離間隔閾値とを少なくとも含み、
    前記画像分類部は、
    分類した画像を格納する所定のグループを作成し、
    前記画像情報入力部から入力された個々の画像に対応する基準距離の中から基準距離の最大値を求め、
    画像分類に最適な分類条件を選択するための選択条件として前記基準距離の最大値とすることにより、前記基準距離の最大値から所定の分類条件を選択するとともに、
    前記画像情報入力部から入力された個々の画像について、所定の画像に対応する基準距離と前記基準距離閾値とを比較して、前記基準距離閾値に対応する距離間隔閾値を選択し、
    前記所定の画像を分類する際に、前記距離間隔算出部における前記所定の画像での距離間隔が選択された距離間隔閾値未満であるときは、前記所定の画像を前記所定の画像の直前に撮影された画像と同じグループに分類し、前記距離間隔算出部における前記所定の画像での距離間隔が選択された距離間隔閾値以上であるときは、前記所定の画像の直前に撮影された画像と異なるグループを作成するとともに前記所定の画像を前記異なるグループに分類することを特徴とする画像分類装置。
  2. 画像が撮影された場所の位置情報と前記画像が撮影された時間の時間情報とを含む画像情報が入力される画像情報入力部と、
    前記位置情報を用いて、基準となる場所から前記画像が撮影された場所までの基準距離を算出する基準距離算出部と、
    前記基準距離に対応した分類条件を用いて前記画像を分類する画像分類部と、
    前記時間情報から、前記画像の撮影時間と前記画像の直前に撮影された画像の撮影時間との時間間隔を算出する時間間隔算出部とを備え、
    前記分類条件は基準距離閾値と前記基準距離閾値に対応する時間閾値とを少なくとも含み、
    前記画像分類部は、
    分類した画像を格納する所定のグループを作成し、
    前記画像情報入力部から入力された個々の画像に対応する基準距離の中から基準距離の最大値を求め、
    画像分類に最適な分類条件を選択するための選択条件として前記基準距離の最大値とすることにより、前記基準距離の最大値から所定の分類条件を選択するとともに、
    前記画像情報入力部から入力された個々の画像について、所定の画像に対応する基準距離と前記基準距離閾値とを比較して、前記基準距離閾値に対応する時間閾値を選択し、
    前記所定の画像を分類する際に、前記時間間隔算出部における前記所定の画像での時間間隔が選択された時間閾値未満であるときは、前記所定の画像を前記所定の画像の直前に撮影された画像と同じグループに分類し、前記時間間隔算出部における前記所定の画像での時間間隔が選択された時間閾値以上であるときは、前記所定の画像の直前に撮影された画像と異なるグループを作成するとともに前記所定の画像を前記異なるグループに分類することを特徴とする画像分類装置。
  3. 前記画像は、静止画像および動画像の少なくとも一つを含む請求項1または2記載の画像分類装置。
  4. 前記画像分類部が前記画像を分類する際に用いるべき、複数の分類条件を記憶する分類条件記憶部を備えたことを特徴とする請求項1〜3の何れか一項に記載の画像分類装置。
  5. 前記画像が動画像である場合には、前記時間情報は、前記動画像の撮影が開始された時刻を示す請求項2記載の画像分類装置。
  6. 複数の地図情報を記憶する地図情報記憶部と、
    前記画像分類部で分類されたグループ毎に、前記グループに含まれる画像の前記位置情報から代表位置を算出する代表位置算出部と、
    前記グループに含まれる画像の前記位置情報から分布を算出する分布算出部と、
    前記代表位置に応じた所定の地図情報を前記地図情報記憶部から読み出すとともに、前記所定の地図情報における所定部分を前記分布の範囲に応じたコメントとして作成するコメント作成部とを備えたことを特徴とする請求項1〜5のいずれか一項に記載の画像分類装置。
  7. 前記地図情報は、住所情報、建物情報およびカレンダ情報からなる群から選ばれる少なくとも一つの情報を含み、前記コメント作成部は、前記群から選ばれる少なくとも一つの情報を用いて前記コメントを作成する請求項6記載の画像分類装置。
  8. 前記画像情報は、前記画像が撮影された時刻を示す時間情報を有し、前記コメント作成部は、前記地図情報および前記時間情報を用いて前記コメントを作成する請求項6または7記載の画像分類装置。
  9. 前記コメント作成部は、作成した前記コメントに基づいて、前記グループのファイル名およびフォルダ名の少なくとも一つを作成する請求項6〜請求項8の何れか一項に記載の画像分類装置。
  10. 前記代表位置算出部は、前記グループに含まれる画像の前記位置情報から形成される幾何学的領域の中心位置、重心位置および頂点位置の少なくとも一つにより、前記代表位置を算出する請求項6〜請求項9の何れか一項に記載の画像分類装置。
  11. 前記画像分類部の画像分類結果にもとづいて、前記画像を出力する出力部を備えたことを特徴とする請求項1〜請求項10の何れかに一項に記載の画像分類装置。
  12. 画像を撮影し、前記画像が撮影された撮影場所の位置情報と前記画像が撮影された撮影時間の時間情報の少なくとも1つを含む画像情報を出力する画像撮影装置と、
    請求項11に記載の画像分類装置と、
    前記画像分類装置から出力された前記画像を表示する表示装置とを備えたことを特徴とする画像分類システム。
  13. コンピュータに、
    画像が撮影された場所の位置情報と前記画像が撮影された時間の時間情報とを含む画像情報が入力される第1のステップと、
    前記位置情報を用いて、基準となる場所から前記画像が撮影された場所までの基準距離を算出する第2のステップと、
    前記基準距離に対応した分類条件を用いて前記画像を分類する第3のステップと、
    前記位置情報から、前記画像の撮影場所と前記画像の直前に撮影された画像の撮影場所との距離間隔を算出する第4のステップとを実行させるためのプログラムであって、
    前記分類条件は基準距離閾値と前記基準距離閾値に対応する距離間隔閾値とを少なくとも含み、
    前記第3のステップは、
    分類した画像を格納する所定のグループを作成し、
    前記画像情報入力部から入力された個々の画像に対応する基準距離の中から基準距離の最大値を求め、
    画像分類に最適な分類条件を選択するための選択条件として前記基準距離の最大値とすることにより、前記基準距離の最大値から所定の分類条件を選択するとともに、
    前記画像情報入力部から入力された個々の画像について、所定の画像に対応する基準距離と前記基準距離閾値とを比較して、前記基準距離閾値に対応する距離間隔閾値を選択し、
    前記所定の画像を分類する際に、前記第4のステップにおける前記所定の画像での距離間隔が選択された距離間隔閾値未満であるときは、前記所定の画像を前記所定の画像の直前に撮影された画像と同じグループに分類し、前記第4のステップにおける前記所定の画像での距離間隔が選択された距離間隔閾値以上であるときは、前記所定の画像の直前に撮影された画像と異なるグループを作成するとともに前記所定の画像を前記異なるグループに分類することを特徴とするプログラム。
  14. コンピュータに、
    画像が撮影された場所の位置情報と前記画像が撮影された時間の時間情報とを含む画像情報が入力される第1のステップと、
    前記位置情報を用いて、基準となる場所から前記画像が撮影された場所までの基準距離を算出する第2のステップと、
    前記基準距離に対応した分類条件を用いて前記画像を分類する第3のステップと、
    前記位置情報から、前記画像の撮影場所と前記画像の直前に撮影された画像の撮影場所との距離間隔を算出する第4のステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記分類条件は基準距離閾値と前記基準距離閾値に対応する距離間隔閾値とを少なくとも含み、
    前記第3のステップは、
    分類した画像を格納する所定のグループを作成し、
    前記画像情報入力部から入力された個々の画像に対応する基準距離の中から基準距離の最大値を求め、
    画像分類に最適な分類条件を選択するための選択条件として前記基準距離の最大値とすることにより、前記基準距離の最大値から所定の分類条件を選択するとともに、
    前記画像情報入力部から入力された個々の画像について、所定の画像に対応する基準距離と前記基準距離閾値とを比較して、前記基準距離閾値に対応する距離間隔閾値を選択し、
    前記所定の画像を分類する際に、前記第4のステップにおける前記所定の画像での距離間隔が選択された距離間隔閾値未満であるときは、前記所定の画像を前記所定の画像の直前に撮影された画像と同じグループに分類し、前記第4のステップにおける前記所定の画像での距離間隔が選択された距離間隔閾値以上であるときは、前記所定の画像の直前に撮影された画像と異なるグループを作成するとともに前記所定の画像を前記異なるグループに分類するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  15. コンピュータに、
    画像が撮影された場所の位置情報と前記画像が撮影された時間の時間情報とを含む画像情報が入力される第1のステップと、
    前記位置情報を用いて、基準となる場所から前記画像が撮影された場所までの基準距離を算出する第2のステップと、
    前記基準距離に対応した分類条件を用いて前記画像を分類する第3のステップと、
    前記時間情報から、前記画像の撮影時間と前記画像の直前に撮影された画像の撮影時間との時間間隔を算出する第4のステップとを実行させるためのプログラムであって、
    前記分類条件は基準距離閾値と前記基準距離閾値に対応する時間閾値とを少なくとも含み、
    前記第3のステップは、
    分類した画像を格納する所定のグループを作成し、
    前記画像情報入力部から入力された個々の画像に対応する基準距離の中から基準距離の最大値を求め、
    画像分類に最適な分類条件を選択するための選択条件として前記基準距離の最大値とすることにより、前記基準距離の最大値から所定の分類条件を選択するとともに、
    前記画像情報入力部から入力された個々の画像について、所定の画像に対応する基準距離と前記基準距離閾値とを比較して、前記基準距離閾値に対応する時間閾値を選択し、
    前記所定の画像を分類する際に、前記第4のステップにおける前記所定の画像での時間間隔が選択された時間閾値未満であるときは、前記所定の画像を前記所定の画像の直前に撮影された画像と同じグループに分類し、前記第4のステップにおける前記所定の画像での時間間隔が選択された時間閾値以上であるときは、前記所定の画像の直前に撮影された画像と異なるグループを作成するとともに前記所定の画像を前記異なるグループに分類することを特徴とするプログラム。
  16. コンピュータに、
    画像が撮影された場所の位置情報と前記画像が撮影された時間の時間情報とを含む画像情報が入力される第1のステップと、
    前記位置情報を用いて、基準となる場所から前記画像が撮影された場所までの基準距離を算出する第2のステップと、
    前記基準距離に対応した分類条件を用いて前記画像を分類する第3のステップと、
    前記時間情報から、前記画像の撮影時間と前記画像の直前に撮影された画像の撮影時間との時間間隔を算出する第4のステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記分類条件は基準距離閾値と前記基準距離閾値に対応する時間閾値とを少なくとも含み、
    前記第3のステップは、
    分類した画像を格納する所定のグループを作成し、
    前記画像情報入力部から入力された個々の画像に対応する基準距離の中から基準距離の最大値を求め、
    画像分類に最適な分類条件を選択するための選択条件として前記基準距離の最大値とすることにより、前記基準距離の最大値から所定の分類条件を選択するとともに、
    前記画像情報入力部から入力された個々の画像について、所定の画像に対応する基準距離と前記基準距離閾値とを比較して、前記基準距離閾値に対応する時間閾値を選択し、
    前記所定の画像を分類する際に、前記第4のステップにおける前記所定の画像での時間間隔が選択された時間閾値未満であるときは、前記所定の画像を前記所定の画像の直前に撮影された画像と同じグループに分類し、前記第4のステップにおける前記所定の画像での時間間隔が選択された時間閾値以上であるときは、前記所定の画像の直前に撮影された画像と異なるグループを作成するとともに前記所定の画像を前記異なるグループに分類するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  17. 前記画像分類部は、前記画像が撮影された撮影場所が所定の基準距離範囲に含まれる1以上の画像の識別子を、前記基準距離範囲に対応するリストに登録することを特徴とする請求項1〜請求項11の何れか一項に記載の画像分類装置。
  18. 前記画像分類部は、前記画像が撮影された撮影場所が所定の基準距離範囲に含まれる1以上の画像のデータファイルを、前記基準距離範囲に対応するフォルダに格納することを特徴とする請求項1〜請求項11の何れか一項に記載の画像分類装置。
  19. 前記画像分類部は、前記画像が撮影された場所が所定の基準距離範囲に含まれる1以上の画像を、他の画像と区分可能に前記出力部に出力することを特徴とする請求項11に記載の画像分類装置。
JP2003414481A 2003-12-12 2003-12-12 画像分類装置、画像分類システム、画像分類に関するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP4457660B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003414481A JP4457660B2 (ja) 2003-12-12 2003-12-12 画像分類装置、画像分類システム、画像分類に関するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US11/001,071 US7991234B2 (en) 2003-12-12 2004-12-02 Apparatus and method for image-classifying, and recording medium storing computer-readable program for the same
CNB2004101007108A CN100414545C (zh) 2003-12-12 2004-12-10 图像分类装置、方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003414481A JP4457660B2 (ja) 2003-12-12 2003-12-12 画像分類装置、画像分類システム、画像分類に関するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (3)

Publication Number Publication Date
JP2005174060A JP2005174060A (ja) 2005-06-30
JP2005174060A5 JP2005174060A5 (ja) 2006-11-02
JP4457660B2 true JP4457660B2 (ja) 2010-04-28

Family

ID=34650535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003414481A Expired - Fee Related JP4457660B2 (ja) 2003-12-12 2003-12-12 画像分類装置、画像分類システム、画像分類に関するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (3)

Country Link
US (1) US7991234B2 (ja)
JP (1) JP4457660B2 (ja)
CN (1) CN100414545C (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065368A (ja) * 2004-08-24 2006-03-09 Sony Corp 画像表示装置,画像表示方法,およびコンピュータプログラム
DE102005043599A1 (de) * 2005-09-12 2007-03-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aufbereitung von Kennzeichnungsinformationen zur Kennzeichnung von aufgezeichneten Informationseinheiten
US7529772B2 (en) * 2005-09-27 2009-05-05 Scenera Technologies, Llc Method and system for associating user comments to a scene captured by a digital imaging device
JP4577173B2 (ja) * 2005-09-29 2010-11-10 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4232774B2 (ja) 2005-11-02 2009-03-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7663671B2 (en) * 2005-11-22 2010-02-16 Eastman Kodak Company Location based image classification with map segmentation
JP4996092B2 (ja) * 2005-12-09 2012-08-08 オリンパスイメージング株式会社 カメラ
US8116573B2 (en) * 2006-03-01 2012-02-14 Fujifilm Corporation Category weight setting apparatus and method, image weight setting apparatus and method, category abnormality setting apparatus and method, and programs therefor
JP4901258B2 (ja) * 2006-03-28 2012-03-21 オリンパスイメージング株式会社 カメラ及びデータ表示方法
US8639028B2 (en) * 2006-03-30 2014-01-28 Adobe Systems Incorporated Automatic stacking based on time proximity and visual similarity
US20070284450A1 (en) * 2006-06-07 2007-12-13 Sony Ericsson Mobile Communications Ab Image handling
US20080221791A1 (en) * 2007-03-08 2008-09-11 Predrag Sukovic Landmark identifier
JP4685049B2 (ja) * 2007-03-12 2011-05-18 株式会社デンソーアイティーラボラトリ 地図表示装置、地図表示方法およびプログラム
JP4412342B2 (ja) * 2007-03-30 2010-02-10 ソニー株式会社 コンテンツ管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP4577580B2 (ja) * 2007-04-10 2010-11-10 ソニー株式会社 位置合わせ方法、位置合わせ装置及びプログラム
US8094948B2 (en) * 2007-04-27 2012-01-10 The Regents Of The University Of California Photo classification using optical parameters of camera from EXIF metadata
CN101344927B (zh) * 2007-07-12 2013-04-17 佳能株式会社 图像分类方法和设备
JP5156335B2 (ja) * 2007-11-01 2013-03-06 キヤノン株式会社 画像表示装置及び画像表示方法、プログラム
JP2009116795A (ja) * 2007-11-09 2009-05-28 Nikon Corp 情報検索装置、電子カメラ、情報検索方法
JP5080524B2 (ja) 2008-03-26 2012-11-21 富士フイルム株式会社 画像シェアリング用保存装置、画像シェアリングおよび方法
US8055081B2 (en) * 2008-04-14 2011-11-08 Eastman Kodak Company Image classification using capture-location-sequence information
US8023252B2 (en) 2008-09-22 2011-09-20 International Business Machines Corporation Portable electronic device comprising an integrated lock mechanism
JP5235611B2 (ja) * 2008-10-27 2013-07-10 キヤノン株式会社 データ処理装置及びデータ処理方法
JP5349004B2 (ja) * 2008-10-27 2013-11-20 Kddi株式会社 コンテンツ検索システムおよびコンテンツ検索プログラム
JP5489660B2 (ja) * 2009-02-05 2014-05-14 キヤノン株式会社 画像管理装置およびその制御方法およびプログラム
CN102483763B (zh) * 2009-11-04 2013-09-25 松下电器产业株式会社 信息分类装置、信息分类方法及其程序
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US20110169982A1 (en) * 2010-01-13 2011-07-14 Canon Kabushiki Kaisha Image management apparatus, method of controlling the same, and storage medium storing program therefor
CN102959540B (zh) * 2010-05-31 2017-03-08 松下知识产权经营株式会社 内容分类系统、内容生成分类装置、内容分类装置、分类方法
JP5495998B2 (ja) * 2010-07-15 2014-05-21 オリンパス株式会社 画像処理装置及びプログラム
US8634662B2 (en) * 2010-08-25 2014-01-21 Apple Inc. Detecting recurring events in consumer image collections
US8793204B2 (en) * 2010-10-01 2014-07-29 Panasonic Corporation Classification device and classification method
JP5202605B2 (ja) * 2010-11-11 2013-06-05 株式会社バッファロー コンテンツデータ管理装置、コンテンツデータ管理システム、コンテンツデータ管理プログラム、コンテンツデータ管理方法
JP5277230B2 (ja) * 2010-11-11 2013-08-28 株式会社バッファロー タグ情報管理装置、タグ情報管理システム、タグ情報管理プログラム、タグ情報管理方法
JP5879697B2 (ja) * 2011-02-25 2016-03-08 ソニー株式会社 プログラム、情報処理装置および情報処理方法
JP5517977B2 (ja) * 2011-03-11 2014-06-11 三菱電機株式会社 映像撮影位置特定装置及びこれを用いた映像表示システム
AU2011202609B2 (en) * 2011-05-24 2013-05-16 Canon Kabushiki Kaisha Image clustering method
JP5891711B2 (ja) * 2011-11-01 2016-03-23 リコーイメージング株式会社 データファイル整理装置、システム、及び方法、並びに画像記録装置
KR101969583B1 (ko) 2012-01-10 2019-08-20 삼성전자주식회사 컨텐츠 관리 방법과 장치 및 기록 매체
JP5932354B2 (ja) * 2012-01-20 2016-06-08 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
JP2013195298A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 測位装置、測位方法及びプログラム
JP5772908B2 (ja) * 2012-09-10 2015-09-02 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法およびプログラム
CN103714111A (zh) * 2012-10-05 2014-04-09 宏达国际电子股份有限公司 电子装置及多媒体文件排序方法
CN104063395A (zh) * 2013-03-21 2014-09-24 蒋亮 一种生成电子照片关系链的方法和系统
US9202143B2 (en) 2013-04-29 2015-12-01 Microsoft Technology Licensing, Llc Automatic photo grouping by events
KR101470904B1 (ko) * 2013-11-20 2014-12-09 김유식 동영상 제공 방법 및 동영상 제공 시스템
CN104866500B (zh) * 2014-02-25 2021-10-15 腾讯科技(深圳)有限公司 图片分类展示方法和装置
TWI528268B (zh) * 2014-03-12 2016-04-01 緯創資通股份有限公司 照片群組產生及操作方法以及使用該方法的裝置
KR20150124231A (ko) * 2014-04-28 2015-11-05 삼성전자주식회사 미디어 수집장치 및 방법
US20150331930A1 (en) * 2014-05-16 2015-11-19 Here Global B.V. Method and apparatus for classification of media based on metadata
US10216765B2 (en) * 2014-10-28 2019-02-26 Here Global B.V. Image based routing and confirmation
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
US20170357644A1 (en) 2016-06-12 2017-12-14 Apple Inc. Notable moments in a collection of digital assets
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
CN117193617A (zh) 2016-09-23 2023-12-08 苹果公司 头像创建和编辑
CN110383849A (zh) * 2017-10-24 2019-10-25 松下知识产权经营株式会社 内容管理设备、内容管理系统、以及控制方法
US10204124B1 (en) * 2017-12-20 2019-02-12 Merck Sharp & Dohme Corp. Database indexing and processing
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
US11132399B1 (en) * 2020-03-25 2021-09-28 Snap Inc. Summary generation based on trip
CN114339038B (zh) * 2021-12-24 2023-04-18 珠海格力电器股份有限公司 目标对象的监控方法、装置及系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5057607A (en) * 1990-06-08 1991-10-15 Eli Lilly And Company Enantiomerically selective biocatalyzed acylation
US5966698A (en) * 1992-10-15 1999-10-12 Pollin; Robert E. Automated payment system and method
JP3906938B2 (ja) * 1997-02-18 2007-04-18 富士フイルム株式会社 画像再生方法及び画像データ管理方法
JP3246384B2 (ja) 1997-03-13 2002-01-15 株式会社日立製作所 画像記録装置および画像記録方法
US6606411B1 (en) * 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
JP3773090B2 (ja) 1998-11-18 2006-05-10 カシオ計算機株式会社 撮影画像検索装置、電子カメラ装置及び撮影画像検索方法
US6819356B1 (en) * 1998-11-18 2004-11-16 Casio Computer Co., Ltd. Image search method in electronic still camera with GPS reception function
US6452612B1 (en) * 1998-12-18 2002-09-17 Parkervision, Inc. Real time video production system and method
JP4017804B2 (ja) 2000-02-18 2007-12-05 富士フイルム株式会社 画像撮影装置、画像処理装置、及び画像管理方法
JP2001319230A (ja) * 2000-05-09 2001-11-16 Konica Corp 電子画像の仕分け方法及びフォトサービス
US6882350B2 (en) * 2000-08-07 2005-04-19 Sony Corporation Information processing apparatus, information processing method, program storage medium and program
JP3982605B2 (ja) * 2000-09-29 2007-09-26 カシオ計算機株式会社 撮影画像管理装置、撮影画像管理方法及び撮影画像管理プログラム
JP4215386B2 (ja) 2000-12-15 2009-01-28 三菱電機株式会社 類似オブジェクト検索方法及び類似オブジェクト検索装置
US6977679B2 (en) * 2001-04-03 2005-12-20 Hewlett-Packard Development Company, L.P. Camera meta-data for content categorization
JP2002352250A (ja) * 2001-05-15 2002-12-06 Internatl Business Mach Corp <Ibm> チームプレーの解析方法、チームプレーの表示方法、チームプレー解析装置、プログラム、および記憶媒体
JP4187954B2 (ja) 2001-08-15 2008-11-26 富士フイルム株式会社 電子アルバム装置と電子アルバム作成方法
JP2003199028A (ja) * 2001-12-27 2003-07-11 Matsushita Electric Ind Co Ltd 電子アルバム装置
JP2003281163A (ja) * 2002-03-26 2003-10-03 Canon Inc 画像処理装置及び画像処理方法、記憶媒体
JP4213447B2 (ja) 2002-09-27 2009-01-21 富士フイルム株式会社 アルバム作成方法および装置並びにプログラム
JP2005039359A (ja) 2003-07-16 2005-02-10 Konica Minolta Photo Imaging Inc 画像再生装置及びプログラム

Also Published As

Publication number Publication date
CN100414545C (zh) 2008-08-27
US20050128305A1 (en) 2005-06-16
CN1627299A (zh) 2005-06-15
US7991234B2 (en) 2011-08-02
JP2005174060A (ja) 2005-06-30

Similar Documents

Publication Publication Date Title
JP4457660B2 (ja) 画像分類装置、画像分類システム、画像分類に関するプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US9282250B2 (en) Photography apparatus, control method, program, and information processing device
JP4545828B2 (ja) 画像検索装置及び画像検索方法
JP4810420B2 (ja) 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体
JP6638132B2 (ja) 地域アルバム生成サーバ及びその生成方法
KR100882025B1 (ko) 지피에스 이미지 검색 방법, 지리적 위치 서비스 기반의지피에스 이미지 검색 방법, 블로그 서비스 기반의지피에스 이미지 검색 방법 및 지역별 블로그 서비스 제공방법
US9277089B2 (en) Method to control image processing apparatus, image processing apparatus, and image file
JP5708278B2 (ja) 情報処理装置および情報処理方法
WO2007013432A1 (ja) 画像データ管理装置および画像データ管理方法
CN105653676A (zh) 一种景点推荐方法及系统
JP2011188171A (ja) デジタル写真データ処理装置、デジタル写真データサーバ、デジタル写真データ処理システムおよびデジタル写真データ処理方法
JP5072464B2 (ja) 画像提供装置、画像提供方法、画像提供プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2012190244A (ja) 情報提供方法及び情報提供装置
JP2014182650A (ja) 画像共有装置、画像共有装置の制御方法、およびプログラム
JP6179315B2 (ja) 情報処理装置、画像処理システム、情報処理装置における画像処理方法及びプログラム
JP2016224658A (ja) 電子アルバム作成装置
JP2011095867A (ja) 見所スポット配信方法および装置
KR102228366B1 (ko) 여행 정보 관리를 위한 장치 및 방법
JP6436191B2 (ja) サーバ装置、サーバ装置を用いた情報処理方法及びプログラム
JP6028605B2 (ja) 情報処理装置、情報処理装置におけるデータ付与方法及びプログラム
JP6222313B2 (ja) 情報処理装置、情報処理装置におけるデータ付与方法及びプログラム
JP5691680B2 (ja) 情報処理方法、プログラム及び装置
TW201941075A (zh) 快速影像排序方法
TW201413477A (zh) 數位影像命名方法及數位影像記錄裝置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060915

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20061012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090630

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090819

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090915

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091204

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100201

R151 Written notification of patent or utility model registration

Ref document number: 4457660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140219

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees