JP4189811B2 - 画像検出装置、画像検出方法及び画像検出用プログラム - Google Patents

画像検出装置、画像検出方法及び画像検出用プログラム Download PDF

Info

Publication number
JP4189811B2
JP4189811B2 JP2003340339A JP2003340339A JP4189811B2 JP 4189811 B2 JP4189811 B2 JP 4189811B2 JP 2003340339 A JP2003340339 A JP 2003340339A JP 2003340339 A JP2003340339 A JP 2003340339A JP 4189811 B2 JP4189811 B2 JP 4189811B2
Authority
JP
Japan
Prior art keywords
group
image data
face
voice
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003340339A
Other languages
English (en)
Other versions
JP2005107867A (ja
Inventor
静香 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2003340339A priority Critical patent/JP4189811B2/ja
Publication of JP2005107867A publication Critical patent/JP2005107867A/ja
Application granted granted Critical
Publication of JP4189811B2 publication Critical patent/JP4189811B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、蓄積された複数の画像データから検索条件として設定されている顔が属するフレームグループ等を検出するための画像検出装置、画像検出方法及び画像検出用プログラムに関する。
近年、デジタル技術の発達に伴い、デジタルスティルカメラやデジタルビデオカメラにより、静止画像データや動画像データはデジタルデータの形式で、保存や伝送がされるようになっていきている。そして、デジタルスティルカメラやデジタルビデオカメラで撮影したデジタル画像データをパーソナルコンピュータに蓄積し、蓄積されたデジタル画像データをビューアー等で画面に表示することが一般に楽しまれるようになってきた。
なお、本発明に関連する先行技術文献としては以下のものがある。
特開平07−311833号公報 特開2001−283224号公報 特開平06−231254号公報 特開平05−174147号公報 特開2003−016454号公報 特開2002−150293号公報 特開平11−282492号公報 特開2000−115691号公報 特開平11−122567号公報 特開2002−123814号公報 特開2000−222381号公報
ユーザがパーソナルコンピュータに蓄積した複数のマルチメディアファイル(動画像データ、静止画像データ、音楽)を整理・閲覧する方法として、
(1)ファイルをフォルダ単位などに分類して整理し、サムネイルなどで表示して閲覧する方法と、
(2)ファイルをデータベース化し、例えば電子アルバムのような形で整理し、閲覧する方法と、
がある。
(1)の方法は、整理の操作が手軽であるが、分類方法が固定的でユーザが所望する通りに閲覧できない場合がある。(2)の方法は、ユーザの所望する通りに閲覧しやすいが、整理する際の操作が煩雑であり、操作の手軽さと閲覧性の両立が課題である。
また、従来の電子アルバムは固定的であるため、ユーザがデータを整理する際にいくつかのストーリを想定し、それぞれのストーリ毎に固定の電子アルバムを作る必要があり、操作が煩雑になる。例えば、子供の成長記録と、家族旅行の記録という2つのストーリを想定した場合、特定の人物の時系列による整理方法と、特定のイベント(および場所、時間など)による整理方法の2通りに対し、ユーザが1つずつデータを整理してアルバムを作る必要がる。
更に、従来の電子アルバムでは、ユーザが閲覧する際に、閲覧する観点として或るストーリを想定した場合、予めそのストーリに合致するように電子アルバムがデータベース化されていない限り、そのような閲覧の仕方は出来ない。例えば、あるアルバムが旅行の記録を時系列で整理してあったとすると、それを場所毎に分類して閲覧したり、イベント毎に分類して閲覧したりといった見方はできない。
発明は、蓄積された複数の画像から検索条件として設定されている顔が属するフレームグループ等を検出するための画像検出装置、画像検出方法及び画像検出用プログラムを提供することを目的とする。
本発明によれば、記憶手段に記憶されている動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を有する第1のフレームグループと、前記記憶手段に記憶されている前記動画像データのフレームのうち前記検索条件として設定されている前記顔が属する顔グループの識別情報を有する前記第1のフレームグループとは異なる位置にある第2のフレームグループとの間の時間を所定のしきい値と比較する比較手段と、前記比較手段による比較の結果、前記時間が前記所定のしきい値以下の場合には、前記第1のフレームグループと前記第2のフレームグループの間にある全フレームを前記顔グループが属するフレーム群と認識し前記時間が前記所定のしきい値を超える場合には、前記第1のフレームグループと前記第2のフレームグループの間にある全フレームを前記顔グループが属さないフレーム群と認識する認識抽出手段と、を備えることを特徴とする画像検出装置が提供される。
また、本発明によれば、記憶手段に記憶されている動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を有する第1のフレームグループと、前記記憶手段に記憶されている前記動画像データのフレームのうち前記検索条件として設定されている前記顔が属する顔グループの識別情報を有する前記第1のフレームグループとは異なる位置にある第2のフレームグループとの間の時間を所定のしきい値と比較手段により比較する比較ステップと、前記比較手段による比較の結果、前記時間が前記所定のしきい値以下の場合には、前記第1のフレームグループと前記第2のフレームグループの間にある全フレームを前記顔グループが属するフレーム群と認識し前記時間が前記所定のしきい値を超える場合には、前記第1のフレームグループと前記第2のフレームグループの間にある全フレームを前記顔グループが属さないフレーム群と認識する認識抽出ステップと、を備えることを特徴とする画像検出方法が提供される。
更に、本発明によれば、記憶手段に記憶されている動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を有する第1のフレームグループと、前記記憶手段に記憶されている前記動画像データのフレームのうち前記検索条件として設定されている前記顔が属する顔グループの識別情報を有する前記第1のフレームグループとは異なる位置にある第2のフレームグループとの間の時間を所定のしきい値と比較する比較手段と、前記比較手段による比較の結果、前記時間が前記所定のしきい値以下の場合には、前記第1のフレームグループと前記第2のフレームグループの間にある全フレームを前記顔グループが属するフレーム群と認識し前記時間が前記所定のしきい値を超える場合には、前記第1のフレームグループと前記第2のフレームグループの間にある全フレームを前記顔グループが属さないフレーム群と認識する認識抽出手段と、
を備えることを特徴とする画像検出装置としてコンピュータを機能させる画像検出用プログラムが提供される。
発明によれば、検索条件として利用される顔グループに含まれる顔が撮影されている第1のフレームグループと検索条件として利用される顔グループに含まれる顔が撮影されている第2のフレームグループとの間の時間がしきい値以下である場合には、それらの間のフレームを顔が撮影されているフレームの近傍のフレームとして扱うので、しきい値を適切に設定することにより、必要時に歯抜けのない一まとまりの動画を得ることができ、不要時には、それらのフレームは分離され、不要に繋がることがない。
以下、図面を参照して本発明の実施形態について詳細に説明する。
図1は、本発明の実施形態によるアルバム作成装置が行うアルバム作成方法を説明するための概念図である。図1を参照すると、画像データ群101には、複数の画像データ102が蓄積されている。各画像データ102は、静止画像データ又は動画像データである。また、各画像データ102は、音声データを伴っていても良い。画像データ群101には、ユーザにより逐次画像データ102が追加されていく。
本実施形態によるアルバム作成方法では、画像データ群101から画像データ102を抽出するための検索条件に従って、画像データが抽出される。例えば、第1の検索条件に従って抽出した場合には、符号103−1の枠で囲まれる画像データ102が抽出され、第2の検索条件に従って抽出した場合には、符号103−2の枠で囲まれる画像データ102が抽出され、第3の検索条件に従って抽出した場合には、符号103−3で囲まれる画像データが抽出される。図1から明らかなように、ある検索条件により抽出された画像データの一部と他の検索条件により抽出された画像データの一部が重複する場合もあり、ある検索条件により抽出された画像データの全部が他の検索条件により抽出された画像データの一部である場合もある。また、画像データ群101には逐次画像データ102が追加されていくので、同一の検索条件を用いた場合であっても、後に抽出したときに、前に抽出したときに比べ、多くの画像データが抽出される場合もある。
抽出された画像データは、例えば、サムネイル等の形態で一覧表示され、ユーザが所望のサムネイルを選択すると、そのサムネイルの基となった画像データが例えば全画面表示される。
このようにして、画像データ群101に特定の分類に従って画像データを追加するようなことをしなくても、検索条件を適宜作成することにより、必要な画像データを含むアルバムを作成することができる。
図2に画像データファイルのフォーマット図を示す。図2を参照すると、画像データファイルは、撮影条件、撮影日時、撮影場所、顔グループ識別情報、声グループ識別情報、画像データ及び音声データを含む。撮影条件は、絞り、シャッタースピード、フラッシュのON/OFF、撮像素子の感度等を含む。撮影日時は、年月日及び時分秒より構成される。撮影場所は、経度、緯度より構成される。また、撮影場所は高度を含んでいても良い。撮影場所は、カメラが内蔵するGPS受信機又はカメラに接続されるGPS受信機が検出する。また、日時は、カメラが内蔵する時計から得ても良いが、GPS受信機から得ても良い。顔グループ識別情報は、画像データ群101に含まれる画像データに含まれる顔を1又は2以上の顔グループに分類したときの各顔グループの識別情報である。声グループ識別情報は、画像データ群101に含まれる画像データが伴う1又は2以上の声グループに分類したときの各声グループの識別情報である。画像データは、静止画像データ又は動画像データであり、静止画像データの場合であれば、例えばJPEG(Joint Photographic Experts Group)形式、TIFF(Tagged Image File Format)形式等のデータ形式を有し、動画像データの場合であれば、MPEG(Moving Picture Experts Group)1、MPEG2、MPEG4等のデータ形式を有する。音声データは、撮影時に録音された音声データ又はアフレコされた音声データである。静止画像データの場合には、顔グループ識別情報、声グループ識別情報、画像データ及び音声データは1組のみであるが、動画像データの場合には、顔グループ識別情報、声グループ識別情報、画像データ及び音声データの1組は1フレームに対応し、このような組が動画像データのフレーム数だけ繰り返される。従って、フレームによって、顔グループ識別情報、声グループ識別情報、画像データ及び音声データは異なる。また、動画像データの場合には、画像データの先頭にいずれかのフレームに現れた顔グループ識別情報及び声グループ識別情報を挿入しても良い。こうすることにより、動画像データの全フレーム又は一部のフレームを抽出する場合に、検索が高速化される。また、顔グループ識別情報と声グループ識別情報を画像データとは別の識別情報ファイルに含め、画像データと識別情報ファイルが関連付けられるようにしても良い。また、顔グループ識別情報とその顔グループ識別情報により示される顔グループの顔を含む画像データの識別情報を1対多の関係で保持するファイル及び声グループ識別情報とその声グループ識別情報により示される声グループの声を含む画像データの識別情報を1対多の関係で保持するファイルを設けても良い。
検索条件としては、撮影日時、撮影場所、画像データに画像が含まれる人物若しくは画像データが伴う音声に含まれる話し声を出す人物又はこれらの組合せが用いられる。
図3に本発明の実施形態によるアルバム作成装置の主要部の構成を示す。図3を参照すると、本発明の実施形態によるアルバム作成装置は、画像データ群101、画像データ入力部111、画像データ書込部112、表示部113、操作入力部114、検索条件生成部115及び画像データ抽出部116を備える。
画像データ群101は、例えば、ハードディスクドライブに存在し、前述したように、画像データを蓄積する。画像データ入力部111は、カメラで撮影された画像データを入力する。具体的には、画像データ入力部111は、例えば、USB若しくはIEEE1394のリンクを介してカメラから画像データを入力するインターフェース部又はフラッシュメモリから画像データを入力するカードリーダ等である。画像データ書込部112は、画像データ入力部111が入力した画像データを画像データ群101に加える。表示部113は、ユーザが対話形式で検索条件を入力するための画面を表示する。また、表示部113は、検索条件に従って抽出された画像データを表示する。操作入力部114は、表示部113が表示する画面上でユーザが入力した検索条件を生成するために必要なデータを受け付ける。検索条件生成部115は、操作入力部114が入力したデータ及びそのデータが入力された際に表示部113が表示していた画面を基に検索条件を生成する。画像データ抽出部116は、検索条件生成部115が生成した検索条件を基に、画像データ群101からその検索条件に合ったデータを抽出する。
[実施形態1]
次に、日時の範囲を検索条件として画像データを抽出する第1の場合について説明する。
図4に示すような、日時の範囲を指定するための対話画面を表示し、ユーザによる開始日及び終了日並びに、必要ならば、開始時刻及び終了時刻の入力を受け付け、入力された日時の範囲を検索条件として作成し、その検索条件に従って画像データ群101から画像データを抽出する。
[実施形態2]
次に、日時の範囲を検索条件として画像データを抽出する第2の場合について説明する。
図5に示すような、日時の範囲を指定するための対話画面を表示する。図5に示す対話画面においては、表示する日時の範囲のスケールを指定するためのボタン群121、現在表示している範囲を示す文字列122、現在表示している範囲に対応して定められた区分毎の画像データ数の分布を示すグラフ123、分布のかたまり毎の代表画面のサムネイル124及び日時の範囲を確定するための確定ボタン125が表示されている。図5の例においては、2002年の一年間の範囲が表示されている。この状態で、例えば、7月と8月を選択し、月のボタン121−1を押すと、図5に示す画面は、図6に示す画面に変化する。図6に示す対話画面においては、7月と8月の各日毎の画像データ数を表すヒストグラム123が表示され、また、各日の代表画面のサムネイル124が表示される。図6の画面上で、例えば、2002年8月14日〜2002年8月18日を選択し、確定ボタン125を押すと、2002年8月14日0時0分0秒〜2002年8月18日23時59分59秒が日時の範囲として確定する。
表示する日時の範囲が日や時である場合には、日付のみならず時刻も図6に示す画面と同様な画面で指定できるようにする。また、別の画面を用いて、表示する日時の範囲が年や月である場合にも、日付のみならず時刻も指定できるようにしても良い。
このようにして確定した日時の範囲を検索条件として画像データの抽出が行われる。
[実施形態3]
次に、日時の範囲を検索条件として画像データを抽出する第3の場合について図7を参照して説明する。
日時の範囲を指定するための自然言語を入力するための対話画面131を表示し、ユーザによる入力を待つ。ここで、ユーザは、例えば、「今年の夏休み」、「去年のゴールデンウィーク」又は「一昨年の父の日」といった、日時の範囲を指定するための自然言語を入力する。カレンダ132には、何年何月何日が何の日であるのかという情報が記録されている。検索条件生成部115は、日時の範囲を指定するための自然言語を形態素解析等を利用して解析し、解析して得られた結果とカレンダ132を基に、検索条件として利用する日時の範囲を生成する。例えば、「今年の夏休み」からは、検索条件として利用する日時の範囲として2003年7月20日から2003年8月31日を生成し、「去年のゴールデンウィーク」からは、検索条件として利用する日時の範囲として2002年4月27日から2002年5月6日を生成し、「一昨年の父の日」からは、検索条件として利用する日時の範囲として2001年6月17日を生成する。夏休みの範囲が不明である場合には、複数の日時の範囲を生成して、ユーザに選択させたり、問合せの画面を表示して、ユーザが指定するようにしても良い。
[実施形態4]
次に、日時の範囲を検索条件として画像データを抽出する第4の場合について図8を参照して説明する。
図8に示すように撮影日が分布している場合に、ひとかたまりの分布を含む日時の範囲を1つの日時の範囲の検索条件として生成する。例えば、画像データ数が1以上ある撮影日を抽出し、各撮影日について、隣接する撮影日との間隔がn日以内であれば、隣接する撮影日と共にひとかたまりを成すと判定し、それを抽出された撮影日について、繰り返す。このようにして、間隔をn日としたときのひとかたまりの日時の範囲が1又は複数作成される。そして、nの値を1〜Nの範囲で変化させて前述の繰返しを更に繰り返す。こうすることにより、図8の両矢印で示すような日時の範囲を生成することができる。図8に示す例において、7月下旬から8月にかけての4つのかたまりは、nの値を小さくしたときのものであり、7月下旬から8月にかけての範囲の広い1つのからまりはnの値を大きくしたときのものである。各日時の範囲は、例えば、その範囲の最初の日時及びその範囲の最後の日時により表し、それらの日時の範囲を一覧表示し、ユーザが選択できるようにする。一覧表示には、代表画像データのサムネイルを付加しても良い。そして、ユーザが選択した日時の範囲を検索条件として画像データを抽出する。
[実施形態5]
実施形態4においては、日時の範囲をその範囲の最初の日時及びその範囲の最後の日時により表すこととしたが、こうすると、ユーザは直感的にその日時の範囲を把握することが困難となるおそれがある。そこで、カレンダ132を参照し、日時の範囲が重複するカレンダ132上の事象を日時の範囲を表すものとする。例えば、日時の範囲が2003年1月1日〜1月3日であれば、「2003年お正月」がその日時の範囲を表すようにし、日時の範囲が2003年7月20日〜2003年8月31日であれば、「2003年夏休み」がその日時の範囲を表すようにする。
[実施形態6]
次に、場所の範囲を検索条件として画像データを抽出する第1の場合について図9及び10を参照して説明する。
例えば、日本全国が指定されたならば、図9に示すような日本全国の都道府県別の地図を含む画面を表示する。この日本全国の都道府県別の地図において、都道府県別の画像データの枚数に応じた色彩で各都道府県を着色する。或いは、枚数を数字で表示しても良い。或いは、画像データが存在する場所を記号で表示しても良い。こうすることにより、ユーザは、都道府県別の画像データ数を把握することが可能となる。図9に示す画面には、縮小ボタン141、確定ボタン142、拡大ボタン143も表示される。ユーザが縮小ボタン141を押したならば、世界地図を表示する。ユーザが、例えば、東京都を選択し、確定ボタン142を押したならば、東京都を場所の範囲として確定する。ユーザが、例えば、東京都を選択し、拡大ボタン143を押したならば、図10に示すような東京都の市町村区別の地図を表示する。この東京都の市町村区別の地図においても、市町村区別の画像データの枚数に応じた色彩で市町村区を着色する。或いは、枚数を数字で表示しても良い。図9に示す画面の場合と同様に、ユーザが縮小ボタン141を押したならば、日本全国の地図を表示する。ユーザが、例えば、港区を選択し、確定ボタン142を押したならば、港区を場所の範囲として確定する。ユーザが、例えば、港区を選択し、拡大ボタン143を押したならば、港区の町別の地図(図示せず)を表示する。また、例えば、千葉県の市町村別の地図を表示しているときに、ユーザが浦安市を選択し、拡大ボタン143を押したならば、浦安市の町別の地図を表示し、この地図を表示しているときにユーザが東京ディズニーランドを選択し、拡大ボタン143を押したならば、東京ディズニーランドのアトラクション、エンターテインメント、レストラン別の地図を表示し、この地図が表示されているときにユーザがビッグサンダーマウンテンを選択し、確定ボタン142を押したならば、ビッグサンダーマウンテンを場所の範囲として確定する。
また、日本全国の都道府県別の地図において、都道府県別に代表画像データのサムネイルを表示しても良いし、東京都の市町村区別の地図において、市町村区別に代表画像データのサムネイルを表示しても良いし、東京ディズニーランドのアトラクション、エンターテインメント及びレストラン別の地図において、アトラクション、エンターテインメント及びレストラン別に代表画像データのサムネイルを表示しても良い。
[実施形態7]
次に、場所の範囲を検索条件として画像データを抽出する第2の場合について説明する。
例えば、関東が選択されたならば、関東の鉄道地図(図示せず)を表示する。この鉄道地図において、各鉄道路線別の画像データの枚数に応じた色彩で各鉄道路線の線の色や模様を変化させても良い。或いは、枚数を数字で表しても良い。また、各鉄道路線別に代表画像データのサムネイルを表示しても良い。この鉄道地図において、ユーザが、例えば、東武東上線を選択したならば、東武東上線の界隈を場所の範囲として確定する。鉄道路線の界隈は、例えば、鉄道路線から所定距離内の範囲とする。また、鉄道路線を選択した後に、その鉄道路線の全ての駅を表示し、場所の範囲として用いる区間をその区間の両端の駅により指定するようにしてもよい。
また、例えば、JRバス関東が選択されたならば、JRバス関東のバス路線の一覧表を表示する。この一覧表には、バス路線の経路から求めたバス路線毎の画像データの枚数を数字、色彩等で表したものを付記しても良く、代表画像データのサムネイルを付記しても良い。この一覧表で、ユーザが、例えば、ニュードリーム京都号を選択したならば、ニュードリーム京都号の路線の界隈を場所の範囲として確定する。はとバス等についても同様である。
更に、例えば、高速道路が選択されたならば、高速道路の一覧表を表示する。この一覧表には、高速道路の経路から求めた高速道路毎の画像データの枚数を数字、色彩等で表したものを付記しても良く、代表画像データのサムネイルを付記しても良い。この一覧表で、ユーザが、例えば、東名高速道路を選択したならば、東名高速道路の経路の界隈を場所の範囲として確定する。また、高速道路を選択した後に、その高速道路の全てのインターチェンジを表示し、場所の範囲として用いる区間をその区間の両端のインターチェンジにより指定するようにしても良い。
更に、例えば、カーフェリーが選択されたならば、カーフェリーの一覧表を表示する。この一覧表には、カーフェリーの航路から求めたカーフェリー毎の画像データの枚数を数字、色彩等で表したものを付記しても良く、代表画像データのサムネイルを付記しても良い。この一覧表で、ユーザが、例えば、サンフラワー号を選択したならば、サンフラワー号の航路の界隈を場所の範囲として確定する。また、カーフェリーを選択した後に、そのカーフェリーが停泊する全ての港を表示し、場所の範囲として用いる区間をその区間の両端の港により指定するようにしても良い。
[実施形態8]
次に、場所の範囲を検索条件として画像データを抽出する第3の場合について図11を参照して説明する。
場所の範囲を指定するための自然言語を入力するための対話画面151を表示し、ユーザによる入力を待つ。ここで、ユーザは、例えば、「九州」、「鹿児島県」又は「桜島」といった、場所の範囲を指定するための自然言語を入力する。地図152には、どの位置がどの地方に含まれているのか、どの位置がどの都道府県に含まれているのか、どの位置がどの市町村区に含まれているのか、どの位置がどの地名に含まれているのか、どの位置が、どの鉄道路線、どのバス路線、どの道路又はどの航路の界隈であるのかという情報が記録されている。検索条件生成部115は、場所の範囲を指定するための自然言語を形態素解析等を利用して解析し、解析して得られた結果と地図152を基に、検索条件として利用する場所の範囲を生成する。例えば、「九州」からは、検索条件として利用する場所の範囲として九州全土及び近隣の島の全範囲を生成し、「鹿児島県」からは、検索条件として利用する場所の範囲として鹿児島県の全範囲を生成し、「桜島」からは、検索条件として利用する場所の範囲として桜島の全範囲を生成する。
[実施形態9]
次に、場所の範囲を検索条件として画像データを抽出する第4の場合について図12を参照して説明する。
図12の黒点161で示すように撮影場所が分布している場合に、ひとかたまりの分布を含む場所の範囲を1つの場所の範囲の検索条件として生成する。例えば、画像データ数が1以上ある撮影場所(例えば、数メートル四方の大きさの場所)を抽出し、各撮影場所について、隣接する撮影場所との間隔がnメートル以内であれば、隣接する撮影場所と共にひとかたまりを成すと判定し、それを抽出された撮影場所について、繰り返す。そして、nの値を1〜Nの範囲で変化させて前述の繰返しを更に繰り返す。こうすることにより、符号162−1〜162−5に示すような場所の範囲が生成することができる。各日時の範囲は、図12に示すような画面により表し、ユーザが選択できるようにする。図12に示す画面には、代表画像データのサムネイルを付加しても良い。そして、ユーザが選択した場所の範囲を検索条件として画像データを抽出する。
[実施形態10]
実施形態9においては、場所の範囲を地図上に表すこととしたが、こうすると、ユーザは直感的にその場所の範囲を把握することが困難となるおそれがある。そこで、地図152を参照し、場所の範囲が重複する地図上の都道府県名、市町村区名、鉄道路線名、バス路線名、道路名、航路名等を場所の範囲を表すものとする。例えば、場所の範囲が港区に収るならば、「港区」がその場所の範囲を表すようにし、場所の範囲が東京都全体に分布しているならば、「東京都」がその場所の範囲を表すようにし、場所の範囲があるはとバス路線の界隈に集中している場合には、そのはとバス路線の名称がその場所の範囲を表すようにする。
[実施形態11]
次に、人物を検索条件として画像データを抽出する第1の場合について図13、14及び15を参照して説明する。
まず、画像データ群101にある程度の数の画像データが蓄積されてきたとき、ユーザから要求があったとき又は定期的に、顔抽出部171、顔分類部173及び顔照合部175は動作する。
顔抽出部171は画像データ群101中の各画像データ102から顔を抽出して、抽出された顔を未分類顔データベース172に書き込む。顔分類部173は、未分類顔データベース172から各顔を読み出し、読み出した顔を相互に比較することにより、図14に示すように顔グループ176−1〜176−Nに分類する。各顔グループは類似した顔の集合である。そして、各顔グループに属する顔にその顔グループの識別情報(例えばシリアル番号)を付加して、顔グループ識別情報が付加された顔を分類済顔データベース174に書き込む。顔照合部175は、各画像データから顔抽出部171が抽出した顔を分類済顔データベース174から読み出した各顔グループに属する顔と照合することにより、各画像データから顔抽出部171が抽出した顔がどの顔グループのどの顔に最も類似するかを判断し、その最も類似する顔が属する顔グループの識別情報を図2に示す顔グループ識別情報として画像データ102に追加する。なお、各顔グループのなかで最も平均的な顔のうち所定の鮮明度が得られている画像データを各顔グループの代表顔として選択しておき、顔照合部175は、各画像データから顔抽出部171が抽出した顔を分類済顔データベース174から読み出した各顔グループの代表顔と照合することにより、各画像データから顔抽出部171が抽出した顔がどの顔グループに属しているかを判断しても良い。また、顔照合部175は、顔グループ識別情報を画像データ102に追加する代わりに、顔グループ識別情報毎に顔グループ識別情報とその顔グループ識別情報により表される顔グループに含まれる顔を含む画像データ102の識別情報を1対多の関係で表すファイルを作成しても良い。
なお、未分類顔データベース172と分類済顔データベース174は、説明の都合上、別々のものとしたが、未分類顔データベース172の各顔に顔グループの識別情報を付加して、分類済顔データベース174を構成するようにしても良い。
画像データから複数の顔が抽出された場合には、それらの顔が属する顔グループの識別情報を全て画像データに追加する。また、画像データが動画像データを表す場合には、各フレームについて顔グループの識別情報の追加を行う。又は、画像データが動画像データを表す場合には、各顔グループ識別情報毎に、顔グループ識別情報により表される顔グループに属する顔がどの画像データのどのフレームに含まれるかという1対多の関係を保持するファイルを作成しても良い。
なお、顔を検出するためには、本出願の出願人が出願した特許文献1の発明を利用することができ、顔を照合するためには、本出願の出願人が出願した特許文献2の発明を利用することができる。
以上が人物を検索条件として画像データを抽出する第1の場合の下準備である。
図15を参照すると、画像データを抽出するときには、ユーザは、抽出したい画像データに含まれるべき人物の顔を含む新たな画像データを画像データ入力部111に入力する。顔抽出部171は、画像データ入力部111が入力した画像データから顔を抽出する。顔照合部175は、顔抽出部171が抽出した顔が、分類済顔データベース174に格納されている分類済顔のうちのどの顔に最も類似するかを判断し、その類似する顔がどの顔グループに属するかを判断し、その顔グループの識別情報を画像データ抽出部116に渡す。画像データ抽出部116は、その顔グループの識別情報を有する画像データを画像データ群101から抽出し、表示部113に出力する。
[実施形態12]
次に、人物を検索条件として画像データを抽出する第2の場合について図16を参照して説明する。
実施形態11では、ユーザが抽出したい画像データに含まれるべき人物の顔を含む新たな画像データを入力することとしたのに対し、実施形態12では、各顔グループの代表顔を一覧表示し、ユーザにその一覧表示された代表顔から検索条件として用いたい顔を1又は複数選択させ、選択された代表顔が属する顔グループの識別情報を有する画像データを画像データ群101から抽出する。
図16を参照すると、まず、代表顔選択部181は、各顔グループのなかで最も平均的な顔のうち所定の鮮明度が得られている画像データを各顔グループの代表顔として選択する。表示部113は、全ての顔グループの代表顔を表示する。操作入力部114は、ユーザによる1又は複数の代表顔の選択を入力する。検索条件生成部115は、ユーザにより選択された代表顔が属する顔グループの識別情報を得る。画像データ抽出部116は、その顔グループの識別情報を有する画像データを画像データ群101から抽出し、表示部113に出力する。
[実施形態13]
次に、人物を検索条件として画像データを抽出する第3の場合について図13及び17を参照して説明する。
実施形態13では、画像データが動画像データである場合に、検索条件として設定された顔グループに含まれる顔が撮影されているフレームのみをその動画像データから抽出する。又は、検索条件として設定された顔グループに含まれる顔を有する人物が撮影されているフレームのみをその動画像データから抽出する。
実施形態11の図13に示す構成において、顔照合部175は、各動画像データの各フレームから顔抽出部171が抽出した顔を分類済顔データベース174から読み出した各顔グループに属する顔と照合することにより、各動画像データの各フレームから顔抽出部171が抽出した顔がどの顔グループのどの顔に最も類似するかを判断し、その最も類似する顔が属する顔グループの識別情報を図2に示す顔グループ識別情報として動画像データ102の各フレームに追加する。なお、各顔グループのなかで最も平均的な顔のうち所定の鮮明度が得られている画像データを各顔グループの代表顔として選択しておき、顔照合部175は、各動画像データの各フレームから顔抽出部171が抽出した顔を分類済顔データベース174から読み出した各顔グループの代表顔と照合することにより、各動画像データの各フレームから顔抽出部171が抽出した顔がどの顔グループに属しているかを判断しても良い。
抽出する動画像データに含まれるべき顔の選択を、実施形態11又は12で説明した方法により行い、抽出する動画像データに含まれるべき顔が属する顔グループの識別情報を得る。
画像データ抽出部116は、各動画像データのフレームのうち検索条件として設定されている顔が撮影されているフレームを抽出する。又は、画像データ抽出部116は、各動画像データのフレームのうち検索条件として設定されている顔を有する人物が撮影されているフレームを抽出する。
ここで、ある登場人物が一時的に後ろを向いたり、撮影アングルから外れる合間があると、その合間のフレームには登場人物の顔が含まれていないため、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図2に示す顔グループ識別情報として有するフレームを抽出する方法を採用すると、その合間が歯抜けしてしまい、人物が撮影されているフレームの一部が欠落することとなってしまう。
そこで、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図2に示す顔グループ識別情報として有するフレームのみならず、そのようなフレームの近傍のフレームも抽出し、これらの抽出したフレームを各動画像データのフレームのうち検索条件として設定されている顔を有する人物が撮影されているフレームとする。例えば、図17に示すように、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図2に示す顔グループ識別情報として有する第1のフレームグループと、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図2に示す顔グループ識別情報として有する第2のフレームグループとの間の時間がしきい値以下であれば、第1のフレームグループと第2のフレームグループの間にある全フレームを近傍のフレームとして扱い、他方で、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図2に示す顔グループ識別情報として有する第1のフレームグループと、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図2に示す顔グループ識別情報として有する第2のフレームグループとの間の時間がしきい値を超えれば、第1のフレームグループと第2のフレームグループの間にある全フレームを近傍のフレームでないフレームとして扱う。又は、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図2に示す顔グループ識別情報として有するフレームからその顔が属する人物を物体認識し、その物体が現れているフレームを各動画像データのフレームのうち検索条件として設定されている顔を有する人物が撮影されているフレームとして扱う。物体認識のためには、例えば、特許文献5の発明を利用することができる。また、認識された物体を追跡するためには、例えば、特許文献6の発明を利用することができる。
[実施形態14]
次に、人物を検索条件として画像データを抽出する第4の場合について図18、19及び20を参照して説明する。
まず、画像データ群101にある程度の数の画像データが蓄積されてきたとき、ユーザから要求があったとき又は定期的に、声抽出部191、声分類部193及び声照合部195は動作する。
声抽出部191は画像データ群101中の各画像データに付随する声を抽出して、抽出された声を未分類声データベース192に書き込む。声分類部193は、未分類声データベース192から各声を読み出し、読み出した声を相互に比較することにより、図19に示すように声グループ196−1〜196−Nに分類する。各声グループは類似した声の集合である。そして、各声グループに属する声にその声グループの識別情報を付加して、声グループ識別情報が付加された声を分類済声データベース194に書き込む。声照合部195は、各画像データから声抽出部191が抽出した声を分類済声データベース194から読み出した各声グループに属する声と照合することにより、各画像データから声抽出部191が抽出した声がどの声グループのどの声に最も類似するかを判断し、その最も類似する声が属する声グループの識別情報を図2に示す声グループ識別情報として画像データ102に追加する。なお、各声グループのなかで最も平均的な声のうち所定の鮮明度が得られている画像データを各声グループの代表声として選択しておき、声照合部195は、各画像データから声抽出部191が抽出した声を分類済声データベース194から読み出した各声グループの代表声と照合することにより、各画像データから声抽出部191が抽出した声がどの声グループに属しているかを判断しても良い。また、声照合部195は、声グループ識別情報を画像データ102に追加する代わりに、声グループ識別情報毎に声グループ識別情報とその声グループ識別情報により表される声グループに含まれる声を伴う画像データの識別情報を1対多の関係で表すファイルを作成しても良い。なお、声の類似度を判断するために、声紋を用いても良い。
なお、未分類声データベース192と分類済声データベース194は、説明の都合上、別々のものとしたが、未分類声データベース192の各声に声グループの識別情報を付加して、分類済声データベース194を構成するようにしても良い。
画像データから複数の声が抽出された場合には、それらの声が属する声グループの識別情報を全て画像データに追加する。また、画像データが動画像データである場合には、各フレームについて声グループの識別情報の追加を行う。又は、画像データが動画像データである場合には、各声グループ識別情報毎に、声グループ識別情報により表される声グループに属する声がどの画像データのどのフレームに含まれるかという1対多の関係を保持するファイルを作成しても良い。
以上が人物を検索条件として画像データを抽出する第4の場合の下準備である。
図20を参照すると、画像データを抽出するときには、ユーザは、抽出したい画像データに含まれるべき人物の声を音声入力部197に入力する。声照合部195は、音声入力部197が入力した声が、分類済声データベース194に格納されている分類済声のうちのどの声に最も類似するかを判断し、その類似する声がどの声グループに属するかを判断し、その声グループの識別情報を画像データ抽出部116に渡す。画像データ抽出部116は、その声グループの識別情報を有する画像データを画像データ群101から抽出し、表示部113に出力すると共にその画像データに付随する音声データを音声出力部198に出力する。
[実施形態15]
次に、人物を検索条件として画像データを抽出する第5の場合について図21を参照して説明する。
実施形態14では、ユーザが抽出したい画像データに含まれるべき人物の声を入力することとしたのに対し、実施形態15では、各声グループの代表声をユーザに聴かせ、ユーザにその聴かせた代表声から検索条件として用いたい声を1又は複数選択させ、選択された代表声が属する声グループの識別情報を有する画像データを画像データ群101から抽出する。
図21を参照すると、まず、代表声選択部201は、各声グループのなかで最も平均的な声のうち所定の鮮明度が得られている画像データを各声グループの代表声として選択する。音声出力部198は、全ての声グループの代表声を出力する。操作入力部114は、ユーザによる1又は複数の代表声の選択を入力する。検索条件生成部115は、ユーザにより選択された代表声が属する声グループの識別情報を得る。画像データ抽出部116は、その声グループの識別情報を有する画像データを画像データ群101から抽出し、表示部113に出力すると共にその画像データに付随する音声データを音声出力部198に出力する。
[実施形態16]
次に、人物を検索条件として画像データを抽出する第6の場合について図17及び18を参照して説明する。
実施形態16では、画像データが音声付き動画像データである場合に、検索条件として設定された声グループに含まれる声を伴うフレームのみをその音声付き動画像データから抽出する。又は、検索条件として設定された声グループに含まれる声を有する人物が撮影されているフレームのみをその音声付き動画像データから抽出する。
実施形態14の図18に示す構成において、声照合部195は、各動画像データの各フレームに付随する音声から声抽出部191が抽出した声を分類済声データベース194から読み出した各声グループに属する声と照合することにより、各動画像データの各フレームに付随する音声から声抽出部191が抽出した声がどの声グループのどの声に最も類似するかを判断し、その最も類似する声が属する声グループの識別情報を図2に示す声グループ識別情報として動画像データ102の各フレームに追加する。なお、各声グループのなかで最も平均的な声のうち所定の鮮明度が得られている画像データを各声グループの代表声として選択しておき、声照合部195は、各動画像データの各フレームに付随する音声から声抽出部191が抽出した声を分類済声データベース194から読み出した各声グループの代表声と照合することにより、各動画像データの各フレームに付随する音声から声抽出部191が抽出した声がどの声グループに属しているかを判断しても良い。
抽出する動画像データに付随するべき声の選択を、実施形態14又は15で説明した方法により行い、抽出する動画像データに付随するべき声が属する声グループの識別情報を得る。
画像データ抽出部116は、各動画像データのフレームのうち検索条件として設定されている声が付随するフレームを抽出する。又は、画像データ抽出部116は、各動画像データのフレームのうち検索条件として設定されている声を有する人物が撮影されているフレームを抽出する。
ここで、ある登場人物が一時的に話を中断することにより合間が生ずると、その合間のフレームには登場人物の声が含まれていないため、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図2に示す声グループ識別情報として有するフレームを抽出する方法を採用すると、その合間が歯抜けしてしまい、人物が撮影されているフレームの一部が欠落することとなってしまう。
そこで、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図2に示す声グループ識別情報として有するフレームのみならず、そのようなフレームの近傍のフレームも抽出し、これらの抽出したフレームを各動画像データのフレームのうち検索条件として設定されている声を有する人物が撮影されているフレームとする。例えば、図17に示すように、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図2に示す声グループ識別情報として有する第1のフレームグループと、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図2に示す声グループ識別情報として有する第2のフレームグループとの間の時間がしきい値以下であれば、第1のフレームグループと第2のフレームグループの間にある全フレームを近傍のフレームとして扱い、他方で、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図2に示す声グループ識別情報として有する第1のフレームグループと、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図2に示す声グループ識別情報として有する第2のフレームグループとの間の時間ががしきい値を超えれば、第1のフレームグループと第2のフレームグループの間にある全フレームを近傍のフレームでないフレームとして扱う。又は、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図2に示す声グループ識別情報として有するフレームからその声を発する人物の顔又は体を認識し、その顔又は体が現れているフレームを各動画像データのフレームのうち検索条件として設定されている声を有する人物が撮影されているフレームとして扱う。
[実施形態17]
実施形態1〜16においては、日時の範囲、場所の範囲又は人物を単独の検索条件として画像データを抽出することとした。これに対し、実施形態17では、日時の範囲、場所の範囲及び人物のうちの2以上を組み合わせて検索条件を生成し、この検索条件に従って画像データを抽出する。
例えば、ある日時の範囲のある場所の範囲の画像データを抽出したり、ある日時のある人物の画像データを抽出したり、ある場所のある人物の画像データを抽出したり、ある日時のある場所のある人物の画像データを抽出する。
複数の検索条件を組み合わせて画像データを抽出する場合、順次検索条件に従って画像データを段階的に絞り込んでいっても良いし、複数の検索条件を同時に用いて画像データを抽出しても良い。
なお、画像データ書込部112、操作入力部114、検索条件生成部115、画像データ抽出部116、顔抽出部171、顔分類部173、顔照合部175、代表顔選択部181、声抽出部191、声分類部193及び声照合部195は、ハードウェアによって実現することもできるが、コンピュータをこれらの部分として機能させるためのプログラムをコンピュータが実行することによっても実現することができ、ハードウェアを用いてコンピュータをこれらの部分として機能させるためのプログラムをコンピュータが実行することによっても実現することができる。
本発明は、蓄積された画像データを基にアルバムを作成することに利用することができる。
本発明の実施形態によるアルバム作成装置が行うアルバム作成方法を説明するための概念図である。 本発明の実施形態で用いる画像データの構成を示すフォーマット図である。 本発明の実施形態によるアルバム作成装置の主要部を示すブロック図である。 本発明の実施形態1で用いる画面の図である。 本発明の実施形態2で用いる第1の画面の図である。 本発明の実施形態2で用いる第2の画面の図である。 本発明の実施形態によるアルバム作成装置のうち実施形態3に係る部分を示すブロック図である。 本発明の実施形態4による検索条件生成方法を説明するための図である。 本発明の実施形態6で用いる第1の画面の図である。 本発明の実施形態6で用いる第2の画面の図である。 本発明の実施形態によるアルバム作成装置のうち実施形態8に係る部分を示すブロック図である。 本発明の実施形態9による検索条件生成方法を説明するための図である。 本発明の実施形態によるアルバム作成装置のうち実施形態11に係る部分を示す第1のブロック図である。 本発明の実施形態11による検索条件生成方法を説明するための図である。 本発明の実施形態によるアルバム作成装置のうち実施形態11に係る部分を示す第2のブロック図である。 本発明の実施形態によるアルバム作成装置のうちの実施形態12に係る部分を示すブロック図である。 本発明の実施形態13による画像データの抽出方法を説明するための図である。 本発明の実施形態によるアルバム作成装置のうち実施形態14に係る部分を示す第1のブロック図である。 本発明の実施形態14による検索条件生成方法を説明するための図である。 本発明の実施形態によるアルバム作成装置のうち実施形態14に係る部分を示す第2のブロック図である。 本発明の実施形態によるアルバム作成装置のうちの実施形態15に係る部分を示すブロック図である。
符号の説明
101 画像データ群
111 画像データ入力部
112 画像データ書込部
113 表示部
114 操作入力部
115 検索条件生成部
116 画像データ抽出部
132 カレンダ
152 地図
171 顔抽出部
172 未分類顔データベース
173 顔分類部
174 分類済顔データベース
175 顔照合部
181 代表顔選択部
191 声抽出部
192 未分類声データベース
193 声分類部
194 分類済声データベース
195 声照合部
197 音声入力部
198 音声出力部

Claims (3)

  1. 記憶手段に記憶されている動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を有する第1のフレームグループと、前記記憶手段に記憶されている前記動画像データのフレームのうち前記検索条件として設定されている前記顔が属する顔グループの識別情報を有する前記第1のフレームグループとは異なる位置にある第2のフレームグループとの間の時間を所定のしきい値と比較する比較手段と、
    前記比較手段による比較の結果、前記時間が前記所定のしきい値以下の場合には、前記第1のフレームグループと前記第2のフレームグループの間にある全フレームを前記顔グループが属するフレーム群と認識し前記時間が前記所定のしきい値を超える場合には、前記第1のフレームグループと前記第2のフレームグループの間にある全フレームを前記顔グループが属さないフレーム群と認識する認識手段と、
    を備えることを特徴とする画像検出装置。
  2. 記憶手段に記憶されている動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を有する第1のフレームグループと、前記記憶手段に記憶されている前記動画像データのフレームのうち前記検索条件として設定されている前記顔が属する顔グループの識別情報を有する前記第1のフレームグループとは異なる位置にある第2のフレームグループとの間の時間を所定のしきい値と比較手段により比較する比較ステップと、
    前記比較手段による比較の結果、前記時間が前記所定のしきい値以下の場合には、前記第1のフレームグループと前記第2のフレームグループの間にある全フレームを前記顔グループが属するフレーム群と認識し前記時間が前記所定のしきい値を超える場合には、前記第1のフレームグループと前記第2のフレームグループの間にある全フレームを前記顔グループが属さないフレーム群と認識する認識ステップと、
    を備えることを特徴とする画像検出方法。
  3. 記憶手段に記憶されている動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を有する第1のフレームグループと、前記記憶手段に記憶されている前記動画像データのフレームのうち前記検索条件として設定されている前記顔が属する顔グループの識別情報を有する前記第1のフレームグループとは異なる位置にある第2のフレームグループとの間の時間を所定のしきい値と比較する比較手段と、
    前記比較手段による比較の結果、前記時間が前記所定のしきい値以下の場合には、前記第1のフレームグループと前記第2のフレームグループの間にある全フレームを前記顔グループが属するフレーム群と認識し前記時間が前記所定のしきい値を超える場合には、前記第1のフレームグループと前記第2のフレームグループの間にある全フレームを前記顔グループが属さないフレーム群と認識する認識手段と、
    を備えることを特徴とする画像検出装置としてコンピュータを機能させる画像検出用プログラム。
JP2003340339A 2003-09-30 2003-09-30 画像検出装置、画像検出方法及び画像検出用プログラム Expired - Fee Related JP4189811B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003340339A JP4189811B2 (ja) 2003-09-30 2003-09-30 画像検出装置、画像検出方法及び画像検出用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003340339A JP4189811B2 (ja) 2003-09-30 2003-09-30 画像検出装置、画像検出方法及び画像検出用プログラム

Publications (2)

Publication Number Publication Date
JP2005107867A JP2005107867A (ja) 2005-04-21
JP4189811B2 true JP4189811B2 (ja) 2008-12-03

Family

ID=34535259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003340339A Expired - Fee Related JP4189811B2 (ja) 2003-09-30 2003-09-30 画像検出装置、画像検出方法及び画像検出用プログラム

Country Status (1)

Country Link
JP (1) JP4189811B2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4243862B2 (ja) 2004-10-26 2009-03-25 ソニー株式会社 コンテンツ利用装置およびコンテンツ利用方法
JP4595555B2 (ja) 2005-01-20 2010-12-08 ソニー株式会社 コンテンツ再生装置およびコンテンツ再生方法
JP4741267B2 (ja) 2005-03-28 2011-08-03 ソニー株式会社 コンテンツ推薦システム、通信端末およびコンテンツ推薦方法
JP2006314010A (ja) * 2005-05-09 2006-11-16 Noritsu Koki Co Ltd 画像処理装置及び画像処理方法
JP4604833B2 (ja) * 2005-05-19 2011-01-05 ノーリツ鋼機株式会社 電子アルバムシステム
JP2007011928A (ja) 2005-07-04 2007-01-18 Sony Corp コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法
JP5133508B2 (ja) 2005-07-21 2013-01-30 ソニー株式会社 コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法
JP2007058686A (ja) * 2005-08-25 2007-03-08 Sony Corp 電子機器、コンピュータプログラム、検索画面生成方法。
US20070124325A1 (en) * 2005-09-07 2007-05-31 Moore Michael R Systems and methods for organizing media based on associated metadata
US8098899B2 (en) 2005-11-14 2012-01-17 Fujifilm Corporation Landmark search system for digital camera, map data, and method of sorting image data
AU2005239672B2 (en) * 2005-11-30 2009-06-11 Canon Kabushiki Kaisha Sortable collection browser
JP2009086696A (ja) * 2006-01-18 2009-04-23 Pioneer Electronic Corp 情報検索装置及び情報検索用プログラム
JP2007206772A (ja) 2006-01-31 2007-08-16 Fujifilm Corp 端末装置及びサーバー及びランドマーク名検索システム及び検索プログラム
JP4811046B2 (ja) 2006-02-17 2011-11-09 ソニー株式会社 コンテンツの再生装置、オーディオ再生機およびコンテンツの再生方法
JP4725377B2 (ja) 2006-03-15 2011-07-13 オムロン株式会社 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
US7668867B2 (en) * 2006-03-17 2010-02-23 Microsoft Corporation Array-based discovery of media items
JP4914680B2 (ja) * 2006-09-05 2012-04-11 オリンパスメディカルシステムズ株式会社 画像表示装置
US8900124B2 (en) 2006-08-03 2014-12-02 Olympus Medical Systems Corp. Image display device
JP2008077424A (ja) * 2006-09-21 2008-04-03 Toshiba Corp 作業分析システム及び方法
US8015500B2 (en) 2006-12-15 2011-09-06 Casio Computer Co., Ltd. Data retrieval device with function for modifying retrieval condition classes
JP5287716B2 (ja) 2007-04-13 2013-09-11 日本電気株式会社 写真グループ化装置、写真グループ化方法、および写真グループ化用プログラム
US8934717B2 (en) * 2007-06-05 2015-01-13 Intellectual Ventures Fund 83 Llc Automatic story creation using semantic classifiers for digital assets and associated metadata
KR101384526B1 (ko) 2007-10-08 2014-04-11 삼성전자주식회사 디지털 영상 처리기에서 동영상으로부터 추출된 정지영상의슬라이드쇼 재생 장치 및 방법
JP5045413B2 (ja) * 2007-12-13 2012-10-10 日本電気株式会社 写真出力システム
JP5231827B2 (ja) * 2008-02-04 2013-07-10 富士フイルム株式会社 画像表示装置、表示制御方法及び表示制御プログラム
JP5211900B2 (ja) * 2008-07-10 2013-06-12 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP2011180780A (ja) * 2010-02-26 2011-09-15 Brother Industries Ltd 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP5246286B2 (ja) 2011-03-15 2013-07-24 カシオ計算機株式会社 画像記録装置、画像記録方法及びプログラム
JP5807090B2 (ja) * 2014-05-26 2015-11-10 オリンパス株式会社 画像検索方法、画像検索システム、画像検索装置、およびプログラム
JP2016058923A (ja) * 2014-09-10 2016-04-21 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6570840B2 (ja) * 2015-01-29 2019-09-04 Dynabook株式会社 電子機器および方法
US10521642B2 (en) 2015-04-23 2019-12-31 Samsung Electronics Co., Ltd. Fingerprint verification method and apparatus
JP6614198B2 (ja) 2017-04-26 2019-12-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP7353057B2 (ja) * 2019-03-29 2023-09-29 東京瓦斯株式会社 記録システムおよびプログラム
JP7424838B2 (ja) * 2020-01-15 2024-01-30 株式会社日立プラントコンストラクション ノウハウ整理支援システム及びその方法
US12010371B2 (en) 2020-05-18 2024-06-11 Nec Corporation Information processing apparatus, video distribution system, information processing method, and recording medium

Also Published As

Publication number Publication date
JP2005107867A (ja) 2005-04-21

Similar Documents

Publication Publication Date Title
JP4189811B2 (ja) 画像検出装置、画像検出方法及び画像検出用プログラム
US9286360B2 (en) Information processing system, information processing device, information processing method, and computer readable recording medium
US8670931B2 (en) Methods and systems for visual addressing
US8400525B2 (en) Image processing apparatus and image management method
US8704913B2 (en) Image recording apparatus, image recording method, and storage medium storing program, for use in recording shot images
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
US6504571B1 (en) System and methods for querying digital image archives using recorded parameters
JP5537557B2 (ja) 事象毎に意味論的に分類する方法
CN101004754B (zh) 图像编辑系统和图像编辑方法
US8786753B2 (en) Apparatus, method and program for selecting images for a slideshow from among a large number of captured images
JP5287756B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN104794171B (zh) 标记图片地理位置信息的方法及装置
JP4987943B2 (ja) 電子機器及び画像表示方法
CN101753823A (zh) 自动标记图像的装置及其方法
US20100262605A1 (en) Image management apparatus, control method thereof and storage medium storing program
JP2012530287A (ja) 代表的な画像を選択するための方法及び装置
JP3915106B2 (ja) 画像検索装置
JP7426176B2 (ja) 情報処理システム、情報処理方法、情報処理プログラム、およびサーバ
US20150324395A1 (en) Image organization by date
CN110210299A (zh) 语音训练数据生成方法、装置、设备及可读存储介质
JP2007266902A (ja) カメラ
JP2006164008A (ja) 画像検索装置および画像検索方法
JP2004229070A (ja) ファイル分類装置、ファイル分類プログラム、デジタルカメラ及びファイル分類システム
US8571357B2 (en) Image data management apparatus, method and program
US20210390140A1 (en) Information processing system, information processing method, and information processing apparatus

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071217

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080822

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080904

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130926

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees