JP4090926B2 - Image storage method, registered image retrieval method and system, registered image processing method, and program for executing these methods - Google Patents
Image storage method, registered image retrieval method and system, registered image processing method, and program for executing these methods Download PDFInfo
- Publication number
- JP4090926B2 JP4090926B2 JP2003095004A JP2003095004A JP4090926B2 JP 4090926 B2 JP4090926 B2 JP 4090926B2 JP 2003095004 A JP2003095004 A JP 2003095004A JP 2003095004 A JP2003095004 A JP 2003095004A JP 4090926 B2 JP4090926 B2 JP 4090926B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- registered
- information
- subject
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 96
- 238000003672 processing method Methods 0.000 title claims description 20
- 230000014509 gene expression Effects 0.000 claims description 284
- 230000002996 emotional effect Effects 0.000 claims description 94
- 238000012545 processing Methods 0.000 claims description 91
- 230000035945 sensitivity Effects 0.000 claims description 67
- 238000000605 extraction Methods 0.000 claims description 18
- 230000008451 emotion Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000004321 preservation Methods 0.000 claims 2
- 235000010724 Wisteria floribunda Nutrition 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 239000002537 cosmetic Substances 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- -1 silver halide Chemical class 0.000 description 2
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 2
- 101100110009 Caenorhabditis elegans asd-2 gene Proteins 0.000 description 1
- 241000238370 Sepia Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、カメラ等で撮影した撮影画像や反射原稿または透過原稿の読取画像やCG(コンピュータグラフィック)等の生成画像を登録画像として保存する際の画像の保存方法、この保存方法で保存された登録画像の中から所望の画像を検索する登録画像の検索方法およびシステム、上記画像の保存方法によって保存された画像または上記登録画像の検索方法で検索された画像を取り出して画像処理を施す登録画像の画像処理方法、ならびに、画像の保存方法を実施するプログラム、登録画像の検索方法を実施するプログラムおよび登録画像の画像処理方法を実施するプログラムに関する。
【0002】
【従来の技術】
今日、カメラを用いて撮影された撮影画像を大量に蓄積しつつ、蓄積された大量の画像の中から所望の画像を効率よく検索することが望まれており、種々の画像検索システムが提案されている。
一方、蓄積された画像から検索する者(操作者)が自分の感性表現に適した画像、例えば、「壮大な」、「すがすがしい」といった感性表現を入力することによって、この感性表現に適した画像を効率よく検索して出力することも望まれている。
【0003】
例えば、特許文献1では、画像の検索を行う者が検査に際して負担をかけずに自らの感性に適した画像の検索を行うことのできる画像検索システムを提案している。
上記公報における画像検索システムは、キーワードを入力するキーワード入力手段と、画像を入力する画像入力手段と、登録画像とともに画像特徴量とキーワードを記憶する画像記憶手段と、前記キーワード入力手段から入力されたキーワードを組み合わせて画像を検出するキーワード検索手段と、登録画像からキーワードや特徴量を自動的に抽出する特徴量・キーワード抽出手段と、前記キーワード検索手段によって検索した結果に対し、キーワードを使わず絞り込む検索結果絞り込み手段とを備えることで、撮影画像の検索を行う者が検査に際して負担をかけずに自らの感性に適した画像の検索を行うことができるとされている。
【0004】
また、特許文献2では、画像内に存在若しくはこの画像に付属し、またはこの画像内に存在すると同時にこの画像に付属する特定の情報を抽出または認識し、得られた特定の情報をそのまま、もしくは特定の情報の関連情報を、画像の画像データに付属させて付属情報としてデータベースに記憶し、この付属情報の少なくとも一部を検索条件として指定し、指定された検索条件でデータベースを検索し、選び出された記憶画像データに付属している付属情報との一致度を求め、所定値以上の一致度を持つ画像を読み出す検索方法を提案している。これにより、画像の効率の良い検索が実現できるとされている。
【0005】
しかし、上記特許文献1の画像検索システムは、取得された画像毎に演算される画像特徴量、例えば画像データを用いたヒストグラムから得られる画像特徴量と、「鮮やか」、「壮大な」といった撮影画像内の被写体とを一意的に対応付けることは難しく、従って、入力した感性表現に適した画像を効率よく検索することは困難であるといった問題がある。
【0006】
また、上記特許文献2の検索方法は、検索時にキーワードの代わりに音声情報やメッセージ情報等の特定の入力情報を使用し、この入力情報と一致するまたは近い付属情報を持つ画像を検索するが、このような付属情報を画像に付加する煩雑な操作を操作者が行わなければならないといった問題がある。しかも、この検索方法では、撮影画像中の被写体の領域を幾何学図形を用いて、例えば被写体が「山」であれば三角形の被写体の領域を持つ画像を検索するので、「壮大な」、「すがすがしい」といった操作者により入力された感性表現に適合した画像を検索するといったことはできない。
【0007】
【特許文献1】
特開2000−048041号公報
【特許文献2】
特開2001−084274号公報
【0008】
【発明が解決しようとする課題】
そこで、本発明は、上記従来技術の問題点を解消し、撮影被写体や画像の主題等の画像シーンの類型と対応付けられた感性表現キーワードに適した画像を効率よく検索することができるように、撮影画像や取得画像や生成画像等の画像をデータベースに登録画像として登録する画像の保存方法、この保存方法によって保存された登録画像の中から、操作者が感性表現キーワードを入力することによって、この感性表現キーワードに適した画像を効率よく検索することができる登録画像の検索方法およびシステム、この検索方法によって検索された登録画像について、入力された感性表現に合った画像処理を施す登録画像の画像処理方法、ならびに、画像の保存方法を実施するプログラム、登録画像の検索方法を実施するプログラムおよび登録画像の画像処理方法を実施するプログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
上記目的を達成するために、本発明の第1の態様は、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存された(第1)データベースを用いて撮影画像の付属情報を求め、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに(第2データベースに)保存する画像の保存方法であって、前記撮影画像を保存する際、前記撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域またはこの領域で囲まれている領域を被写体領域として抽出して、少なくとも前記撮影画像の撮影位置、撮影方位、および撮影倍率の情報を含む撮影情報、ならびに地図データを用いて、前記被写体領域を同定することにより、前記被写体領域の前記画像シーンとしての類型を求め、この求められた前記類型を用いて前記(第1)データベースを参照して、前記類型に対応する前記感性表現キーワードを導出し、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として(前記第2データベースに)保存することを特徴とする画像の保存方法を提供するものである。
【0010】
ここで、前記画像は、撮影画像、取得画像または生成画像であり、前記画像シーンは、撮影被写体または画像の主題であり、前記シーンは、被写体または主題であるのが好ましい。
すなわち、本態様の一形態は、撮影被写体の類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存された(第1)データベースを用いて撮影画像の付属情報を求め、前記撮影画像を登録画像として前記付属情報とともに(第2データベースに)保存する画像の保存方法であって、前記撮影画像を保存する際、前記撮影画像内の被写体を抽出して、前記撮影被写体としての類型を求め、この求められた前記類型を用いて前記(第1)データベースを参照して前記感性表現キーワードを導出し、この導出した感性表現キーワードを前記撮影画像の付属情報として対応付け、前記撮影画像を登録画像として(前記第2データベースに)保存することを特徴とする画像の保存方法を提供するものである。
【0011】
ここで、前記登録画像には、前記撮影画像の保存の際に求められた前記被写体の前記撮影被写体としての類型も、前記撮影画像の付属情報として対応付けられているのが好ましい。
また、前記撮影画像内の被写体の抽出は、撮影シーンの奥行き情報を用いて行うのが好ましい。
また、前記撮影画像内の被写体の抽出を行った後、この被写体の同定を、前記撮影情報および地図情報に加えて、撮影の奥行き情報から、被写体領域以外の領域内の被写体の位置を算出し、これを用いて行うことにより、前記被写体の撮影被写体としての類型を求めるのも好ましい。
また、前記撮影画像内の被写体の抽出は、前記撮影画像内の被写体の領域を抽出することであるのが好ましい。
また、前記撮影情報は、前記撮影画像の撮影時の天気の情報を含むことが好ましい。
さらに、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとが予め記録保存されたデータベースを用いて撮影画像の付属情報を求め、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに保存する画像の保存方法であって、被写体を撮影する際、前記被写体に予め付与されているICタグのタグ情報を同時に読み取り、前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出し、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存することが好ましい。
また、前記撮影画像内に複数の被写体が存在する場合は、前記撮影画像内の、より中心に位置する被写体の点数が高くなるように点数化し、前記点数の最も高い被写体について、前記感性表現キーワードを導出することが好ましい。
【0012】
また、上記目的を達成するために、本発明の第2の態様は、上記第1の態様の画像の保存方法によって(前記第2データベースに)保存された登録画像の中から所望の登録画像を検索する検索方法であって、入力された感性表現情報に一致する、または近似する感性表現キーワードを、登録画像の付属情報から見出し、この見出された感性表現キーワードを付属情報とする登録画像を(前記第2データベースから)取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
また、入力された感性表現情報に一致する、または近似する感性表現キーワードを、辞書を内蔵する辞書参照部を用いて導出し、前記感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を、登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
【0013】
また、上記目的を達成するために、本発明の第2の態様は、上記第1の態様の画像の保存方法によって(前記第2データベースに)保存された登録画像の中から所望の登録画像を検索する検索方法であって、入力された感性表現情報に一致する、または近似する感性表現キーワードと対応関係にある撮影被写体の類型を(前記第1データベースから)取り出し、この取り出された撮影被写体の類型を付属情報として持つ登録画像を(前記第2データベースから)取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
【0014】
また、上記目的を達成するために、本発明の第2の態様は、上記第1の態様の画像の保存方法によって(前記第2データベースに)保存された登録画像の中から所望の登録画像を検索する検索方法であって、前記登録画像の検索を行う際に入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、(前記第2)データベース内の登録画像を検索し、この感性表現キーワードを付属情報とする複数の登録画像を取り出して、画像表示デバイスに表示し、表示された複数の登録画像の中からユーザによって選択された1つの画像または前記画像の類型に対してポイントを加算することを、前記登録画像を検索する毎に行い、前記加算されたポイントを、前記画像毎または前記画像の類型毎、かつ、前記ユーザ毎に集計して、記憶しておき、次回からの検索時に、前記複数の登録画像の中から、入力された感性表現情報に一致、または近似する感性表現キーワードを付属情報とする画像であり、さらに、前記記憶されたポイントが所定の比率以上である画像、または前記記憶されたポイントが所定の比率以上である類型に当てはまる画像を、限定的に、あるいは、優先的に取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法を提供するものである。
【0015】
また、上記目的を達成するために、本発明の第3の態様は、上記第2の態様の登録画像の検索方法によって(前記第2データベースから)検索された登録画像を呼び出して画像処理を施す登録画像の画像処理方法であって、登録画像に対応して前記感性表現キーワードが対応付けられて設定されており、さらに、前記感性表現キーワードに対応して画像処理条件が対応付けられて(前記第3データベースに)設定されており、登録画像に画像処理を施す際、前記感性表現情報に一致する、または近似する感性表現キーワードと対応付けられた画像処理条件を(前記第3データベースから)呼び出し、この画像処理条件に基づいて自動的に画像処理を施すことを特徴とする登録画像の画像処理方法を提供するものである。
【0016】
また、上記目的を達成するために、本発明の第4の態様は、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第1データベースと、撮影画像を保存する際に、前記撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域またはこの領域で囲まれている領域を被写体領域として抽出して、少なくとも前記撮影画像の撮影位置、撮影方位、および撮影倍率の情報を含む撮影情報、ならびに地図データを用いて、前記被写体領域を同定することにより、前記被写体領域の前記画像シーンとしての類型を求める手段と、この求められた前記類型を用いて前記第1のデータベースを参照して、前記類型に対応する前記感性表現キーワードを導出する手段と、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに保存する第2データベースとを有することを特徴とする画像の保存システムを提供するものである。
また、登録画像の中から所望の登録画像を検索する検索システムであって、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第1データベースと、被写体を撮影する際、前記被写体に予め付与されているICタグのタグ情報を同時に読み取る手段と、前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出する手段と、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存する第2データベースと、この第2データベースに記録保存された登録画像の中から、入力された感性表現情報に一致する、または近似する感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出す登録画像の検索手段とを有することを特徴とする登録画像の検索システムを提供する。
【0017】
ここで、前記画像は、撮影画像、取得画像または生成画像であり、前記画像シーンは、撮影被写体または画像の主題であり、前記シーンは、被写体または主題であるのが好ましい。
また、前記登録画像には、前記撮影画像の保存の際に求められた前記被写体の前記撮影被写体としての類型も、前記撮影画像の付属情報として対応付けられているのが好ましい。
また、前記撮影画像内の被写体の抽出は、撮影シーンの奥行き情報を用いて行うのが好ましい。
また、前記撮影画像内の被写体の抽出を行った後、この被写体の同定を撮影の奥行き情報を用いて行うことにより、前記被写体の撮影被写体としての類型を求めるのも好ましい。
また、前記撮影画像内の被写体の抽出は、前記撮影画像内の被写体の領域を抽出することであるのが好ましい。
【0018】
また、上記目的を達成するために、本発明の第5の態様は、登録画像の中から所望の登録画像を検索する検索システムであって、本発明の第4の態様の画像の保存システムと、この第2データベースに記録保存された登録画像の中から、入力された感性表現情報に一致する、または近似する感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出す登録画像の検索手段とを有することを特徴とする登録画像の検索システムを提供するものである。
【0019】
また、上記目的を達成するために、本発明の第5の態様は、登録画像の中から所望の登録画像を検索する検索システムであって、本発明の第4の態様の画像の保存システムと、この第2データベースに記録保存された登録画像の中から登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、第2データベース内の登録画像を検索する検索手段と、この感性表現キーワードを付属情報とする複数の登録画像を取り出して表示する画像表示デバイスと、表示された複数の登録画像の中からユーザによって1つの選択された画像またはその類型に対してポイントを加算することを、検索毎に所定期間繰り返し、前記所定期間経過後、同一の感性表現キーワードにおいて検索された画像または類型毎かつ前記ユーザ毎に、加算されたポイントを集計して、前記第2データベースに当該登録画像の前記付属情報として記憶させる評価手段と、前記検索手段は、次回からの検索時に、所定の比率以上のポイントを有する画像またはその類型に絞って、あるいは優先して、登録画像の検索を行うことを特徴とする登録画像の検索システムを提供するものである。
また、登録画像の中から所望の登録画像を検索する検索システムであって、画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第1データベースと、被写体を撮影する際、前記被写体に予め付与されているICタグのタグ情報を同時に読み取る手段と、前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出する手段と、この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存する第2データベースと、この第2データベースに記録保存された登録画像の中から登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、第2データベース内の登録画像を検索する検索手段と、この感性表現キーワードを付属情報とする複数の登録画像を取り出して表示する画像表示デバイスと、表示された複数の登録画像の中からユーザによって1つの選択された画像またはその類型に対してポイントを加算することを、検索毎に所定期間繰り返し、前記所定期間経過後、同一の感性表現キーワードにおいて検索された画像または類型毎かつ前記ユーザ毎に、加算されたポイントを集計して、前記第2データベースに当該登録画像の前記付属情報として記憶させる評価手段と、前記検索手段は、次回からの検索時に、所定の比率以上のポイントを有する画像またはその類型に絞って、あるいは優先して、登録画像の検索を行うことを特徴とする登録画像の検索システムを提供する。
【0020】
また、上記目的を達成するために、本発明の第6の態様は、登録画像に画像処理を施す登録画像の画像処理システムであって、上記第5の態様の登録画像の検索システムと、前記感性表現キーワードに対応して画像処理条件が対応付けられて設定されている第3データベースと、前記登録画像の検索システムによって前記第2データベースから検索された登録画像を呼び出し、呼び出された登録画像に画像処理を施す際、前記感性表現情報に一致する、または近似する感性表現キーワードと対応付けられた画像処理条件を前記第3データベースから呼び出し、この画像処理条件に基づいて画像処理を施す画像処理手段とを有することを特徴とする登録画像の画像処理システムを提供するものである。
【0021】
また、上記目的を達成するために、本発明の第7の態様は、本発明の第1の態様の画像の保存方法を実施することを特徴とするプログラム、本発明の第2の態様の登録画像の検索方法を実施することを特徴とするプログラム、または本発明の第3の態様の登録画像の画像処理方法を実施することを特徴とするプログラムを提供するものである。
【0022】
【発明の実施の形態】
本発明に係る画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラムを添付に図面に示す好適実施形態に基づいて以下詳細に説明する。
以下においては、本発明法(本発明の第1の態様の画像の保存方法、本発明の第2の態様の登録画像の検索方法および本発明の第3の態様の登録画像の画像処理方法)を実施する装置の一実施形態である図1に示す画像検索・画像処理装置1に基づいて説明するが、本発明は、これらに限定されるわけではない。
【0023】
図1は、画像検索・画像処理装置1の概略の構成を機能的に示したブロック図である。
画像検索・画像処理装置1は、一部分がプログラムを実行することによって機能を発揮するコンピュータで構成されてもよいし、一部分が専用回路で構成されてもよいし、コンピュータと専用回路によって構成されてもよい。
画像検索・画像処理装置1は、「壮大な」、「鮮やかな」といった感性表現の情報(以降、感性表現情報という)を操作者が入力することによって画像を検索して、所望の画像を画像処理して写真プリントとして出力する装置である。
画像検索・処理装置1は、主に、画像蓄積装置2、画像検索装置3、画像出力装置4、通信制御装置5、CPU6およびモニタ7を有する。
CPU6は、画像蓄積装置2、画像検索装置3、画像出力装置4および通信制御装置5の各機能を制御する部位である。
ここで、画像検索・処理装置1は、本発明の第6の態様の登録画像の画像処理システムを、画像蓄積装置2は、本発明の第4の態様の画像の保存システムを、画像蓄積装置2および画像検索装置3は、本発明の第5の態様の登録画像の検索システムを構成する。
【0024】
画像蓄積装置2は、デジタルスチルカメラ等の撮影画像を登録画像として保存する際、登録画像に適した感性表現キーワードを付属情報として対応付けて保存する装置である。
画像蓄積装置2は、画像取得部10と、被写体抽出・同定部12と、データベース部14と、登録画像格納部16とを有する。
【0025】
画像取得部10は、デジタルスチルカメラにより撮影された撮影画像を取得する部位である。あるいは、銀塩フィルムに撮影された画像を透過光を用いてCCD素子(Charged Coupled Device)等の受光面に結像させて画像を読み取るスキャナであってもよい。画像取得部10は、さらに、撮影画像を取得する際に撮影時の撮影情報、例えば、撮影位置(緯度、経度)、撮影方位および撮影倍率の情報、さらには、撮影日時の情報や撮影時のカメラから被写体に至る測距情報を取得する。なお、撮影位置および撮影方位の情報は、GPS(Global Positioning System )機能を搭載し、かつ、ジャイロを利用した方位測定センサを備えたカメラによって撮影が行われる際に撮影位置および撮影方位の情報を同時に記録したものが取得される。測距情報は、赤外線等を用いてカメラから被写体に至る距離を測定する測定センサによって測定して記録したものが取得される。
【0026】
撮影情報の取得の方法は、デジタルスチルカメラでは、画像データが画像取得部10に読み込まれる際に撮影情報のデータが読み込まれる。APS(Advanced Photo Sysytem) 銀塩フィルムを用いたカメラでは、銀塩フィルムの各撮影コマの上下に設けられた磁気記録領域に書き込まれ、スキャナで撮影画像を読み取る際に磁気記録領域に書き込まれた磁気記録情報が、スキャナに設けられた磁気読取装置によって読み取られることによって撮影位置および撮影方位の情報を取得することができる。
画像取得部10は、通信制御部5を介して接続されたインターネット等の通信ネットワーク8上のウェブサイト内の画像を取得するものであってもよい。
【0027】
被写体抽出・同定部12は、画像取得部10で取得された画像から撮影情報を用いて画像内の被写体を抽出する、詳しくは、被写体の領域を抽出し、さらに、この抽出された領域の被写体を同定するとともに、抽出した被写体から、または抽出した領域から、あるいは同定した被写体から、例えば「人物」、「山」、「海」、「空」、「山林」、または「富士山」といったように撮影被写体としての類型を求める部位である。
【0028】
被写体の領域の抽出については、例えば、取得した画像に対して微分処理を行うことにより、被写体としてのエッジ部分が鮮鋭化されている領域、またはこの領域で囲まれている領域を被写体の領域として抽出することができる。ピントの合った領域は、エッジ部分が鮮明であり、微分処理により値が大きくなるからである。
【0029】
また、カメラを同一の位置から同一の方向に向けて被写体を撮影する際、被写体に対して多段階の結像距離(カメラの結像レンズの主点と結像面との距離)で複数の画像を撮影して多段焦点撮影画像(多段フォーカス撮影画像)を得、撮影の際に得られる測距情報を用いて、さらに、多段焦点撮影画像とともに取得される結像距離の情報を用いて、撮影シーンの被写体の領域を抽出することができる他、撮影シーンの奥行き情報を得ることができる。具体的には、測距情報は撮影したカメラと被写体との間の距離であるので、この距離の情報に対応する結像距離に一致するまたは最も近い結像距離で撮影された撮影画像内においてピントが合った領域を求め、この領域を被写体の領域として抽出することができる。従って、これ以外の結像距離で撮影された撮影画像のピントの合った領域は、奥行きの情報として取得することができる。なお、ピントの合った領域は、上述したように微分処理により求めることができる。
このような奥行き情報は後述するように被写体の同定に利用するとよい。
【0030】
被写体の同定については、上述の撮影位置(緯度、経度)、撮影方位および撮影倍率の情報と、被写体抽出・同定部12が自ら保有する地図データとを用いて被写体を同定する。例えば、撮影位置および撮影方位から地図データ上における被写体となる候補を取り出し、撮影画像内における被写体の位置と形状(被写体の領域の形状)と撮影倍率とを用いて、撮影画像内の被写体の形状や大きさと地図データにおける被写体の候補となる3次元情報との対応を行うことによって、被写体の同定を行う。この場合、上述の奥行き情報を用いることで同定の精度は向上する。
【0031】
さらに、被写体抽出・同定部12は、抽出された被写体の領域、あるいは同定された被写体に基づいて撮影被写体としての類型を求める。例えば、「山」、「川」、「海」といった普通名詞や、例えば「富士山」、「東京タワー」といった固有名詞を求める。
なお、被写体の同定を行うことなく、直接被写体を抽出することにより、あるいは、被写体の領域を抽出し、この領域の画像データを用いることにより、例えば青い「海」、白い「山」といった普通名詞の類型を求めてもよい。
被写体抽出・同定部12は、さらに、データベース部14内に保存されている撮影被写体の類型と感性表現キーワードとの対応関係を用いて、感性表現キーワードを導出する。
【0032】
データベース部14は、本発明の第1データベースに対応する部分であって、上述したような撮影被写体の類型と、この類型と対応関係を付けた感性表現キーワードとを記録保存する部位である。
例えば、「海」、「湖」、または「空」の類型には「あざやか」といった感性表現キーワードを、「山林」には「すがすがしい」といった感性表現キーワードを、また、固有名詞の「富士山」には「壮大」といった感性表現キーワードを対応させて関係付ける。このような対応関係は、1つの類型に対して複数の感性表現キーワードが対応づけられ、1つの感性表現キーワードに対して複数の類型が対応づけられてもよい。
【0033】
データベース部14において、撮影被写体の類型と感性表現キーワードとを関連付ける方法では、画像の被写体またはシーンの主題については、マニュアル設定および自動設定のいずれでも良いし、両者を併用しても良い。また、感性表現キーワードの関連付けは、被写体の類型導出とは別処理としても良い。
例えば、画像の主要テーマが判れば良いので、被写体の類型を導出するのは、撮影画像に限らず、コンピュータグラフィックス(CG)でも可能である。
なお、本発明において対象とする画像としては、撮影画像の他、反射原稿/透過原稿の読取(スキャン)画像またはCG画像等の生成画像であっても良い。また、これらの撮影画像、読取画像、生成画像は、それぞれ放映画像などであっても良く、それぞれ動画/静止画を問わず、各種タイプの画像データを対象とすることができる。
また、画像シーンとしては、撮影被写体または画像の主題であり、シーン情報としては、撮影情報または主題情報であり、シーンとしては、被写体または主題であるのが好ましい。
【0034】
また、映像コンテンツ、例えば、テレビ(TV)放送等のメタデータに被写体を示すデータがある場合に、別途、感性表現検索用のデータを業者レベルおよび/またはユーザレベルで作成することもできる。例えば、被写体人物が、テレビタレントや有名人である場合、その人物の最新のイメージ調査データにアクセスして、感性表現キーワードを付属および/または更新させることができる。この場合には、一般ユーザーが自分でできるように、パーソナルコンピュータ(PC)ソフトを専門業者が提供することが好ましい。
ここでは、画像を表示デバイスに表示させ、印象を示すキーワードを入力および/または選択すると、被写体類型と入力キーワードとが関連付けられてデータベース部14に記憶される機能を持つのが好ましい。
【0035】
被写体抽出・同定部12において導出された感性表現キーワードは、撮影画像とともに、登録画像格納部16に送られる。
登録画像格納部16は、本発明の第2データベースに対応する部分であって、導出した感性表現キーワードを撮影画像の付属情報として対応付けて、撮影画像を登録画像として保存する。
【0036】
一方、画像検索装置3は、画像表現情報入力部18と、画像検索部20と、辞書参照部22とを有し、操作者が感性表現情報、例えば「すがすがしい」といった感性表現情報を入力することで、感性表現情報に適した登録画像を、登録画像格納部16から検索する装置である。
画像表現情報入力部18は、感性表現情報を入力するキーボードやマウス等の入力装置であり、感性表現情報は画像検索部20に送る。
【0037】
画像検索部20は、送られてきた感性表現情報と、登録画像格納部16に格納されている感性表現キーワードとを比較して、一致する感性表現キーワードがあるか否かを調べ、入力された感性表現情報と一致する感性表現キーワードが見つかると、この感性表現キーワードと対応付けられた登録画像を登録画像格納部16から取り出し、一致した感性表現キーワードとともに、後述する画像処理部24に送るように構成される。
【0038】
なお、入力された感性表現情報と一致する感性表現キーワードが見つからない場合、辞書参照部22に感性表現情報を送り、感性表現情報に近い近似表現を導出するように指示する。感性表現情報に近い近似表現が辞書参照部22から送られると、この近似表現と一致する感性表現キーワードがあるか否かを調べる。例えば、感性表現情報が「さわやか」である場合の近似表現は「すがすがしい」等である。
近似表現と一致する感性表現キーワードが見つかると、画像検索部20は、感性表現キーワードと対応付けられた登録画像を、登録画像格納部16から取り出し、この一致した感性表現キーワードとともに画像処理部24に送る。
なお、最終的に感性表現キーワードと一致する近似表現が見つからない場合、感性表現情報に適した登録画像を見い出すことができなかったものとして、画像出力装置4における処理は行われない。
【0039】
辞書参照部22は、画像検索部20から送られてくる感性表現情報に近い近似表現を、内蔵する辞書を参照して導出する部位である。近似表現は、感性表現情報に近似度の高い順番に複数導出してもよいし、近似度の高い順番に1つずつ導出してもよい。
【0040】
画像出力装置4は、画像処理部24とプリンタ部26とを有する。
画像処理部24は、画像検索部20から送られてきた登録画像に画像処理を施す部位である。なお、この画像処理の処理内容、すなわち、処理条件は、感性表現キーワードに対応して画像処理条件が設けられて、第3データベースにデータベース化されている。この第3データベースは、画像処理部24内に設けられているものであるのが好ましいが、データベース部14であっても良く、登録画像格納部16であっても良いし、これらとは、全く別のデータベースやメモリ(データ記録部)であっても良い。この内、第3データベースがデータベース部14である場合には、画像処理条件は、撮影被写体の類型とともに感性表現キーワードに対応付けられて格納されていても良いし、感性表現キーワードに対応付けられていれば、別々に格納されていても良い。
【0041】
従って、登録画像に画像処理を施す際、画像検索部20から送られてきた感性表現キーワードに基づいて第3データベースから画像処理条件を呼び出し、この画像処理条件に基づいて画像処理を施す。
すなわち、画像処理部24は、登録画像をそのまま、すなわち撮影画像のまま出力するのではなく、検索時に感性表現情報に一致したあるいは近似した感性表現キーワードの表現に適する方向に画像処理を施す。
例えば、被写体について、幾何学的特徴(大きさ、形状)を意図的に拡大縮小したり、画像濃度または色味を加工したり、さらには、シャープネス強調またはぼかし等の加工処理を施す。さらに、この画像処理条件は、撮影被写体としての類型毎に画像処理条件を異ならせてもよい。
【0042】
例えば、感性表現キーワードが「鮮やか」である場合、登録画像の所定の閾値以上の彩度を持つ登録画像内の領域に対して、さらに、彩度を上げる画像処理を施す。このような場合としては、登録画像の被写体の類型が「花」の場合が挙げられる。また、被写体の類型が「空」、「海」の場合、青色の彩度を上げる。
また、感性表現キーワードが「壮大な」または「雄大な」である場合、登録画像の被写体の類型が「山」の場合、被写体の大きさを大きくして、壮大さまたは雄大さを増すようにする。この場合、手前にいる人物の大きさを変えず、背景の山との隙間は補間処理によって行う。
また、登録画像内の「山」の領域のコントラストを上げたり、鮮鋭度を上げたり、雪山の場合、雪の白さを強調する色補正の画像処理を施す。また、「山」の領域以外の部分はぼかす。
【0043】
さらに、感性表現キーワードが「しんみり」である場合、登録画像をセピア風に画像処理を施す。
また、感性表現キーワードが「美しい」であり、登録画像の被写体の類型が「女性」の場合、背景の領域の大きさを変えずに登録画像の「女性」の領域を拡大する処理を施す。また、背景の領域をぼかす画像処理を施す。
【0044】
このように、操作者が感性表現情報入力部18で入力した感性表現情報に一致または近似した感性表現キーワードに対応して、登録画像に施す画像処理条件が定まる。このため、同一の登録画像であっても、入力される感性表現情報によって、感性表現キーワードが異なるので、画像処理の内容が異なる。なお、画像処理部24は、専用回路(ハードウェア)によって構成されたものであってもよいし、プログラム(ソフトウェア)の実行によって機能を発揮するものであってもよい。
【0045】
プリンタ部26は、画像処理部24で画像処理された登録画像をプリント画像として提供するために、画像処理の施された登録画像を出力する画像出力装置であり、インクジェットプリンタや感光材料をレーザビームで焼付け露光するプリンタが用いられる。
プリンタ部26は、画像処理の施された登録画像を出力する一形態であるが、画像処理部24で処理された登録画像は、モニタ7に表示されたり、通信制御部5に送られ、インターネット等の通信ネットワーク8を介してユーザPC(パーソナルコンピュータ)30に送信されてもよい。さらに、処理済登録画像は、MO、CD−R、Zip(登録商標)やフレキシブルディスク等の記録媒体に記録保存されてもよい。
以上が画像検索・画像処理装置1の基本的な構成である。
【0046】
このような画像検索・画像処理装置1において実施される本発明の画像の保存方法、登録画像の検索方法および登録画像の画像処理方法について説明する。
ここで、図2は、本発明の第1の態様の画像の保存方法の一例のフローチャートであり、図3は、本発明の第2の態様の登録画像の検索方法および本発明の第3の態様の登録画像の画像処理方法の一例のフローチャートである。図4は、本発明の第1の態様の画像の保存方法において、撮影画像と対応付けられる情報を表にして分かり易く説明した図である。
【0047】
本発明の第1の態様の画像の保存方法においては、まず、図2に示すように、撮影画像が画像取得部10において取得される(ステップ100)。
撮影画像の取得は、デジタルスチルカメラから直接転送される形態や、デジタルスチルカメラで撮影された画像を記録媒体を経由して取得する形態や、通信制御部5を介してユーザPC30から転送される形態や、さらに、銀塩フィルムに記録された撮影画像をスキャナで光電的に読み取る形態が挙げられる。
その際、撮影画像の取得とともに、撮影位置(緯度、経度)、撮影方位および撮影倍率の情報、さらには、撮影日時の情報や撮影時のカメラから被写体に至る測距情報等の撮影情報を取得する。
【0048】
次に、被写体抽出・同定部12において、被写体自体または被写体の領域が抽出される(ステップ102)。
例えば、取得した撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域、またはこの領域で囲まれている領域を被写体の領域として抽出する。例えば、被写体を富士山とした撮影した場合、撮影された富士山のエッジ部分が領域として抽出される。このような被写体の領域の抽出は、複数の被写体の領域が見い出された場合、撮影画像内の、より真ん中に位置する領域あるいは大きな領域の点数が高くなるように点数化し、点数の最も高い領域を被写体の領域として抽出する。
【0049】
次に、抽出された被写体または抽出された領域の被写体が何であるかが同定される(ステップ104)。例えば、撮影情報に、撮影位置(緯度、経度)、撮影方位および撮影倍率の情報が含まれる場合、撮影位置および撮影方位から地図データ上における被写体となる候補を取り出し、撮影画像内における被写体の位置と形状(被写体の領域の形状)と撮影倍率とを用いて、撮影画像内の被写体の形状や大きさや位置と地図データにおける被写体の候補となる3次元情報との対応を行うことによって、被写体の同定を行う。この場合、カメラを同一の位置から同一の方向に向けて、被写体に対して多段階の結像距離で複数の画像を撮影した多段焦点撮影画像(多段フォーカス撮影画像)を得た場合、撮影シーンの奥行き情報を得ることができるので、この撮影シーンの奥行き情報を用いて同定の精度を向上させることができる。
【0050】
次に、被写体の類型化が行われる(ステップ106)。
例えば、抽出または同定された被写体が「富士山」であれば、「山」といった類型が求められる。
次に、この類型である「山」と対応関係が付けられた感性表現キーワードが、予め用意されているデータベース部14から導出されて(ステップ108)、撮影画像と対応付けが行われる。
最後に、撮影画像は、取り出された感性表現キーワードと対応付けられて、登録画像として登録画像格納部16に記録保存される(ステップ110)。
図4では、「富士山」の撮影画像に、「壮大な」、「どっしりした」、「真っ白な」といった感性表現キーワードが対応付けられている。
【0051】
このような撮影画像の保存方法では、撮影情報に撮影日時が含まれる場合、撮影日時のイベント情報や天気の情報を割り出すことができるのでこの天気の情報を参照して、被写体の類型化の際に、類型化を天気の情報で限定したものを用いるものであってもよい。
例えば、「富士山」の撮影画像の場合、撮影時の天気の情報から判断して天気が晴れている場合「晴れた日の山」といった類型を定め、天気が雨の場合「雨の日の山」といった類型を定める。そして「晴れた日の山」に「さわやかな」といった感性表現キーワードを、「雨の日の山」に「じめじめした」といった感性表現キーワードの対応関係を持たせてデータベース部14に予め用意しておく。また、撮影日時が秋であれば、紅葉した「秋の山林」に対して「鮮やかな」または「きれいな」といった感性表現キーワードの対応関係を持たせる。
【0052】
さらに、撮影日時から撮影位置におけるイベント情報が割り出されるので、例えば、「祭り」といった類型に対して、「にぎやかな」、「楽しげな」といった感性表現キーワードの対応関係を持たせてもよい。また、「入学式」、「卒業式」、「成人式」といったイベントの類型に対して、それぞれ「晴れやかな」といった感性表現キーワードの対応関係を持たせてもよい。
このような類型と感性表現キーワードの対応関係は予めデータベース部14に作成されて記録保存されている。
【0053】
こうして登録画像格納部16に記録保存された登録画像は、画像検索装置3からのアクセスを受け、登録画像の検索に供される。
まず、感性表現情報入力部18から、操作者によって感性表現情報が入力される(ステップ120)。例えば、「雄大な」といった感性表現情報が入力されると、この感性表現情報は画像検索部20に送られる。
【0054】
画検索部20では、送られてきた感性表現情報と感性表現キーワードとが比較され、感性表現情報と一致する感性表現キーワードが登録画像格納部16に記録保存されているか否かが調べられる。例えば「雄大な」といった感性表現キーワードが記録保存されているか、調べられる。
一致する感性表現キーワードが見つからない場合、感性表現情報は辞書参照部22に送られる。辞書参照部22では、送られてきた感性表現情報に近似する近似表現が導出される。近似表現として、例えば、近似度の高い近似表現が導出され画像検索部20に送られる。例えば、「雄大な」といった感性表現情報に対して「壮大な」といった近似表現が導出され、画像検索部20に返送される。
【0055】
画像検索部20では、返送された近似表現を用いて登録画像格納部16にアクセスし、近似表現と一致する感性表現キーワードが記録保存されているか、調べられる。
登録画像格納部16には、図4に示すように、「富士山」の撮影画像が、この撮影画像の付属情報として「壮大な」、「どっしりした」、「真っ白な」といった感性表現キーワードと対応付けられているので、近似表現である「壮大な」と一致する感性表現キーワード「壮大な」が見いだされる。従って、この感性表現キーワードを付属情報として持つ「富士山」の登録画像が取り出される。このように登録画像が検索される(ステップ122)。
【0056】
このように感性表現情報に一致する、または、近似する感性表現キーワードを付属情報として持つ登録画像が検索される。検索された結果、登録画像が複数検索された場合、検索画像がモニタ7に表示され、後述するような登録画像の出力が操作者の選択に委ねられる。こうして出力画像が設定される(ステップ124)。なお、以降では、プリント画像を出力する例を用いて説明するが、本発明はこれに限定されない。
こうして出力画像として設定された登録画像は、感性表現情報に一致する、または近似する上記感性表現キーワードとともに、画像処理部24に送られる。
【0057】
画像処理部24では、画像検索部20から送られてきた感性表現キーワードに応じて画像処理条件が定められ(ステップ126)、この画像処理条件に基づいて、画像処理が行われる(ステップ128)。
すなわち、画像処理部24では、処理条件は、感性表現キーワードに対応して画像処理条件が一意的に対応付けられて、第3データベースにデータベース化されているので、感性表現キーワードに応じて、一意的に画像処理条件が定められる。この画像処理条件は、感性表現キーワードと対応づけられており、この感性表現キーワードは、操作者によって入力された感性表現情報によって変わるものであるため、同一の登録画像であっても、入力される感性表現情報によっては、画像処理条件が変わる。
【0058】
例えば、「壮大な」といった感性表現キーワードに対して、被写体である山の領域を領域の中心を変えずに拡大する画像処理条件がデータベース化されている一方、「真っ白な」といった感性表現キーワードに対して、被写体である山のやや薄汚れた白い領域を雪と判断して明度の高い白色領域に変換する画像処理条件がデータベース化されている場合、感性表現情報として「雄大な」が入力された場合と、「真っ白な」が入力された場合とでは、同じ「富士山」の登録画像であっても、前者では「富士山」を大きく強調する画像処理が行われ、後者では「富士山」の雪の領域を真っ白に強調する画像処理が行われる。
【0059】
このように画像処理が施された登録画像は、プリンタ部26に適したデータに変換されて、プリンタ部26でプリント画像としてプリント出力される(ステップ130)。
選択された出力の形態によっては、通信制御部5を介して画像処理の施された登録画像がユーザPC30に送信される。あるいは、図示されないドライブ装置を介してMO、CD−R、Zip(登録商標)やフレキシブルディスク等の記録媒体に書き込まれる。
【0060】
このように、本実施形態では、操作者の入力した感性表現情報に適した登録画像を検索し、しかも、感性表現情報に応じて登録画像も強調されて出力されることを特徴とする。
【0061】
上記実施形態のデータベース部14は、撮影被写体の類型と、この類型と対応関係を付けた感性表現キーワードと予め記録保存したものであったが、本発明においては、このデータベース部は、各個人毎に専用のデータベース部が構築されたものであってもよい。例えば、複数のサンプル画像と感性表現キーワード一覧表を予め用意しておき、各個人がサンプル画像毎に感性キーワード一覧表から感性表現キーワードを選択することで、サンプル画像の撮影被写体の類型と感性表現キーワードの対応関係を求めておき、これをデータベース部に記録保存するとよい。これにより個人用データベースをそれぞれ構築することができる。
【0062】
また、上記実施形態では、撮影画像を登録画像として登録画像格納部16に格納する際、登録画像に感性表現キーワードを付属情報として対応させて記録保存するが、さらに、撮影画像から被写体の領域を抽出して求めた被写体の類型を、登録画像の付属情報として対応させて登録画像格納部16に記憶させてもよい。これにより、図3に示すステップ122における登録画像の検索において、以下の方法によって登録画像を検索することができる。
【0063】
すなわち、画像検索においては、ステップ120で入力された感性表現情報に一致する、または、近似する感性表現キーワードをデータベース部14にて調べる。感性表現情報に一致する、または近似する画像表現キーワードがない場合、画像検索部20は、辞書参照部22に近似表現の導出を指示し、この指示に応じて導出された近似表現を用いてデータベース部14にて感性表現キーワードを調べる。こうして、感性表現情報に一致する、または近似する感性表現キーワードをデータベース部14にて見出すと、これに対応した撮影被写体の類型を取り出す。この取り出された撮影被写体の類型と一致する付属情報としての類型を調べる。このようにして、上記撮影被写体の類型と一致する類型を付属情報として持つ登録画像を検索することができる。勿論、この時、登録画像が付属情報として持つ複数の感性表現キーワードの中に、感性表現情報に一致する、または近似する感性表現キーワードが含まれているのが好ましい。
【0064】
さらに、登録画像格納部16は、上述した登録画像の検索が行われた日時の履歴を登録画像に対応させて記録保存してもよい。例えば、後日、検索した日時の記憶を頼りに登録画像を検索することもできる。
さらに、モニタ7の近くに音声記録装置を設け、検索した登録画像がモニタ7に表示された際の登録画像鑑賞者の発言内容を録音し、この発言内容を音声情報として登録画像の付属情報として対応付けて記録保存してもよい。一方、感性表現情報入力部18は、音声入力システムを備え、登録画像鑑賞者が、後日、上記発言内容の記憶を頼りに音声入力により感性表現情報を入力することで、上記発言内容を付属情報として持つ登録画像を検索することができる。
【0065】
このような検索は、上記実施形態における検索方法と組み合わせることで、効率良く所望の登録画像を検索することができる。また、本発明に用いられる画像検索および画像処理装置により、例えば人が癒される画像を表示したり、すがすがしい気持ちになる画像を表示したりすることができる娯楽性をも提供することができる。
【0066】
なお、上述した実施例においては、撮影画像の登録保存、登録画像の検索および画像処理の対象となる被写体またはシーンを風景としているが、本発明はこれに限定されない。
例えば、対象となる被写体またはシーンは、人物や人物の所有物、あるいは人物の近くにある物品であっても良い。
この時、撮影被写体の類型と感性表現キーワードとの対応付けは、以下のようにして行うことができる。
【0067】
図5に示す実施例を用いて説明すると、タグセンサ付きデジタルカメラ42でICタグ44a付き物品44、例えばハンドバッグを持っている、または装飾品や衣服を身につけている人物46を撮影すると、人物46の撮影画像(画像データ)の他に、撮影被写体の類型となるハンドバッグ、装飾品や衣服等の物品44の識別データ(物品ID)を入手することができる。
撮影後、カメラ42がPC(パソコン)48に接続され、入手できた物品IDが画像データとともにPC48に入力される。PC48から物品IDをキーとして、メーカ50側に通信ネットワーク52を介してアクセスし、メーカ50側が用意している物品44の物品情報や感性表現キーワードを取り込み、取り込まれた感性表現キーワードと物品44(類型)との関連付けを行い、データベース(例えば、図1のデータベース部14)に保存することができるし、人物や物品のの画像データを感性表現キーワードと関連付けて、好ましくはさらに、類型(物品データ)とも関連付けて、データベース(登録画像格納部16)に保存することもできる。
【0068】
ここで、人物の所有物や撮影時に当該人物の近傍にある物品44としては、撮影被写体の類型となるもので、上述した装飾品類、衣服類、ハンドバッグ類、靴類、帽子類、その他置物類や、家具調度品などを挙げることができる。撮影被写体の類型としては、1つであっても、複数であっても良い。
また、メーカ50側では、物品44の物品IDに対応付けて、物品情報および感性表現キーワードとなる感性表現データが用意されている。例えば、物品44が着物である場合に、物品IDが「XXX1」である着物には「あでやか」なる感性表現データが用意され、物品IDが「XXX2」である着物には「しぶい」なる感性表現データが用意される。
【0069】
すなわち、風景以外の被写体の場合の撮影被写体の類型と感性表現キーワードとの対応付けの第1ステップでは、画像データには、付属情報として被写体情報を含む。ここで、被写体情報としては、人物情報の他、その人物の所有物や近傍の載置物の各物品について、各物品に付けられているICタグから読み取ることができる。
第2ステップでは、被写体に関連する感性表現をデータベースから読出し、画像データの付属情報に追加する。この時、1つの物品に優先順位付きで複数の感性表現があっても良い。
なお、本発明において対象とされる画像としては、静止画の他、動画であっても良い。
【0070】
また、上述した実施例においては、撮影画像の画像データと感性表現キーワードとを関連付けてデータベース(登録画像格納部16)に保存しているが、本発明はこれに限定さない。すなわち、本発明においては、画像データと感性表現キーワードとの関連がわかればよいので、この画像データに感性表現キーワードを付属させるという形態に限定されない。例えば、個々の感性表現キーワードに対し、画像データのID(ファイル名、アクセス先等)を付属させる形態のファイルを記録(但し、追加/更新/削除は自由)し、参照する方法でも良い。
【0071】
また、感性表現情報と検索対象との対応付けに学習機能を持たせ、両者の対応付けをユーザ個人毎に学習し、カスタマイズするようにしても良い。
入力ステップとしては、例えば、PC(パソコン)のデスクトップの背景画像(いわゆる壁紙)として欲しい画像を検索するものとすると、以下のように行うことができる。
最初にある特定のキーワードを入力または選択すると、複数の画像が順次、またはインデックス画像として表示される。ユーザによって、好みの画像(複数でも可能)が選択されると、選択された絵には、ポイントが加算され、選択された画像が壁紙として所定期間(1日/1週間)表示される。なお、複数画像選択した場合には、順次更新されるのが良い。
その後、所定期間経過後に、再び、感性表現キーワードにより、画像を検索して、選択する処理を繰り返す。
【0072】
次の学習ステップでは、所定期間経過後に、同一の感性表現キーワードで検索された画像について、ポイントの分布をチェックする。
ここでは、各画像の被写体における類型ごとにポイントを集計する。なお、1つの被写体に複数の類型を対応付けても良いので、この場合には、各類型毎にポイントが加算される。
例えば、類型は、1つの被写体に1つとは限らず、固有名詞でも良いし、分野とか国名とか、山であれば何千mクラスであるなど、人物であれば性別、年齢、職業、といった類型をつけることができる。
例1として、「固有名詞:富士山」、「分野:山」、「国名:日本」、「高度:3000mクラス」、「人気度:大」などを挙げることができる。
例2として、「固有名詞:○○」、「分野:人物」、「国名:日本」、「性別」、「年齢層」、「職業:俳優」などを挙げることができる。
【0073】
この後、加算されたポイントを各類型毎に集計し、ポイント集計結果をユーザ毎に記憶しておく。この集計結果は、検索カスタマイズ情報としてPC内に登録しておく。
次回の画像検索時には、所定の比率以上のポイントを有する類型に絞って、あるいは優先して、画像を検索し、表示する。例えば、類型毎にポイントを付けていくのをある程度繰り返して行き、最もポイントを多く獲得した類型に高い優先度をつけることができる。
この時には、同じ感性表現キーワードであっても、A氏の場合とB氏の場合では、異なる画像が検索される。例えば、同じ「さわやか」という感性表現キーワードでも、A氏の場合には自然のシーンで、特に森林シーンが主にヒットする。一方、B氏の場合には若手の女性歌手が主にヒットするという風にだんだん別れて行く。
この時、一定期間経過したら削除しても良いし、古いデータは順次消去する等の処置をすることもできる。
【0074】
なお、上記実施例において、画像の関連情報と関連付けてポイント集計を行っても良い。
例えば、類型が同じ「分野:山」の場合についても、各撮影情報の「撮影日時(季節/時間帯)」、その時の「天候(晴れ/雨)」、「撮影倍率(大/小)」別にポイント集計しても良い。すなわち、同じ山であっても、撮影情報を階層化して、各階層毎にポイント集計しても良い。
また、上述したカスタマイズ処理は、ユーザ個人別に行われているが、このカスタマイズ処理を、特定のグループ(事前にメンバ登録)内で、すなわち、特定の同好会等のグループ単位で行うこともできる。
ここでは、各メンバの画像指定におけるポイントをグループ内で集計し、グループ内検索カスタマイズ情報として、代表するPC内に記録することができる。
さらに、キーワード検索タイプを、一般共通用、個人用、またはグループ用で切り換えて使用することもできる。すなわち、一般共通用/個人用/グループ用の検索カスタマイズ情報を切り換えて使用できる。
【0075】
本発明の画像の保存方法、登録画像の検索方法および画像処理方法を適用するサービス形態および利用方法として、以下のようなものも挙げることができる。
例えば、例1としては、プレゼントの選択時に、相手の個人用検索カスタマイズ情報を利用して検索することができる。例えば、プレゼントを贈る相手の人物は、さわやかな色の服が好きだということを指定すると、その人物のさわやかというのはどのような色かというのをカスタマイズ情報を使って正確に選び出すことができ、好みにあった服を選ぶことができる。
【0076】
次に、例2として、飲食店をインターネットで検索する場合に、個人/グループの検索カスタマイズ情報を利用することができる。
また、例3として、化粧シミュレーションや化粧品の選択に利用することができる。この時には、化粧品メーカ、色味、モデル等の類型で個人用検索カスタマイズ情報を作成しておくのが好ましい。
例4として、見合い写真選別に利用することができる。この時には、化粧品顔の縦横比や目鼻口の間隔比等でタイプ分けして顔の類型を作成しておくのが好ましい。
【0077】
また、本発明の第1および4の態様の画像の保存方法およびシステム、本発明の第2および5の態様の登録画像の検索方法およびシステムならびに本発明の第3および6の態様の登録画像の画像処理方法およびシステムは、基本的に以上のように構成されるが、本発明これに限定されず、本発明の第7の態様のように、上述した本発明の第1、2および3の態様の画像の保存方法、登録画像の検索方法および登録画像の画像処理方法をコンピュータ上で動作する画像処理プログラムとして実現しても良い。
【0078】
以上、本発明の画像の保存方法、登録画像の検索方法およびシステム、登録画像の画像処理方法ならびにこれらの方法を実施するプログラムについて種々の実施形態を挙げて詳細に説明したが、本発明は、上記種々の実施形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【0079】
【発明の効果】
以上、詳細に説明したように、本発明によれば、撮影画像や取得画像や生成画像等の画像に関する感性表現キーワードを撮影被写体や画像の主題等の画像シーンの類型を介して設定し、この感性表現キーワードを撮影画像や取得画像や生成画像等の画像の付属情報として対応付けて、この画像を登録画像として記録保存するので、操作者が感性表現情報を入力するだけで、感性表現情報に適した登録画像を効率よく検索することができる。しかも、撮影場所や被写体の固有名詞がわからない場合でも、感性表現情報を入力するだけで所望の登録画像を検索することができ、しかも、感性表現情報に応じた画像処理を施すので、所望の画像を容易に入手することができる。
【図面の簡単な説明】
【図1】 本発明の画像の保存方法を実施する画像保存・検索装置の一実施形態の概略の構成を示すブロック図である。
【図2】 図1に示す画像保存・検索装置おいて実施される本発明の画像の保存方法の流れの一例を示すフローチャートである。
【図3】 本発明の登録画像の検索方法および登録画像の画像処理方法の流れの一例を示すフローチャートである。
【図4】 本発明の画像の保存方法における撮影画像との対応関係を持つ情報をわかり易く説明する説明図である。
【図5】 本発明の登録画像の検索方法に利用される撮影被写体の類型と感性表現キーワードとの対応付けを説明するための説明図である。
【符号の説明】
1 画像保存・検索装置
2 画像蓄積装置
3 画像検索装置
4 画像出力装置
5 通信制御装置
6 CPU
7 モニタ
10 画像取得部
12 被写体抽出・同定部
14 データベース部
16 登録画像格納部
18 感性表現情報入力部
20 画像検索部
22 辞書参照部
24 画像処理部
26 プリンタ部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image storage method for storing a captured image taken by a camera or the like, a read image of a reflection original or a transmission original, or a generated image such as CG (computer graphic) as a registered image, and the image stored by this storage method. Registered image search method and system for searching for a desired image from registered images, registered image for extracting an image stored by the image storage method or the image searched for by the registered image search method, and performing image processing The present invention relates to an image processing method, a program for executing an image storage method, a program for executing a registered image search method, and a program for executing an image processing method for registered images.
[0002]
[Prior art]
Today, it is desired to efficiently retrieve a desired image from a large amount of stored images while accumulating a large amount of captured images captured using a camera, and various image retrieval systems have been proposed. ing.
On the other hand, a person who searches from the stored image (operator) inputs an image suitable for his / her emotional expression, for example, an image suitable for this emotional expression by inputting an emotional expression such as “Epic” or “Refreshing”. It is also desired to efficiently search for and output.
[0003]
For example, Patent Document 1 proposes an image search system in which a person who searches for an image can search for an image suitable for his / her sensitivity without placing a burden on the inspection.
The image search system in the above publication includes a keyword input unit for inputting a keyword, an image input unit for inputting an image, an image storage unit for storing an image feature amount and a keyword together with a registered image, and an input from the keyword input unit. Keyword search means for detecting images by combining keywords, feature quantity / keyword extraction means for automatically extracting keywords and feature quantities from registered images, and narrowing down the search results by the keyword search means without using keywords By providing the search result narrowing means, a person who searches for a captured image can search for an image suitable for his or her own sensibility without placing a burden on the inspection.
[0004]
Further, in
[0005]
However, the image search system disclosed in Patent Document 1 captures image feature amounts calculated for each acquired image, for example, image feature amounts obtained from a histogram using image data, and “brilliant” or “major”. There is a problem that it is difficult to uniquely associate a subject in an image, and thus it is difficult to efficiently search for an image suitable for the input emotional expression.
[0006]
Further, the search method of
[0007]
[Patent Document 1]
JP 2000-048041 A
[Patent Document 2]
JP 2001-084274 A
[0008]
[Problems to be solved by the invention]
Therefore, the present invention solves the above-mentioned problems of the prior art, and can efficiently search for an image suitable for a sensitivity expression keyword associated with a type of an image scene such as a photographed subject or an image subject. By storing an image such as a captured image, an acquired image, or a generated image as a registered image in the database, and by inputting an emotion expression keyword from the registered image stored by the storage method, Registered image search method and system capable of efficiently searching for an image suitable for the Kansei expression keyword, registered image searched by the search method, and a registered image subjected to image processing according to the input Kansei expression Image processing method, program for executing image storage method, program for executing registered image search method, and registration And to provide a program implementing the image processing method of the image.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, the first aspect of the present invention uses a (first) database in which image scene types and Kansei expression keywords associated with the types are recorded and stored in advance.photographAsk for information attached to the image,photographAn image storage method for storing an image or its identification information as a registered image together with the attached information (in a second database),photographWhen saving an image,A differential process is performed on the photographed image, and a region where the edge portion of the subject is sharpened or a region surrounded by this region is defined as a subject region.Extract andBy identifying the subject area using at least photographing information including information on the photographing position, photographing orientation, and photographing magnification of the photographed image, and map data,The type as the image scene is obtained, and the (first) database is referred to using the obtained type., Corresponding to the above typeThe Kansei expression keyword is derived, and the derived Kansei expression keyword, or the Kansei expression keyword and the type as the image scene are described above.photographCorresponding as ancillary information of the image,photographThe present invention provides a method for storing an image, wherein the image or its identification information is stored as a registered image (in the second database).
[0010]
Here, it is preferable that the image is a captured image, an acquired image, or a generated image, the image scene is a captured subject or an image subject, and the scene is an object or the subject.
That is, according to one aspect of the present aspect, the attached information of the photographed image is obtained using a database (first) in which a photographed subject type and a sensitivity expression keyword associated with this type are recorded and stored in advance. An image storage method for storing a captured image as a registered image together with the attached information (in a second database), wherein when the captured image is stored, a subject in the captured image is extracted and the captured subject is A type is obtained, the Kansei expression keyword is derived by referring to the (first) database using the obtained type, the derived Kansei expression keyword is associated as attached information of the photographed image, and the photographing The present invention provides an image storage method characterized by storing an image as a registered image (in the second database).
[0011]
Here, it is preferable that the registered image also associates the type of the subject obtained when the photographed image is stored as the subject to be photographed as attached information of the photographed image.
Further, it is preferable that the extraction of the subject in the photographed image is performed using the depth information of the photographed scene.
Also, after extracting the subject in the captured image, the subject is identified.In addition to the shooting information and map information,Shooting depth informationTo calculate the position of the subject in the area other than the subject area.It is also preferable to obtain the type of the subject as the subject to be photographed.
Further, it is preferable that the extraction of the subject in the captured image is to extract a region of the subject in the captured image.
Moreover, it is preferable that the said imaging | photography information contains the information of the weather at the time of imaging | photography of the said picked-up image.
Further, the auxiliary information of the photographed image is obtained using a database in which the type of the image scene and the sensitivity expression keyword associated with the type are recorded and stored in advance, and the photographed image or its identification information is used as the registered image. A method for storing an image to be stored together with attached information, wherein when tagging a subject, the tag information of an IC tag previously given to the subject is read simultaneously, and when the shot image is stored, the read tag information is The sensibility expression keyword is derived with reference to the database, the derived sensibility expression keyword, or the sensibility expression keyword and the type of the image scene are associated as attached information of the photographed image, and the photographed image Alternatively, it is preferable to store the identification information as a registered image.
In addition, when there are a plurality of subjects in the captured image, a score is assigned so that the score of the subject located at the center in the captured image is higher, and the sensitivity expression keyword Is preferably derived.
[0012]
In order to achieve the above object, according to the second aspect of the present invention, a desired registered image is selected from registered images stored in the second database by the image storing method of the first aspect. A search method for searching, wherein an emotional expression keyword that matches or approximates the inputted emotional expression information is found from the attached information of the registered image, and a registered image having the found emotional expression keyword as the attached information The present invention provides a registered image retrieval method characterized by retrieving a registered image by taking it out (from the second database).
Also,Kansei expression keywords that match or approximate the input Kansei expression informationIs derived using a dictionary reference unit having a built-in dictionary, and the Kansei expression keywordsAlternatively, the type of the image scene corresponding to the Kansei expression keyword is found from the attached information of the registered image, and the registered image having the found Kansei expression keyword or the type of the image scene as the attached information is extracted. To search for registered images, and to search for registered imagesIs to provide.
[0013]
In order to achieve the above object, according to the second aspect of the present invention, a desired registered image is selected from registered images stored in the second database by the image storing method of the first aspect. A retrieval method that retrieves a type of a photographed subject (from the first database) that corresponds to or corresponds to a Kansei expression keyword that matches or approximates the inputted emotional expression information, and The present invention provides a registered image retrieval method characterized by retrieving a registered image by taking out a registered image having a type as attached information (from the second database).
[0014]
In order to achieve the above object, according to the second aspect of the present invention, a desired registered image is selected from registered images stored in the second database by the image storing method of the first aspect. A search method for searching for a registered image in the (second) database by using an emotional expression keyword that matches or approximates the emotional expression information input when searching for the registered image. Then, a plurality of registered images having this sensitivity expression keyword as attached information are taken out and displayed on the image display device, and the user can select from the displayed plurality of registered images.SelectedSelectedOneImage orThe imageAdding points to the type ofThe registered imageSearchDoEveryConduct,SaidThe added points, For each image or for each type of image, and for each userAggregate and memorize it, the next time you search,Among the plurality of registered images, an image having an attached emotional expression keyword that matches or approximates the inputted emotional expression information, and the stored point isMore than a predetermined ratioIsimage,OrThe stored point is greater than or equal to a predetermined ratioIn a categoryLimited images that applyOr,priorityBy taking outThe present invention provides a registered image retrieval method characterized by retrieving a registered image.
[0015]
In order to achieve the above object, according to the third aspect of the present invention, the registered image retrieved (from the second database) by the registered image retrieval method of the second aspect is called to perform image processing. An image processing method for registered images,The sensitivity expression keyword is set in association with the registered image, and further,Image processing conditions are set in association with the emotion expression keywords (in the third database), and when image processing is performed on a registered image, an emotion expression that matches or approximates the emotion expression information Call the image processing condition associated with the keyword (from the third database), and based on this image processing conditionAutomaticallyThe present invention provides an image processing method for a registered image characterized by performing image processing.
[0016]
In order to achieve the above object, according to a fourth aspect of the present invention, there is provided a first database that pre-records and stores a type of an image scene and a sensitivity expression keyword associated with the type.photographWhen saving an image,A differential process is performed on the photographed image, and a region where the edge portion of the subject is sharpened or a region surrounded by this region is defined as a subject region.Extract andBy identifying the subject area using at least photographing information including information on the photographing position, photographing orientation, and photographing magnification of the photographed image, and map data,Means for obtaining a type as the image scene, and referring to the first database using the obtained type, Corresponding to the above typeMeans for deriving the sensitivity expression keyword;
The derived Kansei expression keyword, or the Kansei expression keyword and the type as the image scene arephotographCorresponding as ancillary information of the image,photographA second database for storing an image or its identification information as a registered image together with the attached information is provided.
A retrieval system for retrieving a desired registered image from registered images, wherein a first database that pre-records and stores image scene types and Kansei expression keywords associated with the types, and subjects Means for simultaneously reading the tag information of the IC tag previously given to the subject when shooting, and the tag information used when reading the tag information when saving the shot image, the sensitivity expression keyword with reference to the database Is associated with the derived Kansei expression keyword, or the Kansei expression keyword and the type of the image scene as attached information of the photographed image, and the photographed image or its identification information is stored as a registered image. 2 sensibility expressions entered from 2 databases and registered images recorded and stored in this 2nd database The sensibility expression keyword that matches or approximates the information, or the type of the image scene corresponding to the sensibility expression keyword is found from the attached information of the registered image, and the found sensibility expression keyword or the image scene There is provided a registered image search system comprising a registered image search means for retrieving a registered image having a type as attached information.
[0017]
Here, it is preferable that the image is a captured image, an acquired image, or a generated image, the image scene is a captured subject or an image subject, and the scene is an object or the subject.
In addition, it is preferable that the registered image also associates the type of the subject obtained when the captured image is stored as the captured subject as attached information of the captured image.
Further, it is preferable that the extraction of the subject in the photographed image is performed using the depth information of the photographed scene.
It is also preferable to obtain the type of the subject as the subject to be photographed by extracting the subject from the photographed image and then identifying the subject using the depth information of the subject.
Further, it is preferable that the extraction of the subject in the captured image is to extract a region of the subject in the captured image.
[0018]
In order to achieve the above object, a fifth aspect of the present invention is a retrieval system for retrieving a desired registered image from registered images, the image storage system according to the fourth aspect of the present invention, Registered from the registered images recorded and stored in the second database, the emotional expression keyword that matches or approximates the input emotional expression information, or the type of the image scene corresponding to the emotional expression keyword. A registered image retrieval system comprising: a registered image retrieval unit that retrieves a registered image having a headline from image auxiliary information and the found emotional expression keyword or the type of the image scene as auxiliary information. It is to provide.
[0019]
In order to achieve the above object, a fifth aspect of the present invention is a retrieval system for retrieving a desired registered image from registered images, the image storage system according to the fourth aspect of the present invention, When a registered image is searched from registered images recorded and stored in the second database, registration in the second database is performed using the emotional expression keyword that matches or approximates the input emotional expression information. Search means for searching for an image, an image display device for taking out and displaying a plurality of registered images having this sensitivity expression keyword as attached information, and an image selected by the user from a plurality of displayed registered images or Adding points to the type is repeated for each search for a predetermined period, and after the predetermined period has passed, images searched for in the same emotion expression keyword or For each type and for each user, the evaluation means for adding up the added points and storing the collected points as the attached information of the registered image in the second database; The present invention provides a registered image search system characterized by searching for a registered image by focusing on or prioritizing the image having the above points or its type.
A retrieval system for retrieving a desired registered image from registered images, wherein a first database that pre-records and stores image scene types and Kansei expression keywords associated with the types, and subjects Means for simultaneously reading the tag information of the IC tag previously given to the subject when shooting, and the tag information used when reading the tag information when saving the shot image, the sensitivity expression keyword with reference to the database Is associated with the derived Kansei expression keyword, or the Kansei expression keyword and the type of the image scene as attached information of the photographed image, and the photographed image or its identification information is stored as a registered image. Search for registered images from two databases and registered images recorded and stored in the second database. Search means for searching for a registered image in the second database using an emotional expression keyword that matches or approximates the input emotional expression information, and a plurality of registered images having the emotional expression keyword as attached information. An image display device to be taken out and displayed, and adding points to one image selected by the user from among a plurality of displayed registered images or a type thereof is repeated for each predetermined period, and the predetermined period An evaluation unit that aggregates the added points for each image or type searched for the same Kansei expression keyword after each elapse and for each user, and stores it in the second database as the attached information of the registered image; The search means narrows down to an image having a predetermined ratio or more or its type at the next search, There is preferentially, provide search system of the registration image and performing a search of the registered image.
[0020]
In order to achieve the above object, according to a sixth aspect of the present invention, there is provided a registered image image processing system for performing image processing on a registered image, the registered image search system according to the fifth aspect, A third database in which image processing conditions are set in association with a sensitivity expression keyword and a registered image retrieved from the second database by the registered image retrieval system are called, and the registered image called When performing image processing, an image processing unit that calls an image processing condition associated with a Kansei expression keyword that matches or approximates the Kansei expression information from the third database and performs image processing based on the image processing condition The present invention provides an image processing system for registered images.
[0021]
In order to achieve the above object, according to a seventh aspect of the present invention, there is provided a program for performing the image storage method according to the first aspect of the present invention, and registration of the second aspect of the present invention. A program characterized by implementing an image retrieval method or a program characterized by implementing an image processing method for registered images according to the third aspect of the present invention is provided.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
An image storage method, registered image retrieval method and system, registered image processing method, and program for executing these methods according to the present invention will be described below in detail with reference to the preferred embodiments shown in the accompanying drawings.
In the following, the method of the present invention (the image storage method of the first aspect of the present invention, the registered image search method of the second aspect of the present invention, and the registered image image processing method of the third aspect of the present invention) However, the present invention is not limited to the image search / image processing apparatus 1 shown in FIG.
[0023]
FIG. 1 is a block diagram functionally showing a schematic configuration of the image search / image processing apparatus 1.
The image retrieval / image processing apparatus 1 may be configured by a computer that partially performs a function by executing a program, may be configured by a dedicated circuit, or may be configured by a computer and a dedicated circuit. Also good.
The image search / image processing apparatus 1 searches for an image by inputting information of emotional expressions such as “major” and “brilliant” (hereinafter referred to as “sensitive information”), and obtains a desired image as an image. It is a device that processes and outputs as a photographic print.
The image search / processing device 1 mainly includes an
The
Here, the image search / processing device 1 is an image processing system for registered images according to the sixth aspect of the present invention, and the
[0024]
The
The
[0025]
The image acquisition unit 10 is a part that acquires a captured image captured by a digital still camera. Alternatively, a scanner that reads an image by forming an image photographed on a silver salt film on a light receiving surface such as a CCD device (Charged Coupled Device) using transmitted light may be used. The image acquisition unit 10 further acquires shooting information at the time of shooting when acquiring a shot image, for example, shooting position (latitude, longitude), shooting direction, shooting magnification information, shooting date information, and shooting time information. Ranging information from the camera to the subject is acquired. The shooting position and shooting direction information is obtained when the shooting is performed by a camera equipped with a GPS (Global Positioning System) function and equipped with a gyro-directional measuring sensor. What was recorded at the same time is acquired. As the distance measurement information, information measured and recorded by a measurement sensor that measures the distance from the camera to the subject using infrared rays or the like is acquired.
[0026]
In the digital still camera, the shooting information data is read when the image data is read into the image acquisition unit 10. APS (Advanced Photo Sysytem) In cameras using silver halide film, it was written in the magnetic recording area provided above and below each frame of the silver halide film, and was written in the magnetic recording area when the captured image was read by the scanner. The magnetic recording information is read by a magnetic reading device provided in the scanner, whereby information on the photographing position and the photographing direction can be acquired.
The image acquisition unit 10 may acquire an image in a website on a
[0027]
The subject extraction / identification unit 12 extracts the subject in the image from the image acquired by the image acquisition unit 10 using the shooting information. Specifically, the subject extraction / identification unit 12 extracts the region of the subject, and further extracts the subject in the extracted region. From the extracted subject, from the extracted region, or from the identified subject, for example, "person", "mountain", "sea", "sky", "mountain forest", or "mountain Fuji" This is a part for obtaining a type as a photographing subject.
[0028]
Regarding the extraction of the subject area, for example, by performing differentiation on the acquired image, the area where the edge portion of the subject is sharpened, or the area surrounded by this area is set as the subject area. Can be extracted. This is because the in-focus area has a clear edge portion, and the value is increased by differentiation processing.
[0029]
In addition, when shooting a subject from the same position in the same direction, a plurality of imaging distances (distances between the main point of the imaging lens of the camera and the imaging plane) with respect to the subject. Shooting an image to obtain a multistage focus shot image (multistage focus shot image), using distance measurement information obtained at the time of shooting, and further using an imaging distance information acquired together with the multistage focus shot image, In addition to extracting the subject area of the photographic scene, depth information of the photographic scene can be obtained. Specifically, since the distance measurement information is a distance between the photographed camera and the subject, in the photographed image photographed at the image formation distance corresponding to or closest to the image formation distance corresponding to the distance information. A focused area can be obtained, and this area can be extracted as a subject area. Therefore, a focused area of a captured image captured at an imaging distance other than this can be acquired as depth information. The in-focus area can be obtained by differential processing as described above.
Such depth information may be used for subject identification as will be described later.
[0030]
For the identification of the subject, the subject is identified using the above-described information on the photographing position (latitude, longitude), photographing direction and magnification, and the map data held by the subject extracting / identifying unit 12 itself. For example, a candidate to be a subject on map data is extracted from the shooting position and shooting direction, and the shape of the subject in the shot image is obtained by using the position and shape of the subject in the shot image (the shape of the subject area) and the shooting magnification. The subject is identified by matching the size and size with the three-dimensional information that is a candidate for the subject in the map data. In this case, the accuracy of identification is improved by using the above-described depth information.
[0031]
Further, the subject extraction / identification unit 12 obtains a type as a photographic subject based on the extracted subject region or the identified subject. For example, common nouns such as “mountain”, “river” and “sea” and proper nouns such as “Mt. Fuji” and “Tokyo Tower” are obtained.
It should be noted that common nouns such as blue “sea” and white “mountain” can be obtained by extracting the subject directly without identifying the subject or by extracting the subject region and using the image data of this region. You may ask for the type of.
The subject extraction / identification unit 12 further derives a sensitivity expression keyword using the correspondence relationship between the type of the photographed subject stored in the
[0032]
The
For example, a sensibility expression keyword such as “Azakayaka” for the type of “sea”, “lake”, or “sky”, a sensitivity expression keyword such as “fresh” for “mountain forest”, and the proper noun “Mt. Fuji” Associates emotional expressions such as “Epic” with a corresponding keyword. In such a correspondence relationship, a plurality of sensitivity expression keywords may be associated with one type, and a plurality of types may be associated with one sensitivity expression keyword.
[0033]
In the method of associating the photographic subject type with the sensitivity expression keyword in the
For example, since it is only necessary to know the main theme of the image, it is possible to derive the type of the subject not only by the photographed image but also by computer graphics (CG).
Note that the target image in the present invention may be a captured image, or a generated image such as a reflection / transmission original read (scan) image or a CG image. These captured images, read images, and generated images may be broadcast images or the like, and various types of image data can be targeted regardless of moving images / still images.
Further, the image scene is a photographing subject or an image subject, the scene information is photographing information or subject information, and the scene is preferably a subject or subject.
[0034]
In addition, when there is data indicating a subject in metadata such as video content, for example, television (TV) broadcast, data for searching for emotional expressions can be separately created at the supplier level and / or the user level. For example, when the subject person is a television talent or a celebrity, the latest image survey data of the person can be accessed to attach and / or update the sensitivity expression keyword. In this case, it is preferable that a professional supplier provides personal computer (PC) software so that general users can do it themselves.
Here, it is preferable to have a function of displaying an image on a display device and inputting and / or selecting a keyword indicating an impression so that the subject type and the input keyword are associated with each other and stored in the
[0035]
The sensitivity expression keyword derived by the subject extraction / identification unit 12 is sent to the registered
The registered
[0036]
On the other hand, the
The image expression
[0037]
The
[0038]
If no emotional expression keyword matching the input emotional expression information is found, the emotional expression information is sent to the
When a Kansei expression keyword matching the approximate expression is found, the
If an approximate expression that matches the emotional expression keyword is not finally found, it is assumed that a registered image suitable for the emotional expression information could not be found, and the process in the image output device 4 is not performed.
[0039]
The
[0040]
The image output device 4 includes an
The
[0041]
Therefore, when image processing is performed on the registered image, the image processing condition is called from the third database based on the sentiment expression keyword sent from the
That is, the
For example, the subject is subjected to processing such as intentional enlargement / reduction of geometric features (size, shape), processing of image density or color, and sharpening or blurring. Further, the image processing conditions may be different for each type as a photographic subject.
[0042]
For example, when the sensitivity expression keyword is “bright”, image processing for further increasing the saturation is performed on a region in the registered image having a saturation equal to or higher than a predetermined threshold of the registered image. As such a case, there is a case where the subject type of the registered image is “flower”. When the subject type is “sky” or “sea”, the blue saturation is increased.
In addition, when the emotional expression keyword is “major” or “major”, and the type of subject of the registered image is “mountain”, the size of the subject is increased to increase the grandeur or grandeur. To do. In this case, the size of the person in front is not changed, and the gap with the background mountain is performed by interpolation processing.
Also, color correction image processing is performed to increase the contrast of the “mountain” region in the registered image, increase the sharpness, and enhance the whiteness of snow in the case of a snowy mountain. Also, the part other than the “mountain” area is blurred.
[0043]
Further, when the sensitivity expression keyword is “Shinmiri”, the registered image is subjected to image processing in a sepia style.
When the sensitivity expression keyword is “beautiful” and the type of the subject of the registered image is “female”, a process of enlarging the “female” region of the registered image without changing the size of the background region is performed. Also, image processing for blurring the background area is performed.
[0044]
In this way, the image processing conditions to be applied to the registered image are determined in correspondence with the emotional expression keyword that matches or approximates the emotional expression information input by the operator using the emotional expression
[0045]
The
The
The above is the basic configuration of the image search / image processing apparatus 1.
[0046]
An image storage method, a registered image search method, and a registered image image processing method according to the present invention implemented in the image search / image processing apparatus 1 will be described.
Here, FIG. 2 is a flowchart of an example of the image storage method according to the first aspect of the present invention, and FIG. 3 shows the registered image search method according to the second aspect of the present invention and the third aspect of the present invention. It is a flowchart of an example of the image processing method of the registration image of an aspect. FIG. 4 is a diagram illustrating, in an easy-to-understand manner, information associated with a captured image in a table in the image storage method according to the first aspect of the present invention.
[0047]
In the image storage method according to the first aspect of the present invention, first, as shown in FIG. 2, a captured image is acquired by the image acquisition unit 10 (step 100).
Captured images are acquired directly from a digital still camera, acquired from a digital still camera via a recording medium, or transferred from the
At that time, along with the acquisition of the captured image, information on the shooting position (latitude, longitude), shooting direction and magnification, as well as shooting information such as shooting date and time information and ranging information from the camera to the subject at the time of shooting To do.
[0048]
Next, the subject extraction / identification unit 12 extracts the subject itself or the subject area (step 102).
For example, differentiation processing is performed on the acquired photographed image, and a region where the edge portion of the subject is sharpened or a region surrounded by this region is extracted as the subject region. For example, when the subject is photographed with Mt. Fuji, the edge portion of the photographed Mt. Fuji is extracted as a region. Such extraction of the subject area is performed by scoring so that the score of the area located in the middle or the larger area in the captured image is higher when a plurality of subject areas are found, and the area having the highest score. Are extracted as a subject area.
[0049]
Next, what is the extracted subject or the subject in the extracted region is identified (step 104). For example, if the shooting information includes information on the shooting position (latitude, longitude), shooting direction, and shooting magnification, candidates for subjects on map data are extracted from the shooting position and shooting direction, and the position of the subject in the shot image And the shape (the shape of the area of the subject) and the shooting magnification, the correspondence between the shape, size, and position of the subject in the captured image and the three-dimensional information that is a candidate for the subject in the map data is obtained. Identify. In this case, when a multi-stage focal shot image (multi-stage focus shot image) obtained by shooting a plurality of images at a multi-stage imaging distance with respect to the subject with the camera pointing from the same position in the same direction, a shooting scene is obtained. Therefore, the accuracy of identification can be improved using the depth information of the shooting scene.
[0050]
Next, the subject is classified (step 106).
For example, if the extracted or identified subject is “Mt. Fuji”, a type such as “mountain” is required.
Next, a sensitivity expression keyword associated with this type “mountain” is derived from the
Finally, the captured image is recorded and saved in the registered
In FIG. 4, an emotional expression keyword such as “Epic”, “Dense”, or “Pure white” is associated with the captured image of “Mt. Fuji”.
[0051]
In such a method of saving a captured image, when shooting date / time is included in shooting information, event information on the shooting date / time and weather information can be determined, so this weather information can be referred to when classifying subjects. In addition, it is possible to use what is classified by weather information.
For example, in the case of a photographed image of “Mount Fuji”, a type such as “mountain on a sunny day” is determined when the weather is clear as judged from the weather information at the time of shooting. ”Is defined. The
[0052]
In addition, since event information at the shooting position is determined from the shooting date and time, for example, it may have a correspondence relationship of emotion expression keywords such as “lively” and “fun” for a type such as “festival” . In addition, the event expression types such as “entrance ceremony”, “graduation ceremony”, and “adult ceremony” may have a corresponding relationship of sensitivity expression keywords such as “sunny”.
Such correspondence between the type and the sensitivity expression keyword is created and recorded in the
[0053]
The registered image recorded and saved in the registered
First, sensitivity expression information is input by the operator from the sensitivity expression information input unit 18 (step 120). For example, when emotional expression information such as “major” is input, the emotional expression information is sent to the
[0054]
The
If no matching emotional expression keyword is found, the emotional expression information is sent to the
[0055]
The
In the registered
[0056]
In this way, a registered image having an emotional expression keyword that matches or approximates the emotional expression information as attached information is searched. When a plurality of registered images are searched as a result of the search, the search images are displayed on the monitor 7 and the output of the registered image as described later is left to the operator's selection. Thus, an output image is set (step 124). In the following description, an example of outputting a print image will be described, but the present invention is not limited to this.
The registered image thus set as the output image is sent to the
[0057]
In the
That is, in the
[0058]
For example, for a Kansei expression keyword such as “Epic”, an image processing condition for enlarging the mountain area of the subject without changing the center of the area has been made into a database. On the other hand, if image processing conditions for converting a slightly lightly soiled white area of a mountain as a subject to snow and converting it to a white area with high brightness are entered in a database, “major” is input as sensitivity expression information. In the case of the case where “pure white” is entered, even if the registered image of the same “Mt. Fuji” is used, image processing that greatly emphasizes “Mt. Fuji” is performed in the former, and in the latter, the snow of “Mt. Fuji” is processed. The image processing for emphasizing the white area is performed.
[0059]
The registered image subjected to the image processing in this way is converted into data suitable for the
Depending on the selected output form, a registered image subjected to image processing is transmitted to the
[0060]
As described above, the present embodiment is characterized in that a registered image suitable for the emotional expression information input by the operator is retrieved, and the registered image is also emphasized and output according to the emotional expression information.
[0061]
The
[0062]
In the above embodiment, when the captured image is stored in the registered
[0063]
That is, in the image search, the
[0064]
Further, the registered
Further, an audio recording device is provided near the monitor 7 to record the remarks of the registered image viewer when the searched registered image is displayed on the monitor 7, and the remarks are recorded as audio information and attached information of the registered image. It may be recorded and saved in association with each other. On the other hand, the sentiment expression
[0065]
Such a search can be efficiently searched for a desired registered image by combining with the search method in the above embodiment. In addition, the image search and image processing apparatus used in the present invention can provide entertainment that can display, for example, an image that heals a person or an image that makes a person feel refreshed.
[0066]
In the embodiment described above, the subject or scene to be registered and stored for the captured image, the search for the registered image, and the image processing is a landscape, but the present invention is not limited to this.
For example, the target subject or scene may be a person, a person's property, or an article near the person.
At this time, the association between the photographic subject type and the sensitivity expression keyword can be performed as follows.
[0067]
Referring to the embodiment shown in FIG. 5, when a
After shooting, the
[0068]
Here, the possession of the person and the
In addition, on the
[0069]
That is, in the first step of associating the photographic subject type with the sensitivity expression keyword in the case of a subject other than the landscape, the image data includes subject information as attached information. Here, the subject information can be read from the IC tag attached to each article, in addition to the person information, each article of the person's property or a nearby placement object.
In the second step, the emotional expression related to the subject is read from the database and added to the attached information of the image data. At this time, one article may have a plurality of emotional expressions with priorities.
In addition, as an image made into object in this invention, a moving image other than a still image may be sufficient.
[0070]
In the above-described embodiment, the image data of the captured image and the emotional expression keyword are associated with each other and stored in the database (registered image storage unit 16). However, the present invention is not limited to this. That is, in the present invention, it is only necessary to know the relationship between the image data and the emotional expression keyword. Therefore, the present invention is not limited to the form of attaching the emotional expression keyword to the image data. For example, a method of recording (referring to adding / updating / deleting freely) a file in a form in which an image data ID (file name, access destination, etc.) is attached to each sensitivity expression keyword may be used.
[0071]
Moreover, a learning function may be provided for the association between the emotional expression information and the search target, and the association between the two may be learned for each individual user and customized.
As an input step, for example, when a desired image is retrieved as a background image (so-called wallpaper) on a desktop of a PC (personal computer), it can be performed as follows.
When a specific keyword is first input or selected, a plurality of images are displayed sequentially or as an index image. When the user selects a favorite image (or a plurality of images), points are added to the selected picture, and the selected image is displayed as a wallpaper for a predetermined period (one day / one week). When a plurality of images are selected, it is preferable to update them sequentially.
Thereafter, after a predetermined period of time, the process of searching for and selecting an image again with the sensitivity expression keyword is repeated.
[0072]
In the next learning step, after a predetermined period, the point distribution is checked for images searched with the same emotion expression keyword.
Here, points are totaled for each type of subject in each image. Since a plurality of types may be associated with one subject, in this case, points are added for each type.
For example, the type is not limited to one for a subject, it may be a proper noun, or it may be a field, country name, thousands of classes for mountains, etc. You can turn on.
Examples include “proprietary noun: Mount Fuji”, “field: mountain”, “country name: Japan”, “altitude: 3000 m class”, “popularity: large”, and the like.
Examples include “proprietary noun: XX”, “field: person”, “country name: Japan”, “sex”, “age group”, “profession: actor”, and the like.
[0073]
Thereafter, the added points are totaled for each type, and the point total results are stored for each user. This total result is registered in the PC as search customization information.
At the next image search, the image is searched and displayed with a priority or a type having a point of a predetermined ratio or more. For example, it is possible to repeatedly give points to each type to some extent, and to give a high priority to the type that has acquired the most points.
At this time, even if the same emotion expression keyword is used, different images are searched for Mr. A and Mr. B. For example, even with the same emotional expression keyword “Sawayaka”, in the case of Mr. A, a natural scene, especially a forest scene, is mainly hit. On the other hand, in the case of Mr. B, the young female singer gradually breaks away.
At this time, the data may be deleted after a certain period of time, or the old data may be deleted sequentially.
[0074]
In the above embodiment, the points may be counted in association with the related information of the image.
For example, in the case of “field: mountain” of the same type, “shooting date / time (season / time zone)”, “weather (clear / rainy)”, and “shooting magnification (large / small)” at that time You may collect points separately. That is, even in the same mountain, the shooting information may be hierarchized and the points may be totaled for each hierarchy.
Further, although the above-described customization process is performed for each user, this customization process can be performed within a specific group (member registration in advance), that is, for each group such as a specific club.
Here, the points in image designation of each member can be totaled within the group and recorded as representative search customization information in the representative PC.
Furthermore, the keyword search type can be switched between general use, individual use, or group use. That is, the search customization information for general use / individual use / group use can be switched and used.
[0075]
Examples of service forms and usage methods to which the image storage method, registered image search method, and image processing method of the present invention are applied include the following.
For example, as an example 1, when a present is selected, a search can be performed using personal search customization information of the other party. For example, if you specify that the person you want to give a present likes the clothes of refreshing colors, you can use the customization information to select exactly what the refreshing color of the person is. You can choose clothes that suit your taste.
[0076]
Next, as Example 2, when searching for restaurants on the Internet, personal / group search customization information can be used.
Further, as Example 3, it can be used for makeup simulation and selection of cosmetics. At this time, it is preferable to create personal search customization information according to the types of cosmetic manufacturer, color, model, and the like.
As Example 4, it can be used to select a match photo. At this time, it is preferable to create face types by classifying them according to the aspect ratio of the cosmetic face, the distance between the eyes and the nose and the mouth, and the like.
[0077]
In addition, the image storage method and system according to the first and fourth aspects of the present invention, the registered image retrieval method and system according to the second and fifth aspects of the present invention, and the registered image according to the third and sixth aspects of the present invention. The image processing method and system are basically configured as described above, but the present invention is not limited to this, and as in the seventh aspect of the present invention, the first, second, and third aspects of the present invention described above. The image storage method, registered image search method, and registered image processing method of the aspect may be realized as an image processing program operating on a computer.
[0078]
As described above, the image storage method, registered image retrieval method and system, registered image processing method, and program for executing these methods according to the present invention have been described in detail with reference to various embodiments. Needless to say, the present invention is not limited to the above-described various embodiments, and various improvements and modifications may be made without departing from the scope of the present invention.
[0079]
【The invention's effect】
As described above in detail, according to the present invention, a sensitivity expression keyword related to an image such as a captured image, an acquired image, or a generated image is set via a type of an image scene such as a captured subject or an image subject. The emotional expression keyword is associated with the attached information of the image such as the captured image, the acquired image, and the generated image, and this image is recorded and saved as a registered image, so that the operator can input the emotional expression information into the emotional expression information. A suitable registered image can be searched efficiently. In addition, even when the shooting location and the proper noun of the subject are not known, it is possible to search for a desired registered image simply by inputting the sensitivity expression information, and the image processing according to the sensitivity expression information is performed, so that the desired image Can be easily obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an embodiment of an image storage / retrieval apparatus that performs an image storage method according to the present invention;
FIG. 2 is a flowchart showing an example of the flow of an image storage method of the present invention implemented in the image storage / retrieval apparatus shown in FIG. 1;
FIG. 3 is a flowchart illustrating an example of a flow of a registered image search method and a registered image processing method according to the present invention.
FIG. 4 is an explanatory diagram for easily explaining information having a correspondence relationship with a captured image in the image storage method of the present invention.
FIG. 5 is an explanatory diagram for explaining a correspondence between a type of a photographic subject and a sensitivity expression keyword used in a registered image search method of the present invention.
[Explanation of symbols]
1 Image storage / retrieval device
2 Image storage device
3 Image search device
4 Image output device
5 Communication control device
6 CPU
7 Monitor
10 Image acquisition unit
12 Subject extraction / identification part
14 Database Department
16 Registered image storage
18 Kansei expression information input section
20 Image search part
22 Dictionary reference part
24 Image processing unit
26 Printer section
Claims (16)
前記撮影画像を保存する際、
前記撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域またはこの領域で囲まれている領域を被写体領域として抽出して、
少なくとも前記撮影画像の撮影位置、撮影方位、および撮影倍率の情報を含む撮影情報、ならびに地図データを用いて、前記被写体領域を同定することにより、前記被写体領域の前記画像シーンとしての類型を求め、
この求められた前記類型を用いて前記データベースを参照して、前記類型に対応する前記感性表現キーワードを導出し、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存することを特徴とする画像の保存方法。It obtains attribute information of the photographed image by using a type of image scenes, the sensibilities expression keywords with a relationship between this type is previously recorded and stored database, the auxiliary information the photographed image or the identification information as a registered image A method of saving an image to be saved together with
When saving the captured image,
A differential process is performed on the captured image, and a region where an edge portion as a subject is sharpened or a region surrounded by the region is extracted as a subject region ,
By identifying the subject area using at least photographing information including information on the photographing position, photographing orientation, and photographing magnification of the photographed image, and map data, the type of the subject area as the image scene is obtained,
By referring to the database using the obtained type, the Kansei expression keyword corresponding to the type is derived,
Associating the derived sensibility expressed keywords, or the type of the this sensitive representation keyword and the image scene as the additional information of the captured image, the captured image or images, characterized by storing the identification information as a registered image Preservation method.
被写体を撮影する際、前記被写体に予め付与されているICタグのタグ情報を同時に読み取り、When photographing the subject, the tag information of the IC tag previously given to the subject is read at the same time,
前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出し、When storing the captured image, using the read tag information, the Kansei expression keyword is derived with reference to the database,
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存することを特徴とする画像の保存方法。The derived Kansei expression keyword, or the Kansei expression keyword and the type of the image scene are associated as attached information of the photographed image, and the photographed image or its identification information is stored as a registered image. Preservation method.
入力された感性表現情報に近似する感性表現キーワードを、辞書を内蔵する辞書参照部を用いて導出し、前記感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を、登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法。A search method for searching for desired registration image from the claims 1-8 registered image stored by storing method of an image according to any one of,
Sensibility expression keywords approximation to the input sensibility expression information, derived by using a dictionary reference section with a built-in dictionary, the sensitive representation keyword, or the type of the image scene in the corresponding relationship between the sensitive representation keyword, Searching for registered images, wherein the registered images are searched by taking out the registered images having headings from the attached information of the registered images and using the found Kansei expression keywords or the image scene type as attached information. Method.
登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、データベース内の登録画像を検索し、
この感性表現キーワードを付属情報とする複数の登録画像を取り出して、画像表示デバイスに表示し、
表示された複数の登録画像の中からユーザによって選択された1つの画像または前記画像の類型に対してポイントを加算することを、前記登録画像を検索する毎に行い、
前記加算されたポイントを、前記画像毎または前記画像の類型毎、かつ、前記ユーザ毎に集計して、記憶しておき、
次回からの検索時に、前記複数の登録画像の中から、入力された感性表現情報に一致、または近似する感性表現キーワードを付属情報とする画像であり、さらに、前記記憶されたポイントが所定の比率以上である画像、または前記記憶されたポイントが所定の比率以上である類型に当てはまる画像を、限定的に、あるいは、優先的に取り出すことにより、登録画像の検索を行うことを特徴とする登録画像の検索方法。A search method for searching for desired registration image from the claims 1-8 registered image stored by storing method of an image according to any one of,
When searching for registered images, search for registered images in the database using emotional expression keywords that match or approximate the input emotional expression information,
A plurality of registered images with the Kansei expression keywords as attached information are taken out and displayed on an image display device.
The adding the points for types of one image or the image that is selected by the user from the plurality of registered images displayed, performed every time searching the registered image,
The added points are tabulated for each image or each image type and for each user, and stored.
At the time of the next search, it is an image having an attached emotional expression keyword that matches or approximates the input emotional expression information from among the plurality of registered images, and the stored points have a predetermined ratio an image true to the which the image or the stored point is not less than a predetermined ratio type, or more, limitation, or by taking out preferentially, registered image and performing a search of the reference image Search method.
登録画像に対応して前記感性表現キーワードが対応付けられて設定されており、
さらに、前記感性表現キーワードに対応して画像処理条件が対応付けられて設定されており、
登録画像に画像処理を施す際、前記感性表現情報に一致する、または近似する感性表現キーワードと対応付けられた画像処理条件を呼び出し、この画像処理条件に基づいて自動的に画像処理を施すことを特徴とする登録画像の画像処理方法。A registered image image processing method for performing image processing by calling a registered image retrieved by the registered image retrieval method according to claim 9 or 10 ,
The sensitivity expression keyword is set in association with the registered image,
Furthermore, an image processing condition is set in association with the sensitivity expression keyword,
When image processing is performed on a registered image, an image processing condition associated with a sensitivity expression keyword that matches or approximates the sensitivity expression information is called, and image processing is automatically performed based on the image processing condition. A registered image processing method as a feature.
画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第1データベースと、
撮影画像を保存する際に、前記撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域またはこの領域で囲まれている領域を被写体領域として抽出して、少なくとも前記撮影画像の撮影位置、撮影方位、および撮影倍率の情報を含む撮影情報、ならびに地図データを用いて、前記被写体領域を同定することにより、前記被写体領域の前記画像シーンとしての類型を求める手段と、
この求められた前記類型を用いて前記第1のデータベースを参照して、前記類型に対応する前記感性表現キーワードを導出する手段と、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに保存する第2データベースと、
この第2データベースに記録保存された登録画像の中から、入力された感性表現情報に一致する、または近似する感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出す登録画像の検索手段とを有することを特徴とする登録画像の検索システム。A search system for searching for a desired registered image from registered images,
A first database that pre-records and stores image scene types and Kansei expression keywords associated with the types;
When saving a photographed image, wherein performs differential processing on the captured image, and extracts an area where the edge portion as a subject is surrounded by region or this region is sharpened as a subject region, at least the Means for determining the type of the subject region as the image scene by identifying the subject region using shooting information including information on the shooting position, shooting direction, and shooting magnification of the shot image, and map data ;
Means for deriving the Kansei expression keyword corresponding to the type by referring to the first database using the determined type ;
This derived Kansei expression keyword, or this Kansei expression keyword and the type of the image scene are associated as attached information of the photographed image, and the second database stores the photographed image or its identification information together with the attached information as a registered image. When,
Of the registered images recorded and stored in the second database, the emotional expression keyword that matches or approximates the input emotional expression information, or the type of the image scene corresponding to the emotional expression keyword is registered. A registered image search system comprising: a registered image search means for extracting a registered image having the headline from the attached information and the found emotional expression keyword or the type of the image scene as attached information.
画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第1データベースと、A first database that pre-records and stores image scene types and Kansei expression keywords associated with the types;
被写体を撮影する際、前記被写体に予め付与されているICタグのタグ情報を同時に読み取る手段と、Means for simultaneously reading the tag information of the IC tag previously given to the subject when photographing the subject;
前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出する手段と、 Means for deriving the sensibility expression keyword with reference to the database using the read tag information when storing the captured image;
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存する第2データベースと、 A second database that associates the derived emotion expression keyword, or the emotion expression keyword and the type of the image scene as auxiliary information of the captured image, and stores the captured image or its identification information as a registered image;
この第2データベースに記録保存された登録画像の中から、入力された感性表現情報に一致する、または近似する感性表現キーワード、またはこの感性表現キーワードと対応関係にある前記画像シーンの類型を登録画像の付属情報から見出し、この見出された感性表現キーワード、または前記画像シーンの類型を付属情報とする登録画像を取り出す登録画像の検索手段とを有することを特徴とする登録画像の検索システム。Of the registered images recorded and stored in the second database, the emotional expression keyword that matches or approximates the input emotional expression information, or the type of the image scene corresponding to the emotional expression keyword is registered. A registered image search system comprising: a registered image search means for extracting a registered image having the headline from the attached information and the found emotional expression keyword or the type of the image scene as attached information.
画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第1データベースと、
撮影画像を保存する際に、前記撮影画像に対して微分処理を行い、被写体としてのエッジ部分が鮮鋭化されている領域またはこの領域で囲まれている領域を被写体領域として抽出して、少なくとも前記撮影画像の撮影位置、撮影方位、および撮影倍率の情報を含む撮影情報、ならびに地図データを用いて、前記被写体領域を同定することにより、前記被写体領域の前記画像シーンとしての類型を求める手段と、
この求められた前記類型を用いて前記第1のデータベースを参照して、前記類型に対応する前記感性表現キーワードを導出する手段と、
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として前記付属情報とともに保存する第2データベースと、
この第2データベースに記録保存された登録画像の中から登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、第2データベース内の登録画像を検索する検索手段と、
この感性表現キーワードを付属情報とする複数の登録画像を取り出して表示する画像表示デバイスと、
表示された複数の登録画像の中からユーザによって1つの選択された画像またはその類型に対してポイントを加算することを、検索毎に所定期間繰り返し、
前記所定期間経過後、同一の感性表現キーワードにおいて検索された画像または類型毎かつ前記ユーザ毎に、加算されたポイントを集計して、前記第2データベースに当該登録画像の前記付属情報として記憶させる評価手段と、
前記検索手段は、次回からの検索時に、所定の比率以上のポイントを有する画像またはその類型に絞って、あるいは優先して、登録画像の検索を行うことを特徴とする登録画像の検索システム。A search system for searching for a desired registered image from registered images,
A first database that pre-records and stores image scene types and Kansei expression keywords associated with the types;
When saving a photographed image, wherein performs differential processing on the captured image, and extracts an area where the edge portion as a subject is surrounded by region or this region is sharpened as a subject region, at least the Means for determining the type of the subject region as the image scene by identifying the subject region using shooting information including information on the shooting position, shooting direction, and shooting magnification of the shot image, and map data ;
Means for deriving the Kansei expression keyword corresponding to the type by referring to the first database using the determined type ;
This derived Kansei expression keyword, or this Kansei expression keyword and the type of the image scene are associated as attached information of the photographed image, and the second database stores the photographed image or its identification information together with the attached information as a registered image. When,
When a registered image is searched from registered images recorded and stored in the second database, a registered image in the second database is used by using an emotional expression keyword that matches or approximates the input emotional expression information. A search means for searching for,
An image display device that takes out and displays a plurality of registered images having the sensitivity expression keyword as attached information;
Adding a point to one image selected by the user from the displayed plurality of registered images or a type thereof is repeated for a predetermined period for each search,
After the predetermined period has passed, an evaluation is performed in which the added points are aggregated for each image or type searched for the same Kansei expression keyword and for each user and stored as the attached information of the registered image in the second database. Means,
The registered image search system is characterized in that the search means searches for a registered image in a search from the next time, focusing on or preferentially selecting an image having a predetermined ratio or more or its type.
画像シーンの類型と、この類型と対応関係を付けた感性表現キーワードとを予め記録保存する第1データベースと、A first database that pre-records and stores image scene types and Kansei expression keywords associated with the types;
被写体を撮影する際、前記被写体に予め付与されているICタグのタグ情報を同時に読み取る手段と、Means for simultaneously reading the tag information of the IC tag previously given to the subject when photographing the subject;
前記撮影画像を保存する際、読み取った前記タグ情報を用いて、前記データベースを参照して前記感性表現キーワードを導出する手段と、 Means for deriving the sensibility expression keyword with reference to the database using the read tag information when storing the captured image;
この導出した感性表現キーワード、またはこの感性表現キーワードおよび前記画像シーンとしての類型を前記撮影画像の付属情報として対応付け、前記撮影画像またはその識別情報を登録画像として保存する第2データベースと、 A second database that associates the derived emotion expression keyword, or the emotion expression keyword and the type of the image scene as auxiliary information of the captured image, and stores the captured image or its identification information as a registered image;
この第2データベースに記録保存された登録画像の中から登録画像の検索を行う際に、入力された感性表現情報に一致する、または近似する感性表現キーワードを用いて、第2データベース内の登録画像を検索する検索手段と、When a registered image is searched from registered images recorded and stored in the second database, a registered image in the second database is used by using an emotional expression keyword that matches or approximates the input emotional expression information. A search means for searching for,
この感性表現キーワードを付属情報とする複数の登録画像を取り出して表示する画像表示デバイスと、 An image display device that takes out and displays a plurality of registered images having the sensitivity expression keyword as attached information;
表示された複数の登録画像の中からユーザによって1つの選択された画像またはその類型に対してポイントを加算することを、検索毎に所定期間繰り返し、Adding a point to one image selected by the user from the displayed plurality of registered images or a type thereof is repeated for a predetermined period for each search,
前記所定期間経過後、同一の感性表現キーワードにおいて検索された画像または類型毎かつ前記ユーザ毎に、加算されたポイントを集計して、前記第2データベースに当該登録画像の前記付属情報として記憶させる評価手段と、 After the predetermined period has passed, an evaluation is performed in which the added points are aggregated for each image or type searched for the same Kansei expression keyword and for each user and stored as the attached information of the registered image in the second database. Means,
前記検索手段は、次回からの検索時に、所定の比率以上のポイントを有する画像またはその類型に絞って、あるいは優先して、登録画像の検索を行うことを特徴とする登録画像の検索システム。 The registered image search system is characterized in that the search means searches for a registered image in a search from the next time, focusing on or preferentially selecting an image having a predetermined ratio or more or its type.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003095004A JP4090926B2 (en) | 2002-03-29 | 2003-03-31 | Image storage method, registered image retrieval method and system, registered image processing method, and program for executing these methods |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002094245 | 2002-03-29 | ||
JP2003095004A JP4090926B2 (en) | 2002-03-29 | 2003-03-31 | Image storage method, registered image retrieval method and system, registered image processing method, and program for executing these methods |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004005534A JP2004005534A (en) | 2004-01-08 |
JP4090926B2 true JP4090926B2 (en) | 2008-05-28 |
Family
ID=30446329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003095004A Expired - Fee Related JP4090926B2 (en) | 2002-03-29 | 2003-03-31 | Image storage method, registered image retrieval method and system, registered image processing method, and program for executing these methods |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4090926B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9786076B2 (en) | 2014-08-27 | 2017-10-10 | Fujifilm Corporation | Image combining apparatus, image combining method and non-transitory computer readable medium for storing image combining program |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2553603C (en) * | 2004-01-20 | 2015-03-10 | Thomson Licensing | Television production technique |
JP2005346440A (en) * | 2004-06-03 | 2005-12-15 | Ntt Docomo Inc | Metadata application support system, controller, and metadata application support method |
JP4895020B2 (en) * | 2004-09-07 | 2012-03-14 | 日本電気株式会社 | Image processing system and method, and terminal and server used therefor |
WO2006028109A1 (en) | 2004-09-07 | 2006-03-16 | Nec Corporation | Imaging system, imaging condition setting method, terminal and server used for the same |
JP4697931B2 (en) * | 2004-10-20 | 2011-06-08 | ソニー・エリクソン・モバイルコミュニケーションズ株式会社 | Information providing system and portable terminal |
JP2006244424A (en) * | 2005-03-07 | 2006-09-14 | Nippon Telegr & Teleph Corp <Ntt> | Image scene classifying method and device and program |
JP4816140B2 (en) * | 2006-02-28 | 2011-11-16 | ソニー株式会社 | Image processing system and method, image processing apparatus and method, imaging apparatus and method, program recording medium, and program |
JP5018147B2 (en) * | 2007-03-09 | 2012-09-05 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
EP2321787B1 (en) * | 2008-06-06 | 2017-01-11 | Google, Inc. | Annotating images |
JP5387103B2 (en) * | 2009-04-06 | 2014-01-15 | 株式会社ニコン | Image processing device |
JP5220684B2 (en) * | 2009-05-28 | 2013-06-26 | ヤフー株式会社 | Sensory information expression server, sensory information expression system, and emotion expression method |
JP2010134952A (en) * | 2010-01-20 | 2010-06-17 | Seiko Epson Corp | Management for image data |
JP5321564B2 (en) * | 2010-11-08 | 2013-10-23 | ソニー株式会社 | Image management method and apparatus, recording medium, and program |
JP6958096B2 (en) * | 2017-08-10 | 2021-11-02 | 富士フイルムビジネスイノベーション株式会社 | Information processing equipment and programs |
JP7023005B2 (en) * | 2019-10-24 | 2022-02-21 | 克己 横道 | Information processing systems, information processing methods and programs |
CN112822425B (en) * | 2020-12-30 | 2023-01-06 | 上海掌门科技有限公司 | Method and equipment for generating high dynamic range image |
-
2003
- 2003-03-31 JP JP2003095004A patent/JP4090926B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9786076B2 (en) | 2014-08-27 | 2017-10-10 | Fujifilm Corporation | Image combining apparatus, image combining method and non-transitory computer readable medium for storing image combining program |
Also Published As
Publication number | Publication date |
---|---|
JP2004005534A (en) | 2004-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20030193582A1 (en) | Method for storing an image, method and system for retrieving a registered image and method for performing image processing on a registered image | |
JP4090926B2 (en) | Image storage method, registered image retrieval method and system, registered image processing method, and program for executing these methods | |
US10346677B2 (en) | Classification and organization of consumer digital images using workflow, and face detection and recognition | |
JP5847070B2 (en) | Server apparatus and photographing apparatus | |
US7106887B2 (en) | Image processing method using conditions corresponding to an identified person | |
US8698920B2 (en) | Image display apparatus and image display method | |
US20160267321A1 (en) | Method and Apparatus for Automated Analysis and Identification of a Person in Image and Video Content | |
US8237819B2 (en) | Image capture method with artistic template design | |
JP2019114243A (en) | Imaging device and learning method | |
US20110029635A1 (en) | Image capture device with artistic template design | |
US9336442B2 (en) | Selecting images using relationship weights | |
US20100014721A1 (en) | Classification System for Consumer Digital Images using Automatic Workflow and Face Detection and Recognition | |
CN101799621B (en) | Shooting method and shooting equipment | |
JP2011517791A (en) | Decoration as event marker | |
KR20080060265A (en) | Determining a particular person from a collection | |
JPWO2012147256A1 (en) | Image processing device | |
JP2001084274A (en) | Image retrieval method and image processing method | |
JP2001297090A (en) | Image data retrieval method, image display method, data retrieval system, image editing device and computer readable storage medium | |
JP2012504806A (en) | Interactive image selection method | |
US20170293637A1 (en) | Automated multiple image product method | |
JP2007193824A (en) | Image processing method | |
JP5878523B2 (en) | Content processing apparatus and integrated circuit, method and program thereof | |
US20050041103A1 (en) | Image processing method, image processing apparatus and image processing program | |
JPH10124655A (en) | Device for preparing digital album and digital album device | |
JP2006279925A (en) | Imaging apparatus, imaging method, and imaging program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050307 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4090926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110307 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110307 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120307 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120307 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130307 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130307 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140307 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |