JP5369881B2 - Image classification apparatus, image classification method and program thereof - Google Patents
Image classification apparatus, image classification method and program thereof Download PDFInfo
- Publication number
- JP5369881B2 JP5369881B2 JP2009116804A JP2009116804A JP5369881B2 JP 5369881 B2 JP5369881 B2 JP 5369881B2 JP 2009116804 A JP2009116804 A JP 2009116804A JP 2009116804 A JP2009116804 A JP 2009116804A JP 5369881 B2 JP5369881 B2 JP 5369881B2
- Authority
- JP
- Japan
- Prior art keywords
- shooting
- image
- time
- cpu
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像分類装置、画像分類方法及びそのプログラムに関し、例えば、デジタルスチルカメラに適用して好適なものである。 The present invention relates to an image classification device, an image classification method, and a program thereof, and is suitable for application to, for example, a digital still camera.
デジタルスチルカメラ（これをＤＳＣとも呼ぶ）などの撮像装置は、メモリカードなどの記録媒体に画像を記録するようになっている。近年、この記録媒体の大容量化により、ＤＳＣは、例えば１枚のメモリカードに数百〜数千の画像を記録できるようになった。 An imaging apparatus such as a digital still camera (also referred to as DSC) records an image on a recording medium such as a memory card. In recent years, due to the increase in capacity of this recording medium, DSC can record hundreds to thousands of images on, for example, one memory card.
ところが、このように大量の画像を記録できるようになると、個々の画像の検索が困難になってしまう。そこで、従来のＤＳＣは、画像とは別に、画像を統括的に管理する為のデータベースを保持するようになっている。 However, when a large amount of images can be recorded in this way, it becomes difficult to search for individual images. Therefore, the conventional DSC holds a database for comprehensively managing images separately from images.
このデータベースには、例えば、記録媒体に記録されている各画像の記録日時（つまり撮影日時）を示す日時情報が登録されている。このようなデータベースを利用することで、ＤＳＣは、例えば、ユーザに指定された日時に撮影した画像を検索して表示することなどができるようになっている。 In this database, for example, date and time information indicating the recording date and time (that is, the shooting date and time) of each image recorded on the recording medium is registered. By using such a database, the DSC can search for and display images taken at the date and time designated by the user, for example.
さらに、各画像の日時情報に基づいて、例えば、撮影日時が近い画像を同一グループにするようにして、画像を自動的に分類するＤＳＣも提案されている（例えば特許文献１参照）。 Furthermore, based on the date / time information of each image, for example, a DSC that automatically classifies images by grouping images with similar shooting dates and times into the same group has been proposed (see, for example, Patent Document 1).
ところで、上述したように、撮影日時に基づいて画像を分類できるようになっていても、そもそも何時画像を撮影したのか覚えていない、もしくは確認しなかったユーザにとっては、所望の画像を容易に見付けることは難しい。 By the way, as described above, even if the image can be classified based on the shooting date and time, it is easy for the user who does not remember or confirm the time when the image was originally taken to easily find the desired image. It ’s difficult.
一方で、撮影日時を気にする気にしないに関わらず、ユーザは、どのような画像を撮影するのか、また撮影したのかについては確認するはずである。ゆえに、ユーザにとっては、何時撮影したのかよりも、どのような画像を撮影したのかという観点から分類した方が、所望の画像を見付け出し易いと考えられる。 On the other hand, regardless of whether or not the shooting date and time is concerned, the user should confirm what kind of image is taken and whether it is taken. Therefore, it is considered that it is easier for the user to find a desired image by classifying from the viewpoint of what kind of image was taken rather than when it was taken.
本発明は以上の点を考慮してなされたもので、従来と比して一段と画像の検索性を向上させた画像分類装置、画像分類方法及びそのプログラムを提案しようとするものである。 The present invention has been made in consideration of the above points, and an object of the present invention is to propose an image classification apparatus, an image classification method, and a program therefor, which further improve the searchability of an image as compared with the prior art.
かかる課題を解決するため本発明の画像分類装置においては、撮影時における画像の被写界深度と、画像から人物の顔が認識できたかを示す顔認識情報及び撮影時の位置を取得できたかを示す位置取得可否情報のうち少なくとも一方とを取得し、取得した被写界深度と、顔認識情報及び位置取得可否情報のうち少なくとも一方とに基づいて、画像の撮影状況を判別し、さらに撮影日時を取得し、画像と、取得した撮影日時と、判別した画像の撮影状況とを関連付け、画像を、画像に関連付けられた撮影日時に基づいてグループ化し、グループごとに、グループ内の画像に関連付けられた撮影状況のうち、最も信頼度が高い撮影状況を特定して、これをグループ内の画像で共通の撮影状況となるように、グループ内の画像の撮影状況を再判別し、画像を、再判別した撮影状況によって分類するように制御する制御部を設けるようにした。 In order to solve such a problem, in the image classification device of the present invention, it is determined whether the depth of field of an image at the time of shooting, face recognition information indicating whether a human face can be recognized from the image, and the position at the time of shooting can be acquired. At least one of the acquired position acquisition availability information is determined, and the imaging status of the image is determined based on the acquired depth of field and at least one of the face recognition information and the position acquisition availability information, and further the shooting date and time The image, the acquired shooting date and time, and the shooting status of the determined image are associated, the images are grouped based on the shooting date and time associated with the image, and each group is associated with an image in the group. The shooting situation with the highest reliability is identified, and the shooting situation of the images in the group is re-determined so that this is the same shooting situation for the images in the group. Images were as a control unit for controlling to classify by re-discriminated shooting conditions provided.
こうすることで、本発明の画像分類装置は、各画像がどのような撮影状況で撮影された画像であるのかを判別して、この撮影状況によって各画像を分類することができる。これにより、撮影日時で画像を分類する場合と比して、所望の画像を見付け出し易くすることができる。 By doing so, the image classification device of the present invention can determine in which shooting situation each image was taken and classify each image according to this shooting situation . This makes it easier to find a desired image as compared with the case of classifying images by shooting date and time.
本発明によれば、撮影日時で画像を分類する場合と比して、所望の画像を見付け出し易くすることができ、かくして、画像の検索性を向上させた画像分類装置、画像分類方法及びそのプログラムを実現できる。
According to the present invention, it is possible to easily find a desired image as compared with the case of classifying an image by shooting date and time, and thus an image classification apparatus, an image classification method, and an image classification method thereof that improve the searchability of an image. A program can be realized.
以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。尚、説明は以下の順序で行う。
１．実施の形態
２．他の実施の形態
Hereinafter, the best mode for carrying out the invention (hereinafter referred to as an embodiment) will be described. The description will be given in the following order.
1.
＜１．実施の形態＞
［１−１．実施の形態の概要］
まず、本実施の形態の概要を説明する。因みに、この概要を説明した後、本実施の形態の具体例の説明に移る。
<1. Embodiment>
[1-1. Outline of Embodiment]
First, an outline of the present embodiment will be described. Incidentally, after describing this outline, the description moves to a specific example of the present embodiment.
図１において１は、撮像装置を示す。この撮像装置１は、被写界深度を変更可能な撮像部２を有している。またこの撮像装置１は、撮影時の被写界深度を取得する取得部３を有している。さらにこの撮像装置１は、撮像部２で撮像した画像を所定の記録媒体４に記録する制御部５を有している。さらにこの撮像装置１は、記録媒体４に記録した画像を、取得部３により取得された画像の撮影時の被写界深度に基づいて分類する分類部６とを有している。
In FIG. 1, reference numeral 1 denotes an imaging apparatus. The imaging device 1 includes an
このような構成により、撮像装置１は、各画像を、例えば、風景画像のように手前から奥までの広範囲にピントを合わせた画像か、ポートレートのように人物や静物にだけピントを合わせた画像かに分類することができる。 With such a configuration, the imaging apparatus 1 focuses each image on, for example, an image obtained by focusing a wide range from the front to the back, such as a landscape image, or only a person or a still life, such as a portrait. It can be classified into images.
かくして、撮像装置１は、撮影日時で画像を分類する場合と比して、所望の画像を見付け出し易くすることができる。 Thus, the imaging apparatus 1 can easily find a desired image as compared with the case of classifying images by shooting date and time.
このような構成でなる撮像装置の具体例について、以下、詳しく説明する。 A specific example of the imaging apparatus having such a configuration will be described in detail below.
［１−２．ＤＳＣ（デジタルスチルカメラ）のハードウェア構成］
次に、実施の形態の具体例となるＤＳＣ（デジタルスチルカメラ）のハードウェア構成について説明する。
[1-2. DSC (Digital Still Camera) Hardware Configuration]
Next, a hardware configuration of a DSC (digital still camera) as a specific example of the embodiment will be described.
図２に示すように、ＤＳＣ１００は、ＣＰＵ１０１が、プログラムＲＯＭ１０２に書き込まれたプログラムをＲＡＭ１０３にロードして実行することで各種処理を実行すると共に、タッチパネル１０４や操作部１０５からの入力信号に応じて各部を制御する。因みに、ＣＰＵは、Central Processing Unitの略である。また、ＲＯＭは、Read Only Memoryの略、ＲＡＭは、Random Access Memoryの略である。
As shown in FIG. 2, in the
タッチパネル１０４は、液晶パネル１０６と共にタッチスクリーン１０７を構成するデバイスであり、タッチパネル１０４上の任意の位置が指でタッチされると、タッチされた位置を液晶パネル１０６に表示させる画面の座標として検出する。そしてタッチパネル１０４は、タッチされた位置の座標に応じた入力信号をＣＰＵ１０１に送る。
The touch panel 104 is a device that forms a
操作部１０５は、ズームレバー（ＴＥＬＥ／ＷＩＤＥ）、シャッタボタン、電源ボタン、モード切替ボタンなどからなるデバイスであり、これらの押下操作に応じた入力信号をＣＰＵ１０１に送る。
The
ＣＰＵ１０１は、操作部１０５を介して、動作モードを撮影モードに切り替えるよう指示されると、動作モードを撮影モードに切り替える。
When the
撮影モードに移行すると、ＣＰＵ１０１は、モータドライバ１０８を制御して、アクチュエータ１０９を駆動させることで、レンズ部１１０を、ＤＳＣ１００の筐体から露出させる。またＣＰＵ１０１は、アクチュエータ１０９を駆動させることで、レンズ部１１０の絞りを調整したり、フォーカスレンズを移動させたりする。
When the photographing mode is entered, the
またこのとき、ＣＰＵ１０１は、タイミングジェネレータ１１１を制御して、タイミング信号をＣＣＤ（Charge Coupled Device）などでなる撮像素子１１２に供給する。撮像素子１１２は、このタイミング信号に基づいて動作することにより、レンズ部１１０を介して取り込まれた被写体からの光を電気信号に変換（すなわち光電変換）して、これをアナログ信号処理部１１３に供給する。
At this time, the
アナログ信号処理部１１３は、ＣＰＵ１０１の制御のもと、この電気信号に対してアナログ信号処理（増幅等）を施すことでアナログ画像信号を得、これをアナログデジタル変換部（これをＡ／Ｄ変換部とも呼ぶ）１１４に供給する。
Under the control of the
Ａ／Ｄ変換部１１４は、ＣＰＵ１０１の制御のもと、送られてきたアナログ画像信号をアナログデジタル変換（Ａ／Ｄ変換）することでデジタル画像信号を得、これをデジタル信号処理部１１５に供給する。
The A /
デジタル信号処理部１１５は、ＣＰＵ１０１の制御のもと、送られてきたデジタル画像信号に対してデジタル信号処理（ノイズ除去等）を施した後、液晶パネル１０６に供給する。この結果、液晶パネル１０６には、被写体の画像がスルー画像として表示される。このようにしてＤＳＣ１００は、撮影者に被写体を確認させる。
The digital
またこのとき、デジタル信号処理部１１５は、ＣＰＵ１０１の制御のもと、送られてきたデジタル画像信号を解析して、この画像から人物の顔を認識する処理（これを顔認識処理とも呼ぶ）を行う。そしてデジタル信号処理部１１５は、画像から人物の顔を認識できたか否か、顔と認識されたのは画像のどの部分か、顔と認識された部分にピントがあっているか否かなどを、顔認識処理の結果として、ＣＰＵ１０１に返す。
At this time, the digital
さらにこのとき、デジタル信号処理部１１５は、ＣＰＵ１０１の制御のもと、アイコンや、顔と認識された部分を示す枠（顔枠とも呼ぶ）などのグラフィックス信号を生成して、これをデジタル画像信号に重畳する。この結果、液晶パネル１０６には、スルー画像と共に、アイコンや顔枠などが表示される。
Further, at this time, the digital
ここで、操作部１０５のシャッタボタンが押下されたとする。するとＣＰＵ１０１は、シャッタボタンの押下に応じて操作部１０５から送られてくる入力信号により、シャッタボタンが押下されたと認識して、画像を記録する。
Here, it is assumed that the shutter button of the
すなわちデジタル信号処理部１１５は、ＣＰＵ１０１の制御のもと、Ａ／Ｄ変換部１１４から送られてきたデジタル画像信号を、例えば、ＪＰＥＧなどの圧縮伸長フォーマットで圧縮することで、圧縮画像データを生成する。因みに、ＪＰＥＧとは、Joint Photographic Experts Groupの略である。
That is, the digital
ＣＰＵ１０１は、デジタル信号処理部１１５で生成された圧縮画像データに、ファイルヘッダなどを付与することで画像ファイルを生成する。
The
そしてＣＰＵ１０１は、この画像ファイルを記録部１１６に記録する。このようにしてＣＰＵ１０１は、画像を記録する。
Then, the
因みに、記録部１１６は、例えば数ギガバイト〜数十ギガバイト程度の不揮発性メモリであり、ＤＳＣ１００に予め内蔵された記録媒体であってもよいし、メモリカードのようにＤＳＣ１００に着脱可能な記録媒体であってもよい。
Incidentally, the
またＤＳＣ１００は、記録部１１６とは別に、フラッシュメモリ１１７を有している。ＣＰＵ１０１は、このフラッシュメモリ１１７に、ユーザにより設定された各種情報など、電源オフ後も保持する必要がある情報を記憶させるようになっている。
The
またＣＰＵ１０１は、記録した画像を管理する為のデータベースを記録部１１６に記憶させて保持するようにもなっている。このデータベースには、図３に示すように、画像ごとに、その属性情報が登録されるようになっている。
Further, the
具体的に、この属性情報には、画像のファイル名が含まれる。つまり、このファイル名により、画像と属性情報とが１対１で対応付けられている。またこの属性情報には、画像を撮影したときの日時（撮影日時）が含まれる。 Specifically, this attribute information includes the file name of the image. That is, by this file name, the image and the attribute information are associated with each other on a one-to-one basis. The attribute information includes the date and time when the image was taken (shooting date and time).
さらにこの属性情報には、撮影時の被写界深度が含まれる。さらにこの属性情報には、画像から人物の顔が認識されたか否かと、認識された顔の数と、認識された顔にピントが合っているか否かとを示す顔認識情報が含まれる。 Further, this attribute information includes the depth of field at the time of shooting. Further, the attribute information includes face recognition information indicating whether or not a human face has been recognized from the image, the number of recognized faces, and whether or not the recognized faces are in focus.
さらにこの属性情報には、撮影時にＧＰＳ（Global Positioning System）情報が受信できたか否かを示すＧＰＳ可否情報が含まれる。 Further, the attribute information includes GPS availability information indicating whether GPS (Global Positioning System) information has been received at the time of shooting.
さらに属性情報には、どのようなシーンを撮影したのかを示す撮影シーン（例えば、ポートレート、風景、記念撮影など）と、どのような状況を撮影したのかを示す撮影状況（例えば、日常、会合、旅行など）とが含まれる。 Furthermore, the attribute information includes a shooting scene (for example, portrait, landscape, commemorative shooting, etc.) indicating what scene was shot, and a shooting situation (for example, daily, meeting) indicating what kind of situation was shot. , Travel, etc.).
このような属性情報を、ＣＰＵ１０１は、画像の記録時（撮影時）に、データベースに登録する。
The
すなわちＣＰＵ１０１は、撮影時に、タイマなどの計時部（図示せず）から現在の日時（撮影日時）を得る。さらにＣＰＵ１０１は、絞りの調整量などから、既存の算出方法を用いて被写界深度を算出する。さらにＣＰＵ１０１は、顔認識処理の結果から顔認識情報を得る。さらにＣＰＵ１０１は、ＧＰＳモジュール１１８から現在位置を示す現在位置情報が得られたか否かにより、ＧＰＳ可否情報を得る。さらにＣＰＵ１０１は、このようにして得た撮影日時、被写界深度、顔認識情報及びＧＰＳ可否情報に基づいて、撮影シーン及び撮影状況を判別する（判別方法については後述する）。
In other words, the
そしてＣＰＵ１０１は、撮影日時、被写界深度、顔認識情報、ＧＰＳ可否情報、撮影シーン及び撮影状況を、画像の属性情報としてデータベースに登録する。
The
尚、被写界深度については、厳密な数値ではなく、浅いか深いかが登録されるようになっている。すなわちＣＰＵ１０１は、被写界深度があらかじめ決められた基準値未満であれば浅いと判別する一方で、基準値以上であれば深いと判別するようになっている。
It should be noted that the depth of field is not an exact numerical value, and whether shallow or deep is registered. In other words, the
一方、操作部１０５を介して、動作モードを再生モードに切り替えるよう指示されると、ＣＰＵ１０１は、動作モードを再生モードに切り替える。
On the other hand, when instructed to switch the operation mode to the reproduction mode via the
ＤＳＣ１００は、再生モードとして、画像を撮影日時ごとに分類して表示する日時別表示モードと、撮影シーンごとに分類して表示するシーン別表示モードと、撮影状況ごとに分類して表示する状況別表示モードとを有している。
The
ＣＰＵ１０１は、操作部１０５を介して日時別表示モードが選択されると、データベースに登録されている画像の撮影日時を全て取得する。さらにＣＰＵ１０１は、デジタル信号処理部１１５を制御して、取得した撮影日時をもとに、例えば撮影日の一覧を液晶パネル１０６に表示させる。
When the date and time display mode is selected via the
ここで、タッチパネル１０４を介して所望の撮影日が選択されると、ＣＰＵ１０１は、データベースを参照することで、選択された撮影日に撮影された画像を特定して、その画像ファイルを記録部１１６からＲＡＭ１０３に読み出す。
Here, when a desired shooting date is selected via the touch panel 104, the
ＣＰＵ１０１は、ＲＡＭ１０３に読み出した画像ファイルから、圧縮画像データを抽出して、これをデジタル信号処理部１１５に供給する。
The
デジタル信号処理部１１５は、ＣＰＵ１０１の制御のもと、送られてきた圧縮画像データを伸長することにより圧縮前のデジタル画像信号を得、これを液晶パネル１０６に供給する。この結果、液晶パネル１０６には、選択された撮影日に撮影された画像が表示される。尚、選択された撮影日に撮影された画像が複数の場合、ＣＰＵ１０１が、デジタル信号処理部１１５を制御して、液晶パネル１０６に複数の画像を一覧表示させるようにしてもよい。
Under the control of the
また操作部１０５を介してシーン別表示モードが選択されると、ＣＰＵ１０１は、データベースに登録されている画像の撮影シーンを全て取得する。さらにＣＰＵ１０１は、デジタル信号処理部１１５を制御して、取得した撮影シーンをもとに、撮影シーンの一覧を液晶パネル１０６に表示させる。
When the scene display mode is selected via the
ここで、タッチパネル１０４を介して所望の撮影シーンが選択されると、ＣＰＵ１０１は、データベースを参照することで、選択された撮影シーンに分類された画像を特定して、その画像ファイルを記録部１１６からＲＡＭ１０３に読み出す。
Here, when a desired shooting scene is selected via the touch panel 104, the
ＣＰＵ１０１は、ＲＡＭ１０３に読み出した画像ファイルから、圧縮画像データを抽出して、これをデジタル信号処理部１１５に供給する。
The
デジタル信号処理部１１５は、ＣＰＵ１０１の制御のもと、送られてきた圧縮画像データを伸長することにより圧縮前のデジタル画像信号を得、これを液晶パネル１０６に供給する。この結果、液晶パネル１０６には、選択された撮影シーンに分類された画像が表示される。尚、選択された撮影シーンに分類された画像が複数の場合、ＣＰＵ１０１が、デジタル信号処理部１１５を制御して、液晶パネル１０６に複数の画像を一覧表示させるようにしてもよい。
Under the control of the
さらに操作部１０５を介して状況別表示モードが選択されると、ＣＰＵ１０１は、データベースに登録されている画像の撮影状況を全て取得する。さらにＣＰＵ１０１は、デジタル信号処理部１１５を制御して、取得した撮影状況をもとに、撮影状況の一覧を液晶パネル１０６に表示させる。
Further, when the situation-specific display mode is selected via the
ここで、タッチパネル１０４を介して所望の撮影状況が選択されると、ＣＰＵ１０１は、データベースを参照することで、選択された撮影状況に分類された画像を特定して、その画像ファイルを記録部１１６からＲＡＭ１０３に読み出す。
Here, when a desired shooting situation is selected via the touch panel 104, the
ＣＰＵ１０１は、ＲＡＭ１０３に読み出した画像ファイルから、圧縮画像データを抽出して、これをデジタル信号処理部１１５に供給する。
The
デジタル信号処理部１１５は、ＣＰＵ１０１の制御のもと、送られてきた圧縮画像データを伸長することにより圧縮前のデジタル画像信号を得、これを液晶パネル１０６に供給する。この結果、液晶パネル１０６には、選択された撮影状況に分類された画像が表示される。尚、選択された撮影状況に分類された画像が複数の場合、ＣＰＵ１０１が、デジタル信号処理部１１５を制御して、液晶パネル１０６に複数の画像を一覧表示させるようにしてもよい。
Under the control of the
このようにしてＤＳＣ１００は、画像を撮影日時ごと、撮影シーンごと、撮影状況ごとに分類して表示するようになっている。
In this way, the
尚、このＤＳＣ１００のレンズ部１１０及び撮像素子１１２が、上述した撮像装置１の撮像部２に相当するハードウェアである。またＤＳＣ１００の記録部１１６が、上述した撮像装置１の記録媒体４に相当するハードウェアである。さらにＤＳＣ１００のＣＰＵ１０１が、上述した撮像装置１の取得部３、制御部５、及び分類部６に相当するハードウェアである。
Note that the
［１−３．属性情報登録処理手順］
次に、上述した画像の属性情報を登録する処理手順（これを属性情報登録処理手順とも呼ぶ）について、画像の撮影シーンと撮影状況の判別方法と共に、図４〜図６に示すフローチャートを用いて説明する。
[1-3. Attribute information registration process]
Next, regarding the processing procedure for registering image attribute information described above (also referred to as an attribute information registration processing procedure), together with the method for determining the shooting scene and shooting status of the image, the flowcharts shown in FIGS. explain.
因みに、この属性情報登録処理手順ＲＴ１は、ＤＳＣ１００のＣＰＵ１０１が、プログラムＲＯＭ１０２に書き込まれているプログラムに従って実行する処理手順である。
Incidentally, the attribute information registration processing procedure RT1 is a processing procedure executed by the
ＣＰＵ１０１は、撮影モードで、操作部１０５のシャッタボタンが押下されると、画像を記録すると共に、この属性情報登録処理手順ＲＴ１を開始して、ステップＳＰ１に移る。
When the shutter button of the
ステップＳＰ１においてＣＰＵ１０１は、画像の属性情報となり、撮影シーン及び撮影状況の判別に必要な、現在の日時（撮影日時）と、被写界深度と、顔認識情報と、ＧＰＳ可否情報を取得して、次のステップＳＰ２に移る。
In step SP1, the
ステップＳＰ２においてＣＰＵ１０１は、撮影シーンを判別する処理手順（撮影シーン判別処理手順）ＳＲＴ１（図５）を開始してステップＳＰ１０に移る。
In step SP2, the
ステップＳＰ１０においてＣＰＵ１０１は、取得した被写界深度に基づいて、被写界深度が浅いか否かを判別する。ここで肯定結果を得ると、このことは被写界深度が浅いこと、すなわち、記録した画像が、人物や静物など、主要な被写体にのみピントを合わせ、他の部分にはピントを合わせずぼやけるようにして撮影されたものであることを意味する。換言すれば、この画像は、或る一部分を注視して撮影されたものであることを意味する。このときＣＰＵ１０１は、ステップＳＰ１１に移る。
In step SP10, the
ステップＳＰ１１においてＣＰＵ１０１は、取得した顔認識情報に基づいて、記録した画像から人物の顔が認識されているか否かを判別する。ここで肯定結果を得ると、このことは人物の顔が認識されていること、つまり記録した画像に、人物の顔が含まれていることを意味する。このときＣＰＵ１０１は、ステップＳＰ１２に移る。
In step SP11, the
ステップＳＰ１２においてＣＰＵ１０１は、取得した顔認識情報に基づいて、認識されている人物の顔にピントが合っているか否かを判別する。ここで肯定結果を得ると、このことは人物の顔にピントが合っていること、すなわち、記録した画像が、人物を注視して撮影されたものであることを意味する。このときＣＰＵ１０１は、ステップＳＰ１３に移る。
In step SP12, the
ステップＳＰ１３においてＣＰＵ１０１は、ピントが合っている人物の数が一人であるか否かを判別する。ここで肯定結果を得ると、このことはピントが合っている人物の顔が一人であること、すなわち、記録した画像が、一人の人物に注視して撮影されたものであることを意味する。このときＣＰＵ１０１は、ステップＳＰ１４に移る。
In step SP13, the
ここまでの判別結果から、記録した画像は、一人の人物を注視して撮影されたものであることがわかる。よって、ＣＰＵ１０１は、ステップＳＰ１４において、記録した画像の撮影シーンを「ポートレート（人物写真）」と判別する。このことは、ＣＰＵ１０１が、この画像を、撮影シーンの「ポートレート」に分類したことを意味する。
From the determination results so far, it can be seen that the recorded image was taken while paying attention to one person. Therefore, in step SP14, the
また上述のステップＳＰ１０で否定結果を得ると、このことは被写界深度が深いこと、すなわち、記録した画像が、手前から奥までの広範囲にピントを合わせて撮影されたものであることを意味する。換言すれば、この画像は、全体がぼやけず視認できるように撮影されたものであることを意味する。このときＣＰＵ１０１は、ステップＳＰ１５に移る。
If a negative result is obtained in step SP10 described above, this means that the depth of field is deep, that is, the recorded image has been photographed with a wide range of focus from the front to the back. To do. In other words, this image is taken so that the entire image can be seen without blurring. At this time, the
ステップＳＰ１５においてＣＰＵ１０１は、取得した顔認識情報に基づいて、記録した画像から人物の顔が認識されているか否かを判別する。ここで肯定結果を得ると、このことは人物の顔が認識されていること、つまり記録した画像に、人物の顔が含まれていることを意味する。このときＣＰＵ１０１は、ステップＳＰ１６に移る。
In step SP15, the
ここまでの判別結果から、記録した画像は、人物の顔が含まれ、全体がぼやけず視認できるように撮影されたものであることがわかる。よって、ＣＰＵ１０１は、ステップＳＰ１６において、記録した画像の撮影シーンを「記念撮影」と判別する。このことは、ＣＰＵ１０１が、この画像を、撮影シーンとしての「記念撮影」に分類したことを意味する。
From the determination results so far, it can be seen that the recorded image is taken so that the face of the person is included and the entire image can be seen without blurring. Therefore, in step SP16, the
また上述のステップＳＰ１３で否定結果を得た場合、ここまでの判別結果から、記録した画像が、複数の人物を注視して撮影されたものであることがわかる。この場合も、ＣＰＵ１０１は、ステップＳＰ１６に移り、記録した画像の撮影シーンを「記念撮影」と判別する。このことは、ＣＰＵ１０１が、この画像を、撮影シーンとしての「記念撮影」に分類したことを意味する。
If a negative result is obtained in step SP13 described above, it can be seen from the determination results so far that the recorded image has been taken while paying attention to a plurality of persons. Also in this case, the
また上述のステップＳＰ１５で否定結果を得ると、このことは記録した画像から人物の顔が認識されていないこと、つまり記録した画像に、人物の顔が含まれていないことを意味する。このときＣＰＵ１０１は、ステップＳＰ１７に移る。
If a negative result is obtained in step SP15 described above, this means that the person's face is not recognized from the recorded image, that is, the recorded image does not include the person's face. At this time, the
ステップＳＰ１７においてＣＰＵ１０１は、取得したＧＰＳ可否情報に基づいて、ＧＰＳ情報が取得できなかったか否かを判別する。ここで肯定結果を得ると、このことは現在位置（撮影場所）がＧＰＳ情報を受信できない場所であること、すなわち、屋内で撮影された可能性が高いことを意味する。このときＣＰＵ１０１は、ステップＳＰ１８に移る。
In step SP17, the
ここまでの判別結果から、記録した画像は、人物の顔が含まれず、全体がぼやけず視認できるように屋内で撮影されたものであることがわかる。よって、ＣＰＵ１０１は、ステップＳＰ１８において、記録した画像の撮影シーンを「静物」と判別する。このことは、ＣＰＵ１０１が、この画像を、撮影シーンとしての「静物」に分類したことを意味する。
From the determination results so far, it can be seen that the recorded image was taken indoors so that it does not include a human face and can be visually recognized without blurring. Therefore, in step SP18, the
また上述のステップＳＰ１１で否定結果を得た場合、ここまでの判別結果から、記録した画像が、人物の顔以外の被写体を注視して撮影されたものであることがわかる。この場合も、ＣＰＵ１０１は、ステップＳＰ１８に移り、記録した画像の撮影シーンを「静物」と判別する。このことは、ＣＰＵ１０１が、この画像を、撮影シーンとしての「静物」に分類したことを意味する。
If a negative result is obtained in step SP11 described above, it can be seen from the determination results so far that the recorded image was taken while paying attention to a subject other than the human face. Also in this case, the
さらに上述のステップＳＰ１２で否定結果を得た場合、ここまでの判別結果から、記録した画像が、人物の顔以外の被写体を注視して撮影されたものであることがわかる。この場合も、ＣＰＵ１０１は、ステップＳＰ１８に移り、記録した画像の撮影シーンを「静物」と判別する。このことは、ＣＰＵ１０１が、この画像を、撮影シーンとしての「静物」に分類したことを意味する。
Furthermore, when a negative result is obtained in the above-described step SP12, it can be seen from the determination results so far that the recorded image was taken while paying attention to a subject other than the face of a person. Also in this case, the
また上述のステップＳＰ１７で否定結果を得ると、このことは現在位置（撮影場所）がＧＰＳ情報を受信できる場所であること、すなわち、屋外で撮影された可能性が高いことを意味する。このときＣＰＵ１０１は、ステップＳＰ１９に移る。
If a negative result is obtained in step SP17 described above, this means that the current position (photographing place) is a place where GPS information can be received, that is, the possibility of photographing outdoors is high. At this time, the
ここまでの判別結果から、記録した画像は、人物の顔が含まれず、全体がぼやけず視認できるように屋外で撮影されたものであることがわかる。よって、ＣＰＵ１０１は、ステップＳＰ１９において、記録した画像の撮影シーンを「風景」と判別する。このことは、ＣＰＵ１０１が、この画像を、撮影シーンとしての「風景」に分類したことを意味する。
From the determination results so far, it can be seen that the recorded image was taken outdoors so that the face of the person is not included and the entire image can be seen without blurring. Therefore, in step SP19, the
このようにして、記録した画像の撮影シーンを判別し終えると、ＣＰＵ１０１は、この撮影シーン判別処理手順ＳＲＴ１を終了して、次のステップＳＰ３（図４）に移る。
In this way, when determining the shooting scene of the recorded image, the
ステップＳＰ３においてＣＰＵ１０１は、撮影状況を判別する処理手順（撮影状況判別処理手順）ＳＲＴ２（図６）を開始してステップＳＰ２０に移る。
In step SP3, the
ステップＳＰ２０においてＣＰＵ１０１は、取得した被写界深度に基づいて、被写界深度が浅いか否かを判別する。ここで否定結果を得ると、このことは被写界深度が深いこと、すなわち、記録した画像が、手前から奥までの広範囲にピントを合わせて撮影されたものであることを意味する。換言すれば、この画像は、全体がぼやけず視認できるように撮影されたものであることを意味する。このときＣＰＵ１０１は、ステップＳＰ２１に移る。
In step SP20, the
ステップＳＰ２１において、取得した顔認識情報に基づいて、記録した画像から人物の顔が認識されているか否かを判別する。ここで肯定結果を得ると、このことは人物の顔が認識されていること、つまり記録した画像に、人物の顔が含まれていることを意味する。このときＣＰＵ１０１は、ステップＳＰ２２に移る。
In step SP21, based on the acquired face recognition information, it is determined whether or not a person's face is recognized from the recorded image. If a positive result is obtained here, this means that the face of the person is recognized, that is, the recorded face includes the face of the person. At this time, the
ここまでの判別結果から、記録した画像は、人物の顔を含み、全体がぼやけず視認できるように撮影されたものであることがわかる。よって、ＣＰＵ１０１は、ステップＳＰ２２において、記録した画像の撮影状況を「記念撮影」と判別する。このことは、ＣＰＵ１０１が、この画像を、撮影状況としての「記念撮影」に分類したことを意味する。
From the determination results so far, it can be seen that the recorded image is taken so that the entire face is visible without blurring. Therefore, in step SP22, the
また上述のステップＳＰ２０で肯定結果を得ると、このことは被写界深度が浅いこと、すなわち、記録した画像が、人物や静物など、主要な被写体にのみピントを合わせ、他の部分にはピントを合わせずぼやけるようにして撮影されたものであることを意味する。換言すれば、この画像は、或る一部分を注視して撮影されたものであることを意味する。このときＣＰＵ１０１は、ステップＳＰ２３に移る。
If a positive result is obtained in step SP20 described above, this means that the depth of field is shallow, that is, the recorded image is focused only on a main subject such as a person or a still life, and is not focused on other portions. It means that the image was taken so as not to be blurred. In other words, this image means that the image was taken while gazing at a certain part. At this time, the
ステップＳＰ２３においてＣＰＵ１０１は、取得した顔認識情報に基づいて、記録した画像から人物の顔が認識されているか否かを判別する。ここで否定結果を得ると、このことは人物の顔が認識されていないこと、つまり記録した画像に、人物の顔が含まれていないことを意味する。このときＣＰＵ１０１は、ステップＳＰ２４に移る。
In step SP23, the
ステップＳＰ２４においてＣＰＵ１０１は、取得したＧＰＳ可否情報に基づいて、ＧＰＳ情報が受信できなかったか否かを判別する。ここで肯定結果を得ると、このことは現在位置（撮影場所）がＧＰＳ情報を受信できない場所であること、すなわち、屋内で撮影された可能性が高いことを意味する。このときＣＰＵ１０１は、ステップＳＰ２５に移る。
In step SP24, the
この場合、ここまでの判別結果から、記録した画像が、人物の顔を含まず全体がぼやけず視認できるように屋内で撮影されたものであることがわかる。よって、ＣＰＵ１０１は、ステップＳＰ２５において、記録した画像の撮影状況を、「屋内、静物、記録」のいずれかであると判別する。このことは、ＣＰＵ１０１が、この画像を、撮影状況として「屋内、静物、記録」に分類したことを意味する。
In this case, it can be seen from the determination results so far that the recorded image was taken indoors so that the entire image is not blurred and can be visually recognized without blurring. Accordingly, in step SP25, the
また上述のステップＳＰ２１で否定結果を得た後に、ステップＳＰ２４で肯定結果を得た場合、ここまでの判別結果から、記録した画像が、人物の顔を含まず人物の顔以外の被写体を注視して屋内で撮影されたものであることがわかる。この場合も、ＣＰＵ１０１は、ステップＳＰ２５に移り、記録した画像の撮影状況を、「屋内、静物、記録」のいずれかであると判別する。このことは、ＣＰＵ１０１が、この画像を、撮影状況として「屋内、静物、記録」に分類したことを意味する。
Further, when a negative result is obtained in step SP21 described above and a positive result is obtained in step SP24, based on the determination results thus far, the recorded image does not include a person's face but pays attention to a subject other than the person's face. It can be seen that it was taken indoors. Also in this case, the
また上述のステップＳＰ２４で否定結果を得ると、このことは現在位置（撮影場所）がＧＰＳ情報を受信できる場所であること、すなわち、屋外で撮影された可能性が高いことを意味する。このときＣＰＵ１０１は、ステップＳＰ２６に移る。
If a negative result is obtained in step SP24 described above, this means that the current position (photographing place) is a place where GPS information can be received, that is, there is a high possibility that the picture was taken outdoors. At this time, the
この場合、ここまでの判別結果から、記録した画像が、人物の顔を含まず全体がぼやけず視認できるように屋外で撮影されたもの、又は人物の顔以外の被写体を注視して屋外で撮影されたものであることがわかる。よって、ＣＰＵ１０１は、ステップＳＰ２６において、記録した画像の撮影状況を、「旅行、記録、風景」のいずれかであると判別する。このことは、ＣＰＵ１０１が、この画像を、撮影状況として「旅行、記録、風景」に分類したことを意味する。
In this case, based on the determination results so far, the recorded image was taken outdoors so that the entire face is not blurred and can be seen without blurring, or the subject other than the person's face is watched and taken outdoors. It can be seen that Therefore, in step SP26, the
また上述のステップＳＰ２３で肯定結果を得ると、このことは、記録した画像から人物の顔が認識されていること、つまり記録した画像に人物の顔が含まれていることを意味する。このときＣＰＵ１０１は、ステップＳＰ２７に移る。
If a positive result is obtained in step SP23 described above, this means that the person's face is recognized from the recorded image, that is, the person's face is included in the recorded image. At this time, the
この場合、ここまでの判別結果から、記録した画像は、人物の顔が含まれ、全体がぼやけず視認できるように撮影されたものであることがわかる。よって、ＣＰＵ１０１は、ステップＳＰ２７において、記録した画像の撮影状況を「日常、会合、旅行」のいずれかであると判別する。このことは、ＣＰＵ１０１が、この画像を、撮影状況として「日常、会合、旅行」に分類したことを意味する。
In this case, from the determination results so far, it can be seen that the recorded image was captured so that the face of the person was included and the entire image could be seen without blurring. Therefore, in step SP27, the
このようにして、記録した画像の撮影状況を判別し終えると、ＣＰＵ１０１は、この撮影状況判別処理手順ＳＲＴ２を終了して、次のステップＳＰ４（図３）に移る。
In this way, when determining the shooting status of the recorded image, the
ステップＳＰ４においてＣＰＵ１０１は、ここまでに得た、撮影日時、被写界深度、顔認識情報、ＧＰＳ可否情報、撮影シーン及び撮影状況を、記録した画像の属性情報としてデータベースに登録して、この属性情報登録処理手順ＲＴ１を終了する。
In step SP4, the
このような属性情報登録処理手順ＲＴ１により、ＤＳＣ１００は、記録した画像の属性情報を登録するようになっている。
By such attribute information registration processing procedure RT1, the
ところで、上述した撮影状況判別処理手順ＳＲＴ２では、場合によっては、画像の撮影状況を、「日常、会合、旅行」のいずれかというように大まかにしか判別できない。 By the way, in the above-described shooting situation determination processing procedure SRT2, depending on the case, it is possible to roughly determine the shooting situation of an image such as “everyday, meeting, travel”.
そこで、ＣＰＵ１０１は、記録部１１６に複数の画像が記録されている状態で、これら複数の画像を撮影日時をもとにグルーピングして、グループごとに画像の撮影状況を細かく判別し直すようになっている。
Therefore, the
ここで、撮影状況を判別し直す処理手順（これを撮影状況再判別処理手順）について、図７に示すフローチャートを用いて説明する。 Here, the processing procedure for re-discriminating the shooting situation (this is the shooting status redetermination processing procedure) will be described with reference to the flowchart shown in FIG.
因みに、この撮影状況再判別処理手順ＲＴ２も、ＤＳＣ１００のＣＰＵ１０１が、プログラムＲＯＭ１０２に書き込まれているプログラムに従って実行する処理手順である。
Incidentally, this photographing state redetermination processing procedure RT2 is also a processing procedure executed by the
ＣＰＵ１０１は、例えば、電源オン時に、記録部１１６に複数の画像が記録されていることを認識すると、この撮影状況再判別処理手順ＲＴ２を開始して、ステップＳＰ３０に移る。
For example, when the
ステップＳＰ３０においてＣＰＵ１０１は、データベースに属性情報として登録されている各画像の撮影日時をもとに、記録部１１６に記録されている各画像を撮影日時単位でグルーピングする。
In step SP30, the
具体的にＣＰＵ１０１は、例えば、各画像を、撮影日時に基づいて、時間軸上に並べ、時間軸上に隣接する２つの画像の撮影日時の差が所定値以上である場合に、２つの画像の間を、グループの境界とするようにして、各画像をグルーピングする。
Specifically, for example, the
実際、記録部１１６に記録されている各画像は、旅行などのイベント単位で、時間的にまとまっていることが多い。ゆえに、上述したようにして各画像をグルーピングすることで、各画像をイベント単位でまとめることができる。
Actually, the images recorded in the
このようにしてグルーピングした後、ＣＰＵ１０１は、次のステップＳＰ３１に移る。ステップＳＰ３１においてＣＰＵ１０１は、グループごとに（すなわちイベントごとに）、画像の撮影状況を再判別する。
After grouping in this way, the
具体的にＣＰＵ１０１は、例えば、グループごとに、グループ内の画像の撮影状況から、グループ内で最も多く登録されている撮影状況を抽出する。そしてＣＰＵ１０１は、この撮影状況が、グループ内で最も信頼度の高い撮影状況であるとして、この撮影状況を、グループ内の画像の新たな撮影状況とする。
Specifically, for example, the
例えば、或るグループ内に３つの画像が有り、これら３つの画像の撮影状況が、それぞれ「日常、会合、旅行」、「旅行、記録、風景」、「記念撮影」であったとする。この場合、ＣＰＵ１０１は、「旅行」を、これら３つの画像の撮影状況のうち、最も信頼度の高い撮影状況であるとして、これら３つの画像の撮影状況を「旅行」と再判別する。このことは、ＣＰＵ１０１が、これら３つの画像を、撮影状況の「旅行」に分類したことを意味する。
For example, it is assumed that there are three images in a group, and the shooting situations of these three images are “daily, meeting, travel”, “travel, recording, landscape”, and “commemorative photo”, respectively. In this case, the
このようにして、グループごとに、画像の撮影状況を再判別し終えると、すなわち再分類し終えると、ＣＰＵ１０１は、次のステップＳＰ３２に移る。
In this way, when the re-discrimination of the image capturing status for each group is completed, that is, when the reclassification is completed, the
ステップＳＰ３２においてＣＰＵ１０１は、ステップＳＰ３１の再判別に基づいて、データベースに属性情報として登録されている各画像の撮影状況を更新して、この撮影状況再判別処理手順ＲＴ２を終了する。
In step SP32, the
このような撮影状況再判別処理手順ＲＴ２により、ＤＳＣ１００は、撮影状況を再判別するようになっている。
The
［１−４．動作及び効果］
以上の構成において、ＤＳＣ１００のＣＰＵ１０１は、撮影時に、現在日時、被写界深度、顔認識情報及びＧＰＳ可否情報を取得する。
[1-4. Operation and effect]
In the above configuration, the
さらにＣＰＵ１０１は、取得したこれらの情報をもとに、記録した画像の撮影シーン及び撮影状況を判別する。
Further, the
そしてＣＰＵ１０１は、判別した撮影シーン及び撮影状況を、取得した被写界深度などと共に、記録した画像の属性情報としてデータベースに登録する。
The
このように、記録した画像ごとに、撮影シーン及び撮影状況を判別して、これらを記録した画像の属性情報とすることで、ＤＳＣ１００に記録された各画像が、撮影シーン及び撮影状況により分類されたことになる。
In this way, for each recorded image, the shooting scene and shooting situation are determined, and these are used as attribute information of the recorded image, so that each image recorded in the
このように、ＣＰＵ１０１は、記録した画像を、被写界深度などの情報に基づいて、撮影シーン毎に及び撮影状況により分類する。
As described above, the
そしてＣＰＵ１０１は、例えば、ユーザにより所望の撮影シーンが指定されると、指定された撮影シーンを属性情報として持つ画像（つまり指定された撮影シーンに分類された画像）を検索して、液晶パネル１０６に表示させる。
Then, for example, when a desired shooting scene is specified by the user, the
このように、ＤＳＣ１００は、記録した画像を、何時撮影したのかではなく、撮影シーンや撮影状況のように、どのような画像を撮影したのかという観点から分類するようにした。
In this way, the
これにより、ＤＳＣ１００は、撮影日時で分類する場合と比して、所望の画像をユーザが見付け出し易くすることができる。
Thereby, the
またＤＳＣ１００のＣＰＵ１０１は、記録した画像を、撮影日時をもとにイベントごとにグルーピングする。そしてＣＰＵ１０１は、グループごとに、グループ内の画像の撮影状況のうち、最も信頼度が高い撮影状況を特定して、これをグループ内の画像で共通の撮影状況となるように、グループ内の画像の撮影状況を再判別する。
The
この再判別は、同一イベントの画像は同一撮影状況で撮影されたものであるという考え方に基づくものである。こうすることでＣＰＵ１０１は、記録した画像を、より正確な撮影状況で分類することができる。
This re-discrimination is based on the idea that images of the same event are taken in the same shooting situation. In this way, the
以上の構成によれば、ＤＳＣ１００は、撮影日時で画像を分類する場合と比して、所望の画像を見付け出し易くすることができ、かくして、画像の検索性を向上させることができる。
According to the above configuration, the
＜２．他の実施の形態＞
［２−１．他の実施の形態１］
尚、上述した実施の形態では、ＤＳＣ１００のＣＰＵ１０１が、上述した撮影シーン判別処理手順ＳＲＴ１及び撮影状況判別処理手順ＳＲＴ２により、記録した画像の撮影シーン及び撮影状況を判別するようにした。
<2. Other embodiments>
[2-1. Other Embodiment 1]
In the embodiment described above, the
これに限らず、例えば、図８に示すように、予め様々な撮影パターンと、その撮影パターンで撮影された画像を分類する撮影シーンとを対応付けたデータを利用して、記録した画像の撮影シーン及び撮影状況を判別するようにしてもよい。このデータをパターン別シーンデータとも呼び、このデータは、予め例えばフラッシュメモリ１１７に記憶されているとする。
Not limited to this, for example, as shown in FIG. 8, shooting of a recorded image using data in which various shooting patterns are associated with shooting scenes that classify images shot with the shooting pattern in advance. You may make it discriminate | determine a scene and imaging | photography condition. This data is also called pattern-specific scene data, and this data is assumed to be stored in advance in the
この撮影パターンは、被写界深度が浅いか深いか、人物の顔が認識されているか否か、顔にピントが合っているか否か、顔の数が複数であるか否か、ＧＰＳ情報を受信できたか否かの組み合わせにより分けられている。 This shooting pattern is based on whether the depth of field is shallow or deep, whether a person's face is recognized, whether the face is in focus, whether there are multiple faces, GPS information They are classified according to the combination of whether or not they can be received.
したがって、ＣＰＵ１０１は、この組み合わせから、撮影時の撮影パターンを特定し、さらに特定した撮影パターンから、記録した画像の撮影シーンを判別する。
Therefore, the
例えば、被写界深度が浅く、顔が認識され、顔にピントが合っており、顔の数が単数で、ＧＰＳ情報を受信できているとすると、ＣＰＵ１０１は、この組み合わせから、撮影時の撮影パターンがパターン３であると特定できる。
For example, assuming that the depth of field is shallow, the face is recognized, the face is in focus, the number of faces is singular, and GPS information can be received, the
そしてＣＰＵ１０１は、このパターン３に、撮影シーンとしてポートレートが対応付けられていることから、記録した画像の撮影シーンを「ポートレート」と判別する。つまり、ＣＰＵ１０１は、記録した画像を、撮影シーンの「ポートレート」に分類する。
Then, since the portrait is associated with the
また、例えば図９に示すように、予め様々な撮影パターンと、その撮影パターンで撮影された画像を分類する撮影状況とを対応付けたデータを利用して、記録した画像の撮影シーン及び撮影状況を判別するようにしてもよい。このデータをパターン別状況データとも呼び、このデータは、予め例えばフラッシュメモリ１１７に記憶されているとする。
Further, for example, as shown in FIG. 9, the shooting scene and the shooting situation of the recorded image using data in which various shooting patterns and the shooting situation for classifying the images shot with the shooting pattern are used in advance. You may make it discriminate | determine. This data is also referred to as pattern-specific status data, and this data is stored in advance in, for example, the
この撮影パターンは、被写界深度が浅いか深いか、人物の顔が認識されているか否か、ＧＰＳ情報を受信できたか否かの組み合わせにより分けられている。 This shooting pattern is divided according to the combination of whether the depth of field is shallow or deep, whether a human face is recognized, and whether GPS information has been received.
したがって、ＣＰＵ１０１は、この組み合わせから、撮影時の撮影パターンを特定し、さらに特定した撮影パターンから、記録した画像の撮影状況を判別する。
Therefore, the
例えば、被写界深度が深く、顔が認識され、ＧＰＳ情報を受信できているとすると、ＣＰＵ１０１は、この組み合わせから、撮影時の撮影パターンがパターン５であると特定できる。
For example, if the depth of field is deep, the face is recognized, and GPS information can be received, the
そしてＣＰＵ１０１は、このパターン５に、撮影状況として「記念撮影」が対応付けられていることから、記録した画像の撮影状況を「記念撮影」と判別する。つまり、ＣＰＵ１０１は、記録した画像を、撮影状況の「記念撮影」に分類する。
Then, the
またＣＰＵ１０１が、フラッシュメモリ１１７に記憶されているパターン別シーンデータ及びパターン別状況データを、メモリカード等を介して外部から取得したパターン別シーンデータ及びパターン別状況データにより更新する等してもよい。
The
［２−２．他の実施の形態２］
さらに上述した実施の形態では、撮影時に、撮影日時、被写界深度、顔認識情報、ＧＰＳ可否情報を取得して、これらをもとに、記録した画像の撮影シーン及び撮影状況を判別するようにした。
[2-2. Other Embodiment 2]
Further, in the above-described embodiment, at the time of shooting, the shooting date / time, depth of field, face recognition information, and GPS availability information are acquired, and based on these, the shooting scene and shooting situation of the recorded image are determined. I made it.
これに限らず、ＣＰＵ１０１が、撮影時に、上述した情報にくわえて、ＧＰＳモジュール１１８から現在位置情報を取得し、これらをもとに、記録した画像の撮影シーン及び撮影状況を判別するようにしてもよい。尚、ここでは、撮影時に取得した現在位置情報を、撮影場所情報とも呼ぶ。
Not limited to this, the
この場合、ＣＰＵ１０１は、例えば、撮影時に取得した現在位置情報（すなわち撮影場所情報）と、既にデータベースに登録されている他の画像の撮影場所情報の各々との距離を算出する。
In this case, for example, the
ここで、今回取得した撮影場所情報との距離が所定範囲（例えば数キロメートル）内である撮像場所情報が所定数（例えば１０個）以上、データベースに登録されていたとする。 Here, it is assumed that a predetermined number (for example, 10) or more of shooting location information whose distance from the currently acquired shooting location information is within a predetermined range (for example, several kilometers) is registered in the database.
このことは、今回の撮影場所が、ユーザが普段よく撮影を行う場所であることを意味する。 This means that the current shooting location is a location where the user normally takes photos.
このことを利用して、撮影状況を判別するようにした場合の撮影状況判別処理手順ＳＲＴ３を、図１０に示すフローチャートを用いて説明する。尚、この撮影状況判別処理手順ＳＲＴ３のステップＳＰ２０〜ＳＰ２６の処理は、上述した撮影状況判別処理手順ＳＲＴ２と同様である為、ここでは説明を省略する。 Taking advantage of this, the shooting situation determination processing procedure SRT3 when the shooting situation is determined will be described with reference to the flowchart shown in FIG. Note that the processing at steps SP20 to SP26 of the shooting situation determination processing procedure SRT3 is the same as the above-described shooting situation determination processing procedure SRT2, and therefore the description thereof is omitted here.
ＣＰＵ１０１は、この撮影状況判別処理手順ＳＲＴ３のステップＳＰ２３で肯定結果を得ると、ステップＳＰ１００に移る。
If the
ステップＳＰ１００においてＣＰＵ１０１は、取得したＧＰＳ可否情報に基づいて、ＧＰＳ情報が受信できなかったか否かを判別する。ここで肯定結果を得ると、このことは現在位置（撮影場所）がＧＰＳ情報を受信できない場所であること、すなわち、屋内で撮影された可能性が高いことを意味する。このときＣＰＵ１０１は、ステップＳＰ１０１に移る。
In step SP100, the
この場合、ここまでの判別結果から、記録した画像が、人物の顔を含み、全体がぼやけず視認できるように屋内で撮影されたものであることがわかる。よって、ＣＰＵ１０１は、ステップＳＰ１０１において、記録した画像の撮影状況を、「屋内、会合」のいずれかであると判別する。つまり、ＣＰＵ１０１は、この画像を、撮影状況として「屋内、会合」に分類する。
In this case, it can be seen from the determination results so far that the recorded image is taken indoors so that the entire image includes a person's face and is visible without blurring. Therefore, in step SP101, the
また上述のステップＳＰ１００で否定結果を得ると、このことは現在位置（撮影場所）がＧＰＳ情報を受信できる場所であること、すなわち、屋外で撮影された可能性が高いことを意味する。このときＣＰＵ１０１は、ステップＳＰ１０２に移る。
If a negative result is obtained in step SP100 described above, this means that the current position (photographing place) is a place where GPS information can be received, that is, there is a high possibility that the picture was taken outdoors. At this time, the
ステップＳＰ１０２においてＣＰＵ１０１は、取得した現在位置情報（撮影場所情報）と、既に登録されている他の画像の撮影場所情報とに基づいて、今回の撮影場所が、ユーザが普段よく撮影を行う場所であるか否かを判別する。
In step SP102, the
ここで肯定結果を得ると、このことは今回の撮影場所が、ユーザが普段よく撮影を行う場所であることを意味する。このときＣＰＵ１０１は、ステップＳＰ１０３に移る。
If an affirmative result is obtained here, this means that the shooting location this time is a location where the user often takes photos. At this time, the
この場合、ここまでの判別結果から、記録した画像が、人物の顔を含み、全体がぼやけず視認できるように屋外のユーザが普段よく撮影を行う場所で撮影されたものであることがわかる。よって、ＣＰＵ１０１は、ステップＳＰ１０３において、記録した画像の撮影状況を、「日常」であると判別する。つまり、ＣＰＵ１０１は、この画像を、撮影状況として「日常」に分類する。
In this case, it can be seen from the determination results so far that the recorded image is taken at a place where an outdoor user usually takes a picture so that the entire face can be seen without blurring. Therefore, in step SP103, the
また上述のステップＳＰ１０２で否定結果を得ると、このことは、今回の撮影場所が、ユーザが普段撮影を行わない場所であることを意味する。このときＣＰＵ１０１は、ステップＳＰ１０４に移る。
If a negative result is obtained in step SP102 described above, this means that the current shooting location is a location where the user does not normally perform shooting. At this time, the
この場合、ここまでの判別結果から、記録した画像が、人物の顔を含み、全体がぼやけず視認できるように屋外のユーザが普段撮影を行わない場所で撮影されたものであることがわかる。よって、ＣＰＵ１０１は、ステップＳＰ１０４において、記録した画像の撮影状況を、「旅行」であると判別する。つまり、ＣＰＵ１０１は、この画像を、撮影状況として「旅行」に分類する。
In this case, it can be seen from the determination results so far that the recorded image is taken at a place where the outdoor user does not usually take a picture so that the entire face can be seen without blurring. Therefore, in step SP104, the
このように、撮影場所情報を利用することで、より正確に撮影状況を判別することができる。 In this way, the shooting situation can be more accurately determined by using the shooting location information.
また、予めユーザの自宅の位置情報を登録しておき、この位置情報と、今回取得した撮影場所情報との距離をもとに、今回の撮影場所が、ユーザが普段よく撮影を行う場所であるか否か（自宅付近であるか否か）を判別するようにしてもよい。 Also, the location information of the user's home is registered in advance, and based on the distance between this location information and the acquired shooting location information, the current shooting location is a location where the user usually takes images. Or not (whether or not it is near home).
さらに、ＤＳＣ１００のフラッシュメモリ１１７に、予め位置情報と地名とが対応付けて登録された地図データベースを記憶させておき、ＣＰＵ１０１が、この地図データベースから撮影場所の地名を取得するようにしてもよい。
Further, a map database in which position information and a place name are registered in advance in association with each other may be stored in the
そして、例えば、上述したステップＳＰ１０４において、記録した画像を、撮影状況として「地名＋旅行」に分類するようにしてもよい。このようにすれば、記録した画像をより細かく分類することができ、一段と、所望の画像をユーザが見付け出し易くすることができる。 Then, for example, in step SP104 described above, the recorded image may be classified as “place name + travel” as a shooting situation. In this way, the recorded images can be classified more finely, and the user can more easily find a desired image.
さらに、ＣＰＵ１０１が、撮影日時、被写界深度、顔認識情報、ＧＰＳ可否情報、撮影場所情報に限らず、撮影時に取得できる様々な情報をもとに、撮影シーンや撮影状況を判別するようにしてもよい。
Further, the
例えば、撮影時のカメラ設定から、明るさやシャッタスピードが取得できれば、これらと撮影日時とをもとに、記録した画像が、夜景を撮影したものであるかが判別できる。 For example, if the brightness and shutter speed can be acquired from the camera settings at the time of shooting, it is possible to determine whether the recorded image is a night view shot based on these and the shooting date and time.
また、例えば、ＤＳＣ１００に加速度センサが設けられ、ＤＳＣ１００に加えられている加速度が取得できれば、記録した画像が、パンさせながら撮影されたものであるか、すなわち流し撮りしたものであるかが判別できる。
Further, for example, if an acceleration sensor is provided in the
このように撮影時に取得できる様々な情報を利用することで、より多様な撮影シーンや撮影状況を判別することができる。 In this way, by using various information that can be acquired at the time of shooting, it is possible to determine more various shooting scenes and shooting situations.
［２−３．他の実施の形態３］
さらに上述した実施の形態では、撮影日時、被写界深度、顔認識情報、ＧＰＳ可否情報をもとに、記録した画像を、撮影シーン毎にや撮影状況により分類するようにした。
[2-3. Other Embodiment 3]
Furthermore, in the above-described embodiment, the recorded images are classified for each shooting scene and according to shooting conditions based on shooting date / time, depth of field, face recognition information, and GPS availability information.
これに限らず、被写界深度のみをもとに、記録した画像を被写界深度が深いか浅いかで分類するようにしてもよい。このように被写界深度のみで分類したとしても、記録した画像を、例えば、風景画像のように手前から奥までの広範囲にピントを合わせた画像か、ポートレートのように人物や静物にだけピントを合わせた画像かに分類することができる。これにより、撮影日時で画像を分類する場合と比して、所望の画像を見付け出し易くすることができる。 However, the present invention is not limited to this, and based on only the depth of field, the recorded image may be classified according to whether the depth of field is deep or shallow. Even if you classify only by the depth of field in this way, the recorded image is, for example, an image that focuses on a wide range from the front to the back, such as a landscape image, or only a person or still life, such as a portrait. The image can be classified as a focused image. This makes it easier to find a desired image as compared with the case of classifying images by shooting date and time.
またこれに限らず、被写界深度と、撮影日時、顔認識情報、ＧＰＳ可否情報のうちの任意の情報とをもとに、記録した画像を分類するようにしてもよい。 However, the present invention is not limited to this, and the recorded images may be classified based on the depth of field and arbitrary information among the shooting date / time, face recognition information, and GPS availability information.
［２−４．他の実施の形態４］
さらに上述した実施の形態では、撮影日時単位のグループごとに、グループ内で最も多く登録されている撮影状況を、グループ内で最も信頼度の高い撮影状況であるとして、撮影状況を最判別するようにした。
[2-4. Other Embodiment 4]
Furthermore, in the above-described embodiment, the most frequently registered shooting situation in the group is determined as the most reliable shooting situation in the group for each group of shooting date units. I made it.
これに限らず、例えば、グループ内で登録されている撮影状況のうち、「旅行」のように１つに限定されている撮影状況があれば、これを最も信頼度の高い撮影状況であるとしてもよい。 Not limited to this, for example, if there is a shooting situation limited to one such as “travel” among the shooting situations registered in the group, this is regarded as the shooting situation with the highest reliability. Also good.
例えば、或るグループ内に２つの画像が有り、これら２つの画像の撮影状況が、それぞれ「旅行、記録、風景」、「日常」であったとする。この場合、ＣＰＵ１０１は、「日常」を、これら２つの画像の撮影状況のうち、最も信頼度の高い撮影状況であるとする。
For example, it is assumed that there are two images in a certain group, and the shooting conditions of these two images are “travel, recording, landscape” and “daily life”, respectively. In this case, the
また１つに限定されている撮影状況が複数有る場合には、それらのうちのいずれか、もしくは最も多く登録されているものを、最も信頼度の高い撮影状況であると判別するようにしてもよい。 In addition, when there are a plurality of shooting situations limited to one, it is possible to determine one of them or the most registered one as the shooting situation with the highest reliability. Good.
［２−５．他の実施の形態５］
さらに上述した実施の形態では、撮影シーンと撮影状況との両方を判別するようにした。これに限らず、撮影シーン及び撮影状況のうちのどちらか一方を判別するようにしてもよい。
[2-5. Other Embodiment 5]
Furthermore, in the above-described embodiment, both the shooting scene and the shooting situation are discriminated. However, the present invention is not limited to this, and either one of the shooting scene and the shooting situation may be determined.
［２−６．他の実施の形態６］
さらに上述した実施の形態では、ＣＰＵ１０１が、撮影時に、画像の撮影シーン及び撮影状況を判別するようにした。
[2-6. Other Embodiment 6]
Further, in the above-described embodiment, the
これに限らず、撮影時に、撮影日時、被写界深度、顔認識情報、ＧＰＳ可否情報を属性情報としてデータベースに登録しておき、この属性情報をもとに、任意の時点で撮影シーン及び撮影状況を判別するようにしてもよい。 Not limited to this, at the time of shooting, shooting date / time, depth of field, face recognition information, GPS availability information are registered in the database as attribute information, and based on this attribute information, a shooting scene and shooting can be performed at an arbitrary time. The situation may be determined.
［２−７．他の実施の形態７］
さらに上述した実施の形態では、撮像装置としてのＤＳＣ１００に、撮像部としてのレンズ部１１０及び撮像素子１１２を設けるようにした。またこのＤＳＣ１００に、画像を記録する記録媒体としての記録部１１６を設けるようにした。さらにこのＤＳＣ１に被写界深度を取得する取得部、撮像した画像を所定の記録媒体に記録する制御部、及び被写界深度に基づいて画像を分類する分類部としてのＣＰＵ１０１を設けるようにした。
[2-7. Other Embodiment 7]
Further, in the above-described embodiment, the
本発明はこれに限らず、同様の機能を有するのであれば、上述したＤＳＣ１００の各機能部を、他の種々のハードウェアもしくはソフトウェアにより構成するようにしてもよい。
The present invention is not limited to this, and each functional unit of the
さらに上述した実施の形態では、ＤＳＣ１００に本発明を適用するようにした。これに限らず、カメラ機能を有する機器であれば、デジタルビデオカメラ、携帯型電話機、ゲーム機など、この他種々の機器に適用するようにしてもよく、また適用することができる。
Further, in the above-described embodiment, the present invention is applied to the
［２−８．他の実施の形態８］
さらに上述した実施の形態では、各種処理を実行するためのプログラムを、ＤＳＣ１００のプログラムＲＯＭ１０２に書き込んでおくようにした。
[2-8. Other Embodiment 8]
Furthermore, in the above-described embodiment, a program for executing various processes is written in the
これに限らず、このプログラムを例えばメモリカードなどの記録媒体に記録しておき、ＤＳＣ１００の制御部１０が、このプログラムを記録媒体から読み出して実行するようにしてもよい。また記録媒体から読み出したプログラムを、フラッシュメモリ１１７にインストールするようにしてもよい。
For example, the program may be recorded on a recording medium such as a memory card, and the control unit 10 of the
［２−９．他の実施の形態９］
さらに本発明は、上述した実施の形態と他の実施の形態とに限定されるものではない。すなわち本発明は、上述した実施の形態と他の実施の形態の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用範囲が及ぶものである。
[2-9. Other Embodiment 9]
Further, the present invention is not limited to the above-described embodiment and other embodiments. That is, the scope of application of the present invention extends to a form in which a part or all of the above-described embodiment and another embodiment are arbitrarily combined, or a form in which a part is extracted.
本発明は、カメラ機能を有する機器で広く利用することができる。 The present invention can be widely used in devices having a camera function.
１００……ＤＳＣ（デジタルスチルカメラ）、１０１……ＣＰＵ、１０２……プログラムＲＯＭ、１０３……ＲＡＭ、１０４……タッチパネル、１０５……操作部、１０６……液晶パネル、１１０……レンズ部、１１２……ＣＣＤ、１１６……記録部、１１７……フラッシュメモリ、１１８……ＧＰＳモジュール。
DESCRIPTION OF
Claims (4)
を具える画像分類装置。 Obtaining at least one of the depth of field of the image at the time of shooting and the face recognition information indicating whether or not the face of the person can be recognized from the image and the position acquisition availability information indicating whether or not the position at the time of shooting can be acquired; Based on the acquired depth of field and at least one of the face recognition information and the position acquisition availability information, the shooting situation of the image is determined, and the shooting date and time is acquired, and the image and the acquired The shooting date / time and the shooting status of the determined image are associated, the images are grouped based on the shooting date / time associated with the image, and for each group, among the shooting statuses associated with the images in the group The most reliable shooting situation is identified, and the shooting situation of the images in the group is re-determined so that this becomes a common shooting situation for the images in the group. Image classification apparatus comprising a control unit for controlling to classify by another was the shooting conditions.
取得した上記被写界深度と、上記顔認識情報及び上記位置取得可否情報のうち少なくとも一方に基づいて、上記画像を撮影シーン毎に分類するように制御する
請求項１に記載の画像分類装置。 The control unit
And obtained was the depth of field winding, based on at least one of the face recognition information and the position acquisition permission information, an image classification apparatus according to claim 1 for controlling so as to classify the image for each photographic scene .
画像分類方法。 At least one of the depth of field of the image at the time of shooting, face recognition information indicating whether a human face can be recognized from the image, and position acquisition availability information indicating whether the position at the time of shooting can be acquired from the image Based on the acquired depth of field and at least one of the face recognition information and the position acquisition enable / disable information, determine the shooting status of the image, further acquire the shooting date and time, and acquire the image And the acquired shooting date and time and the determined shooting status of the image, the images are grouped based on the shooting date and time associated with the image, and each group is associated with an image in the group. Of the shooting situations, identify the shooting situation with the highest degree of reliability, and re-determine the shooting situation of the images in the group so that this is the same shooting situation for the images in the group. Image classification method for controlling to classify by the photographing conditions the image was re-determined.
取得した上記被写界深度と、上記顔認識情報及び上記位置取得可否情報のうち少なくとも一方とに基づいて、上記画像の撮影状況を制御部が判別する判別ステップと、
さらに撮影日時を制御部が取得し、上記画像と、取得した上記撮影日時と、判別した上記画像の撮影状況とを制御部が関連付ける関連付けステップと、
上記画像を、当該画像に関連付けられた撮影日時に基づいて制御部がグループ化し、グループごとに、グループ内の画像に関連付けられた撮影状況のうち、最も信頼度が高い撮影状況を制御部が特定して、これをグループ内の画像で共通の撮影状況となるように、グループ内の画像の撮影状況を制御部が再判別する再判別ステップと、
上記画像を、再判別した上記撮影状況によって制御部が分類する分類ステップと
を実行させるための画像分類プログラム。 The control unit has at least one of the depth of field of the image at the time of shooting and the face recognition information indicating whether or not the person's face can be recognized from the image and the position acquisition availability information indicating whether or not the position at the time of shooting can be acquired. An acquisition step to acquire;
A determination step in which the control unit determines the shooting state of the image based on the acquired depth of field and at least one of the face recognition information and the position acquisition availability information;
Further, the control unit acquires the shooting date and time, and the control unit associates the image, the acquired shooting date and time, and the determined shooting status of the image,
The control unit groups the images based on the shooting date and time associated with the image, and for each group, the control unit identifies the shooting situation with the highest reliability among the shooting situations associated with the images in the group. Then, a re-determination step in which the control unit re-determines the shooting status of the images in the group so that this becomes a common shooting status for the images in the group;
An image classification program for executing a classification step in which the control unit classifies the image according to the re-determined shooting state .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009116804A JP5369881B2 (en) | 2009-05-13 | 2009-05-13 | Image classification apparatus, image classification method and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009116804A JP5369881B2 (en) | 2009-05-13 | 2009-05-13 | Image classification apparatus, image classification method and program thereof |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2010268141A JP2010268141A (en) | 2010-11-25 |
| JP2010268141A5 JP2010268141A5 (en) | 2012-04-12 |
| JP5369881B2 true JP5369881B2 (en) | 2013-12-18 |
Family
ID=43364778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009116804A Expired - Fee Related JP5369881B2 (en) | 2009-05-13 | 2009-05-13 | Image classification apparatus, image classification method and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5369881B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6188077B2 (en) * | 2014-02-24 | 2017-08-30 | Kddi株式会社 | Management device, program, system and method for estimating floor level where portable terminal is located |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4221577B2 (en) * | 2003-03-18 | 2009-02-12 | 富士ゼロックス株式会社 | Image processing device |
| JP2005122688A (en) * | 2003-09-26 | 2005-05-12 | Fuji Photo Film Co Ltd | Image processing method, device, and program |
| JP2008011346A (en) * | 2006-06-30 | 2008-01-17 | Olympus Imaging Corp | Imaging system |
| JP2008042616A (en) * | 2006-08-08 | 2008-02-21 | Eastman Kodak Co | Imaging apparatus |
| JP4870503B2 (en) * | 2006-09-20 | 2012-02-08 | オリンパスイメージング株式会社 | Camera and blog management system |
| JP4861123B2 (en) * | 2006-10-25 | 2012-01-25 | オリンパスイメージング株式会社 | Image management apparatus, camera, image management method, program |
| JP4759498B2 (en) * | 2006-11-30 | 2011-08-31 | オリンパスイメージング株式会社 | Camera, image recording method and program |
| JP2008165700A (en) * | 2007-01-05 | 2008-07-17 | Seiko Epson Corp | Image processing device, electronic equipment, image processing system, image processing method, and program |
-
2009
- 2009-05-13 JP JP2009116804A patent/JP5369881B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010268141A (en) | 2010-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10764447B2 (en) | Electronic device, imaging device, image reproduction method, image reproduction program, recording medium with image reproduction program recorded thereupon, and image reproduction device | |
| US9154690B2 (en) | Image search device, image search method, and image search program | |
| CN102263899B (en) | Photographing device and control method therefor | |
| KR101720774B1 (en) | Digital photographing apparatus and method for providing a picture thereof | |
| US9013589B2 (en) | Digital image processing apparatus and digital image processing method capable of obtaining sensibility-based image | |
| JP5388611B2 (en) | Imaging apparatus, control method therefor, and program | |
| JP2009044602A (en) | Imaging apparatus, imaging system and imaging method | |
| JP2011055096A (en) | Photographing condition setting apparatus, photographing condition setting method, and photographing condition setting program | |
| KR20190080779A (en) | Electronic apparatus and method for controlling the same | |
| US20130100329A1 (en) | Image pickup apparatus | |
| JP4901258B2 (en) | Camera and data display method | |
| JP2014146989A (en) | Image pickup device, image pickup method, and image pickup program | |
| JP2015198300A (en) | Information processor, imaging apparatus, and image management system | |
| CN106231198B (en) | Shoot the method and device of image | |
| JP2007110261A (en) | Digital camera | |
| JP2012084052A (en) | Imaging apparatus, control method and program | |
| JP2012253421A (en) | Image display device, imaging apparatus, and image display program | |
| JP5369881B2 (en) | Image classification apparatus, image classification method and program thereof | |
| WO2017022296A1 (en) | Information management device, information management method, image reproduction device and image reproduction method | |
| US20110205396A1 (en) | Apparatus and method, and computer readable recording medium for processing, reproducing, or storing image file including map data | |
| JP4185810B2 (en) | Imaging device | |
| JP5368614B2 (en) | Image search apparatus and image search method | |
| CN112989092A (en) | Image processing method and related device | |
| JP2010183565A (en) | Image capturing apparatus, image retrieval device, and program | |
| JP2015095082A (en) | Image display device, control method therefor, and control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120229 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120229 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130513 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130820 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130902 |
|
| LAPS | Cancellation because of no payment of annual fees |