JP5064173B2 - camera - Google Patents
camera Download PDFInfo
- Publication number
- JP5064173B2 JP5064173B2 JP2007287107A JP2007287107A JP5064173B2 JP 5064173 B2 JP5064173 B2 JP 5064173B2 JP 2007287107 A JP2007287107 A JP 2007287107A JP 2007287107 A JP2007287107 A JP 2007287107A JP 5064173 B2 JP5064173 B2 JP 5064173B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- unit
- angle
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、カメラに関し、詳しくは、多数の写真画像の中から画像を迅速かつ分かりやすく検索可能なカメラに関する。 The present invention relates to a camera and, more particularly, to fast and easy-to-understand searchable camera images from a number of photographic images.
近年、写真画像がデジタル化され、記録メディアの大容量化が進み、また銀塩フィルムカメラを使用していた頃に比較すると、撮影頻度も高くなってきている。このため、カメラユーザーは、大量の画像を所有しており、画像検索に時間がかかっている。 In recent years, photographic images have been digitized, the capacity of recording media has increased, and the frequency of photography has increased compared to when silver film cameras were used. For this reason, the camera user owns a large amount of images, and it takes time to search for images.
そこで、画像検索を容易にする画像検索装置が種々提案されている。例えば、特許文献1には、予め登録人物の顔認識データを登録しておき、撮影画像の人物が登録された人物であるか否かを判定する電子カメラが開示されている。また、特許文献2には、人物を表すシルエットイメージのアイコンを撮影画像から作成したアイコン画像に置き換えるデジタルスチルカメラが開示されている。
このように類似画像を分類する技術は知られているが、分類された画像を液晶パネルなどの表示装置上で、少ない操作で検索する画像検索装置については知られていない。 Although a technique for classifying similar images in this way is known, an image retrieval apparatus that retrieves classified images with a small number of operations on a display device such as a liquid crystal panel is not known.
本発明は、このような事情を鑑みてなされたものであり、分類された画像を表示手段上で少ない操作で容易に検索することのできるカメラを提供することを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to provide a Luke camera can of it is easily searched classified image manipulation less on the display means.
第1の発明に係わるカメラは、被写体像を結像するための光学系と、この被写体像を光電変換する撮像素子を含み、画像データを取得するための撮像部と、上記画像データを記憶する画像記録部と、上記取得した画像データから顔の部分を検出する顔検出部と、上記顔検出部によって検出された顔の部分が向いている角度を判定する角度判定部と、上記撮像部によって上記画像データを取得した際に、この画像データが、上記画像記録部に記憶されている画像の中から、上記顔検出部によって検出された顔と類似するか否かを判定する類似判定部と、を有し、上記画像記録部は、上記画像データに、上記角度判定部によって判定された上記角度と、上記類似判定部によって類似すると判定された画像を関連付けて記録する。 A camera according to a first aspect of the present invention includes an optical system for forming a subject image, an imaging element for photoelectrically converting the subject image, an imaging unit for acquiring image data, and storing the image data. An image recording unit, a face detection unit that detects a face portion from the acquired image data, an angle determination unit that determines an angle at which the face portion detected by the face detection unit faces, and the imaging unit A similarity determination unit that determines whether the image data is similar to the face detected by the face detection unit from the images stored in the image recording unit when the image data is acquired; has, the image recording unit, the image data, and the angle is determined by the angle determining unit is recorded in association with image determined to be similar by the similarity determination unit.
第2の発明に係わるカメラは、上記第1の発明において、それぞれ異なる角度を向いている顔を含む複数の画像を表示部の第1の領域に順次表示させる表示制御部をさらに備え、上記表示制御部は、上記類似判定部により類似すると判定された画像を、上記表示部の第2の領域に表示させる。 Camera according to the second invention, in the first aspect, further comprising a display control unit for sequentially displaying a plurality of images including a face facing in an different angles to the first region of Table radical 113, the display control section, the image which has been determined to be similar by the similarity determination section, to be displayed on the second region of the display unit.
第3の発明に係わるカメラは、上記第2の発明において、上記表示制御部は、顔の向きの異なる第1の画像と第2の画像をもとにモーフィング処理により、上記第1の画像の顔の向きと上記第2の画像の顔の向きの中間の顔の向きの複数の画像を生成するモーフィング処理部をさらに備え、上記表示部の上記第1の領域は、上記モーフィング処理により生成された画像を順次表示する。
第4の発明に係わるカメラは、上記第2の発明において、上記表示部の上記第1の領域は、顔の向きがそれぞれ異なる角度を向いている複数の画像を選択して動画的に順次表示する。
第5の発明に係わるカメラは、上記第2の発明において、上記表示部の上記第1の領域に表示する画像は顔画像である。
The camera according to a third aspect is the camera according to the second aspect, wherein the display control unit performs the morphing process based on the first image and the second image with different face orientations, further comprising a images to generate a plurality of images of the orientation direction of the intermediate face of the face of the face direction and the second image, the first region of the upper Symbol table radical 113 is by the morphing process The generated images are displayed sequentially.
Camera according to the fourth invention, in the second invention, the first region of the upper Symbol Table radical 113 are animated a plurality of images orientation of the face is oriented in different angles by selecting sequentially displayed on.
Camera according to the fifth invention, in the second invention, an image to be displayed on the first region of the upper Symbol Table radical 113 is a face image.
本発明によれば、分類された画像を表示手段上で少ない操作で容易に検索することのできるカメラを提供することができる。
According to the present invention, it is possible to provide easily Luke camera can of be searched by the operation less on the display means classified images.
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図1は本発明の一実施形態に係わるカメラ10の構成を示すブロック図である。カメラ10はデジタルカメラであり、制御部1、類似判定部1a、タイミング制御部1b、撮像部2、光学系制御部3、記録部4、特徴(角度)データ記録部4a、顔データベース(DB)4b、サムネイル部4c、顔検出部5、角度判定部5a、大きさ判定部5b、切出部6、動画処理部7、表示部8、表示制御部8a、マルチ画像表示部8b、動画表示制御部8c、時計部9、操作判定部11、六軸センサ12、通信部14を有し、インターネット網15を介して外部サーバー20と接続可能である。 Hereinafter, a preferred embodiment will be described using a camera to which the present invention is applied according to the drawings. FIG. 1 is a block diagram showing a configuration of a camera 10 according to an embodiment of the present invention. The camera 10 is a digital camera, and includes a control unit 1, a similarity determination unit 1a, a timing control unit 1b, an imaging unit 2, an optical system control unit 3, a recording unit 4, a feature (angle) data recording unit 4a, and a face database (DB). 4b, thumbnail section 4c, face detection section 5, angle determination section 5a, size determination section 5b, clipping section 6, moving image processing section 7, display section 8, display control section 8a, multi-image display section 8b, moving image display control Unit 8 c, clock unit 9, operation determination unit 11, six-axis sensor 12, and communication unit 14, and can be connected to the external server 20 via the Internet network 15.
制御部1は、カメラ10内の各部と接続され、操作判定部11によって判定された操作部材等の操作に応じ、また、タイミング制御部1bによるタイミング制御に従って、カメラ10の全体制御を行う。また、制御部1は画像処理部(不図示)を有しており、画像の圧縮処理等を行う。さらに制御部1は類似判定部1aを有しており、後述する顔検出部5によって検出された複数の顔画像の類似度を判定し、撮影画像に写っている人物が誰であるかを特定する。 The control unit 1 is connected to each unit in the camera 10 and performs overall control of the camera 10 according to the operation of the operation member determined by the operation determination unit 11 and according to the timing control by the timing control unit 1b. The control unit 1 includes an image processing unit (not shown), and performs image compression processing and the like. Further, the control unit 1 has a similarity determination unit 1a, determines the similarity of a plurality of face images detected by the face detection unit 5 described later, and identifies who is the person shown in the photographed image. To do.
撮像部2は、被写体像を結像するための光学系、および被写体像を光電変換する撮像素子等を含み、画像データを出力する。光学系制御部3は、撮像部2内の光学系のピント合わせ等の制御を行う。記録部4は、制御部1内の画像処理部によって圧縮処理等された画像データを撮影画像として記録する。撮影画像の記録にあたっては、後述する顔検出部5において、人物像の顔の向いている角度が検出されるので、この角度を撮影画像に関連付けて特徴(角度)データ記録部4aに記録する。 The imaging unit 2 includes an optical system for forming a subject image, an imaging element that photoelectrically converts the subject image, and the like, and outputs image data. The optical system control unit 3 performs control such as focusing of the optical system in the imaging unit 2. The recording unit 4 records the image data compressed by the image processing unit in the control unit 1 as a captured image. When recording the captured image, the face detection unit 5 described later detects the angle of the face of the person image, and this angle is recorded in the feature (angle) data recording unit 4a in association with the captured image.
また、記録部4は、顔データベース(DS)4bとサムネイル部4cを有する。顔データDB4bは、記録部4に記録されている撮影画像における人物像の顔の部分を集めたデータベースであり、撮影画像毎に人物を特定し、画像と人物名の組み合わせからなる。サムネイル部4cは、切出部6によって切り出された顔画像が記録されており、顔インデックスとして一覧表示の際に使用する。 The recording unit 4 includes a face database (DS) 4b and a thumbnail unit 4c. The face data DB 4b is a database that collects the face portions of a person image in a photographed image recorded in the recording unit 4, specifies a person for each photographed image, and includes a combination of an image and a person name. The thumbnail part 4c records the face image cut out by the cut-out part 6, and is used when displaying a list as a face index.
顔検出部5は、撮影画像中に人物像が含まれる場合に、顔パターンを判定して、顔の部分を検出する。この検出結果に基づいて、露出制御や自動焦点調節(AF)等を行い、また、人物を特定する際に、顔検出部5で検出された顔に基づいて行う。顔検出部5は、角度判定部5aと大きさ判定部5bを有する。角度判定部5aは、顔検出部5によって検出された人物の顔について、顔の向いている向き(角度)を判定する。大きさ判定部5bは、検出された顔の部分の大きさを判定する。 The face detection unit 5 determines a face pattern and detects a face portion when a captured image includes a human image. Based on the detection result, exposure control, automatic focus adjustment (AF), and the like are performed, and when a person is specified, it is performed based on the face detected by the face detection unit 5. The face detection unit 5 includes an angle determination unit 5a and a size determination unit 5b. The angle determination unit 5 a determines the orientation (angle) of the face of the person detected by the face detection unit 5. The size determination unit 5b determines the size of the detected face portion.
切出部6は、顔検出部5によって検出された人物像の顔の部分に対応する画像データを切り出す。ここで切り出された顔画像のデータは、サムネイル部4cに記録されるほか、類似判定部1aにおいて行う類似判定等において使用される。動画処理部7は、種々の角度から撮影された人物の撮影画像を順次表示する際に、単に静止画として表示するだけではなく、複数画像を少しずつ変化させて再生することにより、動画のように表示するための画像処理を行う。 The cutout unit 6 cuts out image data corresponding to the face portion of the human image detected by the face detection unit 5. The face image data cut out here is recorded in the thumbnail portion 4c, and is also used in similarity determination performed in the similarity determination portion 1a. When the moving image processing unit 7 sequentially displays captured images of a person captured from various angles, the moving image processing unit 7 does not simply display the image as a still image, but reproduces a plurality of images little by little to reproduce the image. Image processing for display on the screen is performed.
表示部8は、カメラ10の背面等に配置された液晶モニタ等の表示装置で構成され、記録部4に記録されている画像データの再生表示を行い、また光学式ファインダの代わりに、被写体像の観察用のライブビュー表示も行う。また、記録部4に記録されている撮影画像の検索の際の表示も行う。この表示部8の表示制御を行うのが、表示制御部8aであり、マルチ画像表示部8bと動画表示制御部8cを有する。マルチ画像表示部8bは、画像検索時等に、表示部8の表示部を分割表示する。動画表示制御部8cは、画像検索の際に、インデックス顔画像等の画像を動画処理して表示する際の制御を行う。 The display unit 8 is configured by a display device such as a liquid crystal monitor disposed on the back surface of the camera 10, and displays and reproduces image data recorded in the recording unit 4. In addition, the subject image is displayed instead of the optical viewfinder. Live view display for observation. In addition, a display when searching for a photographed image recorded in the recording unit 4 is also performed. The display control unit 8a controls the display unit 8 and includes a multi-image display unit 8b and a moving image display control unit 8c. The multi-image display unit 8b divides and displays the display unit of the display unit 8 when searching for an image. The moving image display control unit 8c performs control when displaying an image such as an index face image after moving image processing during image search.
時計部9は計時機能やカレンダ機能を有し、撮影時の日時情報の取得等に用いる。ここで得られた日時情報は、撮影画像を記録部4に記録する際に、一緒に記録される。操作判定部11は、ユーザーによるカメラ10の操作部材等の操作状態を判定する。この操作状態に応じて、前述したように、制御部1はカメラ10の制御を行う。六軸センサ12は、x軸、y軸、z軸の3次元方向の軸方向および軸回りにおけるカメラ10の移動を検出するセンサである。通信部14は、インターネット網15等を介してサーバー20等の機器と送受信を行う。この通信部14を介して、撮影画像を外部に送信し、また外部から画像等を受信することができる。 The clock unit 9 has a timekeeping function and a calendar function, and is used for acquiring date and time information at the time of shooting. The date and time information obtained here is recorded together when the captured image is recorded in the recording unit 4. The operation determination unit 11 determines an operation state of an operation member or the like of the camera 10 by the user. In accordance with this operation state, the control unit 1 controls the camera 10 as described above. The six-axis sensor 12 is a sensor that detects the movement of the camera 10 in and around the three-dimensional axial directions of the x-axis, y-axis, and z-axis. The communication unit 14 performs transmission and reception with devices such as the server 20 via the Internet network 15 and the like. Via this communication part 14, a picked-up image can be transmitted outside and an image etc. can be received from the outside.
次に、このように構成された本実施形態に係わるカメラ10の動作を説明する。本実施形態においては、概略、人物の向いている角度に関する情報を撮影画像と共に記録しておき、人物像の顔をサムネイル表示させた際に、顔の向いている角度と同じ向きを向いている画像を順次表示するようにしている。 Next, the operation of the camera 10 according to this embodiment configured as described above will be described. In the present embodiment, information about the angle at which the person faces is recorded together with the photographed image, and when the face of the person image is displayed as a thumbnail, it is oriented in the same direction as the angle at which the face is facing. Images are displayed sequentially.
撮像部2によって撮像された静止画像は、制御部1内の画像処理部において、圧縮処理等の画像処理が施され、記録部4に撮影画像として記録される。記録された撮影画像は、表示部8に再生表示される。この撮影制御は、操作判定部11によってユーザーのカメラ操作を判定し、この判定結果に応じて、制御部1がコントロールすることにより行われる。 The still image captured by the imaging unit 2 is subjected to image processing such as compression processing in the image processing unit in the control unit 1 and recorded as a captured image in the recording unit 4. The recorded captured image is reproduced and displayed on the display unit 8. This photographing control is performed by determining the user's camera operation by the operation determination unit 11 and controlling the control unit 1 according to the determination result.
また、必要に応じて、撮影画像は通信部14およびインターネット網15を介して、外部サーバー20などに送信することができる。なお、通信機能を利用することにより、本実施形態における画像処理制御の一部を外部のコンピューターが代替処理するようにしてもよい。 If necessary, the captured image can be transmitted to the external server 20 or the like via the communication unit 14 and the Internet network 15. Note that, by using a communication function, an external computer may perform a substitute process for part of the image processing control in the present embodiment.
撮影画像に人物が含まれる場合、顔検出部5が顔パターンを判定し、顔の部分を検出する。そして、検出された顔と、記録部4内の顔データベース4bに記録されている顔とを、類似判定部1aによって比較し、被写体が誰であるかを特定する。また、顔の眼と鼻の陰影を分析して、角度判定部5aが、顔が左右等のどちらを向いているかを判定し(角度を検出)、撮影画像に「顔の向いている角度と被写体の人物が誰か」の情報を付加し、記録部4に記録する。 When a person is included in the photographed image, the face detection unit 5 determines a face pattern and detects a face part. Then, the detected face and the face recorded in the face database 4b in the recording unit 4 are compared by the similarity determining unit 1a to identify who the subject is. In addition, the shadow of the face and nose of the face is analyzed, and the angle determination unit 5a determines whether the face is facing left or right (detects the angle), and the captured image indicates “the angle at which the face is facing”. The information “who is the subject person” is added and recorded in the recording unit 4.
この撮影時における被写体の顔に関する情報の記録について、図2を用いて、説明する。人物100を撮影すると、類似判定部1aは、撮影画像100aと顔DB4bに記録されている各画像と比較し、個人名(ここでは「Bさん」と称す)を特定することができる。撮影画像の顔の向きは、角度判定部5aによって判定され、この判定結果に基づいて、撮影画像100aと、被写体と顔角度の関係が分類信号として、特徴(角度)データ記録部4aに記録される。 Recording of information relating to the face of the subject at the time of shooting will be described with reference to FIG. When the person 100 is photographed, the similarity determination unit 1a can identify a personal name (herein referred to as “Mr. B”) by comparing the photographed image 100a with each image recorded in the face DB 4b. The orientation of the face of the captured image is determined by the angle determination unit 5a, and based on the determination result, the relationship between the captured image 100a and the subject and the face angle is recorded in the feature (angle) data recording unit 4a as a classification signal. The
また、このとき顔の大きさも、大きさ判定部5bによって判定される。この判定された顔の大きさのデータを用いて顔の大きさを補正し、顔DB4bに記録されている顔画像と比較し易くしている。 At this time, the size of the face is also determined by the size determination unit 5b. The determined face size data is used to correct the face size so that it can be easily compared with the face image recorded in the face DB 4b.
このように、本実施形態においては、同一人物であっても、顔の向いている角度を顔DB4bに記録し、データベース化している。データベース作成にあたっては、図3に示すように、予め、被写体である人物100を種々の角度から連写で撮影しておき、この連写撮影から得た画像データを顔DB4bに記録するようにしてもよい。このデータベース撮影の際には、カメラ10の動きを六軸センサ12によって取得し、この情報に基づいて顔の向きに関する角度情報として撮影画像と一緒に、顔DB4bに記録しておく。 Thus, in this embodiment, even if it is the same person, the angle which the face is facing is recorded on face DB4b, and it is databased. In creating the database, as shown in FIG. 3, a person 100 as a subject is photographed in advance by continuous shooting from various angles, and image data obtained from the continuous shooting is recorded in the face DB 4b. Also good. At the time of this database shooting, the movement of the camera 10 is acquired by the six-axis sensor 12, and based on this information, it is recorded in the face DB 4b together with the shot image as angle information regarding the orientation of the face.
また、図3に示すような連写で得た顔画像は、画像検索用のインデックス画像として用いることもできる。すなわち、切出部6によって撮影画像の顔の部分を画像データから切り出し、顔インデックス画像化して、記録部4内のサムネイル部4cに記録し、これを画像検索に利用する。また、図3に示すような連写で顔画像を得る以外にも、通常の撮影の際に得た同一人物の顔画像を、顔の向いている角度ごとに整理し、動画処理部7によって、順次、顔を動かしているように動画処理し、顔インデックス用のサムネイル画像としてもよい。 Further, the face image obtained by continuous shooting as shown in FIG. 3 can also be used as an index image for image search. That is, the face portion of the photographed image is cut out from the image data by the cut-out unit 6, is converted into a face index image, is recorded in the thumbnail portion 4c in the recording unit 4, and is used for image search. In addition to obtaining face images by continuous shooting as shown in FIG. 3, the face images of the same person obtained during normal shooting are arranged for each angle facing the face, and the moving image processing unit 7 Alternatively, the moving image processing may be performed as if the face is moving, and the thumbnail image may be used as a face index.
サムネイル部4cに記録されたサムネイル画像は、図1に示すように、表示部8のインデックス部84にサムネイル画像81として表示される。図1に示した例では、縦に個人別の顔インデックス画像83が並べられたサムネイル画像81が表示されており、ユーザーはサムネイル画像81の中から見たい被写体(顔インデックス画像83)を選ぶと、選択された人物で同じ方向を向いている画像82が、記録部4内の特徴(角度)データ記録部4aの中から検索され、検索表示部85に表示される。 The thumbnail image recorded in the thumbnail portion 4c is displayed as a thumbnail image 81 on the index portion 84 of the display portion 8, as shown in FIG. In the example shown in FIG. 1, a thumbnail image 81 in which individual face index images 83 are arranged vertically is displayed. When the user selects a subject (face index image 83) to view from the thumbnail images 81. The image 82 of the selected person facing in the same direction is searched from the feature (angle) data recording unit 4 a in the recording unit 4 and displayed on the search display unit 85.
本実施形態においては、図2を用いて説明したように、撮影の都度、顔DB4bに記憶されている顔インデックス画像と比較し、撮影画像中の各人物画像は、どのインデックスの顔に対応し、しかも、どの角度に分類されるかを判定し、判定結果を特徴データ記録部4aに記録している。したがって、これを参照することにより、選択されたインデックス顔画像83と同一人物であって、かつ同じ向きを向いている画像82を検索することができる。 In the present embodiment, as described with reference to FIG. 2, each person image in the photographed image corresponds to which face of the index each time it is photographed and compared with the face index image stored in the face DB 4b. Moreover, it is determined which angle is classified, and the determination result is recorded in the feature data recording unit 4a. Therefore, by referring to this, it is possible to search for an image 82 that is the same person as the selected index face image 83 and faces the same direction.
また、表示部8にサムネイル画像81として表示されるインデックス顔画像83は、動画表示制御部8cによって、右向きから左向きまたは逆方向に動画的に動かし、インデックス顔画像83の顔の動きに応じて、顔の向きと同じ向きを向いている撮影画像82を表示する。したがって、インデックス顔画像83の顔の向きが変化するに連れ、撮影画像82も切り換わる。なお、このような表示制御は、表示制御部8a、および表示制御部8a内の画面分割制御するためのマルチ画像表示部8bと、動画表示制御部8cによって行われる。 Further, the index face image 83 displayed as the thumbnail image 81 on the display unit 8 is moved in a moving manner from the right direction to the left direction or in the reverse direction by the moving image display control unit 8c, and according to the movement of the face of the index face image 83, A captured image 82 facing the same direction as the face is displayed. Therefore, as the face direction of the index face image 83 changes, the captured image 82 also switches. Such display control is performed by the display control unit 8a, the multi-image display unit 8b for screen division control in the display control unit 8a, and the moving image display control unit 8c.
サムネイル画像81中のインデックス顔画像83の動画的表示と、これに対応して表示される撮影画像82について、図4を用いて説明する。図4(a)(b)(c)は、図3で説明した方法で撮影したAさんの画像であり、図4(a)は顔の角度がマイナス、図4(b)は顔の角度が0、図4(c)は顔の角度がプラスの場合である。 The moving image display of the index face image 83 in the thumbnail image 81 and the captured image 82 displayed corresponding to this will be described with reference to FIG. 4A, 4B, and 4C are images of Mr. A taken by the method described in FIG. 3, FIG. 4A shows a negative face angle, and FIG. 4B shows a face angle. 4 is a case where the face angle is positive.
このインデックス顔画像83の顔の向きが変化するごとに、同じ人物で、同じような向きを向いた撮影画像82が検索されて、図4の右側の列に示すような撮影画像82が表示される。つまり、インデックス顔画像83が、図4(a)→(b)→(c)→(b)→(a)と変化した場合、それに応じて検索の条件が変わり、特徴(角度)データ記録部4aから、撮影画像82が選択され、図4(d)→(e)→(f)→(e)→(d)の順に、表示される撮影画像82が変化する。 Every time the face orientation of the index face image 83 changes, a photographed image 82 of the same person and facing the same direction is searched, and the photographed image 82 as shown in the right column of FIG. 4 is displayed. The That is, when the index face image 83 changes from FIG. 4 (a) → (b) → (c) → (b) → (a), the search condition changes accordingly, and the feature (angle) data recording unit The photographed image 82 is selected from 4a, and the photographed image 82 to be displayed changes in the order of (d) → (e) → (f) → (e) → (d) in FIG.
このようにして作成されるインデックス顔画像83の良い点は、一人の人物を多くの角度から撮影し、その人の特徴を把握できる点と、この画像そのものを図4(a)→(b)→(c)→(b)→(a)と変化させてインデックス表示することにより、ユーザーの注意を引きやすくする点にある。また、インデックス顔画像83の動画的表示に合わせて、対応する撮影画像82を表示するようにしているので、一度に多数の画像を表示せずに、表示画像を絞り込んでいることから、検索画面を整理できる。 The good points of the index face image 83 created in this way are that one person can be photographed from many angles and the characteristics of that person can be grasped, and this image itself is shown in FIGS. 4 (a) → (b). → (c) → (b) → (a) The index display is changed to make it easier to draw the user's attention. In addition, since the corresponding captured image 82 is displayed in accordance with the moving image display of the index face image 83, the display image is narrowed down without displaying many images at once. Can be organized.
この動きのあるインデックス顔画像の表示速度は、ユーザーが選択できるようにしたり、操作ごとに変化させるようにしてもよい。また、図3に示したようなインデックス画像用として撮影を行わなくとも、多くの画像の中から同一人物の顔画像を集め、顔の向きの角度ごとに分類し、これらの顔画像をモーフィング処理し、図5に示すように、インデックス顔画像83を得るようにしてもよい。モーフィング処理されたインデックス顔画像83を用い、図4で説明したのと同様、撮影画像82の画像を、図4のように切り換える。 The display speed of the index face image with movement may be selectable by the user or may be changed for each operation. Further, even if shooting is not performed for an index image as shown in FIG. 3, face images of the same person are collected from many images, classified by angle of face orientation, and these face images are morphed. Then, as shown in FIG. 5, an index face image 83 may be obtained. Using the index face image 83 subjected to the morphing process, the image of the photographed image 82 is switched as shown in FIG. 4 in the same manner as described with reference to FIG.
なお、ここでは、特定の個人の顔角度ごと表示を行ったが、図5に示すようなモーフィング処理を前提とするならば、不特定多数の人物の画像を顔の向きの角度ごとに分類し、インデックス顔画像を変化させ、その角度に対応する画像を順次表示するようにしてもよい。また、顔の向きの角度を変えることによって動画風にインデックス表示処理を行ったが、顔の大きさや身体全体の向きの角度、または表情の変化などを動画風に処理してインデックス化してもよい。この場合でも、動画風に変化するインデックス画像の各コマに対応して類似画像を検索し、表示することは同様である。 Here, the display is performed for each face angle of a specific individual. However, if the morphing process as shown in FIG. 5 is assumed, images of an unspecified number of persons are classified according to the angle of the face direction. The index face image may be changed, and images corresponding to the angle may be sequentially displayed. In addition, the index display processing is performed in a movie-like manner by changing the angle of the face orientation. However, the size of the face, the orientation angle of the whole body, or a change in facial expression may be processed in an animated manner to be indexed. . Even in this case, it is the same to retrieve and display a similar image corresponding to each frame of the index image that changes like a moving image.
このように本実施形態においては、特定の人物画像を高速で検索することができる。また、顔の向きによって、検索される画像が変わるので、家族写真のように同じ人物が多数に撮影された場合でも、その人物について顔の向き等の条件をつけることによって、目的とする画像を容易に検索することができる。気に入った画像が見つかれば、その画像を選択することにより、表示面の画面いっぱいに拡大表示し、楽しむことができる。 Thus, in the present embodiment, a specific person image can be searched at high speed. Also, because the searched image changes depending on the orientation of the face, even if the same person is photographed in large numbers like a family photo, the target image can be obtained by setting conditions such as the orientation of the face for that person. You can search easily. If you find an image you like, you can zoom in on the full screen and enjoy it by selecting that image.
次に、図6に示すフローチャートを用いて、前述したようなサムネイル化されたインデックス顔画像83を用いて画像検索のできるカメラ10の動作を説明する。まず、撮影者が通常撮影モードに設定し、レリーズ釦の全押し操作を行ったか否か、すなわち通常撮影を行うか否かの判定を行う(S1)。 Next, the operation of the camera 10 capable of performing an image search using the index face image 83 that has been thumbnailed as described above will be described using the flowchart shown in FIG. First, a determination is made as to whether or not the photographer has set the normal shooting mode and has performed a full press operation of the release button, that is, whether or not to perform normal shooting (S1).
判定の結果、通常撮影を実行する場合には、撮像部2によって撮影を行い、静止画の画像データを取得する(S2)。この後、ステップS3からステップS6において、図2に説明したように、人物を特定し、特徴(角度)データの記録を行う。まず、取得した画像データに基づいて、顔検出部5によって顔検出を行い、類似判定部1aにおいて、類似するインデックス顔画像があるか否か顔判定を行う(S3)。この判定の際に、角度判定部5aによって、顔の向いている角度も検出する。続いて、顔判定の結果、類似する顔が有るか否か判定する(S4)。 As a result of the determination, when normal shooting is executed, shooting is performed by the imaging unit 2 and image data of a still image is acquired (S2). Thereafter, in steps S3 to S6, as described with reference to FIG. 2, a person is specified and feature (angle) data is recorded. First, based on the acquired image data, the face detection unit 5 performs face detection, and the similarity determination unit 1a determines whether there is a similar index face image (S3). In this determination, the angle determination unit 5a also detects the angle at which the face is facing. Subsequently, it is determined whether there is a similar face as a result of the face determination (S4).
ステップS4における判定の結果、類似する顔がない場合には、撮影した画像を記録部4に記録する(S6)。一方、類似する顔が有る場合には、類似顔データ、すなわち顔DB4bに記憶されている同一人物のインデックス顔画像とリンクするためのデータと、顔の向いている角度(特徴データ)と、画像を記録部4に記録する(S5)。記録部4への記録が終わると、リターンし、ステップS1に戻る。 If the result of determination in step S4 is that there are no similar faces, the photographed image is recorded in the recording unit 4 (S6). On the other hand, when there is a similar face, similar face data, that is, data for linking with the index face image of the same person stored in the face DB 4b, the angle (feature data) that the face is facing, and the image Is recorded in the recording unit 4 (S5). When the recording to the recording unit 4 ends, the process returns and returns to step S1.
ステップS1における判定の結果、通常の撮影ではなかった場合には、データベース撮影か否かの判定を行う(S11)。このデータベース撮影は、図3を用いて説明したような、被写体である人物を種々の角度、例えば、右から左に、連続的に撮影し、インデックス顔画像83を取得するための撮影である。このステップでは、操作判定部11の出力に基づいて、この撮影モードが設定されたか否かを判定する。 If the result of determination in step S <b> 1 is not normal shooting, it is determined whether or not database shooting is performed (S <b> 11). The database photographing is photographing for acquiring the index face image 83 by continuously photographing a person as a subject from various angles, for example, from right to left, as described with reference to FIG. In this step, based on the output of the operation determination unit 11, it is determined whether or not this shooting mode has been set.
ステップS11における判定の結果、データベース撮影が設定された場合には、撮像部2によって画像データの取得を行い(S12)、顔検出部5や類似判定部1aにおいて顔判定を行う(S13)。続いて、六軸センサ12の出力に基づいて、カメラ10の撮影方向の角度に変化があったか否かを判定する(S14)。判定の結果、角度が変わると、この角度変化ごとに、ステップS12に戻り、撮影を行う。 If database shooting is set as a result of the determination in step S11, image data is acquired by the imaging unit 2 (S12), and face determination is performed by the face detection unit 5 or the similarity determination unit 1a (S13). Subsequently, based on the output of the six-axis sensor 12, it is determined whether or not the angle in the shooting direction of the camera 10 has changed (S14). If the angle changes as a result of the determination, the process returns to step S12 for each angle change, and photographing is performed.
ステップS14における判定の結果、角度変化がなくなると、所定角度分、カメラ10が移動したかを判定する(S15)。判定の結果、所定角度分の移動があれば、顔部分のみを動かすような感じで、表示できるように画像データから顔部分を切り出し、角度ごとに整理して記録部4に記録する。これにより、図4に示したようなインデックス顔画像が記録される。一方、所定角度分の移動がない場合には、警告表示を行う(S17)。ステップS16、S17が終わると、リターンし、ステップS1に戻る。なお、所定角度としては、インデックス顔画像として表示できる程度であればよく、例えば、15度程度の角度であればよい。 If there is no angle change as a result of the determination in step S14, it is determined whether the camera 10 has moved by a predetermined angle (S15). As a result of the determination, if there is a movement by a predetermined angle, the face part is cut out from the image data so that it can be displayed as if only the face part is moved, and the face part is organized for each angle and recorded in the recording unit 4. Thereby, an index face image as shown in FIG. 4 is recorded. On the other hand, if there is no movement by a predetermined angle, a warning is displayed (S17). When steps S16 and S17 are completed, the process returns and returns to step S1. Note that the predetermined angle only needs to be such that it can be displayed as an index face image, for example, an angle of about 15 degrees.
ステップS11における判定の結果、データベース撮影でなかった場合には、検索再生か否かの判定を行う(S21)。本実施形態においては、選択再生と、検索再生の2つの再生モードがある。判定の結果、検索再生であれば、ステップS22において検索再生を行い、そうではなかった場合には、ステップS23において、選択再生を行う。 If the result of determination in step S11 is not database shooting, it is determined whether or not search reproduction is in effect (S21). In the present embodiment, there are two playback modes: selective playback and search playback. If the result of determination is search playback, search playback is performed in step S22. If not, selective playback is performed in step S23.
選択再生は、通常の再生モードであり、記録部4に記録されている画像データを順次、再生するか、またはサムネイル表示し、選択された画像を拡大表示する。また、検索再生は、図1に示す表示部8上で、サムネイル表示されたインデックス顔画像の顔の向きを変化させながら(図4(a)(b)(c))、同じ向きを向いている撮影画像を表示させる(図4(d)(e)(f))モードである。検索再生または選択再生が終わると、リターンし、ステップS1に戻る。 The selective reproduction is a normal reproduction mode, in which image data recorded in the recording unit 4 is sequentially reproduced or displayed as a thumbnail, and the selected image is enlarged and displayed. Further, the search reproduction is performed in the same direction while changing the face direction of the index face image displayed as a thumbnail on the display unit 8 shown in FIG. 1 (FIGS. 4A, 4B, and 4C). This is a mode for displaying a captured image (FIGS. 4D, 4E, and 4F). When the search reproduction or selective reproduction ends, the process returns and returns to step S1.
次に、ステップS22における検索再生について、図7に示すフローチャートを用いて説明する。このフローに入ると、まず、サンプル画像、すなわちサムネイル画像81を表示部8のインデックス部84に表示する(S31)。続いて、ユーザーが見たいインデックス顔画像83を選択したか否かを判定する(S32)。判定の結果、選択されていた場合には、この選択されたインデックス顔画像83が図4(a)→(b)→(c)に示したように、サイクリックに変化する。 Next, the search reproduction in step S22 will be described using the flowchart shown in FIG. In this flow, first, a sample image, that is, a thumbnail image 81 is displayed on the index portion 84 of the display portion 8 (S31). Subsequently, it is determined whether or not the user has selected the index face image 83 that the user wants to see (S32). If the selected index face image 83 is selected as a result of the determination, the selected index face image 83 changes cyclically as shown in FIGS. 4 (a) → (b) → (c).
このとき、選択されていないインデックス顔画像83は静止したままである。選択したインデックス顔画像83が、静止画状態から動画状態に変換するによって、ユーザーは選択されたことを把握でき、また動画像の鑑賞も兼ねて楽しめる。 At this time, the index face image 83 which has not been selected remains stationary. By converting the selected index face image 83 from the still image state to the moving image state, the user can grasp that the selected index face image 83 is selected and can also enjoy watching a moving image.
続いて、動画表示されているインデックス顔画像83と類似する顔で、かつ同じ方向を向いている顔が写っている撮影画像82が有るか否かを検索し判定する(S34)。判定の結果、撮影画像82が検索された場合には、その撮影画像82を表示する(S35)。これによって、インデックス顔画像83の顔の向きが順次変化し、この向きに連動して同一人物で同じ向きを向いている顔が写っている撮影画像82が順次、表示される。 Subsequently, it is searched and determined whether or not there is a photographed image 82 that has a face similar to the index face image 83 displayed as a moving image and a face facing the same direction (S34). If the photographed image 82 is retrieved as a result of the determination, the photographed image 82 is displayed (S35). As a result, the orientation of the face of the index face image 83 is sequentially changed, and the photographed images 82 in which the faces of the same person facing the same direction are sequentially displayed in conjunction with this orientation.
次に、ユーザーによって撮影画像82が選択されたか否かの判定を行う(S36)。ステップS35における撮影画像82の表示は縮小画像によって行われており、ユーザーが撮影画像82を鑑賞するために、拡大表示を望む場合には、その撮影画像82を選択する。判定の結果、選択されていない場合には、ステップS38にジャンプし、一方、選択された場合には、その画像を表示部8の表示画面に拡大表示する(S37)。続いて、検索表示を終了するか否かの判定を行い、終了する場合には、元のルーチンに戻り、一方、終了しない場合には、ステップS32に戻る。 Next, it is determined whether or not the photographed image 82 has been selected by the user (S36). The captured image 82 is displayed as a reduced image in step S35. When the user desires an enlarged display in order to view the captured image 82, the captured image 82 is selected. As a result of the determination, if it is not selected, the process jumps to step S38, and if it is selected, the image is enlarged and displayed on the display screen of the display unit 8 (S37). Subsequently, it is determined whether or not the search display is to be ended. If it is to be ended, the process returns to the original routine. If it is not to be ended, the process returns to step S32.
ステップS32における判定の結果、サムネイル画像81の中からインデックス顔画像83が選択されていなかった場合には、サンプル一覧、すなわち、サムネイル画像81の切り換えを行う(S41)。表示部8には、サムネイル画像81として記録されているすべてを同時には表示することができない場合には、その一部を表示している。このステップでは、次の優先順位のサムネイル画像81の表示を行う。 If the result of determination in step S32 is that the index face image 83 has not been selected from the thumbnail images 81, the sample list, ie, the thumbnail image 81 is switched (S41). If all the recorded thumbnail images 81 cannot be displayed at the same time, a part of them is displayed on the display unit 8. In this step, the next priority thumbnail image 81 is displayed.
ステップS41における判定の結果、切り換えがない場合には、ステップS32に戻り、一方、切り換えがなされていた場合には、次のサンプル一覧、すなわちサムネイル画像81を表示し(S41)、ステップS38にジャンプする。検索再生を続行する場合には、ステップS38からステップS32に戻り、前述のステップS33以下において、検索と表示を行う。 If the result of determination in step S41 is that there is no switching, processing returns to step S32. On the other hand, if switching has been made, the next sample list, ie, the thumbnail image 81 is displayed (S41), and jumps to step S38. To do. When the search reproduction is continued, the process returns from step S38 to step S32, and the search and display are performed in step S33 and subsequent steps.
前述した図6のフローチャートにおいては、ステップS12からステップS16において、データベース撮影を行っていたが、これに代わるモーフィング動画によるインデックス顔画像の作成について、図8を用いて説明する。この作成方法は、図3に示した撮影方法や、図6のステップS12以下で説明した特別な撮影を不要とすることができる。 In the flowchart of FIG. 6 described above, database shooting was performed from step S12 to step S16. However, creation of an index face image using a morphing video instead will be described with reference to FIG. This creation method can eliminate the photographing method shown in FIG. 3 and the special photographing described in step S12 and subsequent steps in FIG.
このモーフィング動画作成のフローチャートに入り、ステップS2と同様に撮影が行われると、この撮影画像に写っている人物が同一人物か否かの判定を行う(S51)。すなわち、記録部4に既に記録されているインデックス顔画像に類似するか否かについて判定する。続いて、この判定の結果、既に記録されているインデックス顔画像と同一であるか、つまりサンプルと同じかを判定する(S52)。判定の結果、同一の顔画像があれば、ステップS53以下でモーフィング動画画像を作成する。 When the morphing moving image creation flowchart is entered and photographing is performed in the same manner as in step S2, it is determined whether or not the person shown in the photographed image is the same person (S51). That is, it is determined whether or not the index face image is already recorded in the recording unit 4. Subsequently, as a result of this determination, it is determined whether it is the same as the index face image already recorded, that is, the same as the sample (S52). As a result of the determination, if there is an identical face image, a morphing moving image is created in step S53 and subsequent steps.
まず、顔画像の角度判定を行う(S53)。この角度判定では、角度判定部5aによって顔画像の目の位置や、鼻の位置のバランス等から、顔の向いている方向の角度を判定する。続いて、切出部6によって、顔部画像の抜き出しを行い(S54)、人物と角度の関係付けを記録する(S55)。次に、記録された複数の顔の画像を、角度ごとに並び替え、前の画像と次の画像の中間画像を、図5に示すように変形作成することによって、モーフィング動画を作成する(S56)。この時、顔の大きさを揃えるために、ステップS44では、大きさ判定部5bによって、ほぼ同じ大きさの顔になるようにしている。 First, the angle of the face image is determined (S53). In this angle determination, the angle determination unit 5a determines the angle in the direction in which the face is facing from the position of the eyes of the face image, the balance of the position of the nose, and the like. Subsequently, the face image is extracted by the cutout unit 6 (S54), and the relationship between the person and the angle is recorded (S55). Next, a plurality of recorded face images are rearranged for each angle, and an intermediate image between the previous image and the next image is created as shown in FIG. 5, thereby creating a morphing video (S56). ). At this time, in order to make the size of the face uniform, in step S44, the size determination unit 5b makes the faces substantially the same size.
例えば、図4(d)(e)(f)に示すような画像からモーフィング動画を作成する場合には、図4(d)では顔が小さく、図4(e)は顔が大きい。このように顔の大きさが異なっている場合には、画像の拡大や縮小処理を利用し、同じ大きさの顔となるように画像を切り出し、同じ大きさの顔画像となるようにそろえている。 For example, when creating a morphing video from images as shown in FIGS. 4D, 4E, and 4F, the face is small in FIG. 4D, and the face is large in FIG. If the faces are different in size, use the image enlargement or reduction process to cut out the images so that the faces are the same size, and align them so that the faces are the same size. Yes.
ステップS52における判定の結果、サンプルに同じ人物がいない場合は、すなわち、記録部4に既に記録されているインデックス顔画像83に類似していない場合には、同一人物の画像がないことから、モーフィング動画によるインデックス顔画像83を作成することができない。この場合には、同一人物について2駒目の撮影がなされた際に、モーフィング動画を作成できるようにステップS61以下のステップを実行する。 As a result of the determination in step S52, if there is no same person in the sample, that is, if it is not similar to the index face image 83 already recorded in the recording unit 4, there is no image of the same person, so morphing The index face image 83 based on moving images cannot be created. In this case, steps S61 and the subsequent steps are executed so that a morphing video can be created when the second frame is shot for the same person.
まず、ステップS53と同様に角度判定を行い(S61)、顔部の画像を抜き出し、表示した際に所定の大きさになるように、サイズを調整する(S62)。続いて、ステップS55と同様に、人物と角度の関係付けを記録し(S64)、新サンプル化、すなわちインデックス顔画像として記録する(S64)。このように、モーフィング動画を行うには、同じ人物の画像を撮影するだけでよく、図3やステップS12以下のような特別な撮影動作を行う必要がない。 First, angle determination is performed in the same manner as in step S53 (S61), and the size is adjusted so that the face image is extracted and displayed to a predetermined size (S62). Subsequently, as in step S55, the relationship between the person and the angle is recorded (S64), and a new sample, that is, an index face image is recorded (S64). As described above, in order to perform the morphing moving image, it is only necessary to shoot an image of the same person, and it is not necessary to perform a special shooting operation as in FIG.
次に、ユーザーが画像検索操作を行った場合、表示部8の表示画面の移り変わりを、図9を用いて説明する。まず、検索を始めると、表示部8に表示画面8−1が表示され、インデックス部(第1検索部)84にサムネイル画像81として人物ごとにインデックス顔画像83が表示される。 Next, transition of the display screen of the display unit 8 when the user performs an image search operation will be described with reference to FIG. First, when the search is started, the display screen 8-1 is displayed on the display unit 8, and the index face image 83 is displayed for each person as the thumbnail image 81 on the index unit (first search unit) 84.
ユーザーがカメラ10の操作部材を操作して、Aさんのインデックス顔画像83を選択すると、検索表示部85にAさんが写っている撮影画像82が表示される。そして、表示画面8−2に変化すると共に、インデックス部(第2検索部)84に表示されるAさんのインデックス顔画像83の顔の向きが変化する。Aさんの顔の向きの変化に対応して検索された撮影画像82が、検索表示部85に表示される。 When the user operates the operation member of the camera 10 and selects the index face image 83 of Mr. A, a captured image 82 in which Mr. A is reflected is displayed on the search display unit 85. Then, the screen changes to the display screen 8-2, and the face direction of the index face image 83 of Mr. A displayed on the index part (second search part) 84 changes. A photographed image 82 retrieved corresponding to the change in the orientation of Mr. A's face is displayed on the retrieval display unit 85.
次に、ユーザーがBさんのインデックス顔画像83を選択すると、表示画面8−3に切り換わり、検索表示部85に表示されていたAさんの撮影画像82は消え、Bさんのインデックス顔画像83の顔が動画のように変化する。また、検索表示部85には、Bさんのインデックス顔画像83の顔の向きと同じ角度の撮影画像82が検索され表示される。 Next, when the user selects Mr. B's index face image 83, the screen is switched to the display screen 8-3, the photographed image 82 of Mr. A displayed on the search display unit 85 disappears, and Mr. B's index face image 83. The face changes like a video. In the search display section 85, a photographed image 82 having the same angle as the face direction of Mr. B's index face image 83 is searched and displayed.
このように、本実施形態におけるカメラ10は、画像検索するにあたって、個々の個人の画像で検索するのみならず、その個人の動き(具体的には顔の向き)も考慮して、画像の絞込みを行っている。また、インデックス顔画像83が動画表示されるので、選択するにあたって分かりやすいし、動画そのものを楽しむことができる。 As described above, when searching for an image, the camera 10 according to the present embodiment not only searches for an individual person's image, but also narrows down the image in consideration of the movement of the individual (specifically, the orientation of the face). It is carried out. Further, since the index face image 83 is displayed as a moving image, it is easy to understand when selecting, and the moving image itself can be enjoyed.
以上の説明では、人物の顔の向きばかりで検索する例を示したが、本実施形態の変形例として、図10に示すように、魚や花などのテーマで、検索できるようにしてもよい。また、カメラ10内ですべてを行うのではなく、通信部14を介して外部のサーバー20と連携し、ネットに繋がったパーソナルコンピュータ(PC)21において、画像検索を行うようにしてもよい。 In the above description, an example in which a search is performed based only on the orientation of a person's face has been shown. However, as a modification of the present embodiment, a search may be performed using a theme such as fish or flowers as shown in FIG. In addition, instead of performing everything in the camera 10, an image search may be performed in a personal computer (PC) 21 connected to the Internet in cooperation with the external server 20 via the communication unit 14.
顔検出の技術であれば、カメラ10内に組み込んだコンピューターで十分判定処理できる。しかし、被写体によっては、外部のサーバー20やPC21で処理する構成を採用してもよい。 With the face detection technique, a computer incorporated in the camera 10 can sufficiently perform the determination process. However, depending on the subject, a configuration in which processing is performed by the external server 20 or the PC 21 may be adopted.
つまり、被写体によって、単純なパターンによる部分抜き出しのみならず、より高度な主被写体抜き出しの技術が必要であり、むしろ被写体の動きによって、背景と主被写体を分離する技術などを活用した方がよい。例えば、動いているものを主被写体、動かないものを背景として処理する背景分離方法である。この処理よって抜き出されたもののうち、画面中央にあるものを、たとえば代表例として、テーマ画像(インデックス画像)化すればよい。 In other words, depending on the subject, not only partial extraction with a simple pattern but also a more advanced technique for extracting the main subject is necessary, and it is better to use a technique for separating the background and the main subject by the movement of the subject. For example, there is a background separation method that processes a moving object as a main subject and a non-moving object as a background. Of those extracted by this process, the one in the center of the screen may be converted into a theme image (index image) as a representative example.
図10に示す変形例では、表示画面8−1のインデックス部84に、「ます画像」や「野ばら画像」等のテーマが、選択可能なようにインデックス画像93として表示される。これらのテーマ対象物に動きがある場合には、背景分離が可能である。インデックス画像93のいずれかを選択すると、主被写体画像(図10の例では、ます画像)が、表示画面8−1→表示画面8−2に示すように動き回る。そして、この主被写体画像に類似する撮影画像82が、順次、検索表示部85に表示される。 In the modification shown in FIG. 10, the index portion 84 of the display screen 8-1, themes such as "masu image" or "wild rose image" is displayed as an index image 93 as selectable. If these theme objects move, background separation is possible. Selecting one of the index image 93, (in the example of FIG. 10, masu image) the main subject image, move around as shown in the display screen 8-1 → display screen 8-2. Then, captured images 82 similar to the main subject image are sequentially displayed on the search display unit 85.
次に、別のテーマのインデックス画像93が選択される(図10の例では、野ばら画像)と、そのテーマ対象物が動画で再生表示される(表示画面8−3では、花が風に揺れる様子など)。そして、そのテーマ対象物と類似する撮影画像82(向き等も同じ)が、検索表示部85に表示される。
Next, when an index image 93 of another theme is selected (in the example of FIG. 10, a wild image ), the theme object is reproduced and displayed as a moving image (flowers sway in the wind on the display screen 8-3). Etc.) Then, a photographed image 82 (the same direction and the like) similar to the theme object is displayed on the search display unit 85.
このように、同じテーマでも、その動きや構図によって見たい画像が変わる場合があり、特に、多くの画像を取捨選択して、一つのアルバムを作成するような場合、どれとどれを組み合わせるかによって、全体の雰囲気が変わる。そこで、多数の画像の中から、一番、見栄えの良い画像を選択したいとの要望があり、本実施形態では、インデックス用の画像を動画形式で動かし、その動画で示された動きの瞬間を捉えた静止画を選択するようにしている。このため、動画を楽しみながら、かつ、効果的な瞬間で、態様の類似する静止画を選択することが可能となる。このように、様々な画像を検索するのに、動画表示をインデックスとして採用することにより、一つのテーマを、様々な切り口で同一画面上に扱うことができ、また画像検索により、画像の選択や絞込みが容易になる。 In this way, even if the theme is the same, the image you want to see may change depending on its movement and composition. Especially when you select many images and create one album, depending on which and which are combined. The whole atmosphere changes. Therefore, there is a request to select the best-looking image from among many images. In this embodiment, the index image is moved in a moving image format, and the moment of movement indicated by the moving image is displayed. The captured still image is selected. Therefore, it is possible to select a still image having a similar aspect while enjoying a moving image and at an effective moment. In this way, to search various images, by adopting video display as an index, one theme can be handled on the same screen from various perspectives. Narrowing becomes easy.
以上説明したように、本実施形態においては、インデックス用の画像を動画的に順次表示し、このインデックス用の画像の動画的変化に対応する撮影画像を検索し、表示するようにしている。このため顔の向き(角度)等、分類された画像を、表示部8上に少なく操作で容易に検索することができる。 As described above, in the present embodiment, the index images are sequentially displayed in a moving image, and the photographed image corresponding to the moving image change of the index image is retrieved and displayed. For this reason, the classified images such as the orientation (angle) of the face can be easily searched on the display unit 8 with few operations.
また、本実施形態においては、撮影時に、画像データから検出された顔の部分に基づいて、顔の角度を画像データと一緒に記録部4に記録している。このため、画像検索する際に、この顔の角度を用いて検索し表示することができ、大変便利である。また、記録部4に記録されている画像の中から、撮影した画像の顔の部分と類似した画像を検索し、この情報を含めて画像データの記録を行っている。このため、画像検索の迅速化を図ることができる。 In the present embodiment, the angle of the face is recorded in the recording unit 4 together with the image data based on the face portion detected from the image data at the time of shooting. For this reason, when searching for an image, it is possible to search and display using the angle of the face, which is very convenient. Further, an image similar to the face portion of the photographed image is searched from the images recorded in the recording unit 4, and image data including this information is recorded. For this reason, it is possible to speed up the image search.
なお、本実施形態においては、サムネイル画像81を表示するインデックス部84と、撮影画像82を表示する検索表示部85を同一画面で表示していたが、これに限らず、例えば、それぞれ異なる画面であっても勿論かまわない。また、撮影画像82の顔の部分を検出して、角度判定、大きさ判定や類似判定を行っていたが、顔に限らず、体全体や、目の部分等、身体で判別できる箇所であればよい。 In the present embodiment, the index unit 84 that displays the thumbnail image 81 and the search display unit 85 that displays the captured image 82 are displayed on the same screen. However, the present invention is not limited to this. Of course, it doesn't matter. In addition, the face portion of the photographed image 82 is detected and angle determination, size determination, and similarity determination are performed. However, the present invention is not limited to the face. That's fine.
また、本発明の実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。また、動的表示とは、複数の静止画像を順次表示することにより、あたかも動画のように表示することと、複数の静止画像から中間の画像を画像処理によって生成し、これらの画像を順次表示することにより動画のように表示することのいずれも含まれる。 In the embodiment of the present invention, the digital camera is used as the photographing device. However, the camera may be a digital single-lens reflex camera or a compact digital camera, and may be a mobile phone or a portable information terminal ( Of course, a camera built in PDA (Personal Digital Assist) or the like may be used. Dynamic display means displaying multiple still images in sequence, displaying them as if they were moving images, generating intermediate images from multiple still images by image processing, and displaying these images sequentially. By doing so, it is included to display like a moving image.
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
1・・・制御部、1a・・・類似判定部、1b・・・タイミング制御部、2・・・撮像部、3・・・光学系制御部、4・・・記録部、4a・・・特徴(角度)データ記録部、4b・・・顔データベース(DB)、4c・・・サムネイル部、5・・・顔検出部、5a・・・角度判定部、5b・・・大きさ判定部、6・・・切出部、7・・・動画処理部、8・・・表示部、8a・・・表示制御部、8b・・・マルチ画像表示部、8c・・・動画表示制御部、9・・・時計部、11・・・操作判定部、12・・・六軸センサ、14・・・通信部、15・・・インターネット網、20・・・外部サーバー、81・・・サムネイル画像、82・・・撮影画像、83・・・インデックス顔画像、84・・・インデックス部、85・・・検索表示部、93・・・インデックス画像、8−1・・・表示画面、8−2・・・表示画面、8−3・・・表示画面 DESCRIPTION OF SYMBOLS 1 ... Control part, 1a ... Similarity determination part, 1b ... Timing control part, 2 ... Imaging part, 3 ... Optical system control part, 4 ... Recording part, 4a ... Feature (angle) data recording unit, 4b ... face database (DB), 4c ... thumbnail part, 5 ... face detection unit, 5a ... angle determination unit, 5b ... size determination unit, 6... Cutout section, 7... Video processing section, 8... Display section, 8 a... Display control section, 8 b. ... Clock part, 11 ... Operation determination part, 12 ... Six-axis sensor, 14 ... Communication part, 15 ... Internet network, 20 ... External server, 81 ... Thumbnail image, 82 ... taken image, 83 ... index face image, 84 ... index part, 85 ... search display part, 93. Index image, 8-1 ... display screen, 8-2 ... display screen, 8-3 ... display screen
Claims (5)
上記画像データを記憶する画像記録部と、
上記取得した画像データから顔の部分を検出する顔検出部と、
上記顔検出部によって検出された顔の部分が向いている角度を判定する角度判定部と、
上記撮像部によって上記画像データを取得した際に、この画像データが、上記画像記録部に記憶されている画像の中から、上記顔検出部によって検出された顔と類似するか否かを判定する類似判定部と、
を有し、
上記画像記録部は、上記画像データに、上記角度判定部によって判定された上記角度と、上記類似判定部によって類似すると判定された画像を関連付けて記録することを特徴とするカメラ。 An optical system for forming a subject image, and an imaging unit for obtaining image data, including an imaging device that photoelectrically converts the subject image;
An image recording unit for storing the image data;
A face detection unit for detecting a face portion from the acquired image data;
An angle determination unit that determines an angle at which the face portion detected by the face detection unit is facing;
When the image data is acquired by the imaging unit, it is determined whether or not the image data is similar to the face detected by the face detection unit from the images stored in the image recording unit. A similarity determination unit;
Have
The image recording unit, the image data, a camera, wherein the said angle is determined by the angle determining unit, to be recorded in association with image determined to be similar by the similarity determination unit.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007287107A JP5064173B2 (en) | 2007-11-05 | 2007-11-05 | camera |
CN2008101728701A CN101431640B (en) | 2007-11-05 | 2008-11-05 | Image indexing device, image indexing method and camera thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007287107A JP5064173B2 (en) | 2007-11-05 | 2007-11-05 | camera |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012174892A Division JP5368614B2 (en) | 2012-08-07 | 2012-08-07 | Image search apparatus and image search method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009118040A JP2009118040A (en) | 2009-05-28 |
JP2009118040A5 JP2009118040A5 (en) | 2010-12-16 |
JP5064173B2 true JP5064173B2 (en) | 2012-10-31 |
Family
ID=40646770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007287107A Expired - Fee Related JP5064173B2 (en) | 2007-11-05 | 2007-11-05 | camera |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5064173B2 (en) |
CN (1) | CN101431640B (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5612934B2 (en) * | 2010-07-09 | 2014-10-22 | オリンパスイメージング株式会社 | Portable device and playback display method |
JP2012244525A (en) * | 2011-05-23 | 2012-12-10 | Sony Corp | Information processing device, information processing method, and computer program |
CN106488168B (en) | 2015-08-27 | 2020-04-28 | 腾讯科技(深圳)有限公司 | Method and device for switching angles of pictures collected in electronic terminal |
JP2017143419A (en) * | 2016-02-10 | 2017-08-17 | オリンパス株式会社 | Imaging device, imaging method and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3960238B2 (en) * | 2003-03-03 | 2007-08-15 | 日本電信電話株式会社 | Image processing method, program, and recording medium recording the same |
JP2005184348A (en) * | 2003-12-18 | 2005-07-07 | Canon Inc | Video image processor and representative image setting method |
JP2005275979A (en) * | 2004-03-25 | 2005-10-06 | Fuji Photo Film Co Ltd | Image retrieving program |
-
2007
- 2007-11-05 JP JP2007287107A patent/JP5064173B2/en not_active Expired - Fee Related
-
2008
- 2008-11-05 CN CN2008101728701A patent/CN101431640B/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009118040A (en) | 2009-05-28 |
CN101431640B (en) | 2011-05-18 |
CN101431640A (en) | 2009-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1929368B1 (en) | Image capture method and device also capturing audio | |
US8400528B2 (en) | Imaging device | |
JP4340806B2 (en) | Image processing apparatus, method, and program | |
JP5837922B2 (en) | Ranking key video frames based on camera position | |
JP2007523521A (en) | Automatic focus area display | |
US20040202456A1 (en) | Image processing program and image processing apparatus | |
KR101739379B1 (en) | Digital photographing apparatus and control method thereof | |
JP2010010936A (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, and program | |
JP2009077026A (en) | Imaging apparatus and method, and program | |
KR101737086B1 (en) | Digital photographing apparatus and control method thereof | |
JP5064173B2 (en) | camera | |
JP2007110262A (en) | Software for image appreciation and image storage device | |
JP4725854B2 (en) | Image display device and image display method | |
JP2009070374A (en) | Electronic device | |
JP2009060355A (en) | Imaging apparatus, imaging method, and program | |
JP5368614B2 (en) | Image search apparatus and image search method | |
JP2007110261A (en) | Digital camera | |
JP2001211418A (en) | Electronic camera | |
JP6355333B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and program | |
JP2008022216A (en) | Device and method for displaying image, program, photographing apparatus with information recorder, and animation recording device | |
JP2007226606A (en) | Imaging apparatus, image output method, reproduction apparatus, program, and storage medium | |
JP2011119936A (en) | Photographing device and reproducing method | |
JP5176776B2 (en) | camera | |
JP5613304B2 (en) | Image search apparatus and image search method | |
JP4842232B2 (en) | Imaging apparatus and image reproduction apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101101 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120724 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120808 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5064173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150817 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |