JP4797761B2 - Movie display device - Google Patents

Movie display device Download PDF

Info

Publication number
JP4797761B2
JP4797761B2 JP2006109385A JP2006109385A JP4797761B2 JP 4797761 B2 JP4797761 B2 JP 4797761B2 JP 2006109385 A JP2006109385 A JP 2006109385A JP 2006109385 A JP2006109385 A JP 2006109385A JP 4797761 B2 JP4797761 B2 JP 4797761B2
Authority
JP
Japan
Prior art keywords
image
information
frame
graph
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006109385A
Other languages
Japanese (ja)
Other versions
JP2007280325A (en
Inventor
淳 入江
えりな 瀧川
直輝 前田
楡子 松原
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to JP2006109385A priority Critical patent/JP4797761B2/en
Publication of JP2007280325A publication Critical patent/JP2007280325A/en
Application granted granted Critical
Publication of JP4797761B2 publication Critical patent/JP4797761B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、動画を表示するための動画表示装置に関する。   The present invention relates to a moving image display device for displaying a moving image.
HDDやDVDなどの大容量記録媒体の登場により、色々な場面の動画データを手軽に撮り(録り)ためておくことが可能になった。しかし、多数の若しくは長時間の動画データの中から所望のシーンを探し出すのは容易ではない。例えば、従来の動画表示装置では、スライダー等を操作しながら目視で所望のシーンを見つけ出すのが一般的であるが、このような探索手法は目的のシーンに到達するまでに相当な手間と時間がかかる。   With the advent of high-capacity recording media such as HDDs and DVDs, it has become possible to easily record (record) video data of various scenes. However, it is not easy to find a desired scene from a large number or long-time moving image data. For example, in a conventional video display device, it is common to visually find a desired scene while operating a slider or the like. However, such a search method requires a considerable amount of labor and time to reach a target scene. Take it.
ところで、ユーザが所望のシーンを探す際には、画像中の「顔」の情報を手がかりにすることが多い。例えば、動画の中から家族全員が写っているシーンを探し出したり、子供が良い顔で写っているシーンを探し出したり、といったケースが挙げられる。そこで従来より、顔の情報を手がかりとしたシーン検索を容易に行えるツールの登場が望まれていた。   By the way, when a user searches for a desired scene, information on “face” in an image is often used as a clue. For example, there are cases where a scene where the whole family is shown in a video is searched for, or a scene where a child is shown with a good face is searched. Therefore, there has been a demand for a tool that can easily perform a scene search using facial information as a clue.
なお、顔情報を画像検索に応用した技術としては、顔の数、顔のサイズ、顔の向き、性別、顔の表情、年齢、人種、眼鏡の有無、ひげの有無等を条件として与えると、動画の中から条件を満たすフレームを検出して、顔画像をディスプレイに表示する画像検索方法がある(特許文献1参照)。また、顔情報を画像の分類に応用した技術としては、自動販売機の前を通過する通行人を撮像し、その画像を解析することによって通行人数、通行人の年齢層、性別を調査する技術(特許文献2参照)、顧客の画像を画像処理することによって顧客を分類する技術(特許文献3参照)、デジタルカメラで撮影された画像を画像に写る顔の類似度に基づいて分類する技術(特許文献4参照)が知られている。
特開2001−167110号公報 特開2000−67369号公報 特開平7−262274号公報 特開2005−107885号公報
In addition, as technology that applied face information to image search, given the conditions such as the number of faces, face size, face orientation, gender, facial expression, age, race, presence of glasses, presence of beard, etc. There is an image search method for detecting a frame satisfying a condition from a moving image and displaying a face image on a display (see Patent Document 1). In addition, as technology that applies facial information to image classification, it is a technology that examines the number of passersby, the age group of the passersby, and gender by imaging passersby passing in front of a vending machine and analyzing the images (Refer to patent document 2), technology for classifying customers by image processing of customer images (refer to patent document 3), technology for classifying images taken with a digital camera based on the similarity of faces appearing in images (see FIG. Patent Document 4) is known.
JP 2001-167110 A JP 2000-67369 A JP-A-7-262274 JP 2005-107885 A
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、ユーザによる顔情報を手がかりとしたシーン検索を支援するための技術を提供することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for supporting a scene search using a user's face information as a clue.
上記目的を達成するために本発明は、以下の構成を採用する。   In order to achieve the above object, the present invention adopts the following configuration.
本発明の動画表示装置は、動画から選択された複数のフレームの画像の各々から顔を検出する顔検出手段と、前記各画像について、前記検出された顔に関する顔情報を取得する顔情報取得手段と、前記顔情報取得手段によって画像から取得された顔情報を、その画像の動画中のフレーム位置とともに記憶する顔情報記憶手段と、前記顔情報記憶手段から前記各画像のフレーム位置及び顔情報を読み込み、前記各画像のフレーム位置と顔情報との関係を示すグラフを生成するグラフ生成手段と、前記動画を前記グラフとともに表示する表示手段と、を備える。   The moving image display apparatus of the present invention includes a face detection unit that detects a face from each of a plurality of frames selected from a moving image, and a face information acquisition unit that acquires face information related to the detected face for each of the images. And face information storage means for storing the face information acquired from the image by the face information acquisition means together with the frame position in the moving image of the image, and the frame position and face information of each image from the face information storage means. A graph generation unit configured to read and generate a graph indicating a relationship between a frame position of each image and face information; and a display unit configured to display the moving image together with the graph.
顔検出の対象となる複数のフレームは、動画を構成する全部のフレームでもよいし、所定数おきに抜き出された一部のフレームでもよい。前記グラフの形式は問わないが、例え
ば、棒グラフ、折れ線グラフなどを好ましく採用できる。
The plurality of frames to be face-detected may be all the frames constituting the moving image or some frames extracted every predetermined number. Although the format of the graph is not limited, for example, a bar graph, a line graph, or the like can be preferably employed.
上記構成によれば、グラフを見ることによって動画全体を通しての顔情報の推移を一目で把握できる。よって、フレームごとの顔情報や顔情報の時系列な変化を手がかりとして、所望のシーンのフレーム位置の当たりを簡単につけることができる。よって、所望のシーンを簡単かつ素早く発見することができる。   According to the above configuration, the transition of face information throughout the entire moving image can be grasped at a glance by looking at the graph. Therefore, it is possible to easily hit the frame position of the desired scene using the face information for each frame and the time-series change of the face information as a clue. Therefore, a desired scene can be found easily and quickly.
上記構成において、前記顔情報が、前記各画像から検出された顔の数を含み、前記グラフが、前記各画像のフレーム位置と顔の数との関係を示すものであるとよい。これにより、フレームごとの顔の数や顔の数の時系列な変化を一目で把握でき、顔の数を手がかりとするシーン検索が容易になる。   In the above configuration, the face information may include the number of faces detected from each image, and the graph may indicate a relationship between a frame position of each image and the number of faces. As a result, the number of faces for each frame and the time-series changes in the number of faces can be grasped at a glance, and a scene search using the number of faces as a clue becomes easy.
前記顔情報取得手段が、前記検出された顔をその顔画像に基づいて所定のクラスのいずれかに分類する顔分類手段を有し、前記顔情報が、前記検出された顔が分類されたクラスを含み、前記グラフが、前記顔の数をクラス別に示すものであることも好ましい。   The face information acquisition means includes face classification means for classifying the detected face into one of predetermined classes based on the face image, and the face information is a class in which the detected face is classified. It is also preferable that the graph shows the number of faces by class.
分類の基準としては、例えば、ピントの良し悪し、顔の大きさ、顔の向き、目の開閉、視線の向き、性別、年齢(若しくは年齢層)、人種、表情、ひげの有無、メガネの有無、顔の画像中の位置などがある。顔分類手段は1種類の分類を行うだけでもよいし、複数種類の分類を行ってもよい。   Classification criteria include, for example, good / bad focus, face size, face orientation, eye opening / closing, gaze orientation, gender, age (or age group), race, facial expression, presence of beard, glasses Presence / absence, position in face image, etc. The face classification means may perform only one type of classification or a plurality of types of classification.
この構成によれば、顔の全体数の推移に加え、クラス別の顔の数の推移や、顔の全体数に占めるクラスごとの割合及びその推移なども一目で把握できる。クラスに関する手がかりが増えたことで、所望のシーンの発見がさらに容易になる。   According to this configuration, in addition to the transition of the total number of faces, the transition of the number of faces by class, the ratio of each class to the total number of faces and the transition thereof can be grasped at a glance. Increasing clues about the class makes it easier to find the desired scene.
前記顔情報取得手段が、前記検出された顔をその顔画像に基づいて既知の顔か否か同定する顔同定手段を有し、前記顔情報記憶手段が、前記顔情報を人別に記憶し、前記グラフが、前記顔情報を人別に示すものであることも好ましい。   The face information acquisition means includes face identification means for identifying whether the detected face is a known face based on the face image, and the face information storage means stores the face information for each person, It is also preferable that the graph shows the face information by person.
既知の顔とは、処理中のフレーム(検出された顔が含まれているフレーム)よりも前のフレームにおいて検出された顔、又は、装置に予め登録されている顔である。顔の同定は、「その顔の持ち主が誰であるか」という個人の特定までは必要なく、検出された複数の顔を人別に区別できさえすれば十分である。   The known face is a face detected in a frame before the frame being processed (a frame including the detected face) or a face registered in advance in the apparatus. The identification of a face does not require identification of an individual “who is the owner of the face”, and it is sufficient if a plurality of detected faces can be distinguished for each person.
上記構成によれば、グラフを見ることによって動画全体を通しての各人の顔情報の推移を一目で把握できる。よって、その情報を手がかりとして、所望のシーンのフレーム位置の当たりを簡単につけることができ、シーン検索に役立てることができる。   According to the said structure, transition of each person's face information through the whole moving image can be grasped at a glance by seeing a graph. Therefore, using the information as a clue, it is possible to easily hit the frame position of a desired scene, which can be used for scene search.
前記顔情報が、前記検出された顔の顔画像から抽出される特徴量を含み、前記グラフが、人別に、前記各画像のフレーム位置と特徴量の値との関係を示すものであることも好ましい。   The face information may include a feature amount extracted from the face image of the detected face, and the graph may indicate a relationship between a frame position of each image and a feature amount value for each person. preferable.
あるいは、前記顔情報取得手段が、前記検出された顔をその顔画像に基づいて所定のクラスのいずれかに分類する顔分類手段を有し、前記顔情報が、前記検出された顔が分類されたクラスを含み、前記グラフが、人別に、前記各画像のフレーム位置とクラスとの関係を示すものであることも好ましい。   Alternatively, the face information acquisition means includes face classification means for classifying the detected face into one of predetermined classes based on the face image, and the detected face is classified as the face information. It is also preferable that the graph includes a class and the graph shows a relationship between the frame position of each image and the class for each person.
特徴量としては、例えば、ピントの度合い(若しくはボケ度合い)、顔の大きさ、顔の向き(角度)、目の開き度合い、視線の向き(角度)、顔の画像中の位置などがある。1種類の特徴量を抽出するだけでもよいし、複数種類の特徴量を抽出してもよい。分類とし
ては、上述したものを採用できる。
Examples of the feature amount include the degree of focus (or the degree of blur), the size of the face, the face direction (angle), the degree of eye opening, the direction of the line of sight (angle), and the position of the face in the image. Only one type of feature value may be extracted, or a plurality of types of feature values may be extracted. As the classification, those described above can be adopted.
このように顔情報として特徴量の値やクラスを表示することで、各人の顔の状態(写りの良さ)の推移を一目で把握できる。これにより、最も写りの良いシーンを見つける、といった検索が可能となる。   By displaying the feature value and class as face information in this way, it is possible to grasp at a glance the transition of the face state (goodness of image) of each person. As a result, it is possible to search for finding a scene with the best reflection.
また、複数の人のグラフが同時に表示されることも好ましい。これにより、複数の人の顔の状態の推移を比較したり、全員の顔の状態が良好になったところを見つけたり、といったことが可能となる。   It is also preferable that graphs of a plurality of people are displayed simultaneously. Thereby, it is possible to compare the transition of the face states of a plurality of people or find a place where the face states of all the members are good.
また、複数の顔情報のグラフが同時に表示されることも好ましい。これにより、複数の顔情報を組み合わせたシーン検索が可能となる。   It is also preferable that a plurality of face information graphs are displayed simultaneously. Thereby, a scene search combining a plurality of pieces of face information becomes possible.
前記表示手段が、ユーザによりフレーム位置が指定された場合に、前記動画の中から前記指定されたフレーム位置に対応する画像を表示することも好ましい。   It is also preferable that the display means displays an image corresponding to the designated frame position from the moving image when the frame position is designated by the user.
これにより、グラフを見ることによって当たりをつけたフレーム位置を指定すれば直ちにその画像を確認できるので、所望のシーンを簡単かつ素早く発見できる。   As a result, if the winning frame position is designated by looking at the graph, the image can be immediately confirmed, so that a desired scene can be easily and quickly found.
本発明は、上記手段の少なくとも一部を有する動画表示装置として捉えてもよいし、上記処理の少なくとも一部を含む動画表示方法、または、かかる方法を実現するためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。   The present invention may be regarded as a moving image display device having at least a part of the above means, or a moving image display method including at least a part of the above process, or a program for realizing such a method and a program thereof are recorded. It can also be regarded as a recording medium. Each of the above means and processes can be combined with each other as much as possible to constitute the present invention.
本発明によれば、ユーザによる顔情報を手がかりとしたシーン検索を支援することができる。   According to the present invention, it is possible to support a scene search using a user's face information as a clue.
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。   Exemplary embodiments of the present invention will be described in detail below with reference to the drawings.
<装置構成>
図1は、本発明の実施形態に係る動画表示装置の機能構成を示すブロック図である。
<Device configuration>
FIG. 1 is a block diagram showing a functional configuration of a moving image display apparatus according to an embodiment of the present invention.
動画表示装置は、動画の表示及び動画のシーン検索を行うための装置であって、図1に示すように、動画記憶部10、入力部11、顔検出部12、顔情報取得部13、顔情報記憶部14、グラフ生成部15、表示部16を備えている。   The moving image display device is a device for displaying moving images and searching for moving image scenes. As shown in FIG. 1, the moving image storage unit 10, the input unit 11, the face detection unit 12, the face information acquisition unit 13, the face An information storage unit 14, a graph generation unit 15, and a display unit 16 are provided.
この動画表示装置は典型的には演算処理装置(CPU)、主記憶装置(メモリ)、補助記憶装置(ハードディスクなど)、ディスプレイ、入力装置(マウスなど)を備えた汎用のコンピュータと、このコンピュータで動作するソフトウエア(プログラム)から構成可能である。図1に示す機能要素は、演算処理装置がソフトウエア(プログラム)を実行し、必要に応じて主記憶装置、補助記憶装置、ディスプレイ、入力装置などのハードウエア資源を制御することで実現される。ただし、これらの機能要素の機能の一部又は全部を専用のチップで構成しても構わない。   This moving image display device typically includes a general-purpose computer having an arithmetic processing unit (CPU), a main storage device (memory), an auxiliary storage device (such as a hard disk), a display, and an input device (such as a mouse). It can be configured from operating software (program). The functional elements shown in FIG. 1 are realized by an arithmetic processing unit executing software (program) and controlling hardware resources such as a main storage device, an auxiliary storage device, a display, and an input device as necessary. . However, some or all of the functions of these functional elements may be configured by a dedicated chip.
動画記憶部10は表示及び検索の対象となる動画を記憶している。動画記憶部10は不揮発性の記憶装置(例えばハードディスク(HDD)やDVDなど)で構成可能である。なお、ローカル接続された記憶装置に限らず、ネットワーク接続された記憶装置に動画記憶部10を設けてもよい。表示及び検索の対象となる動画は、ビデオカメラ等で撮影した
ものでも、放送番組等を録画したものでも、記録媒体若しくはネットワークを介して提供されたデータであってもよい。
The moving image storage unit 10 stores moving images to be displayed and searched. The moving image storage unit 10 can be configured by a non-volatile storage device (for example, a hard disk (HDD) or a DVD). Note that the moving image storage unit 10 may be provided not only in the locally connected storage device but also in a network connected storage device. The moving image to be displayed and searched may be a video taken by a video camera or the like, a broadcast program or the like recorded, or data provided via a recording medium or a network.
入力部11は、ユーザが動画表示装置に指示を入力するための機能であり、例えば、キーボードとポインティングデバイス(マウス、タッチパッド、タッチパネル、視線入力装置など)から構成される。   The input unit 11 is a function for a user to input an instruction to the moving image display device, and includes, for example, a keyboard and a pointing device (such as a mouse, a touch pad, a touch panel, and a line-of-sight input device).
顔検出部12は、動画記憶部10から動画を読み込み、その動画から処理対象フレームの画像を取得し、各画像から顔を検出する機能である。顔検出結果(検出された顔の数、各顔の位置・大きさなど)は顔情報取得部13に渡される。   The face detection unit 12 has a function of reading a moving image from the moving image storage unit 10, acquiring an image of a processing target frame from the moving image, and detecting a face from each image. The face detection results (the number of detected faces, the position / size of each face, etc.) are passed to the face information acquisition unit 13.
顔検出処理には、既存のどのような技術が適用されてもよい。一例を挙げると、(1)顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、(2)顔の器官(目、鼻、耳など)に基づくテンプレートマッチングによって顔を検出する手法、(3)クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、(4)肌の色に近い領域を検出し、その領域を顔として検出する手法、(5)ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。   Any existing technique may be applied to the face detection process. For example, (1) a method for detecting a face by template matching using a reference template corresponding to the contour of the entire face, (2) a face by template matching based on a facial organ (eg, eyes, nose, ears). (3) A technique for detecting a vertex such as a head by chroma key processing and detecting a face based on the vertex, and (4) detecting an area close to the skin color and detecting the area as a face. And (5) learning using a teacher signal using a neural network and detecting a face-like area as a face.
顔情報取得部13は、検出された顔に関する種々の情報を取得し、それらを顔情報として顔情報記憶部14に記録する機能である。本実施形態の顔情報取得部13は、顔同定機能130と顔分類機能131の2つの機能を有している。   The face information acquisition unit 13 has a function of acquiring various information related to the detected face and recording them in the face information storage unit 14 as face information. The face information acquisition unit 13 of the present embodiment has two functions, a face identification function 130 and a face classification function 131.
顔同定機能130は、検出された顔をその顔画像に基づいて既知の顔か否か同定する機能である。具体的には、顔同定機能130は、最初の処理対象フレームから検出された顔のそれぞれに異なる識別番号(ラベル)を付与し、次のフレーム以降は、既にラベリングされた顔と同一の顔には同一の識別番号を付与し、既にラベリングされた顔の中に同一の顔が無ければ新しい識別番号を付与していく。これにより、検出された複数の顔を人別に区別することができる。なお、装置に予め顔(顔を定義する情報)及び個人情報を登録しておき、その登録された顔と比較することによって「検出された顔の持ち主が誰であるか」という個人の特定まで行うようにしてもよい。   The face identification function 130 is a function for identifying whether the detected face is a known face based on the face image. Specifically, the face identification function 130 assigns a different identification number (label) to each face detected from the first frame to be processed, and after the next frame, the face is identified as the same face that has already been labeled. Assigns the same identification number, and if there is no identical face among the already labeled faces, a new identification number is assigned. Thereby, a plurality of detected faces can be distinguished for each person. In addition, by registering the face (information defining the face) and personal information in the device in advance and comparing it with the registered face, it is possible to identify the individual who is the “owner of the detected face” You may make it perform.
顔同定機能130における同一顔の推定には、既存のどのような技術が適用されてもよい。例えば、顔認識技術を利用して、顔画像から抽出される顔特徴量の類似度に基づいて同一顔か否かを推定する手法を好ましく採用できる。   Any existing technique may be applied to the estimation of the same face in the face identification function 130. For example, it is possible to preferably employ a method of estimating whether or not the faces are the same based on the similarity of the face feature amount extracted from the face image using a face recognition technique.
顔分類機能131は、検出された顔をその顔画像に基づいて所定のクラスのいずれかに分類(クラス分け)する機能である。本実施形態の顔分類機能131は、ピントの良し悪し、顔の大きさ、顔の向き、目の開閉、視線の向き、性別、年齢(年齢層)、人種、表情、ひげの有無、メガネの有無、顔の位置、の各項目について顔を分類可能である。   The face classification function 131 is a function for classifying (classifying) a detected face into one of predetermined classes based on the face image. The face classification function 131 of the present embodiment is good or bad in focus, face size, face orientation, eye opening / closing, gaze orientation, gender, age (age group), race, facial expression, presence of beard, glasses The face can be classified for each item of presence / absence of the face and the position of the face.
例えば、ピントの良し悪しについては、特徴量として顔画像のボケ度合い(例えば、低周波成分への偏り)を求め、その値に応じて顔を「ピント良好/通常/ピンぼけ」のいずれかのクラスに分類する。顔の大きさについては、特徴量として顔画像の幅や面積を用い、その値に応じて「大/中/小」のいずれかのクラスに分類する。顔の向きについては、顔の輪郭と目・鼻・口などの顔器官の相対的位置関係を調べ、「正面/斜め/横」のいずれかのクラスに分類する。特徴量として正面(カメラ方向)に対する顔の角度を算出してもよい。目の開閉については、まぶたの縁(まつげ)や瞳を認識することで「全開/半開/閉」のように分類する。特徴量として目の開き度合いを算出してもよい。視線の向きについては、瞳の位置などから「カメラ方向/非カメラ方向」のように分類する。特徴量と
して視線の角度を算出してもよい。性別、年齢(年齢層)、人種などの属性推定については既存の技術を利用可能である。性別は「男性/女性」のように分類され、年齢は「10歳未満/10代・20代/30代・40代/50代・60代/70歳以上」とか「子供/大人/老人」のように分類され、人種は「コーカソイド/モンゴロイド/ネグロイド」のように分類される。表情は「幸福/悲しみ/恐怖/怒り/驚き/嫌悪」のように分類される。ひげの有無やメガネの有無はそれぞれ「有り/無し」で分類される。顔の位置は特徴量としての画像座標に基づき「中央/右/左」のように分類される。なお、ここで挙げた特徴量及び分類は一例であり、適宜設計変更しても構わない。
For example, for good / bad focus, the degree of blurring of the face image (for example, bias toward low frequency components) is obtained as a feature quantity, and the face is classified into one of the classes “good focus / normal / defocus” according to the value. Classify into: For the size of the face, the width or area of the face image is used as the feature quantity, and the face size is classified into one of the “large / medium / small” classes according to the value. Regarding the face orientation, the relative positional relationship between the face outline and the facial organs such as eyes, nose and mouth is examined and classified into one of the classes of “front / oblique / lateral”. The face angle with respect to the front (camera direction) may be calculated as the feature amount. The eye opening / closing is classified as “full open / half open / closed” by recognizing the edge of the eyelid (eyelashes) or the pupil. The degree of eye opening may be calculated as a feature amount. The direction of the line of sight is classified as “camera direction / non-camera direction” based on the pupil position or the like. The line-of-sight angle may be calculated as the feature amount. Existing techniques can be used for attribute estimation such as gender, age (age group), and race. The sex is classified as “male / female”, and the age is “under 10 / 10s / 20s / 30s / 40s / 50s / 60s / 70s or older” or “children / adults / old people”. The race is classified as “Caucasoid / Mongoloid / Negroid”. Facial expressions are classified as “happiness / sadness / fear / anger / surprise / hate”. The presence / absence of a beard and the presence / absence of glasses are classified as “present / not present”. The position of the face is classified as “center / right / left” based on the image coordinates as the feature amount. Note that the feature amounts and classifications listed here are examples, and the design may be changed as appropriate.
顔情報記憶部14は、顔情報取得部13によって画像から取得された顔情報を、その画像の動画中のフレーム位置とともに記憶するデータベースである。顔情報記憶部14は不揮発性の記憶装置(例えばハードディスクなど)で構成可能である。顔情報記憶部14を動画記憶部10と同一の記憶装置に設けることも好ましい。   The face information storage unit 14 is a database that stores the face information acquired from the image by the face information acquisition unit 13 together with the frame position in the moving image of the image. The face information storage unit 14 can be configured by a nonvolatile storage device (for example, a hard disk). It is also preferable to provide the face information storage unit 14 in the same storage device as the moving image storage unit 10.
グラフ生成部15は、顔情報記憶部14から各画像のフレーム位置及び顔情報を読み込み、各画像のフレーム位置と顔情報との関係を示すグラフ(インジケータ)を生成する機能である。グラフの具体的な形式については後述する。   The graph generation unit 15 has a function of reading the frame position and face information of each image from the face information storage unit 14 and generating a graph (indicator) indicating the relationship between the frame position of each image and the face information. The specific format of the graph will be described later.
表示部16は、動画記憶部10からの動画の読み込み、動画の再生、動画表示画面とグラフ表示画面を含むユーザインターフェイスの生成、ディスプレイへの表示出力などを担う機能である。また、ユーザインターフェイスにおいてユーザからのフレーム位置の指定を受け付け、その指定されたフレーム位置に対応する画像を表示する機能も有する。   The display unit 16 is a function responsible for reading a moving image from the moving image storage unit 10, reproducing a moving image, generating a user interface including a moving image display screen and a graph display screen, and outputting a display to a display. The user interface also has a function of accepting designation of a frame position from the user and displaying an image corresponding to the designated frame position.
<顔情報作成処理>
図2のフローチャートに沿って、動画表示装置における顔情報作成処理の流れを説明する。
<Face information creation process>
The flow of face information creation processing in the moving image display device will be described with reference to the flowchart of FIG.
ユーザが入力部11を用いて顔情報作成処理の対象とすべき動画を指定すると、図2に示す処理が開始される。   When the user uses the input unit 11 to specify a moving image to be subjected to face information creation processing, the processing shown in FIG. 2 is started.
まず、顔検出部12が動画記憶部10から処理対象となるフレームの画像を読み込む(ステップS100)。そして、顔検出部12はその画像から顔を検出する(ステップS101)。顔が検出されたらステップS103に処理を進め、顔が検出されなかったらステップS109に処理を進める(ステップS102)。図3は、画像及び顔検出結果の一例を示している。この例では、画像から3つの顔が検出されているので、ステップS103が実行される。   First, the face detection unit 12 reads an image of a frame to be processed from the moving image storage unit 10 (step S100). Then, the face detection unit 12 detects a face from the image (step S101). If a face is detected, the process proceeds to step S103, and if no face is detected, the process proceeds to step S109 (step S102). FIG. 3 shows an example of an image and a face detection result. In this example, since three faces are detected from the image, step S103 is executed.
ステップS103では、顔同定機能130が1つ目の顔の同定を行う。ここで、既知の顔と同一であると判定されたら(ステップS104;YES)、その既知の顔と同一の識別番号を付与し(ステップS105)、未知の顔であると判定されたら(ステップS104;NO)、新しい識別番号を付与する(ステップS106)。   In step S103, the face identification function 130 identifies the first face. If it is determined that the face is the same as the known face (step S104; YES), the same identification number as the known face is assigned (step S105), and if it is determined that the face is unknown (step S104). NO), a new identification number is assigned (step S106).
続いて、顔分類機能131が顔画像から特徴量の抽出及び顔の分類を行う(ステップS107)。   Subsequently, the face classification function 131 performs feature amount extraction and face classification from the face image (step S107).
未処理の顔がある場合は(ステップS108;YES)、次の顔に対してステップS103〜S107の処理を繰り返す。画像から検出された顔全てについて顔同定及び顔分類を行ったら、ステップS109に処理を進める(ステップS108;NO)。   If there is an unprocessed face (step S108; YES), the processes of steps S103 to S107 are repeated for the next face. When face identification and face classification have been performed on all faces detected from the image, the process proceeds to step S109 (step S108; NO).
ステップS109では、ステップS101〜S108で取得された顔情報が当該画像の
フレーム位置とともに顔情報記憶部14に記録される。図4は、図3の画像に関する記録情報の一例を示している。記録情報には、フレーム位置(フレーム番号)、検出された顔の数、各顔の識別番号、各顔に関する特徴量の値及びクラスが含まれている。
In step S109, the face information acquired in steps S101 to S108 is recorded in the face information storage unit 14 together with the frame position of the image. FIG. 4 shows an example of recording information relating to the image of FIG. The recorded information includes the frame position (frame number), the number of detected faces, the identification number of each face, the value of the feature value related to each face, and the class.
次の処理対象フレームがある場合は(ステップS110;YES)、そのフレームに対してステップS100〜S109の処理を繰り返す。なお、動画を構成する全てのフレームを処理対象に選んでもよいが、処理の高速化を図るため、Nフレーム(Nは1より大きい整数)に1つの割合で処理対象フレームを選択してもよい。全ての処理対象フレームについて顔情報の取得を終えたら、処理を終了する(ステップS110;NO)。   If there is a next processing target frame (step S110; YES), the processing of steps S100 to S109 is repeated for that frame. Although all the frames constituting the moving image may be selected as the processing target, the processing target frame may be selected at a ratio of one to N frames (N is an integer greater than 1) in order to speed up the processing. . When the face information has been acquired for all the processing target frames, the process ends (step S110; NO).
上記顔情報取得処理が完了し、顔情報記憶部14に顔情報が記録された後は、グラフ(インジケータ)の表示及びそれを利用したシーン検索が可能となる。顔情報は動画と対応付けて管理されており、一旦作成された後はグラフ表示のたびに読み込まれ利用される。よって2回目以降はグラフの表示に要する時間を大幅に短縮できる。なお、ここではユーザによる指示を受けて顔情報取得処理を開始する例を挙げたが、動画再生中にバックグラウンドで顔情報取得処理を実行するようにしてもよい。   After the face information acquisition process is completed and the face information is recorded in the face information storage unit 14, a graph (indicator) can be displayed and a scene search using the graph can be performed. Face information is managed in association with a moving image, and once created, it is read and used every time a graph is displayed. Therefore, the time required for displaying the graph after the second time can be greatly reduced. In this example, the face information acquisition process is started in response to an instruction from the user. However, the face information acquisition process may be executed in the background during video reproduction.
<表示例>
グラフの表示態様(グラフの形式、グラフに表示する顔情報の種類など)はユーザが自由に設定できる。ユーザによる設定内容は記録され、次回のグラフ表示のときにもその設定内容に従ってグラフが表示される。以下、代表的な表示態様を例示する。
<Display example>
The display mode of the graph (graph format, type of face information displayed on the graph, etc.) can be freely set by the user. The setting contents by the user are recorded, and the graph is displayed according to the setting contents at the next graph display. Hereinafter, typical display modes will be exemplified.
図5は、顔の数の推移を折れ線グラフで示す表示例である。動画を再生表示する動画表示画面20の下にグラフ表示画面21が配置されている。グラフの横軸はフレーム位置を表しており、縦軸は各フレーム位置における顔の数を表している。またグラフ上には、再生中のフレーム位置を示すマーク22が表示されている。   FIG. 5 is a display example showing the transition of the number of faces as a line graph. A graph display screen 21 is arranged below the moving image display screen 20 for reproducing and displaying a moving image. The horizontal axis of the graph represents the frame position, and the vertical axis represents the number of faces at each frame position. On the graph, a mark 22 indicating the frame position being reproduced is displayed.
ユーザは、入力部11を用いて、グラフ表示画面21上の任意の位置をクリックするか、スライダー23を移動させることで、フレーム位置を指定可能である。フレーム位置の指定があると、表示部16がその指定された位置にマーク22を移動させるとともに、動画表示画面20に指定されたフレーム位置に対応する画像を表示する。   The user can specify the frame position by clicking an arbitrary position on the graph display screen 21 or moving the slider 23 using the input unit 11. When the frame position is designated, the display unit 16 moves the mark 22 to the designated position and displays an image corresponding to the designated frame position on the moving image display screen 20.
このグラフを見ることによって、ユーザは各フレーム位置における顔の数、及び、動画全体を通しての顔の数の推移を一目で把握することができる。よって、この情報を手がかりとして、所望のシーンのフレーム位置の当たりをつけることができる。そして当たりをつけたフレーム位置の画像を直ちに確認できるので、所望のシーンを簡単かつ迅速に発見することができる。例えば、「家族5人全員が写っているシーン」を見つけたいのであれば、顔の数が「5」のフレームを順に確かめていけばよいし、「子供が1人で写っているシーン」を見つけたいのであれば、顔の数が「1」のフレームを順に確かめていけばよい。逆に、顔の数が「0」のフレームを見れば、「風景だけが写っているシーン」を検索可能である。   By viewing this graph, the user can grasp at a glance the number of faces at each frame position and the transition of the number of faces throughout the entire moving image. Therefore, the frame position of the desired scene can be determined using this information as a clue. And since the image of the frame position with which it hits can be confirmed immediately, a desired scene can be discovered easily and rapidly. For example, if you want to find a “scene where all five family members are shown,” check the frames with the number of faces “5” in order, and “scenes where one child is shown”. If you want to find it, check the frames with the number of faces “1” in order. On the other hand, if a frame with the number of faces “0” is viewed, it is possible to search for “scenes in which only the scenery is reflected”.
図6は、顔の数をクラス別に示した表示例であり、(a)は棒グラフの例、(b)は折れ線グラフの例を示している。この表示例では、男性/女性の別に顔の数を表示している。また動画表示画面20においても男性/女性の区別がつくように顔枠を表示している。なお、性別以外の分類についても同じようにクラス別表示が可能である。   FIGS. 6A and 6B are display examples showing the number of faces by class. FIG. 6A shows an example of a bar graph, and FIG. 6B shows an example of a line graph. In this display example, the number of faces is displayed separately for male / female. In addition, a face frame is displayed on the moving image display screen 20 so as to distinguish between male and female. Note that classifications other than sex can also be displayed by class.
図6のようなグラフを見れば、顔の全体数の推移に加え、クラス別の顔の数の推移や、顔の全体数に占めるクラスごとの割合及びその推移なども一目で把握できる。クラスに関する手がかりが増えたことで、所望のシーンの発見がさらに容易になる。例えば、「夫婦
だけで写っているシーン」を見つけたいのであれば、男性「1」かつ女性「1」のフレームを順に確かめていけばよい。
If a graph like FIG. 6 is seen, in addition to the transition of the total number of faces, the transition of the number of faces by class, the ratio of each class to the total number of faces and the transition thereof can be grasped at a glance. Increasing clues about the class makes it easier to find the desired scene. For example, if it is desired to find a “scene only in a couple”, the frames of male “1” and female “1” may be confirmed in order.
図7も、顔の数をクラス別に示した表示例である。この例では、顔の向きをクラス別に表示している。また、動画表示画面20に、顔枠でなく、クラスを表示している。   FIG. 7 is also a display example showing the number of faces by class. In this example, the face orientation is displayed by class. In addition, a class is displayed on the moving image display screen 20 instead of a face frame.
図8は、顔情報を人別に示した表示例である。この例では、識別番号A002が付された人の顔の大きさ及び顔の向きがそれぞれ折れ線グラフで表示されている。なお、図8では2種類の顔情報を表示しているが、1種類の顔情報あるいは2種類より多い顔情報を表示してもよい。   FIG. 8 is a display example showing face information for each person. In this example, the face size and face direction of the person assigned identification number A002 are each displayed as a line graph. In FIG. 8, two types of face information are displayed, but one type of face information or more than two types of face information may be displayed.
このようなグラフを見れば、動画全体を通しての各人の顔情報の推移を一目で把握できる。特に、顔の大きさ、顔の向き、ピント、目の開き度合い、視線の向き、表情、顔の位置などの顔情報は、「写りの良さ」に関係がある。よって、これらの情報をグラフ表示することで、写りの良いシーンを探すことが容易になる。しかも、図8のように複数種類の顔情報を同時にグラフ表示することで、複数の顔情報を組み合わせた複合検索が可能となる。図8の例では、顔が正面を向き、かつ、大きく写っているシーンが動画の後半に多いことがわかる。   Looking at such a graph, it is possible to grasp at a glance the transition of each person's face information throughout the entire video. In particular, face information such as face size, face orientation, focus, eye opening degree, line of sight, facial expression, face position, etc. is related to “goodness of image”. Therefore, by displaying these pieces of information in a graph, it becomes easy to search for a scene with good reflection. In addition, by simultaneously displaying a plurality of types of face information in a graph as shown in FIG. 8, it is possible to perform a combined search combining a plurality of face information. In the example of FIG. 8, it can be seen that there are many scenes in the second half of the moving image in which the face is facing the front and is greatly reflected.
図9も、顔情報を人別に示した表示例である。この例では、識別番号A001とA002それぞれの顔の大きさが折れ線グラフで表示されている。なお、2人より多い人数のグラフを同時に表示してもよい。また図8のように複数種類の顔情報を表示することも好ましい。   FIG. 9 is also a display example in which face information is shown for each person. In this example, the face sizes of the identification numbers A001 and A002 are displayed in a line graph. A graph of more than two people may be displayed at the same time. It is also preferable to display a plurality of types of face information as shown in FIG.
このようなグラフを見れば、複数の人の顔の状態の推移を比較したり、全員の顔の状態が良好になったところを見つけたり、といったことが可能となる。   By looking at such a graph, it is possible to compare the transition of the face states of a plurality of people or find a place where the face states of all of the people have improved.
なお、上記表示例はあくまで一例であり、グラフの形式や画面レイアウトなどは適宜変形可能である。例えば、縦軸をフレーム位置にして、横軸を顔情報にしてもよい。棒グラフと折れ線グラフ以外のグラフを用いてもよい。グラフ表示画面を動画表示画面の上や横に配置したり、両画面を別ウィンドウで表示したりしてもよい。   The above display example is merely an example, and the format of the graph and the screen layout can be modified as appropriate. For example, the vertical axis may be the frame position and the horizontal axis may be the face information. You may use graphs other than a bar graph and a line graph. The graph display screen may be arranged on or next to the moving image display screen, or both screens may be displayed in separate windows.
また、このグラフで表示された情報をどのようにシーン検索に役立てるかはユーザの工夫次第であり、上述した例に限るものではない。   Also, how to use the information displayed in this graph for scene search depends on the user's ingenuity, and is not limited to the above-described example.
また、上記実施形態では、顔情報として、顔の数、顔の位置、顔の大きさ、ピント、顔の向き、目の開閉、視線の向き、性別、年齢、人種、表情、ひげの有無、メガネの有無を取得している。しかし、顔情報はこれらに限らず、顔画像から取得可能な他の情報を用いてもよい。また、これら全ての顔情報を取得する必要はなく、少なくとも1種類の情報を取得すればよい。また、上記実施形態では、顔同定機能により顔の同定(人の識別)を行ったが、人別にグラフ表示を行わないのであれば、顔同定を行う必要はない。   In the above embodiment, the face information includes the number of faces, the position of the face, the face size, the focus, the face direction, the opening and closing of the eyes, the gaze direction, the gender, the age, the race, the facial expression, and the presence of a beard. , Get the presence or absence of glasses. However, the face information is not limited to these, and other information that can be acquired from the face image may be used. Further, it is not necessary to acquire all the face information, and at least one type of information may be acquired. In the above embodiment, face identification (person identification) is performed by the face identification function. However, if graph display is not performed for each person, face identification need not be performed.
図1は、動画表示装置の機能構成を示すブロック図である。FIG. 1 is a block diagram illustrating a functional configuration of the moving image display apparatus. 図2は、顔情報作成処理の流れを示すフローチャートである。FIG. 2 is a flowchart showing the flow of face information creation processing. 図3は、画像及び顔検出結果の一例を示す図である。FIG. 3 is a diagram illustrating an example of an image and a face detection result. 図4は、図3の画像に関する記録情報の一例を示す図である。FIG. 4 is a diagram illustrating an example of recording information related to the image of FIG. 図5は、顔の数を折れ線グラフで示した表示例である。FIG. 5 is a display example showing the number of faces in a line graph. 図6(a)は、顔の数を男女別に棒グラフで示した表示例であり、図6(b)は、顔の数を男女別に折れ線グラフで示した表示例である。FIG. 6A is a display example in which the number of faces is indicated by a bar graph for each gender, and FIG. 6B is a display example in which the number of faces is indicated by a line graph for each gender. 図7は、顔の数を顔の向き別に折れ線グラフで示した表示例である。FIG. 7 is a display example in which the number of faces is indicated by a line graph for each face orientation. 図8は、顔の大きさ及び向きを人別に折れ線グラフで示した表示例である。FIG. 8 is a display example in which the size and orientation of the face are shown by a line graph for each person. 図9は、複数の人の顔の大きさを折れ線グラフで示した表示例である。FIG. 9 is a display example in which the sizes of the faces of a plurality of people are shown in a line graph.
符号の説明Explanation of symbols
10 動画記憶部
11 入力部
12 顔検出部
13 顔情報取得部
130 顔同定機能
131 顔分類機能
14 顔情報記憶部
15 グラフ生成部
16 表示部
20 動画表示画面
21 グラフ表示画面
22 マーク
23 スライダー
DESCRIPTION OF SYMBOLS 10 Movie storage part 11 Input part 12 Face detection part 13 Face information acquisition part 130 Face identification function 131 Face classification function 14 Face information storage part 15 Graph generation part 16 Display part 20 Movie display screen 21 Graph display screen 22 Mark 23 Slider

Claims (10)

  1. 動画から選択された複数のフレームの画像の各々から顔を検出する顔検出手段と、
    前記各画像について、前記検出された顔に関する顔情報を取得する顔情報取得手段と、
    前記顔情報取得手段によって画像から取得された顔情報を、その画像の動画中のフレーム位置とともに記憶する顔情報記憶手段と、
    前記顔情報記憶手段から前記各画像のフレーム位置及び顔情報を読み込み、前記各画像のフレーム位置と顔情報との関係を示す時系列形式のグラフを生成するグラフ生成手段と、
    前記動画を前記グラフとともに表示する表示手段と、
    を備え、
    前記顔情報が、前記各画像から検出された顔の数を含み、
    前記グラフが、前記各画像のフレーム位置に対応する顔の数を示すものである
    ことを特徴とする動画表示装置。
    Face detection means for detecting a face from each of a plurality of frames selected from a video;
    For each image, face information acquisition means for acquiring face information relating to the detected face;
    Face information storage means for storing face information acquired from an image by the face information acquisition means together with a frame position in a moving image of the image;
    A graph generation unit that reads the frame position and face information of each image from the face information storage unit, and generates a graph in a time-series format indicating the relationship between the frame position of each image and the face information;
    Display means for displaying the video together with the graph;
    With
    The face information includes the number of faces detected from each image;
    The moving image display device , wherein the graph indicates the number of faces corresponding to the frame position of each image .
  2. 前記顔情報取得手段が、前記検出された顔をその顔画像に基づいて所定のクラスのいずれかに分類する顔分類手段を有し、
    前記顔情報が、前記検出された顔が分類されたクラスを含み、
    前記グラフが、前記顔の数をクラス別に示すものである
    請求項記載の動画表示装置。
    The face information acquisition means includes face classification means for classifying the detected face into one of a predetermined class based on the face image;
    The face information includes a class into which the detected face is classified;
    The graph, the moving picture display apparatus according to claim 1, wherein indicates the number of the face by class.
  3. 動画から選択された複数のフレームの画像の各々から顔を検出する顔検出手段と、
    前記各画像について、前記検出された顔に関する顔情報を取得する顔情報取得手段と、
    前記顔情報取得手段によって画像から取得された顔情報を、その画像の動画中のフレーム位置とともに記憶する顔情報記憶手段と、
    前記顔情報記憶手段から前記各画像のフレーム位置及び顔情報を読み込み、前記各画像のフレーム位置と顔情報との関係を示す時系列形式のグラフを生成するグラフ生成手段と、
    前記動画を前記グラフとともに表示する表示手段と、
    を備え、
    前記顔情報取得手段が、前記検出された顔をその顔画像に基づいて既知の顔か否か同定
    する顔同定手段を有し、
    前記顔情報記憶手段が、前記顔情報を人別に記憶し、
    前記グラフが、前記顔情報を人別に示すものである
    ことを特徴とする動画表示装置。
    Face detection means for detecting a face from each of a plurality of frames selected from a video;
    For each image, face information acquisition means for acquiring face information relating to the detected face;
    Face information storage means for storing face information acquired from an image by the face information acquisition means together with a frame position in a moving image of the image;
    A graph generation unit that reads the frame position and face information of each image from the face information storage unit, and generates a graph in a time-series format indicating the relationship between the frame position of each image and the face information;
    Display means for displaying the video together with the graph;
    With
    The face information acquisition means includes face identification means for identifying whether the detected face is a known face based on the face image;
    The face information storage means stores the face information for each person,
    The graph shows the face information by person.
    A moving image display device characterized by that.
  4. 前記顔情報が、前記検出された顔の顔画像から抽出される特徴量を含み、
    前記グラフが、人別に、前記各画像のフレーム位置と特徴量の値との関係を示すものである
    請求項記載の動画表示装置。
    The face information includes a feature amount extracted from a face image of the detected face;
    The moving image display apparatus according to claim 3 , wherein the graph shows a relationship between a frame position of each image and a feature value for each person.
  5. 前記顔情報取得手段が、前記検出された顔をその顔画像に基づいて所定のクラスのいずれかに分類する顔分類手段を有し、
    前記顔情報が、前記検出された顔が分類されたクラスを含み、
    前記グラフが、人別に、前記各画像のフレーム位置とクラスとの関係を示すものである請求項記載の動画表示装置。
    The face information acquisition means includes face classification means for classifying the detected face into one of a predetermined class based on the face image;
    The face information includes a class into which the detected face is classified;
    The moving image display apparatus according to claim 3 , wherein the graph shows a relationship between a frame position of each image and a class for each person.
  6. 複数の人のグラフが同時に表示される請求項3〜5のいずれかに記載の動画表示装置。 The moving image display device according to claim 3, wherein a plurality of people's graphs are displayed simultaneously.
  7. 複数の顔情報のグラフが同時に表示される請求項3〜6のいずれかに記載の動画表示装置。 The moving image display device according to claim 3, wherein a plurality of face information graphs are displayed simultaneously.
  8. 前記表示手段が、
    ユーザによりフレーム位置が指定された場合に、前記動画の中から前記指定されたフレーム位置に対応する画像を表示する
    請求項1〜のいずれかに記載の動画表示装置。
    The display means is
    If the frame position is specified by the user, the moving picture display apparatus according to any one of claims 1 to 7 for displaying an image corresponding to the designated frame position from among the video.
  9. 記憶装置及び表示装置を備えるコンピュータが、
    動画から選択された複数のフレームの画像の各々から顔を検出し、
    前記各画像について、前記検出された顔に関する顔情報であって、前記検出された顔の数を含む顔情報を取得し、
    画像から取得された顔情報を、その画像の動画中のフレーム位置とともに前記記憶装置に記録し、
    前記記憶装置から前記各画像のフレーム位置及び顔情報を読み込み、前記各画像のフレーム位置に対応する顔の数を示す時系列形式のグラフを生成し、
    前記動画を前記グラフとともに前記表示装置に表示する
    動画表示方法。
    A computer comprising a storage device and a display device,
    Detect a face from each of multiple frame images selected from the video,
    For each image, it is face information about the detected face, and includes face information including the number of detected faces ,
    The face information acquired from the image is recorded in the storage device together with the frame position in the moving image of the image,
    Read the frame position and face information of each image from the storage device, and generate a time-series format graph indicating the number of faces corresponding to the frame position of each image ,
    A moving image display method for displaying the moving image together with the graph on the display device.
  10. 記憶装置及び表示装置を備えるコンピュータに、
    動画から選択された複数のフレームの画像の各々から顔を検出する処理と、
    前記各画像について、前記検出された顔に関する顔情報であって、前記検出された顔の数を含む顔情報を取得する処理と、
    画像から取得された顔情報を、その画像の動画中のフレーム位置とともに前記記憶装置に記録する処理と、
    前記記憶装置から前記各画像のフレーム位置及び顔情報を読み込み、前記各画像のフレーム位置に対応する顔の数を示す時系列形式のグラフを生成する処理と、
    前記動画を前記グラフとともに前記表示装置に表示する処理と、
    を実行させるプログラム。
    In a computer provided with a storage device and a display device,
    Processing to detect a face from each of a plurality of frames selected from a video;
    For each of the images, a process of acquiring face information relating to the detected face and including the number of detected faces ;
    Processing for recording face information acquired from an image in the storage device together with a frame position in a moving image of the image;
    A process of reading the frame position and face information of each image from the storage device, and generating a time-series graph indicating the number of faces corresponding to the frame position of each image ;
    Processing for displaying the moving image together with the graph on the display device;
    A program that executes
JP2006109385A 2006-04-12 2006-04-12 Movie display device Active JP4797761B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006109385A JP4797761B2 (en) 2006-04-12 2006-04-12 Movie display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006109385A JP4797761B2 (en) 2006-04-12 2006-04-12 Movie display device

Publications (2)

Publication Number Publication Date
JP2007280325A JP2007280325A (en) 2007-10-25
JP4797761B2 true JP4797761B2 (en) 2011-10-19

Family

ID=38681670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006109385A Active JP4797761B2 (en) 2006-04-12 2006-04-12 Movie display device

Country Status (1)

Country Link
JP (1) JP4797761B2 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008017042A (en) 2006-07-04 2008-01-24 Sony Corp Information processing apparatus and method, and program
JP5057918B2 (en) 2007-09-28 2012-10-24 株式会社東芝 Electronic device and scene type display method
JP4506832B2 (en) 2007-12-28 2010-07-21 ソニー株式会社 Image processing apparatus, index generation apparatus, imaging apparatus, index generation method, and program
JP5213557B2 (en) * 2008-07-11 2013-06-19 キヤノン株式会社 Moving image processing apparatus and moving image processing method
JP2010074399A (en) * 2008-09-17 2010-04-02 Sony Corp Device for determining composition, method of determining composition, image processing unit, method of processing image, and program
JP4620150B2 (en) * 2008-10-23 2011-01-26 株式会社東芝 Electronic device and video processing method
JP4496264B2 (en) 2008-10-24 2010-07-07 株式会社東芝 Electronic device and video display method
JP5128454B2 (en) * 2008-12-17 2013-01-23 アイシン精機株式会社 Wrinkle detection device, wrinkle detection method and program
JP4625862B2 (en) 2008-12-24 2011-02-02 株式会社東芝 Authoring apparatus and authoring method
JP5232669B2 (en) * 2009-01-22 2013-07-10 オリンパスイメージング株式会社 camera
JP5024434B2 (en) * 2010-07-30 2012-09-12 カシオ計算機株式会社 Imaging apparatus, control program, and display control method
JP6816713B2 (en) 2015-03-19 2021-01-20 日本電気株式会社 Object detector, object detection method and program
JP6904249B2 (en) 2015-03-19 2021-07-14 日本電気株式会社 Object detector, object detection method and program
US10475221B2 (en) 2016-05-19 2019-11-12 Canon Kabushiki Kaisha Image processing device, image processing method and program for detected objects
JP6723822B2 (en) * 2016-05-19 2020-07-15 キヤノン株式会社 Image processing apparatus, image processing method and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357404A (en) * 2000-06-14 2001-12-26 Minolta Co Ltd Picture extracting device
GB2414614A (en) * 2004-05-28 2005-11-30 Sony Uk Ltd Image processing to determine most dissimilar images
JP4586446B2 (en) * 2004-07-21 2010-11-24 ソニー株式会社 Content recording / playback apparatus, content recording / playback method, and program thereof
JP4973188B2 (en) * 2004-09-01 2012-07-11 日本電気株式会社 Video classification device, video classification program, video search device, and video search program
JP4618166B2 (en) * 2006-03-07 2011-01-26 ソニー株式会社 Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP2007280325A (en) 2007-10-25

Similar Documents

Publication Publication Date Title
JP4797761B2 (en) Movie display device
JP4765732B2 (en) Movie editing device
JP4168940B2 (en) Video display system
Dhall et al. Automatic group happiness intensity analysis
Dhall et al. The more the merrier: Analysing the affect of a group of people in images
Yao et al. Oscar: On-site composition and aesthetics feedback through exemplars for photographers
Doughty et al. Who's better? who's best? pairwise deep ranking for skill determination
JP5649425B2 (en) Video search device
JP5510167B2 (en) Video search system and computer program therefor
US8345118B2 (en) Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium
US8792685B2 (en) Presenting image subsets based on occurrences of persons satisfying predetermined conditions
JP4725377B2 (en) Face image registration device, face image registration method, face image registration program, and recording medium
JP4924742B2 (en) Image processing apparatus and method, and program
US20120294496A1 (en) Face recognition apparatus, control method thereof, and face recognition method
US20150339516A1 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
JP4881034B2 (en) Electronic album editing system, electronic album editing method, and electronic album editing program
JP2010072723A (en) Tracking device and tracking method
WO2015045233A1 (en) Information processing system
EP3324307B1 (en) Retrieval device, retrieval method, and computer-readable medium
JP2006318375A (en) Face image retrieval apparatus and face image retrieval method
US9373021B2 (en) Method, apparatus and system for outputting a group of images
KR101571888B1 (en) Device and method for extracting video using realization of facial expression
Carrato et al. Computer vision for the blind: a dataset for experiments on face detection and recognition
Ban et al. Gender Classification of Low‐Resolution Facial Image Based on Pixel Classifier Boosting
JP2016200969A (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110302

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110530

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110718

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4797761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150