JP5268671B2 - Image recording device - Google Patents
Image recording device Download PDFInfo
- Publication number
- JP5268671B2 JP5268671B2 JP2009010384A JP2009010384A JP5268671B2 JP 5268671 B2 JP5268671 B2 JP 5268671B2 JP 2009010384 A JP2009010384 A JP 2009010384A JP 2009010384 A JP2009010384 A JP 2009010384A JP 5268671 B2 JP5268671 B2 JP 5268671B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- person
- detected
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、動画から静止画を切り出して記録する画像記録装置に関する。 The present invention relates to an image recording apparatus that cuts out and records a still image from a moving image.
近年、デジタルビデオカメラ又はデジタルスチルカメラ等の電子撮像装置には、被写体像の中から人物（の顔）を検出する機能が実装されたものが商品化されている。 In recent years, electronic imaging devices such as a digital video camera or a digital still camera have been commercialized in which a function for detecting a person (face) from a subject image is mounted.
静止画撮影の場合、被写体から顔を検出し、顔領域に対してフォーカスと露出を自動調整することで、被写体たる人物に対して適切な焦点および露出の画像を得ることができる。顔検出技術は、例えば、特許文献１に記載されている。
In the case of still image shooting, by detecting a face from a subject and automatically adjusting the focus and exposure for the face area, an image with an appropriate focus and exposure can be obtained for the person who is the subject. The face detection technique is described in
また、動画撮影では、被写体人物が横や後ろを向いた場合に周辺位置から顔位置を推測する技術が提案されている（特許文献２）。この技術によれば、写体人物が横や後ろを向いた場合にもフォーカス／露出の調整対象を固定でき、その結果、１クリップ内でフォーカス及び露出が急激な変化を起こさないようにすることができる。
近年の撮像素子の高画素化の流れから、動画記録される画像の解像度が上がり、動画の一部を静止画として切り出す場合でも、利用に耐える静止画を得られるようになってきている。 With the recent trend of increasing the number of pixels in an image sensor, the resolution of an image recorded as a moving image has increased, and even when a part of a moving image is cut out as a still image, a still image that can withstand use can be obtained.
そのような中で、複数の人物が写っている動画から特定人物の良い表情を静止画として切り出す場合に、他の人物が正面を向いていない事がある。そのような静止画では、後日その静止画を閲覧した場合に、顔が映っていない人物が誰であったか分からないという問題があった。 Under such circumstances, when a good facial expression of a specific person is cut out as a still image from a moving image including a plurality of persons, other persons may not face the front. In such a still image, there is a problem that when the still image is viewed at a later date, it is not possible to know who the person whose face is not reflected.
このような問題は、記録済みの映像から人物の映っているフレームを静止画として記録する場合にも同様に生じうる。 Such a problem can also occur when a frame in which a person is shown is recorded as a still image from a recorded video.
本発明は、このような不都合を解消する画像記録装置を提示することを目的とする。 It is an object of the present invention to provide an image recording apparatus that eliminates such inconveniences.
本発明に係る画像記録装置は、一連のフレーム画像中の人物の顔を検出するとともに、前記人物の顔の識別情報を保持手段に保持させる検出手段と、前記検出手段により検出されていた人物の顔が検出されなくなったことに応じて、一連のフレーム画像中の前記検出されなくなった人物の顔に対応する顔領域を追跡するとともに、前記追跡結果に基づいて、前記保持手段に保持された前記検出されなくなった人物の顔に対応する識別情報を更新する追跡手段と、前記一連のフレーム画像中の指定されたフレーム画像から静止画を生成し、前記保持手段に保持された前記識別情報を前記静止画に関連付けて記録媒体に記録する記録手段とを具備することを特徴とする。 An image recording apparatus according to the present invention detects a person's face in a series of frame images , holds a person's face identification information in a holding means, and a person's face detected by the detecting means. In response to the fact that a face is no longer detected, the face area corresponding to the face of the person that is no longer detected is tracked in a series of frame images, and based on the tracking result, the holding means holds the A tracking unit that updates identification information corresponding to the face of a person that is no longer detected, a still image is generated from a specified frame image in the series of frame images, and the identification information held in the holding unit is And recording means for recording on a recording medium in association with a still image .
本発明では、記録すべき静止画上で顔が不明な場合に、動画中に撮影されている人物の顔を特定する顔特定情報を関連付けるので、正面を向いていない人物の顔を事後的に確認できるようになる。 In the present invention, when the face is unknown on the still image to be recorded, the face specifying information for specifying the face of the person photographed in the video is related, so that the face of the person who is not facing the front It becomes possible to confirm.
以下、図面を参照して、本発明の実施例を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明に係る画像記録装置の一実施例の概略構成ブロック図を示す。図２は、本実施例を組み込んだビデオカメラの右側面のグリップ側から見た外観斜視図を示し、図３は、左側面の液晶モニタ側から見た外観斜視図を示す。 FIG. 1 shows a schematic block diagram of an embodiment of an image recording apparatus according to the present invention. FIG. 2 shows an external perspective view seen from the grip side of the right side of the video camera incorporating this embodiment, and FIG. 3 shows an external perspective view seen from the liquid crystal monitor side of the left side.
本体１１０の右側面の前側にズームスイッチ１１２が配置される。撮影者は、ズームスイッチ１１２をＷ側に移動させることでワイド撮影を指示し、Ｔ側に移動させることでテレ撮影を本体１１０に指示する。前面にレンズユニット１１４があり、絞りを内蔵し、フォーカス調整機能及びズーム機能を具備する。本体１１０の右側面のリストストラップ１１６と本体１１０との間に手を入れることで、撮影者は、本体１１０を安定に保持できる。本体１１０の左側面には、周知のヒンジ機構により液晶モニタ１１８が本体１１０に対して回動自在に取り付けられている。
A
本体１１０の背面にはビューファインダ１２０が配置される。ビューファインダ１２０は、小型液晶表示装置（ＬＣＤ）と拡大用レンズを内蔵しており、撮影者が目を近づけることによって撮影視野の構図を確認できる。
A
本体１１０の背面には更に、動作モードを切り換える操作スイッチを構成するモードダイアル１２２が配置される。図２及び図３において、右方向に突出した柄の部分を回転させる事により種々の動作モードを選択できる。モードダイアル１２２では、電源オフ以外に、ＶＴＲ、ＣＡＭＥＲＡ（カメラ）、ＰＨＯＴＯ（写真）又はＰＲＯＧＲＥＳＳＩＶ ＳＣＡＮ（プログレッシブスキャン）の動作モードを選択できる。
A
ＰＨＯＴＯモードは、スチル映像（静止画）を記録するモードである。本実施例で採用する撮像素子は、隣接する２ラインを同時に読み出す通常モードと、１ラインずつ読み出すプログレッシブスキャンモードを選択できる。後者は，通常モードの場合の２倍の水平走査線を有することになり、いわば、通常モードに対する高解像度モードと言える。モードダイアル１２２のＰＲＯＧＲＥＳＳＩＶ ＳＣＡＮは、撮像素子の後者のモードでの動作を指示する。プログレッシブスキャンモードは、動画の１フレーム画を高画質の静止画として切り出すときに使用される。
The PHOTO mode is a mode for recording a still image (still image). The image sensor employed in the present embodiment can select a normal mode in which two adjacent lines are read simultaneously and a progressive scan mode in which the lines are read one by one. The latter has twice as many horizontal scanning lines as in the normal mode, which can be said to be a high resolution mode with respect to the normal mode. The PROGRESSIV SCAN of the
本体１１０の背面のポジションロックツマミ１２４は、モードダイアル１２２をロックする。これにより、電源オフを含み、動作モードが不用意に変更されないようにする。アンロックツマミ（アンロック部材）１２６により、モードダイアル１２２のロックを解除できる。スタート／ストップボタン１２８により動画記録の開始と停止を指示する。
A
十字ボタン１３０、決定ボタン１３２及びキャンセルボタン１３４は、メニュー画面等で撮影条件又は動作条件を指定するのに使用される。
The
本体１１０の上面に設置される発光ダイオード（ＬＥＤ）１３６は、その発光／点滅及び色により、本体１１０の動作及び内部処理を撮影者に視覚的に通知する。
A light emitting diode (LED) 136 installed on the upper surface of the
図１を参照して、本実施例の機能要素とその動作を説明する。なお、本実施例の特徴的な動作に直接関係しない他の機能、例えば絞り、シャッタ及び測距システムに関わる機能ブロックは、図１には省略されている。 With reference to FIG. 1, the functional elements of this embodiment and their operations will be described. It should be noted that other functions not directly related to the characteristic operation of the present embodiment, for example, function blocks related to the aperture, shutter, and distance measuring system are omitted in FIG.
本実施例の撮像装置１０では、撮影レンズ１２が、被写体の光学像を撮像素子１４に入射し、撮像素子１４は、被写体光学像に対応する画像信号を所定レートでカメラ信号処理装置１６に出力する。カメラ信号処理装置１６は、撮像素子１４からの画像信号を一定の標準形式の映像信号に変換し、併せて，ガンマ変換及び色調整等の、ビデオカメラで周知のカメラ信号処理を施す。カメラ信号処理装置１６が、一連のフレーム画像からなる動画をフレームメモリ１８に供給する。撮像素子１４及びカメラ信号処理装置１６が、特許請求の範囲の動画入力手段に相当する。
In the
フレームメモリ１８は、カメラ信号処理装置１６からの映像信号をフレーム画像単位で表示用、顔検出用及び記録用に記憶する。顔検出に要する時間によっては、フレームメモリ１８は、複数フレームの画像データを記憶可能である。
The
フレームメモリ１８に新たなフレーム画像が格納されると、顔検出装置２０が、そのフレーム画像から人物の顔を検出する。顔検出方法には、公知の種々の顔検出技術を使用しうる。例えば、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法と、ニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などが知られている。認識率向上のためにこれらを組み合わせて顔認識を行なうのが、一般的である。具体的には、特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法が、使用可能である。
When a new frame image is stored in the
顔検出装置２０は、フレーム画像に含まれる各人についての顔の位置、大きさ及び傾き等を顔領域情報として検出する。顔検出装置２０は、検出した各顔を識別する顔情報識別値を管理しており、前のフレームで検出された顔情報の近辺で検出された顔情報を同一の顔情報識別値で管理する。すなわち、同一人物として識別する。また、顔検出装置２０は、初めて検出された顔情報には新たな顔情報識別値を割り振る。直前のフレームで検出できていた顔の領域情報近辺で顔が検出できなかった場合は、顔が見えない方向を向いたと判断し、顔領域追跡装置２２に顔情報識別値、位置情報及び領域情報を通知する。また、顔検出装置２０は、検出した顔領域の画像を、位置情報及び領域情報と共に顔画像保持装置２４に登録する。
The
顔領域追跡装置２２は、フレームメモリ１８のフレーム画像を参照し、パターンマッチング等の既存の追跡技術を使用して、顔領域を追跡する。顔領域追跡装置２２は、追跡で検出される顔の位置情報と領域情報を、顔情報識別値と共にフレームごとに顔画像保持装置２４に通知する。顔領域追跡装置２２はまた、顔を追跡中の人物の顔相当部分を示す領域（追跡対象領域）を示す情報を対象領域特定情報として顔領域・画像特定装置２６に供給する。
The face
顔画像保持装置２４は、顔情報識別値で識別される人物について、顔領域追跡装置２２からの追跡領域情報に従い、管理している座標情報と領域情報を更新する。顔画像保持装置２４は、顔情報識別値と関連付けて、顔領域の画像、並びに、顔の位置情報及び領域情報を保持する。図４は、顔画像保持装置２４が保持する顔情報の構造例を示す。顔情報は、顔情報識別値２４−１、検出／追跡フラグ２４−２、顔領域ｘ座標２４−３、顔領域ｙ座標２４−４、顔領域幅２４−５、顔領域高さ２４−６、及び顔画像データ２４−７から構成される。検出／追跡フラグは、’０’が検出を意味し、’１’が追跡を意味する。また、顔画像データ２４−７は、非圧縮の顔画像データからなる。
The face
表示画像生成装置２８は、フレームメモリ１８に記憶される画像データを表示用にリサイズする。表示画像生成装置２８には、顔検出装置２０からの顔の位置と領域の情報、及び顔領域追跡装置２２から追跡中の顔の位置と領域の情報が供給されている。表示画像生成装置２８は、これらの顔の位置及び領域に従う位置で、検出した顔及び追跡中の顔を示す枠画像をリサイズ後のフレーム画像に重畳し、表示装置３０に印加する。表示装置３０は、図３に示す液晶モニタ１１８に相当する。表示装置３０の画面には、記録ポーズ中及び記録中に、撮影視野内の被写体像が表示される。これにより、撮影対象の構図及び記録中の被写体を視覚的に確認できる。また、顔検出された人物の顔部分及び顔追跡中の人物の顔相当部分には、顔部分を示す枠画像も同時に表示される。これにより、被写体となった人物の顔検出結果と追跡中の人物の顔相当部分を視覚的に確認できる。
The display
顔領域・画像特定装置２６は、動画から静止画切り出しを行なう際に、顔画像保持装置２４から検出／追跡フラグが立っている顔情報の座標・領域情報及び顔画像データを取得する。
The face area /
動画符号化装置３２は、動画記録時には、フレームメモリ１８からのフレーム画像を順次、ＭＰＥＧ２等の動画圧縮符号化方式で圧縮符号化する。他方、詳細は後述するが、静止画符号化装置３４は、静止画の切り出し記録モードでは、顔領域・画像特定装置２６から指示されるタイミングのフレーム画像をフレームメモリ１８から読み込んでＪＰＥＧ方式で圧縮符号化する。圧縮符号化で得られるＪＰＥＧデータに、この静止画に含まれる人物を示す顔画像データ及び画像上での座標と領域を示すデータを付加する。
At the time of moving image recording, the moving
記録媒体インターフェース３６は、動画符号化装置３２からの圧縮動画データ（ＭＰＥＧデータ）及び静止画符号化装置３４からの圧縮静止画データ（ＪＰＥＧデータ）を記録媒体３８に記録する。顔が隠れてしまっているような人物が撮影されている場合、顔領域・画像特定装置２６からの顔画像データ及び画像上での座標と領域を示すデータをＭＰＥＧデータに埋め込むか、又は付加して、記録媒体３８に記録しても良い。
The
記録媒体３８は、例えば、ハードディスク、記録可能光ディスク又は半導体メモリ等のランダムアクセス媒体からなる。
The
システム制御装置４０が、ユーザ又は撮影者による操作装置４２による操作又は設定、及び動作状態に応じて、以上の各部を制御する。
The
図５は、撮影映像のフレーム画像例を示す。フレーム画像５０−１〜５０−５の順に時間が経過しているとする。二人の人物Ａ，Ｂが撮影視野内に入っており、人物Ｂが時間の経過とともに、正面から後ろ向きに向きを変更している。 FIG. 5 shows an example of a frame image of a captured video. It is assumed that time has passed in the order of the frame images 50-1 to 50-5. Two persons A and B are in the field of view, and the person B changes its direction from the front to the back as time passes.
図６は、顔検出と顔追跡の動作フローチャートを示す。図５及び図６を参照して、本実施例の顔検出と顔追跡の動作を説明する。 FIG. 6 shows an operation flowchart of face detection and face tracking. With reference to FIG. 5 and FIG. 6, the operations of face detection and face tracking of this embodiment will be described.
カメラ信号処理装置１６によりフレーム画像５０−１がフレームメモリ１８に書込まれると、システム制御装置４０は図６に示すフローの開始を関係するブロックに指示する。すなわち、顔検出装置２０が、フレームメモリ１８のフレーム画像５０−１に対して顔検出処理を実行する。その結果、人物の顔が１つ以上含まれている場合（Ｓ１）、顔検出装置２０は、直前フレームの顔検出結果を確認する（Ｓ２）。フレーム画像５０−１の例では、二人の人物Ａ，Ｂの顔が検出されるので、ステップＳ２に進む。
When the frame image 50-1 is written into the
ステップＳ２では、直前のフレームの顔検出結果と今回の顔検出結果を照合し、今回、検出された顔の近傍領域に直前のフレームでも顔が検出されているかどうかを確認する。直前のフレームでも近傍領域に顔が検出されていない場合、初めて検出する顔として新たな顔情報識別値（顔ＩＤ）を割り当てる（Ｓ３）。そして、顔画像保持装置２４に対し、顔情報識別値と顔画像データを登録要求する（Ｓ４）。他方、直前のフレームでも近傍領域に顔が検出されている場合には、顔画像保持装置２４に対し、同一の顔情報識別値で管理されている顔情報を、ステップＳ１で検出された顔画像データと顔領域で更新するように要求する（Ｓ４）。
In step S2, the face detection result of the previous frame and the current face detection result are collated, and it is confirmed whether or not a face has been detected in the immediately previous frame in the vicinity region of the face detected this time. If no face is detected in the neighboring area even in the immediately preceding frame, a new face information identification value (face ID) is assigned as the face to be detected for the first time (S3). Then, the face
図５に示す例では、フレーム画像５０−１は先頭フレームであり、直前のフレームが存在しないことから、人物Ａ，Ｂの顔画像に対して互いに異なる顔情報識別値、例えば，’１’と’２’が割り当てられる。そして、顔画像保持装置２４は、フレーム画像５０−１から得られる人物Ａ，Ｂの顔画像データと座標／領域情報を、顔情報識別値の下で保持する。検出／追跡フラグ２４−２は、人物Ａ，Ｂの何れに対しても、’０’（検出）がセットされる。
In the example shown in FIG. 5, since the frame image 50-1 is the first frame and there is no previous frame, different face information identification values for the face images of the persons A and B, for example, “1” '2' is assigned. The face
ここまでで、検出された顔情報に対する顔情報の更新が完了する。続いて、新規な追跡対象かどうかを判定する。すなわち、直前のフレーム上で顔検出された近傍で今回のフレームでも顔を検出されたかどうかを確認する（Ｓ５）。今回のフレームで顔が検出されていない場合、たまたま顔検出に失敗しているか、その人物は横を向いた可能性が高いので、追跡対象とする。撮像装置とその人物との間にたまたま遮蔽物（移動する車等）が入った可能性もある。顔検出装置２０は、このような追跡対象とすべき全ての顔についてその顔識別情報を、顔追跡対象として顔領域追跡装置２２に通知する。顔領域追跡装置２２は、顔検出装置２０から通知された顔情報識別値で特定される顔を顔追跡対象として登録する（Ｓ６）。この登録により、顔領域追跡装置２２は、所定の追跡アルゴリズムで、顔検出処理とは独立に、フレームメモリ１８のフレーム画像を参照して顔領域を追跡する（Ｓ７）。そして、顔領域追跡装置２２は、追跡結果を顔画像保持装置２４に通知する（Ｓ８）。
Thus far, the update of the face information for the detected face information is completed. Subsequently, it is determined whether or not it is a new tracking target. That is, it is confirmed whether or not a face is detected in the current frame near the face detected in the immediately preceding frame (S5). If no face is detected in the current frame, it is likely that the face detection has failed or that person is likely to face sideways, and is therefore subject to tracking. There is also a possibility that an obstacle (such as a moving car) has happened between the imaging device and the person. The
フレーム画像５０−１は先頭フレームなので、顔領域追跡対象として未登録であり、顔追跡処理（Ｓ７）は、実質的には実行されない。 Since the frame image 50-1 is the first frame, it is not registered as a face area tracking target, and the face tracking process (S7) is not substantially executed.
フレーム画像５０−２に対する顔検出と追跡処理は、以下のようになる。すなわち、フレームメモリ１８にフレーム画像５０−２が書き込まれると、顔検出装置２０がフレーム画像５０−２に対して顔検出処理を実行する（Ｓ１）。フレーム画像５０−２では、人物Ａの顔は検出されるは、人物Ｂは横向きであり、その顔は検出されない。人物Ａの顔が検出されたので、ステップＳ２に進む。
The face detection and tracking process for the frame image 50-2 is as follows. That is, when the frame image 50-2 is written in the
ステップＳ２では、フレーム画像５０−２で検出された顔（人物Ａ）に対し、直前のフレーム画像５０−１でも近傍に顔が検出されている。従って、新たな顔情報識別値が割り当てられることはない。フレーム画像５０−２で検出された人物Ａ（顔情報識別値＝１）に対し、顔画像保持装置２４に顔画像と座標／領域の更新を要求する（Ｓ４）。
In step S2, a face is detected near the face (person A) detected in the frame image 50-2 in the immediately preceding frame image 50-1. Therefore, a new face information identification value is not assigned. For the person A (face information identification value = 1) detected in the frame image 50-2, the face
フレーム画像５０−２では、フレーム画像５０−１で顔検出された人物Ｂの顔の近傍で顔が検出されないので（Ｓ５）、顔情報識別値＝２で特定される顔が顔追跡対象となる（Ｓ６）。顔領域追跡装置２２は、顔情報識別値＝２に対して顔追跡処理を実行する（Ｓ７）。具体的には、直前のフレーム画像５０−１で検出された顔領域から所定の近傍領域で、パターンマッチング処理により顔画像に類似する領域を抽出し、顔追跡領域として設定し、追跡を実行する。
In the frame image 50-2, no face is detected in the vicinity of the face of the person B whose face is detected in the frame image 50-1 (S5), so the face specified by the face information identification value = 2 is the face tracking target. (S6). The face
顔領域追跡装置２２は、顔画像保持装置２４が管理する顔情報識別値＝２の顔情報で、顔領域を特定するための情報を顔追跡領域の情報で更新する（Ｓ８）。具体的には、顔領域ｘ座標２４−３、顔領域ｙ座標２４−４、顔領域幅２４−５、顔領域高さ２４−６が追跡領域に応じて更新され、検出／追跡フラグ２４−２が、追跡を意味する’１’に更新される。このとき、顔画像データ２４−７は更新されず、最後に顔検出されたときの顔画像が保持され続ける。
The face
動画中から静止画を切り出す処理を説明する。図７はその動作フローチャートを示す。 A process for cutting out a still image from a moving image will be described. FIG. 7 shows a flowchart of the operation.
操作装置４２の静止画記録を指示する撮影者の指示に応じて（Ｓ１１）、システム制御装置４０は、静止画符号化装置３４にフレームメモリ１８のフレーム画像の符号化を指示する（Ｓ１２）。この指示に応じて、静止画符号化装置３４は、フレームメモリ１８の現在のフレーム画像をＪＰＥＧ方式で符号化する。撮影者の指示が一般に遅れがちであることを考慮すると、撮影者の指示から一定時間前のフレーム画像を静止画記録の対象としてもよい。また、複数のフレーム画像を静止画記録の対象としてもよい。
In response to a photographer's instruction to instruct still image recording on the operation device 42 (S11), the
顔領域・画像特定装置２６は、顔画像保持装置２４に問い合わせて、符号化したフレーム画像に対して顔追跡領域が設定されているかどうかを確認する（Ｓ１３）。例えば、フレーム画像５０−５が静止画記録の対象となった場合、人物Ｂに対して、先に説明した手順で顔追跡領域が設定され、顔領域追跡装置２２が、人物Ｂの顔部分を追跡している。
The face area /
フレーム画像５０−５の場合、顔画像保持装置２４には、２つの顔情報が登録されている。人物Ａの顔情報（顔情報識別値＝１）では、検出／追跡フラグ２４−２が’０’であり、人物Ｂの顔情報（顔情報識別値＝２）では、検出／追跡フラグ２４−２が’１’である。検出／追跡フラグ２４−２が’１’の場合、顔領域ｘ座標２４−３、顔領域ｙ座標２４−４、顔領域幅２４−５及び顔領域高さ２４−６で特定される顔領域が、顔追跡領域を示す。
In the case of the frame image 50-5, two pieces of face information are registered in the face
顔領域・画像特定装置２６は顔画像保持装置２４から検出／追跡フラグ２４−２が’１’である顔情報の顔領域情報で顔追跡領域を特定し（Ｓ１４）、その顔画像データを取得する（Ｓ１５）。顔追跡領域は、先に説明したように、顔領域ｘ座標２４−３、顔領域ｙ座標２４−４、顔領域幅２４−５及び顔領域高さ２４−６により規定される。
The face area /
顔領域・画像特定装置２６は取得した顔追跡領域情報と顔画像データを顔特定情報として静止画符号化装置３４に供給する。静止画符号化装置３４は、この顔特定情報情報をＪＰＥＧデータに付加して、ＪＰＥＧファイルを生成する（Ｓ１６）。記録媒体インターフェース３６は、生成されたＪＰＥＧファイルを記録媒体３８に記録する（Ｓ１７）。
The face area /
静止画記録対象のフレーム画像に顔追跡領域がない場合（Ｓ１３）、記録媒体インターフェース３６は、ステップＳ１２で生成されたＪＰＥＧデータからなるＪＥＰＧファイルを記録媒体３８に記録する（Ｓ１７）。
When there is no face tracking area in the still image recording target frame image (S13), the
図８は、ＪＰＥＧデータのフォーマットを示す。ＪＰＥＧフォーマットは、圧縮データの開始を示すＳＯＩから始まり、圧縮データの終了を示すＥＯＩで終了する。アプリケーションデータセグメントＡＰＰ０〜ＡＰＰ１５がＪＰＥＧの拡張用に準備されている。また、量子化テーブルＤＱＴ、ハフマンテーブルＤＨＴ、フレームヘッダＳＯＦ、スキャンヘッダＳＯＳ及び圧縮データは、本実施例の特徴的な動作とは関係しないので、説明を省略する。 FIG. 8 shows the format of JPEG data. The JPEG format starts with an SOI indicating the start of compressed data and ends with an EOI indicating the end of compressed data. Application data segments APP0 to APP15 are prepared for JPEG expansion. Further, the quantization table DQT, the Huffman table DHT, the frame header SOF, the scan header SOS, and the compressed data are not related to the characteristic operation of this embodiment, and thus the description thereof is omitted.
顔情報の登録には、アプリケーションデータセグメントＡＰＰ０〜ＡＰＰ１５を使用する。アプリケーションデータセグメントＡＰＰ０−ＡＰＰ２は、それぞれＪＦＩＦ、Ｅｘｉｆ拡張情報及びＦｌａｓｈＰｉｘ（商標）用に予約されている。図9は、アプリケーションデータセグメント３−１５への顔情報の登録例であり、マーカ識別子（０ｘＦＦ）とアプリケーションマーカ（０ｘＥ３-Ｆ）から始まる。顔追跡領域ｘ座標６２−３、顔追跡領域ｙ座標６２−４、顔追跡領域幅６２−５、及び顔追跡領域高さ６２−６には、追跡領域特定処理Ｓ１４で取得した顔領域ｘ座標２４−３、顔領域ｙ座標２４−４、顔領域幅２４−５及び顔領域高さ２４−６がそれぞれ登録される。また、画像の幅６２−７及び画像の高さ６２−８には、顔情報取得処理（Ｓ１５）で取得した顔画像データ２４−７の幅と高さが登録される。顔画像データ２４−７を静止画符号化装置３４で符号化して得られる圧縮顔画像データを圧縮データ６２−９に登録する。このようにして、動画から切り出した静止画のアプリケーションデータセグメントに、顔を追跡している人物の顔画像を登録できる。
Application data segments APP0 to APP15 are used for registration of face information. Application data segments APP0-APP2 are reserved for JFIF, Exif extension information, and FlashPix (trademark), respectively. FIG. 9 shows an example of registration of face information in the application data segment 3-15, which starts with a marker identifier (0xFF) and an application marker (0xE3-F). The face tracking area x coordinate 62-3, the face tracking area y coordinate 62-4, the face tracking area width 62-5, and the face tracking area height 62-6 include the face area x coordinate acquired in the tracking area specifying process S14. 24-3, face area y coordinate 24-4, face area width 24-5, and face area height 24-6 are registered. The width and height of the face image data 24-7 acquired in the face information acquisition process (S15) are registered in the image width 62-7 and the image height 62-8. The compressed face image data obtained by encoding the face image data 24-7 with the still
このようにして静止画を記録することで、動画から切出した静止画中に正面を向いていない人物が写っている場合に、その人物を判別可能な顔画像を関連づけて記録することができる。これにより、後日、その静止画を再生した場合に、その正面を向いていない人物を容易に識別できる。 By recording a still image in this way, when a person who is not facing the front is captured in a still image cut out from a moving image, a face image that can identify the person can be recorded in association with each other. Thereby, when the still image is reproduced at a later date, a person who is not facing the front can be easily identified.
動画記録の説明を省略したが、上述の静止画の切り出しを動画記録中に並列に実行してもよいことは明らかである。勿論、動画記録する予定の無い撮像素子１４からの画像信号の１フレームを所望のタイミングで静止画として記録する場合にも、適用できる。
Although explanation of the moving image recording is omitted, it is obvious that the above-described clipping of the still image may be executed in parallel during the moving image recording. Of course, the present invention can also be applied to a case where one frame of an image signal from the
また、本実施例から動画符号化装置３２を除外することで、デジタルスチルカメラとして構成することができる。この場合、電源オン後またはシャッタレリーズの半押し操作後の、撮影準備中（シャッタチャンス待ち）の状態で、上述のように、撮影視野内の人物の顔を追跡し、顔画像データを保持する。シャッタレリーズの全押し操作に応じて静止画を取り込む。そして、取込まれた静止画像に顔が不明な人物が写る場合、上述の実施例と同様の処理で当該人物の顔画像データを特定して当該静止画像に付加したものを記録媒体に記録する。
Moreover, it can comprise as a digital still camera by removing the moving
上記実施例では、顔画像保持装置２４は、顔画像を見失う直前の顔画像データを保持することになる。これに対し、顔画像保持装置２４を、同一人物に対して検出される顔画像データを逐次的に比較し、最も正面に近い顔画像データを、静止画への付加用に保持するようにしてもよい。これにより、静止画に付加した顔画像は、最も正面を向いた、人物を判別しやすいものとなる。より正面に近い画像かどうかは、例えば，２つの目の間隔、顔画像の面積、又は顔画像の横幅等を指標とすることで、容易に判別できる。
In the above embodiment, the face
撮像素子１４及びカメラ信号処理装置１６の部分を他の映像ソースからの映像信号を取り込む手段に変更しても、同様の作用効果を得ることができる。図１０は、外部の映像ソースからの映像信号から静止画を切出して記録する画像記録装置の実施例の概略構成ブロック図を示す。図１と同じ作用を奏する要素には同じ符号を付してある。
Even if the parts of the
図１０に示す画像記録装置２１０では、映像取込み装置２１４が、外部の映像ソースからの映像情報を取込む。本実施例では、映像取込み装置２１４は、例えば、デジタル放送され録画された映像情報を再生する手段又はデジタル放送を受信する手段であり、ＭＰＥ２−ＴＳ形式の圧縮映像データを復号化装置２１６に出力する。復号化装置２１６は、映像取込み装置２１４からの圧縮映像データを復号化し、各フレームの画像データを順次、フレームメモリ１８に書き込んでいく。
In the
フレームメモリ１８以降の動作は、実施例１のフレームメモリ１８以降の動作と同じであるので、これ以上の説明を省略する。復号化装置２１６で復号化された映像データを記録媒体３８に記録しないので、動画符号化装置３２は省略されている。映像取込み装置２１４で取り込んだ映像信号を録画する場合には、勿論、動画符号化装置３２を設ければよい。
Since the operation after the
実施例１、２では、切出した静止画で、顔が見えない人物の顔画像データを静止画ファイルに埋め込んだ。しかし、この方法では、顔画像データを埋め込む領域の容量に制限があるので、顔が見えない人物が増えると、対応できなくなる。この問題を解決するには、顔画像データを別ファイル化してもよい。別の解決法として、通信手段を介してアクセス可能なサーバに顔画像データをアップロードしておき、そのサーバに保存された顔画像データにアクセスするための記録位置情報（パス）を静止画に埋め込むか、関連付けてもよい。 In the first and second embodiments, face image data of a person whose face is not visible in the cut out still image is embedded in the still image file. However, with this method, the capacity of the area in which the face image data is embedded is limited, so that it becomes impossible to cope with an increase in the number of persons who cannot see their faces. In order to solve this problem, the face image data may be converted into a separate file. As another solution, face image data is uploaded to a server accessible via communication means, and recording position information (path) for accessing the face image data stored in the server is embedded in the still image. Or may be associated.
図１１は、そのように図１に示す実施例を変更した構成の概略構成ブロック図を示す。図１１に示す撮像装置１０ａには、通信装置４４が追加されている。顔画像保持装置２４ａは、適宜に、保持する顔画像情報を通信装置４４を介して顔画像サーバ４６にＦＴＰ（File Transfer Protocol）等を使ってアップロードし、顔画像サーバ４６から顔情報をダウンロードする。
FIG. 11 shows a schematic block diagram of a configuration in which the embodiment shown in FIG. A
図１２は、本実施例により静止画記録動作のフローチャートを示す。ステップＳ１１〜Ｓ１４は、図７と同じである。図７のステップＳ１５の代わりに、顔画像保持装置２４ａは、顔追跡領域に関連付けられた顔情報を、通信装置４４を介して顔画像サーバ４６にアップロードし（Ｓ１５ａ）。そして、顔画像サーバ４６上でのパスを取得し、顔画像へのパスと、顔領域の情報（座標値と幅、高さ）を顔領域・画像特定装置２６ａに供給する。顔領域・画像特定装置２６ａは、顔画像データの代わりにパスを静止画符号化装置３４の所定エリアに埋め込ませる（Ｓ１６ａ）。
FIG. 12 shows a flowchart of the still image recording operation according to this embodiment. Steps S11 to S14 are the same as those in FIG. Instead of step S15 in FIG. 7, the face
このように、顔画像データの代わりに顔画像サーバ上のパスが埋め込まれたＪＰＥＧファイルが、記録媒体３８に記録される（Ｓ１７）。 In this way, the JPEG file in which the path on the face image server is embedded instead of the face image data is recorded on the recording medium 38 (S17).
本実施例では、顔画像データ（の圧縮データ）の代わりに顔画像サーバのパスを埋め込むので、正面を向いていない人物が複数人、又はより多くなっても、対応可能であり、静止画ファイルサイズの肥大化を防止できる。 In this embodiment, since the path of the face image server is embedded instead of the face image data (compressed data thereof), it is possible to cope with a plurality of people who are not facing the front or more people, and still image files Can prevent size enlargement.
１０，１０ａ：撮像装置
１２：撮影レンズ
１４：撮像素子
１６：カメラ信号処理回路
１８：フレームメモリ
２０：顔検出装置
２２：顔領域追跡装置
２４，２４ａ：顔画像保持装置
２６，２６ａ：顔領域・画像特定装置
２８：表示画像生成装置
３０：表示装置
３２：動画符号化装置
３４：静止画符号化装置
３６：記録媒体インターフェース
３８：記録媒体
４０：システム制御装置
４４：通信装置
４６：顔画像サーバ
１１０：本体
１１２：ズームスイッチ
１１４：レンズユニット
１１６：リストストラップ
１１８：液晶モニタ
１２０：ビューファインダ
１２２：モードダイアル
１２４：ポジションロックツマミ
１２６：アンロックツマミ（アンロック部材）
１２８：スタート／ストップボタン
１３０：十字ボタン
１３２：決定ボタン
１３４：キャンセルボタン
１３６：発光ダイオード（ＬＥＤ）
２１０：画像記録装置
２１４：映像取込み装置
２１６：復号化装置
２１８：フレームメモリ
DESCRIPTION OF
128: Start / Stop button 130: Cross button 132: Enter button 134: Cancel button 136: Light emitting diode (LED)
210: Image recording device 214: Video capturing device 216: Decoding device 218: Frame memory
Claims (7)
前記検出手段により検出されていた人物の顔が検出されなくなったことに応じて、一連のフレーム画像中の前記検出されなくなった人物の顔に対応する顔領域を追跡するとともに、前記追跡結果に基づいて、前記保持手段に保持された前記検出されなくなった人物の顔に対応する識別情報を更新する追跡手段と、
前記一連のフレーム画像中の指定されたフレーム画像から静止画を生成し、前記保持手段に保持された前記識別情報を前記静止画に関連付けて記録媒体に記録する記録手段
とを具備することを特徴とする画像記録装置。 Detecting means for detecting a person's face in a series of frame images , and holding information identifying the person's face in a holding means;
In response to the fact that the face of the person detected by the detection means is no longer detected, the face area corresponding to the face of the person not detected in the series of frame images is tracked, and based on the tracking result Tracking means for updating identification information corresponding to the face of the person that is no longer detected held in the holding means;
Recording means for generating a still image from a designated frame image in the series of frame images and recording the identification information held in the holding means on a recording medium in association with the still image. An image recording apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009010384A JP5268671B2 (en) | 2009-01-20 | 2009-01-20 | Image recording device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009010384A JP5268671B2 (en) | 2009-01-20 | 2009-01-20 | Image recording device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010171550A JP2010171550A (en) | 2010-08-05 |
| JP5268671B2 true JP5268671B2 (en) | 2013-08-21 |
Family
ID=42703272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009010384A Active JP5268671B2 (en) | 2009-01-20 | 2009-01-20 | Image recording device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5268671B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5965037B2 (en) * | 2015-07-23 | 2016-08-03 | オリンパス株式会社 | Photography equipment |
| JP6205464B2 (en) * | 2016-06-30 | 2017-09-27 | オリンパス株式会社 | Photography equipment |
| WO2020115890A1 (en) * | 2018-12-07 | 2020-06-11 | 日本電気株式会社 | Information processing system, information processing device, information processing method, and program |
| JP7409172B2 (en) * | 2020-03-12 | 2024-01-09 | 大日本印刷株式会社 | image generation system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4830650B2 (en) * | 2005-07-05 | 2011-12-07 | オムロン株式会社 | Tracking device |
| JP2007228453A (en) * | 2006-02-27 | 2007-09-06 | Casio Comput Co Ltd | Imaging apparatus, reproduction device, program, and storage medium |
-
2009
- 2009-01-20 JP JP2009010384A patent/JP5268671B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010171550A (en) | 2010-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5056061B2 (en) | Imaging device | |
| US8111321B2 (en) | Imaging device and method for its image processing, with face region and focus degree information | |
| KR101056103B1 (en) | Photographing apparatus, setting method of photographing conditions, and recording medium | |
| JP4574459B2 (en) | Image capturing apparatus, control method therefor, program, and storage medium | |
| JP2008523650A (en) | Wireless imaging device with biometric reader | |
| US20110007187A1 (en) | Imaging Device And Image Playback Device | |
| JP2004208318A (en) | Imaging apparatus and method for determining important area in archival image | |
| US9357194B2 (en) | Imaging apparatus for minimizing repetitive recording of moving image data of a similar scene on a recording medium | |
| JP6402934B2 (en) | MOVIE GENERATION DEVICE, MOVIE GENERATION METHOD, AND PROGRAM | |
| JP2008252711A (en) | Digital camera | |
| JP5268671B2 (en) | Image recording device | |
| JPWO2015098110A1 (en) | Imaging apparatus, imaging system, and imaging method | |
| JP2004023617A (en) | Recording device, recording and reproducing device, recordable information reporting method, computer readable program, and storage medium | |
| JP5317710B2 (en) | Image processing apparatus, control method therefor, program, and recording medium | |
| JP2013239796A (en) | Image processing device | |
| JP2010081528A (en) | Image processing apparatus, method and program | |
| US8538247B2 (en) | Image processing apparatus and image processing method | |
| JP2015064768A (en) | Imaging device, image modification device, and control method and program of imaging device and image modification device | |
| JP2007228453A (en) | Imaging apparatus, reproduction device, program, and storage medium | |
| JP2012084052A (en) | Imaging apparatus, control method and program | |
| JP5045540B2 (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, audio recording apparatus, and audio recording method | |
| JP6355333B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and program | |
| JP4154178B2 (en) | Video camera | |
| JP2004289785A (en) | Camera apparatus for generating saliency signal | |
| JP2011095980A (en) | Electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130314 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130409 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130507 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5268671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |