JP6081788B2

JP6081788B2 - 動画像処理装置及び動画像処理方法

Info

Publication number: JP6081788B2
Application number: JP2012266397A
Authority: JP
Inventors: 田中　俊幸; 俊幸田中
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2012-12-05
Filing date: 2012-12-05
Publication date: 2017-02-15
Anticipated expiration: 2032-12-05
Also published as: JP2014112787A; KR20140072785A

Description

本発明は、動画像処理装置及び動画像処理方法に関する。

従来から、動画像のダイジェスト版を作成する技術が知られている。例えば下記の特許文献１には、人間関係情報を記憶させておくことにより、ユーザが指定した人物に加えて、当該人物と関係性が深い人物が映っている画像を抽出してダイジェスト画像を作成する情報処理装置が記載されている。

また、下記の特許文献２には、特定の画像、音声の変化をイベントとして検出し、再生速度を可変にしてダイジェスト版映像を生成する技術が記載されている。また、下記の特許文献３には、デジタルカメラ等で静止画像を再生する際に、閲覧者が笑顔であるかどうかに基づいて、閲覧中の画像のお気に入り度を設定するシステムが記載されている。

特開２０１１−８２９１５号公報特開２０１０−３９８７７号公報特開２０１２−１５６７５０号公報

近時においては、デジタルスチルカメラ（Digital Still Camera）、スマートフォン（SmartPhone）等の電子機器においても、動画記録機能が装備されるようになっている。動画再生は臨場感を表現するのに適しているが、静止画と比較すると、再生による内容確認に時間を要してしまう欠点がある。また、動画再生においては、主となるシーン以外は冗長的な部分が多くなる。このため、動画を記録したとしても、動画の再生頻度は低くなる傾向がある。

このため、ダイジェスト（要約）動画を効率的に自動作成（自動編集）する機能が求められる。しかしながら、特許文献１、特許文献２に記載された技術では、人物の特徴、発する音を検出してダイジェストを作成しているため、ダイジェスト作成の適用状況が人物の特徴や音声によって粗く限定されてしまい、所望のダイジェストを作成することは困難であった。また、特許文献１，２等に記載された技術では、ダイジェストに残したいシーンに指定した人物が出現する保証はなく、また残したいシーンに音声が挿入されている保証もないため、所望のダイジェストを作成することは困難である。更に、動画中に指定した人物が常時出現するケースでは、重要なシーンを判定することができず、ダイジェストを生成するのが困難になるという問題がある。

また、特許文献３に記載された方法は、閲覧者が笑顔であるかどうかを認識するものであるが、静止画のお気に入り度を設定するための技術であり、動画のダイジェストの作成を想定したものではなかった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、操作者の意図を正確に反映させた動画のダイジェストを作成することが可能な、新規かつ改良された動画像処理装置及び動画像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、操作者を撮像する第１の動画像撮像部と、第１の動画像撮像部で撮像した第１の動画から操作者の顔の特徴を分析する分析部と、前記第１の動画とは別の第２の動画の撮像時又は再生時に撮像した前記第１の動画から、前記分析部による分析結果に基づいて操作者の顔の表情を数値化して評価値を算出する評価値算出部と、数値化した前記評価値を前記第２の動画と同じタイムラインで記録する記録部と、前記評価値に基づいて前記第２の動画の部分動画を順次抽出してダイジェストを生成する動画編集部と、を備える、動画像処理装置が提供される。

上記構成によれば、第１の動画から操作者の顔の特徴が分析され、第１の動画とは別の第２の動画の撮像時又は再生時に撮像した第１の動画から、顔の特徴の分析結果に基づいて操作者の顔の表情が数値化されて評価値が算出される。数値化した評価値は第２の動画と同じタイムラインで記録され、評価値に基づいて第２の動画の部分動画が順次抽出されてダイジェストが作成される。従って、第２の動画の撮影時又は再生時に、ダイジェストを作成するための表情の評価値が算出されるため、操作者の感情を評価値に正確に反映させることができ、所望のダイジェストを作成することが可能となる。

また、前記第２の動画を撮像する第２の動画像撮像部を備え、前記評価値算出部は、前記第２の動画像撮像部による前記第２の動画の撮像時に前記数値化を行う。この構成によれば、第２の動画像撮像部で撮像した第２の動画に基づいて表情の評価値の数値化を行うことができる。

また、前記動画編集部は、前記評価値の値が所定のしきい値よりも大きい区間の前記部分動画を順次抽出する。この構成によれば、評価値の値が所定のしきい値よりも大きい区間で部分動画が順次に抽出されるため、操作者の顔の表情の変化が大きい場合に部分動画が順次に抽出されることとなり、所望のダイジェストを作成することが可能となる。

また、前記動画編集部は、前記部分動画の延べ時間が予め定められた時間に収まるように前記しきい値を変化させて、前記部分動画を抽出する。この構成によれば、部分動画の延べ時間が予め定められた時間に収まるようにしきい値が変化されるため、所望の長さで部分動画を抽出することができる。

また、前記動画編集部は、前記評価値の値が所定のしきい値よりも大きい前記区間の前又は後ろに所定の余裕時間を加算して得られる区間の前記部分動画を順次抽出する。この構成によれば、評価値のサンプリング間隔が比較的大きい場合であっても、所望のダイジェストを作成することができる。

また、前記評価値算出部は、前記数値化を予め定められた規則に基づいて行う。この構成によれば、予め定められた規則に基づいて数値化が行われるため、評価値を予め定められ規則に基づいて算出することができる。

また、前記規則は、顔の表情の変化が激しい場合に評価値の重み付けが高くなるように規定される。この構成によれば、顔の表情の変化が激しい場合に評価値の重み付けが高く規定されるため、表情の変化を正確に評価値に反映させることがきる。

また、前記記録部は、前記評価値を前記第２の動画のデータ内にメタデータとして記録する。この構成によれば、評価値が第２の動画のデータ内にメタデータとして記録されるため、評価値と第２の動画のデータを対応付けて記録することができる。

また、前記記録部は、前記評価値を前記第２の動画のデータと１対１で対応する別データとして記録する。この構成によれば、評価値が第２の動画のデータと１対１で対応する別データとして記録されるため、評価値と第２の動画のデータを対応付けて記録することができる。

また、上記課題を解決するために、本発明の別の観点によれば、操作者を撮像するステップと、第１の動画像撮像部で撮像した第１の動画から操作者の顔の特徴を分析するステップと、前記第１の動画とは別の第２の動画の撮像時又は再生時に撮像した前記第１の動画から、前記顔の特徴の分析結果に基づいて、操作者の顔の表情を数値化して評価値を算出するステップと、数値化した前記評価値を前記第２の動画と同じタイムラインで記録するステップと、前記評価値に基づいて前記第２の動画の部分動画を順次抽出してダイジェストを生成するステップと、を備える動画像処理方法が提供される。

また、前記第２の動画を撮像するステップを備え、前記評価値を算出するステップにおいて、前記第２の動画の撮像時に前記数値化を行う。この構成によれば、第２の動画を撮像するステップで撮像した第２の動画に基づいて表情の評価値の数値化を行うことができる。

また、前記ダイジェストを生成するステップにおいて、前記評価値の値が所定のしきい値よりも大きい区間の前記部分動画を順次抽出する。この構成によれば、評価値の値が所定のしきい値よりも大きい区間で部分動画が順次に抽出されるため、操作者の顔の表情の変化が大きい場合に部分動画が順次に抽出されることとなり、所望のダイジェストを作成することが可能となる。

また、前記ダイジェストを生成するステップにおいて、前記部分動画の延べ時間が予め定められた時間に収まるように前記しきい値を変化させて、前記部分動画を抽出する。この構成によれば、部分動画の延べ時間が予め定められた時間に収まるようにしきい値が変化されるため、所望の長さで部分動画を抽出することができる。

前記ダイジェストを生成するステップにおいて、前記評価値の値が所定のしきい値よりも大きい前記区間の前又は後ろに所定の余裕時間を加算して得られる区間の前記部分動画を順次抽出する。この構成によれば、評価値のサンプリング間隔が比較的大きい場合であっても、所望のダイジェストを作成することができる。

また、前記評価値を算出するステップにおいて、前記数値化を予め定められた規則に基づいて行う。この構成によれば、予め定められた規則に基づいて数値化が行われるため、評価値を予め定められ規則に基づいて算出することができる。

また、前記記録するステップにおいて、前記評価値を前記第２の動画のデータ内にメタデータとして記録する。この構成によれば、評価値が第２の動画のデータ内にメタデータとして記録されるため、評価値と第２の動画のデータを対応付けて記録することができる。

また、前記記録するステップにおいて、前記評価値を前記第２の動画のデータと１対１で対応する別データとして記録する。この構成によれば、評価値が第２の動画のデータと１対１で対応する別データとして記録されるため、評価値と第２の動画のデータを対応付けて記録することができる。

本発明によれば、操作者の意図を正確に反映させた動画のダイジェストを作成することが可能となる。

スマートフォン、デジタルカメラ等の電子機器で被写体を撮影している様子を示す模式図である。電子機器が撮影した画像を示す模式図である。本発明の一実施形態にかかる撮像装置１００の構成を示す模式図である。評価値を規定する規則を説明するための模式図である。評価値を規定する規則を説明するための模式図である。動画編集部による自動編集機能を示す模式図である。図５に示す各要素（ａ）〜（ｅ）の各評価値と、各評価値の合計値（ｓｕｍ）が時間（ｔｉｍｅ）の経過に伴って変化する場合に、ダイジェスト動画を抽出する区間を示す模式図である。評価値のサンプリング時間（Sampling Time）と評価値の関係をプロットし、サンプリング時間の間を直線補間した例を示す模式図である。評価値の保存方法を示す模式図である。撮像装置における動画像処理方法の処理を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

近時のスマートフォン（ＳｍａｒｔＰｈｏｎｅ）のような携帯型の電子機器においては、被写体記録用のカメラとは別に、自分撮り用のカメラ（インカメラ（Ｉｎ−ｃａｍｅｒａ））を操作者側に搭載したものが出現している。自分撮り用のカメラを備えた構成は、デジタルスチルカメラ（ＤＳＣ）等の携帯機器を含む様々な機器に拡がることが想定される。

デジタルスチルカメラ等の撮像装置は、小型化が進んだ影響で、スマートフォン等と同様にファインダーを有さずに、撮影者が液晶表示画面（ＬＣＤ）で被写体を視認するものが主流となっている。この場合、撮影者は撮像装置から顔を一定距離だけ離して撮影するため、インカメラを備えていれば撮影者（操作者）の顔全体を撮影することができる。

図１は、スマートフォン、デジタルカメラ等の電子機器３００で被写体を撮影している様子を示す模式図である。電子機器３００は、撮影者の操作に基づいて、正面のカメラ１０２で被写体を撮影する。また、電子機器３００は、カメラ３０２と反対側（撮影者側）にインカメラ３０４を備えており、インカメラ３０４によりユーザの顔を撮影することができる。

図２は、電子機器３００が撮影した画像を示す模式図である。ここで、図２（Ｂ）は、電子機器３００の正面のカメラ３０２が撮影した画像が、電子機器３００のＬＣＤ３０６に標示されている様子を示している。また、図２（Ａ）は、電子機器３００のインカメラ３０４が撮影した画像を示している。図２（Ａ）に示すように、インカメラ３０４によって撮影者が撮影される。このように、通常のカメラ３０２に加えてインカメラ３０４を備える電子機器１００では、被写体を撮影しながら撮影者の顔を撮影することができる。

カメラ３０２で撮像される画像は、人物、風景、乗り物、建物等の様々な被写体であり、カメラ３０２は常時に人物の顔を検出するものではない。一方、インカメラ３０４で撮像した画像は、ほとんどの場合において、インカメラ３０４の近傍に配置されたＬＣＤ３０６を正視している撮影者の顔の画像である。従って、インカメラ３０４によれば、ＬＣＤ３０６を正視している撮影者のほぼ正面の顔を捉えることが可能である。また、低照度時においても、ＬＣＤ３０６の光が照明代わりになるので、暗い場合もインカメラ３０４によって撮影者の顔を撮像することができる。従って、インカメラ３０４を備えた電子機器３００によれば、常時、撮影者の顔を撮像することができ、顔検出、表情の検出を行うことができる。

本実施形態では、常時に撮影者（操作者）の顔を撮像することが可能なインカメラ３０４を利用して、動画の自動編集を撮影者の顔情報（特に表情の情報）に基づいて行う。以下、詳細に説明する。

図３は、本発明に係る動画像処理装置としての一実施形態として、撮像装置１００の構成を示す模式図である。図３は、本実施形態に係るデジタルスチルカメラ（Digital Still Camera）において、主に画像処理パイプライン（Pipe Line）に関係するブロック図を表している。図３に示すように、本発明の一実施形態に係る撮像装置１００は、ズームレンズ（群）１０２と、絞り１０４と、フォーカスレンズ（群）１０８と、レンズＣＰＵ１１０と、ドライバ１１２，１１４と、モータ１１６，１１８と、Ａ／Ｄ変換回路１２０と、ＲＯＭ１２２と、ＲＡＭと１２４を備えている。

また、撮像装置１００は、シャッター１２６と、ドライバ１２８と、モータ１３０と、撮像素子としてのＣＭＯＳ(Complementary Metal Oxide Semiconductor)素子１３２と、アンプ一体型のＣＤＳ(Correlated Double Sampling)回路１３４と、Ａ／Ｄ変換器１３６と、画像入力コントローラ１３８と、ＣＰＵ２００と、を備える。

また、撮像装置１００は、不揮発性メモリ１４０と、圧縮処理回路１４２と、ＬＣＤドライバ１４４と、ＬＣＤ(Liquid Crystal Display)１４６と、メディアコントローラ１５０と、記録メディア１５２と、ＶＲＡＭ(Video Random Access Memory)１５４と、メモリ（ＳＤＲＡＭ）１５６と、操作部材１５８と、バッテリー１４８と、を備える。

絞り１０４、およびフォーカスレンズ１０８は、各ドライバ１１２，１１４によって制御されるモータ１１６，１１８を介して駆動される。ズームレンズ１０２は、光軸方向に前後して移動され、焦点距離を連続的に変化させるレンズである。絞り１０４は、画像を撮像する際に、ＣＭＯＳ素子１３２へ入射する光量の調節を行う。シャッター１２６は、画像を撮像する際に、ＣＭＯＳ素子１３２への露光時間を制御する。フォーカスレンズ１０８は、光軸方向に前後して移動され、ＣＭＯＳ素子１３２へ結像された被写体の画像のピントを調節するものである。

ＣＭＯＳ素子１３２は、ズームレンズ１０２、絞り１０４、およびフォーカスレンズ１０８を通って入射した光を電気信号に変換するための素子である。

ＣＤＳ回路１３４は、ＣＭＯＳ素子１３２から出力された電気信号の雑音を除去する、サンプリング回路の一種であるＣＤＳ回路と、雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。本実施形態ではＣＤＳ回路とアンプとが一体となった回路を用いているが、ＣＤＳ回路とアンプとを別々の回路で構成してもよい。

Ａ／Ｄ変換器１３６は、ＣＭＯＳ素子１３２で生成された電気信号をデジタル信号に変換して、画像の生データ（ローデータ、画像データ）を生成するものである。画像入力コントローラ１３８は、Ａ／Ｄ変換器１３６で生成された画像の生データ（画像データ）の記録メディア１５２への入力を制御するものである。

また、本実施形態に係る撮像装置１００は、インカメラとして機能する第２のＣＭＯＳ素子１６０と、アンプ一体型のＣＤＳ回路１６２と、Ａ／Ｄ変換器１６４と、画像入力コントローラ１６６と、を備える。ＣＤＳ回路１６２、Ａ／Ｄ変換器１６４、および画像入力コントローラ１６６は、ＣＭＯＳ素子１６０用に設けられている。また、撮像装置１００は、ＣＭＯＳ素子１６０用に設けられた光学レンズ１６８を備える。光学レンズ１６２の光軸は撮像装置１００を操作する操作者に向けられており、光学レンズ１６２は、操作者の顔を被写体として、被写体像（操作者の顔の像）を第２のＣＭＯＳ素子１６０の撮像面に結像させる。ＣＭＯＳ素子１６０は、被写体像を光電変換し、画像入力コントローラ１６６へ入力する。これらの構成要素によって、インカメラが構成されている。

ＣＤＳ回路１６２は、ＣＭＯＳ素子１６０から出力された電気信号の雑音を除去する、サンプリング回路の一種であるＣＤＳ回路と、雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。

Ａ／Ｄ変換器１６４は、ＣＭＯＳ素子１６０で生成された電気信号をデジタル信号に変換して、画像の生データ（ローデータ、画像データ）を生成するものである。画像入力コントローラ１６６は、Ａ／Ｄ変換器１６４で生成された画像の生データ（画像データ）の記録メディア１５２への入力を制御するものである。

不揮発性メモリ１４０は、撮像装置１００が常時保持するデータを格納するメモリである。不揮発性メモリ１４０は、ＣＰＵ２００を機能させるためのプログラムを格納することができる。

圧縮処理回路１４２は、ＣＭＯＳ素子１３２，１３６から出力された画像のデータを適切な形式の画像データに圧縮する圧縮処理を行う。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、ＪＰＥＧ(Joint Photographic Experts Group)形式やＪＰＥＧ２０００形式に変換してもよい。

ＬＣＤ１４６は、撮像操作を行う前のライブビュー表示や、撮像装置１００の各種設定画面や、撮像した画像の表示、動画再生等を行う。画像データや撮像装置１００の各種情報のＬＣＤ１４６への表示は、ＬＣＤドライバ１４８を介して行われる。

メモリ（ＳＤＲＡＭ）１５６は、ＣＭＯＳ素子１３２，ＣＭＯＳ素子１６０が撮像した画像を一時的に記憶するものである。記録メディア１５２は、複数の画像を記憶できるだけの記憶容量を有している。メモリ（ＳＤＲＡＭ）１５６への画像の読み書きは画像入力コントローラ１３８及び画像入力コントローラ１６６によって制御される。

ＶＲＡＭ１５４は、ＬＣＤ１４６に表示する内容を保持するものであり、ＬＣＤ１４６の解像度や最大発色数はＶＲＡＭ１５４の容量に依存する。

記録メディア１５２は、ＣＭＯＳ素子１３２，ＣＭＯＳ素子１６０が撮像した画像を記録するものである。記録メディア１５２への入出力は、メディアコントローラ１５０によって制御される。記録メディア１５２としては、フラッシュメモリにデータを記録するカード型の記憶装置であるメモリカードを用いることができる。

ＣＰＵ２００は、ＣＭＯＳ素子１３２，１６０やＣＤＳ回路１３４，１６２などに対して信号系の指令を行ったり、操作部材１５８の操作に応じた操作系の指令を行ったりする。本実施形態においては、ＣＰＵを１つだけ含んでいるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うようにしてもよい。

ＣＰＵ２００は、ＡＥ／ＡＷＢ／ＡＦ評価値算出部２０２と、適正ＡＷＢ算出部２０４と、画像処理部２０６と、ＡＦ演算・制御部２０８と、ＡＥ演算・制御部２１０と、ＧＵＩ管理部２１２と、タイミングジェネレータ（ＴＧ１）２１４と、Ｉ／Ｏ２１６と、ＳＩＯ２１８と、タイミングジェネレータ（ＴＧ２）２１９と、を備える。また、ＣＰＵ２００は、顔認識部２２０と、表情評価値算出部２２２と、再生処理部２２４と、動画編集部２２６と、記録ファイル生成部２２８と、を備える。

ＡＥ／ＡＷＢ／ＡＦ評価値算出部２０２は、ＣＭＯＳ素子１３２，１６０から出力された画像のデータから、露光量情報としてのＡＥ評価値、ホワイトバランス情報としてのＡＷＢ評価値、ＡＦ情報としてのＡＦ評価値、を算出する。適正ＡＷＢ算出部２０４は、適正なホワイトバランス値を算出する処理を行う。画像処理部２０６は、ＣＭＯＳ素子１３２から出力された画像のデータに対して、光量のゲイン補正、画像のエッジ処理（輪郭強調処理）、ホワイトバランスの調整などの処理を行う。

ＡＦ演算・制御部２０８は、ＡＦ評価値に基づいて、被写体を撮影する際のフォーカスレンズ１０８の駆動量を決定する。レンズＣＰＵ１１０は、決定された駆動量に基づいてドライバ１１４を制御し、モータ１１８を駆動する。これにより、フォーカスレンズ１０８が合焦位置に駆動される。

また、ＡＥ演算・制御部２１０は、ＡＥ評価値に基づいて、被写体を撮影する際の絞り値、シャッター速度を決定する。ＣＰＵ２００は、決定されたシャッター速度に基づいてドライバ１２８を制御し、モータ１３０を駆動する。これにより、シャッター１２６が駆動される。また、レンズＣＰＵ１１０は、決定された絞り値に基づいてドライバ１１２を制御し、モータ１１６を駆動する。これにより、レンズが備える絞り１０４が駆動される。

ＧＵＩ管理部２１２は、ユーザにより操作部材１５８が操作されると、操作部材１５８から操作入力情報を受け取る。ＣＰＵ１４０は、ＧＵＩ管理部２１２が受け取った操作部材１５８からの操作入力情報に基づいて、各種の処理を行う。例えば、ＧＵＩ管理部１５８がダイジェスト動画を生成するための操作入力情報を操作部材１５８から受け取ると、動画編集部２２６によりダイジェスト動画を生成するための処理が行われる。

タイミングジェネレータ（ＴＧ１）２１４は、ＣＭＯＳ素子１３２にタイミング信号を入力する。つまり、タイミングジェネレータ（ＴＧ１）２１４からのタイミング信号によりＣＭＯＳ素子１３２の駆動が制御される。タイミングジェネレータ（ＴＧ１）２１４は、ＣＭＯＳ素子１３２が駆動する時間内に被写体からの映像光を入射させることで、ＣＭＯＳ素子１３２に電子シャッターの機能を持たせることも可能である。

同様に、タイミングジェネレータ（ＴＧ２）２１９は、ＣＭＯＳ素子１６０にタイミング信号を入力する。つまり、タイミングジェネレータ（ＴＧ２）２１９からのタイミング信号によりＣＭＯＳ素子１６０の駆動が制御される。タイミングジェネレータ（ＴＧ２）２１９は、ＣＭＯＳ素子１６０が駆動する時間内に被写体からの映像光を入射させることで、ＣＭＯＳ素子１６０に電子シャッターの機能を持たせることも可能である。

図３に示す、ＣＭＯＳ素子１３２から得られたＲＧＢ画像信号は、主として画像処理部２０６にて、欠陥画素補正、黒Ｌｅｖｅｌ補正などのイメージフロントプロセス（Image front process）処理が施され、更にホワイトバランス（White Balance）補正処理、ベイヤー（Ｂａｙｅｒ）色補間(Ｄｅｍｏｓａｉｃ)処理、色補正処理、ガンマ（Ｇａｍｍａ）補正処理などの電子的処理を行い画像記録が行われる。なお、図３に示す各機能ブロックは、回路（ハードウェア）、または中央演算処理装置（ＣＰＵ）とこれを機能させるためのプログラム（ソフトウェア）によって構成することができ、そのプログラムは、撮像装置１００が備える不揮発性メモリ１４０、または外部から接続されるメモリなどの記録媒体に格納されることができる。

以上のように、撮影者が被写体として動画撮影した対象（人物、風景など）は、ＣＭＯＳ素子１３２によって画像データに変換される。一方、撮影者の顔は、ＣＭＯＳ素子１６０によって画像データに変換される。

なお、本実施形態では、撮像素子としてＣＭＯＳ素子１３２，１６０を用いているが、本発明は係る例に限定されず、ＣＭＯＳ素子１３２，１６０の代わりにＣＣＤ素子などの他のイメージセンサを用いてもよい。なお、ＣＭＯＳ素子１３２，１６０は、ＣＣＤ素子よりも高速に被写体の映像光を電気信号に変換できるので、被写体を撮像してから画像の合成処理を行うまでの時間を短縮することができる。

図１に示すように、撮像装置１００は、ボディ本体２５０と交換レンズ２６０とから構成されており、ボディ本体２５０から交換レンズ２６０を取り外すことが可能とされている。一方、撮像装置１００は、ボディ本体２５０と交換レンズ２６０が一体に構成されていても良い。

以上のように構成された撮像装置１００において、撮影者の顔の表情をインカメラでモニタすることで、撮影している画像、または再生している画像に対する撮影者の思い入れを類推することが可能である。例えば、子供の発表会や運動会を両親が撮影する状況では、撮り損ねないよう子供が登場する前から十分な時間の余裕を確保して記録を始めることが多い。そして、撮りたい子供が現れたり演技が始まると、自然に表情が変わったり、場合によっては声をかけることも少なくない。そして、顔の表情の変化や状態を認識することで、撮影者の「主観的な思い入れ」を「客観的」にインカメラの画像から動画の部分毎に判断することができる。

本実施形態では、インカメラで撮像した表情から判断する撮影者（操作者）の喜怒哀楽のレベルやフレーム間の変化度に応じて客観的に数値化した評価値を算出し、評価値が高い数値ほど動画の重要シーンが含まれていると判断する。そして、所望の時間に収まるように評価値が高い動画区間を順次抽出することで、重要な部分で構成されたダイジェスト動画を自動的に生成する。

評価値の算出は、ＣＭＯＳ素子１３２による動画撮像時に行うことができる。また、評価値の算出は、再生処理部２２４によって記録メディア１５２に記録された動画ファイルの動画を再生する際に行うこともできる。評価値を算出した後は、評価値に基づいて任意のタイミングでダイジェスト動画を作成することができる。

このため、ＣＰＵ２００の顔認識部（分析部）２２０は、ＣＭＯＳ素子１６０が撮像した画像データから撮影者（または再生動画を視聴する操作者）の顔の表情を認識し、その特徴を分析する。つまり、顔認識部２２０は、操作者の顔の特徴を分析する分析部として機能する。
表情評価値算出部２２２は、顔認識部２２０が認識した顔の表情に基づいて、表情を数値化して評価値を算出する。数値化した評価値のデータは、ＣＭＯＳ素子１３２による撮像動画の記録開始とともに生成され、撮像動画と同じタイムラインで記録される。また、動画再生時に評価値を算出する場合、数値化した評価値のデータは、再生処理部２２４による動画の再生開始とともに生成され、再生動画と同じタイムラインで記録される。

表情の評価値は、予め設定した規則に基づいて作成することができる。表情の評価値には個人差があるが、一つの動画に対する表情の画像データの全体の中から、喜怒哀楽の表現が現れる上位の箇所から順に抽出することで、相対的な判断ができる。これにより、評価値の個人差だけでなく、状況の違いによる評価値の絶対量の違いも低減される。

以下、評価値の算出方法を具体的に説明する。図４及び図５は、評価値を規定する上記規則を説明するための模式図である。ここで、図４は、人物の表情のうち、評価値を決定する要素を示す模式図である。図４に示すように、評価値は、（ａ）目が細くなる、（ｂ）目を見開く、（ｃ）目じりが下がる、（ｄ）口が開く、（ｅ）口角が上がる、などの要素から決定される。例えば、（ｅ）の口角を観察することで、撮影者の心の動きを推察することができる。従って、評価値に基づいて、騒々しい環境下であっても撮影者が声を発したタイミングを検出することも可能である。

図５は、図４に示す各要素（ａ）〜（ｅ）に基づいて評価値を決定するための規則を示す模式図である。図４に示すように、各要素（ａ）〜（ｅ）が通常レベルの場合は、評価値が０となる。一方、各要素が変化した場合の最大の評価値を設定し、変化のレベルに応じて評価値を大きくする。例えば、「（ａ）目が細くなる」、については、最も目が細くなった場合の評価値を８とし、目が細くなるレベルに応じて評価値を大きくする。同様に、「（ｂ）目を見開く」、については、最も目を見開いた場合の評価値を１２とし、目を見開くレベルに応じて評価値を大きくする。

ここで、図５に示す規則は、被写体の表情変化が激しく表れる要素に対する重み付けを高くしている。例えば、口が大きく開いているとき（例えば、思わず声を出して子供を応援しているときなど）、口角が大きく上がったとき（例えば、笑っているときなど）は、被写体の感情変化が「（ｄ）口が開く」、「（ｅ）口角が上がる」の要素に大きく反映される。このため、表情変化に応じて図５の各要素に重み付けをすることが望ましい。図５において、「（ｃ）目じりが下がる」、と「（ｄ）口が開く」を比較すると、最も大きく変化した場合の評価値は、「（ｃ）目じりが下がる」は“４”であり、「（ｄ）口が開く」は“２０”である。これは、両者のそれぞれが最大に変化した場合、「（ｄ）口が開く」の方がより感情の変化を大きく表しているためである。このように、各要素（ａ）〜（ｅ）に応じて評価値の重み付けを変化させることで、評価値に基づいてユーザの感情をより適正に評価することができる。

各要素（ａ）〜（ｅ）について、図５の通常〜最大のどのレベルまで変化したかの判定は、予めユーザの表情に基づいて通常のレベルと最大のレベルを設定することによって行うことができる。例えば、「（ａ）目を見開く」について例を挙げると、最初にユーザの顔を撮影した時に（撮影開始のスタンバイ時など）、両目の間隔、目の大きさ（横幅）、顔の輪郭等の基本的なデータを取得し、これに基づいて、通常の目の大きさ（図４中に示す実線Ｎ）と、最大に目を見開いた場合の目の大きさ（図４中に示す一点鎖線Ｍ）を予め設定しておく。そして、通常の目の大きさ（実線Ｎ）に対して、一点鎖線Ｍの範囲にどれだけ目の大きさが近づいたかを検出することで、図５に示す通常〜最大のどのレベルまで目が見開いたかを判定することができる。

顔認識部２２０は、認識した顔の画像から目、口、鼻などの特徴を認識し、分析する。表情評価値算出部２２２は、顔検出部２２０が検出した特徴に基づいて、各要素（ａ）〜（ｅ）の評価値を算出し、各要素の評価値を合計してΣ｛（ａ）＋（ｂ）＋（ｃ）＋（ｄ）＋（ｅ）｝を算出することにより、最終的な評価値を算出する。図５に示す規則は、撮像装置１００の不揮発性メモリ１４０に格納されている。また、ユーザは、操作部材１５８から操作を行うことで、図５に示す規則を最適に変更することができる。

ダイジェスト動画を生成する際には、評価値が所定のしきい値を超えている動画の区間を抽出することで、ダイジェスト動画を生成することができる。

以上のような構成によれば、ユーザが撮影動画または再生動画を視認する際に、動画の中で興味を示したり、感動したり、また心を動かされたりした場合は、表情の評価値が高くなる。従って、評価値に基づいて動画のダイジェストを生成することで、動画のダイジェストを最適に生成することが可能となる。

また、図５に示したような規則を撮影者（または再生動画を視聴する操作者）が予め知っておくことで、撮影者等においては、表情を意図的に変えることで、動画の編集ポイントを指示・指定する使い方が可能になり、意図的に抽出したい部分動画を選択することが可能となる。例えば、現在撮影（または再生）している動画がダイジェスト動画に含まれるようにしたい場合は、意図的に表情を笑顔にすることで、評価値が高く算出され、現在撮影（または再生）している動画をダイジェスト動画に含めることができる。従って、静粛が求められる場合や、被写体の声や音の邪魔にならないように黙って撮影する状況下であっても、特別な道具・装置を用いることなく、また特別な操作をすることなく、表情を変えるだけで、ダイジェスト動画を自動編集するための指示情報を動画再生時又は記録時に動画のタイムラインに埋め込むことが可能となる。このように、撮影者が動画抽出の規則を予め知っておくことで、自動編集で残したい箇所を意図的に撮影しながら動画に埋め込むことが可能となる。これにより、所望の部分動画を抽出することが可能となり、効率良くダイジェスト動画を作成することができる。

また、動画の撮影と同時に評価値を算出することができるため、動画撮影した後に特徴検出を行う必要がなく、評価値を算出するために動画データを再スキャンする必要がない。従って、評価値の算出を効率よく、且つ迅速に行うことが可能である。

次に、本実施形態に係る撮像装置１００で行われる具体的な処理について説明する。撮影者が被写体を撮影することにより、ＣＭＯＳ素子１３２によって被写体の動画が撮像される。また、同時に、ＣＭＯＳ素子１６０によって撮影者（または再生動画を視聴する操作者）の顔が撮像される。

ＣＰＵ２００の顔認識部２２０は、ＣＭＯＳ素子１３２によって撮像された被写体の動画から、撮影者の顔を検出し、その特徴を分析する。そして、ＣＰＵ２００の表情評価値算出部２２２は、顔認識部２２０によって認識された撮影者の顔から図５に示す各要素（ａ）〜（ｅ）を抽出し、図５の規則に基づいて表情の評価値を算出する。上述したように、表情評価値算出部２２２は、各要素（ａ）〜（ｅ）の評価値を合計して最終的に評価値を算出する。記録ファイル生成部２２８は、算出した評価値を撮像動画と同じタイムラインで記録する。

また、動画再生時に評価値を算出する場合、ＣＰＵ２００の再生処理部２２４は、記録メディア１５２に記録された動画ファイルを読み出して再生する。再生した動画は、ＬＣＤ１４６に表示される。動画再生中、操作者はＬＣＤ１４６の再生動画を視認する。このとき、ＣＭＯＳ素子１６０によって操作者の顔が撮像される。そして、顔認識部２２０は、ＣＭＯＳ素子１６０によって撮像された動画から撮影者の顔を検出し、その特徴を分析する。また、表情評価値算出部２２２は、顔認識部２２０によって認識された撮影者の顔から図５に示す各要素（ａ）〜（ｅ）を抽出し、図５の規則に基づいて表情の評価値を算出する。記録ファイル生成部２２８は、算出した評価値を再生動画と同じタイムラインで記録する。これにより、動画再生時においても、撮影時と同様に、動画のタイムラインに評価値のデータを記録することができる。

ＣＰＵ２００の動画編集部２２６は、表情の評価値に基づいて動画を編集する。例えば、撮像装置１００は、ユーザが動画の内容を手早く確認したいとき、またはユーザが動画の主たる部分のみを抽出したいときに、動画編集部２２６による自動編集機能を動作させる。この場合、動画編集部２２６は、操作者による動画編集の指示が操作部材１５８に入力された際に動画編集を行う。

また、動画編集部２２６による動画の編集は、撮影終了直後、または動画再生の終了直後に自動的に行うこともできる。また、動画編集部２２６による動画の編集は、画像ファイルの一覧をＬＣＤ１４６にサムネイルとして表示した際に、自動的に行うこともできる。動画編集により生成されたダイジェスト動画は、記録メディア１５２に記録される。

図６は、動画編集部２２６による自動編集機能を説明するための模式図である。動画編集部２２６による自動編集では、表情の評価値を参照して、評価値が大きい区間の動画を順次に抽出する。この際、評価値が大きい区間は、所定のしきい値に基づいて判定する。図６では、動画を抽出する際のしきい値として、編集時間が短い場合のしきい値Ｔ１、編集時間が中程度の場合のしきい値Ｔ２、編集時間が長い場合のしきい値Ｔ３の３通りを設定している。

編集時間が短い場合は、評価値がしきい値Ｔ１を超える区間Ｒ１１，Ｒ１２の動画を抽出してダイジェスト動画を生成する。また、編集時間が中程度の場合は、評価値がしきい値Ｔ２を超える区間Ｒ２１，Ｒ２２，Ｒ２３，Ｒ２４，Ｒ２５を抽出してダイジェスト動画を生成する。また、編集時間が長い場合は、評価値がしきい値Ｔ３を超える区間Ｒ３１，Ｒ３２，Ｒ３３，Ｒ３４を抽出してダイジェスト動画（部分動画）を生成する。

このように、自動編集機能の作動時において、動画編集部２２６は、撮影者（操作者）が所望する編集時間となるように評価値のしきい値を変化させる。すなわち、動画編集部２２６は、抽出したダイジェスト動画の延べ時間が、予め定められた時間に収まるようにしきい値を変化させ、最適なしきい値を探索する。そして、しきい値を上回る評価値の区間を抽出し、区間合計時間が所望編集時間に最も近くなるしきい値を探索し、抽出区間を繋げてダイジェスト動画を作成する。これにより、ダイジェスト動画の長さをユーザが望む長さに設定することができる。なお、図６では、しきい値Ｔ１，Ｔ２，Ｔ３の３通りを示しているが、しきい値はＴ１，Ｔ２，Ｔ３以外の任意の値に設定することもできる。ユーザは、操作部材１５８を操作することで、ダイジェスト動画の長さを自由に設定することができる。動画編集部２２６は、操作部材１５８から入力されたダイジェスト動画の長さの情報に基づいて、しきい値を最適に調整する。これにより、ダイジェスト動画の長さをユーザの所望の時間とすることができる。

図７は、図５に示す各要素（ａ）〜（ｅ）の各評価値と、各評価値の合計値（ｓｕｍ）が時間（ｔｉｍｅ）の経過に伴って変化する場合に、ダイジェスト動画を抽出する区間を示す模式図である。評価値のしきい値を“１５”とした場合、１２秒から１６秒の区間では、評価値の合計（ｓｕｍ）が１５以上であるため、図７の太枠内で示す１２秒から１６秒の区間の動画がダイジェスト動画として抽出される。

図８は、評価値のサンプリング時間（Sampling Time）と評価値の関係をプロットし、サンプリング時間の間を直線補間した例を示している。ここでは、サンプリング時間が４秒間隔の場合を示している。また、評価値のしきい値は“１５”であるものとする。図８において、しきい値が１５を超える区間は、８．５秒〜１８．０秒の区間Ｒ４であり、この時間帯の動画を抽出してダイジェスト動画を生成する。

なお、サンプリング時間の関係で、しきい値が“１５”を超える区間の動画を抽出すると、動画の冒頭部分、または最後の部分で所望の動画がダイジェスト動画から外れてしまうことが考えられる。このため、動画の抽出開始は、しきい値が“１５”を超える時刻の数秒程前から開始しても良い。図８に示す区間Ｒ５は、動画抽出の開始位置をしきい値が１５を超える時間よりも２秒程度早いタイミングにした例を示している。同様に、動画抽出の終了も、しきい値が“１５”以下となる時間よりも遅いタイミングにすることが望ましい。これにより、ダイジェスト動画からユーザの所望の部分が漏れてしまうことがなく、鑑賞し易いダイジェスト動画を作成することができる。ダイジェスト動画の始まりと終わりの画像は、フェードイン、フェードアウトで表示しても良い。

図９は、評価値の保存方法を示す模式図である。図９（Ａ）は、評価値を動画ファイル４００内のメタデータとして保存した場合を示している。この場合、動画ファイル４００は、ヘッダー４０２、表情の評価値４０４、動画データ４０６を含むものとなる。

図９（Ｂ）は、評価値を動画ファイル４００と対応付けされた別のファイル５００として保存した場合を示している。この場合、拡張子を変えるなどの手法により、動画ファイル４００と評価値のファイル５００とが１対１で対応するようにしておく。

図９（Ａ）及び図９（Ｂ）のいずれの場合においても、動画ファイル４００、評価値のファイル５００は、記録メディア１５２に記録される。動画ファイル４００と評価値を対応付けて保存することにより、動画編集部２２６は、任意のタイミングでダイジェスト動画を生成することが可能となる。また、図７に示したように、評価値はテキストデータで表すことができるため、テキストデータを保存するのみで、評価値を確実に保存することができる。

評価値を保存する際には、サンプリングを適度に間引く、評価値をテキストデータにする、等の手法でデータ量を削減することで、評価値を短時間で保存することが可能となる。また、動画編集時においても、短時間の読み取り動作で評価値を読み出すことが可能である。

また、動画編集部２２６が生成したダイジェスト動画についても、記録メディア１５２に記録される。ダイジェスト動画を生成した後は、所望のダイジェスト動画を選択することにより、ダイジェスト動画を再生することが可能である。

例えば、ＬＣＤ１４６に静止画のサムネイルとともにダイジェスト動画のサムネイルを表示しておき、ダイジェスト動画のサムネイルをクリックすることで、ＬＣＤ１４６の表示画面サイズにダイジェスト動画を拡大して再生するようにしても良い。なお、ＬＣＤ１４６上にダイジェスト動画をサムネイルで表示する場合は、所定の時間のダイジェスト動画を無限ループにして繰り返し表示する、動画の冒頭部分を静止画として表示する、等の方法が考えられる。このように、ダイジェスト動画をＬＣＤ１４６上にサムネイル表示することで、静止画のサムネイルと同様に、動画についてもサムネイルで内容を容易に確認することが可能となる。

図１０は、撮像装置１００における動画像処理方法の処理を示すフローチャートである。先ず、ステップＳ１０では、インカメラによる操作者の撮像を開始する。次のステップＳ１２では、インカメラで撮像した動画に対して顔認識を行い、顔の特徴を分析する。次のステップＳ１４では、動画の撮像時又は動画の再生時に、顔の表情を数値化して評価値を算出する。次のステップＳ１６では、数値化した評価値を動画の撮像又は再生と同じタイムラインで記録する。次のステップＳ１８では、評価値に基づいて部分動画を順次抽出してダイジェストを生成する。

以上説明したように本実施形態によれば、インカメラで撮影した操作者の表情に基づいて、所望のダイジェスト動画を作成することができる。従って、操作者が動画を視聴した際に興味を感じた部分、心を動かされた部分の動画を正確に抽出することが可能となり、操作者の望み通りのダイジェスト動画を作成することが可能となる。これにより、操作者の主観を反映した効率的な動画の自動編集が可能となる。また、動画中の被写体の状況（人物の有無、向き、人数など）や動画中に含まれる音声に依存することなく、動画の自動編集が可能となる。

更に、表情の評価値を算出する規則を操作者が予め認識しておくことで、操作者の意図に従ってダイジェスト動画を生成することができる。また、評価値の算出は、動画撮影と同時に行うことができるため、特徴量を算出するために動画データを再デコーディングする必要がなく、評価値算出の処理を効率よく行うことが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００撮像装置
１３２，１６０ＣＭＯＳ素子
２２０顔認識部
２２２表情評価値算出部
２２６動画編集部
２２８記録Ｆｉｌｅ生成部

Claims

操作者を撮像する第１の動画像撮像部と、
第１の動画像撮像部で撮像した第１の動画から操作者の顔の特徴を分析する分析部と、
前記第１の動画とは別の第２の動画の撮像時に撮像した前記第１の動画から、前記分析部による分析結果に基づいて操作者の顔の表情を数値化して評価値を算出する評価値算出部と、
数値化した前記評価値を前記第２の動画と同じタイムラインで記録する記録部と、
前記評価値に基づいて前記第２の動画の部分動画を順次抽出してダイジェストを生成する動画編集部と、
を備え、
前記動画編集部は、前記部分動画の延べ時間が予め定められた時間に収まるように前記しきい値を変化させて、前記部分動画を抽出することを特徴とする、動画像処理装置。
前記第２の動画を撮像する第２の動画像撮像部を備え、
前記評価値算出部は、前記第２の動画像撮像部による前記第２の動画の撮像時に前記数値化を行うことを特徴とする、請求項１に記載の動画像処理装置。
前記動画編集部は、前記評価値の値が所定のしきい値よりも大きい区間の前記部分動画を順次抽出することを特徴とする、請求項１又は２に記載の動画像処理装置。
前記動画編集部は、前記評価値の値が所定のしきい値よりも大きい前記区間の前又は後ろに所定の余裕時間を加算して得られる区間の前記部分動画を順次抽出することを特徴とする、請求項３に記載の動画像処理装置。
前記評価値算出部は、前記数値化を予め定められた規則に基づいて行うことを特徴とする、請求項１〜４のいずれかに記載の動画像処理装置。
前記規則は、顔の表情の変化が激しい場合に評価値の重み付けが高くなるように規定されたことを特徴とする、請求項５に記載の動画像処理装置。
前記記録部は、前記評価値を前記第２の動画のデータ内にメタデータとして記録することを特徴とする、請求項１〜６のいずれかに記載の動画像処理装置。
前記記録部は、前記評価値を前記第２の動画のデータと１対１で対応する別データとして記録することを特徴とする、請求項１〜６のいずれかに記載の動画像処理装置。
操作者を撮像するステップと、
第１の動画像撮像部で撮像した第１の動画から操作者の顔の特徴を分析するステップと、
前記第１の動画とは別の第２の動画の撮像時に撮像した前記第１の動画から、前記顔の特徴の分析結果に基づいて、操作者の顔の表情を数値化して評価値を算出するステップと、
数値化した前記評価値を前記第２の動画と同じタイムラインで記録するステップと、
前記評価値に基づいて前記第２の動画の部分動画を順次抽出してダイジェストを生成するステップと、
を備え、
前記ダイジェストを生成するステップにおいて、前記部分動画の延べ時間が予め定められた時間に収まるように前記しきい値を変化させて、前記部分動画を抽出することを特徴とする、動画像処理方法。
前記第２の動画を撮像するステップを備え、
前記評価値を算出するステップにおいて、前記第２の動画の撮像時に前記数値化を行うことを特徴とする、請求項９に記載の動画像処理方法。
前記ダイジェストを生成するステップにおいて、前記評価値の値が所定のしきい値よりも大きい区間の前記部分動画を順次抽出することを特徴とする、請求項９又は１０に記載の動画像処理方法。
前記ダイジェストを生成するステップにおいて、前記評価値の値が所定のしきい値よりも大きい前記区間の前又は後ろに所定の余裕時間を加算して得られる区間の前記部分動画を順次抽出することを特徴とする、請求項１１に記載の動画像処理方法。
前記評価値を算出するステップにおいて、前記数値化を予め定められた規則に基づいて行うことを特徴とする、請求項９〜１２のいずれかに記載の動画像処理方法。
前記規則は、顔の表情の変化が激しい場合に評価値の重み付けが高くなるように規定されたことを特徴とする、請求項１３に記載の動画像処理方法。
前記記録するステップにおいて、前記評価値を前記第２の動画のデータ内にメタデータとして記録することを特徴とする、請求項９〜１４のいずれかに記載の動画像処理方法。
前記記録するステップにおいて、前記評価値を前記第２の動画のデータと１対１で対応する別データとして記録することを特徴とする、請求項９〜１４のいずれかに記載の動画像処理方法。