JP6088468B2 - 画像処理装置、画像処理方法、動画公開システム、動画公開方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、動画からダイジェスト動画を生成し、生成したダイジェスト動画をサーバにアップロードしてクライアントのユーザに公開する画像処理装置、画像処理方法、動画公開システム、動画公開方法、プログラムおよび記録媒体に関するものである。

スマートフォンなどのモバイル端末や、ウェアラブル端末の普及、及びＳＮＳ（ソーシャル・ネットワーキング・サービス）利用者の増加に伴い、ユーザの動画撮影機会は増加し、撮影された動画をクラウド上で管理、共有することが一般的になっている。

一方で、ポータビリティ性の高いスマートフォンで静止画や動画を撮影する機会が増加したことにより、個人情報を含むなど、他者に公開されることを望まない静止画、動画の撮影機会も増加している。動画は、静止画に比較して、望まない個人情報の有無判定がより困難であることや、更に動画のごく一部であっても望まないフレームや場面が含まれていた場合、ユーザによる動画の切り出し、シーン分割を行う必要があるため、動画の編集に多大な苦労を要する。

これに対し、例えば、特許文献１には、各々の画像に対して複数の画像解析処理を実施し、各々の画像解析処理の結果に基づいて、各々の画像の公開・非公開を決定する画像公開装置が記載されている。
また、特許文献２には、動画の明るさ、ノイズ、コントラスト、入力された人物静止画に一致する顔情報、音声情報、ズーム動作等を利用して、動画から静止画の記録日時に対応する部分を抽出してダイジェスト動画を生成する画像処理装置が記載されている。

特開２０１３−１９１０３５号公報 特開２０１３−２３９７９７号公報

しかし、特許文献１では、動画に対して処理を実施できないという課題がある。
また、特許文献２では、ユーザが望まない静止画、動画のシーンを判定し、公開及び非公開の判定が実施できないという課題がある。

本発明の目的は、前記従来技術の問題点を解消し、動画からユーザが公開したい部分を抽出してダイジェスト動画を生成することができる画像処理装置、画像処理方法、生成したダイジェスト動画をサーバにアップロードしてクライアントのユーザに公開することができる動画公開システム、動画公開方法、ならびに、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、動画から複数のフレーム画像を抽出するフレーム画像抽出部と、
各々のフレーム画像の画像解析を行って、各々のフレーム画像のシーンを判定する画像解析部と、
各々のフレーム画像のシーンに基づいて、動画の再生順序における、前後のフレーム画像のシーンとは異なる１枚のフレーム画像、もしくは、同じシーンが連続する２枚以上のフレーム画像を分割フレーム画像群として、複数のフレーム画像を、動画の再生順序に従って、１以上の分割フレーム画像群に分割するフレーム画像分割部と、
１以上のカテゴリのシーン毎に、公開の優先度を設定する優先度設定部と、
優先度設定部に設定された、分割フレーム画像群のシーンに対する公開の優先度に基づいて、各々の分割フレーム画像群を公開するか否かを判定する公開非公開判定部と、
公開すると判定された分割フレーム画像群に含まれるフレーム画像の一部または全部を結合して動画のダイジェスト動画を生成するダイジェスト動画生成部とを備えることを特徴とする画像処理装置を提供するものである。

また、本発明は、動画から複数のフレーム画像を抽出するフレーム画像抽出部と、
各々のフレーム画像の画像解析を行って、各々のフレーム画像のシーンを判定する画像解析部と、
各々のフレーム画像のシーンに基づいて、動画の再生順序における、前後のフレーム画像のシーンとは異なる１枚のフレーム画像、もしくは、同じシーンが連続する２枚以上のフレーム画像を分割フレーム画像群として、複数のフレーム画像を、動画の再生順序に従って、１以上の分割フレーム画像群に分割するフレーム画像分割部と、
１以上のカテゴリのシーン毎に、公開するユーザの範囲を設定する公開範囲設定部と、
公開するユーザの範囲の種類毎に、分割フレーム画像群のシーンに対する公開の優先度に基づいて、各々の分割フレーム画像群を公開するか否かを判定する公開非公開判定部と、
公開するユーザの範囲の種類毎に、公開すると判定された分割フレーム画像群に含まれるフレーム画像の一部または全部を結合し、公開するユーザの範囲の種類に対応したアクセス権限を付与して、公開するユーザの範囲の種類毎の動画のダイジェスト動画を生成するダイジェスト動画生成部とを備えることを特徴とする画像処理装置を提供する。

さらに、１以上のカテゴリのシーン毎に、公開の優先度を設定する優先度設定部を備えることが好ましい。

また、優先度設定部は、各々の画質評価項目に対する公開の優先度を設定するものであり、
画像解析部は、各々の画質評価項目について、各々のフレーム画像の画像解析を行って、各々のフレーム画像の評価値を算出するものであり、
公開非公開判定部は、各々のフレーム画像の評価値と、各々の画質評価項目に対する公開の優先度に応じて設定された第１公開閾値とを比較した結果に基づいて、各々のフレーム画像を公開するか否かを判定するものであることが好ましい。

また、各々の画質評価項目に対する公開の優先度が高いほど、第１公開閾値が小さくなるように設定されるものであることが好ましい。

また、優先度設定部は、各々の登録人物に対する公開の優先度を設定するものであり、
画像解析部は、各々のフレーム画像の画像解析を行って、顔の有無を検出し、顔があると検出された、人物のシーンである各々のフレーム画像から顔画像を抽出するものであり、
さらに、各々のフレーム画像から抽出された顔画像に対し中心人物判定を行って、動画に登場する各々の人物のランクを決定する人物判定部を備え、
フレーム画像分割部は、登場する人物の数が異なるフレーム画像を、異なる分割フレーム画像群に分割するものであり、
公開非公開判定部は、分割フレーム画像群が人物のシーンである場合に、各々のフレーム画像の評価値から算出された分割フレーム画像群の評価値に対し、分割フレーム画像群に登場する人物に対応する登録人物の公開の優先度から決定された第１重み付け係数、および、分割フレーム画像群に登場する人物に対応する人物のランクから決定された第２重み付け係数を積算した第１総合評価値と、各々の登録人物に対する公開の優先度に応じて設定された第２公開閾値とを比較した結果に基づいて、分割フレーム画像群を公開するか否かを判定するものであることが好ましい。

また、各々の登録人物に対する公開の優先度が高いほど、第２公開閾値が小さくなるように設定されるものであることが好ましい。

また、優先度設定部は、各々の登録人物に対する公開の優先度を設定するものであり、
画像解析部は、各々のフレーム画像の画像解析を行って、顔の有無を検出し、顔があると検出された、人物のシーンである各々のフレーム画像から顔画像を抽出するものであり、
さらに、各々のフレーム画像から抽出された顔画像に対し人物判定を行う人物判定部を備え、
フレーム画像分割部は、登場する人物の数が異なるフレーム画像を、異なる分割フレーム画像群に分割するものであり、
公開非公開判定部は、分割フレーム画像群が人物のシーンである場合に、分割フレーム画像群に登場する人物に対応する登録人物の公開の優先度に基づいて、分割フレーム画像群を公開するか否かを仮判定するものであり、
さらに、仮判定の結果を表示する表示部と、ユーザが表示部に表示された仮判定の結果を参照して入力した公開するか否かの最終判定を受け取る入力部とを備え、
公開非公開判定部は、最終判定に基づいて、分割フレーム画像群を公開するか否かを本判定するものであることが好ましい。

また、優先度設定部は、各々のアノテーションタグのシーンに対する公開の優先度を設定するものであり、
画像解析部は、各々のフレーム画像の画像解析を行って、各々のフレーム画像の評価値を算出するとともに、アノテーション解析により、各々のフレーム画像のアノテーションタグのシーンを解析し、解析されたシーンに対応するアノテーションタグをフレーム画像に付与するものであり、
公開非公開判定部は、分割フレーム画像群がアノテーションタグのシーンである場合に、各々のフレーム画像の評価値から算出された分割フレーム画像群の評価値に対し、分割フレーム画像群のアノテーションタグのシーンに対する公開の優先度から決定された第３重み付け係数を積算した第２総合評価値と、各々のアノテーションタグのシーンに対する公開の優先度に応じて設定された第３公開閾値とを比較した結果に基づいて、分割フレーム画像群を公開するか否かを判定するものであることが好ましい。

また、各々のアノテーションタグのシーンに対する公開の優先度が高いほど、第３公開閾値が小さくなるように設定されるものであることが好ましい。

また、優先度設定部は、各々のアノテーションタグのシーンに対する公開の優先度を設定するものであり、
画像解析部は、アノテーション解析により、各々のフレーム画像のアノテーションタグのシーンを解析し、解析されたシーンに対応するアノテーションタグをフレーム画像に付与するものであり、
公開非公開判定部は、分割フレーム画像群がアノテーションタグのシーンである場合に、分割フレーム画像群のアノテーションタグのシーンに対する公開の優先度に基づいて、分割フレーム画像群を公開するか否かを仮判定するものであり、
さらに、仮判定の結果を表示する表示部と、ユーザが表示部に表示された仮判定の結果を参照して入力した公開するか否かの最終判定を受け取る入力部とを備え、
公開非公開判定部は、最終判定に基づいて、分割フレーム画像群を公開するか否かを本判定するものであることが好ましい。

また、公開非公開判定部は、分割フレーム画像群に含まれる全てのフレーム画像の算術平均値、中央値、最頻値、または、加重平均値により、分割フレーム画像群の評価値を算出するものであることが好ましい。

また、画像解析部は、類似の音声が継続している２以上のフレーム画像を、同一音声のシーンであると判定するものであることが好ましい。

また、画像解析部は、特徴点が異なる２以上のフレーム画像を、それぞれ特徴点が異なるシーンであると判定するものであることが好ましい。

また、ダイジェスト動画生成部は、公開すると判定された分割フレーム画像群に含まれるフレーム画像の中から、評価値が、各々の画質評価項目に対する公開の優先度に応じて設定された第１公開閾値よりも大きいフレーム画像のみを採用してダイジェスト動画を生成するものであることが好ましい。

さらに、１以上のカテゴリのシーン毎に、公開を制限する、動画の撮影場所を設定する撮影場所設定部を備え、
ダイジェスト動画生成部は、複数の動画から１つのダイジェスト動画を生成する場合に、動画の撮影場所に応じて、公開すると判定された分割フレーム画像群に含まれるフレーム画像を、ダイジェスト動画に含めるか否かを制御するものであることが好ましい。

また、画像解析部は、フレーム画像抽出部により動画からフレーム画像が抽出される毎に、抽出されたフレーム画像の画像解析を行うものであることが好ましい。

また、ダイジェスト動画生成部は、公開すると判定された分割フレーム画像群に含まれるフレーム画像に、公開したい人物と公開したくない人物が同時に撮影されている場合に、公開したくない人物の顔にモザイク処理を施して、公開したい人物と公開したくない人物が同時に撮影されたフレーム画像をダイジェスト動画に含めるものであることが好ましい。

また、本発明は、フレーム画像抽出部が、動画から複数のフレーム画像を抽出するステップと、
画像解析部が、各々のフレーム画像の画像解析を行って、各々のフレーム画像のシーンを判定するステップと、
フレーム画像分割部が、各々のフレーム画像のシーンに基づいて、動画の再生順序における、前後のフレーム画像のシーンとは異なる１枚のフレーム画像、もしくは、同じシーンが連続する２枚以上のフレーム画像を分割フレーム画像群として、複数のフレーム画像を、動画の再生順序に従って、１以上の分割フレーム画像群に分割するステップと、
優先度設定部が、１以上のカテゴリのシーン毎に、公開の優先度を設定するステップと、
公開非公開判定部が、公開の優先度を設定するステップにより設定された、分割フレーム画像群のシーンに対する公開の優先度に基づいて、各々の分割フレーム画像群を公開するか否かを判定するステップと、
ダイジェスト動画生成部が、公開すると判定された分割フレーム画像群に含まれるフレーム画像の一部または全部を結合して動画のダイジェスト動画を生成するステップとを含むことを特徴とする画像処理方法を提供する。

また、本発明は、フレーム画像抽出部が、動画から複数のフレーム画像を抽出するステップと、
画像解析部が、各々のフレーム画像の画像解析を行って、各々のフレーム画像のシーンを判定するステップと、
フレーム画像分割部が、各々のフレーム画像のシーンに基づいて、動画の再生順序における、前後のフレーム画像のシーンとは異なる１枚のフレーム画像、もしくは、同じシーンが連続する２枚以上のフレーム画像を分割フレーム画像群として、複数のフレーム画像を、動画の再生順序に従って、１以上の分割フレーム画像群に分割するステップと、
公開範囲設定部が、１以上のカテゴリのシーン毎に、公開するユーザの範囲を設定するステップと、
公開非公開判定部が、公開するユーザの範囲の種類毎に、分割フレーム画像群のシーンに対する公開の優先度に基づいて、各々の分割フレーム画像群を公開するか否かを判定するステップと、
ダイジェスト動画生成部が、公開するユーザの範囲の種類毎に、公開すると判定された分割フレーム画像群に含まれるフレーム画像の一部または全部を結合し、公開するユーザの範囲の種類に対応したアクセス権限を付与して、公開するユーザの範囲の種類毎の動画のダイジェスト動画を生成するステップとを含むことを特徴とする画像処理方法を提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体を提供する。

また、本発明は、１以上のクライアントからネットワークを介してサーバへアップロードされた動画を、ネットワークを介してクライアントのユーザに公開する動画公開システムであって、
クライアントは、
上記のいずれかに記載の画像処理装置と、
動画または画像処理装置により生成されたダイジェスト動画を、ネットワークを介してサーバへアップロードする第１転送部とを備え、
サーバは、
ネットワークを介して、クライアントからアップロードされた動画またはダイジェスト動画を受信する第２転送部と、
第２転送部により受信された動画またはダイジェスト動画を保持する動画保持部と、
動画保持部に保持された動画から画像処理装置により生成されたダイジェスト動画、または、動画保持部に保持されたダイジェスト動画を、ネットワークを介して、クライアントのユーザに公開するか否かを制御する公開制御部とを備えることを特徴とする動画公開システムを提供する。

また、本発明は、１以上のクライアントからネットワークを介してサーバへアップロードされた動画を、ネットワークを介してクライアントのユーザに公開する動画公開方法であって、
クライアントにおいて、
上記に記載の画像処理方法によりダイジェスト動画を生成するステップと、
第１転送部が、動画または画像処理方法により生成されたダイジェスト動画を、ネットワークを介してサーバへアップロードするステップとを含み、
サーバにおいて、
第２転送部が、ネットワークを介して、クライアントからアップロードされた動画またはダイジェスト動画を受信するステップと、
動画保持部が、第２転送部により受信された動画またはダイジェスト動画を保持するステップと、
公開制御部が、動画保持部に保持された動画から画像処理方法により生成されたダイジェスト動画、または、動画保持部に保持されたダイジェスト動画を、ネットワークを介して、クライアントのユーザに公開するか否かを制御するステップとを含むことを特徴とする動画公開方法を提供する。

また、本発明は、上記に記載の動画公開方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記に記載の動画公開方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体を提供する。

本発明によれば、各々のカテゴリのシーン毎に、公開の優先度を設定しておくことにより、公開の優先度に基づいて、動画からユーザが公開したい部分のみを抽出してダイジェスト動画を生成し、生成されたダイジェスト動画をサーバへアップロードし、サーバへアップロードされたダイジェスト動画を、各々のクライアントのユーザに公開することができる。

本発明の動画公開システムの構成を表す一実施形態のブロック図である。 図１に示す各々のクライアントの構成を表す一実施形態のブロック図である。 図１に示すサーバの構成を表す一実施形態のブロック図である。 動画公開システムの動作を表す一実施形態のフローチャートである。 （Ａ），（Ｂ）および（Ｃ）は、それぞれ、画質評価項目、登録人物およびアノテーションタグのシーンに対する公開の優先度を設定する設定画面を表す一例の概念図である。 動画から複数のフレーム画像を抽出する様子を表す一例の概念図である。 画像解析部の動作を表す一例のフローチャートである。 複数のフレーム画像が、複数の分割フレーム画像群に分割された様子を表す一例の概念図である。 公開非公開設定部による、公開するか否かの仮判定の結果を表す一例の概念図である。 ダイジェスト動画生成部の動作を表す一例のフローチャートである。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、動画公開システム、動画公開方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の動画公開システムの構成を表す一実施形態のブロック図である。同図に示す動画公開システム１０は、サーバ１２と、インターネット等のネットワーク１６を介してサーバ１２に接続された１以上のクライアント１４とを備えている。動画公開システム１０は、１以上のクライアント１４からネットワーク１６を介してサーバ１２へアップロードされた動画を、ネットワーク１６を介してクライアント１４のユーザに公開するものである。

図２は、図１に示す各々のクライアントの構成を表す一実施形態のブロック図である。各々のクライアント１４は、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット端末等のように、各々のユーザが使用する本発明の画像処理装置となる端末装置であり、同図に示すように、優先度設定部１８と、動画保持部２０と、フレーム画像抽出部２２と、画像解析部２４と、人物判定部２６と、フレーム画像分割部２８と、公開非公開判定部３０と、表示部３２と、入力部３４と、ダイジェスト動画生成部３６と、第１転送部３８とを備えている。

優先度設定部１８は、１以上のカテゴリのシーン毎に、公開の優先度を設定するものである。
優先度設定部１８は、撮影失敗のシーンに対して、各々の画質評価項目に対する公開の優先度、人物のシーンに対して、各々の登録人物に対する公開の優先度、アノテーション解析により各々のフレーム画像に付与される各々のアノテーションタグのシーンに対する公開の優先度などを設定する。

ここで、シーンとは、失敗撮影のシーン、人物のシーン、アノテーションタグのシーンなどのように、動画に含まれる各種の場面を表すものであり、動画から抽出された１枚のフレーム画像または２以上のフレーム画像群により構成される。

画質評価項目とは、動画（各々のフレーム画像）の画質を評価するための項目であり、ボケブレ、明るさ、コントラスト等を例示することができる。フレーム画像のボケブレの程度が大きい、フレーム画像が極端に明るいまたは暗い、フレーム画像のコントラストが悪い、等の場合、撮影失敗のシーンであると判定することができ、このようなフレーム画像をユーザは公開したくないと考えられる。

登録人物とは、例えば、人物判定部２６が人物判定を行うために、事前に登録された人物（人物画像）である。動画に登場する各々の人物を登録人物として登録しておくことが望ましい。

アノテーション解析とは、フレーム画像のシーン（人物以外のシーン）を解析する処理である。アノテーション解析によりフレーム画像のシーンが解析されると、そのフレーム画像には、解析されたシーンに対応するアノテーションタグが付与される。

アノテーションタグは、赤ちゃん、旅行、結婚、子供、その他のテーマに分けて、あらかじめ設定されている。
赤ちゃんのテーマには、手足、顔、お出かけ、お宮参り、お風呂、ベッド、屋内、ケーキなどのシーンに対応するアノテーションタグが含まれる。
旅行のテーマには、料理、動物、自然風景、砂浜、草原、海、夜、夕、水中、植物、街、マーケット、黄金、彫刻、景観、東京、ライトアップ、室内、空、岩・土、紅葉、桜、白、闇、アップなどのシーンに対応するアノテーションタグが含まれる。
結婚のテーマには、ブーケ、ウェディングケーキ、集合写真、料理、祝福、挙式、屋外、ライト、ステンドグラス、スポットライト、暖色光などのシーンに対応するアノテーションタグが含まれる。
子供のテーマには、ケーキ、蝋燭、外遊び、砂浜、運動会、海、プール、夜、城、山、地球、お弁当、料理、夕、動物、闇、植物、集合、岩・土、街、アップなどのシーンに対応するアノテーションタグが含まれる。
その他のテーマには、動物、ベッド、ブーケ、ケーキ、蝋燭、城、祝福、挙式、桜、闇、料理、夕、運動会、草原、黄金、自然（緑）、集合、花火、紅葉、景観、ライトアップ、市場、山、夜、植物、岩・土、砂浜、海、神社、空、特別なケーキ（ウェディングケーキ）、地球、スポットライト、彫刻、街、東京、水中、アップ、雪（冬）などのシーンに対応するアノテーションタグが含まれる。

動画保持部２０は、ダイジェスト動画を生成するための、処理前の動画を保持するものである。

フレーム画像抽出部２２は、動画保持部２０に記憶された動画から複数のフレーム画像を抽出するものである。
動画からフレーム画像を抽出する方法は限定されない。例えば、動画から一定の時間間隔でフレーム画像を抽出してもよい。あるいは、ＫＦＥ（Key Frame Extraction）技術を利用して、シーンの変わり目などのキーとなるフレーム画像を抽出してもよい。

画像解析部２４は、フレーム画像抽出部２２により動画から抽出された各々のフレーム画像の画像解析を行って、各々のフレーム画像のシーンを判定するものである。
本実施形態の場合、画像解析部２４は、優先度設定部１８に設定された、各々の画質評価項目について、各々のフレーム画像の画像解析を行って、各々のフレーム画像の評価値（解析スコア）を算出し、フレーム画像の評価値に応じて撮影失敗のシーンであるか否かを判定する。
また、画像解析部２４は、各々のフレーム画像の画像解析を行って、顔の有無を検出し、顔の有無に応じて人物のシーンであるか否かを判定する。この場合、画像解析部２４は、顔があると検出された、人物のシーンである各々のフレーム画像から顔画像を抽出する。
また、画像解析部２４は、人物のシーンではないと判定された場合に、アノテーション解析により、各々のフレーム画像のアノテーションタグのシーンを解析する。

人物判定部２６は、画像解析部２４により各々のフレーム画像から抽出された顔画像に対し中心人物判定を行って、動画に登場する各々の人物のランクを決定するものである。

中心人物判定では、例えば、各々のフレーム画像から抽出された複数の顔画像に対して同一人物判定処理が行われ、複数の顔画像が、同一人物の顔画像からなる画像群に分類される。続いて、優先度設定部１８に設定された各々の登録人物の画像に基づいて、各々の画像群に対応する人物が特定される。続いて、特定された人物のうちの１以上の人物が主人公として決定され、主人公以外の人物のうち主人公と関連性の高い１以上の人物が重要人物として判定される。そして、主人公および重要人物の各々に対し、重要度に応じてランク付けが行われる。

例えば、顔画像の検出数が最も多い人物を主人公として決定したり、主人公以外の人物のうち、主人公と共に撮影されたフレーム画像の数が多い人物を重要人物と判定したりすることができる。
また、同一のフレーム画像に撮影された主人公の顔画像と主人公以外の人物の顔画像の間の距離を算出し、顔画像の間の距離が近い人物を重要人物と判定してもよい。
主人公が撮影されたフレーム画像の撮影日時情報と主人公以外の人物が撮影されたフレーム画像の撮影日時情報との差分、および主人公が撮影されたフレーム画像の撮影位置情報と主人公以外の人物が撮影されたフレーム画像の撮影位置情報との差分の一方もしくは両方に基づいて重要人物を判定してもよい。

フレーム画像分割部２８は、画像解析部２４により判定された、各々のフレーム画像のシーンに基づいて、フレーム画像抽出部２２により動画から抽出された、複数のフレーム画像を、動画の再生順序に従って、２以上の分割フレーム画像群に分割するものである。
フレーム画像分割部２８は、動画の先頭から、例えば、人物のシーンの１枚のフレーム画像、もしくは、同じ人物のシーンが連続する２枚以上のフレーム画像を人物のシーンの分割フレーム画像群として分割する。この後に続くフレーム画像も同様にして、動画の再生順序における、前後のフレーム画像とは異なるシーンの１枚のフレーム画像、もしくは、同じシーンが連続する２枚以上のフレーム画像を分割フレーム画像群として、複数のフレーム画像群を、動画の再生順序に従って、１以上の分割フレーム画像群に分割する。

公開非公開判定部３０は、優先度設定部１８に設定された、分割フレーム画像群のシーンに対する公開の優先度に基づいて、各々の分割フレーム画像群を公開するか否かを判定するものである。

表示部３２は、詳細は後述するが、公開非公開判定部３０が、公開するか否かの判定を手動で行う場合に、公開するか否かの仮判定の結果を表示するものである。

入力部３４は、ユーザが入力した、動画の１以上のカテゴリのシーン毎の公開の優先度や、ユーザが、表示部３２に表示された仮判定の結果を参照して入力した公開するか否かの最終判定を受け取るものである。

ダイジェスト動画生成部３６は、公開非公開判定部３０により公開すると判定された分割フレーム画像群に含まれるフレーム画像の一部または全部を結合して動画のダイジェスト動画を生成するものである。

第１転送部３８は、ダイジェスト動画生成部３６により生成されたダイジェスト動画を、ネットワーク１６を介してサーバ１２へアップロードするものである。

図３は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すように、サーバ１２は、第２転送部４０と、ダイジェスト動画保持部４２と、公開制御部４４とを備えている。

第２転送部４０は、ネットワーク１６を介して、各々のクライアント１４からアップロードされたダイジェスト動画を受信するものである。

ダイジェスト動画保持部（動画保持部）４２は、第２転送部４０により受信されたダイジェスト動画を保持するものである。

公開制御部４４は、ダイジェスト動画保持部４２に保持されたダイジェスト動画を、ネットワーク１６を介して、各々のクライアント１４のユーザに公開するか否かを制御するものである。

次に、図４に示すフローチャートを参照しながら、動画公開システム１０の動作を説明する。

まず、ユーザが、入力部３４を介して、動画の１以上のカテゴリのシーン毎に、公開の優先度を入力する。つまり、ユーザは、動画の各々のカテゴリのシーンに対して公開の優先度を入力することが可能であり、ユーザにより入力された、各々のカテゴリのシーン毎の公開の優先度は、優先度設定部１８に設定される（ステップＳ１）。

本実施形態の場合、動画の各々のカテゴリのシーンに対する公開の優先度として、図５（Ａ）に示す設定画面において、各々の画質評価項目に対する公開の優先度が、同図（Ｂ）に示す設定画面において、各々の登録人物に対する公開の優先度が、同図（Ｃ）に示す設定画面において、各々のアノテーションタグのシーンに対する公開の優先度が、それぞれ、ユーザにより高中低の３段階で設定される。
なお、公開の優先度は３段階に限らず、何段階で設定してもよい。

公開の優先度は、フレーム画像の評価値（解析スコア）に対応し、公開の優先度が高いほど、後述する公開閾値が小さくなるように設定される。つまり、公開の優先度が高くなるほど、公開閾値が低くなるように設定される。これにより、公開の優先度が高い場合には、公開の優先度が低い場合よりも公開閾値が低くなり、フレーム画像の評価値が同じ場合であっても、公開の優先度が高い場合のフレーム画像は、公開の優先度が低い場合のフレーム画像よりも公開されやすくなる。

続いて、図６に示すように、フレーム画像抽出部２２により、動画から複数のフレーム画像が抽出される（ステップＳ２）。

続いて、画像解析部２４により、抽出された各々のフレーム画像の画像解析が行われ、各々のフレーム画像のシーンが判定される（ステップＳ３）。
本実施形態の場合、画像解析部２４は、各々の画質評価項目について、各々のフレーム画像の画像解析を行って、各々のフレーム画像の評価値（解析スコア）を算出したり、顔の有無を検出して、各々のフレーム画像から顔画像を抽出したり、アノテーション解析により、各々のフレーム画像のシーンを解析して、アノテーションタグを付与したりする。

画像解析部２４は、図７のフローチャートに示すように、各々のフレーム画像について、以下の処理を繰り返し行う（フレーム画像の繰り返し処理）。

画像解析部２４は、まず、各々の画質評価項目について、フレーム画像の画像解析を行って、フレーム画像の評価値を算出する（ステップＳ３１）。

続いて、公開非公開判定部３０は、フレーム画像が撮影失敗のシーンであるか否かの判定を行う（ステップＳ３２）。

この場合、公開非公開判定部３０は、フレーム画像の評価値と、各々の画質評価項目に対する公開の優先度に応じて設定された第１公開閾値とを比較した結果に基づいて、各々のフレーム画像を公開するか否かを判定する。その結果、式（１）に示すように、フレーム画像の評価値が第１公開閾値よりも小さい場合に、撮影失敗のシーンであると判定する。撮影失敗のシーンは基本的に非公開シーンとする。
第１公開閾値 ＞ フレーム画像の評価値 … 式（１）

続いて、画像解析部２４は、フレーム画像中の顔（人物）の有無を検出する（ステップＳ３３）。

フレーム画像中に顔があると判定された場合（ステップＳ３３で「有り」）、画像解析部２４は、顔があると判定された、人物のシーンであるフレーム画像から顔画像を抽出し、連続するフレーム画像に登場する人物の類似評価（ステップＳ３４）、フレーム画像に登場する人物（画像）と優先度設定部１８に設定された登録人物（画像）との類似評価を行って（ステップＳ３５）、同数の人物が登場し続けているか否かを判定する。その結果、画像解析部２４は、その同数の人物が登場し続けるシーンを、その同数の人物が登場するシーンであると判定する（ステップＳ３６）。例えば、一人の人物が登場し続けるシーンを、その一人の人物のシーンであると判断する。

動画は連続して撮影されるため、登場する人物の数が変化しない場合、そこには同じ人物が登場し続けていると考えられる。一方、登場する人物の数が変化した場合には、それぞれの人物に対して公開判定を行うために、シーンを区別する必要がある。

これに対し、フレーム画像中に顔がないと判定された場合（ステップＳ３３で「無し」）、画像解析部２４は、アノテーション解析を行って（ステップＳ３７）、フレーム画像のシーンを判定する（ステップＳ３８）。
アノテーション解析では、各々のアノテーションタグのシーンに対するフレーム画像の評価値が算出される。その結果、画像解析部２４は、式（２）に示すように、各々のアノテーションタグのシーンに対するフレーム画像の評価値のうちの最大値が、あらかじめ設定されたタグ閾値よりも大きい場合に、そのフレーム画像のシーンを、フレーム画像の評価値が最大値であるアノテーションタグのシーンであると判定する。シーンが解析されたフレーム画像には、そのシーンに対応するアノテーションタグが付与される。
アノテーションタグのシーンの評価値の最大値 ＞ タグ閾値 … 式（２）

なお、画像解析部２４は、シーンを判定する場合に、類似の音声が継続している２以上のフレーム画像を、同一音声のシーンであると判定したり、特徴点（シーン切り換えや、関心（撮影対象）の大きな変動など）が異なる２以上のフレーム画像を、それぞれ特徴点が異なるシーンであると判定したりしてもよい。

続いて、図８に示すように、フレーム画像分割部２８により、各々のフレーム画像のシーンに基づいて、動画の再生順序における、前後のフレーム画像のシーンとは異なる１枚のフレーム画像、もしくは、同じシーンが連続する２枚以上のフレーム画像を分割フレーム画像群として、複数のフレーム画像が、動画の再生順序に従って、１以上の分割フレーム画像群に分割される（ステップＳ４）。
同図に示す例では、フレーム画像抽出部２２により動画から抽出された複数のフレーム画像が、人物数：１のシーン、撮影失敗（低スコア）のシーン、人物数：２のシーン、料理（アノテーションタグ）のシーン、人物数：１のシーンに分割されている。

前述のように、画像解析部２４は、それぞれの人物に対して公開判定を行うために、登場する人物の数が異なるフレーム画像を、異なるシーンであると判定する。その結果、フレーム画像分割部２８は、登場する人物の数が異なるフレーム画像を、異なる分割フレーム画像群に分割する。

続いて、人物判定部２６により、各々のフレーム画像から抽出された顔画像に対し中心人物判定が行われ、動画に登場する各々の人物のランクが決定される（ステップＳ５）。

続いて、公開非公開判定部３０により、人物のシーンである分割フレーム画像群を公開するか否かの判定が行われる。この場合、公開非公開判定部３０は、公開するか否かを自動判定するか、もしくは、ユーザの選択により手動判定することもできる。

公開非公開判定部３０は、自動判定を行う場合、まず、各々のフレーム画像の評価値から分割フレーム画像群の評価値を算出する。分割フレーム画像群の評価値は、例えば、分割フレーム画像群に含まれる全てのフレーム画像の評価値の算術平均値の他、中央値、最頻値、加重平均値などにより算出することができる。
続いて、式（３）に示すように、分割フレーム画像群の評価値に対し、分割フレーム画像群に登場する人物に対応する登録人物の公開の優先度から決定された第１重み付け係数Ｃ１、および、分割フレーム画像群に登場する人物に対応する人物のランクから決定された第２重み付け係数Ｃ２を積算して第１総合評価値を算出する。
そして、第１総合評価値と、各々の登録人物に対する公開の優先度に応じて設定された第２公開閾値とを比較した結果に基づいて、分割フレーム画像群を公開するか否かを判定する。つまり、第１総合評価値が第２公開閾値よりも大きい場合に、分割フレーム画像群を公開すると判定する（ステップＳ６）。
フレーム画像群の評価値＊Ｃ１＊Ｃ２ ＞ 第２公開閾値 … 式（３）

公開非公開判定部３０は、手動判定を行う場合、まず、分割フレーム画像群に登場する人物に対応する登録人物の公開の優先度に基づいて、分割フレーム画像群を公開するか否かを仮判定し、図９に示すように、仮判定の結果を表示部３２に表示する。
図９の左端は、登録人物Ａ，Ｂを、左から２番目は、登録人物Ａ，Ｂの公開の優先度が高、低であることを、左から３番目は、分割フレーム画像群に登場する人物１，２，３を、同図の右端は、仮判定（公開／非公開の設定）の結果を表す。この例では、登録人物Ａの公開の優先度が高であり、分割フレーム画像群に登場する人物２が登録人物Ａであることから、人物２が登場する分割フレーム画像群を公開するという仮判定の結果が表示部３２に表示される。
続いて、ユーザにより、仮判定の結果を参照して、公開するか否かの最終判定が入力部３４を介して入力される。
そして、入力部３４により取得された最終判定に基づいて、分割フレーム画像群を公開するか否かを本判定（決定）する。

続いて、公開非公開判定部３０により、アノテーションタグのシーンである分割フレーム画像群を公開するか否かの判定が行われる。この場合も同様に、公開非公開判定部３０は、公開するか否かを自動判定するか、もしくは、ユーザの選択により手動判定することもできる。

公開非公開判定部３０は、自動判定を行う場合、まず同様に、各々のフレーム画像の評価値から分割フレーム画像群の評価値を算出する。
続いて、式（４）に示すように、分割フレーム画像群の評価値に対し、分割フレーム画像群のアノテーションタグのシーンに対する公開の優先度から決定された第３重み付け係数Ｃ３を積算して第２総合評価値を算出する。
そして、第２総合評価値と、各々のアノテーションタグのシーンに対する公開の優先度に応じて設定された第３公開閾値とを比較した結果に基づいて、分割フレーム画像群を公開するか否かを決定する。つまり、第２総合評価値が第３公開閾値よりも大きい場合に、分割フレーム画像群を公開すると判定する（ステップＳ７）。
分割フレーム画像群＊Ｃ３ ＞ 第３公開閾値 … 式（４）

公開非公開判定部３０は、手動判定を行う場合、まず同様に、分割フレーム画像群のアノテーションタグのシーンに対する公開の優先度に基づいて、分割フレーム画像群を公開するか否かを仮判定し、仮判定の結果を表示部３２に表示する。
続いて、ユーザにより、仮判定の結果を参照して、公開するか否かの最終判定が入力部３４を介して入力される。
そして、入力部３４により取得された最終判定に基づいて、分割フレーム画像群を公開するか否かを本判定する。

続いて、ダイジェスト動画生成部３６により、公開すると判定された分割フレーム画像群に含まれるフレーム画像の一部または全部が結合されて、動画のダイジェスト動画が生成される（ステップＳ８）。

ここで、公開すると判定された分割フレーム画像群に含まれるフレーム画像の中から、評価値が第１公開閾値よりも大きいフレーム画像のみを採用することにより、一部の「良い」シーンのみを抜き出してダイジェスト動画とすることができる。
この場合、ダイジェスト動画生成部３６は、図１０のフローチャートに示すように、公開すると判定された分割フレーム画像群に含まれる全てのフレーム画像について、以下の処理を繰り返し行う。
ダイジェスト動画生成部３６は、まず、フレーム画像の評価値が、第１公開閾値よりも大きいか否かを判定する（ステップＳ８１）。
その結果、フレーム画像の評価値が、第１公開閾値よりも大きい場合には（ステップＳ８１でＹＥＳ）、そのフレーム画像をダイジェスト動画に利用する（ステップＳ８２）。一方、フレーム画像の評価値が、第１公開閾値以下である場合には（ステップＳ８１でＮＯ）、そのフレーム画像をダイジェスト動画に利用しない。

続いて、第１転送部３８により、ダイジェスト動画が、ネットワーク１６を介してサーバ１２へアップロードされる（ステップＳ９）。

サーバ１２では、第２転送部４０により、ネットワーク１６を介して、クライアント１４からアップロードされたダイジェスト動画が受信され、ダイジェスト動画保持部４２に保持される（ステップＳ１０）。
そして、公開制御部４４により、ダイジェスト動画保持部４２に保持されたダイジェスト動画を、ネットワーク１６を介して、各々のクライアント１４のユーザに公開するか否かの制御が行われる（ステップＳ１１）。

このように、動画公開システム１０では、各々のカテゴリのシーン毎に、公開の優先度を設定しておくことにより、公開の優先度に基づいて、動画からユーザが公開したい部分のみを抽出してダイジェスト動画を生成し、生成されたダイジェスト動画をサーバ１２へアップロードし、サーバ１２へアップロードされたダイジェスト動画を、各々のクライアント１４のユーザに公開することができる。

なお、各々のクライアント１４が、１以上のカテゴリのシーン毎に、公開するユーザの範囲を設定する公開範囲設定部を備え、公開するユーザの範囲の種類毎に異なるダイジェスト動画を生成して、公開するユーザの範囲の種類毎のダイジェスト動画を、公開する範囲のクライアント１４のユーザにのみ公開してもよい。
この場合、まず、公開範囲設定部により、表１に示すように、１以上のカテゴリのシーン毎に、公開するユーザの範囲が設定される。
表１の例では、例えば、人物Ａのシーンに対して、ユーザ自身のみ（ユーザ自身のみが閲覧可能）、人物Ｂのシーンに対して、ＳＮＳ上の友人まで可（ユーザ自身およびＳＮＳ上の友人が閲覧可能）、人物Ｃのシーンに対して、フルアクセス可（ＳＮＳ上の全てのユーザが閲覧可能）のように、公開するユーザの範囲が設定されている。

公開の優先度を優先度設定部１８に設定する場合の動作、フレーム画像抽出部２２により、動画から複数のフレーム画像を抽出する場合の動作、画像解析部２４により、各々のフレーム画像のシーンを判定する場合の動作、フレーム画像分割部２８により、複数のフレーム画像を、１以上の分割フレーム画像群に分割する場合の動作、人物判定部２６により、中心人物判定を行って、動画に登場する各々の人物のランクを決定する場合の動作は、前述の通りである。

続いて、公開非公開判定部３０により、公開するユーザの範囲の種類毎に、分割フレーム画像群のシーンに対する公開の優先度に基づいて、各々の分割フレーム画像群を公開するか否かの判定が行われる。

続いて、ダイジェスト動画生成部３６により、公開するユーザの範囲の種類毎に、公開非公開判定部３０により公開すると判定された分割フレーム画像群に含まれるフレーム画像の一部または全部が結合され、かつ、公開するユーザの範囲の種類に対応したアクセス権限が付与されて、公開するユーザの範囲の種類毎のダイジェスト動画が生成される。

続いて、第１転送部３８により、公開するユーザの範囲の種類毎のダイジェスト動画がサーバ１２へアップロードされる。

サーバ１２では、第２転送部４０により、クライアント１４からアップロードされた、公開するユーザの範囲の種類毎のダイジェスト動画が受信され、ダイジェスト動画保持に４０に保持される。
続いて、公開制御部４４により、ダイジェスト動画保持部４２に保持された、公開するユーザの範囲の種類毎のダイジェスト動画が、ダイジェスト動画に付与されたアクセス権限に対応するクライアント１４のユーザに公開されるように制御される。

また、複数の動画から１つのダイジェスト動画を生成する場合に、動画の撮影場所に応じて公開するか否かを制限してもよい。この場合、各々のクライアント１４は、１以上のカテゴリのシーン毎に、公開を制限する、動画の撮影場所（地理情報）を設定する撮影場所設定部を備える。
ダイジェスト動画生成部３６は、例えば、自宅周辺で撮影された動画（分割フレーム画像群、フレーム画像）を、ダイジェスト動画から除外したいなどのように、動画の撮影場所に応じて、公開すると判定された分割フレーム画像群に含まれるフレーム画像を、ダイジェスト動画に含めるか否かを制御することができる。

また、フレーム画像抽出部２２により、動画から複数のフレーム画像の全てを抽出した後に、画像解析部２４により、各々のフレーム画像の画像解析を行うのではなく、フレーム画像抽出部２２により動画からフレーム画像が抽出される毎に、抽出されたフレーム画像の画像解析を行ってもよい。つまり、画像解析部２４は、動画からフレーム画像が抽出されるのと並列に、フレーム画像の画像解析を同時進行で実施してもよい。

この場合、例えば、人物が撮影されたフレーム画像や、画像解析の結果、評価値が高いフレーム画像の場合、次にフレーム画像を抽出するまでの時間間隔を短くし、逆に、人物が撮影されていないフレーム画像や、評価値が低いフレーム画像の場合、次にフレーム画像を抽出するまでの時間間隔を長くすることができる。これにより、最もコストがかかるフレーム画像の画像解析を、重要な部分は密、重要ではない部分では疎とすることにより、画像解析を高精度化、かつ、高速化することができる。

また、ダイジェスト動画生成部３６は、公開すると判定された分割フレーム画像群に含まれるフレーム画像に、公開したい人物と公開したくない人物が同時に撮影されている場合に、公開したくない人物の顔にモザイク処理を施して、そのフレーム画像をダイジェスト動画に含めてもよい。

上記実施形態では、クライアント１４が、優先度設定部１８、動画保持部２０、フレーム画像抽出部２２、画像解析部２４、人物判定部２６、フレーム画像分割部２８、公開非公開判定部３０、表示部３２、入力部３４、ダイジェスト動画生成部３６、第１転送部３８を備えているが、本発明はこれに限定されず、１つのクライアント１４が、これら全ての構成要素を備えている必要はない。

例えば、サーバ１２が、第１転送部３８以外の構成要素のうちの少なくとも１つを備える構成としてもよいし、複数のクライアント１４の各々が、第１転送部３８以外の構成要素のうちの少なくとも１つを備える構成としてもよいし、サーバ１２および複数のクライアント１４の各々において、第１転送部３８以外の構成要素のうちの少なくとも１つを備える構成としてもよい。

ここで、サーバ１２において動画からダイジェスト動画を生成する場合、クライアント１４の第１転送部３８により動画がアップロードされ、サーバ１２の第２転送部４０によりアップロードされた動画が受信されてダイジェスト動画保持部（動画保持部）４２に保持される。そして、ダイジェスト動画生成部３６により、ダイジェスト動画保持部４２に保持された動画からダイジェスト動画が生成され、公開制御部４４により、ダイジェスト動画生成部３６により生成されたダイジェスト動画を、クライアント１４のユーザに公開するか否かの制御が行われる。

このように、サーバ１２やクライアント１４等の複数の処理装置が、画像処理装置を構成する構成要素のうちの少なくとも１つを備える構成として、ダイジェスト動画を生成するための処理を複数の処理装置で分担して行うようにしてもよい。

本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 動画公開システム
１２ サーバ
１４ クライアント
１６ ネットワーク
１８ 優先度設定部
２０ 動画保持部
２２ フレーム画像抽出部
２４ 画像解析部
２６ 人物判定部
２８ フレーム画像分割部
３０ 公開非公開判定部
３２ 表示部
３４ 入力部
３６ ダイジェスト動画生成部
３８ 第１転送部
４０ 第２転送部
４２ ダイジェスト動画保持部（動画保持部）
４４ 公開制御部

Claims (26)

1. 動画から複数のフレーム画像を抽出するフレーム画像抽出部と、
   各々の前記フレーム画像の画像解析を行って、各々の前記フレーム画像のシーンを判定する画像解析部と、
   各々の前記フレーム画像のシーンに基づいて、前記動画の再生順序における、前後のフレーム画像のシーンとは異なる１枚のフレーム画像、もしくは、同じシーンが連続する２枚以上のフレーム画像を分割フレーム画像群として、複数の前記フレーム画像を、前記動画の再生順序に従って、１以上の前記分割フレーム画像群に分割するフレーム画像分割部と、
   １以上のカテゴリのシーン毎に、公開の優先度を設定する優先度設定部と、
   前記優先度設定部に設定された、前記分割フレーム画像群のシーンに対する公開の優先度に基づいて、各々の前記分割フレーム画像群を公開するか否かを判定する公開非公開判定部と、
   前記公開すると判定された分割フレーム画像群に含まれるフレーム画像の一部または全部を結合して前記動画のダイジェスト動画を生成するダイジェスト動画生成部とを備えることを特徴とする画像処理装置。
2. 動画から複数のフレーム画像を抽出するフレーム画像抽出部と、
   各々の前記フレーム画像の画像解析を行って、各々の前記フレーム画像のシーンを判定する画像解析部と、
   各々の前記フレーム画像のシーンに基づいて、前記動画の再生順序における、前後のフレーム画像のシーンとは異なる１枚のフレーム画像、もしくは、同じシーンが連続する２枚以上のフレーム画像を分割フレーム画像群として、複数の前記フレーム画像を、前記動画の再生順序に従って、１以上の前記分割フレーム画像群に分割するフレーム画像分割部と、
   １以上のカテゴリのシーン毎に、公開するユーザの範囲を設定する公開範囲設定部と、
   前記公開するユーザの範囲の種類毎に、前記分割フレーム画像群のシーンに対する公開の優先度に基づいて、各々の前記分割フレーム画像群を公開するか否かを判定する公開非公開判定部と、
   前記公開するユーザの範囲の種類毎に、前記公開すると判定された分割フレーム画像群に含まれるフレーム画像の一部または全部を結合し、前記公開するユーザの範囲の種類に対応したアクセス権限を付与して、前記公開するユーザの範囲の種類毎の前記動画のダイジェスト動画を生成するダイジェスト動画生成部とを備えることを特徴とする画像処理装置。
3. さらに、１以上のカテゴリのシーン毎に、前記公開の優先度を設定する優先度設定部を備える請求項２に記載の画像処理装置。
4. 前記優先度設定部は、各々の画質評価項目に対する公開の優先度を設定するものであり、
   前記画像解析部は、各々の前記画質評価項目について、各々の前記フレーム画像の画像解析を行って、各々の前記フレーム画像の評価値を算出するものであり、
   前記公開非公開判定部は、各々の前記フレーム画像の評価値と、各々の前記画質評価項目に対する公開の優先度に応じて設定された第１公開閾値とを比較した結果に基づいて、各々の前記フレーム画像を公開するか否かを判定するものである請求項１または３に記載の画像処理装置。
5. 各々の前記画質評価項目に対する公開の優先度が高いほど、前記第１公開閾値が小さくなるように設定されるものである請求項４に記載の画像処理装置。
6. 前記優先度設定部は、各々の登録人物に対する公開の優先度を設定するものであり、
   前記画像解析部は、各々の前記フレーム画像の画像解析を行って、顔の有無を検出し、前記顔があると検出された、人物のシーンである各々の前記フレーム画像から顔画像を抽出するものであり、
   さらに、各々の前記フレーム画像から抽出された顔画像に対し中心人物判定を行って、前記動画に登場する各々の人物のランクを決定する人物判定部を備え、
   前記フレーム画像分割部は、登場する人物の数が異なるフレーム画像を、異なる分割フレーム画像群に分割するものであり、
   前記公開非公開判定部は、前記分割フレーム画像群が人物のシーンである場合に、各々の前記フレーム画像の評価値から算出された前記分割フレーム画像群の評価値に対し、前記分割フレーム画像群に登場する人物に対応する前記登録人物の公開の優先度から決定された第１重み付け係数、および、前記分割フレーム画像群に登場する人物に対応する前記人物のランクから決定された第２重み付け係数を積算した第１総合評価値と、各々の前記登録人物に対する公開の優先度に応じて設定された第２公開閾値とを比較した結果に基づいて、前記分割フレーム画像群を公開するか否かを判定するものである請求項４または５に記載の画像処理装置。
7. 各々の前記登録人物に対する公開の優先度が高いほど、前記第２公開閾値が小さくなるように設定されるものである請求項６に記載の画像処理装置。
8. 前記優先度設定部は、各々の登録人物に対する公開の優先度を設定するものであり、
   前記画像解析部は、各々の前記フレーム画像の画像解析を行って、顔の有無を検出し、前記顔があると検出された、人物のシーンである各々の前記フレーム画像から顔画像を抽出するものであり、
   さらに、各々の前記フレーム画像から抽出された顔画像に対し人物判定を行う人物判定部を備え、
   前記フレーム画像分割部は、登場する人物の数が異なるフレーム画像を、異なる分割フレーム画像群に分割するものであり、
   前記公開非公開判定部は、前記分割フレーム画像群が人物のシーンである場合に、前記分割フレーム画像群に登場する人物に対応する前記登録人物の公開の優先度に基づいて、前記分割フレーム画像群を公開するか否かを仮判定するものであり、
   さらに、前記仮判定の結果を表示する表示部と、ユーザが前記表示部に表示された仮判定の結果を参照して入力した公開するか否かの最終判定を受け取る入力部とを備え、
   前記公開非公開判定部は、前記最終判定に基づいて、前記分割フレーム画像群を公開するか否かを本判定するものである請求項４または５に記載の画像処理装置。
9. 前記優先度設定部は、各々のアノテーションタグのシーンに対する公開の優先度を設定するものであり、
   前記画像解析部は、各々の前記フレーム画像の画像解析を行って、各々の前記フレーム画像の評価値を算出するとともに、アノテーション解析により、各々の前記フレーム画像のアノテーションタグのシーンを解析し、解析された前記シーンに対応するアノテーションタグを前記フレーム画像に付与するものであり、
   前記公開非公開判定部は、前記分割フレーム画像群がアノテーションタグのシーンである場合に、各々の前記フレーム画像の評価値から算出された前記分割フレーム画像群の評価値に対し、前記分割フレーム画像群のアノテーションタグのシーンに対する公開の優先度から決定された第３重み付け係数を積算した第２総合評価値と、各々の前記アノテーションタグのシーンに対する公開の優先度に応じて設定された第３公開閾値とを比較した結果に基づいて、前記分割フレーム画像群を公開するか否かを判定するものである請求項４または５に記載の画像処理装置。
10. 各々の前記アノテーションタグのシーンに対する公開の優先度が高いほど、前記第３公開閾値が小さくなるように設定されるものである請求項９に記載の画像処理装置。
11. 前記優先度設定部は、各々のアノテーションタグのシーンに対する公開の優先度を設定するものであり、
    前記画像解析部は、アノテーション解析により、各々の前記フレーム画像のアノテーションタグのシーンを解析し、解析された前記シーンに対応するアノテーションタグを前記フレーム画像に付与するものであり、
    前記公開非公開判定部は、前記分割フレーム画像群がアノテーションタグのシーンである場合に、前記分割フレーム画像群のアノテーションタグのシーンに対する公開の優先度に基づいて、前記分割フレーム画像群を公開するか否かを仮判定するものであり、
    さらに、前記仮判定の結果を表示する表示部と、ユーザが前記表示部に表示された仮判定の結果を参照して入力した公開するか否かの最終判定を受け取る入力部とを備え、
    前記公開非公開判定部は、前記最終判定に基づいて、前記分割フレーム画像群を公開するか否かを本判定するものである請求項４または５に記載の画像処理装置。
12. 前記公開非公開判定部は、前記分割フレーム画像群に含まれる全てのフレーム画像の算術平均値、中央値、最頻値、または、加重平均値により、前記分割フレーム画像群の評価値を算出するものである請求項４〜１１のいずれか１項に記載の画像処理装置。
13. 前記画像解析部は、類似の音声が継続している２以上のフレーム画像を、同一音声のシーンであると判定するものである請求項１〜３のいずれか１項に記載の画像処理装置。
14. 前記画像解析部は、特徴点が異なる２以上のフレーム画像を、それぞれ前記特徴点が異なるシーンであると判定するものである請求項１〜３のいずれか１項に記載の画像処理装置。
15. 前記ダイジェスト動画生成部は、前記公開すると判定された分割フレーム画像群に含まれるフレーム画像の中から、前記評価値が、各々の前記画質評価項目に対する公開の優先度に応じて設定された第１公開閾値よりも大きいフレーム画像のみを採用して前記ダイジェスト動画を生成するものである請求項４〜１２のいずれか１項に記載の画像処理装置。
16. さらに、前記１以上のカテゴリのシーン毎に、公開を制限する、前記動画の撮影場所を設定する撮影場所設定部を備え、
    前記ダイジェスト動画生成部は、複数の動画から１つの前記ダイジェスト動画を生成する場合に、前記動画の撮影場所に応じて、前記公開すると判定された分割フレーム画像群に含まれるフレーム画像を、前記ダイジェスト動画に含めるか否かを制御するものである請求項１〜１５のいずれか１項に記載の画像処理装置。
17. 前記画像解析部は、前記フレーム画像抽出部により前記動画から前記フレーム画像が抽出される毎に、前記抽出されたフレーム画像の画像解析を行うものである請求項１〜１６のいずれか１項に記載の画像処理装置。
18. 前記ダイジェスト動画生成部は、前記公開すると判定された分割フレーム画像群に含まれるフレーム画像に、公開したい人物と公開したくない人物が同時に撮影されている場合に、前記公開したくない人物の顔にモザイク処理を施して、前記公開したい人物と前記公開したくない人物が同時に撮影されたフレーム画像を前記ダイジェスト動画に含めるものである請求項１〜１７のいずれか１項に記載の画像処理装置。
19. フレーム画像抽出部が、動画から複数のフレーム画像を抽出するステップと、
    画像解析部が、各々の前記フレーム画像の画像解析を行って、各々の前記フレーム画像のシーンを判定するステップと、
    フレーム画像分割部が、各々の前記フレーム画像のシーンに基づいて、前記動画の再生順序における、前後のフレーム画像のシーンとは異なる１枚のフレーム画像、もしくは、同じシーンが連続する２枚以上のフレーム画像を分割フレーム画像群として、複数の前記フレーム画像を、前記動画の再生順序に従って、１以上の前記分割フレーム画像群に分割するステップと、
    優先度設定部が、１以上のカテゴリのシーン毎に、公開の優先度を設定するステップと、
    公開非公開判定部が、前記公開の優先度を設定するステップにより設定された、前記分割フレーム画像群のシーンに対する公開の優先度に基づいて、各々の前記分割フレーム画像群を公開するか否かを判定するステップと、
    ダイジェスト動画生成部が、前記公開すると判定された分割フレーム画像群に含まれるフレーム画像の一部または全部を結合して前記動画のダイジェスト動画を生成するステップとを含むことを特徴とする画像処理方法。
20. フレーム画像抽出部が、動画から複数のフレーム画像を抽出するステップと、
    画像解析部が、各々の前記フレーム画像の画像解析を行って、各々の前記フレーム画像のシーンを判定するステップと、
    フレーム画像分割部が、各々の前記フレーム画像のシーンに基づいて、前記動画の再生順序における、前後のフレーム画像のシーンとは異なる１枚のフレーム画像、もしくは、同じシーンが連続する２枚以上のフレーム画像を分割フレーム画像群として、複数の前記フレーム画像を、前記動画の再生順序に従って、１以上の前記分割フレーム画像群に分割するステップと、
    公開範囲設定部が、１以上のカテゴリのシーン毎に、公開するユーザの範囲を設定するステップと、
    公開非公開判定部が、前記公開するユーザの範囲の種類毎に、前記分割フレーム画像群のシーンに対する公開の優先度に基づいて、各々の前記分割フレーム画像群を公開するか否かを判定するステップと、
    ダイジェスト動画生成部が、前記公開するユーザの範囲の種類毎に、前記公開すると判定された分割フレーム画像群に含まれるフレーム画像の一部または全部を結合し、前記公開するユーザの範囲の種類に対応したアクセス権限を付与して、前記公開するユーザの範囲の種類毎の前記動画のダイジェスト動画を生成するステップとを含むことを特徴とする画像処理方法。
21. 請求項１９または２０に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
22. 請求項１９または２０に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体。
23. １以上のクライアントからネットワークを介してサーバへアップロードされた動画を、前記ネットワークを介して前記クライアントのユーザに公開する動画公開システムであって、
    前記クライアントは、
    請求項１〜１８のいずれか１項に記載の画像処理装置と、
    動画または前記画像処理装置により生成されたダイジェスト動画を、前記ネットワークを介して前記サーバへアップロードする第１転送部とを備え、
    前記サーバは、
    前記ネットワークを介して、前記クライアントからアップロードされた動画またはダイジェスト動画を受信する第２転送部と、
    前記第２転送部により受信された動画またはダイジェスト動画を保持する動画保持部と、
    前記動画保持部に保持された動画から前記画像処理装置により生成されたダイジェスト動画、または、前記動画保持部に保持されたダイジェスト動画を、前記ネットワークを介して、前記クライアントのユーザに公開するか否かを制御する公開制御部とを備えることを特徴とする動画公開システム。
24. １以上のクライアントからネットワークを介してサーバへアップロードされた動画を、前記ネットワークを介して前記クライアントのユーザに公開する動画公開方法であって、
    前記クライアントにおいて、
    請求項１９または２０に記載の画像処理方法によりダイジェスト動画を生成するステップと、
    第１転送部が、動画または前記画像処理方法により生成されたダイジェスト動画を、前記ネットワークを介して前記サーバへアップロードするステップとを含み、
    前記サーバにおいて、
    第２転送部が、前記ネットワークを介して、前記クライアントからアップロードされた動画またはダイジェスト動画を受信するステップと、
    動画保持部が、前記第２転送部により受信された動画またはダイジェスト動画を保持するステップと、
    公開制御部が、前記動画保持部に保持された動画から前記画像処理方法により生成されたダイジェスト動画、または、前記動画保持部に保持されたダイジェスト動画を、前記ネットワークを介して、前記クライアントのユーザに公開するか否かを制御するステップとを含むことを特徴とする動画公開方法。
25. 請求項２４に記載の動画公開方法の各々のステップをコンピュータに実行させるためのプログラム。
26. 請求項２４に記載の動画公開方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体。