JPWO2012070430A1 - 感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラム - Google Patents

Abstract

撮影時の場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせる。撮影された画像を分析し、撮影画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出部１１と、感性表現語データベース２１において感性情報に対応付けて記憶されている感性を表現する感性表現語から、感性情報算出部１１によって算出された感性情報に対応する感性表現語を抽出する感性表現語抽出部１２と、感性表現語抽出部１２により抽出された感性表現語を、撮影画像に重畳する重畳部３１と、を備える。

Description

本発明は、感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラムに関する。

離れた場所の雰囲気を相手に伝えたいことがある。このような場合、カメラ等で周囲の様子を撮影し、相手に見せることで撮影場所の雰囲気を伝えることができる。しかしながら、カメラ等で風景を撮影しただけでは、撮影場所の雰囲気を完全に伝えることができない。このような問題を解決する技術の一例として、特許文献１に記載の文字挿入装置がある。この文字挿入装置では、撮影時の発話内容や環境音などの聴覚的情報を文字に変換し、変換した文字を撮影画像に挿入することで、文字付き画像を生成している。

特開２００３−１８４６２号公報

人間は、撮影画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作などの視覚的情報から、その場の雰囲気や物体に対する印象をイメージする。例えば、多数の人間が存在する雑踏の映像を見た場合には、その場が「ゴチャゴチャ」していると感じる。また、多数の人間が存在していても誰も動き回っていないオフィスの映像を見た場合には、その場が「シーン」としていると感じる。しかしながら、撮影画像の中には、その場の状況や物体の状態、その場の時間的変化や物体の動作などの視覚的情報を認識することが難しい場合もある。このような場合、視覚的情報を表現する文字を見ることができれば、その場の雰囲気や物体に対する印象を、より明確にイメージすることが可能となる。

特許文献１に記載の文字挿入装置は、聴覚的情報を変換した文字を画像に挿入しているため、視覚的情報から得られる場の雰囲気や物体の印象を表現することまではできない。

本発明は、上述した課題を解決するためになされたものであり、撮影時の場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることができる感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラムを提供することを目的とする。

本発明の感性表現語処理装置は、撮影された画像を分析し、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出部と、予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出部と、前記感性表現語抽出部により抽出された前記感性表現語を、前記画像に重畳する重畳部と、を備える。

本発明の感性表現語処理方法は、撮影された画像を分析し、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出ステップと、予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出ステップと、前記感性表現語抽出ステップにおいて抽出された前記感性表現語を、前記画像に重畳する重畳ステップと、を含む。

本発明の感性表現語処理プログラムは、上記感性表現語処理方法に含まれる各ステップをコンピュータに実行させる。

本発明によれば、撮影時の場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることができる。

第１実施形態における感性表現語処理装置の構成を例示するブロック図である。 顔の数テーブルのデータ構成を例示する図である。 顔の傾きテーブルのデータ構成を例示する図である。 笑顔の度合テーブルのデータ構成を例示する図である。 第１実施形態における感性表現語処理装置の動作を説明するためのフローチャートである。 第２実施形態における感性表現語処理装置の構成を例示するブロック図である。 指の数テーブルのデータ構成を例示する図である。 第２実施形態における感性表現語処理装置の動作を説明するためのフローチャートである。 第３実施形態における感性表現語処理装置の構成を例示するブロック図である。 方向符号化テーブルのデータ構成を例示する図である。 動体の数テーブルのデータ構成を例示する図である。 動体の移動量テーブルのデータ構成を例示する図である。 動体の遷移情報テーブルのデータ構成を例示する図である。 輝度変化テーブルのデータ構成を例示する図である。 第３実施形態における感性表現語処理装置の動作を説明するためのフローチャートである。 第４実施形態における感性表現語処理装置の構成を例示するブロック図である。 表示装置に表示される感性表現語重畳画像を例示する図である。 第５実施形態における感性表現語処理装置の構成を例示するブロック図である。 第６実施形態における感性表現語処理装置の構成を例示するブロック図である。 第７実施形態における感性表現語処理装置の構成を例示するブロック図である。 表示装置に表示される感性表現語重畳画像を例示する図である。 第８実施形態における感性表現語処理装置の構成を例示するブロック図である。

以下、添付図面を参照して、本発明に係る感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラムの好適な実施形態について説明する。

本発明に係る感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラムは、入力された撮影画像を分析して感性情報を算出し、この感性情報に基づいて、撮影画像に表されている場の状況や物体の状態、場の変化や物体の動作に対応する感性表現語を抽出して出力する。

上記撮影画像には、映像信号を構成する一枚のフレーム画像（以下、「静止画像」と記載する。）や、フレーム画像群（以下、「動画像」と記載する。）が含まれる。

上記感性情報は、撮影画像に表されている場の状況や物体の状態、その場の時間的変化や物体の動作を示す情報である。場の状況や物体の状態を示す情報としては、例えば、人間の顔の数や顔の傾き、笑顔の度合、伸ばした指の数が該当する。場の時間的変化や物体の動作を示す情報としては、例えば、動きの大きな領域（以下、「動体」と記載する。）の数や、動体の移動量、動体の遷移情報、照明の点灯／消灯による画像の輝度の変化（以下、「輝度変化」と記載する。）が該当する。

上記感性表現語は、撮影画像に表されている場の状況や物体の状態、場の時間的変化や物体の動作などの視覚的情報から、撮影画像を見た人がイメージする場の雰囲気や物体に対する印象（感性）を表現する語である。感性表現語の代表的なものとして、擬音語や擬態語がある。擬音語としては、例えば、その場の賑やかな雰囲気を表現する「ワイワイ」が該当する。擬態語としては、例えば、動体のゆるやかな動作を表現する「ノロノロ」が該当する。

[第１実施形態]
第１実施形態の感性表現語処理装置は、静止画像の信号が入力信号として入力され、静止画像内の人間の顔の数や顔の傾き、笑顔の度合を感性情報として算出し、この感性情報に対応する感性表現語を抽出して出力する際の実施例である。

最初に、図１を参照して、第１実施形態における感性表現語処理装置の構成について説明する。

感性表現語処理装置１は、物理的には、例えば、ＣＰＵ（Central Processing Unit）と、記憶装置と、入出力インターフェースとを含んで構成される。記憶装置には、例えば、ＣＰＵで処理されるプログラムやデータを記憶するＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）、主として制御処理のための各種作業領域として使用されるＲＡＭ（Random Access Memory）等の要素が含まれる。これらの要素は、互いにバスを介して接続されている。ＣＰＵが、ＲＯＭに記憶されたプログラムを実行し、入出力インターフェースを介して受信された信号や、ＲＡＭに展開されたデータを処理することで、後述する感性表現語処理装置１の各部の機能を実現することができる。

図１に示すように、第１実施形態における感性表現語処理装置は、機能的には、感性情報算出部１１と感性表現語抽出部１２とを有する。感性情報算出部１１は、顔検出部１１１を含む。

顔検出部１１１は、入力された静止画像を分析して顔を検出し、顔の数や顔の傾き、笑顔の度合を算出することで、感性情報を算出する。顔の数や顔の傾きを算出する手法として、例えば、特開２００７−２３３５１７号公報に記載されている技術を用いることができる。また、笑顔の度合を算出する手法として、例えば、特開２００９−１４１５１６号公報に記載されている技術を用いることができる。

感性表現語抽出部１２は、感性情報算出部１１により算出された感性情報に対応する感性表現語を感性表現語データベース２１から抽出し、抽出した感性表現語を出力する。感性表現語を出力するデータ形式として、例えば、テキストデータ、Ｅｘｉｆ（Exchangeable Image File Format）などの静止画像のメタデータ、動画検索用のタグ情報、感性表現語と予め関連付けられた音声・音響データを用いることができる。

感性表現語データベース２１は、感性情報と感性表現語との対応関係を示す一つまたは複数のテーブルを有する。感性情報と感性表現語との対応関係は１対１であってもよいし、１対多や多対１、多対多であってもよい。一つの感性情報に対して複数の感性表現語を対応付けた場合には、感性表現語を選択する際に、ランダムに選択してもよいし、予め定められた順番に従って選択してもよいし、その他の基準に従って選択してもよい。

第１実施形態における感性表現語データベース２１は、顔の数テーブル、顔の傾きテーブル、笑顔の度合テーブルを有する。

図２を参照して、顔の数テーブルのデータ構成について説明する。顔の数テーブルは、データ項目として、例えば、顔の数項目および感性表現語項目を有する。顔の数項目には、顔検出部１１１により検出される顔の数が格納される。感性表現語項目には、顔の数に対応する感性表現語が格納される。顔の数テーブルの感性表現語として、顔の数が多いほど場の盛り上がりを大きく表現する語を用いる。

図２に示す顔の数テーブルを用いると、顔の数が“０”である場合には感性表現語として“シーン”が抽出され、顔の数が“１”である場合には感性表現語として“ニコッ”が抽出され、顔の数が“２”以上である場合には感性表現語として“ワイワイ”が抽出される。

図３を参照して、顔の傾きテーブルのデータ構成について説明する。顔の傾きテーブルは、データ項目として、例えば、顔１の傾き項目、顔２の傾き項目および感性表現語項目を有する。顔１の傾き項目および顔２の傾き項目には、顔検出部１１１により検出される顔の傾きがそれぞれ格納される。顔の傾きは、正対している顔を“０”とし、正対した状態から時計回りの回転を正として“−９０”度〜“９０”度までの値を用いて表される。したがって、二つの並んだ顔が相互に近付く方向に傾いている場合には、顔１の傾きと顔２の傾きとが、正の値と負の値とになる。感性表現語項目には、顔１の傾きおよび顔２の傾きに対応する感性表現語が格納される。顔の傾きテーブルの感性表現語として、二つの並んだ顔の傾きが相互に近付く方向に大きくなるほど仲の良さを深く表現する語を用いる。

図３に示す顔の傾きテーブルを用いると、顔１の傾きが“０”〜“９０”であり、かつ顔２の傾きが“−９０”〜“０”である場合には感性表現語として“ラブラブ”または“イチャイチャ”が抽出され、顔１の傾きが“−９０”〜“０”であり、かつ顔２の傾きが“０”〜“９０”である場合には感性表現語として“ラブラブ”または“イチャイチャ”が抽出される。

図４を参照して、笑顔の度合テーブルのデータ構成について説明する。笑顔の度合テーブルは、データ項目として、例えば、笑顔の度合項目および感性表現語項目を有する。笑顔の度合項目には、顔検出部１１１により検出される笑顔の度合の範囲が格納される。笑顔の度合は、“０．０”〜“１．０”に正規化された値を用いて表される。感性表現語項目には、笑顔の度合に対応する感性表現語が格納される。笑顔の度合テーブルの感性表現語として、笑顔の度合が高くなるほど喜びや楽しみを大きく表現し、笑顔の度合が低くなるほど怒りや悲しみを大きく表現する語を用いる。

図４に示す笑顔の度合テーブルを用いると、笑顔の度合が“０．０”以上“０．１”未満である場合には感性表現語として“ハァ”または“フゥ”が抽出され、笑顔の度合が“０．１”以上“０．２”未満である場合には感性表現語として“フフッ”または“ムフッ”が抽出され、笑顔の度合が“０．９”以上“１．０”以下である場合には感性表現語として“ニコニコ”または“キラキラ”が抽出される。

なお、顔の数や、顔の傾き、笑顔の度合は、上述した値以外の値を用いて表現してもよい。また、感性情報として、顔の数、顔の傾き、笑顔の度合のいずれか一つを用いてもよいし、複数を組み合わせて用いてもよい。

次に、図５を参照して、第１実施形態における感性表現語処理装置の動作について説明する。この動作例では、感性情報として顔の数を用いた場合について説明する。

最初に、静止画像の信号が感性表現語処理装置１に入力されると、感性情報算出部１１の顔検出部１１１は、静止画像に表されている顔を検出する（ステップＳ１０１）。

続いて、感性表現語抽出部１２は、上記ステップＳ１０１で検出された顔の数が２つ以上であるか否かを判定する（ステップＳ１０２）。この判定がＹＥＳである場合（ステップＳ１０２；ＹＥＳ）に、感性表現語抽出部１２は、図２に示す感性表現語データベース２１の顔の数テーブルから、顔の数“２以上”に対応して記憶されている感性表現語“ワイワイ”を抽出して出力する（ステップＳ１０３）。そして、本動作を終了する。

一方、上記ステップＳ１０２の判定で顔の数が２つ以上ではないと判定された場合（ステップＳ１０２；ＮＯ）に、感性表現語抽出部１２は、顔の数が１つであるか否かを判定する（ステップＳ１０４）。この判定がＹＥＳである場合（ステップＳ１０４；ＹＥＳ）に、感性表現語抽出部１２は、顔の数テーブルから、顔の数“１”に対応して記憶されている感性表現語“ニコッ”を抽出して出力する（ステップＳ１０５）。そして、本動作を終了する。

一方、上記ステップＳ１０４の判定で顔の数が１ではないと判定された場合（ステップＳ１０４；ＮＯ）に、感性表現語抽出部１２は、顔の数テーブルから、顔の数“０”に対応して記憶されている感性表現語“シーン”を抽出して出力する（ステップＳ１０６）。そして、本動作を終了する。

上述したように、第１実施形態における感性表現語処理装置１によれば、静止画像内の顔の数や、顔の傾き、笑顔の度合に応じた感性表現語を抽出して出力することができる。これにより、静止画像を撮影したときの場の状況や物体の状態を明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。

[第２実施形態]
次に、第２実施形態における感性表現語処理装置について説明する。第２実施形態の感性表現語処理装置は、静止画像の信号が入力信号として入力され、静止画像内の伸ばした指の数を感性情報として算出し、この感性情報に対応する感性表現語を抽出して出力する際の実施例である。

最初に、図６を参照して、第２実施形態における感性表現語処理装置の構成について説明する。

図６に示すように、第２実施形態の感性表現語処理装置１は、感性情報算出部１１と感性表現語抽出部１２とを有し、この点では第１実施形態の感性表現語処理装置１（図１参照）と同様である。しかしながら、第２実施形態の感性表現語処理装置１は、感性情報算出部１１が顔検出部１１２と指検出部１１３とを含む点で、第１実施形態の感性表現語処理装置１と相違する。以下においては、主に第１実施形態と相違する点について説明する。

顔検出部１１２は、第１実施形態の顔検出部１１１と同様に、静止画像に表されている顔を検出する。顔検出部１１２は、検出した顔領域の中心座標と顔領域の幅と顔領域の高さとを、顔情報として算出する。

指検出部１１３は、静止画像に表されている指（手）を検出し、伸ばした指の数を算出することで、感性情報を算出する。指検出部１１３は、伸ばした指の数を算出する際に、顔検出部１１２により算出された顔情報を用いて、手領域の候補を特定し、特定した手領域の中から伸ばした指の数を検出する。手領域の候補を特定する手法として、例えば、顔領域付近にある肌色領域の中で最も面積が大きい領域を手領域の候補として特定する手法を用いることができる。なお、手領域の候補を特定する手法として、特開２００３−３４６１６２号公報に記載されている手法を用いてもよいし、他の手法を用いてもよい。

第２実施形態における感性表現語データベース２１は、指の数テーブルを有する。図７を参照して、指の数テーブルのデータ構成について説明する。指の数テーブルは、データ項目として、例えば、指の数項目および感性表現語項目を有する。指の数項目には、指検出部１１３により検出される指の数が格納される。感性表現語項目には、指の数に対応する感性表現語が格納される。

図７に示す指の数テーブルを用いると、伸ばした指の数が“０”本である場合には感性表現語として握り拳を表す“グー”が抽出され、伸ばした指の数が“２”本である場合には感性表現語としてピースサインを表す“ピース”が抽出され、伸ばした指の数が“５”本である場合には感性表現語として拳が開いた状態を表す“パー”が抽出される。

次に、図８を参照して、第２実施形態における感性表現語処理装置の動作について説明する。

最初に、静止画像の信号が感性表現語処理装置１に入力されると、感性情報算出部１１の顔検出部１１２は、静止画像に表されている顔を検出して顔情報を算出する（ステップＳ２０１）。

続いて、感性情報算出部１１の指検出部１１３は、上記ステップＳ２０１で算出された顔情報を用いて、静止画像に表されている伸ばした指を検出する（ステップＳ２０２）。

続いて、感性表現語抽出部１２は、上記ステップＳ２０２で検出された指の数が０本であるか否かを判定する（ステップＳ２０３）。この判定がＹＥＳである場合（ステップＳ２０３；ＹＥＳ）に、感性表現語抽出部１２は、図７に示す感性表現語データベース２１の指の数テーブルから、指の数“０”に対応して記憶されている感性表現語“グー”を抽出して出力する（ステップＳ２０４）。そして、本動作を終了する。

一方、上記ステップＳ２０３の判定で指の数が０ではないと判定された場合（ステップＳ２０３；ＮＯ）に、感性表現語抽出部１２は、指の数が２本であるか否かを判定する（ステップＳ２０５）。この判定がＹＥＳである場合（ステップＳ２０５；ＹＥＳ）に、感性表現語抽出部１２は、指の数テーブルから、指の数“２”に対応して記憶されている感性表現語“ピース”を抽出して出力する（ステップＳ２０６）。そして、本動作を終了する。

一方、上記ステップＳ２０５の判定で指の数が２本ではないと判定された場合（ステップＳ２０５；ＮＯ）に、感性表現語抽出部１２は、指の数が５本であるか否かを判定する（ステップＳ２０７）。この判定がＹＥＳである場合（ステップＳ２０７；ＹＥＳ）に、感性表現語抽出部１２は、指の数テーブルから、指の数“５”に対応して記憶されている感性表現語“パー”を抽出して出力する（ステップＳ２０８）。そして、本動作を終了する。

一方、上記ステップＳ２０７の判定で指の数が５本ではないと判定された場合（ステップＳ２０７；ＮＯ）には、感性表現語を抽出せずに、本動作を終了する。

上述したように、第２実施形態における感性表現語処理装置１によれば、静止画像内の伸ばした指の数に応じた感性表現語を抽出して出力することができる。これにより、撮影された人物の指によるジェスチャを明確化して強調することができる。つまり、静止画像を撮影したときの場の状況や物体の状態を明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。

なお、上述した第２実施形態の感性表現語処理装置１では、感性情報として指の数を用いているが、これに限定されない。指の数に加え、第１実施形態の感性情報に含まれる人間の顔の数や、顔の傾き、笑顔の度合などを組み合わせて用いてもよい。

[第３実施形態]
次に、第３実施形態における感性表現語処理装置について説明する。第３実施形態の感性表現語処理装置は、動画像の信号が入力信号として入力され、動画像内の動体の数や、動体の移動量、動体の遷移情報、輝度変化を感性情報として算出し、この感性情報に対応する感性表現語を抽出して出力する際の実施例である。

最初に、図９を参照して、第３実施形態における感性表現語処理装置の構成について説明する。

図９に示すように、第３実施形態の感性表現語処理装置１は、感性情報算出部１１と感性表現語抽出部１２とを有し、この点では第１実施形態の感性表現語処理装置１（図１参照）と同様である。しかしながら、第３実施形態の感性表現語処理装置１は、感性情報算出部１１が動体検出部１１４を含む点で、第１実施形態の感性表現語処理装置１と相違する。以下においては、主に第１実施形態と相違する点について説明する。

動体検出部１１４は、入力された動画像を分析して動体を検出し、動体の数や、動体の移動量、動体の遷移情報、輝度変化を算出することで、感性情報を算出する。

動体を検出する手法として、例えば、現在のフレーム画像と過去のフレーム画像（例えば、現在のフレーム画像の１フレーム前のフレーム画像）との間で同一座標の画素値の差を算出し、差が閾値よりも大きい画素の集合を動体として検出する手法を用いることができる。

動体の移動量は、例えば、現在のフレーム画像上の動体の重心位置と、現在のフレーム画像上の動体位置付近に相当する過去のフレーム画像上に表されている動体の重心位置との差分を算出することで求められる。

動体の遷移情報は、例えば、動体の動きベクトルの方向を判定して符号化し、符号化した値の時間変化を算出することで求められる。動体の動きベクトルの方向を符号化する場合には、例えば、図１０に示す方向符号化テーブルを用いることができる。この場合、例えば、動体が水平軸に対して負の方向と正の方向への移動を交互に繰り返しているときには、遷移情報が“０１０１”と算出される。

輝度変化は、例えば、現在のフレーム画像の輝度値の平均と、過去のフレーム画像の輝度値の平均との差を算出することや、平均の差を符号化した値を算出することで求められる。例えば、平均の差を符号化した値“ａ”は、平均の差を“ｄ”とし、閾値を“Ｔ”（＞０）とした場合に、以下の式（１）〜式（３）により算出することができる。

｜ｄ｜＜Ｔの場合
ａ＝０ … 式（１）
ｄ≧Ｔの場合
ａ＝１ … 式（２）
ｄ≦−Ｔの場合
ａ＝−１ … 式（３）

第３実施形態における感性表現語データベース２１は、動体の数テーブルと、動体の移動量テーブルと、動体の遷移情報テーブルと、輝度変化テーブルとを有する。

図１１を参照して、動体の数テーブルのデータ構成について説明する。動体の数テーブルは、データ項目として、例えば、動体の数項目および感性表現語項目を有する。動体の数項目には、動体検出部１１４により検出される動体の数が格納される。感性表現語項目には、動体の数に対応する感性表現語が格納される。動体の数テーブルの感性表現語として、動体の数が多くなるほど喧騒の程度を大きく表現する語を用いる。

図１１に示す動体の数テーブルを用いると、動体の数が“０”である場合には感性表現語として静寂を表す“シーン”が抽出され、動体の数が“１”である場合には感性表現語として“ウロウロ”が抽出され、動体の数が“５”以上である場合には感性表現語として喧騒を表す“ゴチャゴチャ”が抽出される。

図１２を参照して、動体の移動量テーブルのデータ構成について説明する。動体の移動量テーブルは、データ項目として、例えば、動体の移動量項目および感性表現語項目を有する。動体の移動量項目には、動体検出部１１４により算出される動体の移動量の範囲が格納される。動体の移動量は、“０．０”〜“１．０”に正規化した値を用いて表される。感性表現語項目には、動体の移動量に対応する感性表現語が格納される。動体の移動量テーブルの感性表現語として、動体の移動量が大きくなるほど移動の速さを速く表現する語を用いる。

図１２に示す動体の移動量テーブルを用いると、動体の移動量が“０．０”以上“０．１”未満である場合には感性表現語として“ヨロヨロ”が抽出され、動体の移動量が“０．１”以上“０．２”未満である場合には感性表現語として“フラフラ”が抽出され、動体の移動量が“０．９”以上“１．０”以下である場合には感性表現語として“ダッシュ”が抽出される。

図１３を参照して、動体の遷移情報テーブルのデータ構成について説明する。動体の遷移情報テーブルは、データ項目として、例えば、動体の遷移情報項目および感性表現語項目を有する。動体の遷移情報項目には、動体検出部１１４により算出される動体の遷移情報が格納される。感性表現語項目には、動体の遷移情報に対応する感性表現語が格納される。動体の遷移情報テーブルの感性表現語として、動体の遷移情報に基づいて認められる周期性に対応する繰り返しの動作を表現する語を用いる。

図１３に示す動体の遷移情報テーブルを用いると、動体の遷移情報が“０１０１”または“１０１０”である場合には感性表現語として“ウロウロ”が抽出され、動体の遷移情報が“００００”または“１１１１”である場合には感性表現語として“スタスタ”が抽出され、動体の遷移情報が“２３２３”または“３２３２”である場合には感性表現語として“ピョンピョン”が抽出される。

図１４を参照して、輝度変化テーブルのデータ構成について説明する。輝度変化テーブルは、データ項目として、例えば、輝度変化項目および感性表現語項目を有する。輝度変化項目には、動体検出部１１４により算出される輝度変化が格納される。図１４に示す輝度変化は、上記式（１）〜式（３）を用いて算出される符号化値で表されている。感性表現語項目には、輝度変化に対応する感性表現語が格納される。輝度変化テーブルの感性表現語として、輝度がより高い値に変化するときには、照明が点灯するときの様子を表現する語を用い、輝度がより低い値に変化するときには、照明が消灯するときの様子を表現する語を用いる。

図１４に示す輝度変化テーブルを用いると、輝度変化が“−１”である場合には感性表現語として消灯されたことを表す“ヒュン”が抽出され、輝度変化が“１”である場合には感性表現語として点灯されたことを表す“ピカッ”が抽出される。

なお、動体の数や、動体の移動量、動体の遷移情報、輝度変化は、上述した値以外の値を用いて表現してもよい。また、感性情報として、動体の数、動体の移動量、動体の遷移情報、輝度変化のいずれか一つを用いてもよいし、複数を組み合わせて用いてもよい。さらに、第３実施形態で用いる感性情報に加え、第１実施形態および第２実施形態で用いる感性情報のうちのいずれか一つまたは複数と組み合わせて用いてもよい。

次に、図１５を参照して、第３実施形態における感性表現語処理装置の動作について説明する。この動作例では、感性情報として動体の遷移情報を用いた場合について説明する。

最初に、動画像の信号が感性表現語処理装置１に入力されると、感性情報算出部１１の動体検出部１１４は、動画像に表されている動体を検出し、動体の遷移情報を算出する（ステップＳ３０１）。

続いて、感性表現語抽出部１２は、上記ステップＳ３０１で算出された動体の遷移情報が“０１０１”または“１０１０”であるか否かを判定する（ステップＳ３０２）。この判定がＹＥＳである場合（ステップＳ３０２；ＹＥＳ）に、感性表現語抽出部１２は、図１３に示す感性表現語データベース２１の動体の遷移情報テーブルから、動体の遷移情報“０１０１”および“１０１０”に対応して記憶されている感性表現語“ウロウロ”を抽出して出力する（ステップＳ３０３）。そして、本動作を終了する。

一方、上記ステップＳ３０２の判定で動体の遷移情報が“０１０１”または“１０１０”ではないと判定された場合（ステップＳ３０２；ＮＯ）に、感性表現語抽出部１２は、動体の遷移情報が“００００”または“１１１１”であるか否かを判定する（ステップＳ３０４）。この判定がＹＥＳである場合（ステップＳ３０４；ＹＥＳ）に、感性表現語抽出部１２は、動体の遷移情報テーブルから、動体の遷移情報“００００”および“１１１１”に対応して記憶されている感性表現語“スタスタ”を抽出して出力する（ステップＳ３０５）。そして、本動作を終了する。

一方、上記ステップＳ３０４の判定で動体の遷移情報が“００００”または“１１１１”ではないと判定された場合（ステップＳ３０４；ＮＯ）に、感性表現語抽出部１２は、動体の遷移情報が“２３２３”または“３２３２”であるか否かを判定する（ステップＳ３０６）。この判定がＹＥＳである場合（ステップＳ３０６；ＹＥＳ）に、感性表現語抽出部１２は、動体の遷移情報テーブルから、動体の遷移情報““２３２３”および“３２３２”に対応して記憶されている感性表現語“ピョンピョン”を抽出して出力する（ステップＳ３０７）。そして、本動作を終了する。

一方、上記ステップＳ３０６の判定で動体の遷移情報が“２３２３”または“３２３２”ではないと判定された場合（ステップＳ３０６；ＮＯ）には、感性表現語を抽出せずに、本動作を終了する。

上述したように、第３実施形態における感性表現語処理装置１によれば、動画像内の動体の数や、動体の移動量、動体の遷移情報、輝度変化に応じた感性表現語を抽出して出力することができる。これにより、動画像を撮影したときの場の時間的変化や物体の動作を明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。さらに、感性表現語を見ることで、動画像を全て閲覧しなくても、撮影現場の時間的変化や動体の動作を把握することが可能となる。

[第４実施形態]
次に、第４実施形態における感性表現語処理装置について説明する。第４実施形態の感性表現語処理装置は、上述した第１実施形態における感性表現語処理装置１の感性表現語抽出部１２から出力される感性表現語を、外部から入力された静止画像に重畳して表示装置５に表示させる際の実施例である。

図１６を参照して、第４実施形態における感性表現語処理装置の構成について説明する。図１６に示すように、第４実施形態の感性表現語処理装置１は、感性情報算出部１１と感性表現語抽出部１２とに加え、重畳部３１をさらに有する点で第１実施形態の感性表現語処理装置１（図１参照）と相違する。以下においては、主に第１実施形態と相違する点について説明する。

重畳部３１は、感性表現語重畳画像生成部３１１を含む。感性表現語重畳画像生成部３１１は、入力された静止画像と、感性表現語抽出部１２により出力される感性表現語とを用いて、静止画像に感性表現語を重畳させた感性表現語重畳画像を生成する。感性表現語重畳画像生成部３１１は、静止画像の予め定められた位置に、予め定められたフォント情報に基づいて感性表現語を重畳して感性表現語重畳画像を生成する。フォント情報には、例えば、フォント（文字形状）、フォントサイズ（文字の大きさ）および文字色が含まれる。

重畳部３１は、感性表現語重畳画像生成部３１１により生成された感性表現語重畳画像を表示装置５に表示させる。

図１７に、表示装置５に表示される感性表現語重畳画像の一例を示す。図１７に示す静止画像には、笑顔の度合に応じて抽出された感性表現語“ニコニコ”が重畳されている。

上述したように、第４実施形態における感性表現語処理装置１によれば、静止画像内の顔の数や、顔の傾き、笑顔の度合に応じた感性表現語を抽出し、この感性表現語を静止画像に重畳して表示させることができる。これにより、静止画像を撮影したときの場の状況や物体の状態を明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。

なお、上述した第４実施形態では、第１実施形態の感性表現語抽出部１２から出力される感性表現語を静止画像に重畳する場合について説明したが、第２実施形態の感性表現語抽出部１２から出力される感性表現語を静止画像に重畳する場合や、第３実施形態の感性表現語抽出部１２から出力される感性表現語を動画像に重畳する場合についても同様に適用することができる。

[第５実施形態]
次に、第５実施形態における感性表現語処理装置について説明する。第５実施形態の感性表現語処理装置は、上述した第４実施形態の内容に加え、感性表現語を重畳する際の重畳位置やフォント情報等を、顔検出部１１２によって算出される顔情報に基づいて決定する際の実施例である。

図１８を参照して、第５実施形態における感性表現語処理装置の構成について説明する。図１８に示すように、第５実施形態の感性表現語処理装置１は、重畳部３１に重畳条件決定部３１２をさらに有し、顔検出部１１１の代わり第２実施形態の顔検出部１１２を有する点で第４実施形態の感性表現語処理装置１（図１６参照）と相違する。以下においては、主に第４実施形態と相違する点について説明する。

重畳条件決定部３１２は、顔検出部１１２により算出された顔情報（顔領域の中心座標、顔領域の幅、顔領域の高さ）に応じて感性表現語の重畳位置を決定する。感性表現語を重畳する位置は、例えば、顔領域に重ならない位置や、顔領域付近の位置に決定することが好ましい。これにより、人間が注目しやすい顔領域に感性表現語が重なることを防止することができるため、画像の視認性を保持することが可能となる。また、人間が注目しやすい顔領域付近に感性表現語を重畳することで、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。

重畳条件決定部３１２は、入力された静止画像を分析し、重畳する感性表現語のフォント、フォントサイズおよび文字色を含むフォント情報を決定する。具体的には、例えば、静止画像を分析し、撮影場所に応じてフォントを決定することができる。また、静止画像中の物体の領域の大きさを分析し、物体の領域が大きい場合にはフォントサイズを大きくし、物体の領域が小さい場合にはフォントサイズを小さくすることができる。さらに、感性表現語を重畳する領域内で出現頻度が最も高い色の補色を文字色にすることができる。これにより、画像の視認性を保持することが可能となる。

感性表現語重畳画像生成部３１１は、重畳条件決定部３１２によって決定された位置に、重畳条件決定部３１２によって決定されたフォント情報に基づいて感性表現語を重畳し、感性表現語重畳画像を生成する。

上述したように、第５実施形態における感性表現語処理装置１によれば、静止画像内の顔の数や、顔の傾き、笑顔の度合に応じた感性表現語を抽出し、この感性表現語を、顔領域に重ならない顔領域付近に重畳することが可能となる。これにより、静止画像を撮影したときの場の状況や物体の状態を、より明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。

[第６実施形態]
次に、第６実施形態における感性表現語処理装置について説明する。第６実施形態の感性表現語処理装置は、上述した第５実施形態の内容に加え、感性表現語を重畳する際の重畳位置やフォント情報等を、顔検出部１１２によって算出される顔情報と指検出部１１３によって特定される手領域とに基づいて決定する際の実施例である。

図１９を参照して、第６実施形態における感性表現語処理装置の構成について説明する。図１９に示すように、第６実施形態の感性表現語処理装置１は、第２実施形態の指検出部１１３をさらに有する点で第５実施形態の感性表現語処理装置１（図１８参照）と相違する。以下においては、主に第５実施形態と相違する点について説明する。

重畳条件決定部３１２は、顔検出部１１２により算出された顔情報および指検出部１１３によって特定された手領域に応じて、感性表現語の重畳位置を決定する。感性表現語を重畳する位置は、例えば、上述した第５実施形態で説明した顔領域に重ならない位置や、顔領域付近の位置の他に、手領域に重ならない位置や、手領域付近の位置に決定することが好ましい。

上述したように、第６実施形態における感性表現語処理装置１によれば、静止画像内の顔の数や、顔の傾き、笑顔の度合、伸ばした指の数に応じた感性表現語を抽出し、この感性表現語を、顔領域や手領域に重ならない顔領域付近または手領域付近に重畳することができる。これにより、静止画像を撮影したときの場の状況や物体の状態を、より明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。

[第７実施形態]
次に、第７実施形態における感性表現語処理装置について説明する。第７実施形態の感性表現語処理装置は、上述した第６実施形態の内容に加え、外部から入力された静止画像をスケッチ風画像に変換し、変換後のスケッチ風画像に感性表現語を重畳して表示装置５に表示させる際の実施例である。

図２０を参照して、第７実施形態における感性表現語処理装置の構成について説明する。図２０に示すように、第７実施形態の感性表現語処理装置１は、画像変換部３１３をさらに有する点で第６実施形態の感性表現語処理装置１（図１９参照）と相違する。以下においては、主に第６実施形態と相違する点について説明する。

画像変換部３１３は、入力された静止画像をスケッチ風画像に変換する。スケッチ風画像に変換する手法として、例えば、ＷＯ２００６／１０６７５０号公報に記載されている技術を用いることができる。静止画像をスケッチ風画像に変換することで、静止画像から細かい陰影を省略し、色数を減少することができるため、エッジを強調することが可能となる。

感性表現語重畳画像生成部３１１は、画像変換部３１３によって変換されたスケッチ風画像に、感性表現語を重畳して感性表現語重畳画像を生成する。この際、感性表現語は、重畳条件決定部３１２によって決定された位置に、重畳条件決定部３１２によって決定されたフォント、フォントサイズおよび文字色を用いて重畳される。

図２１に、表示装置５に表示される感性表現語重畳画像の一例を示す。図２１に示す静止画像は、オフィス内で撮影された静止画像がスケッチ風画像に変換されたものであり、感性表現語“ポツーン。。。”が重畳されている。

上述したように、第７実施形態における感性表現語処理装置１によれば、入力された静止画像をスケッチ風画像に変換し、変換後のスケッチ風画像に感性表現語を重畳することができる。これにより、静止画像内の主要な陰影、色、エッジを際立たせることができるため、被写体を明確化して強調することができる。つまり、スケッチ風画像に感性表現語を重畳することで、静止画像を撮影したときの場の状況や物体の状態を、より明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。

[第８実施形態]
次に、第８実施形態における感性表現語処理装置について説明する。第８実施形態の感性表現語処理装置は、上述した第３実施形態における感性表現語処理装置１の感性表現語抽出部１２から出力される感性表現語を、外部から入力された動画像に重畳して表示装置５に表示させ、さらに、感性表現語を重畳する際の重畳位置やフォント情報等を、動体の動きなどを示す変動情報に基づいて決定する際の実施例である。

図２２を参照して、第８実施形態における感性表現語処理装置の構成について説明する。図２２に示すように、第８実施形態の感性表現語処理装置１は、感性情報算出部１１と感性表現語抽出部１２とに加え、重畳部３１をさらに有する点で第３実施形態の感性表現語処理装置１（図９参照）と相違する。以下においては、主に第３実施形態と相違する点について説明する。

重畳部３１は、重畳条件決定部３１２と感性表現語重畳画像生成部３１１とを含む。

重畳条件決定部３１２は、動体検出部１１４により検出される動体に基づいて変動情報を算出し、変動情報に応じて感性表現語を重畳する位置を決定する。変動情報としては、例えば、動体の動きを示す情報が該当する。具体的に、例えば、動画像に歩行者が映っている場合、その歩行者の動きを示す変動情報に合わせて重畳する位置を決定する。これにより、例えば歩行動作を表す感性表現語“スタスタ”を歩行者の動きに合わせて動画像に重畳することが可能となる。

なお、変動情報は、動体の動きを示す情報には限定されない。例えば、動画像を分析することで得られる色の変化、輝度の変化またはエッジの変化が少ない領域を示す情報を、変動情報として算出してもよい。この場合、例えば動画像に街頭が映っているときには、建物の壁や空の領域を検出し、この検出した領域に感性表現語を重畳することができる。

重畳条件決定部３１２は、入力された動画像を分析し、重畳する感性表現語のフォント、フォントサイズおよび文字色を含むフォント情報を決定する。具体的には、例えば、動画像を分析し、撮影場所に応じてフォントを決定することができる。また、動画像中の物体の領域の大きさを分析し、物体の領域が大きい場合にはフォントサイズを大きくし、物体の領域が小さい場合にはフォントサイズを小さくすることができる。さらに、感性表現語を重畳する領域内で出現頻度が最も高い色の補色を文字色にすることができる。これにより、画像の視認性を保持することが可能となる。

感性表現語重畳画像生成部３１１は、入力された動画像と、感性表現語抽出部１２により出力される感性表現語とを用いて、動画像に感性表現語を重畳させた感性表現語重畳画像を生成する。感性表現語重畳画像生成部３１１は、重畳条件決定部３１２によって決定された位置に、重畳条件決定部３１２によって決定されたフォント情報に基づいて感性表現語を重畳し、感性表現語重畳画像を生成する。

重畳部３１は、感性表現語重畳画像生成部３１１により生成された感性表現語重畳画像を表示装置５に表示させる。

上述したように、第８実施形態における感性表現語処理装置１によれば、動画像内の動体の数や、動体の移動量、動体の遷移情報、輝度変化に応じた感性表現語を抽出し、この感性表現語を、動画像内の動きや変化に合わせて重畳することができる。これにより、動画像を撮影したときの場の時間的変化や物体の動作を、より明確化して強調することができるため、その場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることが可能となる。

なお、上述した各実施形態は、単なる例示に過ぎず、各実施形態に明示していない種々の変形や技術の適用を排除するものではない。すなわち、本発明は、その趣旨を逸脱しない範囲で様々な形態に変形して実施することができる。例えば、上述した各実施形態は、適宜組み合わせることができる。

上記の各実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明を以下に限定するものではない。

（付記１） 撮影された画像を分析し、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出部と、予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出部と、前記感性表現語抽出部により抽出された前記感性表現語を、前記画像に重畳する重畳部と、を備えることを特徴とする感性表現語処理装置。

（付記２） 前記感性情報算出部は、少なくとも顔の数、顔の傾き、笑顔の度合、指の数、動きの大きな領域である動体の数、前記動体の移動量、前記動体の遷移情報、または前記画像の輝度の変化のいずれかを含む前記感性情報を算出する、ことを特徴とする付記１記載の感性表現語処理装置。

（付記３） 前記重畳部は、前記画像に重畳する前記感性表現語を重畳する位置、文字の形状、文字の大きさまたは文字の色のうちの少なくともいずれかを決定する重畳条件決定部と、前記重畳条件決定部により決定された前記位置、前記形状、前記大きさまたは前記色を用いて前記感性表現語を前記画像に重畳して感性表現語重畳画像を生成する重畳画像生成部と、を有することを特徴とする付記１または２記載の感性表現語処理装置。

（付記４） 前記重畳条件決定部は、前記動体の動きを示す情報、前記画像における色の変化、輝度の変化またはエッジの変化が少ない領域を示す情報のうちの少なくともいずれかに基づいて、前記感性表現語を重畳する位置を決定する、ことを特徴とする付記３記載の感性表現語処理装置。

（付記５） 前記重畳条件決定部は、前記画像に含まれる顔の位置または手の位置のうちの少なくともいずれかに基づいて、前記感性表現語を重畳する位置を決定する、ことを特徴とする付記３または４記載の感性表現語処理装置。

（付記６） 前記重畳部は、前記画像をスケッチ風画像に変換する画像変換部を、さらに有し、前記重畳画像生成部は、前記画像変換部により変換された前記スケッチ風画像に、前記感性表現語を重畳する、ことを特徴とする付記３〜５のいずれかに記載の感性表現語処理装置。

（付記７） 前記感性表現語は、少なくとも擬音語または擬態語のいずれかである、ことを特徴とする付記１〜６のいずれか１項に記載の感性表現語処理装置。

（付記８） 撮影された画像を分析し、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出ステップと、予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出ステップと、前記感性表現語抽出ステップにおいて抽出された前記感性表現語を、前記画像に重畳する重畳ステップと、を含むことを特徴とする感性表現語処理方法。

（付記９） 付記８に記載の各ステップをコンピュータに実行させるための感性表現語処理プログラム。

この出願は、２０１０年１１月２４日に出願された日本出願特願２０１０−２６１２２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明に係る感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラムは、撮影時の場の雰囲気や物体に対する印象を、撮影場所にいるときと同様にイメージさせることに適している。

１…感性表現語処理装置、５…表示装置、１１…感性情報算出部、１２…感性表現語抽出部、２１…感性表現語データベース、３１…重畳部、１１１、１１２…顔検出部、１１３…指検出部、１１４…動体検出部、３１１…感性表現語重畳画像生成部、３１２…重畳条件決定部、３１３…画像変換部。

Claims (9)

1. 撮影された画像を分析し、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出部と、
   予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出部と、
   前記感性表現語抽出部により抽出された前記感性表現語を、前記画像に重畳する重畳部と、
   を備えることを特徴とする感性表現語処理装置。
2. 前記感性情報算出部は、少なくとも顔の数、顔の傾き、笑顔の度合、指の数、動きの大きな領域である動体の数、前記動体の移動量、前記動体の遷移情報、または前記画像の輝度の変化のいずれかを含む前記感性情報を算出する、
   ことを特徴とする請求項１記載の感性表現語処理装置。
3. 前記重畳部は、
   前記画像に重畳する前記感性表現語を重畳する位置、文字の形状、文字の大きさまたは文字の色のうちの少なくともいずれかを決定する重畳条件決定部と、
   前記重畳条件決定部により決定された前記位置、前記形状、前記大きさまたは前記色を用いて前記感性表現語を前記画像に重畳して感性表現語重畳画像を生成する重畳画像生成部と、
   を有することを特徴とする請求項１または２記載の感性表現語処理装置。
4. 前記重畳条件決定部は、前記動体の動きを示す情報、前記画像における色の変化、輝度の変化またはエッジの変化が少ない領域を示す情報のうちの少なくともいずれかに基づいて、前記感性表現語を重畳する位置を決定する、
   ことを特徴とする請求項３記載の感性表現語処理装置。
5. 前記重畳条件決定部は、前記画像に含まれる顔の位置または手の位置のうちの少なくともいずれかに基づいて、前記感性表現語を重畳する位置を決定する、
   ことを特徴とする請求項３または４記載の感性表現語処理装置。
6. 前記重畳部は、前記画像をスケッチ風画像に変換する画像変換部を、さらに有し、
   前記重畳画像生成部は、前記画像変換部により変換された前記スケッチ風画像に、前記感性表現語を重畳する、
   ことを特徴とする請求項３〜５のいずれか１項に記載の感性表現語処理装置。
7. 前記感性表現語は、少なくとも擬音語または擬態語のいずれかである、
   ことを特徴とする請求項１〜６のいずれか１項に記載の感性表現語処理装置。
8. 撮影された画像を分析し、前記画像に表されている場の状況や物体の状態、当該場の時間的変化や物体の動作を示す感性情報を算出する感性情報算出ステップと、
   予め前記感性情報に対応付けて記憶されている感性を表現する感性表現語から、前記感性情報算出部によって算出された前記感性情報に対応する前記感性表現語を抽出する感性表現語抽出ステップと、
   前記感性表現語抽出ステップにおいて抽出された前記感性表現語を、前記画像に重畳する重畳ステップと、
   を含むことを特徴とする感性表現語処理方法。
9. 請求項８に記載の各ステップをコンピュータに実行させるための感性表現語処理プログラム。