JP7143359B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、及びプログラムに関する。

デジタルカメラなどにおける手ぶれ（camera shaking）補正技術は、例えば特許文献１にも記載されているように既に一般的である。手ぶれ補正技術では、例えば、撮像装置に搭載されたジャイロセンサを用いて手ぶれを検出し、補正用のレンズを駆動して手ぶれを打ち消す方向に光軸を移動させる光学式の手法が知られている。また、撮像された画像における手ぶれを検出し、被写体領域が一定になるように領域を切り出す電子式の手ぶれ補正手法も知られている。

特開２００９－２７２８９０号公報

上記のような手ぶれ補正の技術によって、撮像装置に揺れが発生しているような環境下で撮像が実行された場合にも、安定した画像を記録することができる。その一方で、手ぶれ補正を施された画像では、撮像時の臨場感が十分に再現されない可能性もある。上記のような技術では、撮像時に手ぶれ補正をするか否かは選択可能でありうるものの、一旦画像を撮像して記録した後には手ぶれ補正の有無を変更することは困難であり、画像の再生時にユーザの所望に応じて安定感または臨場感を表現することが十分にできているとはいえなかった。

そこで、本開示では、ユーザの所望に応じた効果が付加された画像を再生することが可能な、新規かつ改良された画像処理装置を提案する。

本開示によれば、画像の撮影時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する画像逆安定化処理部を備え、前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像逆安定化処理部は、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、前記画像逆安定化処理部は、前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定する、画像処理装置が提供される。

また、本開示によれば、画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する画像逆安定化処理部を備え、前記画像逆安定化処理部は、前記画像の撮影時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加し、前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像逆安定化処理部は、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、前記画像逆安定化処理部は、前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定する、画像処理装置が提供される。

また、本開示によれば、プロセッサが、画像の撮影時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加することと、前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現することと、前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定することと、を含む画像処理方法が提供される。

本開示によれば、プロセッサが、画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定することと、前記画像の撮影時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加することと、前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現することと、前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定することと、を含む画像処理方法が提供される。

また、本開示によれば、画像の撮影時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する機能と、前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現する機能と、前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定する機能と、をコンピュータに実現させるためのプログラムが提供される。

また、本開示によれば、画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する機能と、前記画像の撮影時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する機能と、前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現する機能と、前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定する機能と、をコンピュータに実現させるためのプログラムが提供される。

以上説明したように本開示によれば、ユーザの所望に応じた効果が付加された画像を再生することができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第１の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。 本開示の第１の実施形態における録画処理の例を示すフローチャートである。 本開示の第１の実施形態における再生処理の例を示すフローチャートである。 本開示の第１の実施形態に係る画像処理システムにおいて録画処理を実行するための機能構成をより詳細に示すブロック図である。 本開示の第１の実施形態に係る画像処理システムに含まれるデマルチプレクサ・デコードモジュールの機能構成をより詳細に示すブロック図である。 本開示の第１の実施形態に係る画像処理システムに含まれる没入度算出モジュールの機能構成をより詳細に示すブロック図である。 本開示の第１の実施形態に係る画像処理システムに含まれる画像逆安定化モジュールの機能構成をより詳細に示すブロック図である。 本開示の第１の実施形態に係る画像処理システムに含まれるディスプレイモジュールの機能構成をより詳細に示すブロック図である。 本開示の第１の実施形態に係る画像処理システムにおける没入度算出の処理について、さらに説明するための図である。 本開示の第１の実施形態における画像の表示の第１の例を示す図である。 本開示の第１の実施形態における画像の表示の第２の例を示す図である。 本開示の第２の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。 本開示の第２の実施形態における録画処理の例を示すフローチャートである。 本開示の第２の実施形態における再生処理の例を示すフローチャートである。 本開示の第３の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。 本開示の実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１－１．機能構成
１－２．処理フロー
１－３．各部の詳細な機能構成
１－４．没入度算出の処理
１－５．表示例
２．第２の実施形態
３．第３の実施形態
４．ハードウェア構成
５．補足

（１．第１の実施形態）
（１－１．機能構成）
図１は、本開示の第１の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。図１を参照すると、画像処理システム１００は、画像信号取得・処理モジュール１１０と、エンコード・マルチプレクサモジュール１２０と、メモリモジュール１３０と、デマルチプレクサ・デコードモジュール１４０と、没入度算出モジュール１５０と、画像逆安定化モジュール１６０と、ディスプレイモジュール１９０とを含む。没入度算出モジュール１５０には、モード設定１７０と、視聴環境設定１８０が入力される。なお、それぞれの構成要素の詳細については後述する。

上記の画像処理システム１００の機能構成は、例えば、単一の画像処理装置によって実現されもよいし、複数の画像処理装置に分散して実現されてもよい。例えば、デジタルカメラや、カメラを搭載したスマートフォンまたはタブレットなどの端末装置において、上
記の画像処理システム１００の機能構成の全体が実現されてもよい。この場合、端末装置によって撮像された画像に、逆安定化の処理を施したうえで、端末装置自身で閲覧することができる。メモリモジュール１３０は、端末装置に内蔵されていてもよいし、リムーバブル記録媒体であってもよい。

また、例えば、画像処理システム１００の機能構成は、端末装置とサーバ装置とに分散して実現されてもよい。この場合、例えば、画像信号取得・処理モジュール１１０およびディスプレイモジュール１９０が端末装置で実現され、その間の機能構成、つまりエンコード・マルチプレクサモジュール１２０、メモリモジュール１３０、デマルチプレクサ・デコードモジュール１４０、没入度算出モジュール１５０、および画像逆安定化モジュール１６０が１または複数のサーバ装置によって実現されてもよい。端末装置とサーバ装置との間の通信、およびサーバ装置間の通信は、インターネット、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを含む有線または無線の各種ネットワークを介して実行される。

なお、エンコード・マルチプレクサモジュール１２０、メモリモジュール１３０、デマルチプレクサ・デコードモジュール１４０、没入度算出モジュール１５０、および画像逆安定化モジュール１６０の一部は、端末装置において実現されてもよい。また、この場合、画像信号取得・処理モジュール１１０が実現される端末装置と、ディスプレイモジュール１９０が実現される端末装置とは、別であってもよい。例えば、デジタルカメラにおいて画像信号取得・処理モジュール１１０が実現され、それとは別のパーソナルコンピュータにおいてディスプレイモジュール１９０が実現されてもよい。

（１－２．処理フロー）
図２は、本開示の第１の実施形態における録画処理の例を示すフローチャートである。図２を参照すると、まず、画像信号取得・処理モジュール１１０が、撮像装置のモーションをキャプチャする（Ｓ１０１）とともに、音声および画像をキャプチャする（Ｓ１０２
）。さらに、画像信号取得・処理モジュール１１０は、Ｓ１０１で取得されたモーションに応じて画像の安定化を実施し（Ｓ１０３）、エンコード・マルチプレクサモジュール１２０が音声および画像をエンコードするとともに多重化する（Ｓ１０４）。そして、メモリアクセス（Ｓ１０５）によって、音声および画像のデータがメモリモジュール１３０に格納される。

ここで、本実施形態では、Ｓ１０３の画像の安定化におけるフレーム画像の移動量を示すベクトルが、安定化された画像のデータとともにエンコードおよび多重化され（Ｓ１０４）、メモリモジュール１３０に格納される（Ｓ１０５）。ベクトルは、後述する再生時の処理において利用される。

図３は、本開示の第１の実施形態における再生処理の例を示すフローチャートである。図３を参照すると、まず、メモリモジュール１３０から読み出された画像および音声のデータについて、デマルチプレクサ・デコードモジュール１４０が、逆多重化およびデコードを実施する（Ｓ１２１）。このとき、画像および音声のデータとともにメモリモジュール１３０に格納された安定化ベクトルのデータも読み出され、デコードおよび逆多重化される。

次に、逆安定化に先立ち、再生する画像の表示に適した没入度が決定される。なお、没入度の定義については後述する。没入度算出モジュール１５０は、モード設定１７０に基づいて、モードを判定する（Ｓ１２２）。モードが「マニュアル」の場合、没入度算出モジュール１５０は、没入度をマニュアルで設定する（Ｓ１２３）。ここで設定される没入度の値は、例えばユーザ操作によって入力された値でありうる。一方、Ｓ１２２の判定に
おいて、モードが「オート」の場合、没入度算出モジュール１５０は、画像の解析を実施し（Ｓ１２４）、没入度を自動的に算出する（Ｓ１２５）。

没入度算出モジュール１５０がＳ１２５において自動的に算出した没入度、またはＳ１２３においてマニュアルで設定した没入度に基づいて、画像逆安定化モジュール１６０が画像の逆安定化を実施する（Ｓ１２６）。さらに、ディスプレイモジュール１９０が、逆安定化された画像を表示する（Ｓ１２７）。

（１－３．各部の詳細な機能構成）
図４は、本開示の第１の実施形態に係る画像処理システムにおいて録画処理を実行するための機能構成をより詳細に示すブロック図である。以下、図４を参照して、主に画像信号取得・処理モジュール１１０およびエンコード・マルチプレクサモジュール１２０の構成について、さらに説明する。

画像信号取得・処理モジュール１１０は、レンズ１１１と、ジャイロセンサ１１２と、イメージセンサ１１３と、マイクロフォン１１４と、画像安定化処理部１１５とを含む。イメージセンサ１１３は、レンズ１１１から入射する光を受講し、画像データを生成する。ジャイロセンサ１１２は、レンズ１１１を含む筺体の振動を検出する。ジャイロセンサ１１２が検出する振動に応じて、レンズ１１１に含まれる補正用のレンズをシフトさせることによって、ぶれを打ち消す方向に光軸を移動させる光学式の手ぶれ補正（画像の安定化）が実現される。図示していないが、イメージセンサ１１３をシフトさせることによって光学式の手ぶれ補正が実現されてもよい。

また、ジャイロセンサ１１２が検出する振動に応じて、画像安定化処理部１１５が、イメージセンサ１１３から出力される画像について電子式の手ぶれ補正（画像の安定化）を実施する。より具体的には、画像安定化処理部１１５は、イメージセンサ１１３から提供される入力画像の領域よりも小さい領域を出力画像の領域とし、出力画像に含まれる被写体領域が一定になるように、入力画像から出力画像の領域を切り出す処理を実施する。ここで、画像安定化処理部１１５は、ジャイロセンサ１１２による振動の検出結果に応じて切り出しの領域を決定してもよいし、画像の解析によって切り出しの領域を決定してもよい。

画像安定化処理部１１５によって安定化された画像は、エンコード・マルチプレクサモジュール１２０の画像エンコード部１２２に入力される。また、本実施形態では、ジャイロセンサ１１２から画像安定化処理部１１５に提供された筺体の振動を示すベクトル、または、画像安定化処理部１１５よる画像の安定化処理に対応するベクトル（例えば、入力画像から切り出される出力画像の位置の、中心からのずれを示すベクトル）が、エンコード・マルチプレクサモジュール１２０の安定化ベクトルエンコード部１２１に入力される。上記のベクトルを、以下では安定化ベクトルともいう。さらに、マイクロフォン１１４によって取得された、画像に対応する音声データが、エンコード・マルチプレクサモジュール１２０の音声エンコード部１２３に入力される。

ここで、上記の手ぶれ補正（画像の安定化）の処理は、撮像時における撮像装置の揺れの影響の少なくとも一部を除去する処理でありうる。このような処理によって、画像安定化処理部１１５は安定化された画像を出力する。この場合において、画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像である。また、後述するように、画像逆安定化モジュール１６０は、画像に揺れを表現する効果を付加することによって、画像に撮像装置の揺れを再現する。安定化ベクトルは、撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報の一例である。

エンコード・マルチプレクサモジュール１２０は、安定化ベクトルエンコード部１２１と、画像エンコード部１２２と、音声エンコード部１２３と、マルチプレクサ１２４とを含む。各エンコード部は、上記のように、画像信号取得・処理モジュール１１０から提供される画像データ、音声データ、および安定化ベクトルをエンコードする。マルチプレクサ１２４は、各エンコード部によってエンコードされたデータを多重化する。多重化されたデータは、メモリモジュール１３０を構成するデータストレージ１３１に格納される。

図５は、本開示の第１の実施形態に係る画像処理システムに含まれるデマルチプレクサ・デコードモジュールの機能構成をより詳細に示すブロック図である。図５を参照すると、デマルチプレクサ・デコードモジュール１４０は、デマルチプレクサ１４１と、安定化ベクトルデコード部１４２と、画像デコード部１４３と、音声デコード部１４４とを含む。

デマルチプレクサ１４１は、上記のエンコード・マルチプレクサモジュール１２０によってメモリモジュール１３０のデータストレージ１３１に格納されたデータを逆多重化し、安定化ベクトルのデータと、画像データと、音声データとを得る。各デコード部は、エンコード・マルチプレクサモジュール１２０においてエンコードされた画像データ、音声データ、および安定化ベクトルをデコードする。これによって、デコードされた安定化ベクトル１４５と、デコードされた画像（安定化されている）１４６と、デコードされた音声１４７とが得られる。

図６は、本開示の第１の実施形態に係る画像処理システムに含まれる没入度算出モジュールの機能構成をより詳細に示すブロック図である。図６を参照すると、没入度算出モジュール１５０は、モーション解析部１５１と、画像解析部１５２と、音声解析部１５３と、表示装置解析部１５４と、没入感解析部１５５とを含む。

モーション解析部１５１は、デコードされた安定化ベクトル１４５に基づく解析を実行する。画像解析部１５２は、デコードされた画像（安定化されている）１４６に基づく解析を実行する。音声解析部１５３は、デコードされた音声１４７に基づく解析を実行する。また、表示装置解析部１５４は、別途取得した表示装置に関する情報に基づく解析を実行する。

没入感解析部１５５は、各解析部によって実行された解析の結果に基づいて、没入感についての解析を実行する。このとき、没入感解析部１５５は、モード設定（オート／マニュアル）１７０、および視聴環境設定１８０をさらに入力として用いる。没入感解析部１５５は、解析の結果に基づいて没入度１５７を出力する。なお、没入感解析部１５５における解析処理の具体的な例については後述する。

図７は、本開示の第１の実施形態に係る画像処理システムに含まれる画像逆安定化モジュールの機能構成をより詳細に示すブロック図である。図７を参照すると、画像逆安定化モジュール１６０は、画像逆安定化部１６１を含む。画像逆安定化部１６１は、没入度１５７に基づいて、画像の逆安定化処理を実行する。画像逆安定化部１６１は、デコードされた安定化ベクトル１４５と、デコードされた画像（安定化されている）１４６とを入力として用いる。画像逆安定化部１６１は、逆安定化された画像１６２を出力する。

ここで、画像逆安定化モジュール１６０は、画像の揺れに関する揺れ情報に基づいて、画像に揺れを表現する効果を付加する画像逆安定化処理部の一例である。揺れ情報は、画像の撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報、つまり安定化ベクトル１４５を含みうる。また、後述するように、画像逆安定化モジュール１６０は、前記効果の程度を、没入度算出モジュール１５０によって算出される没入度１５７に基づいて決定す
る。本実施形態において、没入度１５７は、画像の撮影環境に関する撮影環境情報、または画像の視聴環境に関する視聴環境情報を表現する。

また、画像逆安定化モジュール１６０は、画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する画像逆安定化処理部の一例であるともいえる。本実施形態では、没入度１５７が没入感の期待値を示す。後述するように、没入度算出モジュール１５０は、没入度１５７を、画像の撮影環境を示す撮影環境情報、または画像の視聴環境を示す視聴環境情報に基づいて決定する。

図８は、本開示の第１の実施形態に係る画像処理システムに含まれるディスプレイモジュールの機能構成をより詳細に示すブロック図である。図８を参照すると、ディスプレイモジュール１９０は、ディスプレイＩ／Ｏ１９１を含む。ディスプレイＩ／Ｏ１９１は、逆安定化された画像１６２と、デコードされた音声１４７とに基づいて、画像の表示および音声の出力を実行する。あるいは、ディスプレイＩ／Ｏ１９１は、画像信号および音声信号を、外部接続されるディスプレイ装置に送信する。

（１－４．没入度算出の処理）
図９は、本開示の第１の実施形態に係る画像処理システムにおける没入度算出の処理について、さらに説明するための図である。以下では、没入度算出モジュール１５０に含まれるモーション解析部１５１、画像解析部１５２、音声解析部１５３、表示装置解析部１５４、没入感解析部１５５、および視聴環境設定１８０を用いた解析について説明する。

ここで、本明細書において、没入度は、表示された画像の観察者が感じる没入感の期待値である。没入感は、例えば、迫力や臨場感などと言い換えられてもよい。従って、表示に適した没入度は、観察者に没入感（迫力、または臨場感）を強く与えたいと想定される画像ほど高くなる。例えば、コンテンツの内容やシーン、画像の色合いなどから、画像の表示に適した没入度を算出することができる。

モーション解析部１５１は、安定化ベクトル（画像のフレームの移動ベクトル）の向き、大きさ、またはそれらの傾向に応じて、没入度を算出するための値を出力する。つまり、本実施形態において、没入度１５７によって表現される撮影環境情報は、画像のフレームの移動ベクトルに関する情報を含みうる。モーション解析部１５１による解析には、ベクトル変化量（ＶＣ）およびモーション種類ごとの重みが用いられる。ベクトル変化量（ＶＣ）は、例えばベクトルのノルムの変化や角度の変化のような元の安定化ベクトルから抽出される特徴を、出力値にマッピングする関数である。モーション種類ごとの重（ＭＷ）みは、予め生成されたテーブルで定義されている。定義されるモーション種類は、例えば、モーション解析の結果に基づいて決定される。図示された例では、「加速」のモーションに重みＭＷ１が設定されている。このとき、モーション解析部１５１では、ベクトル変化量の出力ＶＣと、モーション種類に対する重みＭＷ１とに基づいて、ＶＣ＊ＭＷ１の値が出力される。

より具体的には、モーション解析部１５１は、例えば、動きが大きい場合には出力される値（ＶＣ＊ＭＷ）が大きくなるように設定されていてもよい。この場合、例えば動きが大きい場合の出力値が大きくなるようにベクトル変化量（ＶＣ）が設定されていてもよいし、動きが大きい場合について重み（ＭＷ）が大きく設定されていてもよい。

また、モーション解析部１５１は、縦横の運動や回転など、動きの種類に応じて出力される値（ＶＣ＊ＭＷ）が変化するように設定されていてもよい。例えば、モーション解析部１５１は、縦横の運動に対しては出力される値（ＶＣ＊ＭＷ）が大きくなり、逆安定化がされやすくなるように設定されている一方で、回転の動きに対しては出力される値（Ｖ
Ｃ＊ＭＷ）が小さくなり、逆安定化がされにくくなる（つまり、画像が安定する）ように設定されていてもよい。

画像解析部１５２は、画像によって示される特徴に応じて、没入度を算出するための値を出力する。つまり、本実施形態において、没入度１５７によって表現される撮影環境情報は、画像によって示される画像特徴を含みうる。画像解析部１５２による解析には、画像変化量（ＩＣ）およびシーン種類ごとの重みが用いられる。画像変化量（ＩＣ）は、例えば輝度変化や色分布の変化のような元の入力画像から抽出される特徴を、出力値にマッピングする関数である。つまり、本実施形態において、画像特徴は、画像の輝度または色の特徴を含みうる。また、画像特徴は、シーンの種類を含んでもよい。シーン種類ごとの重み（ＳＷ）は、予め生成されたテーブルで定義されている。定義されるシーン種類は、例えば、シーン解析の結果に基づいて決定される。図示された例では、「スキー」のシーンに重みＳＷ２が設定されている。このとき、画像解析部１５２では、画像変化量の出力ＩＣと、シーン種類に対する重みＳＷ２とに基づいて、ＩＣ＊ＳＷ２の値が出力される。

より具体的には、画像解析部１５２は、例えば、スポーツやスキーなどのシーンでは出力される値（ＩＣ＊ＳＷ）が大きくなり、逆安定化がされやすくなるように設定されていてもよい。この場合、例えば上記のようなシーンの輝度変化や色分布が大きく反映されるように画像変化量（ＩＣ）が設定されていてもよいし、上記のようなシーンの種類について重み（ＳＷ）が大きく設定されていてもよい。

また、画像解析部１５２は、色分布の変化が大きい場合には出力される値（ＩＣ＊ＳＷ）が大きくなり、逆安定化がされやすくなるように設定されていてもよい。その一方で、画像解析部１５２は、色分布の変化が小さい場合には出力される値（ＩＣ＊ＳＷ）が小さくなり、逆安定化がされにくくなるように設定されていてもよい。色分布の変化は、画面がどの程度激しく変わっているかを示していると考えられるためである。例えば、会議室のような画面の変化が小さい場所で撮像した画像では、色分布の変化が小さい。一方、ローラーコースターのような画面の変化が激しい場所で撮像した画像では、色分布の変化が大きい。

音声解析部１５３は、画像に付随する音声によって示される特徴に応じて、没入度を算出するための値を出力する。つまり、本実施形態において、没入度１５７によって表現される撮影環境情報は、画像に付随する音声によって示される音声特徴を含みうる。音声解析部１５３による解析には、音声変化量（ＡＣ）および音声種類ごとの重みが用いられる。音声変化量（ＡＣ）は、例えば音声の高周波成分エネルギーの変化や音声の振幅のような元の入力音声から抽出される特徴を、出力値にマッピングする関数である。つまり、本実施形態において、音声特徴は、音声の周波数成分、音声の振幅、または音声によって示される音の種類を含みうる。音声種類ごとの重み（ＡＷ）は、予め生成されたテーブルで定義されている。定義される音声の種類は、例えば、音声解析の結果に基づいて決定される。図示された例では、「叫び声」のシーンに重みＡＷ１が設定されている。このとき、音声解析部１５３では、音声変化量の出力ＡＣと、音声種類に対する重みＡＷ１とに基づいて、ＡＣ＊ＡＷ１の値が出力される。

より具体的には、音声解析部１５３は、例えばモーターの音やドリフトの音などの騒がしい音声が取得されている場合には、出力される値（ＡＣ＊ＡＷ）が大きくなり、逆安定化がされやすくなるように設定されていてもよい。この場合、例えば上記のような音声の周波数成分や振幅が大きく反映されるように音声変化量（ＡＣ）が設定されていてもよいし、上記のような音声の種類について重み（ＡＷ）が大きく設定されていてもよい。一方、音声解析部１５３は、静かな環境を示す音声が取得されている場合には、出力される値（ＡＣ＊ＡＷ）が小さくなり、逆安定化がされにくくなる（つまり、画像が安定する）ように設定されていてもよい。

表示装置解析部１５４による解析には、装置解析量（ＤＡ）および装置種類ごとの重みが用いられる。装置解析量（ＤＡ）は、例えば表示装置の画面サイズや解像度などを出力値にマッピングする関数である。つまり、本実施形態において、没入度１５７によって表現される視聴環境情報は、画像が表示される画面のサイズを含みうる。表示装置の画面サイズや解像度などは、例えば装置に内蔵されるモニタまたはプロジェクタの動作状態を示す情報や外部モニタインターフェースを介して取得される情報から取得することができる。装置種類ごとの重み（ＤＷ）は、予め生成されたテーブルで定義されている。図示された例では、「スマートフォン」に重みＤＷ３が設定されている。このとき、表示装置解析部１５４では、装置解析量の出力値ＤＡと、装置種類に対する重みＤＷ３とに基づいて、ＤＡ＊ＤＷ３の値が出力される。

より具体的には、表示装置解析部１５４は、画面サイズが大きい、および／または解像度が高いほど出力される値（ＤＡ＊ＤＷ）が小さくなり、逆安定化がされにくくなるように設定されていてもよい。その一方で、表示装置解析部１５４は、画面サイズが小さい、および／または解像度が低いほど出力される値（ＤＡ＊ＤＷ）が大きくなり、逆安定化がされやすくなるように設定されていてもよい。画面サイズが大きい場合や、解像度が高い場合には、画像の臨場感よりも、画像の安定化によって観察者への負荷（例えば映像酔い）を抑えることが有用である場合が多いためである。

視聴環境設定１８０を用いた解析では、視聴環境解析量（ＷＡ）および視聴環境設定ごとの重みが用いられる。視聴環境解析量（ＷＡ）は、例えば観察者から画面までの距離などを出力値にマッピングする関数である。つまり、本実施形態において、没入度１５７によって表現される視聴環境情報は、観察者から画像が表示される画面までの距離を含みうる。視聴環境設定ごとの重み（ＥＷ）は、予め生成されたテーブルで定義されている。テーブルは、例えばユーザによる設定操作に基づいて生成されうる。図示された例では、「Ｈｏｍｅ」の視聴環境設定に重みＥＷ２が設定されている。このとき、視聴環境設定１８０を用いた解析では、視聴環境解析量の出力値ＷＡと、視聴環境設定ごとの重みＥＷ２とに基づいて、ＷＡ＊ＥＷ２の値が出力される。

より具体的には、視聴環境設定１８０を用いた解析では、観察者から画面までの距離が小さいほど出力される値（ＷＡ＊ＥＷ）が小さくなり、逆安定化がされにくくなるように設定されていてもよい。その一方で、視聴環境設定１８０を用いた解析では、観察者から画面までの距離が大きいほど出力される値（ＷＡ＊ＥＷ）が大きくなり、逆安定化がされやすくなるように設定されていてもよい。画面が観察者に近い場合には、画像の臨場感よりも、画像の安定化によって観察者への負荷（例えば映像酔い）を抑えることが有用である場合が多いためである。

没入感解析部１５５では、モーション解析部１５１、画像解析部１５２、音声解析部１５３、表示装置解析部１５４、および視聴環境設定１８０を用いた解析の結果が結合される。結合は、例えば図示された例のように、ＶＣ＊ＭＷ１＋ＩＣ＊ＳＷ２＋ＡＣ＊ＡＷ１＋ＤＡ＊ＤＷ３＋ＥＡ＊ＥＷ２として重みづけられた出力値を足し合わせることによって実行されうる。さらに、没入度関数（ＩＤ）によって、結合された結果が没入度１５７の出力値にマッピングされる。没入度１５７は、画像逆安定化モジュール１６０において、画像の逆安定化の制御に用いられる。

ここで、図示されているように、没入度１５７は、連続的な値として出力されうる。画像逆安定化モジュール１６０は、例えば、没入度１５７の値に応じて、安定化ベクトルを用いた逆安定化によって、再生される画像において撮像時の撮像装置の揺れをどの程度再
現するか（画像に揺れを表現する効果の程度）を決定してもよい。この場合、画像逆安定化モジュール１６０は、没入度１５７が所定の閾値を超えるか否かに基づいて、安定化ベクトルを用いた逆安定化によって、再生される画像において撮像時の撮像装置の揺れを再現するか否か（画像に揺れを表現する効果を付加するか否か）を決定してもよい。なお、上記の通り、本実施形態において、没入度１５７は、画像の撮影環境に関する撮影環境情報、または画像の視聴環境に関する視聴環境情報を表現する。従って、上記のような画像逆安定化モジュール１６０による決定は、撮影環境情報または視聴環境情報に基づく決定ともいえる。

（１－５．表示例）
図１０は、本開示の第１の実施形態における画像の表示の第１の例を示す図である。図１０に示された例では、モード設定１７０をオート、マニュアル（ＯＦＦ）、マニュアル（ＯＮ）にした場合の、単独の画面、およびサブ画面付きの画面での表示例が示されている。なお、図中において、「Ｒ」は逆安定化された画像を示し、「Ｓ」は安定化された（逆安定化されていない）画像を示す。

モード設定１７０がオートの場合、例えば上記のような没入度算出モジュール１５０の処理において算出された没入度１５７に基づいて、単独の画面の場合には逆安定化された画像または安定化された画像のうちのいずれかが表示される。一方、サブ画面付きの画面の場合、没入度１５７に応じて、メイン画面に逆安定化された画像を表示してサブ画面に安定化された画像を表示するか、逆にメイン画面に安定化された画像を表示してサブ画面に逆安定化された画像を表示するかが選択される。

ここで、モード設定１７０がオートの場合、没入度１５７が所定の閾値を超えていれば、単独の画面には逆安定化された画像が表示され、サブ画面付きの画面ではメイン画面に逆安定化された画像が表示されうる。一方、没入度１５７が所定の閾値を超えていなければ、単独の画面には安定化された画像が表示され、サブ画面付きの画面ではサブ画面に逆安定化された画像が表示されうる。

一方、モード設定１７０がマニュアル（ＯＦＦ）の場合、没入度１５７に関わらず、単独の画面に安定化された（逆安定化されていない）画像が表示される。この場合、没入度算出モジュール１５０は、没入度１５７を算出するための処理を実行しなくてもよい。

また、モード設定１７０がマニュアル（ＯＮ）の場合、没入度１５７に関わらず、単独の画面には逆安定化された画像が表示され、サブ画面付きの画面ではメイン画面に逆安定化された画像が表示される。この場合、没入度算出モジュール１５０は、没入度１５７を算出するための処理を実行しなくてもよい。なお、この例において、メイン画面に逆安定化された画像を表示してサブ画面に安定化された画像を表示するか、逆にメイン画面に安定化された画像を表示してサブ画面に逆安定化された画像を表示するかは、マニュアル操作によって入れ替え可能であってもよい。

図１１は、本開示の第１の実施形態における画像の表示の第２の例を示す図である。図１１に示された例では、サブ画面としてパノラマ画像が表示される画面において、メイン画面（Ｍａｉｎ）に逆安定化された画像が表示され、パノラマ画像が表示されるサブ画面（Ｐａｎｏｒａｍａ）に安定化された（逆安定化されていない）画像が表示される。ここで、パノラマ画像は、例えば広い範囲の俯瞰などに用いられることが多いため、図示された例のように、没入度１５７に関わらず安定化された画像が表示されるように設定されていてもよい。

（２．第２の実施形態）
図１２は、本開示の第２の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。図１２を参照すると、画像処理システム２００は、画像信号取得・処理モジュール１１０と、エンコード・マルチプレクサモジュール１２０と、メモリモジュール１３０と、デマルチプレクサ・デコードモジュール１４０と、没入度算出モジュール１５０と、画像逆安定化モジュール１６０と、ディスプレイモジュール１９０とを含む。没入度算出モジュール１５０には、モード設定１７０と、視聴環境設定１８０が入力される。

なお、本実施形態に係る画像処理システム２００は、構成要素については上記の第１の実施形態と同様であるが、その配置が異なる。本実施形態では、画像信号取得・処理モジュール１１０によって取得された画像、音声、および安定化ベクトルが、エンコード・マルチプレクサモジュール１２０に入力されるとともに、没入度算出モジュール１５０にも入力される。没入度算出モジュール１５０によって算出された没入度は、画像、音声、および安定化ベクトルとともにエンコード・マルチプレクサモジュール１２０においてエンコードおよび多重化され、メモリモジュール１３０に格納される。

メモリモジュール１３０からデータを読み出したデマルチプレクサ・デコードモジュール１４０は、データを逆多重化およびデコードすることによって、画像、音声、および安定化ベクトルとともに、没入度を得る。画像、音声、安定化ベクトル、および没入度は、画像逆安定化モジュール１６０に入力され、画像逆安定化モジュール１６０において、画像の没入度に応じた逆安定化が実施される。画像逆安定化モジュール１６０の処理を経た画像および音声は、ディスプレイモジュール１９０において出力される。

本実施形態では、録画された画像がデータとしてメモリモジュール１３０に格納されるときに既に没入度が算出されているため、再生時に画像解析を実行しなくても画像の逆安定化を実施することができる。このような構成は、例えば、再生処理を実行する装置の処理能力が高くなく、かつ録画処理を実行する装置が十分な処理能力を有しているような場合に有効である。なお、例えばモード設定１７０や視聴環境設定１８０が、再生時において録画時と異なる設定になったような場合、再生時に没入度算出モジュール１５０の処理の一部が再実行され、没入度が更新されてもよい。

図１３は、本開示の第２の実施形態における録画処理の例を示すフローチャートである。図１３を参照すると、まず、画像信号取得・処理モジュール１１０が、撮像装置のモーションをキャプチャする（Ｓ２０１）とともに、音声および画像をキャプチャする（Ｓ２０２）。さらに、画像信号取得・処理モジュール１１０は、Ｓ２０１で取得されたモーションに応じて画像の安定化を実施する（Ｓ２０３）。

本実施形態では、ここで、画像の没入度が決定される。没入度算出モジュール１５０は、モード設定１７０に基づいて、モードを判定する（Ｓ２０４）。モードが「マニュアル」の場合、没入度算出モジュール１５０は、没入度をマニュアルで設定する（Ｓ２０５）。ここで設定される没入度の値は、例えばユーザ操作によって入力された値でありうる。一方、Ｓ２０４の判定において、モードが「オート」の場合、没入度算出モジュール１５０は、画像の解析を実施し（Ｓ２０６）、没入度を自動的に算出する（Ｓ２０７）。

没入度算出モジュール１５０がＳ２０７において自動的に算出した没入度、またはＳ２０５においてマニュアルで設定した没入度に基づいて、エンコード・マルチプレクサモジュール１２０が画像、音声、安定化ベクトル、および没入度をエンコードするとともに多重化する（Ｓ２０８）。そして、メモリアクセス（Ｓ２０９）によって、多重化されたデータがメモリモジュール１３０に格納される。

図１４は、本開示の第２の実施形態における再生処理の例を示すフローチャートである。図１４を参照すると、まず、メモリモジュール１３０から読み出された画像および音声のデータについて、デマルチプレクサ・デコードモジュール１４０が、逆多重化およびデコードを実施する（Ｓ２２１）。このとき、画像および音声のデータとともにメモリモジュール１３０に格納された安定化ベクトルおよび没入度のデータも読み出され、デコードおよび逆多重化される。

次に、画像逆安定化モジュール１６０が、デコードされた安定化ベクトルおよびデコードされた没入度に基づいて、画像の逆安定化を実施する（Ｓ２２２）。さらに、ディスプレイモジュール１９０が、逆安定化された画像を表示させる（Ｓ２２３）。

（３．第３の実施形態）
図１５は、本開示の第３の実施形態に係る画像処理システムの機能構成例を示す概略的なブロック図である。図１５を参照すると、画像処理システム３００は、画像信号取得・処理モジュール１１０と、エンコード・マルチプレクサモジュール１２０と、メモリモジュール１３０と、デマルチプレクサ・デコードモジュール１４０と、没入度算出モジュール１５０と、画像逆安定化モジュール１６０と、ディスプレイモジュール１９０とを含む。没入度算出モジュール１５０には、モード設定１７０と、視聴環境設定１８０が入力される。また、画像処理システム３００は、さらに、第２のメモリモジュール３１０を含む。

本実施形態に係る画像処理システム３００は、没入度算出モジュール１５０による没入度の算出が、メモリモジュール１３０から読み出されてデマルチプレクサ・デコードモジュール１４０によって逆多重化およびデコードされた画像、音声、および安定化ベクトルに基づいて実施される点では、上記の第１の実施形態と同様である。ただし、本実施形態では、没入度算出モジュール１５０によって算出された没入度が、第２のメモリモジュール３１０に格納される。画像逆安定化モジュール１６０は、デマルチプレクサ・デコードモジュール１４０によってデコードされた画像、音声、および安定化ベクトルと、第２のメモリモジュール３１０から読み出された没入度に基づいて、逆安定化の処理を実施する。

本実施形態では、没入度算出モジュール１５０によって算出された没入度が一旦メモリモジュール３１０に格納されるため、画像の再生に先立って没入度の算出処理を実行することが可能である。従って、例えば、画像が録画されてから再生されるまでの間にバッチ処理などによって没入度を算出し、再生時には画像解析を実行しなくても画像の逆安定化を実施することができる。このような構成は、例えば、録画処理を実行する装置も、再生処理を実行する装置も、いずれも処理能力が高くない場合に、サーバに没入度の算出処理を依頼するような場合に有効である。

なお、録画処理を実行する装置や再生処理を実行する装置が十分な処理能力を有している場合であっても、サーバに没入度の算出処理を依頼することによって、例えばモバイルやウェアラブルの装置のバッテリーを節約することができる。そのような場合にも、本実施形態の構成は有効でありうる。

（４．ハードウェア構成）
次に、図１６を参照して、本開示の実施形態に係る画像処理装置のハードウェア構成について説明する。図１６は、本開示の実施形態に係る画像処理装置のハードウェア構成例を示すブロック図である。図示された画像処理装置９００は、例えば、上記の実施形態における端末装置および／またはサーバ装置を実現しうる。

画像処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、画像処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、画像処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。画像処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、画像処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、画像処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、画像処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、画像処理装置９００の処理により得られた結果を、テキストまたは画像などの画像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、画像処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、画像処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を画像処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、画像処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば画像処理装置９００の筐体の姿勢など、画像処理装置９００自体の状態に関する情報や、画像処理装置９００の周辺の明るさや騒音など、画像処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、画像処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（５．補足）
本開示の実施形態は、例えば、上記で説明したような画像処理装置（端末装置またはサーバ装置）、システム、画像処理装置またはシステムで実行される情報処理方法、画像処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する画像逆安定化処理部を備える画像処理装置。
（２）前記揺れ情報は、前記画像の撮像時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む、前記（１）に記載の画像処理装置。
（３）前記画像逆安定化処理部は、前記効果の程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定する、前記（１）または（２）に記載の画像処理装置。
（４）前記画像逆安定化処理部は、前記効果を付加する程度を、前記撮影環境情報に基づいて決定する、前記（３）に記載の画像処理装置。
（５）前記画像逆安定化処理部は、前記効果を付加する程度として、前記効果を付加するか否かを決定する、前記（４）に記載の画像処理装置。
（６）前記撮影環境情報は、前記画像のフレームの移動ベクトルに関する情報を含む、前記（３）～（５）のいずれか１項に記載の画像処理装置。
（７）前記撮影環境情報は、前記画像によって示される画像特徴を含む、前記（３）～（６）のいずれか１項に記載の画像処理装置。
（８）前記画像特徴は、前記画像の輝度または色の特徴を含む、前記（７）に記載の画像処理装置。
（９）前記画像特徴は、シーンの種類を含む、前記（７）または（８）に記載の画像処理装置。
（１０）前記撮影環境情報は、前記画像に付随する音声によって示される音声特徴を含む、前記（３）～（９）のいずれか１項に記載の画像処理装置。
（１１）前記音声特徴は、前記音声の周波数成分、前記音声の振幅、または前記音声によって示される音の種類を含む、前記（１０）に記載の画像処理装置。
（１２）前記画像逆安定化処理部は、前記効果の程度を、前記画像の視聴環境に関する視聴環境情報に基づいて決定する、前記（１）～（１１）のいずれか１項に記載の画像処理装置。
（１３）前記視聴環境情報は、前記画像が表示される画面のサイズを含む、前記（１２）に記載の画像処理装置。
（１４）前記視聴環境情報は、観察者から前記画像が表示される画面までの距離を含む、前記（１２）または（１３）に記載の画像処理装置。
（１５）前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像逆安定化処理部は、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現する前記（１）～（１４）のいずれか１項に記載の画像処理装置。
（１６）画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する画像逆安定化処理部を備える画像処理装置。
（１７）前記没入感の期待値は、前記画像の撮影環境を示す撮影環境情報に基づいて決定される、前記（１６）に記載の画像処理装置。
（１８）前記撮影環境情報は、前記画像によって示される画像特徴を含む、前記（１７）に記載の画像処理装置。
（１９）前記撮影環境情報は、前記画像に付随する音声によって示される音声特徴を含む、前記（１７）または（１８）に記載の画像処理装置。
（２０）前記没入感の期待値は、前記画像の視聴環境を示す視聴環境情報に基づいて決定される、前記（１６）～（１９）のいずれか１項に記載の画像処理装置。
（２１）前記視聴環境情報は、前記画像が表示される画面のサイズを含む、前記（２０）に記載の画像処理装置。
（２２）前記視聴環境情報は、観察者から前記画像が表示される画面までの距離を含む、前記（２１）に記載の画像処理装置。
（２３）前記画像逆安定化処理部は、前記効果を、前記画像の揺れに関する揺れ情報に基づいて付加する、前記（１６）～（２２）のいずれか１項に記載の画像処理装置。
（２４）プロセッサが、画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加することを含む画像処理方法。
（２５）プロセッサが、画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定することを含む画像処理方法。
（２６）画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する機能をコンピュータに実現させるためのプログラム。
（２７）画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する機能をコンピュータに実現させるためのプログラム。
（２８）画像の撮影環境に関する撮影環境情報に基づいて、画像の揺れを表現する効果を付加する画像逆安定化処理部を備える画像処理装置。
（２９）画像の視聴環境に関する視聴環境情報に基づいて、画像の揺れを表現する効果を付加する画像逆安定化処理部を備える画像処理装置。

１００，２００，３００ 画像処理システム
１１０ 画像信号取得・処理モジュール
１２０ エンコード・マルチプレクサモジュール
１３０ メモリモジュール
１４０ デマルチプレクサ・デコードモジュール
１５０ 没入度算出モジュール
１６０ 画像逆安定化モジュール
１９０ ディスプレイモジュール
３１０ 第２のメモリモジュール

Claims (25)

1. 画像の撮影時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する画像逆安定化処理部を備え、
   前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像逆安定化処理部は、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
   前記画像逆安定化処理部は、前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定し、
   前記撮影環境情報は、
   前記画像の解析により得られる特徴に対して前記特徴の種類に応じた重みを付与した出力値を含み、
   前記出力値は、
   画像変化量の出力およびシーン種類に対する重みに基づいて算出され、
   前記画像逆安定化処理部は、
   前記撮影環境情報に含まれる前記出力値に基づき算出した値に基づいて、前記効果の程度および前記効果を付加する程度を決定する、画像処理装置。
2. 前記画像逆安定化処理部は、前記効果を付加する程度を、前記撮影環境情報に基づいて決定する、請求項１に記載の画像処理装置。
3. 前記画像逆安定化処理部は、前記効果を付加する程度として、前記効果を付加するか否かを決定する、請求項２に記載の画像処理装置。
4. 前記撮影環境情報は、前記画像のフレームの移動ベクトルに関する情報を含む、請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記撮影環境情報は、前記画像によって示される画像特徴を含む、請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記画像特徴は、前記画像の輝度または色の特徴を含む、請求項５に記載の画像処理装置。
7. 前記画像特徴は、シーンの種類を含む、請求項５または６に記載の画像処理装置。
8. 前記シーンの種類は、スポーツシーンを含む、請求項７に記載の画像処理装置。
9. 前記撮影環境情報は、前記画像に付随する音声によって示される音声特徴を含む、請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記音声特徴は、前記音声の周波数成分、前記音声の振幅、または前記音声によって示される音の種類を含む、請求項９に記載の画像処理装置。
11. 前記画像逆安定化処理部は、前記効果の程度を、前記画像の視聴環境に関する視聴環境情報に基づいて決定する、請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記視聴環境情報は、前記画像が表示される画面のサイズを含む、請求項１１に記載の画像処理装置。
13. 前記視聴環境情報は、観察者から前記画像が表示される画面までの距離を含む、請求項１１または１２に記載の画像処理装置。
14. 画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する画像逆安定化処理部を備え、
    前記画像逆安定化処理部は、
    前記画像の撮影時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加し、
    前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像逆安定化処理部は、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現し、
    前記画像逆安定化処理部は、前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定し、
    前記撮影環境情報は、
    前記画像の解析により得られる特徴に対して前記特徴の種類に応じた重みを付与した出力値を含み、
    前記出力値は、
    画像変化量の出力およびシーン種類に対する重みに基づいて算出され、
    前記没入感の期待値は、
    前記撮影環境情報に含まれる前記出力値に基づき算出した値である、画像処理装置。
15. 前記没入感の期待値は、前記画像の撮影環境を示す撮影環境情報に基づいて決定される、請求項１４に記載の画像処理装置。
16. 前記撮影環境情報は、前記画像によって示される画像特徴を含む、請求項１５に記載の画像処理装置。
17. 前記撮影環境情報は、前記画像に付随する音声によって示される音声特徴を含む、請求項１５または１６に記載の画像処理装置。
18. 前記没入感の期待値は、前記画像の視聴環境を示す視聴環境情報に基づいて決定される、請求項１４から１７のいずれか１項に記載の画像処理装置。
19. 前記視聴環境情報は、前記画像が表示される画面のサイズを含む、請求項１８に記載の画像処理装置。
20. 前記視聴環境情報は、観察者から前記画像が表示される画面までの距離を含む、請求項１９に記載の画像処理装置。
21. 前記画像逆安定化処理部は、前記効果を、前記画像の揺れに関する揺れ情報に基づいて付加する、請求項１４から２０のいずれか１項に記載の画像処理装置。
22. プロセッサが、画像の撮影時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加することと、
    前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現することと、
    前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定することと、を含み、
    前記撮影環境情報は、
    前記画像の解析により得られる特徴に対して前記特徴の種類に応じた重みを付与した出力値を含み、
    前記出力値は、
    画像変化量の出力およびシーン種類に対する重みに基づいて算出され、
    前記撮影環境情報に含まれる前記出力値に基づき算出した値に基づいて、前記効果の程度および前記効果を付加する程度を決定する、画像処理方法。
23. プロセッサが、画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定することと、
    前記画像の撮影時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加することと、
    前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現することと、
    前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定することと、を含み、
    前記撮影環境情報は、
    前記画像の解析により得られる特徴に対して前記特徴の種類に応じた重みを付与した出力値を含み、
    前記出力値は、
    画像変化量の出力およびシーン種類に対する重みに基づいて算出され、
    前記没入感の期待値は、
    前記撮影環境情報に含まれる前記出力値に基づき算出した値である、画像処理方法。
24. 画像の撮影時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する機能と、
    前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現する機能と、
    前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定する機能と、をコンピュータに実現させ、
    前記撮影環境情報は、
    前記画像の解析により得られる特徴に対して前記特徴の種類に応じた重みを付与した出力値を含み、
    前記出力値は、
    画像変化量の出力およびシーン種類に対する重みに基づいて算出され、
    前記撮影環境情報に含まれる前記出力値に基づき算出した値に基づいて、前記効果の程度および前記効果を付加する程度を決定する、プログラム。
25. 画像に付加される揺れを表現する効果の程度を、前記画像に対する観察者の没入感の期待値に基づいて決定する機能と、
    前記画像の撮影時に発生した撮像装置の揺れを示す撮像装置揺れ情報を含む揺れ情報であって、前記画像の揺れに関する揺れ情報に基づいて、前記画像に揺れを表現する効果を付加する機能と、
    前記画像は、撮像装置の揺れの影響の少なくとも一部が除去された画像であり、前記画像に前記効果を付加することによって、前記画像に前記撮像装置の揺れを再現する機能と、
    前記効果の程度および前記効果を付加する程度を、前記画像の撮影環境に関する撮影環境情報に基づいて決定する機能と、をコンピュータに実現させ、
    前記撮影環境情報は、
    前記画像の解析により得られる特徴に対して前記特徴の種類に応じた重みを付与した出力値を含み、
    前記出力値は、
    画像変化量の出力およびシーン種類に対する重みに基づいて算出され、
    前記没入感の期待値は、
    前記撮影環境情報に含まれる前記出力値に基づき算出した値である、プログラム。

Images