JPWO2017213244A1 - 画像処理装置、画像処理プログラム、および記録媒体 - Google Patents

Abstract

画像処理装置（１０）は、入力された動画像を編集して出力する画像処理装置であって、入力された動画像に含まれるフレームから特徴部を検出する特徴部検出部（１１）、および入力された動画像における特徴部が検出されたフレームの再生速度と、特徴部が検出されなかったフレームの再生速度とを異ならせて出力する設定部（１２）および画像生成部（１３）を備えている。

Description

本発明の一態様は画像処理技術に関し、特には画像に対して適切な編集処理を施す画像処理装置に関する。

魚眼レンズや全方位ミラーを装着したカメラを用いることで、通常の画角よりも広角な画像、すなわち広角画像やパノラマ画像などを撮影できる。従来、ユーザが観察者の視線方向を任意に指定し、この広角画像から、指定された視線方向に対応する画角を表示し、別空間にいるかのような映像体験をユーザに与える技術が各種提案されている。例えば、特許文献１ではユーザの指定に応じて視点、視線方向を連続的に変化させたパノラマ映像を表示する方法が開示されている。

日本国公開特許公報「特開平９-６２８６１号公報（１９９７年３月７日公開）」

しかしながら、特許文献１に開示された方法では、広角画像中の視点、視線方向をユーザが決める必要がある。ユーザは、初めて見る画像ではどこに注目すればよいかわからないので、視点、視線方向の設定を繰り返す必要があった。さらに、視点、視線方向のみを設定して生成された画像においては、当該画像の画角外となる位置に、ユーザに注目して欲しいイベントや目印などの特徴部が存在する場合があり、重要な情報を見落としてしまうという問題があった。

本発明の一態様は上記課題を鑑みて発明されたものであり、画像に対し、空間方向や時間軸方向に編集を加えることにより、ユーザに注目して欲しいイベントや目印などの特徴部が強調された画像を生成することを目的とする。

本発明の一態様に係る画像処理装置は、上記の課題を解決するために、入力された動画像を編集して出力する画像処理装置であって、前記動画像に含まれるフレームから特徴部を検出する特徴部検出部、および前記動画像における前記特徴部が検出されたフレームの再生速度と、前記特徴部が検出されなかったフレームの再生速度とを異ならせて出力する出力部
を備えている。

本発明の一態様の画像処理装置によれば、入力画像から検出された特徴部に応じて、適切な編集処理が施された画像を生成することができる、という効果を奏する。

本発明の実施形態１に係る画像処理装置を備える画像表示装置の構成を示す機能ブロック図である。 本発明の実施形態１における特徴部抽出を説明する例である。 本発明の実施形態１における画像生成を説明する例である。 本発明の実施形態１に係る画像表示装置によって実行される画像処理方法の流れを表すフローチャートである。 本発明の実施形態１における特徴部の重み付けを説明する例である。 本発明の実施形態２に係る画像処理装置を備える画像表示装置の構成を示す機能ブロック図である。 本発明の実施形態２における画像重畳を説明する例である。 本発明の実施形態２に係る画像表示装置によって実行される画像処理方法の流れを表すフローチャートである。

本発明に係る各実施形態について、添付図面を参照することによって以下に詳細に説明する。各添付図面は、本発明の原理に則った具体的な実施形態を示すに過ぎない。これらは本発明の理解のために用意されたに過ぎず、決して本発明を限定的に解釈させるためのものではない。また、各添付図面に図示される各要素は、本発明の理解を深めるために敢えて誇張して記載されているので、実際の各要素の間隔および大きさとは異なることに留意すべきである。

以下の説明において、ある図面においてある要素に付された符号と同じ符号が他の図面内の同一の要素にも付されている場合、当該同一の要素の構成および機能等は当該ある要素と同一であるため、当該同一の要素についての詳細な説明を省略する。また、以下に記載される「画像」とは、静止画像および動画像の両方を含む意味のものである。さらに、動画像に音声情報が含まれる場合、「画像」は音声情報も含むものとする。

〔実施形態１〕
本発明に係る実施形態１について、図１〜図５に基づき以下に説明する。

（装置構成）
図１は、本発明の実施形態１に係る画像処理装置１０を備える画像表示装置１の構成を示す機能ブロック図である。この図に示すように、画像表示装置１は、画像処理装置１０、撮像部２０、表示部３０、および記憶制御部４０を備えている。画像処理装置１０は、特徴部抽出部（特徴部検出部）１１、設定部（出力部）１２、および画像生成部（出力部）１３を備えている。画像処理装置１０は、入力された動画像を編集して出力する画像処理装置である。本実施形態における動画像の「編集」とは、動画像の各フレームを切り出して切出画像を生成することや、再生速度の変更（特殊再生）等を意味する。

（撮像部２０）
撮像部２０は、撮像レンズと、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子とを備えており、被写体を撮像することによって、当該被写体を含む画像（静止画または動画）を生成する。

（表示部３０）
表示部３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示画面であり、画像や文字などの情報や被写体の画像等を表示する。

（記憶制御部４０）
記憶制御部４０は、画像を記録媒体に記憶させたり、記録媒体に記憶された画像を読み込んで画像処理装置１０に出力したりすることができる一般的な部材である。記憶制御部４０は、たとえば所定の記録媒体から画像を読み込み、これを再生する部材であってもよい。記録媒体としては、市販のカメラ（デジタルカメラ、ビデオカメラなど）内の記憶装置、または取り外し可能な記憶装置（光磁気ディスクおよび半導体メモリなどの電子媒体）が例示的に挙げられる。

撮像部２０、表示部３０、および記憶制御部４０は一般的な装置であり、本発明の特徴とは直接関係しない。そのため、これらについてのこれ以上の詳細な説明は省略する。

（画像処理装置１０）
画像処理装置１０は、撮像部２０または記憶制御部４０から取得した画像（以下、「入力画像」と称する。）から一部を切り出した画像（以下、「切出画像」と称する。）を生成し、表示部３０、または記憶制御部４０の少なくとも一つに出力する。入力画像は、複数のフレーム画像を含む動画像であってよい。画像処理装置１０は、たとえばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）またはＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：画像処理用処理装置）などとして構成できる。

（特徴部抽出部１１）
特徴部抽出部１１は、撮像部２０または記憶制御部４０から画像処理装置１０が取得した入力画像を用いて、特徴部を抽出（検出）する。ここで、特徴部とは、例えば、画像中において人間の視覚的注意を引きやすい被写体のことであり、具体的には後述する処理により抽出することができる。例えば、道順案内などを撮影した画像では、看板や建物などが特徴部となる。つまり、特徴部は一画素に限定されるものではなく、複数の画素から構成されたオブジェクトであってもよい。この処理の詳細は後述する。また、入力画像が動画像である場合、各々のフレーム画像の特徴部を抽出する。

なお、特徴部抽出部１１は、入力画像である動画像に含まれるフレームから特徴部を検出するようになっていればよく、当該動画像の各フレームから特徴部を検出してもよいし、当該動画像に含まれる所定の枚数毎のフレームから特徴部を検出してもよいし、当該動画像に含まれる所定の時間間隔毎のフレームから特徴部を検出してもよい。

（設定部１２）
設定部１２は、特徴部抽出部１１で抽出された特徴部に基づき、画像生成部１３にて生成される切出画像の視線方向、画角、および再生速度を設定する。この処理の詳細は後述する。

（画像生成部１３）
画像生成部１３は、撮像部２０または記憶制御部４０から画像処理装置１０が取得した入力画像を用いて、設定部１２が設定した視線方向、画角、および再生速度に基づき、前記入力画像の一部を切り出した切出画像を生成し、表示部３０に出力する。この処理の詳細は後述する。

（特徴部抽出部１１の詳細）
特徴部抽出部１１は、入力画像から特徴部を抽出する。特徴部抽出部１１は、入力画像から特徴部を抽出するために、まず、顕著性マップを生成し、生成した顕著性マップから最も顕著性の高い画素を特徴部として抽出する。次に、特徴部抽出部１１による顕著性マップの生成方法を説明する。顕著性マップとは、入力画像の各部分の視覚的注意の向きやすさ、すなわち顕著性を数値で表したものである。顕著性マップを生成する方法は、画像の色、輝度、およびエッジ方向を用いて生成する方法（Ｌ.Ｉｔｔｉ，Ｃ．Ｋｏｃｈ ａｎｄ Ｅ．Ｎｉｅｂｕｒ，“Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−ｂａｓｅｄ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ，” ＩＥＥＥ Ｔｒａｎｓ. ＰＡＭＩ，Ｖｏｌ．２０，Ｎｏ．１１，ｐｐ．１２５４−１２５９，１９９８）や色、輝度、およびエッジ方向に加え動きを用いて生成する方法などが知られており、上述した方法を用いることで実現できる。

図２の（ａ）〜（ｃ）に入力画像１２１から顕著性マップ１２２を生成した例を示す。図２の（ｂ）に示す顕著性マップ１２２は顕著性の高低を輝度値で表しており、顕著性が高い（視覚的注意が向きやすい）画素を白（２５５）で、顕著性が低い（視覚的注意が向きにくい）画素を黒（０）で表している。看板などは人目を引く色や形で作成されていることが多いため、顕著性が高く算出される。

次に、顕著性マップから特徴部を抽出する方法を説明する。顕著性マップから最も顕著性が高い画素の領域を特徴部として抽出する。図２の（ｂ）に示す例では、領域１２３が最も顕著性が高い画素の領域であるので、領域１２３を特徴部とする。

次に、特徴部を複数個抽出する場合の例を示す。２個目以降の特徴部は、既に抽出した領域とその周辺画素を０の値で塗りつぶした顕著性マップから、最も顕著性が高い画素の領域を抽出する処理を繰り返して抽出する。たとえば、図２の（ｃ）の顕著性マップ１２５では、顕著性マップ１２２において特徴部として抽出された領域１２３と領域１２４、およびその周辺の画素が黒（０の値）で塗りつぶされたものである。ここでは、３個目の特徴部として領域１２６が、顕著性マップ１２５から抽出される。なお、このとき塗りつぶす周辺画素の領域の大きさは、入力画像の大きさや抽出対象となる特徴部の大きさなどから適宜設定することができる。なお、顕著性が閾値以下である画素の領域については、例え、顕著性マップのうち最も顕著性が高い画素の領域であったとしても、特徴部として検出しなくともよい。

（設定部１２の詳細）
設定部１２は、画像生成部１３にて生成される切出画像の視線方向、画角、および再生速度を設定する。視線方向とは、入力画像から一部を切り出すときの切りだし範囲の中心座標となる点である。画角とは、画像から一部を切り出すときの切り出し範囲のことである。

再生速度とは生成される切出画像の再生速度のことである。例えば、再生速度を停止（一時停止）、再生速度を基準再生速度よりも速くする（早送り）、および再生速度を基準再生速度よりも遅くする（スローモーション）などを設定できる。

例えば、フレーム画像の複製等により、同じフレーム画像を並べることで、「一時停止」の状態を実現してもよい。また、類似した新たなフレーム画像の生成等により、類似内容のフレーム画像を並べることで、「スローモーション」の状態を実現してもよい。また、フレーム画像の間引き等などにより、元のフレーム画像のセットよりフレーム画像の数を減らすことで、「早送り」の状態を実現してもよい。

つまり、特徴部に応じて、フレーム画像の複製、新たな画像の生成、フレーム画像の間引きをすることにより、元の動画像に含まれるフレーム画像のセットとは異なるフレーム画像のセットを生成する。そして、この生成されたフレーム画像のセットに含まれる各々のフレーム画像から１枚ずつ切出画像を生成することにより、特徴部に応じて再生速度が異なる切出画像を実現してもよい。

基準再生速度とは、再生速度を変更するときに基準とする再生速度のことで、例えば、入力画像の再生速度や、人間の歩くスピードに合わせて設定された再生速度などを設定することができる。ここでは、基準再生速度を入力画像の再生速度として説明する。言い換えると、入力画像に含まれる複数のフレーム画像の各々を順次再生した場合を、基準再生速度で再生した場合とする。

まず、特徴部抽出部１１にて特徴部が抽出された場合の設定部１２の動作を説明する。視線方向は、基準視線方向から特徴部へ連続的に移動するように設定する。基準視線方向とは、入力画像から一部を切り出すときに基準とする視線方向のことで、あらかじめ決めておいてもよいし、動的に変化させてもよい。ここでは入力画像の中心を基準視線方向として説明する。

このとき、切出画像の画角も狭くなるように連続的に変化させると、特徴部を視認しやすくなるため好適である。例えば、基準視線方向では切出画像の画角を左右方向、上下方向ともに６０度に設定し、視線方向を基準視線方向から特徴部へ連続的に変化させるとともに、視線方向が特徴部となる場合に切出画像の画角が左右方向、上下方向ともに３０度になるように連続的に画角を変動するように設定する。このように視線方向とともに画角を連続的に変化させることで、特徴部が視線方向、すなわち切出画像の中心となるように切り出されたときに、特徴部の画角に占める割合が多くなり、ユーザが特徴部を確認しやすくなるため好適である。また、ズーム、すなわち画像の拡大処理を用いることにより、切り出し画像サイズを変えないようにしてもよく、このような表示の方法により、注視点を変える際の人の目の動きを表現することができ、より自然な表示が可能となる。

なお、左右方向の画角を６０度に設定すると、入力画像が左右方向の画角が３６０度のカメラで撮影された画像（横ｘピクセル）であった場合、切出画像の切り出し範囲はｘ／６ピクセル（＝ｘ×６０／３６０）となる。同様に上下方向の画角を６０度に設定すると、入力画像が左右方向の画角が３６０度のカメラで撮影された画像（縦ｙピクセル）であった場合、切出画像の切り出し範囲はｙ／６ピクセル（＝ｙ×６０／３６０）となる。同様に画角３０度の場合は、切出画像の切り出し範囲は、横ｘ／１２ピクセル、縦ｙ／１２ピクセルとなる。

また、再生速度を停止もしくは基準再生速度よりも遅くしながら、視線方向を、特徴部に連続的に移動させた後、特徴部から入力画像の中心へ連続的に移動するように設定すると、ユーザが入力画像中の位置を把握しやすくなるため好適である。例えば、道順案内画像など移動しながら撮影された入力画像では、看板などの特徴部に向かって連続的に視線方向を変化させた後、看板から入力画像の中心に向かって連続的に視線方向を変換させている間、撮影した位置が移動しないよう再生速度を停止もしくは基準再生速度より遅くするように設定する。これにより、切出画像を見ている人が道順や撮影位置を見誤ることなく、分かりやすい画像を提供することができる。特徴部が複数抽出された場合は、上述の処理を１個毎に繰り返してもよいし、画角を広くすることで特徴部を一度に確認できるようにしてもよい。なお、画角が広くなるように切り出した画像に、各特徴部をズームして切り出した画像を重畳表示しても構わない。このとき、ユーザがズームして表示する特徴部を選択するようにしてもよい。例えば、図示しない入力装置から入力されるユーザの指示情報から特徴部が選択されたことを判断し、選択された特徴部をズームして切り出した画像を重畳表示することもできる。また、入力画像の中心から特徴部への視線方向の移動を特徴部１個毎に繰り返すのではなく、特徴部から特徴部へ連続的に視線方向を移動させると、類似する処理を繰り返す必要がなくなり好適である。特に特徴部どうしが近い位置に存在する場合では、近い位置に存在する特徴部どうしを効率良く確認できるため好適である。

次に、特徴部抽出部１１にて特徴部が抽出されなかった場合の設定部１２の動作を説明する。このとき、再生速度を基準再生速度よりも速く設定する。これにより、特徴部のない入力画像の区間を効率良く確認できる。このとき、視線方向を基準視線方向に設定しておくと、特徴部が抽出されたときにスムーズに視線方向を変更する処理へ移行できるため好適である。

（画像生成部１３の詳細）
画像生成部１３は、設定部１２で設定された画像の視線方向、画角、および再生速度に基づいて、画像から一部を切り出した切出画像を生成する。

再生速度を変更する処理を行った後、視線方向と画角に基づいて入力画像から一部を切り出す処理を行う。再生速度が停止もしくは基準再生速度よりも遅い場合、入力画像に対し、複製処理を施した画像を再生速度変更後の入力画像とする。再生速度が基準再生速度よりも早い場合、入力画像に対し、間引き処理を施した画像を再生速度変更後の入力画像とする。ここでは、入力画像の複製または間引きにより、再生速度を調整したが、時間軸方向の画像間を補間することにより新たな画像を生成する方法を用いて再生速度を調整してもよい。すると、再生速度が基準再生速度よりも遅い場合は滑らかなスローモーション画像が生成され、再生速度が基準再生速度よりも速い場合は動きぶれが補正された早送り画像が生成されるため好適である。

図３の（ａ），（ｂ）は、視線方向１３１と画角１３２に基づいて再生速度変更後の画像１３３から一部を切り出す例を示した図である。一部を切り出した画像１３４を切出画像として出力する。ここでは、再生速度変更後の画像から切り出した画像１３４を切出画像として用いているが、歪みを含んだ画像の場合は、歪み補正を施した画像を切出画像として用いてもよい。また、パノラマ画像や３６０度全周囲画像のような正距円筒図法で保存された画像が入力された場合は、入力画像を原点中心の球にマッピングし、原点から透視投影を行った画像から切出画像を生成してもよい。上述したように、入力画像に応じた切り出し処理を施すことで、歪みのない切出画像をユーザに提供することができるため好適である。

（全体的な処理の流れ）
図４は、本発明の実施形態１に係る画像処理装置１０によって実行される画像処理方法の流れを表すフローチャートである。この図に示すように、処理が開始されると、画像処理装置１０は、撮像部２０または記憶制御部４０から、表示用に画像処理が施される入力画像を取得する（Ｓ１）。次に、特徴部抽出部１１は、入力画像から特徴部を抽出し、設定部１２に出力する（Ｓ２）。次に、設定部１２は、入力された特徴部に基づき、生成される切出画像の視線方向、画角、および再生速度を設定する（Ｓ３）。次に、画像生成部１３は、設定部１２にて設定された視線方向、画角、および再生速度に基づき、入力画像から一部を切り出した切出画像を生成し、表示部３０に出力する（Ｓ４）。表示部３０は、入力した切出画像を表示する（Ｓ５）。これにより図４の処理は終了する。

上述した本発明の実施形態１に係る画像処理装置１０を備える画像表示装置１によれば、画像から抽出された特徴部に応じて、適切な編集処理を施した画像を生成することができる。

なお、画像生成部１３は、生成した切出画像を表示部３０に出力する代わりに、生成した切出画像からなる動画像ファイルを生成するようにしてもよい。

（補足事項）
本実施形態では、特徴部抽出部１１が入力画像から一様に顕著性を算出していたが、本発明はこれに限定されない。例えば、算出された顕著性に重み付けを行うことで、特徴部抽出の範囲を調整することができる。図５に重みの大きさを画像の輝度値で表した例を示す。輝度値が高い（白に近い）と重みが大きく、輝度値が低い（黒に近い）と重みが小さいことを表す。図５の重み付けを図示した画像１５１に示すように重みを任意の点１５２に近づくほど大きく、離れるほど遠く設定すると、任意の点に近い特徴部が優先的に抽出される。特に、入力画像が道順案内画像の場合、入力画像を撮像した撮像部２０の位置（以下、「撮像位置」と称する。）の進行方向の先にある被写体の入力画像における位置（以下、「進行方向の位置」と称する。）に近い特徴部が重要になるため、任意の点を、進行方向の位置と設定し、図５に示す重み付けを行うことにより、進行方向の位置に近い特徴部を優先して抽出できるため好適である。

また、入力画像がイベントを撮影した画像の場合、任意の点を進行方向の位置とは異なる点、例えば３６０度全周囲を撮影した画像において進行方向の位置から１８０度離れた点を設定することができる。これにより、撮影者が撮影時には気がつかなかった背面のイベントを特徴部として優先して抽出できるため好適である。このように算出された顕著性に重み付けを行うことで、入力画像の特性やユーザの好みに応じて、切出画像に含める特徴部の範囲を調整できるため好適である。さらに、空間方向だけでなく、時間軸方向にも重み付けを変更することもできる。例えば、移動しながら撮影した画像の場合、撮像位置が直進しているか曲がり角であるかを判定し、直進時の画像よりも曲がり角時の画像に対して重みが大きくなるようにする。直進であるか曲がり角であるかを判定するのは、画像からオプティカルフローを算出し、撮像部２０が水平方向に回転しているときに撮像された画像であったならば曲がり角、撮像部２０が水平方向に回転していないときに撮像された画像であったならば直進していると判定してもよい。また、図示しない入力部から入力される画像撮影時のＧＰＳ情報やジャイロセンサの情報から直進か曲がり角かを判定してもよい。入力画像が道順案内画像の場合、曲がり角における特徴部が重要になる。時間軸方向に重み付けを行うことにより、曲がり角にある特徴部を優先的に抽出できるため好適である。

顕著性マップ上の画素（ｘ，ｙ）の顕著性がｉ、顕著性マップに対する重み付けの値がｗ_ｉ、時間軸方向に対する重み付けの値がｗ_ｔであったとき、重み付け後の顕著性ｉ’は、下記式で表すことができる。

ｉ’＝ｗ_ｉ×ｗ_ｔ×ｉ
ｗ_ｉまたはｗ_ｔのどちらか一方のみに重み付けを行いたい場合は、重み付けを行わない方の重み付けの値を「１」に設定することで、重み付けを行わない方の重み付けの影響を排除することができる。

本実施形態では、特徴部抽出部１１が入力画像の全体から特徴部を抽出していたが、本発明はこれに限定されない。例えば、特徴部の抽出範囲を基準視線方向から画角１８０度程度とする、もしくは基準視線方向から上下左右とも画角６０度分の範囲にするなど、抽出範囲を任意の範囲に制限してもよい。このようにして、基準視線方向周辺の特徴部を抽出することにより、ユーザが軽く首を振る際の視界に含まれる目印を表示することができ、移動時の安全面に配慮した切出画像を生成できるため好適である。特に、特徴部が撮像位置の進行方向の反対側にある場合などに特徴部を抽出しないようにすることで、移動時の極端な視線変更を避けることができるため好適である。

本実施形態では、特徴部抽出部１１が色、輝度、エッジ方向、および動きを用いて顕著性マップを算出していたが、本発明はこれに限定されない。例えば、入力画像が道順案内画像の場合、歩行者や自動車などの動きのある物体でなく、看板や建物などの動きのない物体を特徴部として抽出することが望ましい。色、輝度、エッジ方向、および動き、それぞれにおいて算出された顕著性マップを統合する際に重み付けを行い、色、輝度、エッジ方向には重みを大きく、動きには重みを小さく、または負の重みを設定することができる。これにより、動きのある物体の顕著性よりも動きのない物体の顕著性を高く算出することができる。また、入力画像がイベントを撮影した画像の場合、打ち上げられた花火や踊っている人など動きのある物体を特徴部として抽出することが望ましい。このため、動きには重みを大きく設定することで、動きのない物体の顕著性よりも、動きのある物体の顕著性を高く算出することができる。このように、色、輝度、エッジ方向、および動き、それぞれにおいて算出された顕著性マップを統合する際に重み付けを行うことで、入力画像の特性に合わせて抽出したい特徴部を抽出できるため好適である。

本実施形態では、特徴部抽出部１１が顕著性マップを用いて特徴部を抽出していたが、本発明はこれに限定されない。例えば、特徴部として抽出したい対象が既知の場合、その特徴部を抽出するように画像検出を行ってもよい。例えば、看板を抽出したい場合、画像中から文字を検出し、検出した文字を特徴部として抽出すると、看板の候補となる特徴部のみを抽出できるため好適である。また、人間を抽出したい場合は、画像中から顔を検出し、検出した顔を特徴部として抽出すると、人間の候補となる特徴部のみを抽出できるため好適である。

また、ユーザが特定の人物に注目したい場合は、ユーザは、不図示の操作部を操作して入力画像中の特定の人物の顔を指定することができる。これに応じて、特徴部抽出部１１は、指定された顔を特徴部として抽出することができる。これにより、顔を特徴部とする場合において、特に入力画像中に複数の人物の顔が含まれている場合に、特徴部抽出部１１が、全ての顔を特徴部として抽出することを避けることができる。例えば、ユーザが我が子を撮像し、我が子に注目したい場合、ユーザは我が子の顔を特徴部として指定する。これに応じて、特徴部抽出部１１は、我が子の顔のみを特徴部として抽出することができる。また、設定部１２は、我が子が登場するまでの期間の再生速度を基準再生速度より速く設定することができる。そして、設定部１２は、我が子が登場すると、我が子の顔が拡大するように、入力画像内の位置、および切出し範囲を設定し、かつ再生速度を基準再生速度より遅くするように設定することができる。これにより、例えば人混みの中で撮像した場合であっても、我が子のみに注目することができる。

一方で、顔を特徴部とする場合において、入力画像中に複数の人物の顔が含まれている場合に、特徴部抽出部１１は、全ての顔を特徴部として抽出してもよい。この場合、設定部１２は、入力画像内において占める面積が大きい顔の順に、該当顔に注目できるように、視線方向を移動させることができる。

本実施形態では、設定部１２が基準視線方向を入力画像の中心と設定していたが、本発明はこれに限定されない。例えば、入力画像が移動しながら撮影した画像の場合、画像から撮像位置の進行方向を推定し、進行方向の位置を基準視線方向と設定してもよい。進行方向とは、撮像部２０の移動方向である。進行方向の位置は、画像からオプティカルフローを算出し、そのオプティカルフローを延長した直線による交点とする方法などにより算出することができる。特に、移動しながら撮影した画像では、カメラの光軸方向と進行方向とが必ずしも一致しないため、進行方向の位置を推定しながら基準視線方向を設定すると、進行方向の位置を中心に切り出した切出画像を生成できるため好適である。

本実施形態では、設定部１２が特徴部の有無や位置などにより視線方向、画角、および再生速度を設定していたが、本発明はこれに限定されない。例えば、入力画像から曲がり角を判定し、曲がり角か否かで視線方向、画角、および再生速度の設定を変えてもよい。具体的には、画像のオプティカルフローから、撮像部２０が水平方向に回転しているときに撮像された画像であるかを判定して、水平方向の回転が開始してから停止するまでの間に、画像を見渡すように、視線方向を、切出画像中のオブジェクトが水平方向に移動するように設定する。このように設定することで、曲がり角における周囲の状況を視認することができるため好適である。また、水平に回転させる視線方向は、少し上に移動させても構わない。視線方向を少し上側に向かって移動させることで、人が曲がり角で周囲を確認するときに、建物の上側部分等の、視線を上向きにしたときに捉えることができる風景を手掛かりに自分の位置を把握しているかのような自然な画像が生成できる。なお、上側とは、水平面に対する鉛直上方側のことを示す。また、曲がり角において視線方向を水平に回転させるときに、再生速度を停止もしくは基準再生速度より遅く設定すると、より特徴部を確認しやすくなるため好適である。さらに、曲がり角における再生速度を、人が首を振る速度に設定することにより、より自然な画像が生成できる。

本実施形態では、画像生成部１３が入力画像から切り出した画像をそのまま表示部３０に出力したが、表示部３０の表示解像度に応じて適宜解像度変換などを行っても良い。また、抽出された特徴部であることを示すために、特徴部の外周を枠で囲んだり、周囲よりも明るくしたり、周囲を暗くすることで特徴部を目立たせたりするなどのコントラストを高める処理を施しても良い。

本実施形態では、入力画像の画角について特に既定しなかったが、例えば広角レンズで撮影された画角１００度の画像や、画角１８０度のパノラマ画像、画角３６０度の全方位画像、画角上下左右３６０度の全周囲画像もしくは全天球画像などの画角が広い画像、すなわち広角画像を入力画像とすると、広範囲から特徴部を抽出することができるため好適である。

〔実施形態２〕
本発明に係る実施形態２について、図６〜８に基づき以下に説明する。上述した実施形態１と共通する各部材には同じ符号を付し、詳細な説明を省略する。

本実施形態と実施形態１と違いは、画像表示装置１ａが、視線方向と画角の変更量が大きい場合に、視線方向と画角の変更量を小さくし、入力画像から切り出した特徴部を含む領域を切出画像に重畳して表示する点にある。

（画像表示装置１ａの構成）
図６は、本発明の実施形態２に係る画像処理装置１０ａを備える画像表示装置１ａの構成を示す機能ブロック図である。この図に示すように、画像表示装置１ａは、撮像部２０、表示部３０、記憶制御部４０、および画像処理装置１０ａを備えている。撮像部２０、表示部３０、および記憶制御部４０は実施形態１に係るものとそれぞれ同一であるので、その詳細な説明を省略する。

画像処理装置１０ａは、特徴部抽出部１１、設定部１２、画像生成部１３、および重畳部１４を備えている。すなわち、画像処理装置１０ａは、実施形態１に係る画像処理装置１０にさらに重畳部１４を追加した構成である。

重畳部１４は、画像生成部１３で生成された切出画像に対し、入力画像から切出画像の領域とは別の領域を切り出した画像を重畳する。切出画像の画角外の領域の画像を切出画像に重畳することで画角外にある目印などの重要な情報を提示することができる。

（設定部１２の詳細）
設定部１２は、特徴部抽出部１１にて抽出される特徴部に基づき、生成される切出画像の視線方向、画角、および再生速度を設定する。このとき、特徴部が切出画像の画角内に含まれるよう視線方向もしくは画角の少なくとも一つを変更させるが、例えば、基準視線方向に対して、真逆に位置する特徴部が抽出される場合がある。このとき、視線方向または画角、あるいはその両方の変更量が大きくなるため、それらの変更量が小さくなるようにそれぞれの値を設定し、特徴部を重畳部１４に出力する処理を行う。この処理により極端に大きく動く視線方向や画角の変動を抑制することができるため好適である。また、視線方向と画角の変更量を０に、すなわち変化しないように設定すると、基準視線方向を確認し続けることができるため好適である。

（重畳部１４の詳細）
図７の（ａ），（ｂ）は、本発明の実施形態２における重畳部１４の詳細を説明する図である。重畳部１４は設定部１２から特徴部が入力されると、入力画像１７１から特徴部を含む領域１７２を切り出して切出画像１７３に重畳する。図７の（ｂ）の切出画像１７３は特徴部を含む領域１７２を重畳した例である。特徴部を含む領域とは、特徴部を中心として既定の大きさの領域のことである。切出画像では画角外となる特徴部を含む領域を入力画像から切り出し、切出画像に重畳することで、基準視線方向の切出画像を確認しながら、切出画像の画角外に位置する特徴部を同時に確認できるため好適である。図７の（ｂ）では入力画像から切り出した特徴部を含む領域を切出画像の左下に重畳したが、特徴部の位置に応じて重畳する位置を変更すると、ユーザが特徴部の位置を把握しやすくなるため好適である。例えば、特徴部が入力画像の右上に位置する場合、特徴部を含む領域を切出画像の右上に位置するように重畳すると、切出画像の画角内には存在しないが、入力画像全体としては右上にある特徴部であることをユーザに伝えることができるため好適である。

（全体的な処理の流れ）
図８は、本発明の実施形態２に係る画像表示装置１ａによって実行される画像処理方法の流れを表すフローチャートである。この図に示すように、処理が開始されると、画像処理装置１０ａは、まず、撮像部２０または記憶制御部４０から、表示用に画像処理が施される入力画像を取得する（Ｓ１１）。次に、特徴部抽出部１１は、入力画像から特徴部を抽出する（Ｓ１２）。次に、設定部１２は、特徴部に基づき生成される切出画像の視線方向、画角、および再生速度を設定する（Ｓ１３）。次に、設定部１２は、視線方向、または画角、もしくはその両方の変更量が既定値よりも大きいか否かの判定を行う（Ｓ１４）。設定部１２は、既定値よりも大きければ、Ｓ１５とＳ１６の処理を実行する。設定部１２が、視線方向、または画角、もしくはその両方の変更量が既定値よりも大きいと判断した場合（Ｓ１４でＹｅｓ）は、まず、設定部１２は、それらの変更量が小さくなるようにそれぞれの値を設定する（Ｓ１５）。次に、設定部１２は、特徴部を重畳部１４に入力する（Ｓ１６）。

次に、画像生成部１３は、設定部１２にて設定された視線方向、画角、および再生速度に基づき画像を生成する（Ｓ１７）。

次に、重畳部１４は、特徴部が入力されているか否かの判定を行う（Ｓ１８）。重畳部１４が特徴部は入力されていると判定した場合は、重畳部１４は、Ｓ１９とＳ２０の処理を実行する。重畳部１４が特徴部が入力されていると判定した場合（Ｓ１８でＹｅｓ）は、まず画像生成部１３は、生成した切出画像を重畳部１４に出力する（Ｓ１９）。次に、重畳部１４は、入力画像から特徴部を含む領域を切り出し、切出画像に重畳する（Ｓ２０）。

次に、表示部３０は、重畳部１４から入力された重畳後の切出画像を表示する（Ｓ２１）。表示部３０は、重畳部１４に特徴部が入力されている場合、切出画像に入力画像から特徴部を含む領域が重畳された画像、すなわちＳ２０で生成された画像を表示し、重畳部１４に特徴部が入力されていない場合、Ｓ１７で生成された切出画像を表示する。これにより図８の処理は終了する。

上述した本発明の実施形態２に係る画像処理装置１０ａを備える画像表示装置１ａによれば、切出画像では画角外になる領域を切出画像に重畳することで画角外にある目印などの重要な情報を提示することができる。

〔実施形態３〕
本実施形態において、設定部１２は、再生速度を、上記実施形態とは逆に設定する。すなわち、特徴部抽出部１１にて特徴部が抽出された場合に、設定部１２は、再生速度を基準再生速度よりも速く設定する。また、特徴部抽出部１１にて特徴部が抽出されなかった場合に、設定部１２は、再生速度を停止もしくは基準再生速度よりも遅くする。これにより、特徴部のある入力画像の区間と、特徴部のない入力画像の区間とを区別することができる。本実施形態においても、ユーザは、特徴部の有無を認識しやすい。

（補足事項）
本実施形態では、重畳部１４が入力画像から切り出した画像を重畳していたが、本発明はこれに限定されない。切り出した画像に加え、切出画像と重畳した画像との境界を分かりやすくする外枠、特徴部を説明する文字や記号などを重畳すれば、特徴部をユーザに分かりやすく伝えることができるため好適である。特徴部を説明する文字や記号の一例として、特徴部の説明だけではなく、その位置や方位に関する情報を重畳しても構わない。こうすることにより、現在の視線方向に対して、重畳画像のある方向を、より分かりやすく表示することができる。

なお、本発明は、上述した実施の形態によって限定的に解釈されるものではなく、特許請求の範囲に記載した事項の範囲内で、種々の変更が可能であり本発明の技術的範囲に含まれる。

なお、本発明の各構成要素は、任意に取捨選択が可能である。

本発明の一態様による画像処理装置で動作するプログラムは、本発明の一態様に関わる上記実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）であっても良い。そして、これら装置で取り扱われる情報は、その処理時に一時的にＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に蓄積され、その後、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの各種ＲＯＭやＨＤＤに格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行われる。

また、図１の各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、ＣＰＵなどが実行することにより各部の処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。

また、上述した実施形態における画像処理装置の一部、または全部を典型的には集積回路であるＬＳＩとして実現しても良い。画像処理装置の各機能ブロックは個別にチップ化しても良いし、一部、または全部を集積してチップ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。

また、上述の実施形態において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

〔まとめ〕
本発明の態様１に係る画像処理装置（１０）は、入力された動画像を編集して出力する画像処理装置（１０）であって、前記動画像に含まれるフレームから特徴部を検出する特徴部検出部（１１）、および前記動画像における前記特徴部が検出されたフレームの再生速度と、前記特徴部が検出されなかったフレームの再生速度とを異ならせて出力する出力部（設定部１２、画像生成部１３）を備えている。

上記の構成によれば、入力画像から検出された特徴部に応じて、適切な編集処理が施された画像を生成することができる。

本発明の態様２に係る画像処理装置（１０）は、上記態様１において、前記出力部（設定部１２、画像生成部１３）は、前記動画像の各フレームについて、当該フレームの一部を切り出して出力し、前記特徴部が検出されたフレームの切り出し範囲を、当該切り出し範囲に当該特徴部が含まれるか、または、当該フレームの前フレームよりも当該切り出し範囲が当該特徴部に近づくように設定してもよい。

上記の構成によれば、ユーザが、特徴部の有無を認識しやすくなる。

本発明の態様３に係る画像処理装置（１０）は、上記態様２において、前記出力部（設定部１２、画像生成部１３）は、前記フレームの一部を切り出すときに基準となる前記フレーム内における基準位置を、前記動画像を撮像した位置の進行方向の先にある被写体の前記フレーム内における位置となるように設定してもよい。

上記の構成によれば、進行方向の位置を中心に切り出した切出画像を生成できる。

本発明の態様４に係る画像処理装置（１０）は、上記態様２または３において、前記出力部（設定部１２、画像生成部１３）は、前記フレーム内に特徴部が存在する場合は前記再生速度を停止もしくは基準となる基準再生速度より遅く設定する設定、前記フレーム内に特徴部が存在しない場合は前記再生速度を前記基準再生速度よりも速く設定する設定、および前記動画像が、前記動画像を撮像する撮像装置が水平方向に回転しているときに撮像された動画像である場合、前記フレーム内における前記切り出し範囲の位置を前記フレーム内の上側に向かって移動させる設定、のうち少なくとも一つを設定してもよい。

上記の構成によれば、より特徴部を確認しやすくなる。

本発明の態様５に係る画像処理装置（１０）は、上記態様２から４のいずれか１態様において、前記動画像は、前記動画像を撮像する撮像装置の移動を伴って撮像された動画像であり、前記移動は、上記撮像装置の回転を伴う移動を含み、前記特徴部検出部（１１）は、前記フレームを構成する画素の各々について、顕著性を示す値を求め、前記特徴部検出部（１１）は、前記フレームから前記撮像装置の進行方向の先にある被写体の前記フレーム内における位置に近い特徴部が検出されやすくなるような前記値に対する重み付け、および、前記動画像から、前記回転を伴う移動中に撮像された動画像かを判定し、前記回転を伴う移動中に撮像された動画像における特徴部が検出されやすくなるような前記値に対する重み付け、の少なくともどちらか一方の重み付けを行ってもよい。

上記の構成によれば、特徴部検出の範囲の調整、優先的に検出する特徴部の変更をすることができる。

本発明の態様６に係る画像処理装置（１０）は、上記態様２から５のいずれか１態様において、前記フレームから特徴部を含む領域を切り出して、前記フレームの一部を切り出した出力画像に重畳する重畳部（１４）をさらに備え、前記出力部（設定部１２、画像生成部１３）は、前記特徴部が前記出力画像の前記切り出し範囲内に含まれるように変更させる前記フレーム内における前記切り出し範囲の位置、および前記切り出し範囲の少なくとも一つの変更量が基準となる基準変更量よりも大きい場合、前記フレーム内における前記切り出し範囲の位置、および前記切り出し範囲の少なくとも一つの前記変更量が前記基準変更量よりも小さくなるようにそれぞれの値を設定し、前記重畳部（１４）は、前記特徴部を含む領域を前記出力画像に重畳してもよい。

上記の構成によれば、極端に大きく動く入力画像内における位置や切り出し範囲の変動を抑制することができる。また、画角外にある目印などの重要な情報を提示することができる。

本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

（関連出願の相互参照）
本出願は、2016年6月8日に出願された日本国特許出願：特願2016-114835に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

本発明の一態様は、画像処理装置に利用可能である。

１、１ａ 画像表示装置
１０、１０ａ 画像処理装置
１１ 特徴部抽出部（特徴部検出部）
１２ 設定部（出力部）
１３ 画像生成部（出力部）
１４ 重畳部
２０ 撮像部
３０ 表示部
４０ 記憶制御部

Claims (8)

1. 入力された動画像を編集して出力する画像処理装置であって、
   前記動画像に含まれるフレームから特徴部を検出する特徴部検出部、および
   前記動画像における前記特徴部が検出されたフレームの再生速度と、前記特徴部が検出されなかったフレームの再生速度とを異ならせて出力する出力部
   を備えていることを特徴とする画像処理装置。
2. 前記出力部は、
   前記動画像の各フレームについて、当該フレームの一部を切り出して出力し、
   前記特徴部が検出されたフレームの切り出し範囲を、当該切り出し範囲に当該特徴部が含まれるか、または、当該フレームの前フレームよりも当該切り出し範囲が当該特徴部に近づくように設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記出力部は、前記フレームの一部を切り出すときに基準となる前記フレーム内における基準位置を、前記動画像を撮像した位置の進行方向の先にある被写体の前記フレーム内における位置となるように設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記出力部は、
   前記フレーム内に特徴部が存在する場合は前記再生速度を停止もしくは基準となる基準再生速度より遅く設定する設定、
   前記フレーム内に特徴部が存在しない場合は前記再生速度を前記基準再生速度よりも速く設定する設定、および
   前記動画像が、前記動画像を撮像する撮像装置が水平方向に回転しているときに撮像された動画像である場合、前記フレーム内における前記切り出し範囲の位置を前記フレーム内の上側に向かって移動させる設定、
   のうち少なくとも一つを設定することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記動画像は、前記動画像を撮像する撮像装置の移動を伴って撮像された動画像であり、前記移動は、上記撮像装置の回転を伴う移動を含み、
   前記特徴部検出部は、前記フレームを構成する画素の各々について、顕著性を示す値を求め、
   前記特徴部検出部は、
   前記フレームから前記撮像装置の進行方向の先にある被写体の前記フレーム内における位置に近い特徴部が検出されやすくなるような前記値に対する重み付け、および、
   前記動画像から、前記回転を伴う移動中に撮像された動画像かを判定し、前記回転を伴う移動中に撮像された動画像における特徴部が検出されやすくなるような前記値に対する重み付け、の少なくともどちらか一方の重み付けを行うことを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記フレームから特徴部を含む領域を切り出して、前記フレームの一部を切り出した出力画像に重畳する重畳部をさらに備え、
   前記出力部は、前記特徴部が前記出力画像の前記切り出し範囲内に含まれるように変更させる前記フレーム内における前記切り出し範囲の位置、および前記切り出し範囲の少なくとも一つの変更量が基準となる基準変更量よりも大きい場合、前記フレーム内における前記切り出し範囲の位置、および前記切り出し範囲の少なくとも一つの前記変更量が前記基準変更量よりも小さくなるようにそれぞれの値を設定し、
   前記重畳部は、前記特徴部を含む領域を前記出力画像に重畳することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
7. 請求項１に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、前記特徴部検出部、および前記出力部としてコンピュータを機能させるための画像処理プログラム。
8. 請求項７に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images