JP5062054B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関する。

撮影画像に関する情報（例えば被写体の名称等）を、撮影条件を用いて取得する技術が提案されている（例えば特許文献１，２を参照）。

特許文献１には、カメラによって媒体に記録された、撮影画像データと、当該撮影画像データに対応する撮影データ（方位、緯度、経度等）との組を当該媒体から読み取り、当該撮影データに基づいて当該撮影画像データに関連する情報を取得する技術が記載されている。

特許文献２には、写真画像の被写体オブジェクトを特定する技術が記載されている。当該技術では、携帯電話機が、自位置、方位、および写真画像をサーバに送信し、サーバが、受信した自位置、方位、および写真画像から当該写真画像に表示される被写体オブジェクト情報の特定を行う。

なお、特許文献３には、画像を撮影したときの位置情報、方向情報、距離情報、上下仰角度情報、および地図情報から被写体を特定し、被写体を特定する情報を撮影画像データに付加する技術が記載されている。

また、特許文献４には、撮影した画像データから認識対象物の形状データを抽出し、当該形状データと現在位置と認識対象物の方位とから、認識対象物の名称を特定する技術が記載されている。

また、特許文献５には、動画を記録中に静止画を記録する場合、静止画に動画を記録中の記録媒体に固有な情報と、静止画記録時の上記記録媒体の位置情報とを静止画に対応付けて記録する技術が記載されている。

また、特許文献６には、動画データと、当該動画データの特定部分に対して関連付けられた静止画データと、当該静止画データが関連付けられている動画データの特定部分を示す関連情報とが記録された情報記録媒体を再生する再生装置において、静止画データを再生するとともに、関連情報に基づいて動画データから抽出した抽出部分（具体的には、特定部分を含む所定時間範囲に対応する部分）を再生するものが記載されている。

特開２００１−０３６８４２号公報 特開２００６−１７８８０４号公報 特開平１１−３４１４０６号公報 特開２００４−０９６６２７号公報 特開２００５−３５４４１２号公報 特開２００５−１１７０８３号公報

本発明は、動画像中の被写体に関する情報を良好に取得することが可能な画像処理装置および画像処理プログラムを提供することを目的とする。

本発明に係る画像処理装置は、動画像を受け付ける動画像受付手段と、前記動画像から静止画像を抽出する静止画像抽出手段と、前記抽出された静止画像を解析する静止画像解析手段と、前記解析の結果に基づいて、前記抽出された静止画像の中から、被写体情報の取得の対象とする静止画像を決定する静止画像決定手段と、前記決定された静止画像に含まれる被写体に関する情報である被写体情報を取得する被写体情報取得手段と、前記被写体情報取得手段により取得された複数の静止画像の被写体情報が互いに異なる場合、前記複数の静止画像の被写体情報のうち最多数の被写体情報を、全ての前記複数の静止画像の被写体情報とすることで、前記複数の静止画像の被写体情報を修正する被写体情報修正手段と、を有することを特徴とする。

また、本発明の一態様では、前記画像処理装置は、前記抽出された複数の静止画像を合成して１つの静止画像を生成する静止画像生成手段をさらに有し、前記静止画像解析手段は、前記生成された静止画像を解析し、前記静止画像決定手段は、前記解析の結果に基づいて、前記生成された静止画像の中から、被写体情報の取得の対象とする静止画像を決定する。

また、本発明の一態様では、前記取得または修正された被写体情報を、当該被写体情報に対応する静止画像と、当該静止画像の前後の一方または両方の静止画像とに付加する被写体情報付加手段をさらに有する。

本発明に係る画像処理プログラムは、コンピュータに、動画像を受け付ける手順と、前記動画像から静止画像を抽出する手順と、前記抽出された静止画像を解析する手順と、前記解析の結果に基づいて、前記抽出された静止画像の中から、被写体情報の取得の対象とする静止画像を決定する手順と、前記決定された静止画像に含まれる被写体に関する情報である被写体情報を取得する手順と、前記被写体情報取得手順により取得された複数の静止画像の被写体情報が互いに異なる場合、前記複数の静止画像の被写体情報のうち最多数の被写体情報を、全ての前記複数の静止画像の被写体情報とすることで、前記複数の静止画像の被写体情報を修正する手順と、を実行させることを特徴とする。

請求項１に記載の発明によれば、動画像中の被写体に関する情報を良好に取得することが可能となる。

請求項２に記載の発明によれば、動画像中の複数の静止画像についての被写体情報に基づき、より妥当な被写体情報に修正することが可能となる。

請求項３に記載の発明によれば、動画像中の複数の静止画像から構成される静止画像に基づき、動画像中の被写体に関する情報を取得することが可能となる。

請求項４に記載の発明によれば、被写体情報を当該被写体情報に対応する静止画像だけに付加する場合と比較して、動画像に付加された被写体情報が認識し易くなる。

請求項５に記載の発明によれば、動画像中の被写体に関する情報を良好に取得することが可能となる。

以下、本発明の実施の形態を図面に従って説明する。

図１は、本実施の形態に係る画像処理装置１０の構成の一例を示すブロック図である。この画像処理装置１０は、動画像中の被写体に関する情報（例えば被写体の名称）を取得するものである。

画像処理装置１０は、一つの態様では、ハードウェア資源とソフトウェアとの協働により実現され、例えばコンピュータである。具体的には、画像処理装置１０の機能は、記録媒体に記録された画像処理プログラムがメインメモリに読み出されてＣＰＵ（Central Processing Unit）により実行されることによって実現される。上記画像処理プログラムは、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録されて提供されることも可能であるし、データ信号として通信により提供されることも可能である。ただし、画像処理装置１０は、ハードウェアのみにより実現されてもよい。また、画像処理装置１０は、物理的に１つの装置により実現されてもよいし、複数の装置により実現されてもよい。

図１に示されるように、画像処理装置１０は、動画像受付部１１、静止画像抽出部１２、静止画像解析部１３、静止画像決定部１４、および被写体情報取得部１５を有する。

動画像受付部１１は、処理対象となる動画像を受け付ける。一つの態様では、動画像は、コンピュータで利用可能な動画データであり、例えば、ビデオカメラで撮影された動画データである。

静止画像抽出部１２は、動画像受付部１１により受け付けられた動画像から静止画像を抽出する。ここで、静止画像は、動画像を構成するものであり、例えばフレームと呼ばれるものである。以下の説明では、動画像を構成する静止画像を「フレーム」と称す。静止画像抽出部１２は、動画像を構成する複数のフレームのうち、全部のフレームを抽出してもよいし、一部のフレームを抽出してもよい。

一つの態様では、画像処理装置１０は、フレームが抽出されるべき動画像の範囲を特定する動画像範囲特定部１６を有する。そして、静止画像抽出部１２は、動画像範囲特定部１６により特定された動画像の範囲からフレームを抽出する。

具体的な一態様では、動画像範囲特定部１６は、利用者からの範囲の指定に基づき、動画像の範囲を特定する。例えば、動画像範囲特定部１６は、利用者から開始点と終点の指定を受け付け、当該開始点から当該終点までの範囲をフレーム抽出対象の範囲に特定する。

別の具体的な一態様では、動画像範囲特定部１６は、動画像に含まれる一場面（すなわちシーン）を特定し、当該特定されたシーンに相当する範囲をフレーム抽出対象の範囲に特定する。例えば、動画像範囲特定部１６は、動画像のシーンを解析するシーン解析処理を行い、シーンの開始点から終点までの範囲をフレーム抽出対象の範囲に特定する。

静止画像解析部１３は、静止画像抽出部１２により抽出されたフレームを解析する。ここで、静止画像解析部１３による解析は、後述する静止画像決定部１４によるフレームの決定を可能にする結果が得られるものであれば、どのような処理であってもよい。

一つの態様では、静止画像解析部１３は、抽出された各フレームについて、当該フレームに含まれる１または複数の被写体の種類を判定する。被写体の種類は、特に限定されないが、例えば、「山」、「川」、「建物」、「人」、「車」などである。

また、別の一つの態様では、静止画像解析部１３は、抽出された各フレームについて、当該フレームに含まれる１または複数の被写体の種類を判定するとともに、その判定の確度を求める。具体的には、静止画像解析部１３は、種類が判定された各被写体について、当該被写体が当該判定された種類である確実さの度合いを、確度として求める。

さらに、別の一つの態様では、静止画像解析部１３は、抽出された各フレームについて、当該フレームに含まれる被写体が所定の種類である確度を求める。例えば、静止画像解析部１３は、利用者から被写体の種類の指定を受け付け、当該フレームが当該指定された種類の被写体を含む確度を求める。

なお、上記被写体の種類の判定や確度の算出は、例えば既知の画像認識技術を用いて実現可能であり、ここでは詳しい説明は省略する。

静止画像決定部１４は、静止画像解析部１３の解析の結果に基づいて、静止画像抽出部１２により抽出されたフレームの中から、被写体情報の取得の対象とするフレームを決定する。分かり易く言えば、静止画像決定部１４は、上記解析結果に基づき、上記抽出されたフレームの中から、被写体情報の取得に適したフレームを選択する。なお、静止画像決定部１４については、後に詳しく説明する。

被写体情報取得部１５は、静止画像決定部１４により決定されたフレームに含まれる被写体に関する情報である被写体情報を取得する。

被写体情報は、例えば、被写体の種類よりも詳細な被写体に関する情報である。より具体的には、被写体情報は、例えば、被写体を特定する情報（例えば被写体の名称）や、被写体を説明する情報である。被写体の名称としては、例えば、山、川、建物など風景の名称や、車の車種、人物の氏名などが挙げられる。被写体を説明する情報としては、例えば、山の高さや車の仕様などが挙げられる。

一つの態様では、被写体情報取得部１５は、フレームと予め記憶された画像との照合を行うことにより、当該フレームについての被写体情報の取得を行う。例えば、被写体情報取得部１５は、フレームと予め記憶された特定の山の画像とを照合して両者の一致度合いを求め、一致度合いが所定以上である場合に、当該特定の山の名称を被写体情報として取得する。

フレームについての被写体情報の取得において、被写体情報取得部１５は、当該フレームに加えて、動画像に関する情報（例えば動画データに埋め込まれた付加データ）を利用してもよい。動画像に関する情報としては、例えば、撮影場所を示す情報（例えばＧＰＳの位置情報）や、撮影方向を示す情報など、撮影条件を示す情報が挙げられる。例えば、被写体情報取得部１５は、動画像に関する情報から被写体の候補を決定し、フレームと各候補の画像とを照合することにより、当該フレームについての被写体情報の取得を行う。例えば、被写体情報取得部１５は、ＧＰＳの位置情報から候補の山を決定し、フレームと各候補の山の画像とを照合して一致度合いを求め、一致度合いが最大の山の名称を被写体情報として取得する。

被写体情報取得部１５は、例えば画像処理装置１０にインターネット等のネットワークを介して接続されたサーバなど、他の装置やソフトウェアに、被写体情報の取得を実行させてもよい。

なお、上記フレームについての被写体情報の取得は、例えば、特許文献１，２に記載の技術など、静止画像について被写体情報を取得する既知の技術を利用して実現可能であり、ここでは詳しい説明は省略する。

以下、静止画像決定部１４について詳しく説明する。

動画像のフレームには、被写体情報の取得に適したフレームと、被写体情報の取得に適さないフレームとがある。別の言い方をすれば、動画像のフレームには、被写体認識に適したフレームと、被写体認識に適さないフレームとがある。例えば、被写体が完全な形で映っているフレーム（例えば山全体が映っているフレーム）は、被写体情報の取得に適したフレームと言え、被写体が完全な形で映っていないフレーム（例えば山の麓だけが映っているフレーム）は、被写体情報に適さないフレームと言える。

そこで、静止画像決定部１４は、静止画像解析部１３の解析の結果に基づいて、静止画像抽出部１２により抽出されたフレームの中から、被写体情報の取得の対象とするフレームを決定する。

具体的には、静止画像決定部１４は、上記抽出されたフレームのうち所定の条件を満たすフレームを、被写体情報の取得の対象とするフレームに決定する。例えば、静止画像決定部１４は、被写体の種類および確度の少なくとも１つを含む解析結果に基づき、被写体の種類および確度の少なくとも１つに関する所定の条件を満たすフレームを、対象フレームに決定する。

一つの態様では、静止画像決定部１４は、上記解析の結果に基づき、上記抽出された各フレームについて、当該フレームについて被写体情報の取得を行うか否かを決定する。

静止画像決定部１４の処理の具体的な態様としては、例えば下記（ａ）〜（ｄ）の態様が挙げられる。

（ａ）静止画像決定部１４は、上記抽出されたフレームのうち、確度が所定値以上である被写体を含むフレームを、対象フレームに決定する。

（ｂ）静止画像決定部１４は、特定の被写体の種類に関する確度に基づいて、対象フレームを決定する。例えば、静止画像決定部１４は、利用者からの被写体の種類の指定を受け付け、当該指定された被写体の種類に関する確度に基づいて、対象フレームを決定する。例えば、静止画像決定部１４は、上記抽出されたフレームのうち、特定の被写体の種類に関する確度が所定値以上であるフレームを、対象フレームに決定する。上記特定の被写体の種類は、静止画像解析部１３により判定される種類に相当するもの（例えば「山」や「川」）であってもよいし、静止画像解析部１３により判定される種類よりも上位概念のもの（例えば「風景」）であってもよい。

（ｃ）静止画像決定部１４は、上記抽出されたフレームのうち、確度の大きさが上位である所定数のフレームを、対象フレームに決定する。

（ｄ）静止画像決定部１４は、上記抽出されたフレームのうち、所定の種類の被写体を含むフレームを、対象フレームに決定する。

図２は、本実施の形態に係る画像処理装置１０の動作の一例を示すフローチャートである。以下、図２を参照して、画像処理装置１０の動作の一例を説明する。

画像処理装置１０は、処理対象の動画像を受け付ける（Ｓ１１）。

ついで、画像処理装置１０は、上記動画像から複数のフレームを抽出する（Ｓ１２）。

ついで、画像処理装置１０は、上記抽出された各フレームを解析する（Ｓ１３）。具体的には、画像処理装置１０は、各フレームに含まれる被写体の種類を判定するとともに、その判定の確度を算出する。例えば、ある一つのフレームに着目すると、画像処理装置１０は、「山：確度ｘ％，川：確度ｙ％」といった解析結果を得る。

ついで、画像処理装置１０は、ステップＳ１３の解析結果に基づき、ステップＳ１２で抽出された複数のフレームの中から、被写体情報の取得の対象とするフレームを決定する（Ｓ１４）。

ついで、画像処理装置１０は、ステップＳ１４で被写体情報の取得の対象に決定された各フレームについて、被写体情報の取得を行う（Ｓ１５）。

上記画像処理装置１０は、例えば下記（１）〜（３）のように構成されてもよい。下記（１）〜（３）の構成は、互いに組み合わされてもよい。

（１）画像処理装置１０は、被写体情報修正部１７をさらに有する。被写体情報修正部１７は、被写体情報取得部１５により取得された複数のフレームの被写体情報に基づき、当該複数のフレームの被写体情報を修正する。一つの態様では、被写体情報修正部１７は、互いに異なる複数の被写体情報（例えば被写体の名称）が取得された場合、最多数の被写体情報を、複数のフレームすべての被写体情報に設定する。例えば、１０個のフレームのうち、９個のフレームについて被写体情報「Ａ山」が取得され、１個のフレームについて被写体情報「Ｂ山」が取得された場合、被写体情報修正部１７は、最多数の被写体情報「Ａ山」を、１０個のフレームすべての被写体情報とする。具体的には、被写体情報「Ｂ山」が取得された１個のフレームについて、当該フレームについての被写体情報を「Ｂ山」から「Ａ山」に修正する。

（２）画像処理装置１０は、静止画像生成部１８をさらに有する。静止画像生成部１８は、静止画像抽出部１２により抽出された複数のフレームを合成して１つの静止画像を生成する。例えば、静止画像生成部１８は、それぞれ被写体の一部が映っている複数のフレームを合成して、被写体の全体を表す１つの静止画像を生成する。以下、静止画像生成部１８により生成された静止画像を「合成画像」と称す。

静止画像解析部１３は、静止画像生成部１８により生成された合成画像を解析する。この合成画像の解析は、上記フレームの解析と同様であり、ここでは詳しい説明は省略する。

静止画像決定部１４は、上記静止画像解析部１３の解析の結果に基づいて、上記静止画像生成部１８により生成された合成画像の中から、被写体情報の取得の対象とする合成画像を決定する。この合成画像の決定は、上記フレームの決定と同様であり、ここでは詳しい説明は省略する。

被写体情報取得部１５は、静止画像決定部１４により被写体情報の取得対象に決定された合成画像について、被写体情報の取得を行う。この合成画像についての被写体情報の取得は、上記フレームについての被写体情報の取得と同様であり、ここでは詳しい説明は省略する。

一つの態様では、上記合成画像についての処理の全部または一部は、静止画像決定部１４により、被写体情報の取得の対象とするフレーム（例えば被写体情報の取得に適したフレーム）が無いと判定された場合に実行される。

（３）画像処理装置１０は、被写体情報付加部１９をさらに有する。被写体情報付加部１９は、被写体情報取得部１５により取得された被写体情報を、当該被写体情報に対応するフレーム（すなわち被写体情報の取得の元となったフレーム）に付加する。例えば、被写体情報付加部１９は、被写体情報をフレームに活字として重畳（オーバーレイ）する。

一つの態様では、被写体情報付加部１９は、被写体情報を、当該被写体情報に対応するフレームと、当該フレームの前後の一方または両方のフレームとに付加する。ここで、当該フレームの前後のフレームは、例えば、当該フレームから所定範囲内（所定時間内、所定フレーム長）の前後のフレームである。

また、一つの態様では、フレームに付加される情報（例えば活字）の位置、フレームに付加される情報の書体（フォント）、情報が付加されるフレームの範囲など、被写体情報をフレームに付加する際の態様は、変更可能である。例えば、被写体情報付加部１９は、被写体情報をフレームに付加する際の態様の指定を受け付け、当該指定された態様により、被写体情報をフレームに付加する。

上記（１）の構成と組み合わされる場合には、被写体情報付加部１９は、被写体情報修正部１７により修正された被写体情報を、当該被写体情報に対応するフレームや、当該フレームの前後のフレームに付加してもよい。

なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々変更することができる。

実施の形態に係る画像処理装置１０の構成の一例を示す図である。 実施の形態に係る画像処理装置１０の動作の一例を示すフローチャートである。

符号の説明

１０ 画像処理装置、１１ 動画像受付部、１２ 静止画像抽出部、１３ 静止画像解析部、１４ 静止画像決定部、１５ 被写体情報取得部、１６ 動画像範囲特定部、１７ 被写体情報修正部、１８ 静止画像生成部、１９ 被写体情報付加部。

Claims (4)

1. 動画像を受け付ける動画像受付手段と、
   前記動画像から静止画像を抽出する静止画像抽出手段と、
   前記抽出された静止画像を解析する静止画像解析手段と、
   前記解析の結果に基づいて、前記抽出された静止画像の中から、被写体情報の取得の対象とする静止画像を決定する静止画像決定手段と、
   前記決定された静止画像に含まれる被写体に関する情報である被写体情報を取得する被写体情報取得手段と、
   前記被写体情報取得手段により取得された複数の静止画像の被写体情報が互いに異なる場合、前記複数の静止画像の被写体情報のうち最多数の被写体情報を、全ての前記複数の静止画像の被写体情報とすることで、前記複数の静止画像の被写体情報を修正する被写体情報修正手段と、
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記画像処理装置は、前記抽出された複数の静止画像を合成して１つの静止画像を生成する静止画像生成手段をさらに有し、
   前記静止画像解析手段は、前記生成された静止画像を解析し、
   前記静止画像決定手段は、前記解析の結果に基づいて、前記生成された静止画像の中から、被写体情報の取得の対象とする静止画像を決定する、
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記取得または修正された被写体情報を、当該被写体情報に対応する静止画像と、当該静止画像の前後の一方または両方の静止画像とに付加する被写体情報付加手段をさらに有することを特徴とする画像処理装置。
4. コンピュータに、
   動画像を受け付ける手順と、
   前記動画像から静止画像を抽出する手順と、
   前記抽出された静止画像を解析する手順と、
   前記解析の結果に基づいて、前記抽出された静止画像の中から、被写体情報の取得の対象とする静止画像を決定する手順と、
   前記決定された静止画像に含まれる被写体に関する情報である被写体情報を取得する手順と、
   前記被写体情報取得手順により取得された複数の静止画像の被写体情報が互いに異なる場合、前記複数の静止画像の被写体情報のうち最多数の被写体情報を、全ての前記複数の静止画像の被写体情報とすることで、前記複数の静止画像の被写体情報を修正する手順と、
   を実行させることを特徴とする画像処理プログラム。

Images