JP7151216B2 - 画像処理装置及び、画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

近年、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像と呼ばれる異なる露光量により撮影した画像から解析的に生成された従来の撮影方法による画像よりもダイナミックレンジの広い画像が普及している。ＨＤＲ画像では、明暗差の大きいシーンにおいても、ハイライト部の白飛びやシャドウ部の黒潰れが発生せず、実シーンに近い再現が可能なことが特徴である。

静的なシーンにおいては、通常のデジタルカメラを用いて、露光量を変更しながら継時的に撮影をすればよいため、ＨＤＲ画像生成に必要な画像の取得は比較的簡易である。しかしながら、動的なシーンにおいては、例えば、特許文献１のように複数台のカメラを同期制御をしたり、特許文献２のように減光装置を用いたりするなど特殊な撮影が必要となる。

一方、特許文献３には、１つの画像撮影装置を用いて露光量が異なる２つのフレームにおいて継時的に撮影し、得られた画像を基にＨＤＲ動画を生成する方法が開示されている。具体的には、ユーザーが画像の変化の度合いに対する閾値を指定し、あるフレーム画像と同一もしくは異なる露光量で撮影された隣り合う画像の変化が閾値を超えた時には、それらの補間により第３の画像を生成し、生成された画像を用いてＨＤＲ動画を生成する。すなわち、特許文献３の方法によれば、実際は撮影をしていないフレームを補間により生成することにより動画の連続性が向上するため、ＨＤＲ動画を好適に撮影することが可能である。

特開２０１６－１７８４３５号公報 特開２００７－２７４２８５号公報 特許第５３３３５２２号

しかしながら、特許文献３の方法では、撮影中にシーン内に出現した物体、もしくは、シーン内から消失した物体に対しては補間処理を行うことができないため、シーン内に常に存在した物体と比較し、コントラストが低下した不自然な映像となる。

本発明はこのような状況を鑑みてなされたもので、撮影中にシーン内に出現した物体、もしくは、シーン内から消失した物体が存在した場合においてもコントラストの低下が生じることなく、自然な印象を与えるＨＤＲ動画を生成することができる画像処理装置及び画像処理方法を提供する。

上記課題を解決するための本発明の一局面は、所定の撮影期間にわたって異なる露光量で撮影された複数枚の画像を取得する取得手段と、複数枚の画像から、撮影期間内の物体の動き量を検出する検出手段と、動き量から物体の撮影期間における存在期間を求める算出手段と、存在期間に基づいて、撮影期間において一時的に存在していたと判別された物体を複数枚の画像から消去した、露光量ごとの動画生成用データを作成する作成手段と、動画生成用データからＨＤＲ動画を生成する動画生成手段とを含む、画像処理装置である。

また、検出手段は、複数枚の画像のうちの所定の基準画像からの物体の動きに基づくベクトルから動き量を検出してもよい。

また、算出手段は、動き量の統計値を用いて存在期間を求めてもよい。

本発明によれば、撮影中にシーン内に出現した物体、もしくは、シーン内から消失した物体が存在した場合においてもコントラストの低下が生じることなく、自然な印象を与えるＨＤＲ動画を生成することができる画像処理装置及び画像処理方法を提供できる。

本発明の実施形態に係る画像処理装置の構成を示すブロック図 本発明の実施形態に係る画像処理方法を示すフローチャート図 所定の撮影期間にわたって異なる露光量で撮影された複数枚の画像を説明する図 動き量の一例を示す図 動画生成用データの作成方法を説明する図

＜実施形態＞
以下、図面を参照して、本発明の実施形態について説明する。（画像処理装置）
図１は、本発明の一実施形態に係る画像処理装置１の構成を示すブロック図である。画像処理装置１は、入力部１０１、記憶部１０２、処理部１０３、表示部１０４を備えている。また、処理部１０３は、取得手段１０３ａ、検出手段１０３ｂ、算出手段１０３ｃ、作成手段１０３ｄ、動画生成手段１０３ｅを含む。

入力部１０１は、ＨＤＲ動画の生成に必要な情報の入力を受け付ける。入力部１０１は、例えば、キーボード、マウス、タッチパネルなどの入力手段を用いることができる。入力部１０１では、記憶部１０２に記憶されたＨＤＲ動画を生成するための所定の撮影期間にわたって異なる露光量で撮影された複数枚の画像（データ）の選択や、撮影に用いたカメラの入出力特性カーブや露光量などの撮影条件に関する情報、また生成されたＨＤＲ動画の保存ファイル名の指定などの入力が、例えばユーザーにより行われる。尚、上記露光量はＥＶ（Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）に相当し、撮影時のカメラのシャッタースピードとレンズの絞り値により決まる。

記憶部１０２は、ＨＤＲ動画の生成に必要な情報、および生成されたＨＤＲ動画を記憶する。記憶部１０２には、ＨＤＲ動画を生成するために所定の撮影期間にわたって異なる露光量で撮影された複数枚の画像（データ）、当該画像の撮影条件、処理部１０３にて生成されたＨＤＲ動画、そのファイル名等が、例えば入力部１０１が受け付けた入力に応じて記憶される。

処理部１０３は、後述する画像処理方法により、入力部１０１に入力された情報や記憶部１０２に記憶された情報を用いてＨＤＲ動画を生成する。具体的には、記憶部１０２に記憶された異なる露光量で撮影された画像データを用いて撮影中の物体の動きの判別や、それに基づき動画生成用データの生成を行い、生成した動画生成用データは、例えば記憶部１０２に記憶することができる。そして、記憶部１０２に記憶された動画生成用データ及び撮影条件を基にＨＤＲ動画を生成する。

表示部１０４は、ＨＤＲ動画の生成に関する情報を表示する。表示部１０４は、例えばユーザーが入力部１０１において、ＨＤＲ動画を生成する異なる露光量で撮影された画像（データ）、撮影条件に関する情報を選択する際に用いるインターフェイス、ユーザーが入力部１０１で選択した露光量で撮影された画像データや、処理部１０３にて生成されたＨＤＲ動画を表示することができる。

（画像処理方法）
次に、図２を参照して、画像処理装置１を用いた画像処理方法の説明をする。図２は、本発明の一実施形態に係る画像処理方法を示すフローチャートである。

まず、入力部１０１によりＨＤＲ動画を生成するための、所定の撮影期間にわたって異なる露光量で撮影された複数枚の画像データを、記憶部１０２に記憶させる（Ｓ１０１）。画像データは、例えば図３に示すように、３つの異なる露光量で継時的に撮影した場合、露光量をそれぞれＡ、Ｂ、Ｃとし、同一の露光量における撮影順を１、２、３、・・・とすると、Ａ１、Ｂ１、Ｃ１、Ａ２、Ｂ２、Ｃ２、Ａ３、Ｂ３、Ｃ３、・・・という順に撮影した複数枚の画像データが得られる。また、選択される画像データはｔｉｆｆやｊｐｅｇ形式などのＲＧＢ画像データである。

次に、入力部１０１により、上記画像データの撮影条件（ＥＶ値やカメラの入出力特性など）を記憶部１０２に記憶させる（Ｓ１０２）。一例として、入力部１０１により、撮影条件が記録されたテキストファイルを選択し、記憶部１０２に記憶させてもよい。もしくは、撮影条件をユーザーに入力させ、記憶部１０２に記憶させてもよい。

次に、処理部１０３の取得手段１０３ａは、記憶部１０２に記憶された複数枚の画像データを取得する。そして、処理部１０３は、記憶部１０２に記憶された前記異なる露光量で撮影された画像データ及び、撮影条件からＨＤＲ動画の生成を行う。初めに、記憶部１０２に記憶された複数枚の画像データの撮影期間内における物体の動きの検出を行う（Ｓ１０３）。より詳細には、処理部１０３の検出手段１０３ｂが、複数枚の画像から、当該複数枚の画像に映った所定の物体の、撮影期間内における画像内での動き量（移動量）を検出する。例えば、図３の例の場合、各露光量Ａ～Ｃおいて最初に撮影された画像データであるＡ１、Ｂ１、Ｃ１それぞれを基準とし、露光量Ａ～ＣごとにＡ２、Ｂ２、Ｃ２以降全ての画像データに対する動きの検出を行う。その際、基準としたＡ１、Ｂ１、Ｃ１の画像データからの所定の物体の動きに基づくベクトルによりＡ２、Ｂ２、Ｃ２以降全ての画像データ動きの検出を行ってもよい。また、動き検出を行う対象は特定の１つの物体、複数の物体、画像全体、任意の特定領域等を適宜指定することができる。尚、動きの検出は撮影された全ての露光量画像において行う必要はなく、例えば、白飛びや黒潰れが生じている場合はその画像もしくは、同一露光量全ての画像において動き検出の処理及び、以降の処理から除外しても良い。

次に、処理部１０３の算出手段１０３ｃは、検出された所定の物体の動き量から、所定の物体の撮影期間における存在期間を求める（Ｓ１０４）。これにより、所定の物体が、撮影期間において一時的に存在していたか否かの判別を行うことができる。すなわち、上記物体の動き量の検出において、撮影期間中、常に画像内に存在していた物体は、継続的に動き量が検出されるか、または常に動き量が０である。これに対して、一時的に存在していた物体はある特定の期間にのみ動き量が検出される。図４に物体Ｘ、Ｙ、Ｚについての動き量の変化の一例を示す。物体Ｘは、撮影期間中に常に画像内に移動しながら存在をした物体である。物体Ｘの動き量は、図４に示すように連続的な変化を示す。一方、物体Ｙは、撮影中に画像内に出現した物体であり、物体Ｚは、当初は画像内に存在するが、撮影期間の途中から消失した物体である。物体Ｙ、Ｚは、ある一定期間のみ動きがある（動き量が０でない）がそれ以外ではほぼ動きがない（動き量が０）。そのため、動き量を検出した合計時間を所定の物体の撮影期間における画像内での存在期間とすることができる。そして、所定の物体の存在期間が、０よりも大きく、かつ撮影期間よりも短い場合には、所定の物体が、複数枚の画像において（すなわち、撮影期間中に）一時的に存在していたと判別することができる。なお、動き量の総量、平均値などの統計値を用いて存在期間を求め、存在期間に閾値を設けることにより、所定の物体が撮影期間に画像内に一時的に存在していたか否かの判別を行ってもよい。

次に、処理部１０３の作成手段１０３ｄが、動画生成用データを作成する（Ｓ１０５）。作成された動画生成用データは、記憶部に記憶させる。具体的には、上記存在時間の算出結果に基づいて、撮影期間に画像内に一時的に存在していた物体の消去を行う。ここで消去とは、一時的に存在していたと判別された物体が映った画像の当該物体に係る領域（対象領域）のＲＧＢ値を全て０とすることを意味する。次に、消去された対象領域を、その画像の前後の画像（フレーム）を用いることにより補間する。この作業は所定の物体が消去された画像の前後の画像を用いて、前後の画像における対象領域のＲＧＢ値を用いて行う。対象領域は、ほぼ動きがない領域であるため、前後いずれかの値を用いれば良いが、変化が大きい場合はその平均値を用いる。例えば、図５に示すように撮影画像数がＮであった場合、最初の撮影画像に存在していたが撮影中に消失した雲２０１、また、撮影途中に出現した雲２０２は消去され、前後のフレームにより補間される。また、対象フレームの前後のフレームを用いて補間を行うため、作成される動画生成用データのフレーム数は各露光量につきＮ－２となる。

次に、処理部１０３の動画生成手段１０３ｅが、複数枚の画像データの撮影に用いた露光量Ａ～Ｃのそれぞれにおける動画生成用データからＨＤＲ動画を生成する。生成されたＨＤＲ動画は、例えば記憶部１０２に記憶させることができる（Ｓ１０６）。ＨＤＲ動画の生成には、記憶部１０２に記憶された撮影条件と動画生成用データとを用いる。具体的には、まず、露光量Ａ～Ｃで撮影された動画生成用データについて、動画生成用データを構成する複数枚の画像のＲＧＢのチャンネルごとに画素値を、カメラの入出力特性を用いて放射量へと変換した上で、撮影に用いた露光量Ａ～Ｃのいずれかで除算する。この計算を全露光量に係る動画生成用データについて行い、それらの総和を取ることによりＨＤＲ動画が生成される。最後に、例えばユーザーが保存ファイル名を入力し、生成されたＨＤＲ動画を記憶部１０２に記憶させてもよい。

以上説明したように、画像処理装置１では、撮影期間に画像内に一時的に存在していた物体を消去することで得られる動画生成用データを用いてＨＤＲ動画が生成される。これにより、撮影中にシーン内に出現した物体、もしくは、シーン内から消失した物体は、ＨＤＲ動画生成の対象とならない。このため、補完処理を行うことができないことにより、コントラストが低下した不自然な領域が映像内に生成されることを防ぐことができる。したがって、画像処理装置１によれば、撮影中にシーン内に出現した物体、もしくは、シーン内から消失した物体が存在した場合においてもコントラストの低下が生じることなく、自然な印象を与えるＨＤＲ動画を生成することができる

以上、本発明の実施形態を図面を参照し説明してきたが、具体的な構成はこの形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

本発明は、ＨＤＲ動画の生成に好適に用いることができる。

１…画像処理装置
１０１…入力部
１０２…記憶部
１０３…処理部
１０４…表示部

Claims (6)

1. 所定の撮影期間にわたって異なる露光量で撮影された複数枚の画像を取得する取得手段と、
   前記複数枚の画像から、前記撮影期間内の物体の動き量を検出する検出手段と、
   前記動き量から前記物体の前記撮影期間における存在期間を求める算出手段と、
   前記存在期間に基づいて、前記撮影期間において一時的に存在していたと判別された前記物体を前記複数枚の画像から消去した、露光量ごとの動画生成用データを作成する作成手段と、
   前記動画生成用データからＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）動画を生成する動画生成手段とを含む、画像処理装置。
2. 前記検出手段は、前記複数枚の画像のうちの所定の基準画像からの前記物体の動きに基づくベクトルから前記動き量を算出する、
   請求項１に記載の画像処理装置。
3. 前記算出手段は、前記動き量の統計値を用いて前記存在期間を求める、
   請求項１または２に記載の画像処理装置。
4. 所定の撮影期間にわたって異なる露光量で撮影された複数枚の画像を取得する取得ステップと、
   前記複数枚の画像から、前記撮影期間内の物体の動き量を検出する検出ステップと、
   前記動き量から前記物体の前記撮影期間における存在期間を求める算出ステップと、
   前記存在期間に基づいて、前記撮影期間において一時的に存在していたと判別された前記物体を前記複数枚の画像から消去した、露光量ごとの動画生成用データを作成する作成ステップと、
   前記動画生成用データからＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）動画を生成する動画生成ステップとを含む画像処理方法。
5. 前記検出ステップは、前記複数枚の画像のうちの所定の基準画像からの前記物体の動きに基づくベクトルから前記動き量を算出する、
   請求項４に記載の画像処理方法。
6. 前記算出ステップは、前記動き量の統計値を用いて前記存在期間を求める、
   請求項４または５に記載の画像処理方法。

Images