JP6776126B2 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

Description

本開示は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、異なる撮像速度で撮像を行って得られた画像フレームを表示する際の不連続を低減する処理の有用性を高めることができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。

従来、動画像を撮影する際、撮像速度を通常速度からより高い速度に切り替えることができる撮像装置が知られている。このように異なる撮像速度で撮像を行って得られた画像フレーム列を、表示装置において一定間隔で表示すると、より高い速度で撮像した場面がスローモーション再生される効果を得ることができる。

ところで、撮像速度の切り替えに対応するタイミングで、視覚的な不連続が発生するため、動画像を表示する際に、観察者に違和感を与えることがあった。

これに対し、例えば、特許文献１では、不連続を低減させた表示になるように、フレームレートの境界においてフレーム間隔を段階的に変化させた記録用画像を生成する方法が開示されている。

特開２０１０−１１４７５７号公報

しかしながら、特許文献１に開示されている方法で不連続を低減させる場合には、撮像装置において予め処理を行うことに限定されている。従って、異なる撮像速度で撮像を行って取得済みの画像フレームに対して適用することができないため、特許文献１に開示されている方法は汎用性が低かった。また、この方法は、表示速度を調整する対象を高速撮像フレームに限定しているため柔軟性が低かった。

このように、従来、異なる撮像速度で撮像を行って得られた画像フレームを表示する際の不連続を低減する処理は汎用性および柔軟性が低く、より有用性の高い方法が求められていた。

本開示は、このような状況に鑑みてなされたものであり、異なる撮像速度で撮像を行って得られた画像フレームを表示する際の不連続を低減する処理の有用性を高めることができるようにするものである。

本開示の一側面の画像処理装置は、異なる撮像速度で撮像を行って得られた画像フレームのうち、少なくとも一方の撮像速度で撮像された画像フレームに対して表示速度の変更を行う対象とする判定を行う画像フレーム判定部と、前記画像フレーム判定部により表示速度の変更を行う対象と判定された前記画像フレームに対し、撮像速度が切り替えられたタイミングから所定範囲における表示速度を、前記画像フレームを表示する際のフレームレートを指定するパラメータの値、および、前記画像フレームの表示時刻を指定する表示タイムスタンプの値のうち、少なくとも一方を調整する処理を行うことで調整して、調整後の前記画像フレームを圧縮符号化する表示速度調整部とを備える。

本開示の一側面の画像処理方法またはプログラムは、異なる撮像速度で撮像を行って得られた画像フレームのうち、少なくとも一方の撮像速度で撮像された画像フレームに対して表示速度の変更を行う対象とする判定を行い、表示速度の変更を行う対象と判定された前記画像フレームに対し、撮像速度が切り替えられたタイミングから所定範囲における表示速度を、前記画像フレームを表示する際のフレームレートを指定するパラメータの値、および、前記画像フレームの表示時刻を指定する表示タイムスタンプの値のうち、少なくとも一方を調整する処理を行うことで調整して、調整後の前記画像フレームを圧縮符号化するステップを含む。

本開示の一側面においては、異なる撮像速度で撮像を行って得られた画像フレームのうち、少なくとも一方の撮像速度で撮像された画像フレームに対して表示速度の変更を行う対象とする判定が行われ、表示速度の変更を行う対象と判定された画像フレームに対し、撮像速度が切り替えられたタイミングから所定範囲における表示速度が、画像フレームを表示する際のフレームレートを指定するパラメータの値、および、画像フレームの表示時刻を指定する表示タイムスタンプの値のうち、少なくとも一方を調整する処理を行うことで調整されて、調整後の画像フレームが圧縮符号化される。

本開示の一側面によれば、異なる撮像速度で撮像を行って得られた画像フレームを表示する際の不連続を低減する処理の有用性を高めることができる。

撮像する際の物体の位置をプロットした図である。 表示する際の物体の位置をプロットした図である。 本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。 画像フレーム間引き処理について説明するフローチャートである。 画像フレーム間引き処理における効果を説明する図である。 画像フレーム水増し処理について説明するフローチャートである。 画像フレーム水増し処理における効果を説明する図である。 パラメータ調整処理について説明するフローチャートである。 表示タイムスタンプ調整処理について説明するフローチャートである。 表示タイムスタンプ調整処理における効果を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

まず、図１および図２を参照して、異なる撮像速度で撮像を行って得られた画像フレーム列を一定間隔で表示したときに、より高い速度で撮像した場面がスローモーション再生される効果について説明する。

図１には、撮像装置を用いて等速直線運動を続ける物体を定点撮影した際の物体の位置がプロットされている。図１において、横軸は撮像時刻を示しており、縦軸は物体の移動距離を示している。

例えば、撮像装置は、通常速度（例えば、30fps（frames per second））で撮像を開始し、図１の時刻ｔｘにおいて通常速度から高速度（例えば、300fps）に撮像速度を切り替え、図１の時刻ｔｙにおいて高速度から通常速度に撮像速度を切り替えて撮像を行う。

図２には、図１に示すように撮像速度を切り替えて撮像を行って得られる画像フレーム列が、表示装置において一定間隔（例えば、30fps）で表示される際の物体の位置がプロットされている。図２において、横軸は表示時刻を示しており、縦軸は物体の移動距離を示している。

図２に示すように、通常速度から高速度に撮像速度を切り替えた時刻ｔｘ（図１）に対応する時刻ｔｘ’から、高速度から通常速度に撮像速度を切り替えた時刻ｔｙ（図１）に対応する時刻ｔｙ’までの間における表示期間において、物体はゆっくりと移動しているように表示される。従って、画像フレーム列を表示する際、時刻ｔｘ’および時刻ｔｙ’において、物体の移動速度（図２に示す傾き）が急激に変化することになり、視覚的な不連続が発生していた。これにより、表示される動画像を観察する観察者に違和感を与えることになっていた。

そこで、本技術を適用した画像処理装置は、このような視覚的な不連続の発生を抑制することができる画像処理を提供することを目的とし、そのような画像処理の有用性を高めるものである。

図３は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。

図３に示すように、画像処理装置１１は、制御部１２および画像処理部１３を備えて構成されており、画像処理装置１１の外部から入力される画像フレームに対して、撮像速度が切り替えられたタイミングの前または後における表示速度を調整する画像処理を行う。

制御部１２は、画像フレームに付加されている撮像情報に含まれる撮像速度情報に従って、画像処理部１３に対する制御を行う。ここで、撮像速度情報は、その撮像速度情報に対応する画像フレームが撮像されたときの撮像速度を示す情報であり、例えば、通常速度で撮像された通常撮像フレームであること、または、通常速度よりも速い速度で撮像された高速撮像フレームであることを示す。即ち、画像処理装置１１による画像処理の対象となる画像フレームには、通常の撮像速度により撮像された通常撮像フレームと、前記通常の撮像速度よりも高速で撮像が行われた高速撮像フレームとが含まれる。

画像処理部１３は、画像フレーム入力部１４、画像フレームFIFO（First In First Out）１５、画像フレーム間引き部１６、画像圧縮符号化部１７、パケット形成部１８、およびパケット出力部１９を備えて構成される。

画像フレーム入力部１４は、画像処理装置１１の外部から連続的に入力される画像フレームを取得し、順次、画像フレームFIFO１５に供給する。例えば、図示しない撮像装置が撮像を行って得られた画像フレームが画像フレーム入力部１４に入力される。

画像フレームFIFO１５は、画像フレーム入力部１４から供給される画像フレームを一時的に保持する。また、画像フレームFIFO１５に画像フレームが供給されると、制御部１２は、その画像フレームの撮像速度情報を読み出して取得する。そして、画像フレームFIFO１５は、制御部１２からの要求に従って、画像フレーム入力部１４から供給された順番で、保持している画像フレームを順次、画像フレーム間引き部１６に供給する。

画像フレーム間引き部１６は、制御部１２の要求に従って、画像フレームFIFO１５から供給される画像フレーム列のうち、高速撮像フレームに対して間引き判定処理を行い、間引き判定処理において間引くと判定された高速撮像フレームを破棄する。一方、画像フレーム間引き部１６は、間引き判定処理において間引かないと判定された高速撮像フレームを出力対象として、画像圧縮符号化部１７に出力する。なお、画像フレーム間引き部１６は、通常撮像フレームに対して間引き判定処理を行わずに、画像圧縮符号化部１７に出力する。

画像圧縮符号化部１７は、制御部１２の要求に従って、画像フレーム間引き部１６から供給される画像フレームを圧縮符号化する圧縮符号化処理を行い、圧縮符号化処理により圧縮符号化された画像フレームをパケット形成部１８に供給する。また、画像圧縮符号化部１７は、画像フレームを圧縮符号化する際に、後述するように、画像フレームを水増ししたり、画像フレームの表示方法を調整したりする処理を行うことができる。なお、画像圧縮符号化部１７は、例えば、AVC(Advanced video coding)規格やHEVC(High efficiency video coding)規格などの映像圧縮符号化方式を使用して圧縮符号化処理を行うことができる。

パケット形成部１８は、制御部１２の要求に従って、画像圧縮符号化部１７から供給される圧縮符号化された画像フレームをパケット化するパケット化処理を行い、パケット化処理によりパケット化された画像フレームをパケット出力部１９に供給する。また、パケット形成部１８は、画像フレームをパケット化する際に、後述するように、制御部１２から与えられた表示タイムスタンプを画像フレームごとに付加することができる。なお、パケット形成部１８は、例えば、MPEG（Moving Picture Experts Group）-2 Systems規格の多重化方式（PES（Packetized Elementary Stream）パケット形式）や、MP4（MPEG-4 Part 14）規格などのファイル・フォーマット構造、あるいは、RTP（Real-time Transport Protocol）などのストリーミング伝送方式を使用してパケット化処理を行うことができる。

パケット出力部１９は、パケット形成部１８から供給されるパケット化された画像フレームを、画像処理装置１１の外部に出力する。例えば、図示しない記録装置にパケット出力部１９から出力された画像フレームが記録される。

以上のように画像処理装置１１は構成されており、例えば、撮像速度が切り替えられたタイミングの前または後における所定範囲で、画像フレーム間引き部１６により高速撮像フレームの一部の画像フレームを間引く画像フレーム間引き処理が行われる。

次に、図４のフローチャートを参照して、画像処理装置１１において行われる画像処理の第１の処理例である画像フレーム間引き処理について説明する。

例えば、画像処理装置１１に対して、上位の制御装置から画像フレーム間引き処理を開始する指示が供給されると動作が開始され、ステップＳ１１において、制御部１２は、画像フレーム入力部１４に画像フレームが入力されたか否かを判定する。

ステップＳ１１において、制御部１２が、画像フレーム入力部１４に画像フレームが入力されていないと判定した場合には処理が待機され、画像フレーム入力部１４に画像フレームが入力されたと判定した場合には、処理はステップＳ１２に進む。

ステップＳ１２において、画像フレーム入力部１４は、外部から供給された画像フレームを画像フレームFIFO１５に供給して一時的に保持させる。そして、制御部１２は、画像フレームFIFO１５に供給された画像フレームの撮像速度情報を、画像フレームFIFO１５から読み出して取得する。

ステップＳ１３において、制御部１２は、ステップＳ１２で取得した撮像速度情報に基づいて、その撮像速度情報が付加されていた画像フレームが、通常撮像フレームおよび高速撮像フレームのいずれであるのかを判定する。

ステップＳ１３において、制御部１２が、画像フレームは通常撮像フレームであると判定した場合、処理はステップＳ１４に進み、その画像フレームを出力対象とするように画像フレーム間引き部１６に対して要求する。これに従い、画像フレーム間引き部１６は、出力対象とされた画像フレームを画像圧縮符号化部１７に供給する。

一方、ステップＳ１３において、制御部１２が、画像フレームは高速撮像フレームであると判定した場合、処理はステップＳ１５に進む。即ち、この場合、制御部１２は、高速撮像フレームに対して表示速度の変更を行う対象とすると判定する。ステップＳ１５において、制御部１２は、後述する式（１）および式（２）に従って、画像フレーム間引き処理の対象となっている画像フレームを間引くか否かを判定する間引き判定処理を行う。

ステップＳ１５において、制御部１２が、間引き判定処理の結果、画像フレームを間引かないと判定した場合、制御部１２は、その画像フレームを出力対象とするように画像フレーム間引き部１６に対して要求し、処理はステップＳ１４に進む。従って、この場合、間引かないと判定された画像フレームが、画像フレーム間引き部１６から画像圧縮符号化部１７に供給される。

一方、ステップＳ１５において、制御部１２が、間引き判定処理の結果、画像フレームを間引くと判定した場合、処理はステップＳ１６に進む。ステップＳ１６において、制御部１２は、間引くと判定された画像フレームを破棄するように画像フレーム間引き部１６に対して要求し、画像フレーム間引き部１６は、その画像フレームを破棄する。

ステップＳ１４またはＳ１６の処理後、処理はステップＳ１７に進み、画像圧縮符号化部１７は、画像フレーム間引き部１６から供給される画像フレームを圧縮符号化してパケット形成部１８に供給する。

ステップＳ１８において、パケット形成部１８は、画像圧縮符号化部１７から供給される圧縮符号化された画像フレームをパケット化してパケット出力部１９に供給し、パケット出力部１９は、画像処理装置１１の外部に出力する。

ステップＳ１９において、制御部１２は、画像処理装置１１に対する画像フレームの入力が終了したか否かを判定する。

ステップＳ１９において、画像フレームの入力が終了していないと判定された場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。一方、ステップＳ１９において、画像フレームの入力が終了したと判定された場合、画像フレーム間引き処理は終了される。

ここで、図４のステップＳ１５における間引き判定処理について説明する。例えば、制御部１２は、予め設定された間引き頻度Ｆに基づいて判定を行う。例えば、間引き頻度Ｆは、次の式（１）に示すように設定される。

但し、式（１）において、距離ｄは、撮像速度の切り替えを行った画像フレーム（例えば、図１の時刻ｔｘまたは時刻ｔｙの画像フレーム）から、画像フレーム間引き処理の対象となっている画像フレームまでのフレーム数を示す。また、式（１）において、範囲Ｄは、撮像速度の切り替えを行った画像フレームから、間引きを行う対象とする画像フレームまでの範囲（例えば、後述する図５の範囲Ｘｆまたは範囲Ｙｆ）におけるフレーム数を示す。

なお、ｉ番目の区間Ｄ（ｉ）［ｉ＝０〜Ｎ］およびｉ番目の間引き頻度Ｆ（ｉ）［ｉ＝０〜Ｎ−１］には、固定の値を設定したり、外部から与えられる値を設定したりすることができる。例えば、ｉ番目の区間Ｄ（ｉ）およびｉ番目の間引き頻度Ｆ（ｉ）には、次の式（２）に示すような値を設定することができる。また、式（２）では、Ｎが２とされた例であるが、Ｎは２に限定されることはなく、１でもよいし、３以上の値としてもよい。

例えば、式（２）に示すように、ｉ番目の区間Ｄ（ｉ）およびｉ番目の間引き頻度Ｆ（ｉ）を設定すると、距離ｄが０〜７の画像フレームは１／２の頻度で間引くと判定され、距離ｄが８〜１３の画像フレームは１／３の頻度で間引くと判定される。また、距離ｄが０〜１３以外の画像フレームでは間引きは行われないことになる。

図５を参照して、画像フレーム間引き処理における効果について説明する。

図５には、図１に示したように異なる撮像速度で撮像を行って得られた画像フレームが画像処理装置１１に入力されたときに、画像処理装置１１から出力される画像フレームを表示装置において一定間隔（例えば、30fps）で表示したした際の、物体の位置がプロットされている。図５において、横軸は表示時刻を示しており、縦軸は物体の移動距離を示している。

図５に示すように、画像フレーム間引き処理によって、通常速度から高速度に撮像速度を切り替えた時刻ｔｘ（図１）に対応する時刻ｔｘ’の後における範囲Ｘｆにおいて、高速撮像フレームの一部（図４のステップＳ１５で間引くと判定された画像フレーム）が間引かれる。同様に、高速度から通常速度に撮像速度を切り替えた時刻ｔｙ（図１）に対応する時刻ｔｙ’の前における範囲Ｙｆにおいて、高速撮像フレームの一部（図４のステップＳ１５で間引くと判定された画像フレーム）が間引かれる。

このように、高速撮像フレームの一部を間引くことによって、範囲Ｘｆおよび範囲Ｙｆにおいて、通常速度よりも高く、かつ、高速度よりも低い疑似的な撮像速度の画像フレーム列が生成される。その結果、異なる撮像速度で撮像を行って得られた画像フレームを表示する際における視覚上の不連続を低減することができ、観察者に与える違和感を抑制することができる。

また、上述の式（２）に示すようにｉ番目の区間Ｄ（ｉ）およびｉ番目の間引き頻度Ｆ（ｉ）を設定することで、図５に示すように、範囲Ｘｆおよび範囲Ｙｆにおいて２段階で疑似的な速度を変化させることができ、観察者に与える違和感をさらに低減することができる。

なお、画像処理装置１１は、画像フレーム間引き処理を行い、高速撮像フレームの一部を間引くことによって視覚的な不連続性を低減する他、例えば、通常撮像フレームの一部を水増しすることによって視覚的な不連続性を低減することができる。

例えば、画像処理装置１１において、画像圧縮符号化部１７は、撮像速度の切り替え前または後で、直前の画像フレームと同一の画像フレームを単数枚挿入することで、あるいは複数枚繰り返して挿入することで、画像フレームの水増しを行うことができる。但し、ベースバンド画像を挿入した場合には符号化効率が悪くなるため、画像圧縮符号化部１７は、映像圧縮符号化方式の機能を利用することができる。

具体的には、例えば、AVC (Advanced video coding)規格やHEVC (High efficiency video coding)規格などにおけるスキップト・マクロブロック（あるいは、スキップマクロブロックなどと呼ばれる）を使用する。スキップト・マクロブロックは、動きがない画像を効率良く符号化できる機能であり、スキップト・マクロブロックについて、例えば、特開２００７−２４３７８４に開示されている。

次に、図６のフローチャートを参照して、画像処理装置１１において行われる画像処理の第２の処理例である画像フレーム水増し処理について説明する。

例えば、ステップＳ３１からステップＳ３３までは、図４のステップＳ１１からステップＳ１３までと同様の処理が行われ、ステップＳ３３において、制御部１２が、画像フレームは通常撮像フレームであると判定した場合、処理はステップＳ３４に進む。

ステップＳ３４において、制御部１２は、後述する式（３）および式（４）に従って、画像フレーム水増し処理の対象となっている画像フレームに対して水増しを行う水増し枚数を決定する。

ステップＳ３５において、制御部１２は、ステップＳ３４で決定した水増し枚数で通常撮像フレームに対する水増しを行うように画像圧縮符号化部１７に対して要求する。これに従って、画像圧縮符号化部１７は、画像フレームを圧縮符号化した後、水増し枚数分のスキップド・マクロブロックを生成して、パケット形成部１８に供給する。

ステップＳ３６において、パケット形成部１８は、画像圧縮符号化部１７から供給される圧縮符号化された画像フレームとスキップド・マクロブロックをパケット化してパケット出力部１９に供給し、パケット出力部１９は、画像処理装置１１の外部に出力する。

一方、ステップＳ３３において、制御部１２が、画像フレームは高速撮像フレームであると判定した場合、処理はステップＳ３７に進む。

そして、ステップＳ３７からステップＳ３９まで、図４のステップＳ１７からステップＳ１９までと同様の処理が行われ、ステップＳ３９において、画像フレームの入力が終了したと判定された場合、画像フレーム水増し処理は終了される。

ここで、図６のステップＳ３４において水増し枚数を決定する方法について説明する。例えば、制御部１２は、次の式（３）に従って、水増し枚数Ｗを決定する。

但し、式（３）において、距離ｄは、撮像速度の切り替えを行った画像フレーム（例えば、図１の時刻ｔｘまたは時刻ｔｙの画像フレーム）から、画像フレーム水増し処理の対象となっている画像フレームまでのフレーム数を示す。また、式（３）において、範囲Ｄは、撮像速度の切り替えを行った画像フレームから、水増しを行う対象とする画像フレームまでの範囲（例えば、後述する図７の範囲Ｘｎまたは範囲Ｙｎ）におけるフレーム数を示す。

なお、ｉ番目の区間Ｄ（ｉ）［ｉ＝０〜Ｎ］およびｉ番目の水増し枚数Ｗ（ｉ）［ｉ＝０〜Ｎ−１］には、固定の値を設定したり、外部から与えられる値を設定したりすることができる。例えば、ｉ番目の区間Ｄ（ｉ）およびｉ番目の水増し枚数Ｗ（ｉ）には、次の式（４）に示すような値を設定することができる。また、式（４）は、Ｎが２とされた例であるが、Ｎは２に限定されることはなく、１でもよいし、３以上の値としてもよい。

例えば、式（４）に示すように、ｉ番目の区間Ｄ（ｉ）およびｉ番目の水増し枚数Ｗ（ｉ）を設定すると、距離ｄが０〜７の画像フレームの水増し枚数は２枚と決定され、距離ｄが８〜１３の画像フレームの水増し枚数は１枚と決定される。そして、距離ｄが０〜１３以外の画像フレームでは水増しは行われないことになる。

図７を参照して、画像フレーム水増し処理における効果について説明する。

図７には、図１に示したように異なる撮像速度で撮像を行って得られた画像フレームが画像処理装置１１に入力されたときに、画像処理装置１１から出力される画像フレームを表示装置において一定間隔（例えば、30fps）で表示したした際の、物体の位置がプロットされている。図７において、横軸は表示時刻を示しており、縦軸は物体の移動距離を示している。

図７に示すように、画像フレーム水増し処理によって、通常速度から高速度に撮像速度を切り替えた時刻ｔｘ（図１）に対応する時刻ｔｘ’の前における範囲Ｘｎにおいて、通常撮像フレームが水増しされる。同様に、高速度から通常速度に撮像速度を切り替えた時刻ｔｙ（図１）に対応する時刻ｔｙ’の後における範囲Ｙｎにおいて、通常撮像フレームが水増しされる。

このように、通常撮像フレームの一部に水増しすることによって、範囲Ｘｎおよび範囲Ｙｎにおいて、通常速度よりも高く、かつ、高速度よりも低い疑似的な撮像速度の画像フレーム列が生成される。その結果、異なる撮像速度で撮像を行って得られた画像フレームを表示する際における視覚上の不連続を低減することができ、観察者に与える違和感を抑制することができる。

さらに、画像処理装置１１は、映像圧縮符号化方式の機能を利用して画像フレームの表示方法を調整することによっても、上述したような視覚的な不連続性を低減することができる。例えば、画像処理装置１１は、例えば、撮像速度の切り替え前後における高速撮像フレームまたは通常撮像フレームを表示する際のフレームレートを指定するパラメータを調整することができる。

具体的には、画像処理装置１１は、AVC (Advanced video coding)規格や、HEVC (High efficiency video coding)規格などにおけるpic_structパラメータを調整する。pic_structパラメータは、ピクチャ・タイミングSEI（Supplemental Enhancement. Information）メッセージに含まれるパラメータであり、当該メッセージを含むピクチャ（符号化された画像フレーム）の復号処理後の表示方法を指定する。特に、pic_structパラメータの値が７または８である場合、当該画像フレームの表示期間は、各々、別途指定されるフレームレートの逆数で表される期間の２倍または３倍の期間になる。なお、pic_structパラメータの値が０である場合は、当該画像フレームの表示間隔は、同フレームレートの逆数の期間になる。

次に、図８のフローチャートを参照して、画像処理装置１１において行われる画像処理の第３の処理例であるパラメータ調整処理について説明する。

例えば、ステップＳ５１からステップＳ５３までは、図４のステップＳ１１からステップＳ１３までと同様の処理が行われ、ステップＳ５３において、制御部１２が、画像フレームは通常撮像フレームであると判定した場合、処理はステップＳ５４に進む。

ステップＳ５４において、制御部１２は、後述する式（５）および式（６）に従って、パラメータ調整処理の対象となっている画像フレームのフレームレートを指定するパラメータ（pic_structパラメータ）の値を決定する。

一方、ステップＳ５３において、制御部１２が、画像フレームは高速撮像フレームであると判定した場合、処理はステップＳ５５に進む。

ステップＳ５５において、制御部１２は、パラメータ調整処理の対象となっている画像フレームのフレームレートを指定するパラメータ（pic_structパラメータ）の値を決定する。例えば、高速撮像フレームは本来の速度で表示する場合、制御部１２は、pic_structパラメータの値を０に決定する。

そして、ステップＳ５６からステップＳ５８まで、図４のステップＳ１７からステップＳ１９までと同様の処理が行われ、ステップＳ５８において、画像フレームの入力が終了したと判定された場合、パラメータ調整処理は終了される。

ここで、図８のステップＳ５４においてpic_structパラメータを決定する方法について説明する。例えば、制御部１２は、次の式（５）に従って、pic_structパラメータの値Ｖを決定する。

但し、式（５）において、距離ｄは、撮像速度の切り替えを行った画像フレーム（例えば、図１の時刻ｔｘまたは時刻ｔｙの画像フレーム）から、パラメータ調整処理の対象となっている画像フレームまでのフレーム数を示す。また、式（５）において、範囲Ｄは、撮像速度の切り替えを行った画像フレームから、パラメータの調整を行う対象とする画像フレームまでの範囲（例えば、上述した図７の範囲Ｘｎまたは範囲Ｙｎ）におけるフレーム数を示す。

なお、ｉ番目の区間Ｄ（ｉ）［ｉ＝０〜Ｎ］およびｉ番目のpic_structパラメータの値Ｖ（ｉ）［ｉ＝０〜Ｎ−１］には、固定の値を設定したり、外部から与えられる値を設定したりすることができる。その際、pic_structパラメータの値Ｖ（ｉ）の値として、７および８のいずれかが指定される。例えば、ｉ番目の区間Ｄ（ｉ）およびｉ番目の水増し枚数Ｗ（ｉ）には、次の式（６）に示すような値を設定することができる。また、式（６）は、Ｎが２とされた例であるが、Ｎは２に限定されることはなく、１でもよいし、３以上の値としてもよい。

例えば、式（６）に示すように、ｉ番目の区間Ｄ（ｉ）およびｉ番目のpic_structパラメータの値Ｖ（ｉ）を設定すると、距離ｄが０〜７の画像フレームのpic_structパラメータの値Ｖは８と決定され、距離ｄが８〜１３の画像フレームのpic_structパラメータの値Ｖは７と決定される。そして、距離ｄが０〜１３以外の画像フレームではpic_structパラメータの値Ｖは０となる。

このように、パラメータ調整処理によって、上述の図７に示した効果と同様に、通常速度から高速度に撮像速度を切り替えた時刻ｔｘ（図１）に対応する時刻ｔｘ’の前における範囲Ｘｎにおいて、通常撮像フレームの一部の表示期間が長くなる。同様に、高速度から通常速度に撮像速度を切り替えた時刻ｔｙ（図１）に対応する時刻ｔｙ’の後における範囲Ｙｎにおいて、通常撮像フレームの一部の表示期間が長くなる。

このように、通常撮像フレームのフレームレートを指定するパラメータを調整することによって、図７に示す範囲Ｘｎおよび範囲Ｙｎにおいて、通常速度よりも高く、かつ、高速度よりも低い疑似的な撮像速度の画像フレーム列が生成される。その結果、異なる撮像速度で撮像を行って得られた画像フレームを表示する際における視覚上の不連続を低減することができ、観察者に与える違和感を抑制することができる。

さらに、画像処理装置１１は、画像フレームの表示時刻を指定するパラメータである表示タイムスタンプを調整することによっても、上述したような視覚的な不連続性を低減することができる。例えば、画像処理装置１１は、例えば、撮像速度の切り替え前後における高速撮像フレームまたは通常撮像フレームの表示タイムスタンプを調整することができる。

例えば、表示タイムスタンプとしては、MPEG-2 Systems規格のPTS（Presentation Time-Stamp）などがあり、符号化された画像フレーム（ピクチャ）ごとに付加することができる。

次に、図９のフローチャートを参照して、画像処理装置１１において行われる画像処理の第４の処理例である表示タイムスタンプ調整処理について説明する。

例えば、ステップＳ７１からステップＳ７３までは、図４のステップＳ１１からステップＳ１３までと同様の処理が行われ、ステップＳ７３において、制御部１２が、画像フレームは通常撮像フレームであると判定した場合、処理はステップＳ７４に進む。

ステップＳ７４において、制御部１２は、後述する式（７）および式（８）に従って、表示タイムスタンプ調整処理の対象となっている画像フレーム（通常撮像フレーム）の表示タイムスタンプの増加分を決定する。

一方、ステップＳ７３において、制御部１２が、画像フレームは高速撮像フレームであると判定した場合、処理はステップＳ７５に進む。

ステップＳ７５において、制御部１２は、後述する式（９）および式（１０）に従って、表示タイムスタンプ調整処理の対象となっている画像フレーム（高速撮像フレーム）の表示タイムスタンプの増加分を決定する。

ステップＳ７４またはＳ７５の処理後、ステップＳ７６に進み、制御部１２は、ステップＳ７４またはＳ７５で決定した表示タイムスタンプの増加分を、表示タイムスタンプ調整処理の対象となっている現在の画像フレームの表示タイムスタンプに加算する。

そして、ステップＳ７７からステップＳ７９まで、図４のステップＳ１７からステップＳ１９までと同様の処理が行われ、ステップＳ７９において、画像フレームの入力が終了したと判定された場合、表示タイムスタンプ調整処理は終了される。

ここで、図９のステップＳ７４において通常撮像フレームの表示タイムスタンプの増加分を決定する方法について説明する。例えば、制御部１２は、次の式（７）に従って、表示タイムスタンプの増加分Ｔを決定する。

但し、式（７）において、距離ｄは、撮像速度の切り替えを行った画像フレーム（例えば、図１の時刻ｔｘまたは時刻ｔｙの画像フレーム）から、表示タイムスタンプ調整処理の対象となっている画像フレームまでのフレーム数を示す。また、式（７）において、範囲Ｄは、撮像速度の切り替えを行った画像フレームから、表示タイムスタンプの調整を行う対象とする画像フレームまでの範囲（例えば、後述する図１０の範囲Ｘｎまたは範囲Ｙｎ）におけるフレーム数を示す。また、式（７）において、フレームレートｆは、表示装置における画像フレームの表示速度を示す。

なお、ｉ番目の区間Ｄ（ｉ）［ｉ＝０〜Ｎ］およびｉ番目の表示タイムスタンプの増加分Ｔ（ｉ）［ｉ＝０〜Ｎ−１］には、固定の値を設定したり、外部から与えられる値を設定したりすることができる。その際、表示タイムスタンプの増加分Ｔ（ｉ）の値として、１／ｆ以上の値が指定される。例えば、ｉ番目の区間Ｄ（ｉ）およびｉ番目の表示タイムスタンプの増加分Ｔ（ｉ）には、次の式（８）に示すような値を設定することができる。また、式（８）では、Ｎが２とされた例であるが、Ｎは２に限定されることはなく、１でもよいし、３以上の値としてもよい。また、フレームレートｆは、例えば、30とされる。

例えば、式（８）に示すように、ｉ番目の区間Ｄ（ｉ）およびｉ番目の表示タイムスタンプの増加分Ｔ（ｉ）を設定すると、距離ｄが０〜７の画像フレームの表示タイムスタンプの増加分Ｔ（ｉ）の値は1/10に決定され、距離ｄが８〜１３の画像フレームの表示タイムスタンプの増加分Ｔ（ｉ）の値は1/15に決定される。また、距離ｄが０〜１３以外の画像フレームの表示タイムスタンプの増加分Ｔ（ｉ）は1/30に決定される。

続いて、図９のステップＳ７５において高速撮像フレームの表示タイムスタンプの増加分を決定する方法について説明する。例えば、制御部１２は、次の式（９）に従って、表示タイムスタンプの増加分Ｔを決定する。

但し、式（９）において、距離ｄは、撮像速度の切り替えを行った画像フレーム（例えば、図１の時刻ｔｘまたは時刻ｔｙの画像フレーム）から、表示タイムスタンプ調整処理の対象となっている画像フレームまでのフレーム数を示す。また、式（９）において、範囲Ｄは、撮像速度の切り替えを行った画像フレームから、表示タイムスタンプの調整を行う対象とする画像フレームまでの範囲（例えば、後述する図１０の範囲Ｘｆまたは範囲Ｙｆ）におけるフレーム数を示す。また、式（９）において、フレームレートｆは、表示装置における画像フレームの表示速度を示す。

なお、ｉ番目の区間Ｄ（ｉ）［ｉ＝０〜Ｎ］およびｉ番目の表示タイムスタンプの増加分Ｔ（ｉ）［ｉ＝０〜Ｎ−１］には、固定の値を設定したり、外部から与えられる値を設定したりすることができる。その際、表示タイムスタンプの増加分Ｔ（ｉ）の値として、１／ｆ以下の値が指定される。例えば、ｉ番目の区間Ｄ（ｉ）およびｉ番目の表示タイムスタンプの増加分Ｔ（ｉ）には、次の式（１０）に示すような値を設定することができる。また、式（１０）では、Ｎが２とされた例であるが、Ｎは２に限定されることはなく、１でもよいし、３以上の値としてもよい。また、フレームレートｆは、例えば、30とされる。

例えば、式（１０）に示すように、ｉ番目の区間Ｄ（ｉ）およびｉ番目の表示タイムスタンプの増加分Ｔ（ｉ）を設定すると、距離ｄが０〜７の画像フレームの表示タイムスタンプの増加分Ｔ（ｉ）の値は1/120に決定され、距離ｄが８〜１３の画像フレームの表示タイムスタンプの増加分Ｔ（ｉ）の値は1/60に決定される。また、距離ｄが０〜１３以外の画像フレームの表示タイムスタンプの増加分Ｔ（ｉ）は1/30に決定される。

なお、上述したように得られた表示タイムスタンプ列は、画像フレーム列の表示順序である。一方、画像圧縮符号化部１７から出力される符号化された画像フレーム列は、圧縮符号化における参照関係により、一般的に並べ替えが行われている。そのため、パケット形成部１８は、表示タイムスタンプを付加する際、表示タイムスタンプ列を符号化順序に並べ替えて付加する。

図１０を参照して、表示タイムスタンプ調整処理における効果について説明する。

図１０には、図１に示したように撮像された画像フレームが画像処理装置１１に入力されたときに、画像処理装置１１から出力される画像フレームを表示装置において一定間隔（例えば、30fps）で表示したした際の、物体の位置がプロットされている。図１０において、横軸は表示時刻を示しており、縦軸は物体の移動距離を示している。

図１０に示すように、表示タイムスタンプ調整処理において、通常撮像フレームの表示タイムスタンプを増加させる（図９のステップＳ７４）ことによって、通常速度から高速度に撮像速度を切り替えた時刻ｔｘ（図１）に対応する時刻ｔｘ’の前における範囲Ｘｎ、および、高速度から通常速度に撮像速度を切り替えた時刻ｔｙ（図１）に対応する時刻ｔｙ’の後における範囲Ｙｎにおいて、通常撮像フレームの一部の表示期間が長くなる。また、高速撮像フレームの表示タイムスタンプを増加させる（図９のステップＳ７５）ことによって、通常速度から高速度に撮像速度を切り替えた時刻ｔｘ（図１）に対応する時刻ｔｘ’の後における範囲Ｘｆ、および、高速度から通常速度に撮像速度を切り替えた時刻ｔｙ（図１）に対応する時刻ｔｙ’の前における範囲Ｙｆにおいて、高速撮像フレームの一部の表示期間が短くなる。

このように、通常撮像フレームおよび高速撮像フレームの表示タイムスタンプを増加させることによって、範囲Ｘｎおよび範囲Ｙｎ、並びに、範囲Ｘｆおよび範囲Ｙｆにおいて、通常速度よりも高く、かつ、高速度よりも低い疑似的な撮像速度の画像フレーム列が生成される。その結果、異なる撮像速度で撮像を行って得られた画像フレームを表示する際における視覚上の不連続を低減することができ、観察者に与える違和感を抑制することができる。

特に、通常撮像フレームおよび高速撮像フレームの両方において表示タイムスタンプを増加させることによって、より広い範囲で疑似的な撮像速度の画像フレーム列を生成することができ、より良い効果を得ることができる。

なお、例えば、表示タイムスタンプ調整処理において、通常撮像フレームだけで表示タイムスタンプを増加させた場合には、上述の図７と同様の効果を得ることができる。同様に、表示タイムスタンプ調整処理において、高速撮像フレームだけで表示タイムスタンプを増加させた場合には、上述の図５と同様の効果を得ることができる。

また、図１０に示すように、範囲Ｘｎおよび範囲Ｙｎ、並びに、範囲Ｘｆおよび範囲Ｙｆにおいて疑似的な撮像速度の画像フレーム列を生成することを、表示タイムスタンプ調整処理以外の処理を組み合わせて行ってもよい。

即ち、例えば、画像フレーム間引き処理（図４）および画像フレーム水増し処理（図６）を組み合わせた場合にも、図１０と同様に、範囲Ｘｎおよび範囲Ｙｎ、並びに、範囲Ｘｆおよび範囲Ｙｆにおいて疑似的な撮像速度の画像フレーム列を生成することができる。それ以外にも、画像フレーム間引き処理（図４）、画像フレーム水増し処理（図６）、パラメータ調整処理（図８）、および、表示タイムスタンプ調整処理（図９）のいずれかを、適宜、組み合わせることによって、図１０に示すような効果を得ることができる。

このように、画像処理装置１１では、通常撮像フレームおよび高速撮像フレームの両方について表示速度の変更を行うことができ、従来よりも柔軟性を高めることができる。また、画像処理装置１１は、例えば、撮像を行って画像フレーム列を取得する撮像装置や、画像フレーム列を符号化して記録する記録装置、画像フレーム列を編集する際に符号化を行う編集装置などに適用することができ、従来よりも汎用性を高めることができる。従って、画像処理装置１１は、異なる撮像速度で撮像を行って得られた画像フレームを表示する際の不連続を低減する処理の有用性を高めることができる。

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。

また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、本技術は以下のような構成も取ることができる。
（１）
異なる撮像速度で撮像を行って得られた画像フレームのうち、少なくとも一方の撮像速度で撮像された画像フレームに対して表示速度の変更を行う対象とする判定を行う画像フレーム判定部と、
前記画像フレーム判定部により表示速度の変更を行う対象と判定された前記画像フレームに対し、撮像速度が切り替えられたタイミングから所定範囲における表示速度を調整する表示速度調整部と
を備える画像処理装置。
（２）
前記画像フレームには、通常の撮像速度により撮像された通常撮像フレームと、前記通常の撮像速度よりも高速で撮像が行われた高速撮像フレームとが含まれる
上記（１）に記載の画像処理装置。
（３）
前記表示速度調整部は、前記高速撮像フレームに対して、一部の前記画像フレームの間引きを行う処理を行う
上記（２）に記載の画像処理装置。
（４）
前記表示速度調整部は、前記通常撮像フレームに対して、一部の前記画像フレームに対応して水増しを行って符号化する処理を行う
上記（２）または（３）に記載の画像処理装置。
（５）
前記表示速度調整部は、前記通常撮像フレームおよび前記高速撮像フレームの少なくともいずれか一方に対して、前記画像フレームを表示する際のフレームレートを指定するパラメータの値を調整する処理を行う
上記（２）から（４）までのいずれかに記載の画像処理装置。
（６）
前記表示速度調整部は、前記通常撮像フレームおよび前記高速撮像フレームの少なくともいずれか一方に対して、前記画像フレームの表示時刻を指定する表示タイムスタンプの値を調整する処理を行う
上記（２）から（５）までのいずれかに記載の画像処理装置。
（７）
前記表示速度調整部は、前記高速撮像フレームに対して、一部の前記画像フレームの間引きを行う処理、前記通常撮像フレームに対して、一部の前記画像フレームに対応して水増しを行って符号化する処理、前記通常撮像フレームおよび前記高速撮像フレームの少なくともいずれか一方に対して、前記画像フレームを表示する際のフレームレートを指定するパラメータの値を調整する処理、並びに、前記通常撮像フレームおよび前記高速撮像フレームの少なくともいずれか一方に対して、前記画像フレームの表示時刻を指定する表示タイムスタンプの値を調整する処理のいずれかを組み合わせて行う
上記（２）から（６）までのいずれかに記載の画像処理装置。
（８）
異なる撮像速度で撮像を行って得られた画像フレームのうち、少なくとも一方の撮像速度で撮像された画像フレームに対して表示速度の変更を行う対象とする判定を行い、
表示速度の変更を行う対象と判定された前記画像フレームに対し、撮像速度が切り替えられたタイミングから所定範囲における表示速度を調整する
ステップを含む画像処理方法。
（９）
異なる撮像速度で撮像を行って得られた画像フレームのうち、少なくとも一方の撮像速度で撮像された画像フレームに対して表示速度の変更を行う対象とする判定を行い、
表示速度の変更を行う対象と判定された前記画像フレームに対し、撮像速度が切り替えられたタイミングから所定範囲における表示速度を調整する
ステップを含む処理をコンピュータに実行させるプログラム。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 画像処理装置， １２ 制御部， １３ 画像処理部， １４ 画像フレーム入力部， １５ 画像フレームFIFO， １６ 画像フレーム間引き部， １７ 画像圧縮符号化部， １８ パケット形成部， １９ パケット出力部

Claims (9)

1. 異なる撮像速度で撮像を行って得られた画像フレームのうち、少なくとも一方の撮像速度で撮像された画像フレームに対して表示速度の変更を行う対象とする判定を行う画像フレーム判定部と、
   前記画像フレーム判定部により表示速度の変更を行う対象と判定された前記画像フレームに対し、撮像速度が切り替えられたタイミングから所定範囲における表示速度を、前記画像フレームを表示する際のフレームレートを指定するパラメータの値、および、前記画像フレームの表示時刻を指定する表示タイムスタンプの値のうち、少なくとも一方を調整する処理を行うことで調整して、調整後の前記画像フレームを圧縮符号化する表示速度調整部と
   を備える画像処理装置。
2. 前記画像フレームには、通常の撮像速度により撮像された通常撮像フレームと、前記通常の撮像速度よりも高速で撮像が行われた高速撮像フレームとが含まれており、
   前記通常撮像フレームおよび前記高速撮像フレームの少なくともいずれか一方に対して、前記画像フレームの表示方法を調整する処理が行われる
   請求項１に記載の画像処理装置。
3. 前記表示速度調整部は、前記高速撮像フレームに対して、一部の前記画像フレームの間引きを行う処理を行う
   請求項２に記載の画像処理装置。
4. 前記表示速度調整部は、前記通常撮像フレームに対して、一部の前記画像フレームに対応して水増しを行って符号化する処理を行う
   請求項２に記載の画像処理装置。
5. 前記表示速度調整部は、前記通常撮像フレームおよび前記高速撮像フレームの少なくともいずれか一方に対して、前記画像フレームを表示する際のフレームレートを指定するパラメータの値を調整する処理を行う
   請求項２に記載の画像処理装置。
6. 前記表示速度調整部は、前記通常撮像フレームおよび前記高速撮像フレームの少なくともいずれか一方に対して、前記画像フレームの表示時刻を指定する表示タイムスタンプの値を調整する処理を行う
   請求項２に記載の画像処理装置。
7. 前記表示速度調整部は、前記高速撮像フレームに対して、一部の前記画像フレームの間引きを行う処理、前記通常撮像フレームに対して、一部の前記画像フレームに対応して水増しを行って符号化する処理、前記通常撮像フレームおよび前記高速撮像フレームの少なくともいずれか一方に対して、前記画像フレームを表示する際のフレームレートを指定するパラメータの値を調整する処理、並びに、前記通常撮像フレームおよび前記高速撮像フレームの少なくともいずれか一方に対して、前記画像フレームの表示時刻を指定する表示タイムスタンプの値を調整する処理のいずれかを組み合わせて行う
   請求項２に記載の画像処理装置。
8. 異なる撮像速度で撮像を行って得られた画像フレームのうち、少なくとも一方の撮像速度で撮像された画像フレームに対して表示速度の変更を行う対象とする判定を行い、
   表示速度の変更を行う対象と判定された前記画像フレームに対し、撮像速度が切り替えられたタイミングから所定範囲における表示速度を、前記画像フレームを表示する際のフレームレートを指定するパラメータの値、および、前記画像フレームの表示時刻を指定する表示タイムスタンプの値のうち、少なくとも一方を調整する処理を行うことで調整して、調整後の前記画像フレームを圧縮符号化する
   ステップを含む画像処理方法。
9. 異なる撮像速度で撮像を行って得られた画像フレームのうち、少なくとも一方の撮像速度で撮像された画像フレームに対して表示速度の変更を行う対象とする判定を行い、
   表示速度の変更を行う対象と判定された前記画像フレームに対し、撮像速度が切り替えられたタイミングから所定範囲における表示速度を、前記画像フレームを表示する際のフレームレートを指定するパラメータの値、および、前記画像フレームの表示時刻を指定する表示タイムスタンプの値のうち、少なくとも一方を調整する処理を行うことで調整して、調整後の前記画像フレームを圧縮符号化する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images