JP4882948B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法並びにプログラムに関し、特に、環境の明るさの変化によらず、映画素材を適切に表示できるようになった画像処理装置および方法並びにプログラムに関する。

一般的に映画館での上映時には、４８[Hz]で同じコマ（フレームまたはフィールド）が２度表示されている。即ち、映画素材の画像データのコマの配置周期は、２４[Hz]である。換言すると、映画素材の画像データとは、２４コマの画像データである。

一方、現状のテレビジョン放送受像機の表示の周期は６０[Hz](１２０[Hz])である。よって、映画素材の画像データをテレビジョン受像機で表示させるためには、２４コマの画像データを、６０コマ（１２０コマ）の画像データに変換させる必要がある。

このような２４コマの画像データを、６０コマ（１２０コマ）の画像データに変換させる従来の技術としては、いわゆる２，３プルダウンの技術が存在する（特許文献１参照）。また、オブジェクトの移動ベクトルを算出し、その移動ベクトルでオブジェクトが移動していくようにコマ補間をする技術（以下、移動ベクトル利用技術と称する）が存在する。
特開2006-066986号公報

しかしながら、映画館よりも明るい部屋の環境で、２、３プルダウン技術により変換された映画素材をテレビジョン放送受像機等でユーザが見るとジャダーが目立ってしまうという問題があった。一方で、映画館と同じような暗い部屋の環境で、移動ベクトル利用技術により変換された映画素材をテレビジョン放送受像機等でユーザが見ると、映画というよりもビデオ映像のように視認されてしまうという問題、即ち、映画固有の臨場感が損なわれてしまうという問題があった。

本発明は、このような状況に鑑みてなされたものであり、環境の明るさの変化によらず、映画素材を適切に表示できるようにするものである。

本発明の一側面の画像処理装置は、第１の周期でフレームまたはフィールドの一方を表すコマが配置されて構成される動画像を入力動画像として、前記入力動画像に対して処理を施す画像処理装置において、第２の周期毎に、前記入力動画像に含まれるオブジェクトの移動ベクトルを算出する移動ベクトル算出手段と、前記移動ベクトル算出手段により算出された前記移動ベクトルに対して所定のゲインをかけることで、前記移動ベクトルを変換する移動ベクトル変換手段と、前記移動ベクトル変換手段による変換後の前記移動ベクトルに従って前記オブジェクトが移動していくように、前記入力動画像に対して、前記コマを変換または補間していくコマ補間処理を施すことで、第３の周期で前記コマが配置されて構成される出力動画像を生成するコマ補間手段と、前記出力動画像を視聴するユーザが存在する環境の明るさに応じて前記ゲインを算出し、前記移動ベクトル変換手段に提供するゲイン算出手段とを備える。

前記ユーザが存在する環境の明るさを検出する明るさ検出手段をさらに備え、前記ゲイン算出手段は、前記明るさ検出手段により検出された明るさに応じて前記ゲインを算出する。

前記ユーザの指示に基づき、前記ゲイン算出手段により算出される前記ゲインを補正する補正手段をさらに備える。

本発明の一側面の画像処理方法およびプログラムは、上述した本発明の一側面の画像処理装置に対応する方法およびプログラムである。

本発明の一側面の画像処理装置および方法並びにプログラムにおいては、第１の周期でフレームまたはフィールドの一方を表すコマが配置されて構成される動画像を入力動画像として、前記入力動画像に対して次のような処理が施される。即ち、第２の周期毎に、前記入力動画像に含まれるオブジェクトの移動ベクトルが算出され、算出された前記移動ベクトルに対して所定のゲインをかけることで、前記移動ベクトルが変換され、変換後の前記移動ベクトルに従って前記オブジェクトが移動していくように、前記入力動画像に対して、前記コマを変換または補間していくコマ補間処理が施され、その結果、第３の周期で前記コマが配置されて構成される出力動画像が生成される。その際、前記出力動画像を視聴するユーザが存在する環境の明るさに応じて前記ゲインが算出される。

以上のごとく、本発明によれば、映画素材の動画像に対する画像処理を実現できる。特に、環境の明るさの変化によらず、映画素材を適切に表示できる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、明細書又は図面における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、明細書又は図面に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、明細書又は図面に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本発明の一側面の画像処理装置（例えば、図１の画像処理装置）は、
第１の周期でフレームまたはフィールドの一方を表すコマが配置されて構成される動画像（例えば、図２の上側のフィルムや、図２の下側の２，３プルダウン後フィルム）を入力動画像として、前記入力動画像に対して処理を施す画像処理装置であって、
第２の周期毎に、前記入力動画像に含まれるオブジェクトの移動ベクトルを算出する移動ベクトル算出手段（例えば図１の移動ベクトル算出部１１）と、
前記移動ベクトル算出手段により算出された前記移動ベクトルに対して所定のゲインをかけることで、前記移動ベクトルを変換する移動ベクトル変換手段（例えば図１の移動ベクトル変換部１２）と、
前記移動ベクトル変換手段による変換後の前記移動ベクトルに従って前記オブジェクトが移動していくように、前記入力動画像に対して、前記コマを変換または補間していくコマ補間処理を施すことで、第３の周期で前記コマが配置されて構成される出力動画像を生成するコマ補間手段（例えば図１のコマ補間部１３）と、
前記出力動画像を視聴するユーザが存在する環境の明るさに応じて前記ゲインを算出し、前記移動ベクトル変換手段に提供するゲイン算出手段（例えば図１のゲイン算出部１４）と
を備える。

前記ユーザが存在する環境の明るさを検出する明るさ検出手段（例えば図１の明るさ検出部１５）をさらに備え、
前記ゲイン算出手段は、前記明るさ検出手段により検出された明るさに応じて前記ゲインを算出する。

前記ユーザの指示に基づき、前記ゲイン算出手段により算出される前記ゲインを補正する補正手段（例えば図１のユーザ補正部１６）をさらに備える。

本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の画像処理方法に対応する方法およびプログラムである。詳細については後述するが、このプログラムは、例えば、図１２のリムーバブルメディア１１１や、記憶部１０８に含まれるハードディスク等の記録媒体に記録され、図１２の構成のコンピュータにより実行される。

その他、本発明の一側面としては、上述した本発明の一側面のプログラムを記録した記録媒体も含まれる。

以上説明した本発明の一側面の画像処理装置は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む１以上のＡＶ（Audio and Visual）機器からなるシステムを指す。

次に、図面を参照して、本発明の実施の形態について説明する。

なお、以下の説明においては、次の前提事項が成立しているとする。

即ち、後述する各種の実施の形態では、動画像に対する各種画像処理はアクセスユニットを単位とする。アクセスユニットとは、フレームやフィールドといった動画像の単位を指し、具体的には例えば、動画像を構成する各静止画像全体（フレーム等）またはその一部分（フィールド等）を指す。ただし、以下、説明の簡略上、動画像に対する各種画像処理の単位はフレーム単位であるとする。

また、画像処理が施される動画像（映像）の形態の表現方法として、信号またはデータという呼称を使用する。

さらにまた、後述する画像処理装置（図１参照）を構成する各機能ブロックに入力される信号を、まとめて入力信号と適宜称する。即ち、動画像、動画像を構成する各フレーム、および、各フレームを構成する各画素（各画素値）といった入力単位によらず、一括して入力信号と適宜称する。同様に、各機能ブロックから出力される信号を、その出力単位によらず、一括して出力信号と適宜称する。換言すると、入力単位や出力単位の区別が必要な場合、その単位（主にフレーム）を用いて説明を行い、それ以外の場合、単に入力信号または出力信号を用いて説明を行う。

図１は、本発明が適用される画像処理装置の一実施の形態を示している。

図１の例の画像処理装置は、移動ベクトル算出部１１、移動ベクトル変換部１２、コマ補間部１３、ゲイン算出部１４、明るさ検出部１５、およびユーザ補正部１６から構成されている。

図１の例の画像処理装置においては、フレーム周期が２４［Hz]等である動画像が入力信号T0として、移動ベクトル算出部１１、およびコマ補間部１３のそれぞれに提供される。

なお、以下、フレーム周期がＬ［Hz］（Ｌは任意の整数値）である信号を、単にＬ［Hz］の信号と称する。

移動ベクトル算出部１１は、所定の周期毎、例えば本例では２４[Hz]毎に、入力信号T0についての移動ベクトルMVを算出し、移動ベクトル変換部１２に提供する。

ここで、移動ベクトルMVは、実際には、フレームを構成する各画素値毎にそれぞれ算出される。ただし、以下の説明では、本発明の理解を容易なものとするために、入力信号T0としての動画像に含まれる所定オブジェクト（例えば後述する図３等の長方形）に着目し、移動ベクトルMVとは、その所定オブジェクトの移動量と移動方向を示すベクトルを意味するとする。

換言すると、以下、フレームに対する処理のうちの、所定オブジェクトを構成する画素に対する処理に着目して説明を行っていく。ただし、実際には、0ベクトルも移動ベクトルに含むとすれば、フレームを構成するその他の画素に対しても、以下の説明と同様な処理が施されることはいうまでもない。

移動ベクトル変換部１２は、移動ベクトルMVに対して、ゲイン算出部１４により算出されたゲインGをかけることで、移動ベクトルG×MVに変換する。変換後の移動ベクトルG×MVは、コマ補間部１３に提供される。

コマ補間部１３は、移動ベクトル変換部１２により変換された移動ベクトルG×MVに基づいて、入力信号T0に対してコマ補間処理を実行し、その結果得られる信号T1を出力信号として出力する。ここに、コマ補間処理とは、入力信号T0のコマ数（フレーム周期）を高コマ数に変換すべく、入力信号T0を構成する各コマ（各フレーム）の間に、新たなコマ（新たなフレーム）を補間する処理をいう。これにより、例えば本実施の形態では、２４[Hz]等の入力信号T0が、１２０[Hz]の出力信号T1に変換される。

具体的には例えば本実施の形態では、コマ補間部１３は、次のようなコマ補間処理を実行する。即ち、上述のごとく、移動ベクトル算出部１１によって算出された移動ベクトルMVは、説明の簡略上、動画像に含まれる所定オブジェクトの移動量と移動方向を示している。そこで、コマ補間部１３は、移動ベクトル変換部１２により変換された移動ベクトルG×MVに従って所定オブジェクトが移動していくように、入力信号T0に対して、フレームを変換または補間していくコマ補間処理を施す。これにより、１２０[Hz]の出力信号T1、即ち、１２０[Hz]で複数のフレームが配置されて構成される出力信号T1が生成される。

なお、本実施の形態のコマ補間処理のさらなる詳細の説明については、図２乃至図１１の図面を参照して後述する。

ゲイン算出部１４は、明るさ検出部１５により検出された明るさP1に基づいて、ゲインGを算出する。なお、明るさP1とゲインGの関係については、図６を参照して後述する。

明るさ検出部１５は、コマ補間部１３の出力信号T1に対応する映像を視聴するユーザが存在する環境の明るさP1を検出し、ゲイン算出部１４に提供する。

ユーザ補正部１６は、ユーザの指示操作に基づくゲインの補正量△Gを、ゲイン算出部１４に提供する。即ち、図１の画像処理装置は、ユーザがゲインGを自在に補正できるように構成されている。

次に、図２乃至図１１の図面を参照して、図１の例の画像処理装置の動作について説明する。

図２は、入力信号T0の一例を示している。即ち、図２において、ＡＫ（Ｋは任意の整数値），ＢＫが中央に記述された長方形は、１つのフレーム（１コマ）を示しており、横軸は時間（time［sec］）を示している。なお、以下、かかるフレームを、フレームＡＫ，ＢＫと称する。

具体的には、図２の上側の図は、２４[Hz]の画像データ、即ち２４コマ（２４フレーム）の映画素材の画像データ（以下、フィルムと称する）が、入力信号T0として与えられた場合のタイミングチャートを示している。

一方、図２の下側の図は、２，３プルダウンの技術によって上述のフィルムが変換された後の画像データ（以下、２，３プルダウン後フィルムと称する）が、入力信号T0として与えられた場合のタイミングチャートを示している。ここに、２，３プルダウンの技術とは、図２に示されるように、ＡＫ，ＢＫの順に配置されている２４[Hz]の画像データのうち、フレームＡＫの後に、それと同一の１枚のフレームＡＫを補間し、フレームＢＫの後に、それと同一の２枚のフレームＢＫを順次補間することで、６０[Hz]の画像データに変換する処理をいう。

即ち、本実施の形態では、フィルム、または２，３プルダウン後フィルムが、入力信号T0として与えられる。

そこで、以下、最初に、フィルムが入力信号T0として与えられた場合の図１の例の画像処理装置の動作について説明する。その後、２，３プルダウン後フィルムが入力信号T0とし与えられた場合の図１の例の画像処理装置の動作について説明する。

以下、図３に示されるように、フィルム中に含まれる長方形のオブジェクトが、５／１２０［sec］につきα［pix］だけ右方向に、移動しているとする。即ち、図３において、Ａ１，Ｂ１，Ａ２が記述されている各長方形が、フレームＡ１，Ｂ１，Ａ２のそれぞれに含まれている同一オブジェクトであって、右方向にα［pix/（5/120）sec］の速度で等速度運動しているオブジェクトを示している。

換言すると、図３は、オブジェクトの移動を示すタイミングチャートであり、縦軸が時間軸を示しており、横軸が、各フレームに含まれるオブジェクトの横方向の位置を示している。また、矢印に付された符号MVP（Pは整数値やダッシュを意味する）は、移動ベクトルを示しているが、矢印がそのまま実際の移動ベクトルを示していない点留意する。即ち、矢印と図３中下方向とのなす角度をθとすると、矢印のsinθが、実際の移動ベクトルになる点留意する。なお、かかる図３の定義は、後述する図４，図５，図７乃至図１１でも同様とされている。

図２や図３に示されるように、入力信号T0としてのフィルムは、２４[Hz]の画像データである。また、移動ベクトル算出部１１の本実施の形態での処理単位は、上述のごとく２４［Hz］とされている。よって、移動ベクトル算出部１１において、フィルムを構成する各フレームのそれぞれについて、移動ベクトルMVが毎回算出される。即ち、図３の例では各フレームＡ１，Ｂ１，Ａ２のそれぞれについて、オブジェクトの移動ベクトルMV1，MV2，MV3がそれぞれ算出される。ここで、移動ベクトルMV1，MV2，MV3とは何れも、移動方向が右方向であって、移動量がα［pix/（5/120）sec］のベクトルである。

このようなフレーム周期が２４[Hz]の入力信号T0に対して、コマ補間処理を施して、１２０[Hz]の出力信号T1を生成するためには、各フレームＡ１，Ｂ１，Ａ２のそれぞれの間に、時間的に等間隔で配置される４枚のフレーム（４コマ）をそれぞれ補間する必要がある。

例えば、図４に示されるように、２，３プルダウンの技術と同様の手法により、各フレームＡ１，Ｂ１，Ａ２の後に、それらと同一のフレームＡ１’，Ｂ１’，Ａ２’の４枚のフレームをそれぞれ補間することで、１２０[Hz]の出力信号T1を生成することもできる。

この場合、フレームＡ１と４枚のフレームＡ１’が表示されている間、オブジェクト（図４の各長方形）は、そのエッジ部分がαとなる位置のまま移動しない。なお、以下、エッジ部分がＭ（Ｍは任意の整数値）となるオブジェクトの位置を、単に、Ｍの位置と称する。

そして、フレームＢ１が表示されると、オブジェクトは突如２×αの位置まで移動し、その後、４枚のフレームＢ１’が表示されている間は、オブジェクトは２×αの位置のまま移動しない。さらに、フレームＡ２が表示されると、オブジェクトは突如３×αの位置に移動し、その後、４枚のフレームＡ２’が表示されている間は、オブジェクトは３×αの位置のまま移動しない。

このように、オブジェクトは、５／１２０（＝１／２４）［sec］の間は全く移動せず、その後、５／１２０（＝１／２４）［sec］が経過すると突如右方向にαだけ移動することになる。即ち、ユーザの目には、いわゆるジャダーが発生する。

特に、ユーザが存在する環境の明るさ（例えば部屋の明るさや画面の明るさ等）が一定以上のとき、即ち、映画館よりも明るい環境にユーザが存在するときに、このジャダーが目立ってしまう。この要因は、人間の目は移動物体を追従していく能力を有しているが、かかる能力が明るさに応じて変化するという特性があるからである。即ち、明るくなるにつれて、より速い移動物体を追従視できるようになっていく、という特性があるからである。換言すると、かかる能力は目の感度であるとも表現でき、目の感度が良いほど速い移動物体を追従視できるとすると、目の感度と明るさには一定の関係があるという特性があるからである。以下、かかる特性を追従視特性と称する。

そこで例えば、図５に示されるように、移動ベクトルMV1，MV2，MV3に従って右方向にオブジェクト（図５の長方形）が移動してくように、各フレームＡ１，Ｂ１，Ａ２の後に、フレームＡ１’，Ｂ１’，Ａ２’の４枚のフレームをそれぞれ補間することで、１２０[Hz]の出力信号T1を生成することもできる。

この場合、フレームＡ１の表示時刻を０として、そのときのオブジェクトのα［pix］の位置を基準位置とすると、出力信号T1に対応する映像は、次のようにオブジェクトが動いていくように表示されることになる。

1/120［sec］に表示されるフレームＡ１’、即ち、フレームＡ１の後１番目に補間されるフレームＡ１’においては、オブジェクトが、MV1(=α)［pix/（5/120）sec］×1/120［sec］だけ移動している。2/120［sec］に表示されるフレームＡ１’、即ち、フレームＡ１の後２番目に補間されるフレームＡ１’においては、オブジェクトが、MV1(=α)［pix/（5/120）sec］×2/120［sec］だけ移動している。3/120［sec］に表示されるフレームＡ１’、即ち、フレームＡ１の後３番目に補間されるフレームＡ１’においては、オブジェクトが、MV1(=α)［pix/（5/120）sec］×3/120［sec］だけ移動している。4/120［sec］に表示されるフレームＡ１’、即ち、フレームＡ１の後４番目に補間されるフレームＡ１’においては、オブジェクトが、MV1(=α)［pix/（5/120）sec］×4/120［sec］だけ移動している。

次に、5/120［sec]には、フレームＢ１が表示される。このフレームＢ１におけるオブジェクトの位置は、フレームＡ１におけるオブジェクトの基準位置（αの位置）と比較して、α［pix］だけ右方向に移動している。即ち、その直前の4/120［sec］に表示されるフレームＡ１’、即ち、フレームＡ１の後４番目に補間されるフレームＡ１’と比較すると、オブジェクトが、MV1(=α)［pix/（5/120）sec］×1/120［sec］だけ右方向に移動していることになる。このことは、4/120［sec]から5/120[sec]になったときのオブジェクトの移動量は、それまでの移動量と変化していないことを意味する。

その後、補間された４枚のフレームＢ１’、Ａ２、補間された４枚のフレームＡ２’が1/120［sec］毎に順次表示されていく。この場合も、全く同様に、オブジェクトは、一定速度で右方向に移動していくことになる。その結果、ユーザの目には、ジャダーが発生しない。

ただし、映画固有の臨場感とは、そもそも一定のジャダーが発生しているため生れるものである。よって、このようなジャダーが全く発生しない映像を、映画館と同じような暗い環境でユーザが視聴すると、今度は映画固有の臨場感が損なわれてしまう、という問題が生ずる。

以上の内容を換言すると、人間の目には追従視特性があることから、ジャダーの発生程度が同一であったとしても、映画館のように暗い環境では、映画館の臨場感と同様の適切な映像であると視認されていたものが、映画館よりも明るい環境になると、ジャダーが目立ちすぎる映像であると視認されてしまうことになる。

よって、映画館の臨場感を損なうことなく、即ち、本来の映画素材の良さを損なうことなく、ジャダーの視覚上の目立ちを低減させるためには、ジャダーの発生程度を、ユーザが存在する環境の明るさに応じて適切に変化させればよい。かかる変化は、後述するように、移動ベクトルMVを、明るさに応じて変換させることで実現可能である。この明るさに応じて移動ベクトルMVを変換させる量が、図１の例では、ゲイン算出部１４により算出されるゲインGである。

即ち、ゲイン算出部１４は、例えば図６に示されるような関数f(α)を保持している。この関数f（α）は、上述した追従視特性が、目の感度と明るさとが比例関係にある特性であると仮定した場合の一例を示している。この例では、ゲイン算出部１４は、明るさ検出部１５により検出された明るさP1を、目の感度パラメータとしての入力値αとして関数f(α)に代入し、その出力値f(α)をゲインGとして移動ベクトル変換部１２に提供する。

このようにして算出されるゲインGは、その時点のユーザが存在する環境の明るさにおいて、ユーザの追従視特性（ただし、目の感度と明るさとが比例関係にある特性と仮定した場合）から把握されるユーザにとって適切なジャダーを発生させることが可能なゲインとなる。換言すると、関数ｆ（α）は、図６の例に限定されず、実際の追従視特性に応じた曲線の関数を採用するとよい。

このようなゲインGは、移動ベクトル変換部１２に提供される。すると、移動ベクトル変換部１２において、移動ベクトルMVは、移動ベクトルG×MVに変換されて、コマ補間部１３に提供される。

これにより、コマ補間部１３は、例えば図７に示されるようなコマ補間処理を実行して、その時点の明るさに適した程度のジャダーを発生させることが可能となる120［Hz］の画像データを、出力信号T1として生成することができる。

具体的には例えば、図７の例では、明るさ検出部１５により検出された明るさP1は、図６に示される明るさP1tであるとされた場合の例である。即ち、明るさP1tの場合には、ゲインG＝0.5がゲイン算出部１４により算出されて、移動ベクトル変換部１２に提供される。このため、移動ベクトル変換部１２において、移動ベクトルMV1は移動ベクトルMV1’（＝0.5×MV1）に、移動ベクトルMV2は移動ベクトルMV2’（＝0.5×MV2）に、移動ベクトルMV3は移動ベクトルMV3’（＝0.5×MV3）に、それぞれ変換されて、コマ補間部１３に順次提供される。よって、コマ補間部１３は、次のようなコマ補間処理を実行することになる。

即ち、図７に示されるように、コマ補間部１３は、変換後の移動ベクトルMV1’，MV2’，MV3’に従ってオブジェクト（図７の長方形）が移動していくように、各フレームＡ１，Ｂ１，Ａ２の後に、フレームＡ１’，Ｂ１’，Ａ２’の４枚のフレームをそれぞれ補間することで、１２０[Hz]の出力信号T1を生成する。

具体的には、フレームＡ１の表示時刻を０として、そのときのオブジェクトのα［pix］の位置を基準位置とすると、出力信号T1に対応する映像は、次のようにオブジェクトが動いていくように表示されることになる。

1/120［sec］に表示されるフレームＡ１’、即ち、フレームＡ１の後１番目に補間されるフレームＡ１’においては、オブジェクトが、MV1’(=0.5×MV1＝0.5×α)［pix/（5/120）sec］×1/120［sec］だけ移動している。2/120［sec］に表示されるフレームＡ１’、即ち、フレームＡ１の後２番目に補間されるフレームＡ１’においては、オブジェクトが、MV1’(=0.5×MV1＝0.5×α)［pix/（5/120）sec］×2/120［sec］だけ移動している。3/120［sec］に表示されるフレームＡ１’、即ち、フレームＡ１の後３番目に補間されるフレームＡ１’においては、オブジェクトが、MV1’(=0.5×MV1＝0.5×α)［pix/（5/120）sec］×3/120［sec］だけ移動している。4/120［sec］に表示されるフレームＡ１’、即ち、フレームＡ１の後４番目に補間されるフレームＡ１’においては、オブジェクトが、MV1’(=0.5×MV1＝0.5×α)［pix/（5/120）sec］×4/120［sec］だけ移動している。

次に、5/120［sec]には、フレームＢ１が表示される。このフレームＢ１におけるオブジェクトの位置は、フレームＡ１におけるオブジェクトの基準位置（αの位置）と比較して、α［pix］だけ移動している。よって、その直前の4/120［sec］に表示されるフレームＡ１’、即ち、フレームＡ１の後４番目に補間されるフレームＡ１’と比較すると、オブジェクトが、α−MV1’(=0.5×MV1＝0.5×α)［pix/（5/120）sec］×4/120［sec］＝（3/5）×α［pix］だけ移動していることになる。

即ち、オブジェクトは、1/120［sec]から4/120[sec]までの間、1/120［sec］毎に、(1/10）×α［pix］だけ移動していた。即ち一定速度で移動していた。ところが、4/120［sec]から5/120[sec]になると、(3/5）×α［pix］だけ移動することになる。即ち、移動量が増加して、ジャダーが発生することになる。ただし、移動量は、図４の場合と比較すると、0.5倍（即ち、ゲインG＝0.5と同倍）に減少しており、その分、ジャダー発生程度も減少することになる。即ち、明るさ検出部１５により検出された明るさP1tにおいて、追従視特性を有するユーザの目にとって適した程度のジャダーが発生することになる。換言すると、映画固有の臨場感が損なわれず、かつ、ユーザの目に目立たない程度のジャダーが発生することになる。

その後の表示も、上述したオブジェクトの動きと基本的に同様の動きを伴う表示となっていく。即ち、オブジェクトは、5/120［sec]から9/120[sec]までの間、1/120［sec］毎に、(1/10）×α［pix］だけ移動してく。即ち一定速度で移動していく。そして、9/120［sec]から10/120[sec]になると、(3/5）×α［pix］だけ移動することになる。また、10/120［sec]から14/120[sec]までの間、1/120［sec］毎に、(1/10）×α［pix］だけ移動してく。即ち一定速度で移動していく。そして、14/120［sec]から15/120[sec]になると、(3/5）×α［pix］だけ移動することになる。以下、このような動きが繰り返されていく。

ただし、図示はしないが、明るさ検出部１５により検出された明るさP1が変化すると、その変化に伴い、ゲインGも変化する。よって、オブジェクトの移動量や、ジャダーの発生程度が、ゲインGの変化分だけ変化することになる。

換言すると、部屋が暗くなる等して、明るさ検出部１５により検出される明るさP1が一定以下になると、図６に示されるようにゲインG＝０となる。よって、移動ベクトル変換部１２によって変換された移動ベクトルG×MVは0となる。このような場合、コマ補間部１３のコマ補間処理により生成される出力信号T1は結局、上述した図４に示される信号となる。

一方、部屋が明るくなる等して、明るさ検出部１５により検出される明るさP1が一定以上になると、図６に示されるようにゲインG＝１となる。よって、移動ベクトル変換部１２によって変換された移動ベクトルG×MVは、変換前と同一の移動ベクトルMVとなる。このような場合、コマ補間部１３のコマ補間処理により生成される出力信号T1は結局、上述した図５に示される信号となる。

このように、明るさ検出部１５により検出された明るさP1に適した程度のジャダーが発生することが可能になる。即ち、その明るさP1において、映画固有の臨場感が損なわれず、かつ、ユーザの目に目立たない程度のジャダーを発生させることが可能になる。

ただし、映画固有の臨場感が損なわれず、かつ、ユーザの目に目立たない程度のジャダーとは、最終的には、各ユーザの主観によって決定されると考えられる。従って、各ユーザ毎に、所望のジャダーを発生させることができるように、図１の例では、ユーザ補正部１６が設けられている。即ち、ユーザ補正部１６からゲイン算出部１４に提供される補正量△Gを、ユーザは自在に可変させることができる。これにより、ゲインGも、ユーザの所望の補正量△Gにより可変し、その結果、ジャダーの発生量も、ユーザの所望の程度に自在に調整可能になるのである。

以上、フィルムが入力信号T0として与えられた場合の図１の例の画像処理装置の動作について説明した。

２，３プルダウン後フィルムが入力信号T0とし与えられた場合の図１の例の画像処理装置の動作は、図８乃至図１１に示される通りである。

即ち、図８は、入力信号T0としての２，３プルダウン後フィルムについての、オブジェクトの移動を示すタイミングチャートである。

図９は、部屋が暗くなる等してゲインG＝０となった場合、即ち、変換後の移動ベクトルMV1’，MV2’，MV3’が全て０である場合のコマ補間部１３によりコマ補間処理が実行された後の出力信号T1についての、オブジェクトの移動を示すタイミングチャートである。

図１０は、明るさ検出部１５により明るさP1tが検出されてゲインG＝0.5となった場合、即ち、変換後の移動ベクトルMV1’，MV2’，MV3’の移動量が全て変換前の移動ベクトルの0.5倍となった場合のコマ補間部１３によりコマ補間処理が実行された後の出力信号T1についての、オブジェクトの移動を示すタイミングチャートである。

図１１は、部屋が明るくなる等してゲインG＝１となった場合、即ち、変換後の移動ベクトルMV1’，MV2’，MV3’が元の移動ベクトルと同一である場合のコマ補間部１３によりコマ補間処理が実行された後の出力信号T1についての、オブジェクトの移動を示すタイミングチャートである。

図８乃至図１１と、図３，図４，図７，図５とを比較すると容易に次のことがわかる。即ち、２，３プルダウン後フィルムが入力信号T0とし与えられた場合の図１の例の画像処理装置の動作とは、結局、図３乃至図５，図７を用いて説明した動作、即ちフィルムが入力信号T0として与えられた場合の動作と基本的に同様である。基本的にと記述したのは、コマ変換前の入力信号T0のフレーム周期が異なるため、補間されるフレームの枚数が異なる等若干の差異があるからである。

以上説明したように、図１の例の画像処理装置は、上述した動作を実行することで、ユーザが映画素材等を実際に鑑賞する環境（例えば部屋の中）の明るさに応じて、即ち、人間の目が有する追従視特性に応じて、ジャダーの発生程度を適切に調整することができる。その結果、本来の映画素材の良さを引き出すことが可能になる。

ところで、上述した一連の処理（或いはそのうちの一部分の処理）は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。

この場合、図１の画像処理装置全体若しくはその一部分は、例えば、図１２に示されるようなコンピュータで構成することができる。

図１２において、CPU（Central Processing Unit）１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、ハードディスクなどより構成される記憶部１０８、および、モデム、ターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置との通信処理を行う。

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図１２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０２や、記憶部１０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。

また、上述した例では、説明の簡略上、移動量MVは、フレーム内の一方向例えば水平方向の動きとしたが、当然ながらそれ以外の方向の動きともなり得る。このような場合、即ち、移動量MVの移動方向が水平方向以外でも、画像処理装置は、移動量MVをベクトルとして取り扱うことで、上述した各種処理と基本的に同様の処理を実行できる。

本発明が適用される画像処理装置の機能的構成例を示すブロック図である。 入力信号の例を示すタイミングチャートである。 入力信号としてのフィルムについての、オブジェクトの移動を示すタイミングチャートである。 部屋が暗くなる等して変換後の移動ベクトルが全て０となった場合、図１の画像処理装置が、図３の入力信号に対してコマ補間処理を実行した結果得られる出力信号についての、オブジェクトの移動を示すタイミングチャートである。 部屋が明るくなる等して変換後の移動ベクトルが変換前の移動ベクトルと全て同一となった場合、図１の画像処理装置が、図３の入力信号に対してコマ補間処理を実行した結果得られる出力信号についての、オブジェクトの移動を示すタイミングチャートである。 図１のゲイン算出部が保有する関数の一例を示す図である。 部屋の明るさが図４と図５の間の明るさになる等して変換後の移動ベクトルの移動量が全て変換前の移動ベクトルの0.5倍となった場合、図１の画像処理装置が、図３の入力信号に対してコマ補間処理を実行した結果得られる出力信号についての、オブジェクトの移動を示すタイミングチャートである。 入力信号としての２，３プルダウン後フィルムについての、オブジェクトの移動を示すタイミングチャートである。 部屋が暗くなる等して変換後の移動ベクトルが全て０となった場合、図１の画像処理装置が、図８の入力信号に対してコマ補間処理を実行した結果得られる出力信号についての、オブジェクトの移動を示すタイミングチャートである。 部屋の明るさが図４と図５の間の明るさになる等して変換後の移動ベクトルの移動量が全て変換前の移動ベクトルの0.5倍となった場合、図１の画像処理装置が、図８の入力信号に対してコマ補間処理を実行した結果得られる出力信号についての、オブジェクトの移動を示すタイミングチャートである。 部屋が明るくなる等して変換後の移動ベクトルが変換前の移動ベクトルと全て同一となった場合、図１の画像処理装置が、図８の入力信号に対してコマ補間処理を実行した結果得られる出力信号についての、オブジェクトの移動を示すタイミングチャートである。 本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。

符号の説明

１１ 移動ベクトル算出部， １２ 移動ベクトル変換部， １３ コマ補間部， １４ ゲイン算出部， １５ 明るさ検出部， １６ ユーザ補正部， １０１ ＣＰＵ， １０２ ＲＯＭ， １０３ ＲＡＭ， １０８ 記憶部， １１１ リムーバブルメディア

Claims (5)

1. 第１の周期でフレームまたはフィールドの一方を表すコマが配置されて構成される動画像を入力動画像として、前記入力動画像に対して処理を施す画像処理装置において、
   第２の周期毎に、前記入力動画像に含まれるオブジェクトの移動ベクトルを算出する移動ベクトル算出手段と、
   前記移動ベクトル算出手段により算出された前記移動ベクトルに対して所定のゲインをかけることで、前記移動ベクトルを変換する移動ベクトル変換手段と、
   前記移動ベクトル変換手段による変換後の前記移動ベクトルに従って前記オブジェクトが移動していくように、前記入力動画像に対して、前記コマを変換または補間していくコマ補間処理を施すことで、第３の周期で前記コマが配置されて構成される出力動画像を生成するコマ補間手段と、
   前記出力動画像を視聴するユーザが存在する環境の明るさに応じて前記ゲインを算出し、前記移動ベクトル変換手段に提供するゲイン算出手段と
   を備える画像処理装置。
2. 前記ユーザが存在する環境の明るさを検出する明るさ検出手段をさらに備え、
   前記ゲイン算出手段は、前記明るさ検出手段により検出された明るさに応じて前記ゲインを算出する
   請求項１に記載の画像処理装置。
3. 前記ユーザの指示に基づき、前記ゲイン算出手段により算出される前記ゲインを補正する補正手段をさらに備える
   請求項１に記載の画像処理装置。
4. 第１の周期でフレームまたはフィールドの一方を表すコマが配置されて構成される動画像を入力動画像として、前記入力動画像に対して処理を施す画像処理装置の画像処理方法において、
   第２の周期毎に、前記入力動画像に含まれるオブジェクトの移動ベクトルを算出し、
   算出された前記移動ベクトルに対して所定のゲインをかけることで、前記移動ベクトルを変換し、
   変換後の前記移動ベクトルに従って前記オブジェクトが移動していくように、前記入力動画像に対して、前記コマを変換または補間していくコマ補間処理を施すことで、第３の周期で前記コマが配置されて構成される出力動画像を生成する
   ステップを含み、
   さらに、
   前記出力動画像を視聴するユーザが存在する環境の明るさに応じて前記ゲインを算出するステップを含む
   画像処理方法。
5. 第１の周期でフレームまたはフィールドの一方を表すコマが配置されて構成される動画像を入力動画像として、前記入力動画像に対して処理を施すコンピュータに、
   第２の周期毎に、前記入力動画像に含まれるオブジェクトの移動ベクトルを算出し、
   算出された前記移動ベクトルに対して所定のゲインをかけることで、前記移動ベクトルを変換し、
   変換後の前記移動ベクトルに従って前記オブジェクトが移動していくように、前記入力動画像に対して、前記コマを変換または補間していくコマ補間処理を施すことで、第３の周期で前記コマが配置されて構成される出力動画像を生成する
   ステップを実行させ、
   さらに、
   前記出力動画像を視聴するユーザが存在する環境の明るさに応じて前記ゲインを算出するステップを実行させる
   プログラム。

Images