JP5415050B2 - 動画像再生装置 - Google Patents

Description

本発明は、動画像を補正して再生する動画像再生装置に関する。

近年普及した地上波デジタル放送（地デジ；ＩＳＤＢ−Ｔ）に代表されるデジタル放送技術により、テレビ受信機で受信した動画像（映像）を動的に補正して動画像を提供する技術が容易に実現できるようになった。このような従来技術としては、動画像の画質をユーザの好みに補正する技術（例えば特許文献１参照）が提案されている。また、被写体をデジタルデータとして取得するデジタルカメラは、撮像した画像の画質をユーザの好みに補正することができる。近年の携帯電話機等の電子機器は、機能が多様化し、地上波デジタル放送を受信し、動画像を再生する機能およびデジタルカメラの機能を有するものがある。
特開２００４−７２１５号公報

前記電子機器において、ユーザの画質の好みは動画像と静止画像で変わらないにも関わらず、動画像と撮影した画像の補正を別々に行わなければならなかった。
本発明は、このような問題点に鑑みてなされたものであり、本発明の目的は、テレビの画質調整のためだけに煩雑な操作を行うことなく、容易にユーザの好みの画質に調整できる動画像再生装置を提供することにある。

また、本発明の動画像再生装置は、動画像を表示する表示部と、被写体を撮像する撮像部と、該撮像部によって撮像された撮像画像から該撮像画像の特徴を表す画像情報を取得し、該取得した画像情報に基づき前記表示部に表示する動画像の補正を行うように制御する制御部とを備え、前記制御部は、前記撮像画像において、第１所定の階調以上の画素が所定数以上ある場合、前記撮像画像の画像情報に基づいて、前記動画像の補正を行わないように制御することを特徴とする。

また、本発明の動画像再生装置は、動画像を表示する表示部と、被写体を撮像する撮像部と、該撮像部によって撮像された撮像画像から該撮像画像の特徴を表す画像情報を取得し、該取得した画像情報に基づき前記表示部に表示する動画像の補正を行うように制御する制御部とを備え、前記制御部は、前記撮像画像において、第２所定の階調以下の画素が所定数以上ある場合、前記撮像画像の画像情報に基づいて、前記動画像の補正を行わないように制御することを特徴とする。

また、本発明の動画像再生装置は、動画像を表示する表示部と、被写体を撮像する撮像部と、該撮像部によって撮像された撮像画像から該撮像画像の特徴を表す画像情報を取得し、該取得した画像情報に基づき前記表示部に表示する動画像の補正を行うように制御する制御部とを備え、前記制御部は、前記撮像部によって撮像された撮像画像の微分画像を求め、前記微分画像において、所定の微分値以下である画素が所定数以上ある場合、前記撮像画像の画像情報に基づいて、前記動画像の補正を行わないように制御することを特徴とする。

本発明は、カメラで画像を撮影するだけで、テレビの画質補正が行えるため、画質補正が容易に行える。
また、カメラで撮影するたびに画質を解析してユーザの嗜好を解析するので、ユーザは普段から自分が好きな場面を取り溜めていけば、自動的にテレビの映像の画質がユーザの好みになる。

本発明の実施の形態について図面を参照して説明する。
図１は、本発明の動画像再生装置の構成を例示する図である。本発明の動画像再生装置１００は、例えば、撮像部（カメラ）と、撮像画像の補正装置と、動画像コンテンツ（デジタル放送コンテンツ）の再生装置とが一体となって提供されている携帯電話端末として構成されており、アンテナ１１０、チューナ部１２０、制御部１３０、表示部（ディスプレイ）１４０、撮像部（カメラ）１５０、記憶部１６０、操作部１７０等を備えている。制御部１３０は、復調部１８０、多重分離部１９０、動画像復号部２００、動画像補正部２１０、画像情報取得部２２０を備えている。

アンテナ１１０は、放送波を受信し、チューナ部１２０に伝達する。
チューナ部１２０は、放送波をデジタル信号に変換して、復調部１８０に伝達する。

制御部１３０は、（１）撮像部１５０によって撮像された撮像画像から撮像画像の特徴を表す画像情報（画質パラメータ）を取得し、取得した画像情報に基づき表示部１４０に表示する動画像の補正を行うように制御し、（２）撮像画像において、第１所定の階調以上の画素が所定数以上ある場合、撮像画像の画像情報に基づいて、動画像の補正を行わないように制御し、（３）撮像画像において、第２所定の階調以下の画素が所定数以上ある場合、撮像画像の画像情報に基づいて、動画像の補正を行わないように制御し、（４）撮像部１５０によって撮像された撮像画像の微分情報を求め、微分画像において、所定の微分値以下である画素が所定数以上ある場合、撮像画像の画像情報に基づいて、動画像の補正を行わないように制御し、（５）撮像部１５０によって撮像され、記憶部１６０に記憶された複数の撮像画像に基づいて、動画像の補正を行うように制御し、（６）表示部１４０に動画像が表示されている際に、撮像部１５０によって撮像が行われた場合、記憶部１６０に記憶されている撮像画像より優先的に撮像部１５０によって撮像された撮像画像から画像情報を取得して、取得した画像情報に基づいて動画像の補正を行うように制御し、（７）撮像部１５０によって撮像された撮像画像毎に、撮像画像の画像情報に基づいて表示部１４０に表示されている動画像の補正を行うか否か選択し、動画像の補正を行うように選択された撮像画像の画像情報に基づいて、動画像の補正を行うように制御する等の、様々な演算処理を行う。

表示部１４０は、制御部１３０によって補正された動画像や文字を出力（表示）する。
撮像部（カメラ）１５０は、被写体の撮像画像（静止画像）を撮像する。
記憶部１６０は、撮像部１５０によって撮像された撮像画像や、動画像補正部２１０で生成された画像情報（画質パラメータ）を記憶する。
操作部１７０は、ユーザ操作に応じた様々な指示を制御部１３０、表示部１４０および撮像部１５０に入力する。

復調部１８０は、デジタル信号をパケットに復調して多重分離部１９０に伝達する。
多重分離部１９０は、多重化されたパケットを、パケットに含まれるＩＤを参照して音声パケットや動画像パケットなど種別ごとに分離する。
動画像復号部２００は、動画像パケットから動画像を復元する。
画像情報取得部２２０は、撮像部１５０で撮影した画像から画像情報を取得する。
動画像補正部２１０は、画像情報取得部２２０で取得した画像情報（画質パラメータ）に基づき動画像復号部２００で復号された動画像を自動的に補正する。

なお、上記図１に示す構成は、ＩＳＤＢ−Ｔ方式により送信されるワンセグ放送の受信機とする場合を想定したものであるが、ＭｅｄｉａＦＬＯやＤＶＢ−Ｈの受信機とする場合であっても本発明における動画像再生装置の実装要求を満たすことができる。また、各機能を実現できる代替手段がある場合にはそれを用いてもよく、また、個々の機能を端末の外部に設けるようにしても良い。また、本発明の動画像再生装置は、放送コンテンツに限らず、ＩＰストリーミング配信される動画サービス等にも適用可能である。さらに、本発明の動画像再生装置および動画像再生方法は動画像に関するものであるため、音声や字幕など動画像以外の再生のための構成要素は省略しているが、実際の製品においては音声や字幕の再生に必要な構成要素も実装されているものとする。

図２は、テレビアプリケーションを起動して放送を視聴したときの本発明の動画像再生装置の動作を示すフローチャートである。なお、本フローチャートは映像に注目して説明する。
まず、アンテナ１１０とチューナ部１２０により放送波を受信してデジタル信号に変換し、復調部１８０でデジタル信号をパケットに変換し（Ｓ２００）、変換されたパケットから動画像を復元する（Ｓ２０１）。次に、自動画質補正の設定があるか否かを判定する（Ｓ２０２）。自動画質補正の設定がある場合は、動画像補正部２１０で自動画質補正処理を行う（Ｓ２０３）。なお、自動画質補正処理は図３で説明する。画質補正を行った後、動画像を表示部１４０に出力する（Ｓ２０４）。また、自動画質補正の設定がない場合は、画質補正を行うことなく、動画像を表示部１４０に出力する（Ｓ２０４）。これらの処理はテレビアプリケーションを終了するまで繰り返す（Ｓ２０５）。

図３は、自動画質補正処理の手順を示すフローチャートである。
はじめに、初回の処理の場合、または表示部１４０に動画像が表示されている際に撮像部１５０によって撮像が行われて画質パラメータが変更された場合であるか否かを判定する（Ｓ３００）。
初回の処理の場合または画質パラメータが変更された場合（ステップＳ３００でＹＥＳの場合）であれば、記憶部１６０または画像情報取得部２２０から画質パラメータの読み込み処理を行う（Ｓ３０１）。ここで、画質パラメータは、輝度、彩度、各色のカラーバランス、輝度の微分値などを指すが、これらに限るものではない。
画質パラメータの読み込み処理の後、およびステップＳ３００においてＮｏの場合には、記憶部１６０または画像情報取得部２２０から読み込んだ画質パラメータがあるか否かを判定する（Ｓ３０２）。画質パラメータがあれば、画質パラメータを使用して画質補正を行う（Ｓ３０３）。
ここで、表示部１４０に動画像が表示されている際に撮像が行われた場合には、記憶部１６０に記憶されている撮像画像よりも優先的に撮像部１５０によって撮像された撮像画像から取得した画質パラメータを使用して画質補正を行う。動画像が表示されている際に撮像された撮像画像から画像情報取得部２２０により取得された画質パラメータのみを用いて画質補正を行っても良いし、当該画質パラメータを記憶部１６０に記憶されている画質パラメータに対して比重を重くして、新たな画質パラメータを算出し、当該算出された画質パラメータを用いて画質補正を行っても良い。
ステップＳ３０２において、もし、画質パラメータがなければ何もせず終了する。
。

図４は、画質パラメータ作成の手順を示すフローチャートであり、カメラで撮影する毎に実行される。
はじめに、撮像部１５０で撮像された画像から、赤（Ｒ）、緑（Ｇ）および青（Ｂ）のヒストグラムを生成する（Ｓ４００）。作成されたヒストグラムで、所定の階調以上の画素が所定数以上ある、または所定の階調以下の画素が所定数以上あるか否かを判定する（Ｓ４０１）。所定の階調以上の画素が所定数以上ある、または所定の階調以下の画素が所定数以上ある場合（Ｙｅｓの場合）は、極端に明るいまたは極端に暗い場合であるので、何もせず終了する。そうでない場合（Ｎｏの場合）は、さらに、輝度の微分値を求めてエッジを抽出し（Ｓ４０２）、エッジが極端に少ないかを判断する（Ｓ４０３）。エッジが極端に少ない場合（Ｙｅｓの場合）は、輪郭がぼけている場合であるので、何もせず終了する。

エッジは、式（１）により、ＲＧＢ形式のデータを、輝度（Ｙ）色差（Ｃｒ、Ｃｂ）形式に変換し、変換して得られた輝度（Ｙ）を微分して抽出する。

ステップＳ４０３でＮｏの場合は、記憶部１６０から画質パラメータを読み込み（Ｓ４０４）、画質パラメータを計算する（Ｓ４０５）。この計算方法は前回の画質パラメータがあれば、それらを利用して再計算し、初回であれば、はじめて撮像された画像から抽出されたパラメータをそのまま使用する。
例えば、撮影された画像が、初回であれば、Ｒ、Ｇ、Ｂの画素値の平均値を求め、Ｒ：１５０、Ｇ：１２８、Ｂ：１２８が得られたとすると、最も平均値が高い赤（Ｒ）を強調するためにＲとの差分の平均（（Ｒ−Ｇ）＋（Ｒ−Ｂ））／２＝２２を計算して、画質パラメータ２２を得る。

図３のステップＳ３０３の画質補正は、この画質パラメータ２２を用いて、次のように行われる。表示部１４０に表示される動画像からＲ、ＧおよびＢのヒストグラムを生成し、Ｒ、Ｇ、Ｂの画素値の平均値を求めて、例えば、Ｒ：１００、Ｇ：１５０、Ｂ：１２０が得られたとすると、撮像部１５０で撮影された画像から得られた２２（画質パラメータ）を、Ｒの平均値１００に加えて、Ｒ：１２２、Ｇ：１５０、Ｂ：１２０として、赤（Ｒ）を強調する画質補正を行う。

ステップＳ４０５において、前回の画質パラメータがあり、それらを利用して再計算する場合は、前回の画質パラメータが２２であり、今回の撮像された画像から得られた画質パラメータが２８であるとすると、前回と今回の画質パラメータの平均値を求めて（２２＋２８）／２＝２５より、画質パラメータ２５を得る。
最後に、計算された画質パラメータを記憶部１６０に保存し（Ｓ４０６）、終了する。

なお、画質パラメータの算出方法は、上述した実施の形態に限定されず、算出した画質パラメータに所定の係数を掛ける等をして、画質パラメータの調整を行っても良い。
また、上述した実施の形態では、撮像部１５０によって撮像された場合、必ず動画像の補正を行っているが、撮像部１５０によって撮像された撮像画像毎に、動画像の補正を行うか否かをユーザが選択し、動画像の補正を行うように選択された撮像画像の画像情報に基づいて、動画像の補正を行うようにしても良い。
また、上述した実施の形態では、Ｓ４０１とＳ４０３を行った後に、画質パラメータの読み込み等を行っているが、これに限定されず、Ｓ４０１または／およびＳ４０３の判定を行わなくても良い。

図５および図６は、画像の明暗を説明するヒストグラムである。横軸が階調、縦軸が度数である。図５のように低い階調に集中する画像は、画像が極端に暗いため、たとえヒストグラムを伸張しても画質補正のパラメータを作成する画像には適していない。同様に、図６のように高い階調に集中する画像は、白とびなどで画像が極端に明るいために画質補正のパラメータを作成する画像には適していない。

図７および図８は、エッジ量を説明するための図である。横軸が輝度の１次微分の絶対値、縦軸が度数である。図７のように低い微分値に集中したり、高い微分値がない画像は、エッジが少ないため、ピンボケ画像や、暗闇で真っ暗な画像であり、画質補正のパラメータを作成する画像には適していない。逆に、図８のように高い微分値が存在する画像は、エッジが多く含まれている可能性があるため、画質補正のパラメータを作成する画像に適している。なお、本例では１次微分を例に挙げたが、２次微分であっても良いし、微分したときに現れるノイズを除去したものであっても良い。

上述したように、本発明は、カメラで画像を撮影するだけで、テレビの画質補正が行えるため、画質補正が容易に行える。
また、カメラで撮影するたびに画質を解析してユーザの嗜好を解析するので、ユーザは普段から自分が好きな場面を取り溜めていけば、自動的にテレビの映像の画質がユーザの好みになる。
また、本発明は、カメラで撮影した画像が失敗画像の場合は、画質を解析しないので、画像が白とびやピンボケなどになってっも画像情報に反映しない。したがって、放送の画質が極端に明るくなったり、ぼけたりすることがない。

本発明の動画像再生装置の構成を例示する図である。 テレビアプリケーションを起動して放送を視聴したときの本発明の放送受信端末の動作を示すフローチャートである。 自動画質補正処理の手順を示すフローチャートである。 画質パラメータ作成の手順を示すフローチャートである。 画像の明暗を説明するヒストグラムである。 画像の明暗を説明するヒストグラムである。 エッジ量を説明するための図である。 エッジ量を説明するための図である。

符号の説明

１００ 動画像再生装置
１１０ アンテナ
１２０ チューナー部
１３０ 制御部
１４０ 表示部
１５０ 撮像部
１６０ 記憶部
１７０ 操作部
１８０ 復調部
１９０ 多重分離部
２００ 動画像復号部
２１０ 動画像補正部
２２０ 画像情報取得部

Claims (3)

1. 動画像を表示する表示部と、
   被写体を撮像する撮像部と、
   該撮像部によって撮像された撮像画像から該撮像画像の特徴を表す画像情報を取得し、該取得した画像情報に基づき前記表示部に表示する動画像の補正を行うように制御する制御部と、を備え、
   前記制御部は、前記撮像画像において、第１所定の階調以上の画素が所定数以上ある場合、前記撮像画像の画像情報に基づいて、前記動画像の補正を行わないように制御する、動画像再生装置。
2. 動画像を表示する表示部と、
   被写体を撮像する撮像部と、
   該撮像部によって撮像された撮像画像から該撮像画像の特徴を表す画像情報を取得し、該取得した画像情報に基づき前記表示部に表示する動画像の補正を行うように制御する制御部と、を備え、
   前記制御部は、前記撮像画像において、第２所定の階調以下の画素が所定数以上ある場合、前記撮像画像の画像情報に基づいて、前記動画像の補正を行わないように制御する、動画像再生装置。
3. 動画像を表示する表示部と、
   被写体を撮像する撮像部と、
   該撮像部によって撮像された撮像画像から該撮像画像の特徴を表す画像情報を取得し、該取得した画像情報に基づき前記表示部に表示する動画像の補正を行うように制御する制御部と、を備え、
   前記制御部は、前記撮像部によって撮像された撮像画像の微分画像を求め、前記微分画像において、所定の微分値以下である画素が所定数以上ある場合、前記撮像画像の画像情報に基づいて、前記動画像の補正を行わないように制御する、動画像再生装置。

Images