JP5556215B2 - 携帯機向けカメラを用いた表示部の画質調整方法、その装置及びそのプログラム - Google Patents

Description

本発明は携帯電話機に代表される端末機器における表示部の画質調整に関する。

昨今、携帯電話機のメモリ容量も大きくなり、いろいろなデータを持ち歩き、移動中に鑑賞するような利用シーンも増えてきている。以前にも増していろいろな環境でユーザは携帯電話機を使用し、そこでのＬＣＤ（Liquid Crystal Display）画質の向上に対する要求も更に増えるものと思われる。しかしながら、ユーザが使用環境によってＬＣＤ画質調整を行うのは手間がかかり、多くの機能があるため操作が複雑になってきている携帯電話機では調整が難しいユーザもいる事が考えられる。そこでユーザにストレスなく自動で使用環境に合せた各種調整をする事が携帯電話機には求められている。

他方、携帯電話機では、ＴＶ電話用の正面カメラ、ＬＣＤの電力低減のための照度センサの搭載がほぼ標準的になってきている。

そこで上述したような各種調整を行うために、照度センサを用いてＬＣＤの輝度調整を行い、ユーザには支障のない様に省電力化を図るという技術が存在する。例えば（特許文献１参照）。上述したような照度センサを用いることによりＬＣＤの輝度調整が実現できる。

特開２００９−１０９８７６号公報

しかしながら、輝度の調整だけでは必ずしもユーザの満足いく画質が提供できるとは限らない。この点を、家庭用ＴＶと比較することにより説明する。

昨今の家庭用ＴＶは、各種機能が充実しユーザが画質設定を行い、より高画質な視聴が可能な事をうりとしている製品が多く発売され、各種センサや時間に合せて、画質を最適な状態に自動で調整するものもある。もっとも、サイズやコストの制約が非常に高いモバイル製品では調整のためにセンサなどのハードウェアを画質調整だけのために追加する事は困難である。更にハードウェアの追加はモバイル製品として重要な消費電力（使用時間）への影響も懸念されるため、家庭用ＴＶと同様の方法でＬＣＤ画質調整をする事は困難である。

しかし、画質調整だけのためにハードウェアを追加せずとも、モバイル製品の中でも特に携帯電話機は既に別の用途として各種センサや機能が標準として搭載されている。

そこで、本発明は、搭載されている各種センサなどのハードウェア資源を有効に利用でき、サイズやコストの増大なく、消費電力の増大を抑えた制御をすることが可能な、携帯電話機向けカメラを用いた表示部の画質調整方法、その装置及びそのプログラムを提供することを目的とする。

本発明の第１の観点によれば、撮像するためのカメラと、周辺の照度を測定する照度センサと、表示部とを有する端末装置において、前記照度センサが測定した照度に基づいて前記表示部の表示を調整する第１の画質調整をし、前記カメラがオートホワイトバランスの調整を行った際に取得した撮影対象の色温度情報に基づいて前記表示部の表示を調整する第２の画質調整をすると共に、起動時又はウェイクアップ時に前記第１の画質調整及び前記第２の画質調整を行った後にカメラをＯＦＦさせることを特徴とする端末装置が提供される。

本発明の第２の観点によれば、撮像するためのカメラと、周辺の照度を測定する照度センサと、表示部とを有する端末が行う画質調整方法において、前記照度センサが測定した照度に基づいて前記表示部の表示を調整する第１の画質調整をし、前記カメラがオートホワイトバランスの調整を行った際に取得した撮影対象の色温度情報に基づいて前記表示部の表示を調整する第２の画質調整をすると共に、起動時又はウェイクアップ時に前記第１の画質調整及び前記第２の画質調整を行った後にカメラをＯＦＦさせることを特徴とする画質調整方法が提供される。

本発明の第３の観点によれば、撮像するためのカメラと、周辺の照度を測定する照度センサと、表示部とを有するコンピュータに組み込まれる画質調整プログラムにおいて、前記照度センサが測定した照度に基づいて前記表示部の表示を調整する第１の画質調整をし、前記カメラがオートホワイトバランスの調整を行った際に取得した撮影対象の色温度情報に基づいて前記表示部の表示を調整する第２の画質調整をすると共に、起動時又はウェイクアップ時に前記第１の画質調整及び前記第２の画質調整を行った後にカメラをＯＦＦさせる端末装置として前記コンピュータを機能させることを特徴とする画質調整プログラムが提供される。

本発明によれば、搭載されている各種センサなどのハードウェア資源を有効に利用し、且つ、各種センサを必要以上の時間は起動させないことから、サイズやコストの増大なく、消費電力の増大を抑えた画質調整をすることが可能となる。

本発明の実施形態の基本的構成を表すブロック図である。 本発明の実施形態の基本的構成の実装例を表す図である。 本発明の実施形態の基本的動作を表すフローチャート（１／２）である。 本発明の実施形態の基本的動作を表すフローチャート（２／２）である。 本発明の実施形態の基本的動作を表すシーケンス図である。 本発明の実施形態の基本的構成の実装例を表す図である。 本発明の実施形態の基本的構成の実装例を表す図である。

まず、本発明の実施形態の概略を説明する。本発明の実施形態は照度センサやカメラなど各種デバイス・機能を内蔵している携帯電話機の特徴を生かしたものである。本実施形態はハードウェアの変更はなく、システム変更のみを行う事で、各センサで検出されるユーザの周辺環境に合せてＬＣＤ画質の調整を行い、省電力でかつユーザに高いＬＣＤ画質を提供できる。

昨今の携帯電話機では、ＴＶ電話用の正面カメラ、ＬＣＤの電力低減のための照度センサの搭載がほぼ標準的になってきている。そして、照度センサを用いてＬＣＤの輝度調整を行い、ユーザには支障のない様に省電力化を図っている。この照度センサの検出値に正面カメラの動作を連動させ、カメラのオートホワイトバランス（以降「ＡＷＢ」と呼ぶ。）の機能を生かし、ユーザ周辺環境の色温度を特定して、ＬＣＤの画質調整にフィードバックをかける事で、環境に合せたよりユーザが高画質と感じるＬＣＤ画質調整を実現する。

以上が本願発明の実施形態の概略である。

次に、本発明の実施形態について図面を用いて詳細に説明する。

図１を参照すると本実施形態である携帯電話機１００は、メインカメラ１０１、サブＬＣＤ１０２、メインＬＣＤ１０３、照度センサ１０４、サブカメラ１０５及び演算処理部１０６を有している、
また、図２はクラムシェルタイプ（「折り畳み型」と呼ぶこともある。）の携帯電話機に、本実施形態を実装することを想定した場合の構成図である。なお、後述するが本実施形態を適用可能なのはクラムシェルタイプの携帯電話機に限定されるものではない。図２は、あくまで一例を示すものである。

メインカメラ１０１は、主として使われるカメラであり、昨今では数メガピクセル以上の高画素なカメラとなっているのが通常である。高い画質性能をもつが一方で消費電流は大きい。

サブＬＣＤ１０２は、補助的に用いられる表示デバイスであり、クラムシェルタイプなどの未使用時には筐体を閉じるタイプの形状に搭載されているもので、サイズは小さく解像度も低いものが一般的に使われている。

メインＬＣＤ１０３は、通常の携帯電話機の各種機能使用時に使われる表示デバイスである。メインＬＣＤ１０３として昨今では640x480ピクセルの画面解像度程度のものが多い。なお、一般的に640x480ピクセルの画面解像度をＶＧＡ（Video Graphics Array）と呼ぶことがある。

照度センサ１０４は、照度を測定するためのセンサである。照度センサ１０４は、メインＬＣＤ面側のユーザ環境の照度を測定し、メインＬＣＤの省電力化のため、暗い環境ではＬＣＤの輝度を低く、明るい環境ではＬＣＤの輝度を高くするなど環境にあったＬＣＤ輝度の調整のために使われる。

サブカメラ１０５は、通常のＴＶ電話や自分撮りの撮影用途として使われるカメラである。昨今ではＶＧＡクラスの画素数のものが一般的である。

また、図１は携帯電話機の内部の簡単なブロック図であり、各デバイス（メインカメラ１０１、サブＬＣＤ１０２、メインＬＣＤ１０３、照度センサ１０４及びサブカメラ１０５）を演算処理部１０６で制御している事を示している。演算処理部１０６はＣＰＵ（Central Processing Unit）に代表される演算処理のためのプロセッサである。そして、このプロセッサはソフトウェアと協働することにより演算処理部１０６として動作する。

なお、これら各デバイスはそれぞれいくつもの部材から構成され、部材毎に別々で実装されている場合など複雑な部分もあるが、ここでは簡略化のため１つのデバイスとしてまとめた形式としている。

なお、カメラデバイス（メインカメラ１０１及びサブカメラ１０５）はＡＷＢ機能を搭載している。そして、カメラデバイスはＡＷＢ調整の際に調整した撮影環境の色温度情報を出力できる機能を有しているものとする。

次に、図３−１及び図３−２のフローチャート並びに図４のシーケンス図を用いて本実施形態の動作について詳細に説明する。

図３−１及び図３−２のフローチャート並びに図４のシーケンス図は、ユーザが使用している周辺環境や携帯電話機の状態に対し、演算処理部１０６、メインＬＣＤ１０３、照度センサ１０４、サブカメラ１０５、それぞれの動作を示したものである。

最初に、図３−１を参照して、起動時または着信やその他用途で携帯電話機を開いたり、キーを押したりしてＷａｋｅ ｕｐ（ウェイクアップ）される場合について説明する。

まず、各デバイスが起動またはＷａｋｅ ｕｐする（ステップＳ１１）そして、照度センサ１０４がメインＬＣＤ１０３側環境の照度を測定する（ステップＳ１２）。

次に、演算処理部１０６は照度センサ１０４の測定結果に合せてメインＬＣＤ１０３の輝度調整を行う（ステップＳ１３）。ここまでは現在の一般的な携帯電話機のメインＬＣＤ１０３制御である。

本実施形態では一般的な携帯電話機とは異なり、ステップＳ１１において同時にサブカメラ１０５も起動させている。そして、サブカメラ１０５はメインＬＣＤ１０３側の画像を取得しＡＷＢ調整を行う（ステップＳ１４）。また、このときサブカメラ１０５のデバイス内部はＡＷＢ調整を行った際に調整目標とした撮影対象の色温度情報を保持する（ステップＳ１５）。

演算処理部１０６はこのサブカメラ１０５が保持している色温度情報の読出しを行う（ステップＳ１６）。

一方、サブカメラ１０５は一般的に消費電流の多いデバイスであるため、起動したままでは携帯電話機の使用時間などに大きな影響を与える。そのため、使用環境に大きな変化があった事を照度センサ１０４から検知し、メインＬＣＤ１０３のホワイトバランス（以降「ＷＢ」と呼ぶ。）再調整が必要なときだけカメラ１０５を起動し、ＡＷＢ調整の色温度情報を取得する事が望ましいと考える。よって、本実施形態では演算処理部１０６が色温度情報の読み出しを行った後にサブカメラ１０５をＯＦＦする（ステップＳ１７）。

そして、演算処理部１０６はメインＬＣＤ１０３側環境の色温度（周辺の主な光源）を判定し、周辺環境に合せてユーザに見やすいようなメインＬＣＤ１０３のＷＢ調整を行う（ステップＳ１８）。ここでＷＢ調整の細かさは任意に設定することができる。しかしながら、ＷＢ調整はあまり細かい設定にするとメインＬＣＤ１０３の変化が目に付き逆効果としてユーザを不快にさせてしまう可能性がある。よって、色温度の低い白熱灯などの環境なのか、蛍光灯下なのか、屋外なのか、屋外の場合晴天か、曇りか、程度の数種類の場合分けでそれぞれのＷＢ調整値を持って、メインＬＣＤ１０３調整することがよいと考えられる。

続いて図３−２を用いてステップＳ１８後の動作について説明する。

ステップＳ１８後の動作の特徴は以下のようなものである。この点について説明する。通常、環境が変わりメインＬＣＤ１０３のＷＢ調整が必要な場合、輝度の大きな変化も起きることが殆どであると考えられるため、環境変化の検知方法として照度センサ１０４の測定結果をトリガーとする。すなわち、照度センサ１０４の測定結果とカメラ１０５の起動を連動させた点が本実施形態の特徴である。

ステップＳ１８においてメインＬＣＤ１０３のＷＢ調整を行った後は、周辺環境の照度変化が大きいか否かを判定する（ステップＳ１９）。なお、大きいか否かの判定基準であるが、これは携帯電話機の各デバイスの能力等を考慮した上で任意の基準を採用することが可能である。

ステップＳ１９の判定の結果、周辺環境の小さな照度変化が検出されたとする（ステップＳ１９においてＮｏ）。

この場合、環境として照度の大きな変化がないため、周辺環境の光源（ＷＢ）は変化もなく、メインＬＣＤ１０３のＷＢ調整も不要な条件である。そこで、照度センサ１０４の測定結果をもとにしたメインＬＣＤ１０３の輝度調整のみを行う（ステップＳ２０）。

次に、大きな周辺環境の照度変化時について説明する。周辺環境の光源（ＷＢ）が変化したと考えられる照度の変化量を演算処理部１０６側でデータとして保持し、その閾値（変化量）を超えた場合に（ステップＳ１９においてＹｅｓ）、サブカメラ１０５を再起動する（ステップＳ２１）。その後、ステップＳ１４〜ステップＳ１７と同様にＡＷＢ調整を行い、演算処理部１０６はこのＡＷＢ調整の色温度情報を再度取得にて、その色温度に合せたＬＣＤ１０３のＷＢ調整を行う（ステップＳ２２〜２５）。その後、ステップＳ１８と同様にサブカメラ１０５の消費電流の多さに鑑みてサブカメラ１０５をＯＦＦする（ステップＳ２６）。

なお、図３−１及び図３−２において、照度センサ１０４による照度測定は継続している。この点について説明するため、上述の動作をシーケンス図として示すのが図４である。図４で（１）と表記されている部分の動作が図３−１に示すステップＳ１１からステップＳ１８に相当する動作である。（２）と表記されている部分の動作が図３−２に示すステップＳ１９においてＮＯ、ステップＳ２０に相当する動作である。また（３）と表記されている部分の動作が図３−２に示すステップＳ１９においてＹＥＳ、ステップＳ２１〜ステップＳ２６に相当する動作である。

上述したような動作をすることにより、本実施形態は、周辺環境の変化によって、消費電力の増大を抑えつつ、周辺環境にあったＬＣＤ調整を行う事ができユーザに最適な画質を提供できる。

なお、カメラとＬＣＤが搭載されている製品としてデジタルスチルカメラやカムコーダなどもあるが、撮影方向とＬＣＤ方向が逆のため、必ずしもユーザ使用環境と同じ使用環境（ユーザがいる環境の光源判定）ができるわけではない。この点に鑑みてＬＣＤ側に照度センサとカメラが搭載されている携帯電話機の特徴をいかしているのが本実施形態の特徴である。

次に本発明の他の実施形態について説明する。

まず、これまでの説明ではあくまでメインＬＣＤのＷＢ調整を前提とした内容としていたが、サブＬＣＤとメインカメラの組合せでも同様の機能を実現する事は可能である。また、本実施形態は、照度センサ、カメラが搭載されており、それらのデバイスの実装の方向が本発明に最適な携帯電話機の特徴を生かしたものである。しかし、本実施形態は類似したハード構成の製品であれば、携帯電話機に限らず適用できる。すなわち、上述した実施形態では、携帯電話機を例に取り説明したが、本実施形態はＰＨＳ（Personal Handy-phone System）に準拠した端末や、カメラを搭載した携帯型のゲーム機等多くの端末に実装可能である。また、ＬＣＤ以外の方式の表示部についても適用可能である。更に、携帯電話機に適用する場合も図２に示したクラムシェルタイプだけではなく、図５に示すストレートタイプや、図６に示すスライドタイプに適用させるようにしてもよい。

また、最近の携帯電話機のカメラは撮影シーンを識別する機能を有しているものもある。今後識別するシーンが増えた場合は、カメラのＡＷＢ情報だけではなく、シーン識別した結果からそのシーンに最適なＬＣＤ画質調整を行う事も可能と考える。例えば、メインＬＣＤ側に人が２人以上いる事を識別し、一緒にＬＣＤ画面を見たいという事を検知し、覗き見防止機能をＯＮにしていれば自動でＯＦＦにするなどの内容が考えられる。

以上説明した本発明の実施形態は、以下に示すような多くの効果を奏する。

第１の効果は既存のハード構成でシステム変更を行うだけで、ユーザに最適な調整をしたＬＣＤ画質を提供できることである。

その理由は、照度センサ、カメラなどが搭載されている携帯電話機等の特徴を生かして、ユーザの使用環境に合せたＬＣＤのＷＢ調整を自動で行うからである。

第２の効果は消費電力の増大を抑えつつ、最適な調整のＬＣＤ画質を提供できることである。

その理由は、照度センサでユーザ使用環境の変化を検知し、使用環境の変化（光源の変化）があった場合のみカメラを起動させＡＷＢ調整から使用環境の光源判定を行うからである。

なお、本発明の実施形態である携帯電話機向けカメラを用いた表示部の画質調整装置は、ハードウェアにより実現することもできるが、コンピュータをその携帯電話機向けカメラを用いた表示部の画質調整装置として機能させるためのプログラムをコンピュータがコンピュータ読み取り可能な記録媒体から読み込んで実行することによっても実現することができる。

また、本発明の実施形態による携帯電話機向けカメラを用いた表示部の画質調整方法は、ハードウェアにより実現することもできるが、コンピュータにその方法を実行させるためのプログラムをコンピュータがコンピュータ読み取り可能な記録媒体から読み込んで実行することによっても実現することができる。

また、上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１） 撮像するためのカメラと、周辺の照度を測定する照度センサと、表示部とを有する端末が行う画質調整方法において、
前記照度センサが測定した照度に基づいて前記表示部の表示を調整する第１の画質調整をし、前記カメラがオートホワイトバランスの調整を行った際に取得した撮影対象の色温度情報に基づいて前記表示部の表示を調整する第２の画質調整をすることを特徴とする画質調整方法。

（付記２） 付記１に記載の画質調整方法において、
前記第１の画質調整において調整するのは、前記表示部の輝度であり、前記第２の画質調整において調整するのは、前記表示部のホワイトバランスであることを特徴とする画質調整方法。

（付記３） 付記１又は２に記載の画質調整方法において、
起動時又はウェイクアップ時に前記第１の調整及び第２の調整を行った後にカメラをＯＦＦさせ、前記照度センサが閾値を超える照度変化を検知しない場合には、前記カメラを起動させることなく前記第１の画質調整のみを行うことを特徴とする画質調整方法。

（付記４） 付記１乃至３の何れかに記載の画質調整方法において、
前記起動時又はウェイクアップ時に前記第１の調整及び第２の調整を行った後にカメラをＯＦＦさせ、前記照度センサが閾値を超える照度変化を検知した場合には、前記カメラを再度起動させ再起動した当該カメラが再度オートホワイトバランスの調整を行った際に取得した撮影対象の色温度情報に基づいて再度前記第２の画質調整をすることを特徴とする画質調整方法。

（付記５） 付記１乃至４の何れかに記載の画質調整方法において、
前記カメラ、前記照度センサ及び前記表示部が、当該端末装置の同一の面に配置されていることを特徴とする画質調整方法。

（付記６） 撮像するためのカメラと、周辺の照度を測定する照度センサと、表示部とを有する端末装置に組み込まれる画質調整プログラムにおいて、
前記照度センサが測定した照度に基づいて前記表示部の表示を調整する第１の画質調整をし、前記カメラがオートホワイトバランスの調整を行った際に取得した撮影対象の色温度情報に基づいて前記表示部の表示を調整する第２の画質調整をする端末装置としてコンピュータを機能させることを特徴とする画質調整プログラム。

（付記７） 付記６に記載の画質調整プログラムにおいて、
前記第１の画質調整において調整するのは、前記表示部の輝度であり、前記第２の画質調整において調整するのは、前記表示部のホワイトバランスであることを特徴とする画質調整プログラム。

（付記８） 付記６又は７に記載の画質調整プログラムにおいて、
起動時又はウェイクアップ時に前記第１の調整及び第２の調整を行った後にカメラをＯＦＦさせ、前記照度センサが閾値を超える照度変化を検知しない場合には、前記カメラを起動させることなく前記第１の画質調整のみを行うことを特徴とする画質調整プログラム。

（付記９） 付記６乃至８の何れかに記載の画質調整プログラムにおいて、
前記起動時又はウェイクアップ時に前記第１の調整及び第２の調整を行った後にカメラをＯＦＦさせ、前記照度センサが閾値を超える照度変化を検知した場合には、前記カメラを再度起動させ再起動した当該カメラが再度オートホワイトバランスの調整を行った際に取得した撮影対象の色温度情報に基づいて再度前記第２の画質調整をすることを特徴とする画質調整プログラム。

（付記１０） 付記６乃至９の何れかに記載の画質調整プログラムにおいて、
前記カメラ、前記照度センサ及び前記表示部が、当該端末装置の同一の面に配置されていることを特徴とする画質調整プログラム。

１００ 携帯電話機
１０１ メインカメラ
１０２ サブＬＣＤ
１０３ メインＬＣＤ
１０４ 照度センサ
１０５ サブカメラ
１０６ 演算処理部

Claims (7)

1. 撮像するためのカメラと、周辺の照度を測定する照度センサと、表示部とを有する端末装置において、
   前記照度センサが測定した照度に基づいて前記表示部の表示を調整する第１の画質調整をし、前記カメラがオートホワイトバランスの調整を行った際に取得した撮影対象の色温度情報に基づいて前記表示部の表示を調整する第２の画質調整をすると共に、
   起動時又はウェイクアップ時に前記第１の画質調整及び前記第２の画質調整を行った後にカメラをＯＦＦさせることを特徴とする端末装置。
2. 請求項１に記載の端末装置において、
   前記第１の画質調整において調整するのは、前記表示部の輝度であり、前記第２の画質調整において調整するのは、前記表示部のホワイトバランスであることを特徴とする端末装置。
3. 請求項１又は２に記載の端末装置において、
   前記照度センサが閾値を超える照度変化を検知しない場合には、前記カメラを起動させることなく前記第１の画質調整のみを行うことを特徴とする端末装置。
4. 請求項１乃至３の何れか１項に記載の端末装置において、
   前記照度センサが閾値を超える照度変化を検知した場合には、前記カメラを再度起動させ再起動した当該カメラが再度オートホワイトバランスの調整を行った際に取得した撮影対象の色温度情報に基づいて再度前記第２の画質調整をすることを特徴とする端末装置。
5. 請求項１乃至４の何れか１項に記載の端末装置において、
   前記カメラ、前記照度センサ及び前記表示部が、当該端末装置の同一の面に配置されていることを特徴とする端末装置。
6. 撮像するためのカメラと、周辺の照度を測定する照度センサと、表示部とを有する端末が行う画質調整方法において、
   前記照度センサが測定した照度に基づいて前記表示部の表示を調整する第１の画質調整をし、前記カメラがオートホワイトバランスの調整を行った際に取得した撮影対象の色温度情報に基づいて前記表示部の表示を調整する第２の画質調整をすると共に、
   起動時又はウェイクアップ時に前記第１の画質調整及び前記第２の画質調整を行った後にカメラをＯＦＦさせることを特徴とする画質調整方法。
7. 撮像するためのカメラと、周辺の照度を測定する照度センサと、表示部とを有するコンピュータに組み込まれる画質調整プログラムにおいて、
   前記照度センサが測定した照度に基づいて前記表示部の表示を調整する第１の画質調整をし、前記カメラがオートホワイトバランスの調整を行った際に取得した撮影対象の色温度情報に基づいて前記表示部の表示を調整する第２の画質調整をすると共に、
   起動時又はウェイクアップ時に前記第１の画質調整及び前記第２の画質調整を行った後にカメラをＯＦＦさせる端末装置として前記コンピュータを機能させることを特徴とする画質調整プログラム。

Images