JP5284571B2

JP5284571B2 - Display control apparatus and program

Info

Publication number: JP5284571B2
Application number: JP2006166141A
Authority: JP
Inventors: 茂今泉
Original assignee: NEC Casio Mobile Communications Ltd
Current assignee: NEC Casio Mobile Communications Ltd
Priority date: 2006-06-15
Filing date: 2006-06-15
Publication date: 2013-09-11
Anticipated expiration: 2026-06-15
Also published as: JP2007334034A

Description

本発明は、表示制御装置に関し、特に、良好な画面表示と低消費電力化を実現する表示制御装置に関する。 The present invention relates to a table示制control device, in particular, it relates Table示制control device you realize good screen and lower power consumption.

携帯電話などの移動体通信端末をはじめとする携帯型電子機器には、主に液晶表示装置などから構成される表示部が備えられており、画像表示などに用いられている。このような携帯型電子機器では、画像表示技術の発達により、種々の画像を高品位に表示することができ、例えば、移動体通信端末などでは、静止画像のみならず動画像（例えば、撮影したムービー画像やテレビ放送など）の表示も可能となっている。 A portable electronic device such as a mobile communication terminal such as a cellular phone is provided with a display unit mainly composed of a liquid crystal display device and used for image display. In such portable electronic devices, various images can be displayed with high quality due to the development of image display technology. For example, in mobile communication terminals and the like, not only still images but also moving images (for example, taken images) can be displayed. Movie images, TV broadcasts, etc.) can also be displayed.

このような携帯型電子機器は、使用場所が固定的でないため、表示画像を見る環境が一定ではない。携帯型電子機器の多くに採用されているバックライトを用いた液晶表示装置の場合、周辺環境の明るさが表示画面の見やすさに影響するため、使用環境によって表示画像の視認性が大きく異なる。例えば、屋内のような明るさでは良好な視認性を得ることができても、晴天時の屋外などといったより明るい場所では、表示パネルでの外光反射などが影響して、表示画像の視認性が著しく低下してしまう場合がある。 In such a portable electronic device, since the place of use is not fixed, the environment for viewing the display image is not constant. In the case of a liquid crystal display device using a backlight that is employed in many portable electronic devices, the brightness of the surrounding environment affects the visibility of the display screen, and thus the visibility of the display image varies greatly depending on the usage environment. For example, even if it is possible to obtain good visibility at indoor brightness, in brighter places such as outdoors in fine weather, the reflection of external light on the display panel can affect the visibility of the displayed image. May be significantly reduced.

このような不都合を解消するため、表示パネル周辺の輝度を検出し、検出された輝度に基づいてバックライトの輝度制御をおこなう手法が提案されている（例えば、特許文献１）。
特開２００１−３５０１３４号公報 In order to eliminate such an inconvenience, a technique has been proposed in which the luminance around the display panel is detected and the luminance of the backlight is controlled based on the detected luminance (for example, Patent Document 1).
JP 2001-350134 A

しかしながら、特許文献１の手法では、表示画像の種類に拘わらずバックライトの輝度を一律に調整しているので、暗い場所では白色部分が沈みがちになる一方、明るい場所では黒色部分が浮き気味になるなどといった画質の低下が生じる。このため、特許文献１の手法では、画像の種類に応じてガンマ補正処理をおこなうことでコントラストを高めている。このような付加的な処理が必要となるため、特許文献１の手法では、表示動作時の処理負荷が高くなり、表示動作にかかる消費電力が増大する他、表示応答性の低下なども起こりうる。 However, in the method of Patent Document 1, since the brightness of the backlight is uniformly adjusted regardless of the type of display image, the white portion tends to sink in a dark place, while the black portion tends to float in a bright place. Degradation of image quality occurs. For this reason, in the method of Patent Document 1, the contrast is increased by performing gamma correction processing according to the type of image. Since such additional processing is required, the method of Patent Document 1 increases the processing load during the display operation, increases the power consumption for the display operation, and may cause a decrease in display responsiveness. .

特に、表示装置は、携帯型電子機器の構成要素の中で比較的消費電力の高い部分であるため、表示動作にかかる消費電力の増大は、機器全体の電力消費に大きく影響する。近時の移動体通信端末などでは、多機能化によって全体的な消費電力が増大する傾向にある一方、より長いバッテリ駆動時間も求められているので、表示性能の向上と低消費電力化を効果的に両立する手法の確立が望まれている。 In particular, since the display device is a portion with relatively high power consumption in the components of the portable electronic device, an increase in power consumption for the display operation greatly affects the power consumption of the entire device. In recent mobile communication terminals, etc., overall power consumption tends to increase due to multi-functionality, but longer battery drive time is also required, so improving display performance and reducing power consumption are effective. Establishment of a method that is compatible with each other is desired.

本発明は、上記実状に鑑みてなされたものであり、良好な画面表示と低消費電力化を両立した表示制御装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a display control device that achieves both good screen display and low power consumption.

上記目的を達成するため、本発明の第１の観点にかかる表示制御装置は、
表示装置の調光をおこなう表示制御装置であって、
前記表示装置に表示する画像の種別が静止画像であるか動画像であるかを判別する画像判別手段と、
前記画像判別手段が判別した画像の種別が動画像である場合に、該動画像についての同期信号を発生させる同期信号発生手段と、
前記表示する画像１フレームの平均輝度を当該画像の画像輝度として検出する画像輝度検出手段と、
前記画像判別手段が判別した画像の種別に応じた異なるサンプリング周期で外光照度を検出する外光照度検出手段と、
前記画像輝度検出手段が検出した画像輝度とともに、前記外光照度検出手段が検出した外光照度に基づいて、前記画像判別手段が判別した画像種別に応じた異なるタイミングで前記表示装置の表示輝度を制御する調光手段と、を備え、
前記外光照度検出手段は、前記画像の種別が動画像であると判別された場合は、前記同期信号に基づくサンプリング周期で外光照度の検出をおこない、
前記調光手段は、前記画像の種別が動画像であると判別された場合は、前記外光照度検出手段による外光照度の検出タイミングで表示輝度制御をおこない、前記画像の種別が静止画像であると判別された場合は、前記外光照度検出手段が検出した外光照度の変化が閾値以上となったタイミングで、該検出された外光照度に基づいた表示輝度制御をおこなう、
ことを特徴とする。 In order to achieve the above object, a display control apparatus according to the first aspect of the present invention provides:
A display control device for dimming a display device,
Image discriminating means for discriminating whether the type of image displayed on the display device is a still image or a moving image;
A synchronization signal generating means for generating a synchronization signal for the moving image when the type of the image determined by the image determining means is a moving image;
Image luminance detecting means for detecting an average luminance of one frame of the displayed image as an image luminance of the image;
An external light illuminance detecting means for detecting external light illuminance at different sampling periods according to the type of image determined by the image determining means;
Based on the image luminance detected by the image luminance detection unit and the external light illuminance detected by the external light illuminance detection unit, the display luminance of the display device is controlled at different timings according to the image type determined by the image determination unit. A light control means,
The external light illuminance detection means detects the external light illuminance at a sampling period based on the synchronization signal when it is determined that the type of the image is a moving image.
When it is determined that the type of the image is a moving image, the light control unit performs display luminance control at an external light illuminance detection timing by the external light illuminance detection unit, and the image type is a still image. If determined, the display brightness control based on the detected external light illuminance is performed at a timing when the change in the external light illuminance detected by the external light illuminance detection means is equal to or greater than a threshold value.
It is characterized by that.

上記表示制御装置において、
前記同期信号発生手段は、前記動画像のフレーム切替タイミングで前記同期信号を発生することが望ましく、この場合、
前記画像輝度検出手段は、前記同期信号に基づき、前記動画像のフレーム画像毎に表示輝度を検出することが望ましい。 In the display control device,
Preferably, the synchronization signal generating means generates the synchronization signal at a frame switching timing of the moving image.
It is desirable that the image luminance detecting means detects display luminance for each frame image of the moving image based on the synchronization signal .

上記表示制御装置において、
前記同期信号発生手段は、前記動画像がフレーム間差分符号化方式で符号化されている場合、イントラ符号化がおこなわれたフレームを表示したタイミングで前記同期信号を発生してもよい。 In the display control device,
The synchronization signal generation means may generate the synchronization signal at a timing at which a frame subjected to intra encoding is displayed when the moving image is encoded by an inter-frame difference encoding method .

上記表示制御装置において、
前記同期信号発生手段は、前記画像輝度検出手段が検出した画像輝度が変化した場合に前記同期信号を発生してもよい。 In the display control device,
The synchronization signal generation means may generate the synchronization signal when the image brightness detected by the image brightness detection means changes .

上記表示制御装置において、
前記表示装置は、バックライトを備えた液晶表示装置とすることができ、この場合、
前記調光手段は、前記バックライトの光量を制御することで、前記表示輝度を制御することが望ましい。 In the display control device,
The display device can be a liquid crystal display device with a backlight, in this case,
It is desirable that the dimming unit controls the display luminance by controlling the light amount of the backlight.

さらに、上記目的を達成するため、本発明の第２の観点にかかるプログラムは、表示装置の調光をおこなう表示制御装置を制御するコンピュータに、
前記表示装置に表示する画像の種別が静止画像であるか動画像であるかを判別する画像判別手順と、
前記画像の種別が動画像であると判別された場合、当該動画像についての同期信号を発生する同期信号発生手順と、
前記表示する画像１フレームの平均輝度を当該画像の画像輝度として検出する画像輝度検出手順と、
前記画像の種別が動画像であると判別された場合、前記同期信号に基づくタイミングで外光照度を検出し、当該外光照度の検出タイミングで、該検出した外光照度と、前記画像輝度検出手順で検出された画像輝度とに基づいて、前記表示装置の表示輝度を制御する動画像時調光手順と、
前記画像の種別が静止画像であると判別された場合、検出された外光照度の変化が閾値以上となったタイミングで、該検出された外光照度と、前記画像輝度検出手順で検出された画像輝度とに基づいて、前記表示装置の表示輝度を制御する静止画像時調光手順と、
を実現させることを特徴とする。 Furthermore, in order to achieve the above object, a program according to the second aspect of the present invention provides a computer that controls a display control device that performs dimming of a display device.
An image determination procedure for determining whether the type of image displayed on the display device is a still image or a moving image;
If it is determined that the type of the image is a moving image, a synchronization signal generation procedure for generating a synchronization signal for the moving image;
An image luminance detection procedure for detecting an average luminance of one frame of the displayed image as an image luminance of the image;
When it is determined that the image type is a moving image, the ambient light illuminance is detected at a timing based on the synchronization signal, and the detected ambient light illuminance is detected at the detection timing of the ambient light illuminance and the image brightness detection procedure. A video image dimming procedure for controlling the display brightness of the display device based on the image brightness
When it is determined that the type of the image is a still image, the detected ambient light illuminance and the image brightness detected by the image brightness detection procedure at the timing when the change in the detected ambient light illuminance is equal to or greater than a threshold value. And a still image time dimming procedure for controlling the display brightness of the display device,
It is characterized by realizing.

本発明によれば、画像種別に応じたタイミングで表示輝度の制御をおこなうので、良好な画面表示と消費電力の低減を両立させることができる。 According to the present invention, the display luminance is controlled at a timing according to the image type, so that both good screen display and reduction in power consumption can be achieved.

以下、本発明にかかる実施形態を、図面を参照して説明する。本実施形態では、本発明にかかる携帯型電子機器を移動体通信端末によって構成した場合を説明する。本実施形態にかかる移動体通信端末１は、例えば、携帯電話やＰＨＳ（Personal Handyphone System）等といった移動体通信用の端末装置（電話機）であり、本実施形態では、動画像を含む画像表示機能を備えているものとする。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings. In the present embodiment, a case where the portable electronic device according to the present invention is configured by a mobile communication terminal will be described. The mobile communication terminal 1 according to the present embodiment is a mobile communication terminal device (telephone) such as a mobile phone or a PHS (Personal Handyphone System), and in this embodiment, an image display function including a moving image is provided. It shall be equipped with.

このような移動体通信端末１の構成を、図１を参照して説明する。図１は、本発明の実施形態に係る移動体通信端末１の構成例を示すブロック図である。図示するように、本実施形態にかかる移動体通信端末１は、通信制御部１０、カメラ部２０、操作部３０、表示部４０、外光センサ５０、記憶部６０、ホストコントローラ１００、表示制御部２００、などから構成されている。 The configuration of such a mobile communication terminal 1 will be described with reference to FIG. FIG. 1 is a block diagram illustrating a configuration example of a mobile communication terminal 1 according to an embodiment of the present invention. As illustrated, the mobile communication terminal 1 according to the present embodiment includes a communication control unit 10, a camera unit 20, an operation unit 30, a display unit 40, an external light sensor 50, a storage unit 60, a host controller 100, and a display control unit. 200, and the like.

通信制御部１０は、移動体通信端末１の基本機能である通信機能にかかる動作をおこなうものであり、例えば、ＣＤＭＡ（Code Division Multiple Access：符号分割多重接続）方式などの通信方式を用いた通信装置などで構成され、当該通信方式に対応したアンテナ１１による無線送受信をおこなうことで、近傍の基地局と無線通信をおこなう。 The communication control unit 10 performs an operation related to a communication function that is a basic function of the mobile communication terminal 1. For example, communication using a communication method such as a CDMA (Code Division Multiple Access) method is used. A wireless communication is performed with a nearby base station by performing wireless transmission / reception by the antenna 11 that is configured by a device and is compatible with the communication method.

通信制御部１０はまた、例えば、音声処理をおこなうコーデック回路などを備え、音声通話にかかる音声処理をおこなう。すなわち、受信した音声データをアナログ信号に変換してスピーカ１２から出力する他、マイクロフォン１３から入力された送話音声をデジタルデータに変換して送信に供する。 The communication control unit 10 also includes a codec circuit that performs voice processing, for example, and performs voice processing related to voice calls. That is, the received voice data is converted into an analog signal and output from the speaker 12, and the transmission voice input from the microphone 13 is converted into digital data for transmission.

カメラ部２０は、移動体通信端末１の撮像機能を実現するための構成であり、被写体光が入射されるレンズ、レンズによる結像光を電気信号に変換する撮像素子（例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）など）、撮像素子からの電気信号をデジタル信号に変換するＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）、などから構成される。本実施形態では、カメラ部２０による撮像機能により、静止画像を得るスチル撮像機能の他、動画像を得る動画撮像機能が実現されるものとする。 The camera unit 20 is configured to realize the imaging function of the mobile communication terminal 1, and includes a lens on which subject light is incident, an imaging element that converts imaging light from the lens into an electrical signal (for example, a CCD (Charge Coupled) Device: charge-coupled device), ADC (Analog-Digital Converter) that converts an electrical signal from the imaging device into a digital signal, and the like. In the present embodiment, the imaging function of the camera unit 20 realizes a moving image imaging function for obtaining a moving image in addition to a still imaging function for obtaining a still image.

操作部３０は、例えば十字カーソルキーや、数字や文字を入力するための英数字キー、機能などを指定するためのキー等から構成され、移動体通信端末１のユーザによって操作されるものである。操作部３０は、これらのキーが操作されることに応じた入力信号を生成してホストコントローラ１００に入力する。 The operation unit 30 includes, for example, a cross cursor key, an alphanumeric key for inputting numbers and characters, a key for specifying a function, and the like, and is operated by a user of the mobile communication terminal 1. . The operation unit 30 generates an input signal corresponding to the operation of these keys and inputs the input signal to the host controller 100.

表示部４０は、移動体通信端末１の画像表示機能を実現するための構成であり、図１に示すように、表示パネル４１とバックライト４２を備えている。 The display unit 40 has a configuration for realizing the image display function of the mobile communication terminal 1 and includes a display panel 41 and a backlight 42 as shown in FIG.

表示パネル４１は、バックライト４２を光源とする一般的な液晶表示装置（ＬＣＤ：Liquid Crystal Display）から構成された表示パネルである。 The display panel 41 is a display panel configured from a general liquid crystal display (LCD) using the backlight 42 as a light source.

バックライト４２は、例えば、ＬＥＤ（Light Emitting Diode：発光ダイオード）アレイなどから構成された光源装置であり、表示パネル４１での表示に必要な光源としての発光動作をおこなう。本実施形態では、印加される電流に応じて発光量可変に構成されているものとする。 The backlight 42 is a light source device configured by, for example, an LED (Light Emitting Diode) array and performs a light emitting operation as a light source necessary for display on the display panel 41. In the present embodiment, it is assumed that the light emission amount is variable according to the applied current.

外光センサ５０は、例えば、光センサから構成され、移動体通信端末１に対する外光照度を検出する。この外光センサ５０は、表示部４０での表示画像の視認性に影響する周辺環境の明るさを検出することを目的とする。よって、外光センサ５０は、表示パネル４１の表示面での外光が検出できる位置に配置されているものとする。この外光センサ５０は、表示制御部２００の制御によって検出動作をおこない、検出した外光照度を示す信号を表示制御部２００に送出する。 The external light sensor 50 is composed of, for example, an optical sensor, and detects the external light illuminance with respect to the mobile communication terminal 1. The external light sensor 50 is intended to detect the brightness of the surrounding environment that affects the visibility of the display image on the display unit 40. Therefore, it is assumed that the external light sensor 50 is disposed at a position where external light on the display surface of the display panel 41 can be detected. The external light sensor 50 performs a detection operation under the control of the display control unit 200 and sends a signal indicating the detected external light illuminance to the display control unit 200.

記憶部６０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどから構成され、ホストコントローラ１００などがおこなう処理に必要なデータやこれらによる処理結果などを記憶する。また、記憶部６０は、ホストコントローラ１００が実行するプログラムを格納する。本実施形態では、図１に示すように、画像格納領域６１やプログラム格納領域６２などの記憶領域が用意される。 The storage unit 60 includes, for example, a ROM (Read Only Memory), a flash memory, and the like, and stores data necessary for processing performed by the host controller 100 and the like, processing results by these, and the like. The storage unit 60 stores a program executed by the host controller 100. In the present embodiment, storage areas such as an image storage area 61 and a program storage area 62 are prepared as shown in FIG.

画像格納領域６１は、表示部４０に表示させる画像を構成する画像データを格納する。格納される画像データは、例えば、カメラ部２０によって生成された画像データや、外部から取得した画像データなどである。この画像データには、例えば、スチル写真画像などの静止画像データの他、ビデオ映像などの動画像データが含まれるものとする。なお、移動体通信端末１にメモリカードが装着可能である場合、画像格納領域６１は、着脱可能なメモリカード内に構成されてもよい。 The image storage area 61 stores image data constituting an image to be displayed on the display unit 40. The stored image data is, for example, image data generated by the camera unit 20 or image data acquired from the outside. This image data includes, for example, still image data such as a still photo image and moving image data such as a video image. When a memory card can be attached to the mobile communication terminal 1, the image storage area 61 may be configured in a removable memory card.

プログラム格納領域６２は、ホストコントローラ１００が実行する動作プログラムを格納する。 The program storage area 62 stores an operation program executed by the host controller 100.

ホストコントローラ１００は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）やＲＡＭ（Random Access Memory）などから構成されており、移動体通信端末１の各部の動作を制御する。本実施形態では、ホストコントローラ１００が、プログラム格納領域６２に格納されている動作プログラムを実行することで、後述する各処理が実現される。なお、ホストコントローラ１００に構成されるＲＡＭは、ＣＰＵがプログラムを実行する際、ワークメモリとして用いられる。 The host controller 100 is composed of, for example, a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like, and controls the operation of each unit of the mobile communication terminal 1. In the present embodiment, the host controller 100 executes the operation program stored in the program storage area 62, thereby realizing each process described below. The RAM configured in the host controller 100 is used as a work memory when the CPU executes a program.

本実施形態では、図１に示すように、上述した通信制御部１０、カメラ部２０、操作部３０、記憶部６０、および、表示制御部２００がホストコントローラ１００に接続され、ホストコントローラ１００の動作によって制御される。 In the present embodiment, as shown in FIG. 1, the communication control unit 10, the camera unit 20, the operation unit 30, the storage unit 60, and the display control unit 200 described above are connected to the host controller 100, and the operation of the host controller 100 is performed. Controlled by.

本実施形態では、例えば、カメラ部２０の撮像動作によって得られた画像の符号化処理や、画像格納領域６１に格納されている画像データを表示パネル４１に表示させる際の復号処理などをホストコントローラ１００がおこなうものとする。ここで、動画像の符号化・復号処理においては、例えば、フレーム間予測符号化方式などといった、一般的な符号化方式が用いられるものとする。 In the present embodiment, for example, the host controller performs an encoding process of an image obtained by an imaging operation of the camera unit 20 and a decoding process when displaying image data stored in the image storage area 61 on the display panel 41. 100 will do. Here, in encoding / decoding processing of a moving image, for example, a general encoding method such as an inter-frame prediction encoding method is used.

このような動作は、例えば、操作部３０からの入力信号に基づくユーザからの指示に応じて、カメラ部２０の撮像機能に関するアプリケーションや、画像再生に関するアプリケーションなどを実行する際に、ホストコントローラ１００によって実現されるものとする。 Such an operation is performed, for example, by the host controller 100 when executing an application relating to the imaging function of the camera unit 20 or an application relating to image reproduction in accordance with an instruction from the user based on an input signal from the operation unit 30. It shall be realized.

本実施形態では、このような符号化・復号処理などにかかる動作を、ホストコントローラ１００がプログラムを実行することで実現されるものとするが、これに限られず、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などのハードウェアによって処理がおこなわれるように構成してもよい。 In the present embodiment, the operation related to such encoding / decoding processing and the like is realized by the host controller 100 executing a program. However, the present invention is not limited to this, and for example, an ASIC (Application Specific Integrated Circuit) : Processing may be performed by hardware such as a specific application integrated circuit).

表示制御部２００は、ホストコントローラ１００からの出力信号を処理し、表示部４０を制御することで画像表示をおこなうための構成である。本実施形態にかかる表示制御部２００は、図２に示すような構成を有している。 The display control unit 200 is configured to display an image by processing an output signal from the host controller 100 and controlling the display unit 40. The display control unit 200 according to the present embodiment has a configuration as shown in FIG.

図示するように、表示制御部２００は、ホストインタフェース（Ｉ／Ｆ）２１０、動作制御部２２０、表示メモリ２３０、メモリライト制御部２４０、メモリリード制御部２５０、パネル駆動部２６０、バックライト調光部３００、などから構成される。 As illustrated, the display control unit 200 includes a host interface (I / F) 210, an operation control unit 220, a display memory 230, a memory write control unit 240, a memory read control unit 250, a panel drive unit 260, a backlight dimming. The unit 300 is configured.

ホストインタフェース２１０は、表示制御部２００とホストコントローラ１００とを電気的に接続するインタフェースであり、ホストコントローラ１００から送出される、表示対象の画像データを受け付けて入力する。 The host interface 210 is an interface that electrically connects the display control unit 200 and the host controller 100, and receives and inputs display target image data sent from the host controller 100.

動作制御部２２０は、例えば、所定の制御回路などから構成され、ホストインタフェース２１０から入力された画像データに基づいて、表示制御部２００の各部を制御する。ここで、動作制御部２２０は、ホストコントローラ１００から取得された画像データの種別が静止画像データであるか動画像データであるかを判別し、判別した画像種別に応じて表示制御部２００の各部を制御する。ここで、画像データの種別は、例えば、取得された画像データのヘッダ情報に基づいて判別できる他、例えば、現在の動作モードや実行中のアプリケーションプログラムの種類などに基づいて判別するものとする。 The operation control unit 220 includes, for example, a predetermined control circuit and the like, and controls each unit of the display control unit 200 based on the image data input from the host interface 210. Here, the operation control unit 220 determines whether the type of the image data acquired from the host controller 100 is still image data or moving image data, and each unit of the display control unit 200 according to the determined image type. To control. Here, the type of image data can be determined based on, for example, the header information of the acquired image data, and is determined based on, for example, the current operation mode, the type of application program being executed, and the like.

また、動作制御部２２０は、判別した画像種別に応じて異なる動作タイミングを設定してバックライト調光部３００を制御する。本実施形態では、動画像表示時（すなわち、判別した画像種別が動画像である場合）は、パネル駆動部２６０から送出されるフレーム同期信号を取得し、取得したフレーム同期信号に基づくタイミングでバックライト調光部３００を制御する。また、静止画像表示時（すなわち、判別した画像種別が静止画像である場合）は、少なくとも動画像表示時のフレーム同期信号に基づく動作タイミングよりも長い時間間隔となるタイミング（例えば、１秒〜数秒間隔）でバックライト調光部３００を制御する。 The operation control unit 220 controls the backlight dimming unit 300 by setting different operation timings according to the determined image type. In the present embodiment, when a moving image is displayed (that is, when the determined image type is a moving image), a frame synchronization signal sent from the panel drive unit 260 is acquired, and back-up is performed at a timing based on the acquired frame synchronization signal. The light dimmer 300 is controlled. When still images are displayed (that is, when the determined image type is a still image), at least a timing (for example, 1 second to several seconds) that is longer than the operation timing based on the frame synchronization signal at the time of moving image display. The backlight dimming unit 300 is controlled at intervals.

本実施形態では、動作制御部２２０を専用回路によって構成する場合を例示するが、これに限らず、例えば、ホストコントローラ１００がプログラムを実行することで、動作制御部２２０の機能がソフトウェア処理によって実現されるよう構成してもよい。 In this embodiment, the case where the operation control unit 220 is configured by a dedicated circuit is illustrated, but the present invention is not limited to this. For example, the function of the operation control unit 220 is realized by software processing when the host controller 100 executes a program. You may comprise.

表示メモリ２３０は、表示パネル４１に表示する画像データを展開するためのメモリ（いわゆるＶＲＡＭ（Video RAM））である。本実施形態にかかる表示メモリ２３０は、図２に示すように、動画像データを展開するための動画像展開領域２３１と、静止画像データを展開するための静止画像展開領域２３２を有している。 The display memory 230 is a memory (so-called VRAM (Video RAM)) for expanding image data to be displayed on the display panel 41. As shown in FIG. 2, the display memory 230 according to the present embodiment has a moving image expansion area 231 for expanding moving image data and a still image expansion area 232 for expanding still image data. .

本実施形態では、表示メモリ２３０上のアドレスに基づいて動画像展開領域２３１と静止画像展開領域２３２とが論理的に規定されるものとするが、動画像展開領域２３１と静止画像展開領域２３２とが物理的に異なる記憶装置（記憶素子）から構成されていてもよい。 In the present embodiment, the moving image expansion area 231 and the still image expansion area 232 are logically defined based on the address on the display memory 230. However, the moving image expansion area 231 and the still image expansion area 232 May be composed of physically different storage devices (storage elements).

メモリライト制御部２４０は、表示メモリ２３０への画像データの書き込み（展開）を制御する。この場合、メモリライト制御部２４０は、動作制御部２２０の制御により、ホストインタフェース２１０から取得される画像データを動画像展開領域２３１または静止画像展開領域２３２に展開する。すなわち、取得された画像データが動画像データであれば動画像展開領域２３１に展開し、静止画像データであれば静止画像展開領域２３２に展開する。 The memory write control unit 240 controls writing (development) of image data to the display memory 230. In this case, the memory write control unit 240 develops the image data acquired from the host interface 210 in the moving image development region 231 or the still image development region 232 under the control of the operation control unit 220. That is, if the acquired image data is moving image data, it is expanded in the moving image expansion area 231, and if it is still image data, it is expanded in the still image expansion area 232.

メモリリード制御部２５０は、表示メモリ２３０からの画像データの読み出し（出力）を制御する。この場合、メモリリード制御部２５０は、動作制御部２２０の制御により、動画像展開領域２３１または静止画像展開領域２３２に展開された画像データを読み出す。すなわち、表示対象の画像データが動画像データであれば動画像展開領域２３１に展開されている画像データを読み出し、静止画像データであれば静止画像展開領域２３２に展開されている画像データを読み出す。 The memory read control unit 250 controls reading (output) of image data from the display memory 230. In this case, the memory read control unit 250 reads the image data developed in the moving image development region 231 or the still image development region 232 under the control of the operation control unit 220. That is, if the image data to be displayed is moving image data, the image data expanded in the moving image expansion area 231 is read, and if it is still image data, the image data expanded in the still image expansion area 232 is read.

このメモリリード制御部２５０は、表示パネル４１の表示リフレッシュのために、例えば、６０Ｈｚで表示メモリ２３０から画像データを読み出してパネル駆動部２６０とバックライト調光部３００に送出する。 For the display refresh of the display panel 41, the memory read control unit 250 reads out image data from the display memory 230 at 60 Hz, for example, and sends it to the panel drive unit 260 and the backlight dimming unit 300.

パネル駆動部２６０は、メモリリード制御部２５０が読み出した画像データを表示パネル４１に表示させる処理をおこなう。パネル駆動部２６０は、例えば、液晶パネル（表示パネル４１）のデータ電極を駆動するためのセグメントドライバや走査電極を駆動するためのコモンドライバなどから構成され、入力された画像データを液晶パネルの駆動電圧に変換して表示パネル４１に供給することで、表示パネル４１に画像を表示させる。 The panel drive unit 260 performs processing for displaying the image data read by the memory read control unit 250 on the display panel 41. The panel driving unit 260 includes, for example, a segment driver for driving the data electrodes of the liquid crystal panel (display panel 41), a common driver for driving the scanning electrodes, and the like, and the input image data is driven by the liquid crystal panel. By converting the voltage into a voltage and supplying it to the display panel 41, an image is displayed on the display panel 41.

また、パネル駆動部２６０は、表示パネル４１での動画像表示にかかるフレーム同期信号を動作制御部２２０に送出する。この場合、パネル駆動部２６０は、動画像データを表示させたときに、フレーム切替タイミングでフレーム同期信号を発生させて動作制御部２２０に送出する。この場合、フレーム同期信号は、例えば、その動画像のフレームレート（例えば、３０ｆｐｓや６０ｆｐｓ）に応じた時間間隔で発生することになる（例えば、約１／６０〜１／３０秒毎）。 Further, the panel drive unit 260 sends a frame synchronization signal related to moving image display on the display panel 41 to the operation control unit 220. In this case, when the moving image data is displayed, the panel driving unit 260 generates a frame synchronization signal at the frame switching timing and sends it to the operation control unit 220. In this case, for example, the frame synchronization signal is generated at a time interval corresponding to the frame rate of the moving image (for example, 30 fps or 60 fps) (for example, approximately every 1/60 to 1/30 seconds).

バックライト調光部３００は、表示パネル４１に表示する画像の種別（静止画像か動画像か）に応じて、バックライト４２の光量を制御して調光し、表示パネル４１での表示輝度を制御するための構成である。バックライト調光部３００の構成を、図３を参照して説明する。 The backlight dimming unit 300 controls the amount of light of the backlight 42 according to the type of image (still image or moving image) to be displayed on the display panel 41, and adjusts the display brightness on the display panel 41. It is the structure for controlling. The configuration of the backlight dimming unit 300 will be described with reference to FIG.

図３は、バックライト調光部３００の構成を示すブロック図である。図示するように、バックライト調光部３００は、センサ信号変換部３１０、輝度成分抽出部３２０、平均輝度算出部３３０、表示輝度設定部３４０、設定記憶部３５０、光源ドライバ３６０、などから構成される。 FIG. 3 is a block diagram illustrating a configuration of the backlight dimming unit 300. As illustrated, the backlight dimming unit 300 includes a sensor signal conversion unit 310, a luminance component extraction unit 320, an average luminance calculation unit 330, a display luminance setting unit 340, a setting storage unit 350, a light source driver 360, and the like. The

センサ信号変換部３１０は、例えば、ＡＤＣ（Analog-Digital Converter：アナログ−デジタル変換器）などによって構成され、外光センサ５０から送出される検出信号（センサ信号）を取得してデジタル信号に変換する。この場合、センサ信号変換部３１０は、外光センサ５０が送出するアナログ信号を所定のサンプリング周期でサンプリングしてデジタル信号に変換する。 The sensor signal conversion unit 310 is configured by, for example, an ADC (Analog-Digital Converter) and acquires a detection signal (sensor signal) transmitted from the external light sensor 50 and converts it into a digital signal. . In this case, the sensor signal conversion unit 310 samples the analog signal transmitted by the external light sensor 50 at a predetermined sampling period and converts it into a digital signal.

また、センサ信号変換部３１０は、動作制御部２２０の制御によって動作する。上述したように、動作制御部２２０は、判別した画像種別に応じたタイミングでセンサ信号変換部３１０を制御するので、センサ信号変換部３１０は、画像種別に応じたタイミングで動作する。すなわち、動作制御部２２０が判別した画像種別が動画像である場合は、当該動画像の表示にかかるフレーム切替タイミングで動作し、静止画像である場合は、予め設定されている所定のタイミング（例えば、１〜数秒間毎）で動作する。 The sensor signal conversion unit 310 operates under the control of the operation control unit 220. As described above, since the operation control unit 220 controls the sensor signal conversion unit 310 at a timing according to the determined image type, the sensor signal conversion unit 310 operates at a timing according to the image type. That is, when the image type determined by the operation control unit 220 is a moving image, the operation is performed at a frame switching timing for displaying the moving image, and when the image type is a still image, a predetermined timing (for example, 1 to every few seconds).

この場合、センサ信号変換部３１０は、動作制御部２２０の制御タイミングで外光センサ５０からの検出信号を取得してサンプリングする。すなわち、動作制御部２２０による制御タイミングをサンプリング周期としたサンプリングをおこなうことになる。センサ信号変換部３１０は、このようなサンプリング周期のサンプリングによって変換したデジタル信号を表示輝度設定部３４０に送出する。すなわち、動作制御部２２０によって判別された画像種別に応じたタイミングで、外光照度を示すデジタル信号が表示輝度設定部３４０に供給されることになる。 In this case, the sensor signal conversion unit 310 acquires and samples the detection signal from the external light sensor 50 at the control timing of the operation control unit 220. That is, sampling is performed with the control timing by the operation control unit 220 as the sampling period. The sensor signal conversion unit 310 sends the digital signal converted by sampling in such a sampling period to the display luminance setting unit 340. That is, a digital signal indicating the external light illuminance is supplied to the display luminance setting unit 340 at a timing according to the image type determined by the operation control unit 220.

輝度成分抽出部３２０は、例えば、所定の演算回路などから構成され、メモリリード制御部２５０から送出された表示対象画像の輝度成分を抽出する。この輝度成分抽出は、既存の画像処理技術で用いられている一般的な手法を用いるものとする。ここで、メモリリード制御部２５０から供給された画像が静止画像である場合は、当該画像の輝度成分を抽出し、動画像である場合は、当該動画像のフレーム画像毎に輝度成分を抽出するものとする。 The luminance component extraction unit 320 includes, for example, a predetermined arithmetic circuit and extracts the luminance component of the display target image sent from the memory read control unit 250. This luminance component extraction uses a general method used in the existing image processing technology. Here, if the image supplied from the memory read control unit 250 is a still image, the luminance component of the image is extracted. If the image is a moving image, the luminance component is extracted for each frame image of the moving image. Shall.

平均輝度算出部３３０は、例えば、所定の演算回路などから構成され、輝度成分抽出部３２０によって抽出された輝度成分の平均値を算出し、算出値を示す信号を表示輝度設定部３４０に送出する。 The average luminance calculation unit 330 includes, for example, a predetermined arithmetic circuit, calculates an average value of luminance components extracted by the luminance component extraction unit 320, and sends a signal indicating the calculated value to the display luminance setting unit 340. .

表示輝度設定部３４０は、例えば、所定の演算回路などから構成され、外光照度を示す情報をセンサ信号変換部３１０から取得するとともに、画像輝度を示す情報を平均輝度算出部３３０から取得する。そして、取得した情報に基づいて、そのときの外光照度と画像輝度の組み合わせに好適な表示輝度を特定し、特定した表示輝度とするためのバックライト４２の動作電流を設定する。ここで、センサ信号変換部３１０は、動作制御部２２０からの制御に基づく動作タイミングでサンプリングをおこなっているので、表示輝度設定部３４０は、表示する画像種別に応じたタイミングで外光照度を示す情報を取得することになる。 The display luminance setting unit 340 includes, for example, a predetermined arithmetic circuit and the like, acquires information indicating the illuminance of outside light from the sensor signal conversion unit 310, and acquires information indicating the image luminance from the average luminance calculation unit 330. Then, based on the acquired information, the display brightness suitable for the combination of the ambient light illuminance and the image brightness at that time is specified, and the operating current of the backlight 42 for setting the specified display brightness is set. Here, since the sensor signal conversion unit 310 performs sampling at the operation timing based on the control from the operation control unit 220, the display luminance setting unit 340 indicates the information indicating the external light illuminance at the timing according to the image type to be displayed. Will get.

本実施形態では、センサ信号変換部３１０から外光照度を示す情報を取得したタイミングで表示輝度設定部３４０が動作するものとする。したがって、表示輝度設定部３４０は、画像種別に応じたタイミングでバックライト４２の動作電流を設定することになる。本実施形態では、設定記憶部３５０に格納されている設定情報を参照することで、好適な表示輝度となるバックライト４２の動作電流を設定し、設定した動作電流値を示す情報を光源ドライバ３６０に送出する。 In the present embodiment, it is assumed that the display luminance setting unit 340 operates at the timing when information indicating the external light illuminance is acquired from the sensor signal conversion unit 310. Therefore, the display brightness setting unit 340 sets the operating current of the backlight 42 at a timing according to the image type. In the present embodiment, by referring to the setting information stored in the setting storage unit 350, the operating current of the backlight 42 having a suitable display luminance is set, and information indicating the set operating current value is set as the light source driver 360. To send.

設定記憶部３５０は、例えば、半導体記憶装置などから構成され、表示輝度設定部３４０がバックライト４２の動作電流を設定する際に参照する設定情報を格納する。設定記憶部３５０に格納されている設定情報の例を、図４を参照して説明する。 The setting storage unit 350 is composed of, for example, a semiconductor storage device, and stores setting information referred to when the display luminance setting unit 340 sets the operating current of the backlight 42. An example of setting information stored in the setting storage unit 350 will be described with reference to FIG.

図４（ａ）は、外光センサ５０によって検出された外光照度の値と所定のレベルとを対応づけた「外光レベル対応表」の例を示す。本実施形態では、検出された外光照度の値を所定範囲単位で区分して予めレベルが設定されているものとする。図４（ａ）に示す外光レベル対応表では、外光照度値が低い（すなわち、暗い）順に、１〜５の５段階のレベル（以下、「外光レベル」とする）が設定されているものとする。 FIG. 4A shows an example of an “external light level correspondence table” in which a value of external light illuminance detected by the external light sensor 50 is associated with a predetermined level. In the present embodiment, it is assumed that the level is set in advance by dividing the detected value of the ambient light illuminance in units of a predetermined range. In the external light level correspondence table shown in FIG. 4A, five levels (hereinafter referred to as “external light level”) of 1 to 5 are set in the order of low (ie, dark) external light illuminance value. Shall.

図４（ｂ）は、平均輝度算出部３３０によって算出された表示画像の輝度値（輝度成分）と所定のレベルとを対応づけた「画像輝度レベル対応表」の例を示す。本実施形態では、算出された画像輝度の値（例えば、０〜２５５）を所定範囲単位で区分してレベル設定するものとする。図４（ｂ）に示す画像輝度レベル対応表では、画像輝度値が低い（すなわち、暗い）順に、１〜５の５段階のレベル（以下、「画像輝度レベル」）が設定されているものとする。 FIG. 4B shows an example of an “image luminance level correspondence table” in which the luminance value (luminance component) of the display image calculated by the average luminance calculator 330 is associated with a predetermined level. In the present embodiment, it is assumed that the calculated image brightness value (for example, 0 to 255) is divided and set in units of a predetermined range. In the image luminance level correspondence table shown in FIG. 4B, five levels (hereinafter referred to as “image luminance levels”) of 1 to 5 are set in order of decreasing image luminance values (that is, dark). To do.

図４（ｃ）は、外光レベルと画像輝度レベルの組み合わせと、表示輝度レベルおよび動作電流値とを対応づけた「表示輝度レベル対応表」の例を示す。本実施形態では、例えば、表示パネル４１の表示性能やバックライト４２の発光性能などに基づいて、画像表示時の外光照度と画像輝度の組み合わせに応じた好適な表示輝度レベルが予め設定されているものとし、表示輝度レベル対応表に設定されているものとする。本実施形態では、表示輝度の暗い順に１〜５の５段階のレベル（以下、「表示輝度レベル」とする）が設定されているものとし、図４（ｃ）に示すように、各表示輝度レベル値には、その表示輝度レベルとなる光量でバックライト４２を発光させるために必要な、バックライト４２の動作電流値が対応づけられている。 FIG. 4C shows an example of a “display brightness level correspondence table” in which combinations of external light levels and image brightness levels are associated with display brightness levels and operating current values. In the present embodiment, for example, based on the display performance of the display panel 41, the light emission performance of the backlight 42, and the like, a suitable display brightness level corresponding to the combination of the external light illuminance and the image brightness at the time of image display is set in advance. Suppose that it is set in the display luminance level correspondence table. In this embodiment, it is assumed that five levels (hereinafter referred to as “display luminance levels”) of 1 to 5 are set in order of dark display luminance, and each display luminance is set as shown in FIG. The level value is associated with the operating current value of the backlight 42 which is necessary for causing the backlight 42 to emit light with a light amount that becomes the display luminance level.

すなわち、表示輝度設定部３４０は、外光照度レベル対応表と画像輝度レベル対応表を参照することで、センサ信号変換部３１０から取得した外光照度値と平均輝度算出部３３０から取得した画像輝度値のそれぞれに対応するレベルを特定することができ、さらに、表示輝度レベル対応表を参照することで、特定した外光照度と画像輝度のレベルの組み合わせに対応する表示輝度レベルとそのための動作電流値とを特定することができる。表示輝度設定部３４０は、このようにして特定した動作電流値を示す情報を光源ドライバ３６０に送出する。 That is, the display luminance setting unit 340 refers to the external light illuminance level correspondence table and the image luminance level correspondence table, so that the external light illuminance value acquired from the sensor signal conversion unit 310 and the image luminance value acquired from the average luminance calculation unit 330 are calculated. The level corresponding to each can be specified, and by referring to the display luminance level correspondence table, the display luminance level corresponding to the combination of the specified ambient light illuminance and the image luminance level and the operating current value therefor can be obtained. Can be identified. The display brightness setting unit 340 sends information indicating the operating current value specified in this way to the light source driver 360.

光源ドライバ３６０は、バックライト４２を駆動制御するドライバ装置であり、表示輝度設定部３４０から供給された動作電流値を示す情報に基づいて、バックライト４２の発光動作を制御する。すなわち、表示輝度設定部３４０が設定した動作電流値の電流をバックライト４２に印加することで、設定された表示輝度となる光量をバックライト４２に発光させる。 The light source driver 360 is a driver device that drives and controls the backlight 42, and controls the light emission operation of the backlight 42 based on information indicating the operating current value supplied from the display luminance setting unit 340. That is, by applying a current having an operating current value set by the display brightness setting unit 340 to the backlight 42, the backlight 42 emits a light amount corresponding to the set display brightness.

本実施形態では、輝度成分抽出部３２０、平均輝度算出部３３０、および、表示輝度設定部３４０が、演算回路などのハードウェアによって構成されるものとするが、これに限られず、例えば、ホストコントローラ１００がプログラムを実行することにより、これらの機能がソフトウェア処理によって実現されるよう構成してもよい。 In the present embodiment, the luminance component extraction unit 320, the average luminance calculation unit 330, and the display luminance setting unit 340 are configured by hardware such as an arithmetic circuit. However, the present invention is not limited to this. For example, a host controller These functions may be realized by software processing when the program 100 executes the program.

また、設定記憶部３５０は、専用の記憶装置から構成できる他、例えば、記憶部６０に構成されてもよい。なお、設定記憶部３５０に格納される設定情報を、表示パネル４１やバックライト４２の性能に基づいて予め設定した固定的な情報とする場合、設定記憶部３５０をＲＯＭなどの書換できない記憶装置から構成してもよい。しかしながら、例えば、表示輝度レベル対応表に記録される情報などは、ユーザの嗜好などに応じて変更してもよく、この場合は、書換可能な記憶装置（フラッシュメモリなど）によって設定記憶部３５０が構成されることが望ましい。 In addition, the setting storage unit 350 can be configured from a dedicated storage device, or may be configured in the storage unit 60, for example. When the setting information stored in the setting storage unit 350 is fixed information set in advance based on the performance of the display panel 41 or the backlight 42, the setting storage unit 350 is stored in a non-rewritable storage device such as a ROM. It may be configured. However, for example, the information recorded in the display brightness level correspondence table may be changed according to the user's preference and the like. In this case, the setting storage unit 350 uses a rewritable storage device (flash memory or the like). Desirably configured.

上記各構成は本発明を実現するために必要な構成であり、移動体通信端末としての基本機能や付加機能のために必要なその他の構成は必要に応じて備えられているものとする。 Each of the above-described configurations is a configuration necessary for realizing the present invention, and other configurations necessary for a basic function and an additional function as a mobile communication terminal are provided as necessary.

このような構成を有する移動体通信端末１の動作を以下説明する。ここでは、ホストコントローラ１００から表示制御部２００に画像データが送出された際に表示制御部２００が実行する画像表示処理を、図５に示すフローチャートを参照して説明する。この画像表示処理は、ホストコントローラ１００から表示制御部２００に画像データが入力されたことを契機に開始される。 The operation of the mobile communication terminal 1 having such a configuration will be described below. Here, an image display process executed by the display control unit 200 when image data is sent from the host controller 100 to the display control unit 200 will be described with reference to a flowchart shown in FIG. This image display process is started when image data is input from the host controller 100 to the display control unit 200.

処理が開始されると、動作制御部２２０が、入力された画像データの種別（画像種別）を判別する（ステップＳ１０１）。ここでは、入力された画像が、動画像であるか静止画像であるかを判別する。 When the process is started, the operation control unit 220 determines the type (image type) of the input image data (step S101). Here, it is determined whether the input image is a moving image or a still image.

画像種別を判別すると、動作制御部２２０は、判別した画像種別をメモリライト制御部２４０とメモリリード制御部２５０に通知する。 When the image type is determined, the operation control unit 220 notifies the determined image type to the memory write control unit 240 and the memory read control unit 250.

メモリライト制御部２４０は、動作制御部２２０からの通知に基づいて、ホストインタフェース２１０から供給される画像データを、動画像展開領域２３１または静止画像展開領域２３２のいずれかに展開する（ステップＳ１０２）。すなわち、画像種別が動画像であれば、供給される各フレーム画像のデータを動画像展開領域２３１に展開し、静止画像であれば、供給された画像データを静止画像展開領域２３２に展開する。 Based on the notification from the operation control unit 220, the memory write control unit 240 develops the image data supplied from the host interface 210 in either the moving image development region 231 or the still image development region 232 (step S102). . That is, if the image type is a moving image, the data of each supplied frame image is expanded in the moving image expansion area 231, and if the image type is a still image, the supplied image data is expanded in the still image expansion area 232.

メモリリード制御部２５０は、動作制御部２２０からの通知に応じて、動画像展開領域２３１または静止画像展開領域２３２のいずれかから、展開されている画像データを読み出して（ステップＳ１０３）、パネル駆動部２６０とバックライト調光部３００に供給する。ここでは、通知された画像種別が動画像であれば動画像展開領域２３１に展開されている画像データを読み出し、静止画像であれば静止画像展開領域２３２に展開されている画像データを読み出す。 In response to the notification from the operation control unit 220, the memory read control unit 250 reads the developed image data from either the moving image development region 231 or the still image development region 232 (step S103), and performs panel driving. To the unit 260 and the backlight dimming unit 300. Here, if the notified image type is a moving image, the image data expanded in the moving image expansion area 231 is read out, and if it is a still image, the image data expanded in the still image expansion area 232 is read out.

パネル駆動部２６０は、メモリリード制御部２５０から供給された画像データに基づいて表示パネル４１を駆動制御し、当該画像を表示パネル４１に表示させる（ステップＳ１０４）。 The panel drive unit 260 drives and controls the display panel 41 based on the image data supplied from the memory read control unit 250, and displays the image on the display panel 41 (step S104).

ここで、表示画像が動画像である場合、パネル駆動部２６０は、当該動画像の表示にかかるフレーム同期信号を発生させ（ステップＳ１０５）、随時動作制御部２２０に送出する。 Here, when the display image is a moving image, the panel drive unit 260 generates a frame synchronization signal for displaying the moving image (step S105) and sends it to the operation control unit 220 as needed.

上記ステップＳ１０２〜Ｓ１０５の処理と並行して、バックライト４２を発光させるためのバックライト発光処理が、動作制御部２２０とバックライト調光部３００によって実行される（ステップＳ２００）。このバックライト発光処理は、動作制御部２２０が画像種別を判別したことを契機に開始される。バックライト発光処理を、図６に示すフローチャートを参照して説明する。 In parallel with the processes in steps S102 to S105, a backlight emission process for causing the backlight 42 to emit light is executed by the operation control unit 220 and the backlight dimming unit 300 (step S200). The backlight emission process is started when the operation control unit 220 determines the image type. The backlight emission process will be described with reference to the flowchart shown in FIG.

バックライト発光処理が開始されると、動作制御部２２０は、センサ信号変換部３１０に動作実行を指示する。この指示に基づいて、センサ信号変換部３１０は、外光センサ５０から取得している外光照度を示すセンサ信号をデジタル信号に変換する。ここでは、センサ信号変換部３１０は、外光センサ５０が検出した外光照度値を示すセンサ信号を、動作制御部２２０から指示を受けたタイミングでデジタル信号（以下、「外光照度信号」とする）に変換して、表示輝度設定部３４０に送出する。これにより、動作制御部２２０による指示タイミングで外光照度信号の取得がおこなわれる（ステップＳ２０１）。 When the backlight emission process is started, the operation control unit 220 instructs the sensor signal conversion unit 310 to execute the operation. Based on this instruction, the sensor signal conversion unit 310 converts the sensor signal indicating the ambient light illuminance acquired from the ambient light sensor 50 into a digital signal. Here, the sensor signal conversion unit 310 converts the sensor signal indicating the external light illuminance value detected by the external light sensor 50 into a digital signal (hereinafter referred to as an “external light illuminance signal”) at a timing when an instruction is received from the operation control unit 220. And sent to the display brightness setting unit 340. Thereby, an external light illuminance signal is acquired at an instruction timing by the operation control unit 220 (step S201).

表示輝度設定部３４０は、センサ信号変換部３１０が送出した外光照度信号を取得すると、設定記憶部３５０の外光レベル対応表（図４（ａ））を参照し、現在の外光照度に対応する外光レベルを特定する（ステップＳ２０２）。 When the display luminance setting unit 340 acquires the external light illuminance signal sent from the sensor signal conversion unit 310, the display luminance setting unit 340 refers to the external light level correspondence table (FIG. 4A) of the setting storage unit 350 and corresponds to the current external light illuminance. The ambient light level is specified (step S202).

ここで、上記ステップＳ１０３でのメモリリード制御部２５０の動作により、表示メモリ２３０に展開されている画像データがバックライト調光部３００に入力されると、輝度成分抽出部３２０が当該画像の輝度成分を抽出し（ステップＳ２０３）、平均輝度算出部３３０がその平均輝度を算出して（ステップＳ２０４）、表示輝度設定部３４０に供給する。 Here, when the image data developed in the display memory 230 is input to the backlight dimming unit 300 by the operation of the memory read control unit 250 in step S103, the luminance component extraction unit 320 causes the luminance of the image to be displayed. The components are extracted (step S203), and the average luminance calculation unit 330 calculates the average luminance (step S204) and supplies it to the display luminance setting unit 340.

表示輝度設定部３４０は、平均輝度算出部３３０が算出した平均輝度値を取得すると、設定記憶部３５０の画像輝度レベル対応表（図４（ｂ））を参照し、表示する画像の輝度に対応する画像輝度レベルを特定する（ステップＳ２０５）。 When the display luminance setting unit 340 acquires the average luminance value calculated by the average luminance calculation unit 330, the display luminance setting unit 340 refers to the image luminance level correspondence table (FIG. 4B) in the setting storage unit 350 and corresponds to the luminance of the image to be displayed. The image luminance level to be specified is specified (step S205).

表示輝度設定部３４０はさらに、設定記憶部３５０の表示輝度レベル対応表（図４（ｃ））を参照し、ステップＳ２０２で特定した外光レベルとステップＳ２０５で特定した画像輝度レベルの組み合わせに対応する動作電流値を特定して（ステップＳ２０６）、光源ドライバ３６０に通知する。 The display luminance setting unit 340 further refers to the display luminance level correspondence table (FIG. 4C) in the setting storage unit 350 and corresponds to the combination of the external light level specified in step S202 and the image luminance level specified in step S205. The operating current value to be determined is specified (step S206) and notified to the light source driver 360.

光源ドライバ３６０は、表示輝度設定部３４０から通知された動作電流値でバックライト４２を駆動制御する（ステップＳ２０７）。これにより、表示する画像の輝度と外光照度に基づいて求められる好適な表示輝度となる光量でバックライト４２が発光し、図５に示す画像表示処理のフローに戻る。 The light source driver 360 drives and controls the backlight 42 with the operating current value notified from the display luminance setting unit 340 (step S207). As a result, the backlight 42 emits light with a light quantity that provides a suitable display brightness obtained based on the brightness of the image to be displayed and the illuminance of outside light, and the flow returns to the flow of the image display process shown in FIG.

そして、画像表示処理では、動作制御部２２０によって、画像表示動作を終了するか否かが判別される（ステップＳ１０６）。ここでは、例えば、ホストコントローラ１００から表示制御部２００への画像データの供給状態やホストコントローラ１００からの指示などに基づいて、画像表示動作を終了するか否かを判別する。 In the image display process, the operation control unit 220 determines whether or not to end the image display operation (step S106). Here, for example, it is determined whether or not to end the image display operation based on the supply state of the image data from the host controller 100 to the display control unit 200 or an instruction from the host controller 100.

画像表示動作を終了しない場合（ステップＳ１０６：Ｎｏ）、ステップＳ１０２に戻って表示パネル４１上での画像表示を継続するとともに、バックライト４２の調光により表示輝度を制御するための表示輝度制御処理が、動作制御部２２０とバックライト調光部３００により画像表示動作と並行して実行される（ステップＳ３００）。この表示輝度制御処理を、図７に示すフローチャートを参照して説明する。 When the image display operation is not finished (step S106: No), the process returns to step S102 to continue the image display on the display panel 41 and to control the display brightness by the dimming of the backlight 42. Is executed in parallel with the image display operation by the operation control unit 220 and the backlight dimming unit 300 (step S300). This display brightness control process will be described with reference to the flowchart shown in FIG.

ここでは、上記ステップＳ１０１で判別した画像種別が動画像である場合（ステップＳ３０１：Ｙｅｓ）、動作制御部２２０は、パネル駆動部２６０でフレーム同期信号が発生すると（ステップＳ３０２：Ｙｅｓ）、そのタイミングでセンサ信号変換部３１０に動作実行を指示する（ステップＳ３０３）。この場合、上述したバックライト発光処理（図６：ステップＳ２０１〜Ｓ２０７）での各処理と同様の動作がバックライト調光部３００によって実行される（ステップＳ２００）。 Here, when the image type determined in step S101 is a moving image (step S301: Yes), the operation control unit 220 generates a frame synchronization signal in the panel drive unit 260 (step S302: Yes), and the timing thereof. The sensor signal conversion unit 310 is instructed to execute the operation (step S303). In this case, the backlight dimming unit 300 performs the same operations as those in the above-described backlight emission process (FIG. 6: steps S201 to S207) (step S200).

すなわち、ステップＳ３０３での動作制御部２２０からの指示タイミングで、センサ信号変換部３１０が外光照度信号を表示輝度設定部３４０に送出する。表示輝度設定部３４０は、外光照度信号を取得したタイミングで外光レベルと画像輝度レベルを特定することで、好適な表示輝度を特定する。そして、特定した表示輝度となる動作電流値でバックライト４２を動作させることで、バックライト４２の光量が調整され、好適な表示輝度で画面表示がおこなわれる。 That is, the sensor signal conversion unit 310 sends an external light illuminance signal to the display luminance setting unit 340 at the instruction timing from the operation control unit 220 in step S303. The display luminance setting unit 340 specifies a suitable display luminance by specifying the external light level and the image luminance level at the timing when the external light illuminance signal is acquired. Then, by operating the backlight 42 with the operating current value that provides the specified display brightness, the amount of light of the backlight 42 is adjusted, and screen display is performed with a suitable display brightness.

そして、図５に示す画像表示処理のフローに戻る。ここでは、画像表示動作の終了が判別されるまで（ステップＳ１０６：Ｙｅｓ）、表示輝度制御処理（ステップＳ３００）が繰り返し実行される（ステップＳ１０６：Ｎｏ）。すなわち、画像種別が動画像である場合、フレーム同期信号が発生する度に、そのタイミングで表示輝度の調整がおこなわれることになる。この場合、センサ信号変換部３１０によるデジタル変換が当該タイミングによっておこなわれているので、換言すると、フレーム同期信号に基づくサンプリング周期で外光照度の検出信号をサンプリングして取得していることになる。 Then, the flow returns to the image display processing flow shown in FIG. Here, until the end of the image display operation is determined (step S106: Yes), the display luminance control process (step S300) is repeatedly executed (step S106: No). That is, when the image type is a moving image, the display luminance is adjusted at the timing each time a frame synchronization signal is generated. In this case, since the digital conversion by the sensor signal conversion unit 310 is performed at the timing, in other words, the detection signal of the ambient light illuminance is sampled and acquired at the sampling period based on the frame synchronization signal.

このように動作することで、動画像を構成する各フレーム画像の画像輝度と外光照度に応じて動的に表示輝度調整がおこなわれ、良好な画面表示を得ることができる。 By operating in this way, the display brightness is dynamically adjusted according to the image brightness and the external light illuminance of each frame image constituting the moving image, and a good screen display can be obtained.

ここで、上述した図７の表示輝度制御処理フローに戻り、画像種別が静止画像である場合（ステップＳ３０１：Ｎｏ）の動作を説明する。この場合、動作制御部２２０は、少なくとも、フレーム同期信号に基づいた時間間隔（例えば、１／６０〜１／３０秒毎）よりも長い時間間隔（例えば、１〜数秒毎）となる所定の時間が経過した場合に（ステップＳ３０５：Ｙｅｓ）、そのタイミングでセンサ信号変換部３１０に動作実行を指示する（ステップＳ３０３）。この場合も、上述した図６に示したバックライト発光処理（図６：ステップＳ２０１〜Ｓ２０７）の動作と同様の動作がバックライト調光部３００によって実行される（ステップＳ２００）。 Here, returning to the above-described display luminance control processing flow of FIG. 7, the operation when the image type is a still image (step S301: No) will be described. In this case, the operation control unit 220 has at least a predetermined time that is a time interval (for example, every 1 to several seconds) longer than a time interval (for example, every 1/60 to 1/30 seconds) based on the frame synchronization signal. (Step S305: Yes), the sensor signal conversion unit 310 is instructed to execute an operation at that timing (step S303). Also in this case, the backlight dimming unit 300 performs the same operation as the operation of the backlight emission process (FIG. 6: steps S201 to S207) shown in FIG. 6 (step S200).

そして、上述した動画像の場合と同様に、画像表示処理（図５）において画像表示動作の終了が判別されるまで（ステップＳ１０６：Ｙｅｓ）、表示輝度制御処理（ステップＳ３００）が繰り返し実行される（ステップＳ１０６：Ｎｏ）。すなわち、画像種別が静止画像である場合、動画像表示時のフレーム同期信号に基づく動作タイミングよりも長い時間間隔となるタイミングで表示輝度の調整がおこなわれることになる。 As in the case of the moving image described above, the display luminance control process (step S300) is repeatedly executed until the end of the image display operation is determined in the image display process (FIG. 5) (step S106: Yes). (Step S106: No). That is, when the image type is a still image, the display brightness is adjusted at a timing that is longer than the operation timing based on the frame synchronization signal at the time of moving image display.

このように、表示制御部２００は、表示輝度の調整を動的におこないながら画像表示をおこなう。そして、動作制御部２２０が、画像表示処理（図５）において画像表示動作の終了を判別すると（ステップＳ１０６：Ｙｅｓ）、表示制御部２００は画像表示処理を終了する。 As described above, the display control unit 200 displays an image while dynamically adjusting the display luminance. Then, when the operation control unit 220 determines the end of the image display operation in the image display process (FIG. 5) (step S106: Yes), the display control unit 200 ends the image display process.

以上のような動作により、動画像を表示する際は、フレーム画像の表示切替タイミングで発生するフレーム同期信号に基づくタイミングで表示輝度の調整がされるので、フレーム画像単位で画像輝度が変化しうる動画像を表示する場合でも、常に好適な表示輝度で表示することができる。 With the above operation, when displaying a moving image, the display luminance is adjusted at the timing based on the frame synchronization signal generated at the display switching timing of the frame image, so that the image luminance can be changed for each frame image. Even when a moving image is displayed, it can always be displayed with a suitable display luminance.

一方、画像輝度に変化のない静止画像を表示する場合は、少なくとも動画像表示時よりも長い時間間隔で表示輝度調整をおこなうので、表示輝度調整にかかる動作数が動画像表示時よりも少なくなる。このため、動画像表示時よりも少ない消費電力で画像表示をおこなうことができる。この場合であっても、所定時間毎に表示輝度調整をおこなっているので、例えば、移動体通信端末１の移動に伴って外光照度が変化しても、そのときの外光照度に応じた表示輝度に調整され、良好な画面表示を得ることができる。 On the other hand, when displaying a still image with no change in image brightness, display brightness adjustment is performed at a time interval that is at least longer than when moving images are displayed, so the number of operations for display brightness adjustment is less than when moving images are displayed. . For this reason, it is possible to display an image with less power consumption than when displaying a moving image. Even in this case, since the display brightness is adjusted every predetermined time, for example, even if the external light illuminance changes as the mobile communication terminal 1 moves, the display brightness according to the external light illuminance at that time Therefore, a good screen display can be obtained.

以上説明したように、本発明を上記実施形態の如く適用することで、表示する画像の種別に応じて動作タイミングを変化させて表示輝度調整をおこなうので、良好な画面表示と消費電力の低減を両立させることができる。 As described above, by applying the present invention as in the above embodiment, the display brightness is adjusted by changing the operation timing according to the type of image to be displayed, so that a good screen display and power consumption can be reduced. Both can be achieved.

上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。 The said embodiment is an example and the application range of this invention is not restricted to this. That is, various applications are possible, and all embodiments are included in the scope of the present invention.

上記実施形態では、動画像表示時に、各フレーム画像の表示切替タイミングでフレーム同期信号を発生させたが、これに限られず、例えば、画像輝度の変化が大きい場合にフレーム同期信号を発生させるようにしてもよい。 In the above embodiment, the frame synchronization signal is generated at the display switching timing of each frame image at the time of moving image display. However, the present invention is not limited to this. For example, the frame synchronization signal is generated when the change in image luminance is large. May be.

例えば、動画像の符号化にフレーム間差分符号化方式が用いられている場合、前フレームとの変化が少ないフレームに対してはインターフレーム差分符号化がおこなわれ、先頭フレームや前フレームとの変化が大きいフレームにはイントラ符号化がおこなわれている。このような場合に、イントラ符号化がおこなわれたフレームを表示したタイミングでフレーム同期信号を発生させることで、画像輝度の変化が大きいフレームを表示したタイミングで表示輝度調整をおこなうことができる。すなわち、フレーム間での画像変化が少ない部分では画像輝度の変化も少ないと言えるので、フレーム間差分符号化がおこなわれたフレームを表示している間は表示輝度調整をおこなわないことで、動画像表示時も消費電力の低減を図ることができる。 For example, when an inter-frame differential encoding method is used for encoding a moving image, inter-frame differential encoding is performed for a frame with little change from the previous frame, and the change from the first frame or the previous frame is performed. Intra coding is performed on frames with a large. In such a case, the display brightness adjustment can be performed at the timing when the frame having a large change in image brightness is displayed by generating the frame synchronization signal at the timing when the frame subjected to the intra coding is displayed. In other words, it can be said that the change in image brightness is small in the portion where the image change between frames is small, so that the display brightness adjustment is not performed while the frame subjected to the inter-frame difference encoding is displayed. Power consumption can be reduced even during display.

また、上記実施形態では、静止画像表示時には、所定時間毎に表示輝度調整をおこなうものとしたが、静止画像の場合は、画像輝度に変化がないため、表示輝度調整が必要となるのは外光照度に変化が起きた場合である。よって、外光センサ５０による外光照度の検出値を、表示輝度設定部３４０などが常にモニタし、例えば、所定の閾値以上となる変化が検出値に現れた場合に、そのタイミングで表示輝度調整をおこなうようにしてもよい。 In the above embodiment, the display brightness is adjusted every predetermined time when displaying a still image. However, in the case of a still image, there is no change in the image brightness. This is a case where a change occurs in the light illuminance. Therefore, the detection value of the external light illuminance by external light sensor 50 constantly monitors a display brightness setting unit 340, for example, if a change larger than a prescribed threshold value appeared on the detected value, the display luminance adjustment in the timing of its You may make it perform.

なお、上記実施形態では、本発明を移動体通信端末に適用した場合を例示したが、表示輝度の調整をおこなえる表示装置を有しているのであれば、移動体通信端末に限られず、種々の携帯型電子機器（例えば、ＰＤＡ（Personal Digital Assistants：携帯情報端末）、デジタルカメラ、パーソナルコンピュータ、など）に本発明を適用することができる。 In the above embodiment, the case where the present invention is applied to a mobile communication terminal is illustrated. However, as long as a display device capable of adjusting display luminance is provided, the present invention is not limited to a mobile communication terminal, and various The present invention can be applied to portable electronic devices (for example, PDAs (Personal Digital Assistants), digital cameras, personal computers, etc.).

また、上記実施形態では、バックライトを用いる液晶表示装置を例示したが、表示輝度を調整できるものであれば、これに限られず、任意の表示装置に本発明を適用することができる。 In the above embodiment, a liquid crystal display device using a backlight is exemplified, but the present invention is not limited to this as long as the display luminance can be adjusted, and the present invention can be applied to any display device.

さらに、上記実施形態に係る各制御部などの構成は、ハードウェアによって実現可能であることはもとより、ホストコントローラ１００や他の制御部のソフトウェア処理によって実現されてもよい。この場合、上述した各処理を実現するためのプログラムを記憶部６０に格納し、ホストコントローラ１００がこのようなプログラムを実行するようにすればよい。
そして、このようなプログラムが予め組み込まれた表示制御装置として提供可能なことはもとより、上記実施形態にかかる移動体通信端末１として機能させることもできる。
このようなプログラムの提供方法は任意であり、例えば、インタ−ネットなどの通信媒体を介して提供可能の他、例えば、メモリカードなどの記録媒体に格納して配布してもよい。 Furthermore, the configuration of each control unit and the like according to the above embodiment may be realized by software processing of the host controller 100 or another control unit as well as being realizable by hardware. In this case, a program for realizing each process described above may be stored in the storage unit 60, and the host controller 100 may execute such a program.
And it can be made to function as the mobile communication terminal 1 concerning the said embodiment not only that it can provide as a display control apparatus with such a program incorporated previously.
The method of providing such a program is arbitrary. For example, the program may be provided via a communication medium such as the Internet, or may be distributed by being stored in a recording medium such as a memory card.

本発明の実施形態にかかる移動体通信端末の構成を示すブロック図である。It is a block diagram which shows the structure of the mobile communication terminal concerning embodiment of this invention. 図１に示す表示制御部の構成を示すブロック図である。It is a block diagram which shows the structure of the display control part shown in FIG. 図２に示すバックライト調光部の構成を示すブロック図である。It is a block diagram which shows the structure of the backlight light control part shown in FIG. 図３に示す設定記憶部に格納される情報の例を示す図であり、（ａ）は外光レベル対応表の例を示し、（ｂ）は画像輝度レベル対応表の例を示し、（ｃ）は表示輝度レベル対応表の例を示す。FIG. 4 is a diagram illustrating an example of information stored in a setting storage unit illustrated in FIG. 3, where (a) illustrates an example of an external light level correspondence table, (b) illustrates an example of an image luminance level correspondence table, and (c) ) Shows an example of a display luminance level correspondence table. 本発明の実施形態にかかる画像表示処理を説明するためのフローチャートである。It is a flowchart for demonstrating the image display process concerning embodiment of this invention. 図５に示す画像表示処理で実行されるバックライト発光処理を説明するためのフローチャートである。6 is a flowchart for explaining a backlight emission process executed in the image display process shown in FIG. 5. 図５に示す画像表示処理で実行される表示輝度制御処理を説明するためのフローチャートである。It is a flowchart for demonstrating the display brightness control process performed by the image display process shown in FIG.

Explanation of symbols

１…移動体通信端末、１０…通信制御部、１１…アンテナ、１２…スピーカ、１３…マイクロフォン、２０…カメラ部、３０…操作部、４０…表示部、４１…表示パネル、４２…バックライト、５０…外光センサ、６０…記憶部、６１…画像格納領域、６２…プログラム格納領域、１００…ホストコントローラ、２００…表示制御部、２１０…ホストインタフェース、２２０…動作制御部、２３０…表示メモリ、２３１…動画像展開領域、２３２…静止画像展開領域、２４０…メモリライト制御部、２５０…メモリリード制御部、２６０…パネル駆動部、３００…バックライト調光部、３１０…センサ信号変換部、３２０…輝度成分抽出部、３３０…平均輝度算出部、３４０…表示輝度設定部、３５０…設定記憶部、３６０…光源ドライバ DESCRIPTION OF SYMBOLS 1 ... Mobile communication terminal, 10 ... Communication control part, 11 ... Antenna, 12 ... Speaker, 13 ... Microphone, 20 ... Camera part, 30 ... Operation part, 40 ... Display part, 41 ... Display panel, 42 ... Back light, DESCRIPTION OF SYMBOLS 50 ... External light sensor, 60 ... Memory | storage part, 61 ... Image storage area, 62 ... Program storage area, 100 ... Host controller, 200 ... Display control part, 210 ... Host interface, 220 ... Operation control part, 230 ... Display memory, 231 ... Moving image development area, 232 ... Still image development area, 240 ... Memory write control section, 250 ... Memory read control section, 260 ... Panel drive section, 300 ... Backlight dimming section, 310 ... Sensor signal conversion section, 320 ... luminance component extraction unit, 330 ... average luminance calculation unit, 340 ... display luminance setting unit, 350 ... setting storage unit, 360 ... light source driver

Claims

A display control device for dimming a display device,
Image discriminating means for discriminating whether the type of image displayed on the display device is a still image or a moving image;
A synchronization signal generating means for generating a synchronization signal for the moving image when the type of the image determined by the image determining means is a moving image;
Image luminance detecting means for detecting an average luminance of one frame of the displayed image as an image luminance of the image;
An external light illuminance detecting means for detecting external light illuminance at different sampling periods according to the type of image determined by the image determining means;
Based on the image luminance detected by the image luminance detection unit and the external light illuminance detected by the external light illuminance detection unit, the display luminance of the display device is controlled at different timings according to the image type determined by the image determination unit. A light control means,
The external light illuminance detection means detects the external light illuminance at a sampling period based on the synchronization signal when it is determined that the type of the image is a moving image.
When it is determined that the type of the image is a moving image, the light control unit performs display luminance control at an external light illuminance detection timing by the external light illuminance detection unit, and the image type is a still image. If determined, the display brightness control based on the detected external light illuminance is performed at a timing when the change in the external light illuminance detected by the external light illuminance detection means is equal to or greater than a threshold value.
A display control device characterized by that.

The synchronization signal generating means generates the synchronization signal at a frame switching timing of the moving image;
The image luminance detecting means detects display luminance for each frame image of the moving image based on the synchronization signal;
The display control apparatus according to claim 1.

The synchronization signal generating means generates the synchronization signal at a timing when an intra-encoded frame is displayed when the moving image is encoded by an inter-frame difference encoding method.
The display control apparatus according to claim 1.

The synchronization signal generating means generates the synchronization signal when the image brightness detected by the image brightness detecting means changes;
The display control apparatus according to claim 1.

The display device is a liquid crystal display device provided with a backlight,
The dimming means controls the display brightness by controlling the amount of light of the backlight.
The display control apparatus according to claim 1, wherein the display control apparatus is a display control apparatus.

In a computer that controls a display control device that performs dimming of the display device,
An image determination procedure for determining whether the type of image displayed on the display device is a still image or a moving image;
If it is determined that the type of the image is a moving image, a synchronization signal generation procedure for generating a synchronization signal for the moving image;
An image luminance detection procedure for detecting an average luminance of one frame of the displayed image as an image luminance of the image;
When it is determined that the image type is a moving image, the ambient light illuminance is detected at a timing based on the synchronization signal, and the detected ambient light illuminance is detected at the detection timing of the ambient light illuminance and the image brightness detection procedure. A video image dimming procedure for controlling the display brightness of the display device based on the image brightness
When it is determined that the type of the image is a still image, the detected ambient light illuminance and the image brightness detected by the image brightness detection procedure at the timing when the change in the detected ambient light illuminance is equal to or greater than a threshold value. And a still image time dimming procedure for controlling the display brightness of the display device,
A program characterized by realizing.