JP6120541B2 - Display control apparatus and control method thereof - Google Patents

Display control apparatus and control method thereof Download PDF

Info

Publication number
JP6120541B2
JP6120541B2 JP2012263519A JP2012263519A JP6120541B2 JP 6120541 B2 JP6120541 B2 JP 6120541B2 JP 2012263519 A JP2012263519 A JP 2012263519A JP 2012263519 A JP2012263519 A JP 2012263519A JP 6120541 B2 JP6120541 B2 JP 6120541B2
Authority
JP
Japan
Prior art keywords
zoom magnification
image
transmittance
touch panel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012263519A
Other languages
Japanese (ja)
Other versions
JP2014109662A (en
Inventor
知宏 太田
知宏 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012263519A priority Critical patent/JP6120541B2/en
Publication of JP2014109662A publication Critical patent/JP2014109662A/en
Application granted granted Critical
Publication of JP6120541B2 publication Critical patent/JP6120541B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、映像に重畳する画像を、その映像のズーム量に合わせて拡大縮小して重畳表示するための表示制御装置に関する。   The present invention relates to a display control apparatus for enlarging and reducing an image to be superimposed on a video in accordance with a zoom amount of the video and displaying the superimposed image.

マウスやタッチパネルのようなポインティングデバイスを用いて、カメラ映像や再生映像を表示した画面上に手描き文字やイラストを描画することができる装置がある。また、GPSによる位置情報に基づく情報や、被写体検出機能に基づく識別情報を、映像に重畳して表示することは、AR(Augmented Reality/拡張現実)技術として知られている(特許文献1)。   There is an apparatus that can draw hand-drawn characters and illustrations on a screen displaying a camera video or a playback video using a pointing device such as a mouse or a touch panel. In addition, it is known as AR (Augmented Reality / Augmented Reality) technology that information based on position information by GPS and identification information based on a subject detection function are superimposed and displayed on a video (Patent Document 1).

このように、カメラ映像や再生映像の上に別の画像を重畳表示した場合、映像のズーム変動に合わせて画像表示も拡大縮小することで、映像と画像の一体感を演出することができる(特許文献2)。   As described above, when another image is superimposed and displayed on the camera video or the playback video, the image display is enlarged or reduced in accordance with the zoom variation of the video, thereby providing a sense of unity between the video and the image ( Patent Document 2).

特開平10−42282号公報Japanese Patent Laid-Open No. 10-42282 特開2010−088076号公報JP 2010-088076 A

しかしながら、ズーム操作に連動して重畳画像を拡大していくと、その表示内容によっては画面の大半が重畳画像で埋め尽くされてしまい、下の映像がほとんど見えなくなり、映像の視認性を損なうことがあった。   However, if the superimposed image is enlarged in conjunction with the zoom operation, depending on the display content, the majority of the screen will be filled with the superimposed image, and the image below will be almost invisible, impairing the visibility of the image. was there.

そこで本発明は、映像の拡大に連動して重畳アイテムを拡大することによって映像を表示する画面の多くの部分が重畳アイテムに占められた場合でも、下の映像を視認しやすくすることができる表示制御装置及びその制御方法を提供することを目的とする。   Therefore, the present invention is a display that makes it easy to visually recognize the lower video even when the superimposed item occupies a large part of the screen for displaying the video by enlarging the superimposed item in conjunction with the enlargement of the video. It is an object to provide a control device and a control method thereof.

上記課題を解決するために、本発明の表示制御装置は、第1のズーム倍率で撮像部の撮像処理により生成された映像をタッチパネルに表示し、さらに、前記タッチパネルにタッチオンされた座標の位置に順次描画することによって生成されるイメージを第1の透過率で前記映像に重畳して前記タッチパネルに表示する表示制御手段と、前記撮像部で用いられるズーム倍率を第2のズーム倍率に変更する変更手段と、前記第1のズーム倍率と前記第2のズーム倍率の差に基づいて第2の透過率を設定する設定手段とを備え、前記表示制御手段は、前記変更手段により前記撮像部で用いられるズーム倍率が前記第2のズーム倍率に変更されたとき、前記イメージを前記第2のズーム倍率に基づき拡大して前記設定手段により設定された第2の透過率で、前記第2のズーム倍率で前記撮像部の撮像処理により生成された映像に重畳して前記タッチパネルに表示することを特徴とする。   In order to solve the above-described problem, the display control device of the present invention displays an image generated by the imaging process of the imaging unit at the first zoom magnification on the touch panel, and further, at a coordinate position touched on the touch panel. Display control means for displaying on the touch panel an image generated by sequentially drawing on the video image with a first transmittance, and a change for changing the zoom magnification used in the imaging unit to the second zoom magnification And setting means for setting a second transmittance based on a difference between the first zoom magnification and the second zoom magnification, and the display control means is used in the imaging unit by the changing means. When the zoom magnification to be changed is changed to the second zoom magnification, the image is enlarged based on the second zoom magnification and the second transmission set by the setting means In, wherein the superimposed on the generated image by the second imaging processing of the imaging unit at the zoom magnification displayed on the touch panel.

本発明によれば、イメージが重畳されている映像を拡大して表示する際に、イメージが重畳された時点のズーム倍率を基準としてイメージの透過率を変化させるので、イメージが映像に重畳されている状態を視認した後、さらに、拡大したときに、イメージの下にある映像の視認性を高められるという効果が得られる。   According to the present invention, when an image on which an image is superimposed is enlarged and displayed, the transmittance of the image is changed based on the zoom magnification at the time when the image is superimposed, so that the image is superimposed on the image. When the image is visually confirmed and then further magnified, the visibility of the image below the image can be improved.

本発明に係る実施形態を実現するビデオカメラのブロック図The block diagram of the video camera which implement | achieves embodiment which concerns on this invention メモリ107内のフレームメモリの内容と表示部108で表示される画面構成Contents of frame memory in memory 107 and screen configuration displayed on display unit 108 本実施形態の動作を示すフローチャートFlow chart showing the operation of this embodiment (A)カメラ映像401に手描きイラスト402を重畳した表示例。(B)拡大したカメラ映像401に、拡大して透過率を上げた手描きイラスト402を重畳した表示例。(C)更に拡大したカメラ映像401に、更に拡大して更に透過率を上げた手描きイラスト402を重畳した表示例。(A) Display example in which a hand-drawn illustration 402 is superimposed on a camera video 401. (B) A display example in which a hand-drawn illustration 402 enlarged and increased in transmittance is superimposed on an enlarged camera image 401. (C) A display example in which a hand-drawn illustration 402 that is further enlarged and further increased in transmittance is superimposed on a further enlarged camera image 401.

以下、図面を参照して本発明の好適な実施形態を説明する。   Preferred embodiments of the present invention will be described below with reference to the drawings.

図1は、本実施形態によるデジタルビデオカメラ100の構成例を示すブロック図である。   FIG. 1 is a block diagram illustrating a configuration example of a digital video camera 100 according to the present embodiment.

図1において、レンズ群101は、被写体光を撮像部102に導く光学系であり、ズームレンズ、フォーカスレンズ、絞りを含む撮像レンズ群である。
撮像部102は、レンズ群を通過した光学像を電気信号に変換するCCDもしくはCMOS素子、アナログ信号をデジタル信号に変換するA/D変換器を含む撮像部である。
In FIG. 1, a lens group 101 is an optical system that guides subject light to the imaging unit 102, and is an imaging lens group including a zoom lens, a focus lens, and a diaphragm.
The imaging unit 102 is an imaging unit including a CCD or CMOS element that converts an optical image that has passed through a lens group into an electrical signal, and an A / D converter that converts an analog signal into a digital signal.

レンズ駆動部103はズーム、フォーカス、絞りをそれぞれ制御するためのレンズ駆動部である。   The lens driving unit 103 is a lens driving unit for controlling zoom, focus, and aperture.

映像処理部104は、撮像部102からのデータ、又は、メモリ制御部106からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、映像処理部104では、撮像した映像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部109がレンズ駆動部103を介してズーム制御、露光制御、測距制御を行う。これにより、ズーム処理、AF(オートフォーカス)処理、AE(自動露出)処理が行われる。映像処理部104では更に、撮像した映像データを用いて所定の演算処理を行い、得られた演算結果に基づいてAWB(オートホワイトバランス)処理も行っている。
CODEC105は、映像処理部104からの映像データをMPEG2やH.264等の動画圧縮方式でエンコードしたり、メモリ制御部106から渡されるエンコード済み映像データをデコードしたりする。
The video processing unit 104 performs resize processing and color conversion processing such as predetermined pixel interpolation and reduction on the data from the imaging unit 102 or the data from the memory control unit 106. The video processing unit 104 performs predetermined arithmetic processing using the captured video data, and the system control unit 109 performs zoom control, exposure control, and measurement via the lens driving unit 103 based on the obtained calculation result. Perform distance control. Thereby, zoom processing, AF (autofocus) processing, and AE (automatic exposure) processing are performed. The video processing unit 104 further performs predetermined arithmetic processing using the captured video data, and also performs AWB (auto white balance) processing based on the obtained arithmetic result.
The CODEC 105 converts the video data from the video processing unit 104 into MPEG2 or H.264. The encoded video data such as H.264 is encoded, or the encoded video data passed from the memory control unit 106 is decoded.

撮像部102からの出力データは、映像処理部104およびCODEC105およびメモリ制御部106を介して、メモリ107に書き込まれる。   Output data from the imaging unit 102 is written into the memory 107 via the video processing unit 104, the CODEC 105, and the memory control unit 106.

メモリ107は、CODEC105によってエンコードされた映像データや、表示部108に表示するための映像データを格納する。メモリ107は、所定時間の動画像および音声データを格納するのに十分な記録容量を備えている。また、メモリ107はOSD表示用のビットマップメモリおよび画像表示用のビデオメモリを兼ねている。   The memory 107 stores video data encoded by the CODEC 105 and video data to be displayed on the display unit 108. The memory 107 has a recording capacity sufficient to store moving image and audio data for a predetermined time. The memory 107 also serves as a bitmap memory for OSD display and a video memory for image display.

表示部108は、LCD等のディスプレイよりなり、メモリ107から読み出した表示用の映像データに応じた表示を行う。撮像部102によってメモリ107に蓄積された映像データを表示部108に逐次転送して表示することで、電子ビューファインダ(スルー画像表示)として機能する。メモリ107内のビットマップメモリに描画された、アイコンやタイムコード等のOSD(オンスクリーンディスプレイ)やタッチパネル112による手描きイラスト画像を映像データに重畳して表示する機能も表示部108に含まれる。   The display unit 108 includes a display such as an LCD and performs display according to display video data read from the memory 107. The video data accumulated in the memory 107 by the imaging unit 102 is sequentially transferred to the display unit 108 and displayed, thereby functioning as an electronic viewfinder (through image display). The display unit 108 also includes a function of displaying an OSD (on-screen display) such as an icon or a time code drawn on the bitmap memory in the memory 107 or a hand-drawn illustration image by the touch panel 112 so as to be superimposed on the video data.

不揮発性メモリ110は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ110には、システム制御部109の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。   The nonvolatile memory 110 is an electrically erasable / recordable memory, and for example, an EEPROM or the like is used. In the nonvolatile memory 110, constants, programs, and the like for operating the system control unit 109 are recorded. Here, the program is a program for executing various flowcharts described later in the present embodiment.

システム制御部109は、デジタルビデオカメラ100全体を制御する。前述した不揮発性メモリ110に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。   A system control unit 109 controls the entire digital video camera 100. By executing the program recorded in the non-volatile memory 110 described above, each process of the present embodiment to be described later is realized.

システムメモリ111にはRAMが用いられ、システム制御部109の動作用の定数、変数、不揮発性メモリ110から読み出したプログラム等が展開される。また、システム制御部はメモリ107、表示部108等を制御することにより表示制御も行う。システムメモリ111はメモリ107と共通であってもよい。
電源スイッチ115、ズームレバー114、トリガーボタン113、タッチパネル112はシステム制御部109に各種の動作指示を入力するための操作手段である。
A RAM is used as the system memory 111, and constants and variables for operation of the system control unit 109, programs read from the nonvolatile memory 110, and the like are expanded. The system control unit also performs display control by controlling the memory 107, the display unit 108, and the like. The system memory 111 may be common with the memory 107.
The power switch 115, zoom lever 114, trigger button 113, and touch panel 112 are operation means for inputting various operation instructions to the system control unit 109.

電源スイッチ115は、デジタルビデオカメラ100全体の電源オン、電源オフを切り替える。   The power switch 115 switches between power on and power off of the entire digital video camera 100.

ズームレバー114は、システム制御部109に対して、レンズ駆動部103を介してレンズ群101の焦点距離を変更するよう指示するためのレバーであり、ある方向に操作すればテレ側に、もう一方に操作すればワイド側にズームする。   The zoom lever 114 is a lever for instructing the system control unit 109 to change the focal length of the lens group 101 via the lens driving unit 103. When operated in a certain direction, the zoom lever 114 is moved to the tele side. Operate to zoom to the wide side.

トリガーボタン113は、システム制御部109に対して、動画の撮影開始および終了を指示するための、トリガー信号を発生する。システム制御部109は、トリガー信号に応じて、撮像部102・映像処理部104・CODEC105・メモリ制御部106を介してメモリ107に蓄積されたエンコード済み映像データを記録媒体119に書き込むまでの一連の撮影処理を開始または終了する。   The trigger button 113 generates a trigger signal for instructing the system control unit 109 to start and end moving image shooting. The system control unit 109 performs a series of operations until the encoded video data stored in the memory 107 is written to the recording medium 119 via the imaging unit 102, the video processing unit 104, the CODEC 105, and the memory control unit 106 according to the trigger signal. Start or end the shooting process.

タッチパネル112は、表示部108に対する接触を検知可能なタッチパネルである。タッチパネル112と表示部108とは一体的に構成することができる。例えば、タッチパネル112を光の透過率が表示部108の表示を妨げないように構成し、表示部108の表示面の上層に取り付ける。そして、タッチパネル112における入力座標と、表示部108上の表示座標とを対応付ける。これにより、恰もユーザが表示部108上に表示された画面を直接的に操作可能であるかのようなGUIを構成することができる。システム制御部109はタッチパネル112への以下の操作・状態を検出できる。タッチパネルを指やペンで触れたこと(以下、タッチダウンと称する)。タッチパネルを指やペンで触れている状態であること(以下、タッチオンと称する)。タッチパネルを指やペンで触れたまま移動していること(以下、ムーブと称する)。タッチパネルへ触れていた指やペンを離したこと(以下、タッチアップと称する)。タッチパネルに何も触れていない状態(以下、タッチオフと称する)。これらの操作や、タッチパネル上に指やペンが触れている位置座標はシステム制御部109に通知され、システム制御部109は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。ムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。   The touch panel 112 is a touch panel that can detect contact with the display unit 108. The touch panel 112 and the display unit 108 can be configured integrally. For example, the touch panel 112 is configured such that the light transmittance does not hinder the display of the display unit 108 and is attached to the upper layer of the display surface of the display unit 108. Then, the input coordinates on the touch panel 112 are associated with the display coordinates on the display unit 108. Thereby, it is possible to configure the GUI as if the user can directly operate the screen displayed on the display unit 108. The system control unit 109 can detect the following operations / states on the touch panel 112. Touching the touch panel with a finger or a pen (hereinafter referred to as touchdown). The touch panel is touched with a finger or a pen (hereinafter referred to as touch-on). The touch panel is moved while being touched with a finger or a pen (hereinafter referred to as a move). The finger or pen that was touching the touch panel is released (hereinafter referred to as touch-up). A state where nothing is touched on the touch panel (hereinafter referred to as touch-off). The system control unit 109 is notified of these operations and the position coordinates where the finger or pen touches the touch panel, and the system control unit 109 determines what operation has been performed on the touch panel based on the notified information. judge. Regarding the move, the moving direction of the finger or pen moving on the touch panel can also be determined for each vertical component / horizontal component on the touch panel based on the change of the position coordinates. It is also assumed that a stroke is drawn when touch-up is performed on the touch panel through a certain move from touch-down. The touch panel may be any of various types of touch panels such as a resistive film method, a capacitance method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, an image recognition method, and an optical sensor method. .

電源制御部116は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部116は、その検出結果及びシステム制御部109の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体119を含む各部へ供給する。   The power control unit 116 includes a battery detection circuit, a DC-DC converter, a switch circuit that switches a block to be energized, and the like, and detects whether or not a battery is attached, the type of battery, and the remaining battery level. Further, the power control unit 116 controls the DC-DC converter based on the detection result and an instruction from the system control unit 109, and supplies a necessary voltage to each unit including the recording medium 119 for a necessary period.

電源部117は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。   The power supply unit 117 includes a primary battery such as an alkaline battery or a lithium battery, a secondary battery such as a NiCd battery, a NiMH battery, or a Li battery, an AC adapter, or the like.

インターフェース118はメモリカードやハードディスク等の記録媒体119とのインターフェースである。記録媒体119は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。   An interface 118 is an interface with a recording medium 119 such as a memory card or a hard disk. The recording medium 119 is a recording medium such as a memory card, and includes a semiconductor memory, a magnetic disk, or the like.

記録媒体119はメモリ107に格納されたエンコード済み映像データがI/F118によって記録されしたり、自身に記録されているエンコード済み映像データおよび付随するデータを、I/F118によって読み出してメモリ107に転送するた。記録媒体119はビデオカメラ100に装着されるメモリーカードやハードディスクドライブやディスクであってもよいし、ビデオカメラ100内に組み込まれたフラッシュメモリやハードディスクドライブであってもよい。   In the recording medium 119, the encoded video data stored in the memory 107 is recorded by the I / F 118, or the encoded video data and accompanying data recorded in the recording medium 119 are read by the I / F 118 and transferred to the memory 107. To do. The recording medium 119 may be a memory card, a hard disk drive, or a disk attached to the video camera 100, or a flash memory or a hard disk drive incorporated in the video camera 100.

次に、図2〜図4を参照して、本実施形態の動作を説明する。本実施形態では、図1のデジタルビデオカメラ100において、タッチパネル112によって描画した手描きイラストをカメラ映像と連動して表示する動作について説明する。   Next, the operation of this embodiment will be described with reference to FIGS. In the present embodiment, an operation of displaying a hand-drawn illustration drawn on the touch panel 112 in conjunction with the camera video in the digital video camera 100 of FIG. 1 will be described.

図2は、メモリ107内のフレームメモリの内容と、メモリ制御部106を介して表示部108によって表示される画面構成を表した図である。メモリ107には、少なくとも3画面分のグラフィック用フレームメモリ領域と、カメラスルー画用もしくは再生画像用フレームメモリが必要となる。   FIG. 2 is a diagram showing the contents of the frame memory in the memory 107 and the screen configuration displayed by the display unit 108 via the memory control unit 106. The memory 107 requires a graphic frame memory area for at least three screens and a camera through image or reproduced image frame memory.

図2(A)は、タッチパネル112によってあらかじめ描画された手描きイラストの下書きを記録したグラフィック用フレームメモリである。タッチパネル112がタッチオンされた座標をシステム制御部109が一定時間毎に読み出し、フレームメモリ(A)内の対応する座標位置にペン先イメージを順次描画することによって実現される。また、タッチダウンされた時に1回だけ描画すれば、スタンプのように扱うことができる。ペン先およびスタンプイメージは不揮発性メモリ110に複数パターン保持されており、必要なものをシステム制御部109がその都度読み出して利用する。図示していないボタン等のGUIをタッチパネル112で操作することによって、ペン先やスタンプのイメージ形状や色を変更することができ、多様なイラストを描画することができる。   FIG. 2A shows a graphic frame memory in which drafts of hand-drawn illustrations drawn in advance by the touch panel 112 are recorded. This is realized by the system control unit 109 reading the coordinates at which the touch panel 112 is touched on at regular intervals, and sequentially rendering the pen tip images at corresponding coordinate positions in the frame memory (A). Also, if it is drawn only once when touched down, it can be treated like a stamp. A plurality of patterns of pen nibs and stamp images are held in the non-volatile memory 110, and the system control unit 109 reads and uses necessary ones each time. By operating a GUI such as a button (not shown) on the touch panel 112, the image shape and color of the pen tip and the stamp can be changed, and various illustrations can be drawn.

図2(B)は表示部108に表示されるイメージを用意するためのグラフィック用フレームメモリであり、下書きフレームメモリ(A)の一部の領域が拡大コピーされている。この拡大コピーを行うときに、後述するカメラ映像フレームとの重畳時の透過率が設定される。   FIG. 2B shows a graphic frame memory for preparing an image to be displayed on the display unit 108, and a partial area of the draft frame memory (A) is enlarged and copied. When this enlarged copy is performed, the transmittance at the time of superimposition with a camera video frame, which will be described later, is set.

フレームメモリ(B)は2枚構成になっており、一方のフレームメモリでコピー処理が行われている間は、メモリ制御部106の読み出しは他方のフレームメモリに対して行われる。これによって、コピー中の中途半端なフレームイメージがメモリ制御部106に読み出され、表示部108でちらつきのように表示されることを避けることができる。コピー処理が完了したら読み出し元フレームメモリを切り替える。   The frame memory (B) has a two-sheet configuration, and while the copy process is being performed in one frame memory, the memory controller 106 reads out the other frame memory. As a result, it is possible to avoid a halfway frame image being copied being read out by the memory control unit 106 and displayed on the display unit 108 as flickering. When the copy process is completed, the reading source frame memory is switched.

図2(C)は、デジタルビデオカメラ100がカメラモード(撮影モード)の状態であれば、撮像部102で撮像して映像処理部104およびメモリ制御部106を介してメモリ107内にバッファリングした、スルー画像(カメラ映像)のフレームメモリである。あるいは、デジタルビデオカメラ100が再生モードの状態ならば、I/F118によって記録媒体119読み出されたエンコード済み映像データをCODEC105でデコードし、メモリ107内にバッファリングした、再生画像のフレームメモリである。   In FIG. 2C, when the digital video camera 100 is in the camera mode (shooting mode), the image is captured by the imaging unit 102 and buffered in the memory 107 via the video processing unit 104 and the memory control unit 106. This is a frame memory for a through image (camera image). Alternatively, if the digital video camera 100 is in the playback mode, the encoded video data read by the recording medium 119 by the I / F 118 is decoded by the CODEC 105 and buffered in the memory 107, thereby being a frame memory for a playback image. .

図2(D)は、表示部108によって表示される画面内容(表示例)である。フレームメモリ(B)および(C)の内容がメモリ制御部106によって読み出され、表示部108が重畳合成することで実現される。このイメージは図示されていないLCDパネルのような機器内の表示デバイスに表示してもよいし、同じく図示されていない映像出力端子に映像信号として出力してもよい。   FIG. 2D shows screen content (display example) displayed by the display unit 108. The contents of the frame memories (B) and (C) are read by the memory control unit 106 and the display unit 108 performs superposition and synthesis. This image may be displayed on a display device in a device such as an LCD panel (not shown), or may be output as a video signal to a video output terminal (not shown).

図3は、本実施例を実現するデジタルビデオカメラ100のカメラモードもしくは再生モードにおいて、ズーム操作を行ったときの動作を示すフローチャートである。このフローチャートの動作は、システム制御部109が不揮発性メモリ110に記録されたプログラムを読み出し、デジタルビデオカメラ100の各部を制御することによって実現されるものである。   FIG. 3 is a flowchart showing an operation when a zoom operation is performed in the camera mode or the playback mode of the digital video camera 100 realizing the present embodiment. The operation of this flowchart is realized by the system control unit 109 reading a program recorded in the nonvolatile memory 110 and controlling each unit of the digital video camera 100.

また、図4は、そのとき表示部108によって表示される画面構成を示す表示例である。図4(A)は、カメラ映像401に手描きイラスト402を重畳した表示例である。図4(B)拡大したカメラ映像401に、拡大して透過率を上げた手描きイラスト402を重畳した表示例である。図4(C)は、更に拡大したカメラ映像401に、更に拡大して更に透過率を上げた手描きイラスト402を重畳した表示例である。S301は、S313のコピー処理における透過率に規定値を設定するステップである。   FIG. 4 is a display example showing a screen configuration displayed by the display unit 108 at that time. FIG. 4A shows a display example in which a hand-drawn illustration 402 is superimposed on a camera video 401. FIG. 4B is a display example in which a hand-drawn illustration 402 enlarged and increased in transmittance is superimposed on an enlarged camera image 401. FIG. 4C shows a display example in which a hand-drawn illustration 402 that is further enlarged and further increased in transmittance is superimposed on a further enlarged camera image 401. S301 is a step of setting a specified value for the transmittance in the copy process of S313.

S302は、画面更新要求を管理する変数に初期値0を設定するステップである。   S302 is a step of setting an initial value 0 to a variable for managing a screen update request.

S303は、下書きフレームの更新要求、すなわち図2(A)の内容を変更するか否かを判定するステップである。例えば、下書きフレームの内容が静止した手描きイラストではなく、アニメーションするオブジェクトであったならば、S303は一定周期で真となる。このステップが真であればS304へ進み、偽であればS306へ進む。   S303 is a step of determining whether or not to change the draft frame update request, that is, the contents of FIG. For example, if the content of the draft frame is not a stationary hand-drawn illustration but an animated object, S303 is true at a constant cycle. If this step is true, the process proceeds to S304, and if it is false, the process proceeds to S306.

S304は、下書きフレーム図2(A)の描画内容を更新するステップである。   S304 is a step of updating the drawing content of the draft frame FIG. 2A.

S305は、画面更新要求を管理する変数に1を設定するステップである。   S305 is a step of setting 1 to a variable for managing the screen update request.

S306は、ズームレバー114が操作されたか否かを判定するステップである。このステップが真であればS307へ進み、偽であればS312へ進む。   S306 is a step of determining whether or not the zoom lever 114 has been operated. If this step is true, the process proceeds to S307, and if it is false, the process proceeds to S312.

S307は、フレームメモリ図3(C)の内容をズームするステップである。カメラモードの場合は、レンズ駆動部103を制御してレンズ群101をテレやワイドに移動することによって、撮像部102で得られる映像信号を光学的にズームさせることができる。あるいは、映像処理部104を制御して映像信号をトリミングすることによっても、映像をデジタルズーム(電子ズーム。電子的な拡大縮小)することができる。一方、再生モードの場合は、CODEC105でデコードした映像データを映像処理部104でトリミングすることによって、カメラモードと同様に再生デジタルズームを実現することができる。いずれの方法によっても、表示部108から出力される映像は、図4(A)〜(C)のように自在にズームすることができる。   S307 is a step of zooming the contents of the frame memory of FIG. In the camera mode, the video signal obtained by the imaging unit 102 can be optically zoomed by controlling the lens driving unit 103 to move the lens group 101 to tele or wide. Alternatively, the video can be digitally zoomed (electronic zoom, electronic enlargement / reduction) by controlling the video processing unit 104 to trim the video signal. On the other hand, in the playback mode, the playback digital zoom can be realized in the same manner as in the camera mode by trimming the video data decoded by the CODEC 105 by the video processing unit 104. In any method, the video output from the display unit 108 can be freely zoomed as shown in FIGS.

S308は、S307の制御結果からズーム倍率を取得するステップである。   S308 is a step of acquiring the zoom magnification from the control result of S307.

S309は、画面更新要求を管理する変数に1を設定するステップである。   S309 is a step of setting 1 to a variable for managing the screen update request.

S310は、現在表示部108に表示されている手描きイラストの透過率があらかじめ定められた閾値未満か否かを判定するステップである。このステップが真であれば、S311で、新しい透過率を設定する。S310が偽であれば、S311はスキップされ、透過率は維持される。ステップ310の判定によって、徐々に透過させて画面から見えなくなった手描きイラストが再び表示されることのないように制御することができる。これは、手描きイラストをタイトルテロップのように利用するときに有用である。   S310 is a step of determining whether or not the transmittance of the hand-drawn illustration currently displayed on the display unit 108 is less than a predetermined threshold value. If this step is true, a new transmittance is set in S311. If S310 is false, S311 is skipped and the transmittance is maintained. Based on the determination in step 310, it is possible to control so that a hand-drawn illustration that has been gradually transmitted and disappeared from the screen is not displayed again. This is useful when hand-drawn illustrations are used like title telops.

S311は、条件に従って新しい透過率を決定するステップである。条件は、ズーム倍率が低い場合に比べて高い場合の方が高い透過率とする条件である。   S311 is a step of determining a new transmittance according to the conditions. The condition is that the transmittance is higher when the zoom magnification is low than when the zoom magnification is low.

例えばS308で取得したズーム倍率(拡大倍率)に比例する一意の値を透過率としてもよい。すなわち、拡大倍率に一意に対応付いた透過率のテーブルあるいは計算式を不揮発性メモリ110に予め記憶しておき、現在の拡大倍率と対応付いた透過率をこのテーブルあるいは計算式から決定してもよい。   For example, a unique value proportional to the zoom magnification (enlargement magnification) acquired in S308 may be used as the transmittance. In other words, a transmittance table or calculation formula uniquely associated with the enlargement ratio is stored in advance in the nonvolatile memory 110, and the transmittance associated with the current enlargement magnification is determined from this table or calculation formula. Good.

あるいは、このあとS313でコピー描画する図2(B)のグラフィックフレームにおいて手描きイラスト領域の面積を計算し、その値に比例する一意の値を透過率としてもよい。すなわち、拡大された重畳アイテムが拡大された前記映像が表示される表示領域に占める面積に応じて定めた透過率としてもよい。   Alternatively, the area of the hand-drawn illustration area may be calculated in the graphic frame of FIG. 2B to be copied and drawn in S313, and a unique value proportional to the value may be used as the transmittance. That is, the transmittance may be determined according to the area occupied by the enlarged superimposed item in the display area where the enlarged video is displayed.

また、手書きイラストを描画した時点のズーム倍率を基準として、そこから相対的にどの程度拡大したかに応じて透過率を高くするようにしてもよい。例えば以下のような制御である。光学ズーム2倍(広角端から2倍)としていた状態でユーザーが手描きイラストを透過率0%で描画した場合は光学ズーム2倍を基準倍率に設定する。その後、手書きイラストが重畳された状態で光学ズーム6倍に拡大された場合は手描きイラストの透過率を30%として背景のカメラ映像や再生画像が透けてみえるようにする。更に光学ズーム12倍に拡大された場合は手書きイラストの透過率を60%にして更に背景の映像を見やすくする。一方、光学ズーム1倍まで縮小した場合には基準倍率(光学ズーム2倍)から透過率は変更しない。   Further, the transmittance may be increased depending on how much the handwritten illustration is drawn relative to the zoom magnification at the time of drawing the handwritten illustration. For example, the control is as follows. When the user draws a hand-drawn illustration at a transmittance of 0% with the optical zoom doubled (2x from the wide-angle end), the optical zoom is set to the reference magnification. Thereafter, when the optical zoom is magnified 6 times with the handwritten illustration superimposed, the background camera image and the reproduced image can be seen through by setting the transmittance of the handwritten illustration to 30%. Further, when the optical zoom is magnified 12 times, the transmittance of the handwritten illustration is set to 60% to make the background image easier to see. On the other hand, when the optical zoom is reduced to 1 ×, the transmittance is not changed from the reference magnification (2 × optical zoom).

S312は、S305もしくはS309で画面更新要求を設定したか否かを判定するステップである。S312が真であればS313へ進み、偽であれば画面更新を行わず、S302へ戻って以降の処理を繰り返す。   S312 is a step of determining whether or not a screen update request is set in S305 or S309. If S312 is true, the process proceeds to S313, and if it is false, the screen is not updated, and the process returns to S302 to repeat the subsequent processing.

S313は、S308で取得したズーム倍率と同じ倍率で、また、S311で決定した透過率によって、下書きフレーム図2(A)の一部もしくは全部の領域を描画フレーム図2(B)へ拡大透過コピーするステップである。   In step S313, a part or all of the draft frame in FIG. 2A is enlarged and copied to the drawing frame in FIG. 2B at the same magnification as the zoom magnification acquired in step S308 and based on the transmittance determined in step S311. It is a step to do.

S314は、図2(B)の2枚のフレームの描画側と表示側を切り替えるステップである。これによって、S311で新たにコピーした内容、すなわちカメラ映像もしくは再生画像のズーム倍率に合わせた表示内容が、メモリ制御部106に読み出され、表示部108で表示されるようになる。S311における条件で決定された透過率での表示をしている場合は、このS314によって、ズームがワイド寄りであれば図4(A)のように手描きイラストは比較的サイズが小さく透過率が低く表示される。ズームがテレ寄りであれば図4(C)のように比較的サイズが大きく透過率が高く表示される。ズーム位置が中間付近であれば、図4(B)のように、手描きイラストのサイズ、透過率とも(A)と(C)の間の状態となる。   S314 is a step of switching between the drawing side and the display side of the two frames in FIG. As a result, the content newly copied in S 311, that is, the display content in accordance with the zoom magnification of the camera image or the reproduced image is read to the memory control unit 106 and displayed on the display unit 108. When the display is performed with the transmittance determined under the conditions in S311, the hand-drawn illustration is relatively small in size and low in transmittance as shown in FIG. Is displayed. If the zoom is close to the telephoto, the size is relatively large and the transmittance is displayed as shown in FIG. If the zoom position is near the middle, as shown in FIG. 4B, the size and transmittance of the hand-drawn illustration are in a state between (A) and (C).

なお、上述の処理がカメラ映像を記録してる状態(すなわち、動画撮影中)に行われた場合、上述のように、ズーム(拡大)に応じて透過率が変更された手描きイラストが重畳されたカメラ映像が動画ファイルの動画データとして記録媒体119に記録される。   In addition, when the above-described processing is performed in a state where a camera video is recorded (that is, during moving image shooting), as described above, a hand-drawn illustration whose transmittance is changed according to zoom (enlargement) is superimposed. The camera video is recorded on the recording medium 119 as moving image data of the moving image file.

以上のように、本発明によれば、カメラ映像もしくは再生画像のズームに合わせて手描きイラストを拡大したときも、手描きイラストが徐々に透過して表示される。そのため、画面いっぱいに手描きイラストが表示されてカメラ映像や再生画像が視認できなくなることを避けることができる。   As described above, according to the present invention, even when the hand-drawn illustration is enlarged in accordance with the zoom of the camera image or the reproduced image, the hand-drawn illustration is gradually transmitted and displayed. For this reason, it is possible to avoid that hand-drawn illustrations are displayed on the entire screen and the camera image and the reproduced image cannot be visually recognized.

本実施例においては、カメラ映像もしくは再生画像に重畳表示する画像(重畳アイテム)を手描きイラストとしたが、本発明はこれに限定されるものではない。
例えば、GPSユニット等で撮像装置の位置情報を取得し、撮像装置のディスプレイに表示さえる撮影映像に対して、位置情報に基づく東西南北を示す方位の記号、市町村の名称、市町村の境界、地図情報などを重畳アイテムとして重畳することが考えられる。このようなシステムにおいても、撮影映像をズームしたときに、拡大に応じて重畳アイテムを拡大するとともに徐々に透過させることによって、映像の視認性を維持することができる。
In the present embodiment, an image (superimposed item) to be superimposed and displayed on the camera video or the reproduced image is a hand-drawn illustration, but the present invention is not limited to this.
For example, the position information of the imaging device is acquired by a GPS unit or the like, and for the captured image displayed on the display of the imaging device, the direction symbol indicating the east, west, south, and north based on the position information, the name of the municipality, the boundary of the municipality, map information It is conceivable to superimpose these as superimposition items. Even in such a system, when the photographed image is zoomed, the visibility of the image can be maintained by enlarging the superimposed item according to the enlargement and gradually transmitting the superimposed item.

あるいは、撮影映像から特定の被写体(例えば人物の顔や動物の顔など)を検出する被写体検出を行い、検出された被写体に関する情報を撮影映像中の被写体の位置に基づく位置に重畳して表示する装置がある。例えば顔検出を行って検出された人物の顔から個人を識別し、その顔の近傍に顔枠及び個人の名前を表示する装置がある。このような装置においても、撮影映像をズームしたときに、撮影映像から検出された被写体に関する重畳アイテム(顔枠や名前など)を本発明によって徐々に透過させることによって、映像の視認性を維持することができる。   Alternatively, subject detection for detecting a specific subject (for example, a human face or animal face) from the photographed video is performed, and information regarding the detected subject is superimposed and displayed at a position based on the position of the subject in the photographed video. There is a device. For example, there is an apparatus that identifies a person from a face of a person detected by performing face detection, and displays a face frame and the name of the person near the face. Even in such a device, when the captured video is zoomed, the visibility of the video is maintained by gradually transmitting superimposed items (such as a face frame and a name) related to the subject detected from the captured video according to the present invention. be able to.

なお、上述したシステム制御部109の制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。   Note that the control of the system control unit 109 described above may be performed by a single piece of hardware, or the entire apparatus may be controlled by a plurality of pieces of hardware sharing the processing.

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。   Although the present invention has been described in detail based on the preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms without departing from the gist of the present invention are also included in the present invention. included. Furthermore, each embodiment mentioned above shows only one embodiment of this invention, and it is also possible to combine each embodiment suitably.

また、上述した実施形態においては、本発明をデジタルビデオカメラ100に適用した場合を例にして説明したが、これはこの例に限定されない。カメラ映像(スルー画像)や再生画像などの何らかの背景映像(静止画・動画いずれでもよい)に重畳して表示される重畳アイテムを、背景映像の拡大に連動して拡大する機能を有する表示制御装置であれば本発明を適用可能である。すなわち、本発明は、デジタルカメラ、パーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。   In the above-described embodiment, the case where the present invention is applied to the digital video camera 100 has been described as an example. However, this is not limited to this example. Display control device having a function of enlarging a superimposition item displayed superimposed on some background video (either a still image or a moving image) such as a camera video (through image) or a playback image in conjunction with the expansion of the background video If so, the present invention is applicable. That is, the present invention can be applied to a digital camera, a personal computer, a PDA, a mobile phone terminal, a portable image viewer, a printer device including a display, a digital photo frame, a music player, a game machine, an electronic book reader, and the like.

(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program code. It is a process to be executed. In this case, the program and the storage medium storing the program constitute the present invention.

Claims (7)

第1のズーム倍率で撮像部の撮像処理により生成された映像をタッチパネルに表示し、さらに、前記タッチパネルにタッチオンされた座標の位置に順次描画することによって生成されるイメージを第1の透過率で前記映像に重畳して前記タッチパネルに表示する表示制御手段と、
前記撮像部で用いられるズーム倍率を第2のズーム倍率に変更する変更手段と、
前記第1のズーム倍率と前記第2のズーム倍率の差に基づいて第2の透過率を設定する設定手段とを備え、
前記表示制御手段は、前記変更手段により前記撮像部で用いられるズーム倍率が前記第2のズーム倍率に変更されたとき、前記イメージを前記第2のズーム倍率に基づき拡大して前記設定手段により設定された第2の透過率で、前記第2のズーム倍率で前記撮像部の撮像処理により生成された映像に重畳して前記タッチパネルに表示することを特徴とする表示制御装置。
The image generated by the imaging process of the imaging unit at the first zoom magnification is displayed on the touch panel, and the image generated by sequentially drawing at the coordinate position touched on the touch panel is displayed with the first transmittance. Display control means for displaying on the touch panel superimposed on the video;
Changing means for changing the zoom magnification used in the imaging unit to a second zoom magnification;
Setting means for setting a second transmittance based on a difference between the first zoom magnification and the second zoom magnification;
The display control unit enlarges the image based on the second zoom magnification and sets the image by the setting unit when the zoom magnification used in the imaging unit is changed to the second zoom magnification by the changing device. The display control apparatus, wherein the second control unit displays the image on the touch panel by superimposing the image generated by the image capturing process of the image capturing unit at the second zoom magnification.
前記第2の倍率が前記第1の倍率よりも大きい場合には、前記設定手段は前記第2の透過率として前記第1の透過率よりも大きな値を設定することを特徴とする請求項1に記載の表示制御装置。   2. The setting means sets a value larger than the first transmittance as the second transmittance when the second magnification is larger than the first magnification. The display control apparatus according to 1. 前記第2の倍率が前記第1の倍率よりも小さい場合には、前記設定手段は前記第2の透過率として前記第1の透過率と等しい値を設定することを特徴とする請求項1または2に記載の表示制御装置。   The setting means sets a value equal to the first transmittance as the second transmittance when the second magnification is smaller than the first magnification. The display control apparatus according to 2. 前記第2のズーム倍率に基づき拡大されたイメージが前記第2の透過率で重畳された、前記第2のズーム倍率で前記撮像部の撮像処理により生成された映像を記録媒体に記録するように制御する記録手段を更に有することを特徴とする請求項1乃至3のいずれか1項に記載の表示制御装置。   An image generated by the imaging process of the imaging unit at the second zoom magnification is superimposed on an image enlarged based on the second zoom magnification at the second transmittance, and is recorded on a recording medium. 4. The display control apparatus according to claim 1, further comprising recording means for controlling. 第1のズーム倍率で撮像部の撮像処理により生成された映像をタッチパネルに表示し、さらに、前記タッチパネルにタッチオンされた座標の位置に順次描画することによって生成されるイメージを第1の透過率で前記映像に重畳して前記タッチパネルに表示するステップと、
前記撮像部で用いられるズーム倍率を第2のズーム倍率に変更するステップと、
前記第1のズーム倍率と前記第2のズーム倍率の差に基づいて第2の透過率を設定するステップと、
前記撮像部で用いられるズーム倍率が前記第2のズーム倍率に変更されたとき、前記第2のズーム倍率に基づきイメージを拡大して前記第2の透過率で、前記第2のズーム倍率で前記撮像部の撮像処理により生成された映像に重畳して前記タッチパネルに表示するステップを備えたことを特徴とする表示制御装置の制御方法。
The image generated by the imaging process of the imaging unit at the first zoom magnification is displayed on the touch panel, and the image generated by sequentially drawing at the coordinate position touched on the touch panel is displayed with the first transmittance. Displaying on the touch panel superimposed on the video;
Changing the zoom magnification used in the imaging unit to a second zoom magnification;
Setting a second transmittance based on a difference between the first zoom magnification and the second zoom magnification;
When the zoom magnification used in the imaging unit is changed to the second zoom magnification, the image is enlarged based on the second zoom magnification, the second transmittance, and the second zoom magnification. A control method for a display control apparatus, comprising: a step of superimposing on an image generated by an imaging process of an imaging unit and displaying the image on the touch panel.
コンピュータを、請求項1乃至4のいずれか1項に記載された表示制御装置の各手段として機能させるためのプログラム。   The program for functioning a computer as each means of the display control apparatus as described in any one of Claims 1 thru | or 4. コンピュータを、請求項1乃至4のいずれか1項に記載された表示制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。   A computer-readable storage medium storing a program for causing a computer to function as each unit of the display control device according to any one of claims 1 to 4.
JP2012263519A 2012-11-30 2012-11-30 Display control apparatus and control method thereof Active JP6120541B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012263519A JP6120541B2 (en) 2012-11-30 2012-11-30 Display control apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012263519A JP6120541B2 (en) 2012-11-30 2012-11-30 Display control apparatus and control method thereof

Publications (2)

Publication Number Publication Date
JP2014109662A JP2014109662A (en) 2014-06-12
JP6120541B2 true JP6120541B2 (en) 2017-04-26

Family

ID=51030330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012263519A Active JP6120541B2 (en) 2012-11-30 2012-11-30 Display control apparatus and control method thereof

Country Status (1)

Country Link
JP (1) JP6120541B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3079669B2 (en) * 1991-07-24 2000-08-21 日本電気株式会社 Image processing device
JP2010088076A (en) * 2008-10-03 2010-04-15 Canon Inc Imaging apparatus
JP2011008492A (en) * 2009-06-25 2011-01-13 Brother Industries Ltd Display, display method, and display program
JP2012070031A (en) * 2010-09-21 2012-04-05 Seiko Epson Corp Image display system, imaging apparatus, image display system control method, and imaging apparatus control method
JP5686611B2 (en) * 2011-01-14 2015-03-18 株式会社ソニー・コンピュータエンタテインメント Information processing device

Also Published As

Publication number Publication date
JP2014109662A (en) 2014-06-12

Similar Documents

Publication Publication Date Title
US9438789B2 (en) Display control apparatus and display control method
US10222903B2 (en) Display control apparatus and control method thereof
US8982153B2 (en) Display control apparatus, control method therefor, and non-transitory computer-readable storage medium
JP6647103B2 (en) Display control device and control method thereof
JP5220157B2 (en) Information processing apparatus, control method therefor, program, and storage medium
JP2011159180A (en) Display control apparatus, display control method, program and storage medium
JP2018032075A (en) Display control device and control method thereof
US9294678B2 (en) Display control apparatus and control method for display control apparatus
JP6198459B2 (en) Display control device, display control device control method, program, and storage medium
JP2011034512A (en) Display controller and display control method
JP6855170B2 (en) Electronic devices and their control methods
JP6071543B2 (en) Electronic device and control method of electronic device
JP2013017088A (en) Imaging apparatus, control method of the same, control program, and recording medium
US10712932B2 (en) Electronic device, method for controlling electronic device, and non-transitory computer readable medium
JP6971696B2 (en) Electronic devices and their control methods
JP6120541B2 (en) Display control apparatus and control method thereof
CN106961545B (en) Display control apparatus and control method thereof
JP2014207006A (en) Display control unit, control method, program, and recording medium
JP6529300B2 (en) Display control device and control method thereof
JP6407017B2 (en) Display control apparatus and control method thereof
JP6460868B2 (en) Display control apparatus and control method thereof
JP2012134942A (en) Display controller and control method of the same
JP6643948B2 (en) Display control device and control method thereof
US20210166658A1 (en) Display control apparatus and control method therefor
JP6656062B2 (en) Display control device and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170328

R151 Written notification of patent or utility model registration

Ref document number: 6120541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151