JP4973508B2 - 画像表示装置および画像表示方法 - Google Patents

画像表示装置および画像表示方法 Download PDF

Info

Publication number
JP4973508B2
JP4973508B2 JP2008001759A JP2008001759A JP4973508B2 JP 4973508 B2 JP4973508 B2 JP 4973508B2 JP 2008001759 A JP2008001759 A JP 2008001759A JP 2008001759 A JP2008001759 A JP 2008001759A JP 4973508 B2 JP4973508 B2 JP 4973508B2
Authority
JP
Japan
Prior art keywords
image
image display
signal
cursor
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008001759A
Other languages
English (en)
Other versions
JP2009163586A (ja
Inventor
憲一郎 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2008001759A priority Critical patent/JP4973508B2/ja
Publication of JP2009163586A publication Critical patent/JP2009163586A/ja
Application granted granted Critical
Publication of JP4973508B2 publication Critical patent/JP4973508B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像表示装置および画像表示方法に関するものである。
従来、投写型表示装置に関し、『スクリーン上の画面で特定位置をカーソル指示しながら講演できる投写型表示装置を提供すること』を課題とした技術として、『パソコンによって駆動される液晶プロジェクタ11を備え、液晶パネル13の画像が光源12からの光によってスクリーン15に投写される。スクリーン15にレーザポインタ19からの赤外線光線がスポット光像として投写され、このスポット光像がレンズ17を介してイメージセンサ17で画像信号として読み取られ、その座標位置が座標検出器20で検出されてパソコンに入力される。そして、このパソコンにおいてスポット光像の座標位置にマウスカーソル画像を作成し、スクリーン15上に表示させる。』というものが提案されている(特許文献1)。
また、プロジェクタに関し、『簡易な構造でスクリーンに投射されるポインタの操作をすることが可能なプロジェクタの提供』を目的とした技術として、『空間中でリモコンを動かすことにより、スクリーンに投射されるポインタを操作するプロジェクタにおいて、上記リモコンは、ポインタの表示の切替を行うオン/オフボタンと、ポインタの移動軌跡を表示する軌跡用ボタンと、同リモコンの前後方向をY軸、幅方向をX軸とし、上記Y軸に対して略平行方向の加速度を検出するとともに、同リモコンのY軸方向の傾きを検出するY軸方向加速度センサと、上記X軸に対して平行方向の加速度を検出するとともに、上記X軸方向の傾きを検出するX軸方向加速度センサと、上記Y軸方向加速度センサとX軸方向加速度センサからの傾き量を基に、上記ポインタを動かすためのポインタ操作信号を生成するポインタ演算手段とを有する。』というものが提案されている(特許文献2)。
特開平9−80372号公報(要約) 特開2007−248710号公報(要約)
プロジェクタのような画像表示機器を用いたプレゼンテーションでは、表示コンテンツの訴求点を効果的に強調することが重要である。そのためには、プレゼンテータが画像表示機器を直感的に操作して訴求点を視聴者の感覚に訴えかけ易くすることが効果的であり、画像表示機器はこれを補助する機能を備えることが望ましい。
しかし、上記特許文献1〜2に記載の技術は、訴求点を強調することに関し直感的な操作が行える機能を備えたものではなく、そのような機能を備えた画像表示装置や、そのための操作入力を行う操作装置が望まれている。
本発明は、上記のような課題を解決するためになされたものであり、訴求点を強調することに関し直感的な操作を行うことのできる画像表示装置および画像表示方法を提供することを目的とする。
発明に係る画像表示装置は、画像信号を取得する画像信号取得部と、前記画像信号取得部が取得した画像信号に基づき画像を表示する画像表示部と、前記画像表示部の動作を制御する制御部と、操作信号を受け取って前記制御部に出力する操作信号入力部と、を備え、前記操作信号入力部は、圧力検出値を含んだ前記操作信号を受け取って前記制御部に出力し、前記制御部は、前記圧力検出値の大小に応じて効果範囲を定めた強調表示を行うよう前記画像表示部に指示するものであり、前記画像信号を当該画像の横方向に走査して当該画像信号の色彩変化の傾向を取得し、走査線上に同色部分が繰り返し出現する場合は、当該画像は文字画像であると判定し、当該画像が文字画像であると判定した上で前記強調表示を行うよう前記画像表示部に指示する際は、当該画像信号の文字部分の範囲に合わせて強調表示を行うよう前記画像表示部に指示し、前記画像表示部は、その指示に基づき前記画像信号に強調表示効果を重畳して当該画像を表示する。
そのため、ユーザは圧力を加えることで強調表示を指示する操作信号を出力する操作装置を用いて、訴求点を強調する指示を直感的な操作で行うことができ、当該画像表示装置を用いるユーザを効果的にサポートすることができる。
また、文字画像部分を自動的に識別してクローズアップした強調表示を行うことができ、当該画像表示装置を用いて文字画像部分を強調したいユーザを効果的にサポートすることができる。
また、本発明に係る画像表示装置において、前記制御部は、前記画像信号を当該画像の横方向に走査して当該画像信号の色彩変化の傾向を取得し、走査線上に同色部分が繰り返し出現する場合は、当該画像は文字画像であると判定し、当該画像が文字画像であると判定した上で前記強調表示を行うよう前記画像表示部に指示する際は、当該画像信号の文字部分の範囲に合わせて強調表示を行うよう指示する。
そのため、文字画像部分を自動的に識別してクローズアップした強調表示を行うことができ、当該画像表示装置を用いて文字画像部分を強調したいユーザを効果的にサポートすることができる。
また、本発明に係る画像表示装置において、前記制御部は、前記画像信号が文字を表示する画像信号であると判定した場合において、前記圧力検出値に応じて前記強調表示の効果範囲を拡大するよう前記画像表示部に指示する際は、当該強調表示の横方向の拡大量を、縦方向の拡大量よりも大きくする。
そのため、ユーザが訴求したい文字画像部分をより適切に強調した、効果的な強調表示を行うことができ、当該画像表示装置を用いて文字画像部分を強調したいユーザを効果的にサポートすることができる。
また、本発明に係る画像表示装置は、前記画像表示部の各画素に対応した画素データを保持するビデオメモリを備え、前記ビデオメモリは、前記画像信号を当該画像の横方向に走査して得られる順に前記画素データを保持し、前記制御部は、前記画像信号の色彩変化の傾向を取得する際に、前記ビデオメモリに順アクセスして当該画像信号に対応する画素データを走査する。
そのため、制御部はビデオメモリに画素データが格納されている物理アドレスの順に順次アクセスして画素データを取得することができるので、画素データの取得を高速に行うことができる。
また、本発明に係る画像表示装置において、前記制御部は、前記画像信号が文字を表示する画像信号でないと判定した場合は、前記強調表示のアスペクト比を当該画像信号のアスペクト比に合わせる。
そのため、一般画像を表示している場合において、視聴者の視線を強調表示の中心に誘導する効果を発揮し、当該画像表示装置を用いて訴求点を強調したいユーザを効果的にサポートすることができる。
また、本発明に係る画像表示装置において、前記操作信号入力部は、カーソルを表示または消去すべき旨の前記操作信号を受け取って前記制御部に出力し、前記制御部は、その操作信号に基づきカーソルを表示または消去するよう前記画像表示部に指示し、前記画像表示部は、その指示に基づき前記画像信号にカーソルを重畳しまたは消去して当該画像を表示する。
そのため、ユーザは簡易な操作でカーソルのON/OFFを切り替えることができ、ユーザの操作性が増す効果がある。
また、本発明に係る画像表示装置において、前記操作信号入力部は、加速度検出値を含んだ前記操作信号を受け取って前記制御部に出力し、前記制御部は、前記加速度検出値が表す加速度の方向に前記カーソルを移動するよう前記画像表示部に指示し、前記画像表示部は、その指示に基づき前記カーソルを移動した当該画像を表示する。
そのため、ユーザは加速度を加えることで移動を指示する操作信号を出力する操作装置を用いて、カーソルを移動させる指示を直感的な操作で行うことができ、当該画像表示装置を用いるユーザを効果的にサポートすることができる。
また、本発明に係る画像表示装置において、前記制御部は、前記画像表示部が前記画像信号にカーソルを重畳して当該画像を表示している場合において、前記操作信号入力部より前記圧力検出値を含んだ前記操作信号を受け取ると、前記カーソルを消去して前記強調表示を行うよう前記画像表示部に指示し、前記画像表示部は、その指示に基づき前記カーソルを消去して前記強調表示を重畳した当該画像を表示する。
そのため、ユーザは上記のような操作でカーソルの移動と強調表示を行う操作装置を用いて、強調表示の位置と、カーソル表示/強調表示の切り替えとを、直感的な操作で行うことができる。
また、本発明に係る画像表示装置において、前記制御部は、前記画像表示部が前記強調表示を行っている場合において、前記圧力検出値を含んだ前記操作信号の入力が途切れると、前記強調表示を解除して前記カーソルを元の位置に表示するよう前記画像表示部に指示し、前記画像表示部は、その指示に基づき前記強調表示を解除して前記カーソルを元の位置に重畳した当該画像を表示する。
そのため、ユーザは強調表示を指示するときと逆の操作で強調表示をOFFすることができ、強調表示を行うときと同様の直感的な操作性が、強調表示をOFFする際にも同様に維持される。
また、本発明に係る画像表示装置において、前記画像表示部は、前記画像信号に楕円形の強調表示効果を重畳して当該画像を表示する。
そのため、視聴者の視線を強調表示の中心部分に誘導しやすい、効果的な強調表示を行うことができる。
また、本発明に係る画像表示方法は、画像信号を取得する工程と、取得した画像信号に基づき画像を表示する工程と、圧力検出値を含んだ操作信号を受け取り、圧力検出値の大小に応じて効果範囲を定めた強調表示を行う工程とを有し、強調表示を行う工程では、画像信号を画像の横方向に走査して画像信号の色彩変化の傾向を取得し、走査線上に同色部分が繰り返し出現する場合は、画像は文字画像であると判定し、画像が文字画像であると判定した上で強調表示を行う際は、画像信号の文字部分の範囲に合わせて画像信号に強調表示効果を重畳する。
そのため、ユーザは圧力を加えることで強調表示を指示する操作信号を出力する操作装置を用いて、訴求点を強調する指示を直感的な操作で行うことができ、ユーザを効果的にサポートすることができる。
また、文字画像部分を自動的に識別してクローズアップした強調表示を行うことができ、文字画像部分を強調したいユーザを効果的にサポートすることができる。
実施の形態1.
図1は、本発明の実施の形態1に係る操作装置100の外観図である。
操作装置100は、後述する画像表示装置200のような電子機器を操作するための装置であり、操作信号出力部110、グリップ部120、圧力センサ130、ボタン140、係止部150aおよび150b、加速度センサ160を備える。
操作信号出力部110は、操作装置100の本体筐体内部に配置され、またはその一部を操作装置100の本体筐体外部に外出し、ユーザが操作装置100を用いて行った操作内容に対応した操作信号を出力する。ユーザが操作装置100を用いて行うことのできる操作内容については、後述する。
信号形式は、有線・無線いずれのものでもよいが、操作性を考慮すると無線通信を用いる信号形式であることが好ましい。有線の場合は、操作信号出力部110と被操作機器をケーブルなどで接続する。
グリップ部120は、ユーザが握ることができるように、2枚の板体をヒンジ部でつなぎ合わせたような構成となっている。ユーザがグリップ部120を握ると2枚の板体が閉じられ、握りを離すとバネなどの付勢手段で板体が元の位置に戻るようになっている。
また、ユーザが握りやすいように、操作装置100のグリップ部120周辺の形状は流線形に構成され、ユーザの手の形にフィットするようになっている。
グリップ部120の形状は必ずしもこれに限られるものではなく、例えば握ると凹む柔らかな素材で構成してもよい。
圧力センサ130は、操作装置100の本体筐体内部に配置され、ユーザがグリップ部120を握ることで加えられる圧力値を検出する。
ボタン140は、ユーザが押下できるように構成されており、例えばON/OFFのように2値で制御できる操作入力を行うためのものである。
係止部150aおよび150bは、グリップ部120の上下にそれぞれ設けられており、ユーザがグリップ部120を握って操作装置100を操作している際に、ユーザの手がグリップ部120から滑って操作装置100を手離してしまうようなことを防ぐ、滑り止めの役目を果たす。
係止部150aおよび150bの形状は任意のものでよいが、グリップ部120を流線形に構成したこととの兼ね合いから、係止部150aおよび150bも流線形の凸形状に構成しておくと、意匠的な調和が取れて好ましい。
また、図1ではグリップ部120の上下に係止部150を設けた構成を示したが、上下のいずれか一方のみでも、その部分に関して滑り止め効果を発揮できることに変わりはない。
加速度センサ160は、操作装置100の本体筐体内部に配置され、ユーザが操作装置100を手に持って空中で振り回すなどして動かした際に、操作装置100に加えられる加速度を検出する。
以上、操作装置100の外観的な構成を説明した。
次に、操作装置100の内部的な機能構成について説明する。
図2は、操作装置100の内部的な機能ブロック図である。操作装置100は、図1で説明した各構成部の他に、信号回路170、CPU(Central Processing Unit)180を備える。なお、図2において、図1と同じ構成部は同じ符号を付している。
信号回路170は、圧力センサ130および加速度センサ160から、各センサの検出値を表す信号を受け取り、デジタル信号化するなどの必要な処理を適宜施して、CPU180に出力する。
また、ボタン140が押下された際に出力する信号を受け取り、デジタル信号化するなどの必要な処理を適宜施して、CPU180に出力する。
CPU180は、圧力センサ130、ボタン140、加速度センサ160が出力した信号を信号回路170より受け取り、これらの内容に対応した操作信号に変換して、操作信号出力部110を介して出力する。
ここでいう操作信号とは、被操作機器に対する操作を指示伝達するための信号であり、被操作機器が備える操作信号入力部の仕様に合わせた信号形式で出力されるものである。また、操作信号の内容は、被操作機器の操作内容に対応したものとされる。
操作装置100を用いて行うことのできる操作内容は、後述する。
操作信号出力部110は、CPU180より受け取る操作信号を、被操作機器が受信可能な信号形式に適宜変換するため、必要な信号変換回路などを適宜備える。例えば無線通信により被操作機器と通信して操作信号を出力する場合は、信号形式を無線通信に係る信号形式に変換する。
以上、操作装置100の内部的な機能構成について説明した。
次に、操作装置100を用いた具体的な操作内容について、図3〜図5を用いて説明する。なお、以下の説明における被操作対象は、画像を画面表示する画像表示装置200であるとする。
図3は、画像表示装置200にカーソル300を表示させる操作を示すものである。
ユーザは、画像表示装置200にカーソル300を表示させるときは、操作装置100のボタン140を押下する。すると、信号回路170、CPU180を介して、ボタン140が押下された旨の操作信号が操作信号出力部110より出力される。
画像表示装置200は、その操作信号を受け取り、画像を表示している画面上にカーソル300を重畳して表示する。
カーソル表示をOFFするときは、再度ボタン140を押下する。
図4は、カーソル300を移動させる操作を示すものである。
ユーザは、画像表示装置200が表示しているカーソル300を移動させるときは、カーソル300を移動させたい方向に操作装置100本体を動かす。
すると、そのとき操作装置100に加えられた加速度を加速度センサ160が検出し、信号回路170、CPU180を介して、その加速度検出値に対応した操作信号が操作信号出力部110より出力される。
画像表示装置200は、その操作信号を受け取り、画面上のカーソル300を、ユーザが操作装置100を動かした方向に向けて移動させる。
また、操作装置100を動かす速度を速くしたり遅くしたりすると、それが加速度の検出値に反映されるため、これに基づきカーソル300を移動させる速さを速くしたり遅くしたりすることもできる。
ユーザは、カーソル300を移動させたいときは、移動させたい方向に向けて操作装置100本体を動かすという直感的な操作を行えばよい。そのため、ユーザにとって操作感が増し、例えばプレゼンテーションを行っているのであれば、その説明にも熱が入りやすく、聴取者の印象に残る効果的なプレゼンテーションを行いやすい。
このように、操作装置100は、図4の動作により画像表示装置200を用いるユーザを効果的に補助する機能を発揮する。
図5は、カーソル300の位置を強調表示する操作を示すものである。
ユーザは、画像表示装置200に強調表示をさせるときは、操作装置100のグリップ部120を握る。すると、そのときグリップ部120に加えられた圧力を圧力センサ130が検出し、信号回路170、CPU180を介して、その圧力検出値に対応した操作信号が操作信号出力部110より出力される。
画像表示装置200は、その操作信号を受け取り、その時点で画面上にカーソル300が表示されている位置を強調表示する。
ユーザがグリップ部120を握ると、カーソル300が画面上から消去され、カーソル300が表示されていた位置に強調表示が施される。
その後、ユーザがグリップ部120を離すと、圧力検出値を含む操作信号の入力が途切れ、画像表示装置200はこれを検出し、再度カーソル300を元の位置に表示する。
その後さらにユーザがボタン140を押下すると、カーソル300の表示がOFFされる。
ここでいう強調表示とは、例えば画像表示装置200を用いてプレゼンテーションを行っているユーザが、強調したい訴求点を表示している部分を他の部分よりも目立たせるような表示効果を加える画面表示動作のことをいう。
強調表示の1例として、カーソル300の周辺を楕円で覆い、目立つ色彩を楕円内に付す、あるいは楕円内の明度を上げてその部分を際立たせる、といった手法が考えられる。
なお、強調表示を施す範囲の大きさは、ユーザがグリップ部120を握る強さで可変することができる。
具体的な実装例としては、グリップ部120に加えられた圧力を圧力センサ130が検出した際に、その圧力検出値に対応した操作信号が操作信号出力部110より出力されるので、画像表示装置200は、その圧力検出値を取得し、値の大小に応じて強調効果の範囲の大きさを可変する、という手法が考えられる。
また、強調表示を行っている最中でも、ユーザがグリップ部120を握る強さを変化させた場合は、これに対応した操作信号を操作信号出力部110より出力し、画像表示装置200は、その操作信号に応じて強調表示の範囲の大きさを逐次可変し、強調表示に動きを与えることもできる。
一般に、ユーザがプレゼンテーションの訴求点に係る説明を行っているときは、自然と体に力がこもり、説明が熱を帯びてくる、といったことがある。そのため、訴求点を強調表示するときに、グリップ部120の握り加減で強調表示の範囲の大きさを可変する操作は、ユーザの力の入り具合と感覚的によく適合し、直感的な操作でプレゼンテーションの訴求効果を発揮することができると言える。
このように、操作装置100は、図5の動作により画像表示装置200を用いるユーザが訴求点を説明する際に、これを効果的に補助する機能を発揮する。
以上のように、本実施の形態1によれば、操作装置100は、グリップ部120に加えられた圧力を検出する圧力センサ160を備え、その圧力検出値に応じた操作信号を操作信号出力部110より出力する。
したがって、ユーザが画像表示装置200に強調表示を行うよう指示する際は、グリップ部120を握るだけでよく、また握り具合に応じて強調表示の範囲の大きさが可変されるので、直感的な操作で訴求点を強調するよう指示することができる。
また、本実施の形態1によれば、操作装置100はボタン140を備え、ユーザはこれを押下することで画像表示装置200にカーソルをON/OFFさせることができる。
そのため、簡易な操作でカーソル表示を切り替えることができるので、ユーザにとって操作性が向上する効果がある。
また、本実施の形態1によれば、操作装置100は、ユーザが操作装置100を動かす際に加えられる加速度を加速度センサ160で検出し、その加速度検出値に応じた操作信号を操作信号出力部110より出力する。
したがって、ユーザが画像表示装置200にカーソル300を移動するよう指示する際は、移動させたい方向に操作装置100を動かすだけでよく、またカーソル300の移動速度も操作装置100を動かす速度を可変すればよいので、直感的な操作でカーソルを操作することができる。
また、本実施の形態1によれば、操作装置100は係止部150aおよび150bを備えるので、ユーザが操作装置100を動かしている際に、ユーザの手から操作装置100が滑り落ちてしまうことを防止でき、周辺に存在する機器やユーザの安全の観点から好ましい。
また、本実施の形態1によれば、グリップ部120や係止部150a〜150bを流線形に構成し、操作装置100がユーザの手にフィットして操作感を向上させるとともに、意匠的にも優れた操作装置100を提供することができる。
実施の形態2.
実施の形態1では、操作装置100の構成や操作の仕方について説明した。
本発明の実施の形態2では、画像表示装置200の構成や動作の詳細を説明する。操作装置100の構成と動作は、実施の形態1で説明したものと同様であるものとし、説明を省略する。
なお、以下の説明では、画像表示装置200の具体的な1構成として、画像表示装置200がプロジェクション機能を備える場合を説明するが、画像表示装置200の画像表示機能は必ずしもプロジェクション機能に限られるものではなく、例えば画面表示デバイスを備えた装置で画像表示機能を構成してもよい。
図6は、本実施の形態2に係る画像表示装置200の機能ブロック図である。
画像表示装置200は、操作信号入力部210、制御部220、ビデオメモリ230、画像表示部240、画像信号取得部250を備える。
操作信号入力部210は、操作装置100が出力した操作信号を受け取り、デジタル化するなどの必要な処理を適宜施して、制御部220に出力する。
制御部220は、画像表示装置200全体の動作を制御するものであり、また、操作信号入力部210が受け取った操作信号に基づき、画像表示部240の動作を制御する。
ビデオメモリ230は、画像表示部240が表示する画像の画素データを保持する。画素データの構成については、後述の図7〜図8で改めて説明する。
画像表示部240は、光源、投射光学系などの画像投射に必要な構成を適宜備え、ビデオメモリ230が保持している画素データに基づき、その画像を図示しないスクリーンに投射するものである。
画像信号取得部250は、画像表示装置200が表示するための入力画像信号を取得して制御部220に出力する。具体的には、以下の(1)(2)に挙げる例のようにして、入力画像信号を取得することができる。
(1)入力端子から画像信号の供給を受ける。
(2)メモリカードに画像データを格納しておき、所定のスロットにそのメモリカードを差し込んで、同画像データを取得する。
なお、上述の画素データとは、画像表示部240に画素単位で供給するための画像データである。
原則として、表示画像の全ての画素について画素データを事前にビデオメモリ230内に構成しておき、画像表示部240は、この画素データに基づき画像表示を行う。本実施の形態2においては、スクリーンに投射する画像の1画素毎に、ビデオメモリ230内に画素データが構成される。
図7は、ビデオメモリ230のレイヤ構成を説明するものである。
ビデオメモリ230は、少なくとも(a)画像レイヤ、(b)効果レイヤ、(c)カーソルレイヤ、の3領域を有する。各領域には、以下のような画素データが格納される。
(a)画像レイヤ
画像表示部240が表示するための画像そのものの画素データが格納される。
(b)効果レイヤ
強調表示効果部分のみの画素データが格納される。画像表示部240は、画像レイヤと効果レイヤの画素データを重ね合わせ、最終的な表示画像を構成する。
(c)カーソルレイヤ
カーソル300部分のみの画素データが格納される。画像表示部240は、カーソル300を表示する際は、画像レイヤ〜カーソルレイヤの各画素データを重ね合わせ、最終的な表示画像を構成する。
各レイヤの画素データを重ね合わせる際に、上位レイヤの画素データで下位レイヤの画素データを完全に上書きするようにしてもよいが、上位レイヤに透過度を設定し、下位レイヤの画素データを透過的に表示させるように重ね合わせを行ってもよい。
画素データの透過度をセットする際は、個々の画素データを格納するメモリ領域に、透過度の数値を格納するために必要な領域を確保しておく。
最も簡単な手法としては、RGB3色分の画素データ24ビットに加えて、透過度を格納する領域8ビット分を加え、各画素ごとに32ビット分のメモリ領域を確保する手法が考えられる。
なお、図7では、画素の重ね合わせをイメージするため、各レイヤをそのまま上に重ね合わせていくように平面的なイメージで記載したが、実際にビデオメモリ230内に画素データを格納する際は、ビデオメモリ230の物理アドレスの順に直列的に格納されることを付言しておく。
図8は、ビデオメモリ230が保持する画素データの格納順を説明するものである。
図8の例に即して説明すると、ビデオメモリ230には、表示画像の左上の画素データから開始して、表示画像を右方向に走査して得られる画素の順に、画素データが格納される。走査が表示画像の右端まで到達すると、1画素下がって再度左端の画素から順に走査して得られる画素の順で格納される。
このように、ビデオメモリ230内に画素データを格納する順を、表示画像を横方向に走査して得られる画素の順と一致させておくと、後に画素データを当該画像の横方向に走査するときに役立つ。詳しくは、後述の実施の形態3で改めて説明する。
以上、画像表示装置200の各構成部について説明した。
次に、画像表示装置200が操作信号を受け付けた際の動作について、以下のステップ(1)〜(3)で説明する。
(1)画像信号の取得と表示
画像信号取得部250は、先に述べた方法で画像信号を取得し、制御部220に出力する。制御部220は、受け取った画像信号に基づき、ビデオメモリ230内に表示画像の画素データを構成する。画像表示部240は、その画素データに基づき、スクリーンに画像投射を行う。
(2)操作信号の出力と受け付け
ユーザは、操作装置100を操作し、操作装置100はその操作信号を画像表示装置200に出力する。操作信号入力部210は、その操作信号を受け付け、制御部220に出力する。
ここでいう操作とは、実施の形態1の図3〜図5で説明したような操作のことである。
(3)操作信号に対応した操作の実行
制御部220は、受け取った操作信号に基づき、強調表示効果を施す場合は(b)効果レイヤに、カーソルの表示や移動を行う場合は(c)カーソルレイヤに、それぞれの操作信号の内容を反映した画素データを構成する。
画像表示部240は、その画素データに基づき、スクリーンに画像投射を行う。投射される画像の内容は、実施の形態1の図3〜図5で説明したものと同様であるため、説明は省略する。
以上のステップ(1)〜(3)の動作により、画像表示装置200は、画像信号取得部250が取得した画像信号に基づき画像表示を行い、また、ユーザが操作装置100を用いて行った操作入力を、表示画像上に反映することができる。
以上のように、本実施の形態2によれば、操作信号入力部210は、圧力検出値を含む操作信号を操作装置100から受け取り、制御部220は、その操作信号に含まれる圧力検出値の大小に応じて強調表示の範囲の大きさを定めるので、実施の形態1で説明した効果を発揮することができる。
また、本実施の形態2によれば、ボタン140の押下や、操作装置100本体を動かすことによって行われた操作も、同様の手順で表示画像に反映されるので、実施の形態1で説明した効果を発揮することができる。
また、本実施の形態2によれば、制御部220は、カーソル300を画面表示している場合において、操作装置100より強調表示を行う操作信号を受け取ると、カーソルを消去して強調表示を行うよう、画像表示部240に指示する。これにより、実施の形態1の図5で説明した動作が実現される。
そのためユーザは、強調表示の位置と、カーソル表示/強調表示の切り替えとを、グリップ部120を握ったり、操作装置100を動かしたりといった直感的な操作で行うことができる。
また、本実施の形態2によれば、制御部220は、強調表示を行っている場合において、操作装置100より受け取る圧力検出値を含んだ操作信号が途切れると、強調表示をOFFして元の位置にカーソル300を表示するよう、画像表示部240に指示する。これにより、実施の形態1の図5で説明した動作が実現される。
そのためユーザは、強調表示を行うときと逆の操作で強調表示をOFFすることができるので、強調表示のOFFに関しても、ONするときと同様の直感的な操作感を発揮することができる。
実施の形態3.
本発明の実施の形態3では、強調表示の効果範囲を、表示画像の内容に応じて最適に制御する動作について説明する。なお、ここでいう表示画像の内容とは、表示画像が文字画像であるか、それとも一般画像であるか、ということを指す。
本実施の形態3に係る操作装置100および画像表示装置200の構成は実施の形態1〜2と同様であるため、説明を省略する。
図9は、表示画像に施す強調表示効果の最適範囲について説明するものである。
図9(a)に示すような文字画像の場合は、文字部分を強調表示する際は、文字部分の周辺が強調表示で覆われるように強調表示の範囲の形状と大きさを調整することが望ましい。
一方、図9(b)に示すようなその他の一般画像の場合は、どの部分を強調表示で覆うことが望ましいかは、必ずしも一意には定まらない。
そこで、本実施の形態3に係る画像表示装置200は、表示画像が文字画像であることを自動的に検出し、さらに強調表示の範囲を文字部分周辺に自動調整する。以下、そのための動作の詳細について説明する。
図10は、文字部分の走査を行う様子を示すものである。
制御部220は、ビデオメモリ230に画素データを構成した後、その画素データを取得して走査し、当該画像が文字画像であるか一般画像であるかを判定する。
図10(a)は、走査範囲を示すものである。走査範囲は任意のものでよく、画像全体を走査してもよいし、所定の領域のみを走査するようにしてもよい。走査は、画像の横方向に行う。その理由は後述する。
図10(b)は、図10(a)の走査結果を示すものである。当該画像が文字画像である場合は、文字部分を走査すると、走査線上には、文字の線色に相当する色パターンが複数回出現する。これは、文字の線部分を横切るようにして走査を行ったことによる。
このことを利用して、画像を横方向に走査した際に、同色のパターンが複数回繰り返して出現する場合は、その部分は文字画像であると判定することができる。
画像の文字部分を検出することができた後は、検出した文字部分を中心として強調表示が施されるように、強調表示の範囲を調整する。具体的には、あらかじめ検出した文字部分のサイズに合わせるように強調表示の範囲を定める、などの方法が考えられる。
制御部220は、強調表示の範囲を定め、その範囲で強調表示を行うよう、画像表示部240に指示する。
なお、強調表示は、カーソル300の位置を中心として行うため、カーソル300が文字部分の上やその周辺に存在しないときにまで、強調表示の位置を強制的に文字部分の上やその周辺に移動させる必要はない。
強調表示の効果範囲を文字部分の範囲に合わせるのは、カーソル300が当該文字部分の上や周辺に存在するときのみでよい。
次に、画素データを横方向に走査する理由について説明する。
実施の形態2の図8で説明したように、ビデオメモリ230は、画像を横方向に走査して得られる画素の順に画素データを保持しているため、画素データを当該画像の横方向に走査するということは、ビデオメモリ230の物理アドレスの順に走査を行うことに他ならない。
この点、例えば縦方向に走査する場合は、ビデオメモリ230の物理アドレスをスキップしながら画素データを取得しなければならないため、アクセス速度が順アクセスと比較して格段に遅くなり、画像表示装置200の性能パフォーマンスに悪影響を及ぼす可能性がある。
そこで、本実施の形態3では、画素データの走査は画像の横方向に行うこととした。
なお、画像信号を当該画像の横方向に走査することに関し、画像信号そのものを直接走査しても、あるいはビデオメモリ230に格納されている画素データの走査をもってこれに代えても、最終的に得られる表示結果は同様であるが、ビデオメモリ230に一旦構成した画素データを走査する方が、処理の都合の観点から便宜である。
以上のように、本実施の形態3によれば、制御部220は、画像信号(またはビデオメモリ230から取得する画素データ)を当該画像の横方向に走査し、走査線上に同色のパターンが複数回繰り返して出現する場合は、その部分は文字画像であると判定する。
また、当該画像が文字画像であると判定した上で、文字部分の周辺を強調表示する際には、その文字部分の範囲に合わせて強調表示を行うよう画像表示部240に指示する。
これにより、強調したい文字部分をクローズアップして他の部分よりも際立たせることができるので、ユーザがその文字部分を訴求したい場合にこれを効果的に補助することができる。
また、本実施の形態3によれば、ビデオメモリ230は、画像を横方向に走査して得られる画素の順に画素データを保持している。
したがって、制御部220が画素データを走査するときは、ビデオメモリ230の物理アドレスの順に画素データを読み出せばよいので、画素データへのアクセス速度が高速になり、画像表示装置200の性能パフォーマンスが向上する。
実施の形態4.
実施の形態3では、画像の文字部分を検出してその部分を強調表示することについて説明した。本発明の実施の形態4では、文字部分を強調することについて、人間が認識する視覚効果の観点を考慮した効果的な強調表示の手法を説明し、併せて文字画像以外の一般画像における強調表示についても説明する。
なお、本実施の形態4に係る操作装置100および画像表示装置200の構成は実施の形態1〜3と同様であるため、説明を省略する。
図11は、本実施の形態4における強調表示の範囲について説明するものである。以下図11を用いて、文字画像と一般画像それぞれの場合を対比しながら、またグリップ部120に加えられる圧力と関連付けて説明する。
図11(a)は文字画像の強調表示、図11(b)は一般画像の強調表示、両者の間はグリップ部120に加えられる圧力(ユーザの握りの強さ)をパーセント表示したものである。
文字画像、一般画像ともに、グリップ部120に加えられる圧力が高くなると、その旨の操作信号が操作信号出力部110より操作信号入力部210に出力され、制御部220および画像表示部240の動作により、強調表示の範囲が大きくなる。圧力値が最大値に達すると、強調表示の範囲も最大化される。
しかし、両者の強調表示の形状は、以下に説明する点で相違する。
(a)文字画像
文字画像の強調表示は、横長の偏平な楕円形でなされる。即ち、強調表示の範囲を拡大する際は、横方向の長さの拡大率を、縦方向の長さの拡大率よりも大きくする。
これは、一般に画像表示装置200を用いて文字画像を表示するのは、プレゼンテーションのように横方向に記載した文字を用いることが多い点に鑑みたものである。
したがって、文字が進行している方向(=横方向)に合わせて強調表示を展開することで、人間の視覚上でも横方向に視線が向かうので、強調したい文字部分に意識を集中させることと良く合致する。これにより、訴求点を効果的に強調できるよう、画像表示装置200がユーザをサポートすることを図る。
なお、楕円の縦方向の長さは一定とし、横方向のみに拡大することも考えられるが、このような拡大の仕方を行うと、人間の視覚上、横方向のみが極端に伸張されたような印象を与えてしまい、画像の中央部分が全体的に凹んでしまったかのような感覚を感じてしまうことがある。
そこで、本実施の形態4では、文字画像の強調表示は、横方向を長めにする偏平楕円形状を採用することとし、横方向の拡大幅を大きくするものの、縦方向にも同時に拡大することにした。
(b)一般画像
一方、一般画像の強調表示は、縦方向・横方向いずれを長めに拡大することが好ましいかは、必ずしも一意には定まらない。そこで、一般画像の強調表示を行う際は、楕円のアスペクト比を、当該画像のアスペクト比と一致させることとする。
具体的には、投射画像のスクリーン縦横サイズ、もしくはその光学的・電気的な補正後の画像縦横サイズが画像表示装置200自身で取得ないし事前設定できるため、そのアスペクト比と強調表示のアスペクト比を一致させればよい。
また、当該画像がスクリーンの一部のみしか占めない場合、例えば横長のスクリーンに対して縦長の画像を表示するような場合は、画像の端部を画素データの走査によって取得し、当該画像のアスペクト比を事前に取得するようにしてもよい。この例では、強調表示の形状も、縦長の楕円形状となる。
また、画像表示装置200に入力される画像データが、所定の形式で保存された画像ファイルである場合(例えばメモリカードから画像データを供給するような場合)は、当該画像ファイル内に画像のアスペクト比の情報が記録されていることがあるので、この情報に基づいて当該画像のアスペクト比を事前に取得するようにしてもよい。
このように、強調表示のアスペクト比を当該画像のアスペクト比に合わせることで、人間の視覚上、視線が強調表示の中心部分に集まりやすく、訴求したい画像部分を効果的に際立たせることができる。
なお、当該画像が一般画像であるか否かは、例えば実施の形態3で説明した手法で文字画像と判定されなかった場合を全て一般画像と判定してもよいし、より積極的に当該画像が一般画像であるか否かを判定してもよい。
例えば、制御部220がビデオメモリ230より取得した画素データを、画像の横方向に走査して色彩変化の傾向を取得し、色が緩やかに変化している場合は、一般画像であるものと判定する、という手法が考えられる。
どの程度の変化量を緩やかであるとするかは、例えば適当な閾値を定め、画像の一定範囲内の色変化量がその閾値を超えれば急峻な変化である、などと判定すればよい。
以上のように、本実施の形態4によれば、文字部分を強調表示する際は、横長の偏平楕円形状で強調表示を行うので、人間の視覚認識の上で当該文字部分を効果的に強調表示することができる。
また、本実施の形態4によれば、一般画像を強調表示する際は、強調表示のアスペクト比を当該画像のアスペクト比に合わせるので、視聴者の視線を強調表示の中心部分に誘導し、効果的な強調表示を行うことができる。
実施の形態5.
以上の実施の形態1〜4において、強調表示の形状を楕円形とすることを説明したが、楕円の周縁部分をぼかす表示効果をさらに加えてもよい。
また、強調表示の形状は、楕円以外の例えば長方形などでもよいが、グリップ部120の握りを強くするにつれて、その時点のカーソル300の位置から強調表示が次第に大きくなっていく場合は、円形またはこれに近い形状が中心点から次第に大きくなっていくという視覚的効果の方が、その部分にハイライトが当たっているという印象をより強く与える。
そこで、上記実施の形態1〜4の説明では、文字部分の横長の形状や、画像全体のアスペクト比に鑑み、強調表示の形状は、これらの形状に合わせた楕円形とすることにしたものである。
実施の形態6.
以上の実施の形態1〜5において、操作装置100は、グリップ部120に加えられた圧力や、操作装置100に加えられた加速度に対応した操作信号を出力することを説明した。
このとき、操作信号の内容は、被操作機器(以上の説明では画像表示装置200)が解釈できるものでなければならないのは当然であるが、どの程度まで操作信号の内容を具体化すればよいかは、操作装置100と被操作機器の間で合意しておく必要がある。
具体的には、以下の(1)(2)のようにすることが例として考えられる。
(1)操作装置100は、各センサやボタン140押下の検出結果のみを、操作信号として出力する。その操作信号をどのように解釈して対応する機能を実行するかは、被操作機器に委譲する。
(2)操作装置100は、各センサやボタン140押下の検出結果を、被操作機器が解釈できる命令形式に変換し、被操作機器に対する直接的な命令信号として、操作信号を出力する。被操作機器は、受け取った操作信号が表す命令を実行する。
上記(1)の場合は、操作装置100の仕様を汎用化しやすい点で有利である。ただし、被操作機器側で操作信号の内容を解釈する負担が発生する。
上記(2)の場合は、被操作機器側の命令解釈負担は低減するが、操作装置100の仕様が被操作機器固有のものに限定される。
いずれの手法を選択するかは、操作装置100や被操作機器に求められる機能、汎用性などに鑑み、適宜最適に設計する。
例えば、操作装置100はセンサの取得値を忠実・簡素に通知し、画像表示装置200側で判定の閾値を含めて効果の範囲を調整する手法を採用すれば、製品ごとの改良を重ねる点から好ましい。
一方、センサの誤検出をカットし、適正な信号のみを通知する、という機能を操作装置100側で実装することで、画像表示装置200側を作り変えることなく、センサの性能向上を機能に反映することができる。
このように、各機器の機能をどこまで求めるかは、機器の役割に応じて適宜分担されることが好ましい。
実施の形態7.
操作装置100と画像表示装置200は、必ずしも1台ずつ対応させなければならないわけではなく、1台の操作装置100で複数台の画像表示装置200を操作するように構成してもよい。反対に、1台の画像表示装置200に対して、複数台の操作装置100を組み合わせて、複数のユーザがプレゼンテーションを行う場合の利便性を図ってもよい。
例えば操作装置100と画像表示装置200を個別に製造し、製造後に両者を1ないし複数組み合わせて、画像表示システムを構成することもできる。
実施の形態1に係る操作装置100の外観図である。 操作装置100の内部的な機能ブロック図である。 画像表示装置200にカーソル300を表示させる操作を示すものである。 カーソル300を移動させる操作を示すものである。 カーソル300の位置を強調表示する操作を示すものである。 実施の形態2に係る画像表示装置200の機能ブロック図である。 ビデオメモリ230のレイヤ構成を説明するものである。 ビデオメモリ230が保持する画素データの格納順を説明するものである。 表示画像に施す強調表示効果の最適範囲について説明するものである。 文字部分の走査を行う様子を示すものである。 実施の形態4における強調表示の範囲について説明するものである。
符号の説明
100 操作装置、110 操作信号出力部、120 グリップ部、130 圧力センサ、140 ボタン、150a〜150b 係止部、160 加速度センサ、170 信号回路、180 CPU、200 画像表示装置、210 操作信号入力部、220 CPU、230 ビデオメモリ、240 画像表示部、250 画像信号取得部。

Claims (10)

  1. 画像信号を取得する画像信号取得部と、
    前記画像信号取得部が取得した画像信号に基づき画像を表示する画像表示部と、
    前記画像表示部の動作を制御する制御部と、
    操作信号を受け取って前記制御部に出力する操作信号入力部と、
    を備え、
    前記操作信号入力部は、
    圧力検出値を含んだ前記操作信号を受け取って前記制御部に出力し、
    前記制御部は、
    前記圧力検出値の大小に応じて効果範囲を定めた強調表示を行うよう前記画像表示部に指示するものであり、前記画像信号を当該画像の横方向に走査して当該画像信号の色彩変化の傾向を取得し、走査線上に同色部分が繰り返し出現する場合は、当該画像は文字画像であると判定し、当該画像が文字画像であると判定した上で前記強調表示を行うよう前記画像表示部に指示する際は、当該画像信号の文字部分の範囲に合わせて強調表示を行うよう前記画像表示部に指示し、
    前記画像表示部は、
    その指示に基づき前記画像信号に強調表示効果を重畳して当該画像を表示する
    ことを特徴とする画像表示装置。
  2. 前記制御部は、
    前記画像信号が文字を表示する画像信号であると判定した場合において、
    前記圧力検出値に応じて前記強調表示の効果範囲を拡大するよう前記画像表示部に指示する際は、
    当該強調表示の横方向の拡大量を、縦方向の拡大量よりも大きくする
    ことを特徴とする請求項に記載の画像表示装置。
  3. 前記画像表示部の各画素に対応した画素データを保持するビデオメモリを備え、
    前記ビデオメモリは、
    前記画像信号を当該画像の横方向に走査して得られる順に前記画素データを保持し、
    前記制御部は、
    前記画像信号の色彩変化の傾向を取得する際に、
    前記ビデオメモリに順アクセスして当該画像信号に対応する画素データを走査する
    ことを特徴とする請求項または請求項に記載の画像表示装置。
  4. 前記制御部は、
    前記画像信号が文字を表示する画像信号でないと判定した場合は、
    前記強調表示のアスペクト比を当該画像信号のアスペクト比に合わせる
    ことを特徴とする請求項ないし請求項のいずれかに記載の画像表示装置。
  5. 前記操作信号入力部は、
    カーソルを表示または消去すべき旨の前記操作信号を受け取って前記制御部に出力し、
    前記制御部は、
    その操作信号に基づきカーソルを表示または消去するよう前記画像表示部に指示し、
    前記画像表示部は、
    その指示に基づき前記画像信号にカーソルを重畳しまたは消去して当該画像を表示する
    ことを特徴とする請求項ないし請求項のいずれかに記載の画像表示装置。
  6. 前記操作信号入力部は、
    加速度検出値を含んだ前記操作信号を受け取って前記制御部に出力し、
    前記制御部は、
    前記加速度検出値が表す加速度の方向に前記カーソルを移動するよう前記画像表示部に指示し、
    前記画像表示部は、その指示に基づき前記カーソルを移動した当該画像を表示する
    ことを特徴とする請求項に記載の画像表示装置。
  7. 前記制御部は、
    前記画像表示部が前記画像信号にカーソルを重畳して当該画像を表示している場合において、
    前記操作信号入力部より前記圧力検出値を含んだ前記操作信号を受け取ると、
    前記カーソルを消去して前記強調表示を行うよう前記画像表示部に指示し、
    前記画像表示部は、
    その指示に基づき前記カーソルを消去して前記強調表示を重畳した当該画像を表示する
    ことを特徴とする請求項または請求項に記載の画像表示装置。
  8. 前記制御部は、
    前記画像表示部が前記強調表示を行っている場合において、
    前記圧力検出値を含んだ前記操作信号の入力が途切れると、
    前記強調表示を解除して前記カーソルを元の位置に表示するよう前記画像表示部に指示し、
    前記画像表示部は、
    その指示に基づき前記強調表示を解除して前記カーソルを元の位置に重畳した当該画像を表示する
    ことを特徴とする請求項に記載の画像表示装置。
  9. 前記画像表示部は、
    前記画像信号に楕円形の強調表示効果を重畳して当該画像を表示する
    ことを特徴とする請求項ないし請求項のいずれかに記載の画像表示装置。
  10. 画像信号を取得する工程と、
    取得した画像信号に基づき画像を表示する工程と、
    圧力検出値を含んだ操作信号を受け取り、前記圧力検出値の大小に応じて効果範囲を定めた強調表示を行う工程とを有し、
    前記強調表示を行う工程では、前記画像信号を当該画像の横方向に走査して当該画像信号の色彩変化の傾向を取得し、走査線上に同色部分が繰り返し出現する場合は、当該画像は文字画像であると判定し、当該画像が文字画像であると判定した上で前記強調表示を行う際は、当該画像信号の文字部分の範囲に合わせて前記画像信号に強調表示効果を重畳する
    ことを特徴とする画像表示方法。
JP2008001759A 2008-01-09 2008-01-09 画像表示装置および画像表示方法 Active JP4973508B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008001759A JP4973508B2 (ja) 2008-01-09 2008-01-09 画像表示装置および画像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008001759A JP4973508B2 (ja) 2008-01-09 2008-01-09 画像表示装置および画像表示方法

Publications (2)

Publication Number Publication Date
JP2009163586A JP2009163586A (ja) 2009-07-23
JP4973508B2 true JP4973508B2 (ja) 2012-07-11

Family

ID=40966114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008001759A Active JP4973508B2 (ja) 2008-01-09 2008-01-09 画像表示装置および画像表示方法

Country Status (1)

Country Link
JP (1) JP4973508B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02242321A (ja) * 1989-03-15 1990-09-26 Sharp Corp 座標入力装置
JPH06124183A (ja) * 1992-10-13 1994-05-06 Toshiba Corp マルチウィンドウシステム

Also Published As

Publication number Publication date
JP2009163586A (ja) 2009-07-23

Similar Documents

Publication Publication Date Title
US8085243B2 (en) Input device and its method
US20090295712A1 (en) Portable projector and method of operating a portable projector
US20160018903A1 (en) Input device for operating graphical user interface
JP6251957B2 (ja) 表示装置、頭部装着型表示装置および表示装置の制御方法
JP5808712B2 (ja) 映像表示装置
JP6307852B2 (ja) 画像表示装置、及び、画像表示装置の制御方法
EP4246287A1 (en) Method and system for displaying virtual prop in real environment image, and storage medium
CN111052063B (zh) 电子装置及其控制方法
KR101797260B1 (ko) 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법
WO2006013783A1 (ja) 入力装置
JP2009075685A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5316386B2 (ja) ヘッドマウントディスプレイ及びそのプログラム
US20160349857A1 (en) Control method and electronic device
JP2005301668A (ja) 情報処理装置および情報処理プログラム
JP5030748B2 (ja) 映像表示システム
JP6858352B2 (ja) 画像投影装置
JP2000259338A5 (ja)
JP4871226B2 (ja) 認識装置および認識方法
JP4973508B2 (ja) 画像表示装置および画像表示方法
KR20180071725A (ko) 디스플레이 장치 및 방법
JP2012146017A (ja) 電子黒板システム、電子黒板システムの制御方法、プログラムおよびその記録媒体
JP2018132769A (ja) 画像表示装置、及び、画像表示装置の制御方法
JPH07234755A (ja) 座標入力手段および情報処理装置
JP2018054880A (ja) 表示装置、情報処理装置および情報処理方法
JP2005122393A (ja) 出力装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120313

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120326

R150 Certificate of patent or registration of utility model

Ref document number: 4973508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350