JP3815299B2 - プロジェクタ - Google Patents

プロジェクタ Download PDF

Info

Publication number
JP3815299B2
JP3815299B2 JP2001340930A JP2001340930A JP3815299B2 JP 3815299 B2 JP3815299 B2 JP 3815299B2 JP 2001340930 A JP2001340930 A JP 2001340930A JP 2001340930 A JP2001340930 A JP 2001340930A JP 3815299 B2 JP3815299 B2 JP 3815299B2
Authority
JP
Japan
Prior art keywords
image data
frame image
input
unit
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001340930A
Other languages
English (en)
Other versions
JP2003140594A (ja
Inventor
真一 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2001340930A priority Critical patent/JP3815299B2/ja
Publication of JP2003140594A publication Critical patent/JP2003140594A/ja
Application granted granted Critical
Publication of JP3815299B2 publication Critical patent/JP3815299B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、プロジェクタに関する。
【0002】
【背景技術】
従来、入力された入力画像データに基づいて複数の色光を各色光ごとに変調する複数の液晶パネル、およびこれらの各液晶パネルで変調された色光を合成するクロスダイクロイックプリズムを有する電気光学装置と、この電気光学装置で合成された光学像を拡大投写して投写画像を形成する投写光学系(投写レンズ)とを備えるプロジェクタが利用されている。このようなプロジェクタとして、例えば、光源から射出された光束をダイクロイックミラーによってRGBの3色の色光に分離し、3枚の液晶パネルにより各色光毎に、入力された画像データに応じて変調し、変調後の光束をクロスダイクロイックプリズムで合成し、投写レンズを介してカラー画像を拡大投写する、いわゆる三板式のものが知られている。
【0003】
【発明が解決しようとする課題】
しかしながら、このようなプロジェクタでは、例えば、外部装置であるデジタルカメラ等で撮影された、幼稚園等のイベントにおける園児の画像や結婚式において投写される新郎・新婦の画像等を拡大して投写する際に、撮影した画像をそのまま投写するということはできるものの、これらの撮影画像をより一層引き立たせる効果を狙って、これらの画像に所定のフレーム画像を合成する等の加工を施すことができず、やや面白みに欠けるものとなっていた。
そこで、デジタルカメラ等で撮影された画像を画像データとしてパーソナルコンピュータ(パソコン)等に取り込み、この取り込んだ画像データに所定のフレーム画像データを合成する加工を施して、この加工後の画像データをプロジェクタに入力することにより、加工後の画像を拡大して投写していた。
しかしながら、このような場合には、加工後の画像データを構成するために、パソコンを準備する等の手間がかかるとともに、加工後の画像をすぐに見ることができないという問題があった。
【0004】
本発明の目的は、入力される入力画像データに対して簡単に加工ができるとともに、この加工後の画像をすぐに見ることができるプロジェクタを提供することにある。
【0005】
【課題を解決するための手段】
本発明に係るプロジェクタは、順次入力される複数の入力画像データに基づいて、光源から射出された光束を変調する電気光学装置と、この電気光学装置で変調された変調光束を拡大投写する投写光学系とを備えるプロジェクタであって、予め生成された複数のフレーム画像データを蓄積したフレーム画像データ蓄積手段と、前記複数の入力画像データに同期して、前記フレーム画像データ蓄積手段から所定のフレーム画像データを取得するフレーム画像データ取得手段と、前記複数の入力画像データのうち、静止画像を表示させるための静止画像データを検出する静止画像データ検出手段と、前記複数の入力画像データのうち前記静止画像データ検出手段にて検出された静止画像データ、および取得されたフレーム画像データを合成する合成画像データ生成手段と、合成された合成画像データを前記電気光学装置に出力し、該電気光学装置で合成画像データを表示させる合成画像データ出力手段とを備え、前記静止画像データ検出手段は、所定の時間内に入力される連続する複数の入力画像データ間において前記入力画像データを構成する複数の画素データのうち所定位置の画素データをサンプリングしてその変化を検出する変化検出部と、前記変化検出部によるサンプリング位置を一定間隔で変更するサンプリング位置変更部と、前記所定の時間内において前記サンプリング位置変更部によりサンプリング位置が一定間隔で変更されても継続して前記変化検出部にて変化が検出されない場合に静止画像データであると判定する静止画像判定部とを備えていることを特徴とするものである。
【0006】
ここで、入力される複数の入力画像データとしては、デジタルカメラやデジタルビデオ等の電子機器で撮影され記録された複数の入力画像データが考えられる。これらの入力画像データをプロジェクタに入力するためには、例えば、電子機器とプロジェクタとを、コンポジットビデオコネクタやSビデオコネクタ等のビデオ入力端子を介してケーブル等で接続する構成が考えられる。
また、複数の入力画像データを記録するとともに、前記電子機器から取り出し可能とされたメモリーカード(例えば、コンパクトフラッシュメモリカードや、スマートメディア、メモリースティック)等の記録媒体を用いた構成も考えられる。すなわち、プロジェクタにメモリーカードを接続するインターフェースを設けておき、複数の入力画像データを記録したメモリーカードを電子機器から取り出して、このインターフェースに接続することにより、プロジェクタに複数の入力画像データを入力可能な状態とする。
【0007】
このような発明では、例えば、以下のような手順で合成画像が投写される。
(1)予め、複数のフレーム画像データを作成しておき、これらの複数のフレーム画像データをフレーム画像データ蓄積手段に蓄積させておく。
(2)次に、複数の入力画像データが記録されたデジタルカメラと本プロジェクタとをケーブルで接続し、デジタルカメラに記録された入力画像データを順次入力する。
(3)次に、フレーム画像データ取得手段において、入力された入力画像データに同期して、フレーム画像データ蓄積手段から所定のフレーム画像データを取得する。
(4)次に、合成画像データ生成手段において、入力画像データおよび取得されたフレーム画像データを合成し、合成画像データを構成する。
(5)最後に、合成画像データ出力手段において、この合成画像データを電気光学装置に出力し、この電気光学装置から合成画像データを表示させる。このため、電気光学装置からは、この合成画像データに基づく合成画像が拡大して投写されることになる。
【0008】
このような手順で合成画像を投写するので、従来のように、わざわざ入力画像データをパソコン等に一旦取り込んで加工を施すといった手間を掛けなくても、外部装置等から入力画像データを直接入力して、この入力画像データとフレーム画像データとを合成する加工を簡単に施すことができるとともに、この加工後の画像を投写してすぐに見ることができる。
また、静止画像データ検出手段において複数の入力画像データから静止画像データを検出するので、例えば、静止画像データに対してのみフレーム画像データを合成するような設定とすることができる。
さらに、変化検出部において、所定時間内に連続的に入力される複数の画像データ間の変化を検出し、この検出の結果、変化が検出されない場合には、静止画像判定部において静止画像データであると判定し、変化が検出された場合には、例えば、入力される入力画像データが動画像データであると判定できる。このため、動画像データにはフレーム画像データを合成せず、静止画像データにだけ選択的にフレーム画像データを合成する設定にできる。このような設定では、入力画像データの切り替えに応じて、フレーム画像データを切り替えて合成するような場合において、入力画像データが動画像データであるときでも、めまぐるしく切り替わる動画像データに、その都度異なるフレーム画像データを合成しないから、投写する合成画像の見栄えを向上できる。
さらにまた、変化検出部において、入力画像データを構成する複数の画素データの中から所定位置の画素データをサンプリングして、その変化を検出し、サンプリング位置変更部において、このサンプリング位置を一定間隔で変更する。このため、変化の検出が行われる画素データをランダムに所定数選択することにより、全ての画素データの変化を検出する場合に比べて、同程度の正確性で短時間に変化を検出できる。この際、サンプリングする画素の位置を変更するので、同様な入力画像データが連続して入力される場合でも、画素データの変化を確実に検出できる。
【0009】
このようなプロジェクタにおいて、前記フレーム画像データ取得手段、前記合成画像データ生成手段、および前記合成画像データ出力手段を機能させるか否かを選択する合成機能選択手段を備えていることが好ましい。
このような構成によれば、合成機能選択手段において、各手段を機能させるか否かを選択することにより、入力画像データに対してフレーム画像データを合成するか否かを選択できる。このため、入力画像データの内容や、投写時のシチュエーション等に応じて、適切な画像を投写できる。
【0010】
ここで、前記フレーム画像データ取得手段は、前記入力画像データの切り替えを検出する入力画像データ切替検出部と、入力画像データの切り替えに応じて前記フレーム画像データ蓄積手段に蓄積されたフレーム画像データを選択して、該フレーム画像データの切り替えを行うフレーム画像データ切替部とを備えていることが好ましい。
このような場合には、入力画像データ切替検出部において、入力画像データの切り替えを検出し、フレーム画像データ切替部において、この検出された入力画像データの切り替えに応じて、フレーム画像データ蓄積手段に蓄積されたフレーム画像データを選択し、該フレーム画像データの切り替えを行う。このため、入力画像画像データが切り替わるたびに、フレーム画像データも自動的に切り替わり、これにより、投写する合成画像を変化に富んだものにできて、その演出効果をより一層高めることができる。
【0011】
また、前記フレーム画像データ蓄積手段には、前記複数のフレーム画像データのうち、所定数のフレーム画像データが互いに関連づけられて蓄積されており、前記フレーム画像データ切替部は、この関連づけに基づいて前記フレーム画像データを選択することが好ましい。
このような場合には、例えば、一定のテーマに基づく所定数のフレーム画像データを互いに関連づけて、フレーム画像データ蓄積手段に蓄積しておいた上で、フレーム画像データ切替部において、これらの所定数のフレーム画像データの中から選択されるように構成できる。このように構成すれば、入力画像データの内容等に応じたテーマを選択するだけで、関連のあるフレーム画像データだけを選択的に入力画像データに合成でき、これにより、投写画像の演出効果をより一層高めることができる。
【0015】
以上のようなプロジェクタにおいて、前記複数の入力画像データが記録された記録媒体を接続する記録媒体接続部と、接続された記録媒体に記録された前記複数の入力画像データを自動的に順次再生する自動再生部とを備えていることが好ましい。
ここで、記録媒体とは、例えば、前述したメモリーカードやフロッピーディスク、CD-ROM等の記録媒体のことである。また、記録媒体接続部とは、これらのメモリーカードやフロッピーディスク、CD-ROM等の記録媒体を装着可能なインターフェースのことである。
このような構成によれば、自動再生部において、記録媒体接続部に接続された記録媒体内の複数の入力画像データを自動的に順次再生するので、わざわざ使用者が入力画像データを切り替えて再生しなくても、手軽に、かつ自動的に合成画像を投写できる。
【0016】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。
図1は、本発明のプロジェクタ1を構成する光学ユニット4を模式的に示す図である。図2は、外部機器であるデジタルカメラ100がケーブル102を介して接続されたプロジェクタ1を示す図である。また、図3は、デジタルカメラ100に収納される記録媒体としてのメモリーカード101をプロジェクタ1に接続する様子を示す図である。
【0017】
プロジェクタ1は、図1〜3に示すように、略直方体状に構成され、樹脂製の外装ケース2に収納される平面U字形の光学ユニット4と、図示を省略するが、外装ケース2内の光学ユニット4の上方に配置されるドライバーボードと、外装ケース2の側面側からメモリーカード101が挿入可能に設けられた記録媒体接続部としてのメモリーカードインターフェース5とを備える。
ここで、図示を省略するが、外装ケース2の背面側には、前述したドライバーボードと電気的に接続されたビデオ入力端子であるコンポジットビデオコネクタ11(図4)が設けられ、ケーブル102が接続可能である。
【0018】
図1に示すように、光学ユニット4は、光源ランプ411から射出された光束を光学的に処理して、画像情報に対応した光学画像を形成するユニットであり、インテグレータ照明光学系41と、色分離光学系42と、リレー光学系43と、電気光学装置44と、色合成光学系としてのクロスダイクロイックプリズム45と、投写光学系としての投写レンズ46とを備える。
【0019】
インテグレータ照明光学系41は、電気光学装置44を構成する3枚の液晶パネル441(赤、緑、青の色光毎にそれぞれ液晶パネル441R,441G,441Bと示す)の画像形成領域をほぼ均一に照明するための光学系であり、光源装置413と、第1レンズアレイ418と、UVフィルタを含む第2レンズアレイ414と、偏光変換素子415と、第1コンデンサレンズ416と、反射ミラー424と、第2コンデンサレンズ419とを備える。
【0020】
光源装置413は、放射状の光線を射出する光源ランプ411と、この光源ランプ411から射出された放射光を反射するリフレクタ412とを備える。光源ランプ411としては、ハロゲンランプやメタルハライドランプ、高圧水銀ランプが多用される。リフレクタ412としては、放物面鏡を用いる。なお、放物面鏡の他、平行化レンズ(凹レンズ)と共に楕円面鏡を用いてもよい。
【0021】
第1レンズアレイ418は、光軸方向から見て略矩形状の輪郭を有する小レンズがマトリクス状に配列された構成を有する。各小レンズは、光源ランプ411から射出される光束を複数の部分光束に分割する。各小レンズの輪郭形状は、液晶パネル441の画像形成領域の形状とほぼ相似形をなすように設定されている。例えば、液晶パネル441の画像形成領域のアスペクト比(横と縦の寸法の比率)が4:3であるならば、各小レンズのアスペクト比も4:3に設定する。
【0022】
第2レンズアレイ414は、第1レンズアレイ418と略同様な構成を有し、小レンズがマトリクス状に配列された構成を有する。この第2レンズアレイ414は、第1コンデンサレンズ416および第2コンデンサレンズ419とともに、第1レンズアレイ418の各小レンズの像を液晶パネル441上に結像させる機能を有する。
【0023】
偏光変換素子415は、第2レンズアレイ414と第1コンデンサレンズ416との間に配置されるとともに、第2レンズアレイ414と一体でユニット化されている。このような偏光変換素子415は、第2レンズアレイ414からの光を1種類の偏光光に変換するものであり、これにより、電気光学装置44での光の利用効率が高められている。
【0024】
具体的に、偏光変換素子415によって1種類の偏光光に変換された各部分光は、第1コンデンサレンズ416および第2コンデンサレンズ419によって最終的に電気光学装置44の液晶パネル441R,441G,441B上にほぼ重畳される。偏光光を変調するタイプの液晶パネル441を用いた本実施形態のプロジェクタ1(電気光学装置44)では、1種類の偏光光しか利用できないため、他種類のランダムな偏光光を発する光源ランプ411からの光のほぼ半分が利用されない。そこで、偏光変換素子415を用いることにより、光源ランプ411からの射出光を全て1種類の偏光光に変換し、電気光学装置44での光の利用効率を高めている。なお、このような偏光変換素子415は、例えば特開平8−304739号公報に紹介されている。
【0025】
色分離光学系42は、2枚のダイクロイックミラー421,422と、反射ミラー423とを備え、ダイクロイックミラー421、422によりインテグレータ照明光学系41から射出された複数の部分光束を赤、緑、青の3色の色光に分離する機能を有する。
リレー光学系43は、入射側レンズ431、リレーレンズ433、および反射ミラー432、434を備え、色分離光学系42で分離された色光、青色光を液晶パネル441Bまで導く機能を有する。
【0026】
このような光学系4において、色分離光学系42のダイクロイックミラー421では、インテグレータ照明光学系41から射出された光束の青色光成分と緑色光成分とが透過するとともに、赤色光成分が反射する。このダイクロイックミラー421によって反射した赤色光は、反射ミラー423で反射し、フィールドレンズ417を通って赤色用の液晶パネル441Rに達する。このフィールドレンズ417は、第2レンズアレイ414から射出された各部分光束をその中心軸(主光線)に対して平行な光束に変換する。他の液晶パネル441G、441Bの光入射側に設けられたフィールドレンズ417も同様である。
【0027】
ダイクロイックミラー421を透過した青色光と緑色光のうちで、緑色光はダイクロイックミラー422によって反射し、フィールドレンズ417を通って緑色用の液晶パネル441Gに達する。一方、青色光はダイクロイックミラー422を透過してリレー光学系43を通り、さらにフィールドレンズ417を通って青色光用の液晶パネル441Bに達する。なお、青色光にリレー光学系43が用いられるのは、青色光の光路の長さが他の色光の光路長さよりも長いため、光の拡散等による光の利用効率の低下を防止するためである。すなわち、入射側レンズ431に入射した部分光束をそのまま、フィールドレンズ417に伝えるためである。
【0028】
電気光学装置44は、3枚の光変調装置としての液晶パネル441R,441G,441Bを備え、これらは、例えば、ポリシリコンTFTをスイッチング素子として用いたものであり、色分離光学系42で分離された各色光は、これら3枚の液晶パネル441R,441G,441Bによって、画像情報に応じて変調されて光学像を形成する。
【0029】
クロスダイクロイックプリズム45は、3枚の液晶パネル441R,441G,441Bから射出された各色光毎に変調された画像を合成してカラー画像を形成するものである。なお、クロスダイクロイックプリズム45には、赤色光を反射する誘電体多層膜と青色光を反射する誘電体多層膜とが、4つの直角プリズムの界面に沿って略X字状に形成され、これらの誘電体多層膜によって3つの色光が合成される。そして、クロスダイクロイックプリズム45で合成されたカラー画像は、投写レンズ46から射出され、スクリーン上に拡大投写される。
【0030】
前述したドライバーボードは、画像情報に応じた画像を投写するために、画像情報の制御や演算処理等を行うことにより、各液晶パネル441R,441G,441Bを制御する基板である。このドライバーボードにおける画像情報の処理の詳細については後述する。なお、この画像情報とは、複数の入力画像データ全体のことを示している。
【0031】
ここで、図2,3を参照し、デジタルカメラ100について簡単に説明する。デジタルカメラ100は、詳細な図示を省略するが、撮影レンズ100X、結像光学系、およびCCD等の撮像素子を備える一般的なデジタルカメラであり、撮影レンズ100Xから入射する光を結像光学系により撮像素子に結像させ、撮像素子によりデジタルデータとしての複数の撮影画像データ(入力画像データ)を取得するものである。
【0032】
デジタルカメラ100には、メモリーカード101を着脱自在に接続可能なメモリーカードインターフェース100Aが設けられている。デジタルカメラ100による撮影時において、このメモリーカードインターフェース100Aには、フラッシュROM等からなるメモリーカード101が接続されており、このメモリーカード101には、撮影された複数の入力画像データが記録される。
また、デジタルカメラ100は、メモリーカード101に記録された入力画像データを自動的に順次再生する自動再生部100B(図4)を備えており、ケーブル102を介して、この自動再生部100Bからプロジェクタ1側へ、入力画像データを順次自動的に出力できるようになっている。
【0033】
ここで、プロジェクタ1の説明に戻って、プロジェクタ1におけるメモリーカードインターフェース5は、メモリーカード101を接続可能なインターフェースである。このメモリーカードインターフェース5は、前述したドライバーボードと電気的に接続されており、メモリーカード101とドライバーボードとの間でデータの転送ができるようになっている。つまり、メモリーカード101に記録された入力画像データをドライバーボード側に入力できる。
【0034】
次に、プロジェクタ1のドライバーボードにおける画像情報の処理について説明する。
なお、プロジェクタ1に入力画像データを入力する方法としては、図2,3に示すような2種類の方法が考えられる。
すなわち、図2の方法とは、ケーブル102を介して、プロジェクタ1とデジタルカメラ100とを接続することにより、デジタルカメラ100内の入力画像データを入力する方法である。
一方、図3の方法とは、入力画像データを記録するメモリーカード101をデジタルカメラ100から取り出し、この取り出したメモリーカード101をプロジェクタ1のメモリーカードインターフェース5に接続することにより、メモリーカード101内の入力画像データを入力する方法である。
【0035】
これらの各入力方法に対応したプロジェクタ1の機能的構成を図4,5に示す。図4は、図2の入力方法に対応するプロジェクタ1のブロック図である。図5は、図3の入力方法に対応するプロジェクタ1のブロック図である。なお、プロジェクタ1では、これらの2つの入力方法のどちらも実施できるため、実際には、図6に示すようなブロック図となる。
ただし、説明の便宜上、以下には入力方法毎にプロジェクタ1の機能構成を説明する。具体的には、図4に基づいて説明した後に図5に基づいて説明する。
【0036】
プロジェクタ1は、図4に示すように、デジタルカメラ100のメモリーカードインターフェース100Aに接続されたメモリーカード101内の複数の入力画像データXnを、ケーブル102を介して順次入力して、これらの入力画像データXnに所定の処理を施したりして出力するものであり、ケーブル102を介してデジタルカメラ100が接続されるコンポジットビデオコネクタ11と、このコンポジットビデオコネクタ11を介して入力された入力画像データXnを一時的に保持するVRAM10と、静止画像データ検出手段12と、フレーム画像データ蓄積手段13と、フレーム画像データ取得手段14と、合成画像データ生成手段15と、合成画像データ出力手段16と、合成機能選択手段17とを備える。
【0037】
静止画像データ検出手段12は、コンポジットビデオコネクタ11を介して、デジタルカメラ100の自動再生部100Bから順次自動的にVRAM10に入力される入力画像データXnのうち、静止画像を表示させるための静止画像データを検出する部分であり、変化検出部121と、画像判定部122と、サンプリング位置変更部123とを備える。
変化検出部121は、入力される連続する複数の入力画像データXn間の変化を所定時間検出する部分である。具体的には、一つの入力画像データXnを構成する複数の画素のうち、予めランダムに位置を設定しておいた複数の画素における各データ(画素データ)をサンプリングし、これらのサンプリング位置における画素データの変化を検出するものである。実際の対比は、シリアルデータとして供給されVRAM10上で保持される入力画像データXnの何番目および何番目の画素データ同士を対比することにより行われる。
【0038】
図7は、一つの入力画像データXnにおいて、変化が検出される画素の位置、すなわち、変化検出部121によるサンプリング位置SLを示す図である。
これらのサンプリング位置SLは、図7(A)〜(C)に示すように、数種類のサンプリングパターンSP(SP1〜SP3)によって特定されている。このようなサンプリングパターンSPは、例えば、まず初めに、一つ目のサンプリング位置SLを特定し、このサンプリング位置SLから規則的に離れた位置の画素を選択して特定することにより構成できる。すなわち、例えば、入力画像データXnを構成する最初の画素(図7中の左上の画素)から100画素離れる毎に画素を選択して特定することができる。また、最初の画素の隣りの画素から、最初は100画素離れた位置の画素、次は、その画素から101画素離れた位置の画素・・・というような規則等に従って構成することもできる。
【0039】
画像判定部122は、各サンプリング位置SLにおいて、0.5秒の間に、入力される連続する複数の入力画像データXn間の画素データに変化が検出されない場合には、これらの入力画像データXnが静止画像データであると判定する。また、変化が検出された場合には、動画像データであると判定する。
サンプリング位置変更部123は、サンプリング位置SLが特定されたサンプリングパターンSPの種類を一定の間隔で変更することにより、変化検出部121によるサンプリング位置SLを変更するものである。
【0040】
フレーム画像データ蓄積手段13は、フラッシュメモリ等で構成されており、ここには、複数のフレーム画像データYが蓄積されている。
これらの複数のフレーム画像データYは、一つのテーマTに基づいて、所定数のフレーム画像データYが関連づけられたグループとして、これらのグループ単位で蓄積されている。具体的に、フレーム画像データYは、図8に示すテーブルにより関連づけられている。図8に示すように、テーマTとしては、例えば、「秋」や「かわいい」、「動物」等を採用できる。この際、これらのテーマT毎に、それぞれ5種類のフレーム画像データYが採用されている。これにより、テーマT毎に、5種類のフレーム画像データYを含むグループが構成されている。
【0041】
フレーム画像データ取得手段14は、入力される入力画像データXnに同期して、フレーム画像データ蓄積手段13から所定のフレーム画像データYを取得する部分であり、入力画像データ切替検出部141と、フレーム画像データ切替部142とを備える。
入力画像データ切替検出部141は、変化検出部121で検出された入力画像データXnの切り替えのタイミングを検出して、フレーム画像データ切替部142に出力する部分である。
フレーム画像データ切替部142は、入力画像データ切替検出部141から出力された入力画像データXnの切り替えタイミングに同期して、フレーム画像データ蓄積手段13に蓄積されたフレーム画像データYを切り替えて選択し取得し、この取得したフレーム画像データYを合成画像データ生成手段15に出力するものである。
【0042】
合成画像データ生成手段15は、コンポジットビデオコネクタ11を介して入力された入力画像データXn、およびフレーム画像データ切替部142により取得されたフレーム画像データYを合成して、合成画像データXnYを生成する部分である。
合成画像データ出力手段16は、この合成画像データXnYを電気光学装置44に出力し、電気光学装置44および投写レンズ46から合成画像データXnYによる合成画像Zを表示させる部分である。
【0043】
合成機能選択手段17は、フレーム画像データ取得手段14、合成画像データ生成手段15、および合成画像データ出力手段16を機能させるか否かを選択する部分である。従って、これらの各手段14〜16を機能させることを選択した場合には、入力画像データXnにフレーム画像データYを合成する処理が施される。なお、各手段14〜16を機能させないことを選択した場合には、入力画像データXnに対するフレーム画像データYを合成するという処理が実行されずに、入力画像データXnがそのまま電気光学装置44に出力されることになる。
【0044】
次に、合成画像Zを投写する際の処理について、図9に示すフロー図を用いて説明する。なお、図10は、入力画像データXn、フレーム画像データY、およびこれらのデータが合成された合成画像データXnYに基づく各画像を示す模式図である。
(1)まず、デジタルカメラ100によって、例えば、幼稚園のイベントにおける園児等の複数の入力画像データXnを予め撮影し、これらの入力画像データXnをメモリーカード101に記録しておく(処理S1)。
(2)次に、ケーブル102によって、デジタルカメラ100と、プロジェクタ1のコンポジットビデオコネクタ11とを接続する(処理S2)。
【0045】
(3)ここで、デジタルカメラ100の自動再生部100Bを機能させ、メモリーカード101内の入力画像データXnをプロジェクタ1側、つまり、コンポジットビデオコネクタ11を介して合成画像データ生成手段15に順次自動的に入力する(処理S3)。この際、合成処理を施すかどうか設定されていないため、入力された入力画像データXnがそのまま、合成画像データ生成手段15から電気光学装置44へと出力され(処理S7)、投写レンズ46から投写される。
【0046】
(4)次に、合成機能選択手段17において、フレーム画像データ取得手段14、合成画像データ生成手段15、および合成画像データ出力手段16を機能させるか否か、すなわち、入力画像データXnにフレーム画像データYを合成して合成画像データXnYを構成するか否かを選択する(処理S4)。
合成機能を実施して合成画像データXnYを構成する場合には、処理S5へと進む。一方、合成機能を実施せずに、合成画像データXnYを構成しない場合には、通常通り、入力画像データXnがそのまま電気光学装置44に出力される(処理S7)。
(5)合成機能を実施する場合には、使用者は、入力画像データXnに合成するフレーム画像データYのテーマTを一つ選択する(処理S5)。なお、処理S3は、処理S4,5の後に実施してもよい。
【0047】
(6)次に、プロジェクタ1に順次入力される入力画像データXn(図10(A))に対して、フレーム画像データY(図10(B))を適宜切り替えて合成することにより、合成画像データXnY(図10(C))を構成する(処理S6)。具体的には、図11に示すフロー図に基づいて行われる。
【0048】
(6-01)変化検出部121において、所定のサンプリングパターンSPが選択され、最初に入力された入力画像データXn(X1)における、このサンプリングパターンSPのサンプリング位置SLでの画素データXnPを取得する(処理S601)。
(6-02)この取得した最初の入力画像データXn(X1)におけるサンプリング位置SLでの画素データXnP(X1P)を一時的に保存しておく(処理S602)。
(6-03)続けて次に入力された入力画像データXn(X2)における、前回と同じサンプリング位置SLでの画素データXnP(X2P)を取得する(処理S603)。
(6-04)この取得した画素データX2Pの内容と、前回に保存しておいた画素データX1Pの内容とを比較する(処理S604)。
(6-05)比較した結果、両画素データXnP(X1P,X2P)の内容が一致すると判定された場合には、サンプリング位置変更部123において、サンプリングパターンSPを変更することにより、サンプリング位置SLを更新して(処理S605)、処理S601へと戻る。一方、両画素データXnP(X1P,X2P)の内容が一致しないと判定された場合には、処理S606へと進む。
【0049】
(6-06)ここで、両画素データXnP(X1P,X2P)が継続して一致していた時間をカウントしておき、この時間が0.5秒を経過したか否かを確認する(処理S606)。なお、両画素データXnP(X1P,X2P)が一致した回数で確認してもよい。
(6-07)一致していた時間が0.5秒以上であると確認された場合には、画像判定部122において、入力画像データXnが静止画像データであると判定される(処理S607)。
(6-08)一方、一致していた時間が0.5秒未満であると確認された場合には、画像判定部122において、入力画像データXnが動画像データであると判定され(処理S608)、この入力画像データXnには特に加工がなされずに、そのまま電気光学装置44に出力される(処理S7)。
【0050】
(6-09)入力画像データXnが静止画像データであると判定されると、入力画像データ切替検出部141において、画像判定部122での判定結果を検出するとともに、フレーム画像データ切替部142において、選択したテーマTの中から、直前に取得されたフレーム画像データYとは異なるフレーム画像データYに切り替えて選択し、フレーム画像データ蓄積手段13から取得する(処理S609)。
(6-10)次に、フレーム画像データ切替部142において、この取得したフレーム画像データYを合成画像データ生成手段15に出力する。この際、合成画像データ生成手段15において、デジタルカメラ100の自動再生部100Bから入力された入力画像データXnと、この取得したフレーム画像データYとを合成して合成画像データXnYを構成し、合成画像データ出力手段16に出力する(処理S610)。
【0051】
(7)合成画像データ出力手段16において、入力された合成画像データXnYを電気光学装置44に出力する(処理S7)。これにより、投写レンズ46を介して、合成画像データXnYに基づく合成画像Zが投写される。
【0052】
次に、図5に基づいて、プロジェクタ1の機能を説明する。なお、図4に基づいて説明したものと同一のものについては、説明を省略または簡略する。
プロジェクタ1は、図5に示すように、メモリーカード101に記録された複数の入力画像データXnを順次入力し、これらの入力画像データXnに所定の処理を施したりして出力するものであり、メモリーカードインターフェース5と、自動再生部18と、フレーム画像データ蓄積手段13と、フレーム画像データ取得手段14と、合成画像データ生成手段15と、合成画像データ出力手段16と、合成機能選択手段17とを備える。
【0053】
自動再生部18は、メモリーカードインターフェース5に接続されたメモリーカード101に予め記録された複数の入力画像データXnを順次読み出して、自動的に再生し、合成画像データ生成手段15に出力するものである。
フレーム画像データ取得手段14は、入力画像データ切替検出部141において、自動再生部18が再生する入力画像データXnの切り替えのタイミングを検出し、この検出のタイミングに基づいて、フレーム画像データ切替部142において、フレーム画像データYを切り替えて選択し取得して、この取得したフレーム画像データYを合成画像データ生成手段15に出力する。
【0054】
次に、合成画像を投写する際の処理について、図12に示すフロー図を用いて説明する。
(1)まず、デジタルカメラ100によって、複数の入力画像データXnを予め撮影し、これらの入力画像データXnをメモリーカード101に記録しておく(処理S101)。
(2)複数の入力画像データXnを記録するメモリーカード101を、プロジェクタ1のメモリーカードインターフェース5に接続する(処理S102)。
(3)次に、合成機能選択手段17において、フレーム画像データ取得手段14、合成画像データ生成手段15、および合成画像データ出力手段16を機能させるか否か、すなわち、入力画像データXnにフレーム画像データYを合成して合成画像データXnYを構成するか否かを選択する(処理S103)。
(4)次に、入力画像データXnに合成するフレーム画像データYのテーマTを一つ選択する(処理S104)。
【0055】
(5)ここで、プロジェクタ1の自動再生部18を機能させて、メモリーカード101内の入力画像データXnを合成画像データ生成手段15に順次自動的に入力する(処理S105)。
(6)入力画像データ切替検出部141において、自動再生部18における入力画像データXnの切り替えのタイミングを検出し、フレーム画像データ切替部142において、この検出した切り替えのタイミングに同期して、選択したテーマTの中からフレーム画像データYを切り替えて選択して取得し、この取得したフレーム画像データYを合成画像データ生成手段15に出力する(処理S106)。
【0056】
(7)合成画像データ生成手段15において、自動再生部18から入力された入力画像データXnと、この取得したフレーム画像データYとを合成して、合成画像データXnYを構成し、合成画像データ出力手段16を介して、電気光学装置44に出力する(処理S107)。これにより、投写レンズ46を介して、合成画像データXnYに基づく合成画像Zが投写される。
なお、本プロジェクタ1は、前述した2種類の入力方法に対応できるものであり、実際には、図6のブロック図に示すような機能構成となっている。
【0057】
このような本実施形態によれば、以下のような効果がある。
(1)従来のように、わざわざ入力画像データXnをパソコン等に一旦取りこんで加工を施すといった手間を掛けなくても、デジタルカメラ100から入力画像データXnを直接入力して、この入力画像データXnとフレーム画像データYとを簡単に合成できるとともに、この合成画像Zをすぐに見ることができる。
【0058】
(2)合成機能選択手段17において、各手段14〜16を機能させるか否かを選択して、入力画像データXnにフレーム画像データYを合成するか否かを選択するので、入力画像データXnの内容や投写時のシチュエーション等に応じて、適切な画像を投写できる。
【0059】
(3)入力画像データ切替検出部141において、入力画像データXnの切り替えを検出し、フレーム画像データ切替部142において、この検出された入力画像データXnの切り替えに応じて、フレーム画像データ蓄積手段13に蓄積されたフレーム画像データYを選択し、このフレーム画像データYの切り替えを行うため、入力画像データXnが切り替わるたびに、フレーム画像データYも自動的に切り替わることにより、投写する合成画像Zを変化に富んだものにできて、その演出効果をより一層高めることができる。
【0060】
(4)一定のテーマTに基づく5つのフレーム画像データYを、互いに関連づけてフレーム画像データ蓄積手段13に蓄積し、フレーム画像データ切替部142において、5つのフレーム画像データYの中から選択されるように構成したので、入力画像データXnの内容等に応じたテーマTを適宜選択するだけで、関連のあるフレーム画像データYだけを選択的に入力画像データXnに合成できる。このため、投写する合成画像Zの演出効果をより一層高めることができる。
【0061】
(5)静止画像データ検出手段12において、複数の入力画像データXnから静止画像データを検出するので、静止画像データに対してのみフレーム画像データYを合成するような設定にできる。
【0062】
(6)変化検出部121において、0.5秒以内に連続的に入力される複数の入力画像データXn間の変化を検出し、この検出の結果、変化が検出されない場合には、画像判定部122において、入力される入力画像データXnが静止画像データであると判定し、変化が検出された場合には、入力される入力画像データXnが動画像データであると判定したので、動画像データにはフレーム画像データYを合成せず、静止画像データにだけに択的にフレーム画像データYを合成するような設定にできる。このため、入力画像データXnの切り替えに応じて、フレーム画像データYを切り替えて合成する際に、入力画像データXnが動画像データであるときでも、めまぐるしく切り替わる動画像データに、その都度異なるフレーム画像データYを合成しないから、投写する合成画像Zの見栄えを向上できる。
【0063】
(7)入力画像データXnを構成する画素の中から、所定数のサンプリング位置SLだけを変化検出部121において検出するので、全画素のデータ変化を検出する場合に比べて、同程度の正確性を確保した上で、短時間に変化を検出できる。
【0064】
(8)入力画像データXnを構成する画素におけるサンプリング位置SLが所定位置に設定されたサンプリングパターンSPを複数種類用意し、サンプリング位置変更部123において、これらのサンプリングパターンSPを一定間隔で変更する。このため、サンプリング位置SLが一定間隔で変更されるので、同じような入力画像データXnが連続的に入力された場合でも、サンプリング位置SLにおけるデータ変化を確実に検出できる。
【0065】
(9)プロジェクタ1の自動再生部18において、メモリーカードインターフェース5に接続されたメモリーカード101内の複数の入力画像データXnを自動的に順次再生するので、わざわざ使用者が画像を切り替えて再生しなくても、手軽に、かつ自動的に合成画像Zを投写できる。
【0066】
(10)サンプリング位置SLでのデータ変化を観察する時間を0.5秒としたが、この0.5秒は非常に短時間であるため、入力画像データXnが投写される時と、フレーム画像データYが合成される時との間にタイムラグが生じても、特に違和感を感じずに、適正な合成画像Zにできる。また、観察時間を0.5秒としたので、連続的に入力される入力画像データXnについて、静止画像データと動画像データとを確実に区別できる。
【0067】
(11)入力画像データXnの入力方法として、メモリーカード101による入力と、ケーブル102接続により入力の2つの方法を採用できるので、接続可能な外部機器が増加し、プロジェクタ1の汎用性を高めることができる。
【0068】
(12)幼稚園における遠足や運動会等のイベントの発表会や、結婚式における新郎新婦のプロフィール紹介、カラオケ大会における優勝者の発表等の各種イベントにおける発表や報告等の多くの場面でプロジェクタ1を使用できるとともに、このような発表の場の演出効果をより一層高めることができる。
【0069】
本発明は、前記実施形態に限定されるものではなく、本発明の目的を達成できるその他の構成等を含み、以下に示すような変形等も本発明に含まれる。
例えば、前記実施形態において、入力される入力画像データXnは、自動的に切り替えられて再生するようにしたが、これに限らず、使用者等の手動により切り替えられて再生するようにしてもよい。
【0070】
前記実施形態において、1つのテーマTに5つのフレーム画像データYを関連づけたが、関連づけるフレーム画像データYの数は、3つや9つ等の任意の数としてよい。また、テーマTとして、「秋」や「かわいい」、「動物」を採用したが、例えば、「自然」や「スポーツ」等のその他のテーマも採用できる。
【0071】
このように1つのテーマTに基づいてフレーム画像データYを関連づけて蓄積した上で、関連づけられたフレーム画像データYの中から1つのフレーム画像データYが選定されるように構成したが、特に、フレーム画像データYの関連づけを行わずに、蓄積されたフレーム画像データYの中から1つのフレーム画像データYがランダムに選定されるように構成してもよい。
【0072】
また、テーマTおよびこのテーマTに基づくフレーム画像データYを、プロジェクタ1の製造段階で予め蓄積しておいたが、例えば、後から新たなテーマTやフレーム画像データYを追加できるように構成してもよい。なお、フレーム画像データYを通信回線を介して蓄積できるように構成してもよい。
【0073】
また、前記実施形態において、サンプリング位置SLでのデータ変化を観察する時間を0.5秒としたが、これに限らず、0.3秒等のその他の時間としてもよく、要するに、入力画像データXnが静止画像データであるか否かを認識できる時間に設定すればよい。
【0074】
前記実施形態において、サンプリング位置SLの異なるサンプリングパターンSPを複数種類用意したが、これに限らず、1つのサンプリングパターンSPのみで入力画像データXnの変化を検出してもよい。この場合には、サンプリング位置変更部123を特に設けなくてもよい。
【0075】
前記実施形態において、記録媒体をメモリーカードとし、記録媒体接続部をメモリーカードインターフェースとしたが、これに限らず、例えば、記録媒体をフロッピーディスクやCD-ROM等のその他の記録媒体とし、記録媒体接続部をこれらに応じたものとすることもできる。
その他、本発明の実施時の具体的な構造および形状等は、本発明の目的を達成できる範囲で、他の構造等としてもよい。
【0076】
【発明の効果】
以上に述べたように、本発明のプロジェクタによれば、従来のように、わざわざ入力画像データをパソコン等に一旦取りこんで加工を施すといった手間を掛けなくても、外部装置等から入力画像データを直接入力して、この入力画像データとフレーム画像データとを合成する加工を簡単に施すことができるとともに、この加工後の画像を投写してすぐに見ることができるという効果がある。
【図面の簡単な説明】
【図1】本発明のプロジェクタを構成する光学ユニットを模式的に示す図である。
【図2】ケーブルを介してデジタルカメラが接続された前記プロジェクタを示す図である。
【図3】前記デジタルカメラに収納されたメモリーカードを前記プロジェクタに接続する様子を示す図である。
【図4】図2に対応させた前記プロジェクタの機能構成を示すブロック図である。
【図5】図3に対応させた前記プロジェクタの機能構成を示すブロック図である。
【図6】前記プロジェクタの機能構成を示すブロック図である。
【図7】入力画像データにおけるサンプリング位置を模式的に示す図である。
【図8】関連づけがなされたフレーム画像データを示す図である。
【図9】前記プロジェクタにおいて、合成画像を投写する際の処理を示すフロー図である。
【図10】前記入力画像データ、フレーム画像データ、および合成画像データに基づく画像を示す模式図である。
【図11】前記フレーム画像データを切り替えて合成する際の処理を示すフロー図である。
【図12】前記プロジェクタにおいて、合成画像を投写する際の処理を示すフロー図である。
【符号の説明】
1 プロジェクタ
5 記録媒体接続部としてのメモリーカードインターフェース
12 静止画像データ検出手段
13 フレーム画像データ蓄積手段
14 フレーム画像データ取得手段
15 合成画像データ生成手段
16 合成画像データ出力手段
17 合成機能選択手段
18 自動再生部
44 電気光学装置
46 投写光学系としての投写レンズ
101 記録媒体としてのメモリーカード
121 変化検出部
122 静止画像判定部としての画像判定部
123 サンプリング位置変更部
141 入力画像データ切替検出部
142 フレーム画像データ切替部
413 光源としての光源装置
SL サンプリング位置
Xn 入力画像データ
XnY 合成画像データ
Y フレーム画像データ

Claims (5)

  1. 順次入力される複数の入力画像データに基づいて、光源から射出された光束を変調する電気光学装置と、この電気光学装置で変調された変調光束を拡大投写する投写光学系とを備えるプロジェクタであって、
    予め生成された複数のフレーム画像データを蓄積したフレーム画像データ蓄積手段と、
    前記複数の入力画像データに同期して、前記フレーム画像データ蓄積手段から所定のフレーム画像データを取得するフレーム画像データ取得手段と、
    前記複数の入力画像データのうち、静止画像を表示させるための静止画像データを検出する静止画像データ検出手段と、
    前記複数の入力画像データのうち前記静止画像データ検出手段にて検出された静止画像データ、および取得されたフレーム画像データを合成する合成画像データ生成手段と、
    合成された合成画像データを前記電気光学装置に出力し、該電気光学装置で合成画像データを表示させる合成画像データ出力手段とを備え、
    前記静止画像データ検出手段は、所定の時間内に入力される連続する複数の入力画像データ間において前記入力画像データを構成する複数の画素データのうち所定位置の画素データをサンプリングしてその変化を検出する変化検出部と、前記変化検出部によるサンプリング位置を一定間隔で変更するサンプリング位置変更部と、前記所定の時間内において前記サンプリング位置変更部によりサンプリング位置が一定間隔で変更されても継続して前記変化検出部にて変化が検出されない場合に静止画像データであると判定する静止画像判定部とを備えていることを特徴とするプロジェクタ。
  2. 請求項1に記載のプロジェクタにおいて、
    前記フレーム画像データ取得手段、前記合成画像データ生成手段、および前記合成画像データ出力手段を機能させるか否かを選択する合成機能選択手段を備えていることを特徴とするプロジェクタ。
  3. 請求項1または請求項2に記載のプロジェクタにおいて、
    前記フレーム画像データ取得手段は、前記入力画像データの切り替えを検出する入力画像データ切替検出部と、入力画像データの切り替えに応じて前記フレーム画像データ蓄積手段に蓄積されたフレーム画像データを選択して、該フレーム画像データの切り替えを行うフレーム画像データ切替部とを備えていることを特徴とするプロジェクタ。
  4. 請求項3に記載のプロジェクタにおいて、
    前記フレーム画像データ蓄積手段には、前記複数のフレーム画像データのうち、所定数のフレーム画像データが互いに関連づけられて蓄積されており、
    前記フレーム画像データ切替部は、この関連づけに基づいて前記フレーム画像データを選択することを特徴とするプロジェクタ。
  5. 請求項1〜請求項4のいずれかに記載のプロジェクタにおいて、
    前記複数の入力画像データが記録された記録媒体を接続する記録媒体接続部と、
    接続された記録媒体に記録された前記複数の入力画像データを自動的に順次再生する自動再生部とを備えていることを特徴とするプロジェクタ。
JP2001340930A 2001-11-06 2001-11-06 プロジェクタ Expired - Fee Related JP3815299B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001340930A JP3815299B2 (ja) 2001-11-06 2001-11-06 プロジェクタ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001340930A JP3815299B2 (ja) 2001-11-06 2001-11-06 プロジェクタ

Publications (2)

Publication Number Publication Date
JP2003140594A JP2003140594A (ja) 2003-05-16
JP3815299B2 true JP3815299B2 (ja) 2006-08-30

Family

ID=19155061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001340930A Expired - Fee Related JP3815299B2 (ja) 2001-11-06 2001-11-06 プロジェクタ

Country Status (1)

Country Link
JP (1) JP3815299B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006157349A (ja) * 2004-11-29 2006-06-15 Nikon Corp プロジェクタ付き電子機器用補助装置および電子カメラシステム

Also Published As

Publication number Publication date
JP2003140594A (ja) 2003-05-16

Similar Documents

Publication Publication Date Title
KR950014509B1 (ko) 복수의 광학계를 구비한 촬상 장치
US7978225B2 (en) Image recording apparatus, image playback control apparatus, image recording and playback control apparatus, processing method therefor, and program for enabling computer to execute same method
TW200304325A (en) Image photographing device and color difference compensation method
JPS6216690A (ja) 画像ハ−ドコピ−作成装置
JP5043730B2 (ja) 撮像装置、その制御方法、画像処理装置及び画像処理方法
WO2010035752A1 (ja) 画像生成装置、撮像装置、画像再生装置、画像再生プログラム
JP2006246307A (ja) 画像データ処理装置
JP2005283658A (ja) 画像投影装置
JPH11298784A (ja) 電子カメラおよびその動作制御方法ならびにアニメーションgif生成装置および方法
JP3815299B2 (ja) プロジェクタ
JPH11168745A (ja) デジタルカメラ
JP3216644B2 (ja) 実像投影式映像再生装置及び該装置に適用するための制御信号形成装置
JP4391431B2 (ja) 撮像装置
JP2001309212A (ja) デジタルカメラ
JP3696678B2 (ja) ディジタル画像データ記録装置および方法ならびにディジタル画像データ再生装置および方法
JP2002262250A (ja) テレビ会議装置
JP2004312218A (ja) デジタルカメラおよび画像再生装置
JPH0622200A (ja) スチルビデオカメラ
JP6952584B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JPH08237467A (ja) フィルム画像再生装置
JP2011135252A (ja) 立体映像撮影用カメラ調整補助装置
JP2005026873A (ja) 撮影方法、撮像装置、及びプログラム
JPH07322121A (ja) 高画質画像入力装置
JP4013433B2 (ja) 画像再生装置及びデジタルカメラ
JP4741434B2 (ja) Cg合成装置およびcg合成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060529

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100616

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110616

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110616

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120616

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130616

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130616

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees