JP2985878B1 - 合成画像作成装置および記録媒体 - Google Patents

合成画像作成装置および記録媒体

Info

Publication number
JP2985878B1
JP2985878B1 JP10184072A JP18407298A JP2985878B1 JP 2985878 B1 JP2985878 B1 JP 2985878B1 JP 10184072 A JP10184072 A JP 10184072A JP 18407298 A JP18407298 A JP 18407298A JP 2985878 B1 JP2985878 B1 JP 2985878B1
Authority
JP
Japan
Prior art keywords
image
instruction information
synthesizing
composite
synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP10184072A
Other languages
English (en)
Other versions
JP2000022928A (ja
Inventor
勝行 稲毛
匡 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=16146900&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2985878(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP10184072A priority Critical patent/JP2985878B1/ja
Application granted granted Critical
Publication of JP2985878B1 publication Critical patent/JP2985878B1/ja
Publication of JP2000022928A publication Critical patent/JP2000022928A/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Light Sources And Details Of Projection-Printing Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【要約】 【課題】合成画像の多様性を高めてその面白みを深め
る。 【解決手段】画像処理部24内に設けられた合成指示情
報記憶手段で、複数の画像を合成する際における各画像
のはめ込み位置を示す合成指示情報D1〜8を記憶してい
る。撮像手段3により、撮像領域1に対して複数回の画
像採取動作を行い、採取した複数の画像を、合成指示情
報記憶手段で記憶している合成指示情報に基づいて、画
像合成手段である画像処理部24で合成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、遊戯用人物写真印
刷装置等に用いられる合成画像作成装置および合成画像
の作成に用いられる記憶媒体に関する。
【0002】
【従来の技術】遊戯用人物写真印刷装置として用いられ
る合成画像作成装置として、従来から、次のようなもの
がある。すなわち、この合成画像作成装置は、装置内に
設けられた撮像領域に使用者を配置させてその画像を採
取し、採取した人物写真画像と予め記憶しておいた背景
画像とを、画像合成部で合成したうえでシール用紙に印
刷して出力している。
【0003】
【発明が解決しようとする課題】しかしながら、従来の
合成画像作成装置には、次のような課題があった。すな
わち、遊戯用人物写真印刷装置では、画像の合成におる
多様性を高めることが求められており、多様な画像作成
形態の一つとして、多人数を一枚の画像内に入れ込むこ
とが要望されている。しかしながら、従来の合成画像作
成装置では、一度に撮像できる人数は最大限3,4人程
度でしかなく、多人数を一つの画像内に入れ込むことに
限界があった。
【0004】なお、一度に多人数を撮像できるようにす
るものとして、撮像手段に設けられるレンズとして画角
の広いレンズ(広角レンズ)を用い、これによって撮像
位置における撮像可能範囲を上下左右に広げて撮像人数
を増加させることも考えらている。しかしながら、広角
レンズを用いる手法は、画面周辺部の画像歪みが大きく
なって自然な画像が得られなくなるため、適切なものと
はいえなかった。そのうえ、広角レンズ等を用いて撮像
人数を増加させても、それだけでは、記念写真的な集合
写真しか得られず、遊戯機としての面白みに欠けると言
わざるを得なかった。
【0005】したがって、本発明においては、合成画像
の多様性を高めてその面白みを深めることを課題として
いる。
【0006】
【課題を解決するための手段】本発明は、次のような手
段によって、上述した課題の解決を達成している。
【0007】請求項1に記載した発明は、撮像領域に対
して複数回の画像採取動作を行う撮像手段と、前記撮像
手段によって取得した複数の画像の、はめ込み位置およ
び回転角度を含む合成指示情報を、前記撮像手段による
画像採取動作の前から予め保持する合成指示情報記憶手
段と、前記合成指示情報記憶手段が記憶している合成指
示情報に基づいて、前記撮像手段が採取した複数の画像
を合成する画像合成手段とを備えることを特徴としてお
り、これにより、次のような作用を有する。すなわち、
画像合成手段で作成する合成画像の画像領域各所には、
画像採取動作それぞれにおいて採取された画像がはめ込
まれることになる。さらには、撮像領域に対して複数回
行われる画像採取動作それぞれにおいて、互いに異なる
撮像対象を撮像しておけば、合成する画像の数に応じた
複数の撮像対象が一つの合成画像内にはめ込まれること
になる。さらにまた、合成画像の画像領域各所にはめ込
まれる画像(撮像対象)の合成時の回転角度を任意に設
定できるようになり、その分、作成する合成画像の多様
性が高まる。
【0008】請求項2に記載した発明は、撮像領域に対
する連続撮像状態において、複数回の画像採取動作を行
う撮像手段と、前記撮像手段によって取得した複数の画
像の、はめ込み位置および回転角度を含む合成指示情報
を、前記撮像手段による画像採取動作の前から予め保持
する合成指示情報記憶手段と、前記合成指示情報記憶手
段が記憶している合成指示情報に基づいて、前記撮像手
段が前記連続撮像状態の間に採取した複数の画像を合成
する画像合成手段とを備えることを特徴としており、こ
れにより、次のような作用を有する。すなわち、画像合
成手段で作成する合成画像の画像領域各所には、画像採
取動作それぞれにおいて採取された画像がはめ込まれる
ことになる。さらには、連続撮像状態において、撮像領
域に対して複数回行われる画像採取動作それぞれにおい
て、互いに異なる撮像対象を撮像しておけば、合成する
画像の数に応じた複数の撮像対象が一つの合成画像内に
はめ込まれることになる。さらにまた、合成画像の画像
領域各所にはめ込まれる画像(撮像対象)の合成時の回
転角度を任意に設定できるようになり、その分、作成す
る合成画像の多様性が高まる。なお、連続撮像状態とは
次の状態をいう。すなわち、撮像状態は、撮像開始を指
示するボタン・スイッチ類の操作(遊戯用人物写真印刷
装置等の場合では、硬貨の投入の検出でもよい)を起因
して開始されたのち、撮像終了を指示するボタン・スイ
ッチ類の操作や合成画像の作成(遊戯用人物写真印刷装
置等の場合では、合成画像の印刷出力でもよい)を検出
することによって終了するが、連続撮像状態とはこのよ
うな撮像開始から撮像終了に至る一連の撮像期間をい
う。
【0009】請求項3に記載した発明は、請求項1また
は2に係る合成画像作成装置であって、前記合成指示情
報記憶手段は、更に、複数の画像を合成する際における
各画像の大きさを示す合成指示情報を記憶していること
に特徴を有しており、これにより次のような作用を有す
る。すなわち、合成画像の画像領域各所にはめ込まれる
画像(撮像対象)の大きさを任意に設定できるようにな
り、その分、作成する合成画像の多様性が高まる。
【0010】
【0011】請求項に記載した発明は、請求項1ない
のいずれかに係る合成画像作成装置であって、前記
合成指示情報記憶手段は、更に、合成画像の背景を示す
情報を記憶していることに特徴を有しており、これによ
り次のような作用を有する。すなわち、合成画像の背景
を任意に設定できるようになり、その分、作成する合成
画像の多様性が高まる。
【0012】請求項に記載した発明は、請求項1ない
し4のいずれか記載の合成画像作成装置であって、前記
撮像手段が各画像採取動作において画像を採取する度に
採取した画像をはめ込んでなる合成経過状態を表示する
とともに、前記合成経過状態に更に次の画像採取動作直
前の画像をはめ込んでなる合成予測状態を表示する表示
手段を更に備えており、かつ、前記表示手段は、合成予
測状態の表示において、次の画像採取動作で採取されて
合成経過状態にはめ込まれる画像の上下方向が表示画面
上における上下方向に一致するように、合成予測状態を
回転処理したうえで表示するものであることに特徴を有
しており、これにより次のような作用を有する。すなわ
ち、次の画像採取動作で採取されて合成経過状態にはめ
込まれる画像の上下方向が表示画面上における上下方向
に一致するように、合成予測状態を回転処理したうえで
表示するので、使用者は、その都度の合成経過状態を把
握することができるうえに、次に採取される画像上での
自分の位置を、鏡面に対峙している時のように把握でき
る。
【0013】請求項に記載した発明は、請求項1ない
のいずれかに係る合成画像作成装置であって、前記
合成指示情報記憶手段は互いに異なる複数の合成指示情
報を記憶しており、前記画像合成手段は、合成指示情報
記憶手段が記憶している合成指示情報の中から合成処理
に用いる合成指示情報を選択して、選択した合成指示情
報に基づいて合成画像を作成するものであることに特徴
を有しており、これにより次のような作用を有する。す
なわち、互いに異なる複数の合成指示情報の中から、任
意の合成指示情報を選択してその合成時指示情報に基づ
いて、画像を合成するので、合成画像の多様性が高まる
ことになる。
【0014】請求項に記載の発明は、請求項1ないし
のいずれかに係る合成画像作成装置であって、前記画
像合成手段が合成して合成画像を印刷して出力する出力
手段を更に備えていることに特徴を有しており、これに
より次のような作用を有する。すなわち、合成画像を印
刷出力して種々利用することができるようになる。
【0015】請求項に記載の発明は、コンピュータに
よって画像合成操作を行うプログラムを記憶した記録媒
体であって、該プログラムは、複数の画像を合成する際
における合成指示情報を複数記録したうえで、これら合
成指示情報の中から合成処理に用いる合成指示情報を選
択して、選択した合成指示情報に基づいて複数の画像を
合成することに特徴を有しており、これにより次のよう
な作用を有する。すなわち、画像合成処理により作成さ
れる合成画像には複数の画像がはめ込まれることにな
る。
【0016】請求項に記載の発明は、請求項に係る
記録媒体であって、前記合成指示情報は、複数の画像を
合成する際における各画像のはめ込み位置、大きさ、回
転角度を示す情報であることに特徴を有しており、これ
により次のような作用を有する。すなわち、画像合成処
理により作成される合成画像には、位置、大きさ、回転
角度をそれぞれ任意に設定された複数の画像がはめ込ま
れることになる。
【0017】請求項10に記載の発明は、コンピュータ
によって複数の画像を合成する際における合成指示情報
を記録しており、この合成指示情報は、複数の画像を合
成する際における各画像のはめ込み位置、大きさ、回転
角度を示す情報であることを特徴を有しており、これに
より次のような作用を有する。すなわち、この記憶媒体
に記憶された合成指示情報に基づいて複数の画像を合成
すれば、画像合成処理により作成される合成画像には、
位置、大きさ、回転角度をそれぞれ任意に設定された複
数の画像がはめ込まれることになる。
【0018】
【発明の実施の形態】以下、本発明の一実施の形態を図
面を参照して詳細に説明する。
【0019】図1は、本発明の一実施の形態の合成画像
作成装置を組み込んだ遊戯用人物写真印刷装置の構成を
示す概略横断面図である。この遊戯用人物写真印刷装置
は、前面側に撮像領域1が設定されたフレーム2を有し
ている。フレーム2の内部に撮像手段であるはビデオカ
メラ3が設けられている。ビデオカメラ3は撮像領域1
を撮像できるように、撮像領域1と対向して設置されて
いる。撮像領域1とビデオカメラ3との間にはハーフミ
ラー4が設けられている。ハーフミラー4は、フレーム
2の前面側に位置するミラー端部を上にし、フレーム2
の奥側に位置するミラー端部を下にした傾斜状態(ほぼ
45°)に設置されている。ハーフミラー4の下方には
CRT5が設けられている。CRT5は、その表示面5
aをハーフミラー側に向けた上向きに設置されている。
これにより、ビデオカメラ3はハーフミラー4越しに撮
像領域1を撮像できる一方、CRT5で表示される表示
画像は、ハーフミラー4で反射されて撮像領域1側から
見ることができるようになっている。CRT5のさらに
下方には、合成処理装置(小型コンピュータ)6とシー
ルプリンタ7とが設けられている。合成処理装置6は、
ビデオカメラ3で撮像された画像を基にして画像合成を
行うものであって、内部に構成指示情報記憶手段と、画
像合成手段とが組み込まれている。シールプリンタ7
は、合成処理装置6で作成された合成画像を印刷出力す
るものである。なお、図中、符号8は、撮像領域1から
各種の操作の指示を行う操作パネルであり、9は、撮像
領域1を側方から照らす照明であり、10は、撮像領域
1を上方から照らす照明であり、11は、撮像領域1を
囲む暗幕であり、12は、遊戯用人物写真印刷装置の起
動を司る硬貨の投入の有無を検出するコイン機構であ
り、13は、遊戯用人物写真印刷装置のメイン電源スイ
ッチである。
【0020】次に、合成処理装置6の回路構成を図2の
回路ブロック図を参照して説明す る。この合成処理装
置6は、メイン制御部20と、ビデオカメラ制御部2
1、キャプチャボード22と、ビデオキャプチャ制御部
23と、画像処理部24と、グラフィックボード25
と、SCSIカード26と、IOボード制御部27と、
IOボードと28とを備えている。
【0021】メイン制御部20は、装置全体の主制御、
並びにゲームのメインシーケンスの制御を行っている。
ビデオカメラ制御部21は、メイン制御部20の指令に
基づいてビデオカメラ3の撮像動作の制御を行ってい
る。キャプチャボード22は、ビデオカメラ3の画像信
号を取り込んでビデオキャプチャ制御部23に伝達して
いる。ビデオキャプチャ制御部23は、ビデオカメラ3
の画像信号の取り込み動作をキャプチャボード22を介
して制御するとともに、取り込んだ画像信号を画像処理
部24に伝達している。画像処理部24は、ビデオキャ
プチャ制御部23を介して取り込まれるビデオカメラ3
の画像信号を基にした印刷用合成画像信号の作成並びに
CRT表示用合成画像信号の作成を行っている。グラフ
ィックボード25は、画像処理部24が作成したCRT
表示用合成画像信号とメイン制御部20が作成したCR
T表示制御信号とをCRT5に向けて出力している。S
CSIカード26は、画像処理部24が作成した印刷用
合成画像信号をシールプリンタ7に向けて出力してい
る。IOボード制御部27は、メイン制御部20の指令
に基づいてコイン機構12,照明9,10の制御信号を
作成するとともに、操作パネル8およびコイン機構12
から出力される操作情報信号をメイン制御部20に伝達
している。IOボード28は、IOボード制御部27が
作成した制御信号をコイン機構12,照明部9,10に
向けて出力するとともに、操作パネル8およびコイン機
構12から入力された操作情報信号をIOボード制御部
27に伝達している。なお、メイン制御部20,ビデオ
カメラ制御部21,ビデオキャプチャ制御部23,画像
処理部24は、OS(オペレーティングシステム)29
を介して、キャプチャボード22,グラフィックボード
25,SCSIボード26,IOボード28に接続され
ている。
【0022】次に、この遊戯用人物写真印刷装置で作成
可能な合成パターンP1〜8(本実施の形態では8パター
ンとしている)に付いて、図3を参照して説明する。図
3は、作成可能な合成パターンP1〜8をCRT5の表示
面5aに表示した状態を示している 。
【0023】これら作成可能な合成パターンP1〜8の合
成指示情報D1〜8は、データテーブルにして画像処理部
24内に予め格納されている。図9には、合成パターン
1〜8 の合成指示情報の一例D7が示されている。この
合成指示情報D7は、合成パターンP7に対応したデータ
テーブルである。
【0024】図9の合成指示情報D7を例にして合成指
示情報D1〜nの内容を説明する。合成指示情報D1〜n
次のデータテーブルから構成されている。すなわち、合
成指示情報D1〜nは、背景フレームファイル名格納テー
ブルd1と、画像採取回数格納テー ブルd2と、各画
像採取時における合成指示情報格納テーブルd31〜n
を備えている。合成指示情報格納テーブルd31〜nの数
は、画像採取回数格納テーブルd2に格納されている画
像採取回数に対応しており、図9の例では、画像採取回
数格納テーブルd2に格納されている画像採取回数が4
回であるので、合成指示情報格納テーブルd3は、テー
ブルd31,テーブルd32,テーブルd33,テ ーブル
d34の計4つのテーブルが設けられている。画像処理
部24には、予め、複数の背景フレームの画像データで
あるフレーム画像データが格納されており、背景フレー
ムファイル名格納テーブルd1には、これらフレーム画
像データを指定するファイル名データF1〜mが格納され
ている。
【0025】各合成指示情報格納テーブルd31〜4は次
のように構成されている。すなわち、各合成指示情報格
納テーブルd31〜4は、採取画像の縮小サイズデータが
格納 される縮小サイズ格納部K1と、採取した画像の
カラー/モノクロ処理を指示するカラー/モノクロ指示
データ格納部K2と、縮小画像を回転処理(以下、この
回転処理を第1の回転処理という)する際における角度
データを格納する角度データ格納部K3と、第1の回転
処理画像の背景に対する透明度のデータを格納する透明
度データ格納部K4と、第1の回転処理画像の配置先左
上座標データを格納する位置データ格納部K5とを備え
ている。
【0026】縮小サイズ格納部K1に格納されている採
取画像の縮小サイズデータは、採取画像の当初サイズ
(幅480ピクセル×高さ350ピクセル)を、間引き
法、バイリニア法、バイキュービック法等により縮小す
る際において、どこまで縮小するかをサイズデータ(幅
×高さ)で規定したデータである。角度データ格納部K
3に格納されている角度データは、第1の回転処理にお
いて、縮小画像を時計回りに何度回転させるかを示す角
度データである。透明度データ格納部K4に格納されて
いる透明度のデータは、第1の回転処理画像と背景画像
とを重ね合わせて合成する際の両画像データの重み付け
を示すデータであって、例えば、透明度0%は、背景の
画像データの重み付けを0%とし、第1の回転処理画像
の画像データの重み付けを100%とすることで、背景
データを除去することを意味している。位置データ格納
部K5に格納されている第1の回転処理画像の配置先左
上座標データは、第1の回転処理画像の左上座標の位置
を指定することで第1の回転処理画像の配置先を指定す
るデータである。
【0027】以下、この遊戯用人物写真印刷装置の操作
を、図3〜図8の表示画面、図10〜図12のフローチ
ャートを参照して説明する。
【0028】まず、コイン機構12に対する硬貨の投入
の有無をステップ1001で常時検出している。ステッ
プ1101の詳細を図4を参照して説明する。すなわ
ち、メイン電源スイッチ13をオンにした状態では、C
RT5上において、デモンストーション表示を繰り返し
行う(ステップ1101)。デモンストレーション表示
では、硬貨の投入を促す内容の表示を付加しておく。こ
の状態で、コイン機構12に対する硬貨の投入の有無を
常時検出する(ステップ1102)。そして、ステップ
1102で1枚目の硬貨の投入を検出すると、CRT5
に表示中のデモンストレーション表示に投入済み硬貨枚
数の表示を付加する(ステップ1103)。ステップ1
103での投入済み硬貨枚数の表示を行いつつ、投入済
み硬貨枚数が所定の枚数に達したか否かを判断する(ス
テップ1104)。ステップ1104で投入済み硬貨枚
数が所定の枚数に達していないと判断すると、次の硬貨
の投入の有無の検出操作を行う(ステップ1105)。
ステップ1105で次の硬貨の投入を検出すると、投入
済み硬貨枚数の減算(ステップ1106)を行ったの
ち、ステップ1103に戻ってその減算結果である投入
済み硬貨枚数の表示を行う。
【0029】一連のステップ1103〜ステップ110
6の操作を、ステップ1104で投入済み硬貨枚数が所
定枚数に達するまで繰り返し行う。そして、ステップ1
104で投入済み硬貨枚数が所定枚数に達すると、操作
を終了する。
【0030】以上説明したステップ1001の操作で所
定枚数の硬貨の投入を検出すると、次に、合成パターン
の選択操作を行う(ステップ1002)。ここでは、図
3に示した8つの合成パターンP1〜8の中から選択操作
する場合を例にして説明するが、これ以外の合成パター
ン数でも同様の操作を行うのはいうまでもない。
【0031】合成パターンの選択操作は次のようにして
行う。すなわち、図3に示すように、メイン制御部20
および画像処理部24は、作成可能な合成パターンP
1〜8のサンプルをすべてCRT5に配列して表示する。
さらに、CRT5上に、次のような催促内容を表示す
る。すなわち、操作パネル8上のジョイスティック等の
選択操作部(図示省略)を操作して、表示面5a上に表
示されているカーソル30を所望する合成パターンP
1〜8のサンプル上に移動させたうえで、操作パネル8
のOKスイッチ(図示省略)をオン操作することを促す
文字表示をCRT5上に付加する(図示しないスピーカ
から操作を促す音声を加えてもよい)。
【0032】このような催促表示を受けて、使用者が、
カーソル30の移動操作とOKスイッチのオン操作を行
うことで、合成パターンの選択か終了する。ここでは、
合成パターンP7が選択されたと仮定して、以下の説明
を行う。
【0033】ステップ1002で合成パターンP7が選
択されたことを受けて、メイン制御部20および画像処
理部24は、図4に示すように、選択された合成パター
ンP7のサンプル拡大画像を表示させる。さらに、CR
T5上に、次のような催促内容を表示させる。すなわ
ち、選択した合成パターンの確認スイッチ(図示は省略
しているが操作パネル8に設けられている)もしくはや
り直しスイッチ(図示は省略しているが操作パネル8に
設けられている)のオン操作を促す文字表示をCRT5
上に付加する(図示しないスピーカから確認を促す音声
を加えてもよい)。
【0034】このような催促表示を受けて、使用者が、
確認スイッチのオン操作をすると、合成パターンの確認
は終了し撮像準備に移行する。一方、使用者がやり直し
スイッチをオン操作すると、ステップ1002に戻って
合成パネルの選択をやり直す(ステップ1003)。
【0035】ステップ1003で合成パターンの確認が
終了すると、画像処理部24では、選択した合成パター
ン(ここでは上述したように、合成パターンP7を選択
したと仮定している)に基づいて、まず、撮影準備1
(ステップ1004)を実行する。撮影準備1は次のよ
うにして行う。まず、合成パターンP7に対応する合成
指示情報D7の中から、背景フレームファイル名格納テ
ーブルd1に格納されているファイル名データF7に対
応するフレーム画像データ(画像処理部24に予め格納
されている)を読み込み、さらに、合成指示情報D7
中から、画像採取回数格納テーブルd2に格納されてい
る画像採取回数データを読み込む。ここで例にしている
合成指示情報D7では、ファイル名データ名F7に対応す
るフレーム画像データFm7は渦巻き模様(図3参照)
を示しており、画像採取回数格納テーブルd2に格納さ
れている画像採取回数データは4回を示している。
【0036】撮影準備1(ステップ1004)を実行し
たのち、今度は撮影準備2(ステップ1005)を実行
する。撮影準備2は次のようにして行う。まず、合成パ
ターンP7に対応する合成指示情報D7の中から、1回目
の画像採取時における合成指示情報格納テーブルd31
に格納している縮小サイズデータ(縮小サイズ格納部K
1に格納されている)、カラー/モノクロ指示データ
(カラー/モノクロ指示データ格納部K2に格納されて
いる)、角度データ(角度データ格納部K3に格納され
てる)、透明度データ(透明度データ格納部K4に格納
されている)、および配置先左上座標データ(位置デー
タ格納部K5に格納されている)を読み込む。情報指示
情報格納テーブルd31に格納されている縮小サイズデ
ータは、115×83であり、カラー/モノクロ指示デ
ータはカラーであり、角度データは90°であり、透明
度データは30%=0.3であり、配置先左上座標デー
タは347,58である。
【0037】撮影準備1,2(ステップ1004,10
05)を実行したのち、ビデオカメラ3で撮像領域1の
撮像を開始し、そして、撮像した画像と読み出したフレ
ーム画像(ここではフレーム画像データFm7)とを合
成してCRT5に表示する(ステップ1006)。
【0038】ステップ1006における合成画像の表示
を図12を参照して詳細に説明する。まず、ビデオカメ
ラ3の撮像を開始し、撮像した画像データGD1をキャ
プチャボード22およびビデオキャプチャ制御部23を
介して画像処理部24に取り込む(ステップ120
1)。
【0039】次に、取り込んだ撮像画像データGD1
ら背景を削除して撮影対象(撮影人物)を抽出する。背
景削除は次のようにして行う。ここでは、暗幕11とし
て青色暗幕を設けた場合を例にして説明する。すなわ
ち、各座標位置におけるRGB各色の成分に対して、次
の数式(1)に示す演算を行う。
【0040】if (th<(Ba(x,y)−(Ra(x,y)+
Ga(x,y)+Ba(x,y))/3))then Ra(x,y)=
Ga(x,y)=Ba(x,y)=0 th:青色成分の閾値 Ra(x,y):撮像画像データGD1における座標(x,
y)の赤色成分値 Ga(x,y):撮像画像データGD1における座標(x,
y)の緑色成分値 Ba(x,y):撮像画像データGD1における座標(x,
y)の青色成分値 この演算を行うことにより、青色成分の高い部分を背景
(暗幕11)とみなして、その部分のRGB成分を0に
することで背景を削除する(背景を深黒にする)。
【0041】ステップ1202で撮像画像データGD1
から背景の削除処理を行ったのち、ステップ1203
で、取り込んだ縮小サイズデータに基づいて背景削除画
像データGD2の画像サイズを縮小する。画像サイズの
縮小は、間引き法(縮小比率に応じてドットを削除す
る)やバイリニア法、バイキュービック法といった方法
により行う。ここでは、読み込んだ縮小サイズデータが
115×58であるので、480×375サイズの背景
削除画像データGD2を115×58サイズに縮小す
る。
【0042】ステップ1203で作成した縮小画像デー
タGD3に対してステップ1204で、読み込んでおい
た角度データθ1に基づいて第1の回転処理を行う。縮
小画像データGD3に対する第1の回転処理は、次の数
式(2)に示すアフィン変換処理により行う。なお、こ
のような回転処理においては、回転角度データθ1を9
0°の倍数としておけば、演算量を大幅に軽減すること
ができ、処理装置に要するコストを削減することができ
るうえ、処理時間も短縮化することができる。
【0043】
【数1】
【0044】ここでは、読み込んだ角度データθ1が9
0°であるので、第1の回転処理では、縮小画像データ
GD3に対して90°の回転処理を行なう。
【0045】ステップ1204で、縮小画像データGD
3に対して第1の回転処理を行ったのち、作成した第1
の回転処理画像データGD4をステップ1205で、フ
レーム画像データFm(ここではフレーム画像データF
7)に合成する。合成処理は次のようにして行う。
【0046】まず、第1の回転処理画像データGD4
の各座標(xa,yb)が、今回の合成処理を経て、フレ
ーム画像データFmのどの位置に合成されるかを示す座
標データ(x1,y1)を次の数式(3)に示す演算を行な
うことで特定する。
【0047】 x1=LocationX+xa1=LocationY+yb …(3) LocationX:読み込んでおいた配置先左上座標データの
x座標 LocationY:読み込んでおいた配置先左上座標データの
y座標 ここでは、読み込んでおいた配置先左上座標データが
(347,58)であるので、上記数式(4)に、Loca
tionX=347,LocationY=58を代入して座標デー
タ(x1,y1)を求める。
【0048】次に、特定した座標位置(x1,y1)にお
けるフレーム画像データFmに、対応する第1の回転処
理画像データGD4を合成して、合成画像データGD5
作成する。今回の合成におけるカラー/ モノクロ指示
データがカラーを指示している場合には、読み込んでお
いた透明度データに基づいて次の数式(4)に示す演算
を行うことで合成し、モノクロを指示している場合に
は、次の数式(5)に示す演算を行うことで合成する。
【0049】 if((Rb(x1,y1)≠0) orGb(x1,y1)≠0) orBb(x1,y1)≠0) then Rd(x1,y1)=Rc(x1,y1)*T+Rb(x1,y1)*(1−T) Gd(x1,y1)=Gc(x1,y1)*T+Gb(x1,y1)*(1−T) Bd(x1,y1)=Bc(x1,y1)*T+Bb(x1,y1)*(1−T) else Rd(x1,y1)=Rc(x1,y1) Gd(x1,y1)=Gc(x1,y1) Bd(x1,y1)=Bc(x1,y1) …(4) if((Rb(x1,y1)≠0) orGb(x1,y1)≠0) orBb(x1,y1)≠0) then Ave(x1,y1)=(Rb(x1,y1)+Gb(x1,y1)+Bb(x1,y1))/3 Rd(x1,y1)=Rc(x1,y1)*T+Ave(x1,y1)*(1−T) Gd(x1,y1)=Gc(x1,y1)*T+Ave(x1,y1)*(1−T) Bd(x1,y1)=Bc(x1,y1)*T+Ave(x1,y1)*(1−T) else Rd(x1,y1)=Rc(x1,y1) Gd(x1,y1)=Gc(x1,y1) Bd(x1,y1)=Bc(x1,y1) …(5) Rb(x1,y1):座標(x1,y1)のフレーム画像データF
mに合成される第1の回転処理画像データGD4の赤色
成分値 Gb(x1,y1):座標(x1,y1)のフレーム画像データF
mに合成される第1の回転処理画像データGD4の緑色
成分値 Bb(x1,y1):座標(x1,y1)のフレーム画像データF
mに合成される第1の回転処理画像データGD4の青色
成分値 Rc(x1,y1):座標(x1,y1)のフレーム画像データF
mの赤色成分値 Gc(x1,y1):座標(x1,y1)のフレーム画像データF
mの緑色成分値 Bc(x1,y1):座標(x1,y1)のフレーム画像データF
mの青色成分値 Rd(x1,y1):座標(x1,y1)の合成画像データGD5
赤色成分値 Gd(x1,y1):座標(x1,y1)の合成画像データGD5
緑色成分値 Bd(x1,y1):座標(x1,y1)の合成画像データGD5
青色成分値 T:透明度(0≦T≦1) ここでは、透明度データが30%であるので、上記数式
(4),(5)にT=0.3を代入することで、特定し
た座標位置(x1,y1)におけるフレーム画像データF
mに、対応する第1の回転処理画像データGD4を合成
する。
【0050】ステップ1205で合成画像データGD5
の作成を行ったのち、ステップ1206で、読み込んで
おいた角度データθ1に基づいて、合成画像データGD5
に対して第2の回転処理を行って第2の回転処理画像デ
ータGD6を作成する。合成画像データGD5に対する第
2の回転処理は、前述した数式(2)に示すアフィン変
換処理により行うが、第2の回転処理に用いる回転角度
θ2は、次に示す数式(6)の演算を行なった角度デー
タとする。
【0051】θ2=360°−θ1 …(6) θ1:読み込んでおいた角度データ ここでは、読み込んだ角度データθ1が90°であるの
で、θ2=270°となり、この回転角度θ2で合成画像
データGD5に対して第2の回転処理を行なう。
【0052】ステップ1206で作成した第2の回転処
理画像データGD6をステップ1207でCRT5に表
示する。この状態では、CRT5には、合成経過状態に
更に次の画像採取動作直前の画像をはめ込んでなる合成
予測状態が表示されることになる。なお、ここで説明し
ている場合のように、1回目の画像採取時には、合成経
過状態はフレーム画像そのものとなる。
【0053】合成指示情報情報格納テーブルd31に基
づいて作成した第2の回転処理画像データGD6の表示
状態J1を図5に示す。この表示状態J1から明らかな
ように、第2の回転処理を実施することにより、第2の
回転処理画像データGD6にはめ込まれる第1の回転処
理画像データGD4の画像の上下は、表示画面5aの上
下に一致する。そのため、撮像領域1に位置している使
用者は、合成経過状態を把握することができるうえに、
今回の画像採取動作で採取されて合成経過状態にはめ込
まれる自分の位置を、鏡面に対峙している時のように把
握できる。なお、図5の表示状態J1では、図示省略し
ているが、このとき、表示画面に、画像上での人物立位
置の調整の実施と人物立位置を調整したのちのOKボタ
ン(図示省略しているが表示操作パネル8に設けられて
いる)の押し下げを促す表示を付加しておく。
【0054】ステップ1006で撮像した画像と読み出
したフレーム画像Fmとを合成してCRT5に表示した
のち、上記したOKボタンの押し下げが行なわれた否か
をステップ1007で確認する。そして、OKボタンの
押し下げを確認すると、ステップ1008で所定時間
(例えば10秒)の経過をカウントダウン計測するとと
もに、カウントダウンの経過状況をCRT5に表示す
る。そして、ステップ1008で所定時間のカウントダ
ウン計測を終えると、ステップ1009でその時点での
撮像画像を含む合成画像データGD5を採取して、画像
処理部24に取り込む。
【0055】次に、画像採取回数が、読み込んでおいた
画像採取回数データ(合成支持情報D7では4回)を満
たすかどうかをステップ1010で判断し、画像採取回
数が、画像採取回数データを満たさない場合には、ステ
ップ1005に戻って、次の画像採取動作を行う。ここ
では、2回目の画像採取動作および画像合成動作を実行
する。2回目以降の画像合成動作においては、次の点が
1回目の画像合成動作と異なっている。すなわち、1回
目の画像合成動作では、第1の回転処理画像データGD
4をフレーム画像データFmに合成していたが、2回目
以降の画像合成動作では、第1の回転処理画像データG
4を、前回の画像合成動作で作成した合成画像データ
GD5に合成している点に、1回目の画像合成動作には
ない特徴がある。
【0056】図9の合成指示情報D7を用いた場合の2
回目以降の画像採取および合成結果の表示状態は次のよ
うになる。すなわち、2回目の画像合成では、縮小サイ
ズが(180,114)であり、第1の回転処理の回転
角度が180°であり、透明度が20%であり、配置先
左上座標が(161,29)であるので、表示状態J2
はおおよそ図6に示すようになる。3回目の画像合成で
は、縮小サイズが(220,158)であり、第1の回
転処理の回転角度が270°であり、透明度が10%で
あり、配置先左上座標が(12,29)であるので、表
示状態J3はおおよそ図7に示すようになる。4回目の
画像合成では、縮小サイズが(300,216)であ
り、第1の回転処理の回転角度が0°であり、透明度が
0%であり、配置先左上座標が(105,129)であ
るので、表示状態J4はおおよそ図8に示すようにな
る。
【0057】なお、図4〜図8に示す合成画像の表示状
態では、図示の都合上、カラー/モノクロの区別や透明
度の度合は、図示不可能なため、これらの表現は割愛し
ている。
【0058】このような複数回の画像採取動作および画
像合成動作を行ったのち、ステップ1010において、
画像採取回数が画像採取回数データを満たすことを確認
すると、ステップ1011で、撮像結果の確認を行う。
撮像結果の確認は次のようにして行う。すなわち、CR
T5に最終的な合成結果の表示を行いつつ、その表示画
面に、OKボタン(図示省略しているが、操作パネル8
に設けられている)の押し下げによる撮像結果の確認、
もしくは、NGボタン(図示省略しているが、操作パネ
ル8に設けられている)による再撮像への移行を促す表
示を付加する。使用者が撮像結果を確認してOKボタン
を押し下げたことを確認すると、ステップ1012にお
いて、合成結果をシールプリンタ7に転送して印刷し、
出力する。一方、使用者が撮像結果に対してNGボタン
を押し下げたことを確認すると、ステップ1005に戻
って、画像採取動作をやり直す。
【0059】本実施の形態では、ステップ1001での
硬貨投入検出からステップ1012の合成画像の印刷出
力に至る期間が連続撮像状態に相当する。
【0060】このようにして合成画像を作成すれば、各
画像採取時毎に撮像領域1の使用者(撮像対象者)が交
代するようにすることで、複数人の画像を1枚の画像に
中に入れ込んで合成することができる。また、交代する
ことなく同じ使用者(撮像者)の画像を採取する場合で
あっても、各画像採取時毎に異なる表情を撮像して合成
することができる。
【0061】なお、上述した実施の形態では、合成画像
データGD5の合成配置位置は、位置データ格納部K5
に格納されている配置先左上座標データによって特定さ
れている。しかしながら、合成画像データGD5の合成
配置位置は、操作パネル8に設けられたジョイスティッ
ク(図示省略)等によって微調整するようにしてもよ
い。この場合、各合成画像データGD5の表示状態J1
〜J4は、第2の回転処理により回転処理されているの
で、位置の微調整に際しては、次の表1に示すような位
置補正演算を行う必要がある。この位置補正演算処理
は、図10のフローチャートにおけるステップ1007
とステップ1008の間に行うのが好ましい。
【0062】
【表1】
【0063】ところで、上述した実施の形態では、本発
明を、このような画像合成処理装置を組み込んだ合成画
像作成装置として説明したが、このような画像合成処理
を行うプログラムを記憶した記憶媒体(例えば、CDR
OM等)としておいて、合成画像作成装置等に組み込む
ようにしてもよく、さらには、図9に示す合成指示情報
のみを記憶媒体に記憶しておいて、合成画像作成装置に
任意に組み込むようにしてもよい。
【0064】
【発明の効果】以上のように本発明によれば、合成画像
の画像領域各所には、画像採取動作それぞれにおいて採
取された画像がはめ込まれることになるうえ、撮像領域
に対して複数回行われる画像採取動作それぞれにおい
て、互いに異なる撮像対象を撮像しておけば、合成する
画像の数に応じた複数の撮像対象が一つの合成画像内に
はめ込まれることになる。そのため、このような画像合
成を行うことができる分、合成画像のデザインの多様性
を高めることができて、その面白みが深まった。さらに
は、合成画像の画像領域各所にはめ込まれる画像(撮像
対象)の合成時の回転角度を任意に設定できるようにな
り、その分、作成する合成画像の多様性がさらに高まっ
て、その面白みがより深まる。
【0065】特に、請求項2のように構成すれば、この
ような多様性のある画像合成を1回の撮像動作中に作成
することができるので、その分、装置としての使い勝手
が向上するという効果が発揮される。
【0066】また、請求項3のように構成すれば、合成
画像の画像領域各所にはめ込まれる画像(撮像対象)の
大きさを任意に設定できるようになり、その分、作成す
る合成画像の多様性がさらに高まるという効果が発揮さ
れる。
【0067】
【0068】また、請求項のように構成すれば、合成
画像の背景を任意に設定できるようになり、その分、作
成する合成画像の多様性がさらに高まるという効果が発
揮される。
【0069】また、請求項のように構成すれば、使用
者は、その都度の合成経過状態を把握することができる
うえに、次に採取される画像上での自分の位置を、鏡面
に対峙している時のように把握でき、画像合成を行う際
の使い勝手が向上するという効果が発揮される。
【0070】また、請求項のように構成すれば、互い
に異なる複数の合成指示情報の中から、任意の合成指示
情報を選択してその合成時指示情報に基づいて、画像を
合成するので、合成画像の多様性が高まるという効果が
発揮される。
【0071】また、請求項のように構成すれば、合成
画像を印刷出力して種々利用することができるようにな
り、この合成画像処理装置を、遊戯用人物写真印刷装置
等に用いることが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施の形態に係る合成画像作成装置
の構成を示す概略横断面図である。
【図2】実施の形態の合成画像作成装置の構成を示す回
路ブロック図である。
【図3】合成途中の表示状態を示す図である。
【図4】合成途中の表示状態を示す図である。
【図5】合成途中の表示状態を示す図である。
【図6】合成途中の表示状態を示す図である。
【図7】合成途中の表示状態を示す図である。
【図8】合成途中の表示状態を示す図である。
【図9】合成指示情報の一例を示す図である。
【図10】実施の形態の合成画像作成装置の操作の全体
を示すフローチャートである。
【図11】実施の形態の合成画像作成装置の操作の第1
の要部を示すフローチャートである。
【図12】実施の形態の合成画像作成装置の操作の第2
の要部を示すフローチャートである。
【符号の説明】
1 撮像領域 3 ビデオ
カメラ 5 CRT 6 合成処
理装置 7 シールプリンタ 8 操作パ
ネル 11 暗幕 12 コイ
ン機構 20 メイン制御部 21 ビデ
オカメラ制御部 24 画像処理部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平8−289132(JP,A) 特開 平1−200377(JP,A) 特開 平3−182976(JP,A) 特開 平8−44882(JP,A) 特開 平6−225121(JP,A) (58)調査した分野(Int.Cl.6,DB名) H04N 1/387 - 1/393 G06T 1/00

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項1】 撮像領域に対して複数回の画像採取動作
    を行う撮像手段と、前記撮像手段によって取得した複数の画像の、はめ込み
    位置および回転角度を含む合成指示情報を、前記撮像手
    段による画像採取動作の前から予め保持する 合成指示情
    報記憶手段と、 前記合成指示情報記憶手段が記憶している合成指示情報
    に基づいて、前記撮像手段が採取した複数の画像を合成
    する画像合成手段と、 を備えることを特徴とする合成画像作成装置。
  2. 【請求項2】 撮像領域に対する連続撮像状態におい
    て、複数回の画像採取動作を行う撮像手段と、前記撮像手段によって取得した複数の画像の、はめ込み
    位置および回転角度を含む合成指示情報を、前記撮像手
    段による画像採取動作の前から予め保持する 合成指示情
    報記憶手段と、 前記合成指示情報記憶手段が記憶している合成指示情報
    に基づいて、前記撮像手段が前記連続撮像状態の間に採
    取した複数の画像を合成する画像合成手段と、 を備えることを特徴とする合成画像作成装置。
  3. 【請求項3】 請求項1または2記載の合成画像作成装
    置であって、 前記合成指示情報記憶手段は、更に、複数の画像を合成
    する際における各画像の大きさを示す合成指示情報を記
    憶していることを特徴とする合成画像作成装置。
  4. 【請求項4】 請求項1ないしのいずれか記載の合成
    画像作成装置であって、 前記合成指示情報記憶手段は、更に、合成画像の背景を
    示す情報を記憶していることを特徴とする合成画像作成
    装置。
  5. 【請求項5】 請求項1ないし4のいずれか記載の合成
    画像作成装置であって、 前記撮像手段が各画像採取動作において画像を採取する
    度に採取した画像をはめ込んでなる合成経過状態を表示
    するとともに、前記合成経過状態に更に次の画像採取動
    作直前の画像をはめ込んでなる合成予測状態を表示する
    表示手段を更に備えており、 かつ、前記表示手段は、合成予測状態の表示において、
    次の画像採取動作で採取されて合成経過状態にはめ込ま
    れる画像の上下方向が表示画面上における上下方向に一
    致するように、合成予測状態を回転処理したうえで表示
    するものであることを特徴とする合成画像作成装置。
  6. 【請求項6】 請求項1ないしのいずれか記載の合成
    画像作成装置であって、 前記合成指示情報記憶手段は互いに異なる複数の合成指
    示情報を記憶しており、 前記画像合成手段は、合成指示情報記憶手段が記憶して
    いる合成指示情報の中から合成処理に用いる合成指示情
    報を選択して、選択した合成指示情報に基づいて合成画
    像を作成するものであることを特徴とする合成画像作成
    装置。
  7. 【請求項7】 請求項1ないしのいずれか記載の合成
    画像作成装置であって、 前記画像合成手段が合成して合成画像を印刷して出力す
    る出力手段を更に備えていることを特徴とする合成画像
    作成装置。
  8. 【請求項8】 コンピュータによって画像合成操作を行
    うプログラムを記憶した記録媒体であって、 該プログラムは、複数の画像を合成する際における合成
    指示情報を複数記録したうえで、これら合成指示情報の
    中から合成処理に用いる合成指示情報を選択して、選択
    した合成指示情報に基づいて複数の画像を合成すること
    を特徴するプログラムを記憶した記録媒体。
  9. 【請求項9】 請求項記載の記録媒体であって、 前記合成指示情報は、複数の画像を合成する際における
    各画像のはめ込み位置、大きさ、回転角度を示す情報で
    あることを特徴とする記録媒体。
  10. 【請求項10】 コンピュータによって複数の画像を合
    成する際における合成指示情報を記録しており、この合
    成指示情報は、複数の画像を合成する際における各画像
    のはめ込み位置、大きさ、回転角度を示す情報であるこ
    とを特徴とする記録媒体。
JP10184072A 1998-06-30 1998-06-30 合成画像作成装置および記録媒体 Expired - Lifetime JP2985878B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10184072A JP2985878B1 (ja) 1998-06-30 1998-06-30 合成画像作成装置および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10184072A JP2985878B1 (ja) 1998-06-30 1998-06-30 合成画像作成装置および記録媒体

Publications (2)

Publication Number Publication Date
JP2985878B1 true JP2985878B1 (ja) 1999-12-06
JP2000022928A JP2000022928A (ja) 2000-01-21

Family

ID=16146900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10184072A Expired - Lifetime JP2985878B1 (ja) 1998-06-30 1998-06-30 合成画像作成装置および記録媒体

Country Status (1)

Country Link
JP (1) JP2985878B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4643172B2 (ja) 2004-04-21 2011-03-02 株式会社東芝 可搬型画像診断装置
JP4081772B2 (ja) * 2005-08-25 2008-04-30 ソニー株式会社 再生装置および再生方法、プログラム、並びにプログラム格納媒体

Also Published As

Publication number Publication date
JP2000022928A (ja) 2000-01-21

Similar Documents

Publication Publication Date Title
JP3786242B2 (ja) 画像処理方法および装置、画像再生方法および装置並びにその方法に使用する画像確認装置
US6344907B1 (en) Image modification apparatus and method
JP3863327B2 (ja) 構図アドバイス機能付きディジタル・スチル・カメラおよびその動作制御方法
TW535425B (en) Electronic still camera
KR20010100929A (ko) 촬상장치
JPH11136568A (ja) タッチパネル操作式カメラ
JPH10240436A (ja) 情報処理装置および記録媒体
KR20090009108A (ko) 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3d 프로젝션을 제공하는 방법 및 이를 위한 카메라
JP2010183317A (ja) 撮像装置、画像合成表示装置、画像合成表示方法、およびプログラム
WO2004015987A1 (ja) 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
US20020080251A1 (en) Digital imaging device, image processing device, digital imaging method, and image processing program
JP2001008064A (ja) 電子カメラ装置及び重畳表示情報配置方法
JPH10228479A (ja) 情報処理装置
JP2985878B1 (ja) 合成画像作成装置および記録媒体
JP2010177731A (ja) 画像再生装置及び撮像装置
JP3564701B2 (ja) 画像印刷装置および方法
JP2002223405A (ja) 映像記録再生装置、及び映像記録再生プログラム
JP3015773B2 (ja) デジタルカメラ
JP3429663B2 (ja) 対話型画像データ合成装置及び方法
JP2006020105A (ja) 撮像装置、スロット写真撮影方法、及びプログラム
JP5493839B2 (ja) 撮像装置、画像合成方法及びプログラム
JP4158524B2 (ja) 電子カメラ
JP3035618U (ja) 画像合成装置
JP2001094920A (ja) 電子透かし埋込み機能付きディジタル・スチル・カメラおよびその制御方法
JP4605345B2 (ja) 画像処理方法及び装置

Legal Events

Date Code Title Description
S211 Written request for registration of transfer of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314213

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071001

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081001

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081001

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091001

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101001

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101001

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111001

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111001

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121001

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 14

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term