JP4327945B2 - デジタルカメラおよびその画像表示方法 - Google Patents

デジタルカメラおよびその画像表示方法 Download PDF

Info

Publication number
JP4327945B2
JP4327945B2 JP16695199A JP16695199A JP4327945B2 JP 4327945 B2 JP4327945 B2 JP 4327945B2 JP 16695199 A JP16695199 A JP 16695199A JP 16695199 A JP16695199 A JP 16695199A JP 4327945 B2 JP4327945 B2 JP 4327945B2
Authority
JP
Japan
Prior art keywords
display device
display
magnification
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16695199A
Other languages
English (en)
Other versions
JP2000354181A (ja
Inventor
義一 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP16695199A priority Critical patent/JP4327945B2/ja
Publication of JP2000354181A publication Critical patent/JP2000354181A/ja
Application granted granted Critical
Publication of JP4327945B2 publication Critical patent/JP4327945B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、デジタルカメラに関し、詳細には、外部接続される表示モニタに画像を表示することが可能なデジタルカメラに関する。
【0002】
【従来の技術】
近年、デジタルスチルカメラは多機能化しており、撮影した画像の再生をデジタルスチルカメラに内蔵されたLCDだけでなく、直接、TVモニター等の表示デバイスに接続して表示する機能を具備したものも知られている。
【0003】
本来、デジタルスチルカメラは、撮影した画像データを記録媒体に記録し、記録した画像データをPCにファイル転送して、PC上で活用される画像データの入力を容易にしたものであるが、上記のような機能は、PCの無い環境においても画像の提示を行う事ができ、たとえば外出先でのプレゼンテーションなどに有用である。
【0004】
また、画像の表示を工夫したデジタルカメラが知られており、例えば、特開平5−18748号公報に記載されたデジタル電子スチルカメラは、基線長離れた2つのレンズ系からそれぞれ入射する同一被写体からの反射光を受光する1対の固体撮像素子と、前記一対の固体撮像素子の出力を信号処理して得られるアナログビデオ信号をデジタル信号に変換するA/D変換器と、前記A/D変換された一対のデジタルビデオ信号を記憶する記憶手段と、前記ビデオ信号記録回路が記憶した一対の画像を表示するLCDディスプレイと、測定点入力装置と、前記測定点入力装置により前記LCDディスプレイに表示されている1対の画像中の任意の位置を指定したとき、前記位置に対応する前記ビデオ信号記録回路の画像中のアドレスを読取り、三角測定法を利用したアルゴリズムにより被写体の前記位置指定点までの距離、さらに画像中の位置指定を2個所することによりその指定した2個所間の実寸法を演算し、LCDディスプレイに表示するように制御する制御手段とを備える。
【0005】
また、特開平6−22278号公報に記載されたスチルビデオカメラは、被写体からの光画像を光電変換する光電変換手段と、前記光電変換手段により変換された電気信号画像をA/D変換するA/D変換手段と、前記A/D変換手段によって変換されたデジタル画像信号を一時記録するバッファメモリと、前記バッファメモリから読み出したデジタル画像信号をカメラ本体から取り外し可能な記録媒体に記録する記録手段と、記録と再生を切り替える記録・再生切替手段と、再生時の表示倍率を指示する表示倍率指示手段と、前記記録媒体に記録されたデジタル画像信号を前記表示倍率指示手段で指示された表示倍率に処理して前記バッファメモリに一時的に記録し、該バッファメモリに記録された画像信号を再生表示速度に適合した速度で読み出して再生を行う再生手段とを備えている。
【0006】
【発明が解決しようとする課題】
しかしながら、従来のデジタルカメラにおいては、表示デバイスの特性(画面の大きさ、アスペクト比)に対する配慮が欠けている。たとえば、上記特開平5−18748号公報に記載されたデジタル電子スチルカメラは、表示デバイスの大きさによって画像の大きさが変化してしまうために、実寸法が表示されたとしてもその寸法を把握しにくいというという問題がある。また、特開平6−22278号公報に記載されたスチルビデオカメラは、表示デバイスのアスペクト比によって画像が歪んでしまうという問題がある。例えばワイドTVモニターでは、本来4:3で表示すべき画像を16:9に水平方向に引き延ばして表示するため画像が歪んでしまう。
【0007】
本発明は、上記に鑑みてなされたものであり、簡単な構成で、外部接続される表示ディバイスに見やすい画像を表示することが可能なデジタルカメラおよびその画像表示方法を提供することを目的とする。
【0008】
【課題を解決するための手段】
上述した課題を解決するために、請求項1に記載のデジタルカメラは、被写体を撮像して画像データを取得する撮像手段と、撮影時の撮影倍率を検出する撮影倍率検出手段と、外部の表示装置と接続するためのインターフェイスと、基準画像を前記表示装置に表示させる基準画像表示制御手段と、前記表示装置に表示された基準画像に基づき、前記表示装置の表示倍率を検出する表示倍率検出手段と、前記画像データを前記表示装置に表示する際に、前記表示装置の表示倍率および当該画像データの撮影倍率に基づき、被写体の大きさに対する表示上の倍率を算出する表示倍率算出手段と、前記画像データを、前記表示倍率算出手段で算出された前記被写体の大きさに対する表示上の倍率で前記表示装置に表示させるべく制御する表示制御手段と、を備えたものである。
【0010】
また、請求項に記載の発明は、請求項1に記載のデジタルカメラにおいて、前記表示倍率検出手段は、前記表示装置に表示された基準画像の寸法に基づき当該表示装置の表示倍率を検出するものである。
【0011】
また、請求項に記載の発明は、請求項1に記載のデジタルカメラにおいて、前記表示倍率検出手段は、前記表示装置に表示される基準画像を撮影して当該表示装置の表示倍率を検出するものである。
【0012】
また、請求項に記載の発明は、請求項1〜のいずれか1つに記載のデジタルカメラにおいて、さらに、前記表示装置に表示される画像データを拡大または縮小して表示させる拡大・縮小表示手段を備え、前記拡大・縮小表示手段は、被写体の大きさに対する表示上の倍率が2の累乗となるように前記表示装置に画像データを表示するものである。
【0013】
また、請求項5に記載の発明は、被写体を撮像して画像データを取得する撮像手段と、撮影時の撮影倍率を検出する撮影倍率検出手段と、外部の表示装置と接続するためのインターフェイスと、基準画像を前記表示装置に表示させる基準画像表示制御手段と、前記表示装置に表示された基準画像に基づき、接続される前記外部の表示装置に応じて、前記表示装置のアスペクト比を検出するアスペクト比検出手段と、前記画像データを前記表示装置に表示する際に、前記アスペクト比検出手段で検出された前記表示装置のアスペクト比に基づき、前記画像データを補正して、前記表示装置に表示する表示制御手段と、を備えたものである。
【0015】
また、請求項に記載の発明は、請求項5に記載のデジタルカメラにおいて、前記アスペクト比検出手段は、前記表示装置に表示される基準画像の寸法に基づき当該表示装置のアスペクト比を検出するものである。
【0016】
また、請求項に記載の発明は、請求項5に記載のデジタルカメラにおいて、前記アスペクト比検出手段は、前記表示装置に表示される基準画像を撮影して当該表示装置のアスペクト比を検出するものである。
【0017】
また、請求項に記載の発明は、請求項5〜のいずれか1つに記載のデジタルカメラにおいて、さらに、前記表示装置に表示される画像データを縦横独立に拡大または縮小して表示させる拡大・縮小表示手段と、を備えたものである。
【0018】
また、請求項に記載の発明は、デジタルカメラの画像表示方法において、被写体を撮像して画像データを取得するステップと、撮影時の撮影倍率を検出するステップと、外部接続される表示装置の表示倍率を検出するステップと、外部接続される表示装置に基準画像を表示するステップと、前記画像データを前記表示装置に表示する際に、前記表示装置に表示された基準画像に基づき、被写体の大きさに対する表示上の倍率を算出するステップと、前記画像データを、前記算出された被写体の大きさに対する表示上の倍率で前記表示装置に表示させるステップと、を含むものである。
【0019】
また、請求項10に記載の発明は、デジタルカメラの画像表示方法において、被写体を撮像して画像データを取得するステップと、撮影時の撮影倍率を検出するステップと、外部接続される表示装置に基準画像を表示するステップと、前記表示装置に表示された基準画像に基づき、外部接続される前記表示装置に応じて、前記表示装置のアスペクト比を検出するステップと、前記画像データを前記表示装置に表示する際に、検出された前記表示装置のアスペクト比に基づき、前記画像データを補正して前記表示装置に表示するステップと、を含むものである。
【0020】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る好適な実施の形態を詳細に説明する。
【0021】
図1は本発明に係るデジタルカメラの構成を示す図である。同図において100は、デジタルカメラを示している。デジタルカメラ100は、同図に示す如く、デジタルカメラの装置全体の制御を行うシステム制御部101と、被写体を撮像して画像データに変換する撮像部102と、撮像部102を制御する撮像制御部103と、撮像部102から出力される画像データに対して画像処理等を行う画像処理部104と、画像処理部104で処理された画像のLCD106への表示制御を行う表示制御部105と、画像等が表示されるLCD106と、記録メディア108のインターフェイスである記録メディアインターフェイス部107と、圧縮された画像データ等が格納される記録メディア108と、図示しない操作部のキー操作等を検出するためのハードキーインターフェイス部109と、テレビモニター111に接続するためのビデオインターフェイス110とを備える。また、デジタルカメラ100はビデオインターフェイス110を介して、テレビモニター111に接続される。
【0022】
上記システム制御部101は、上述したように、デジタルカメラの装置全体の制御をするものであり、ROMに格納されたプログラムに従ってデジタルカメラの装置全体を制御するCPUと、CPUを動作させるためのプログラムを格納したROMと、CPUのワークエリアとして使用されるRAMと、および時間を計時するためのタイマー等を備える。
【0023】
上記撮像部102は、上述したように被写体を撮像して画像データを出力するためのものであり、被写体像を結像するためのレンズ系(ズームレンズを含む)や該レンズ系を駆動するためのレンズ駆動モータ等の光学系部品、結像された被写体像を電気信号(アナログの画像データ)に変換するCCD、該CCDを駆動するためのCCD駆動回路、CCDから出力されるアナログの画像データをデジタル信号(デジタル画像データ)に変換するA/D変換器等を備える。
【0024】
上記撮像制御部103は、撮像部102のCCD駆動タイミングやレンズ駆動モータを制御してフォーカシング・ズーム・露出調整等を行うためのものである。画像処理部104は、撮像部102から出力される画像データに対して、種々の画像処理を施すと共に、画像データに対して圧縮/伸長処理・変倍処理等を行う画像処理用DSP(デジタルシグナルプロセッサ)や、メモリ等を備える。
【0025】
上記表示制御部105は、画像処理部104で処理された画像データをLCD106へ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成しLCD106に表示するためのものである。LCD106は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するためのものである。
【0026】
上記記録メディアインターフェイス部107は、記録メディア108とのインターフェイスのために設けられたメモリカードコントローラ等からなる。記録メディア108は、例えば、フラッシュメモリからなり、圧縮された画像データや画像に関連する種々の情報が記録される。
【0027】
上記ハードキーインターフェイス部109は、操作部(付図示)のキー・ダイアルや、ケーブル接続等のユーザインターフェイスのためのハードウエアの状態を検出するために設けられたパラレルポート等からなる。ビデオインターフェイス110は、外部表示デバイスへのインターフェイスのために設けられており、ビデオアンプ、ビデオジャック等からなる。不図示の操作部は、利用者がデジタルカメラに動作指示を与えるためのものであり、撮影を指示するレリーズボタン等を備える。
【0028】
つぎに、上記構成のデジタルカメラ100の撮影動作の概略を説明する。まず、利用者は、撮影に先だって、操作部のモード選択ダイヤルを操作し、撮影モードを選択し、さらに種々のキーを操作して撮影する画像モード(画像の画素数、圧縮率)を設定する。利用者の操作内容はハードキーインターフェイス部109を通じてシステム制御部101で判別され、システム制御部101は、操作に応じて表示制御部105にガイダンスグラフィックを生成させて、LCD106に表示させ、利用者に次操作を促す。
【0029】
上記システム制御部101は、画像モードが決定されると、画像モードに応じた制御パラメーターを撮像制御部103に設定する。撮影の準備が整った後、撮像部102は撮像制御部103の制御に従い、実際の撮影に先だって、プレビュー画像を表示するための撮像動作を開始する。
【0030】
撮像部102で撮像された画像データは連続的に画像処理部104へ送られ、画像処理部104は、入力される画像データに対して、色空間変換・ガンマ補正・ホワイトバランス調整・変倍などの処理を施した後、画像データを表示制御部105へ送出する。表示制御部105では、画像データを信号処理してLCD106へ表示し、利用者へ撮像状態を呈示する。
【0031】
この間、操作部のズームアップキーあるいはズームダウンキーの押下状態が検出されると、その操作はモード選択と同様にハードキーインターフェイス部109を通じてシステム制御101で判別され、システム制御部101は撮像制御部103へ操作を通知してズーム動作が行われる。
【0032】
そして、操作部のレリーズボタンが半押しされると、ハードキーインターフェイス部109を通じてシステム制御部101で判別され、システム制御部101は撮像制御部103へ操作を通知し、撮像制御部103では、フォーカス、露出の検出を行い、撮像部102を制御して調整を行う。
【0033】
操作部のレリーズボタンが押されると、ハードキーインターフェイス部109を通じてシステム制御部101で判別され、システム制御部101は撮像制御部103へ画像の取り込みを設定する。
【0034】
撮像部102は、撮像制御部103の制御に従い、画像を取り込んで画像処理部104へ送り、画像処理部104は、画像モードに応じた画像処理、圧縮処理を行う。システム制御部101は、画像処理104から圧縮された画像データを読み出し、さらにヘッダー情報を付加して画像ファイルを作成し、記録メディアインターフェイス部107を通じて記録メディア108へ書き込む。ここで、ヘッダー情報には、設定された画像モードの情報やズーム位置(焦点距離)、フォーカス位置(被写体距離)等が含まれており、システム制御部101が撮像制御部103から撮影時の各種情報を読み出し、ヘッダー情報への変換を行う。以上で一連の撮影動作を完了する。
【0035】
つぎに、LCD106への画像の再生の動作を説明する。まず、利用者が操作部のモード選択ダイヤルを操作し、再生モードを選択すると、ハードキーインターフェイス部109を通じてシステム制御部101で判別される。システム制御部101は、記録メディアインターフェイス部107を通じて記録メディア108から画像ファイルを読み出し、ヘッダー情報を解析して画像モードを判別する。そして、システム制御部101は、画像処理部104へ伸張に必要な画像モードを設定し、さらに圧縮された画像データを画像処理部104へ転送し、これに応じて、画像処理部104は転送されてくる圧縮された画像データを伸張する。
【0036】
画像処理部104は、伸張された画像データに変倍の処理を施した後、画像データを表示制御部105へ転送する。表示制御部105では、画像データを信号処理してLCD106に表示する。これに応じて、利用者が操作部のズームアップキーを押下すると、にハードキーインターフェイス部109を通じてシステム制御部101で判別され、システム制御部101は前述した手順で次の画像の表示を行う。
【0037】
他方、利用者が操作部のズームダウンキーを押下すると、同様にハードキーインターフェイス部109を通じてシステム制御部101で判別され、システム制御部101は前述した手順で前の画像の表示を行う。
【0038】
つぎに、テレビモニターに画像を表示する場合の概略動作について説明する。ここでは、デジタルカメラ100にテレビモニター111が接続されている場合について説明する。ビデオインターフェイス110は接続ケーブルの挿抜を検出し、その検出状態はハードキーインターフェイス部109を通じてシステム制御部101で判別される。システム制御部101は、ビデオインターフェイスc110に接続ケーブルが接続されていると判断した場合には、表示制御部105へビデオインターフェイス110への映像信号の出力を設定し、テレビモニター111上へ再生画像を表示させる。
【0039】
次に、上記した再生動作を図2〜図6を参照して詳細に説明する。図2は図1のデジタルカメラの再生動作を説明するためにフローチャート、図3は図2の表示倍率の演算処理(ステップS103)の具体的処理内容を説明するためのフローチャート、図4は図2のアスペクト比の演算処理(ステップS103)の具体的処理内容を説明するためのフローチャート、図5は図2の表示倍率およびアスペクト比の演算処理(ステップS103)の具体的処理内容を説明するためのフローチャートを示す。
【0040】
図2において、システム制御部101は、再生モード時に、ハードキーインターフェイス部109でケーブル接続が検出されたか否かを判断し、ケーブル接続を検出しない場合には、通常の再生、すなわちLCD106への再生を行って(ステップS102)、当該フローを終了する一方、再生モード時にケーブル接続が検出された場合には、表示倍率の演算および/またはアスペクト比の検出処理を行う(ステップS103)。すなわち、ステップS103では、▲1▼表示倍率の演算(図3)、▲2▼アスペクト比の検出処理(図4)、▲3▼表示倍率の演算およびアスペクト比の検出処理(図5)のいずれかの処理が行われる。
【0041】
つぎに、ステップS103の▲1▼表示倍率の演算処理の具体的な処理内容を図3のフローチャートを参照して説明する。図3において、まず、システム制御部101は表示制御部105へモニターサイズの入力を促すガイダンスグラフィックスを作成してLCD106に表示する(ステップS201)。利用者は、LCD106の表示に従ってテレビモニター111のモニターサイズ(ブラウン管の対角サイズ)を入力し(ステップS202)、システム制御部101は入力された数値に従って表示倍率Mdを演算する(ステップS203)。
表示倍率Mdの演算方法は、後述する。
【0042】
ついで、ステップS103の▲2▼アスペクト比の検出処理の具体的な処理内容を図4のフローチャートを参照して説明する。図4において、まず、システム制御部101は表示制御部105へモニタータイプの選択入力を促すガイダンスグラフィックスを作成してLCD106に表示する(ステップS301)。利用者は、表示に従ってテレビモニター111のモニタータイプ(ノーマル/ワイド)を選択入力し(ステップS302)、システム制御部101は、選択入力されたタイプに従ってアスペクト比Aを演算する(ステップS303)。アスペクト比Aの演算方法については後述する。
【0043】
そして、ステップS103の▲3▼表示倍率の演算およびアスペクト比の検出処理の具体的な内容を図5のフローチャートを参照して説明する。図5において、まず、システム制御部101は基準画像となるグラフィックスを作成して表示制御部105およびビデオインターフェイス110を介してテレビモニター111に表示する(ステップS401)。
【0044】
図6に上記基準画像のテレビモニター111への表示例を示す。同図において、200はテレビモニター111のフレーム(有効表示領域)、201は撮影を促すガイダンスメッセージ、202は水平方向の基準画像となる水平バー、203は垂直方向の基準画像となる垂直バーを示す。
【0045】
システム制御部101は、標準の画像モードに相当する制御パラメーターを撮像制御部103に設定して撮像動作を開始する(ステップS402)。プレビューの画像の表示、ズームキーの押下、レリーズボタンの半押しの操作に応答する動作は通常の撮影と同じである。なお、基準画像をテレビモニター111へ表示したまま、プレビュー画像をLCD106に表示するためには、表示制御部105は2系統の表示制御を独立して行わなければならない。本実施の形態においては、この機能を表示制御部105が具備しているものとするが、1系統しか具備していない構成においては、a)表示制御部105にピクチャーインピクチャの機能を具備し、プレビュー画像を子画面へ表示する構成や、b)別途(図示されていない)光学式ファインダーを具備し、基準画像の撮影の際には該光学式ファインダーを用いて撮影を行う構成とすれば良い。
【0046】
利用者がテレビモニター111の画面(基準画像)を撮影すると(レリーズボタンが押下されると)、システム制御部101は撮像制御部103へ画像の取り込みを設定し、撮像部102は撮像制御部103の制御に従って基準画像を取り込み、画像処理部104に送出する(ステップS403)。
【0047】
画像処理部104は、画像モードに応じた画像処理を行った後、画像認識により基準画像を認識して水平バーの画素数、垂直バーの画素数を検出する。この画像認識は公知の技術を使用することができる。システム制御部101は、認識した画素数に基づいて表示倍率Mdおよびアスペクト比Aを演算する(ステップS404、S405)。表示倍率Mdおよびアスペクト比Aの演算方法は後述する。
【0048】
なお、表示倍率とアスペクト比の両方を演算する場合を示したが、いずれか一方のみを演算することにしても良い。図6に示した基準画像は、表示倍率とアスペクト比の両方を演算するためのものであるが、表示倍率のみを演算する場合には、基準画像として水平バーまたは垂直バーのいずれか一方を表示することにより演算することが可能である。
【0049】
また、上記では、テレビモニター111に基準画像を表示し、テレビモニター111に表示された基準画像をデジタルカメラで撮影して、テレビモニター111の表示倍率やアスペクト比を演算することとしたが、利用者が、テレビモニター111に表示された基準画像の実寸法(表示寸法)を水平バー、垂直バーの2種について測定し、その測定寸法を入力し、入力された測定寸法に基づき、テレビモニター111の表示倍率やアスペクト比を演算することにしても良い。
【0050】
さて、図2のステップS103の表示倍率および/またはアスペクト比の検出処理が終了すると、システム制御部101は、記録メディアインターフェイス部107を介して記録メディア108から画像ファイルを読み出し(ステップS104)、ヘッダー情報を解析して画像の撮影時におけるズーム位置(焦点距離)、フォーカス位置(被写体距離)を判別する(ステップS105)。続いて、システム制御部101は、撮影時におけるズーム位置(焦点距離)およびフォーカス位置(被写体距離)に基づき撮影倍率Mcを演算し、表示倍率Mdと撮影倍率Mcに基づき変倍率を演算する(ステップS106)。
【0051】
そして、システム制御部101は、画像処理部104に、伸張に必要な画像モードおよび変倍率を設定し、圧縮された画像データを画像処理部104へ転送する。画像処理部104は、転送されてくる圧縮された画像データを伸張し、伸張した画像データに設定される変倍率に変倍の処理を施した後(ステップS107)、画像データを表示制御部105へ送出する(ステップS108)。
【0052】
表示制御部105では、画像データを信号処理した後、ビデオインターフェイス110を介してテレビモニター111上へ再生画像を表示させる(ステップS108)。通常の動作と同様にして、利用者が図示されていないズームアップまたはダウンキーを押下すると(ステップS109)、ステップS104に戻り、次の画像、または前の画像の表示を行う。他方、ズームアップまたはダウンキーが押下されない場合は、ステップS110に移行し、他モードへの切替が有るか否かを判断し、他モードへの切替がある場合には当該フローを終了する一方、他モードへの切替がない場合にはステップS109に戻る。
【0053】
上記したテレビモニター111の表示倍率Md、撮影倍率Mc、変倍率Kの具体的な演算方法について説明する。まず、一般的に光学系における撮影倍率mは下式(1)で示される。
【0054】
m=b/B=f/D・・・(1)
但し、b:結像した被写体の大きさ
B:被写体の大きさ
f:焦点距離
D:被写体距離
【0055】
そして、デジタルカメラにおける撮影倍率Mcを下式(2)の如く定義する。
【0056】
Mc=(被写体の画素数)/(被写体の大きさ)
=(Pc・b/Lc)/B
=m・Pc/Lc
=f・Pc/(D・Lc) ・・・(2)
但し、Pc:撮像画像の垂直方向の全画素数(水平方向でも良い)
Lc:撮像素子の垂直有効撮像領域の長さ(水平方向でも良い)
【0057】
他方、表示倍率Mdを下式(3)の如く定義する。
【0058】
Md=(表示の画像の大きさ)/(表示の画像の画素数)
=Ld/Pd ・・・(3)
但し、Pd:表示画像の垂直方向の画素数
Ld:表示の垂直方向の長さ
【0059】
以上から、被写体の大きさに対する表示の大きさの倍率Mは下式(4)の如く表すことができる。
【0060】
M=(表示の画像の大きさ)/(被写体の大きさ)
=K・Md・Mc ・・・(4)
但し、K:画像処理部104で行う変倍処理の変倍率である。
【0061】
上記図3のフローチャートで示した表示倍率Mdの演算処理(モニターの対角サイズを入力して表示倍率Mdを算出する場合)の具体的な演算方法を、テレビモニター111のアスペクト比が▲1▼4:3の場合と、▲2▼16:9の場合について説明する。
【0062】
▲1▼アスペクト比4:3のモニターの場合には、表示倍率Mdは上記式(3)を用いて、下式(5)の如く表すことができる。
【0063】
Md=(3/5・Lm)/Pq ・・・(5)
但し、Lm:入力されたモニターの対角サイズLm(Lmはインチからミリへ変換)
Pq:表示画像の垂直方向の全画素数
【0064】
▲2▼アスペクト比16:9のワイドモニターの場合には、表示倍率Mdは上記式(3)を用いて、下式(5’)の如く表すことができる。
【0065】
Md=(9/√(337)・Lm)/Pq・・・(5’)
【0066】
アスペクト比の演算と表示倍率の演算とを併せて実現する場合、入力されたモニタータイプにより上記式(5)または上記式(5’)を適宜選択して使用する。
【0067】
なお、ここでは、テレビモニター111の対角サイズに基づき、垂直方向の表示領域を演算することととしたが、テレビモニター111の対角サイズと垂直方向の表示領域とを対応づけて記憶した参照テーブルを予め用意しておき、この参照テーブルを参照して、入力されるモニターの対角サイズに対応する垂直方向の表示領域を読み出すことにしても良い。
【0068】
つぎに、テレビモニター111に基準画像を表示し、利用者がテレビモニター111に表示された基準画像の垂直バーの実寸法(表示寸法)を測定し、利用者から入力される基準画像の垂直バーの実寸法に基づき表示倍率Mdを算出する場合の具体的演算方法を説明する。この場合の表示倍率Mdは、上記式(3)を用いて、下式(6)の如く表すことができる。
【0069】
Md=Lv/Pv・・・(6)
但し、Lv:入力された垂直バーの長さ
Pv:垂直バー画像の画素数
【0070】
また、テレビモニター111に基準画像を表示し、デジタルカメラでこの基準画像を撮影して表示倍率Mdを算出する場合には、まず、上記式(2)を用いて垂直バーの表示上の実寸Lcvを、下式(7)により演算する。
【0071】
Lcv=Pcv/Mc・・・(7)
但し、Lcv:垂直バーの表示上の実寸
Pcv:画像認識により認識された撮像画像上の垂直バーの画素数
【0072】
そして、表示倍率Mdは、上記式(3)を用いて、下式(8)により演算する。
【0073】
Md=Lcv/Pv・・・(8)
【0074】
また、変倍率Kは、上記式(2)より、下式(9)により演算する。
【0075】
K=M/(Md・Mc)・・・(9)
但し、Mの値には2の累乗となる値を選択する。
【0076】
なお、アスペクト比を検出して画像の補正を行う場合には、変倍率を水平、垂直で独立に設定する。本実施の形態では、変倍率Kを垂直方向に適用し、後述するアスペクト比の検出結果に基づき水平方向の変倍率K’を求めることとする。
【0077】
続いて、アスペクト比Aの具体的な演算方法について説明する。まず、上記図4のフローチャートで示したアスペクト比Aの演算処理(モニタータイプを入力して、アスペクト比Aを算出する場合)の具体的な演算方法を説明する。
【0078】
この場合は、入力されたモニタータイプにより一義的にアスペクト比を決定する。例えば、ノーマルが選択された場合にはアスペクト比(水平/垂直)Aは「1」、ワイドが選択された場合にはアスペクト比Aは「4/3」とする。
【0079】
つぎに、テレビモニター111に基準画像を表示し、利用者がテレビモニター111に表示された基準画像の水平バーと垂直バーの実寸法(表示寸法)を測定し、利用者から入力される基準画像の水平バーと垂直バーの実寸法に基づき、アスペクト比Aを演算する場合の具体的演算方法を説明する。この場合は、上記式(6)と同様の方法で、水平方向の表示倍率Mdhと垂直方向の表示倍率Mdvを算出し、アスペクト比Aを下式(10)により演算する。
【0080】
A=Mdh/Mdv・・・(10)
但し、Mdh:水平方向の表示倍率
Mdv:垂直方向の表示倍率
【0081】
なお、水平バーと垂直バーの画素数が同一である場合には、アスペクト比Aは、下式(10’)により演算することができる。
【0082】
A=Lh/Lv・・・(10’)
但し、Lh:入力された水平バーの長さ
Lv:入力された垂直バーの長さ
【0083】
つぎに、テレビモニター111に基準画像を表示し、デジタルカメラでこの基準画像を撮影してアスペクト比Aを演算する場合について説明する。この場合には、上記式(8)と同様な方法で、水平方向の表示倍率Mdhと垂直方向の表示倍率Mdvを算出し、アスペクト比Aを上記式(10)により演算する。なお、水平バーと垂直バーの画素数が同一である場合には、アスペクト比Aは下式(10’’)により演算することができる。
【0084】
A=Pch/Pcv・・・(10’’)
但し、Pch:画像認識により認識された撮像画像上の水平バーの画素数
Pcv:画像認識により認識された撮像画像上の垂直バーの画素数
【0085】
なお、算出したアスペクト比Aに従い、水平方向の変倍率K’は下式(11)により演算する。
【0086】
K’=K/A・・・(11)
【0087】
以上まとめると、ステップS103において、アスペクト比を検出しないで、表示倍率のみを演算する場合には、テレビモニター111に画像を表示する際に、画像の水平方向と垂直方向に対して同じ変倍処理を行い、すなわち画像を変倍率Kで変倍する。他方、アスペクト比を検出する場合には、変倍率を水平、垂直で独立に設定し、例えば、垂直方向を変倍率Kで変倍し、水平方向を変倍率K’で変倍する。
【0088】
以上説明したように、本実施の形態においては、撮影時の撮影倍率Mcを検出するとともに、テレビモニター111の表示倍率Mdを検出し、表示倍率Mdと撮影倍率Mcに基づき変倍率Kを算出して、当該変倍率Kで画像データを変倍してテレビモニター111に表示することとしたので、簡単な構成で、外部接続される表示ディバイスに見やすい画像を表示でき、被写体の実際の大きさを把握しやすいという効果を奏する。付言すると、例えば商品のサンプルを提示する様な場合、その画像が実物に対して等倍(あるいは2の累乗倍)に表示されていれば、実物の大きさを直感的に把握することができる。
【0089】
また、本実施の形態においては、テレビモニター111の表示倍率Mdを検出する場合に、利用者から入力される、モニターの対角サイズに基づいて表示倍率Mdを検出することとしたので、利用者にとって簡易な方法で表示倍率を検出することが可能となる。
【0090】
また、本実施の形態においては、テレビモニター111の表示倍率Mdを検出する場合に、基準画像をテレビモニター111に表示し、利用者から入力される、テレビモニター111に表示される基準画像の寸法に基づいて、表示倍率Mdを検出することとしたので、利用者にとって簡便な方法で表示倍率を検出することが可能となる。
【0091】
また、本実施の形態においては、テレビモニター111の表示倍率Mdを検出する場合に、基準画像をテレビモニター111に表示し、デジタルカメラでこのテレビモニターに表示される基準画像を撮影して表示倍率Mdを検出することとしたので、利用者にとって簡便な方法で表示倍率を検出することが可能となる。
【0092】
また、本実施の形態においては、被写体の大きさに対する表示上の倍率を2の累乗に合わせて拡大・縮小して表示することとしたので、拡大・縮小がなされた場合でも、実際の被写体の大きさを把握することが可能となる。
【0093】
また、本実施の形態においては、テレビモニター111のアスペクト比Aを検出し、検出したアスペクト比Aに基づき画像を補正してテレビモニターに表示することとしたので、簡単な構成で、外部接続される表示ディバイスに見やすい画像を表示でき、被写体の形状を正しく把握できるという効果を奏する。付言すると、例えば4:3のTVモニターであっても、機種により表示される画像のアスペクト比は若干のばらつきを持っているが、かかる歪みの補正に対して有効である。
【0094】
また、本実施の形態においては、テレビモニター111のアスペクト比Aを検出する場合に、利用者から入力される、モニターの表示タイプ(ノーマル/ワイド)に基づいてテレビモニター111のアスペクト比Aを検出することとしたので、利用者にとって簡便な方法でアスペクト比を検出することが可能となる。
【0095】
また、本実施の形態においては、テレビモニター111のアスペクト比Aを検出する場合に、基準画像をテレビモニター111に表示し、利用者から入力される、テレビモニター111に表示される基準画像の寸法に基づいてアスペクト比Aを検出することとしたので、利用者にとって簡便な方法でアスペクト比を検出することが可能となる。
【0096】
また、本実施の形態においては、テレビモニター111のアスペクト比Aを検出する場合に、基準画像をテレビモニター111に表示し、デジタルカメラでこのテレビモニター111に表示される基準画像を撮影してアスペクト比Aを検出することとしたので、利用者にとって簡便な方法でアスペクト比を検出することが可能となる。
【0097】
なお、本発明は、上記した実施の形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変形可能である。
【0098】
【発明の効果】
以上説明したように、請求項1に記載のデジタルカメラによれば、撮影倍率検出手段は撮影時の撮影倍率を検出し、基準画像表示制御手段は基準画像を前記表示装置に表示し、表示倍率検出手段は、前記表示装置に表示された基準画像に基づき、外部接続される表示装置の表示倍率を検出し、表示倍率算出手段は画像データを当該表示装置に表示する際に、当該表示装置の表示倍率および当該画像データの撮影倍率に基づき、被写体の大きさに対する表示上の倍率を算出し、表示制御手段は画像データを、表示倍率算出手段で算出された被写体の大きさに対する表示上の倍率で当該表示装置に表示させることとしたので、簡単な構成で、外部接続される表示ディバイスに見やすい画像を表示でき、被写体の実際の大きさを把握しやすいという効果を奏する。
【0100】
また、請求項に記載の発明によれば、請求項1に記載のデジタルカメラにおいて、表示倍率検出手段は、当該表示装置に表示された基準画像の寸法に基づき当該表示装置の表示倍率を検出することとしたので、請求項1に記載の発明の効果に加えて、利用者にとって簡便な方法で表示倍率を検出することが可能となる。
【0101】
また、請求項に記載の発明によれば、請求項1に記載のデジタルカメラにおいて、表示倍率検出手段は、当該表示装置に表示される基準画像を撮影して当該表示装置の表示倍率を検出することとしたので、請求項1に記載の発明の効果に加えて、利用者にとって簡便な方法で表示倍率を検出することが可能となる。
【0102】
また、請求項に記載の発明によれば、請求項1〜のいずれか1つに記載のデジタルカメラにおいて、拡大・縮小表示手段は被写体の大きさに対する表示上の倍率が2の累乗となるように拡大または縮小して、外部接続される表示装置に画像データを表示することとしたので、請求項1に記載の発明の効果に加えて、拡大・縮小がなされた場合でも、実際の被写体の大きさを把握することが可能となる。
【0103】
また、請求項に記載の発明によれば、撮影倍率検出手段は撮影時の撮影倍率を検出し、アスペクト比検出手段は外部接続される表示装置のアスペクト比を検出し、表示制御手段は画像データを当該表示装置に表示する際に、当該表示装置のアスペクト比に基づき、画像データを補正して、当該表示装置に表示することとしたので、簡単な構成で、外部接続される表示ディバイスに見やすい画像を表示でき、被写体の形状を正しく把握できるという効果を奏する。
【0105】
また、請求項に記載の発明によれば、請求項5に記載のデジタルカメラにおいて、アスペクト比検出手段は当該表示装置に表示される基準画像の寸法に基づき、当該表示装置のアスペクト比を検出することとしたので、請求項5に記載の発明の効果に加えて、利用者にとって簡便な方法でアスペクト比を検出することが可能となる。
【0106】
また、請求項に記載の発明によれば、請求項5に記載のデジタルカメラにおいて、アスペクト比検出手段は当該表示装置に表示される基準画像を撮影して当該表示装置のアスペクト比を検出することとしたので、請求項5に記載の発明の効果に加えて、利用者にとって簡便な方法でアスペクト比を検出することが可能となる。
【0107】
また、請求項に記載の発明によれば、請求項5〜のいずれか1つに記載のデジタルカメラにおいて、拡大・縮小手段は、外部接続される表示装置に表示される画像データを縦横独立に拡大または縮小して表示させることとしたので、請求項5に記載の発明の効果に加えて、画像データを拡大または縮小して表示させる場合においても、被写体の形状を正しく把握できるという効果を奏する。
【0108】
また、請求項に記載の発明によれば、撮影時の撮影倍率を検出し、外部接続される表示装置の表示倍率を検出し、基準画像を前記表示装置に表示し、画像データを当該表示装置に表示する際に、前記表示装置に表示された基準画像および当該画像データの撮影倍率に基づき、被写体の大きさに対する表示上の倍率を算出して、画像データを、算出された被写体の大きさに対する表示上の倍率で当該表示装置に表示させることとしたので、簡単な構成で、外部接続される表示ディバイスに見やすい画像を表示でき、被写体の実際の大きさを把握しやすいという効果を奏する。
【0109】
また、請求項10に記載の発明によれば、撮影時の撮影倍率を検出し、外部接続される表示装置に基準画像を表示し、前記表示装置に表示された基準画像に基づき、外部接続される前記表示装置に応じて、当該表示装置のアスペクト比を検出し、画像データを当該表示装置に表示する際に、当該表示装置のアスペクト比に基づき、画像データを補正して当該表示装置に表示させることとしたので、簡単な構成で、外部接続される表示ディバイスに見やすい画像を表示でき、被写体の形状を正しく把握できるという効果を奏する。
【図面の簡単な説明】
【図1】本発明に係るデジタルカメラの構成を示す図である。
【図2】図1のデジタルカメラの再生動作を説明するためにフローチャートである。
【図3】図2の表示倍率の演算処理の具体的処理内容を説明するためのフローチャートである。
【図4】図2のアスペクト比の演算処理の具体的処理内容を説明するためのフローチャートである。
【図5】図2の表示倍率およびアスペクト比の演算処理の具体的処理内容を説明するためのフローチャートである。
【図6】図1のテレビモニター111の基準画像の表示例を示す図である。
【符号の説明】
100 デジタルカメラ
101 システム制御部
102 撮像部
103 撮像制御部
104 画像処理部
105 表示制御部
106 LCD
107 記録メディアインターフェイス部
108 記録メディア
109 ハードキーインターフェイス
110 ビデオインターフェイス
111 テレビモニター

Claims (10)

  1. 被写体を撮像して画像データを取得する撮像手段と、
    撮影時の撮影倍率を検出する撮影倍率検出手段と、
    外部の表示装置と接続するためのインターフェイスと、
    基準画像を前記表示装置に表示させる基準画像表示制御手段と、
    前記表示装置に表示された基準画像に基づき、前記表示装置の表示倍率を検出する表示倍率検出手段と、
    前記画像データを前記表示装置に表示する際に、前記表示装置の表示倍率および当該画像データの撮影倍率に基づき、被写体の大きさに対する表示上の倍率を算出する表示倍率算出手段と、
    前記画像データを、前記表示倍率算出手段で算出された前記被写体の大きさに対する表示上の倍率で前記表示装置に表示させるべく制御する表示制御手段と、
    を備えたことを特徴とするデジタカメラ。
  2. 請求項1に記載のデジタルカメラにおいて、
    前記表示倍率検出手段は、前記表示装置に表示された基準画像の寸法に基づき当該表示装置の表示倍率を検出することを特徴とするデジタルカメラ。
  3. 請求項1に記載のデジタルカメラにおいて、
    前記表示倍率検出手段は、前記表示装置に表示される基準画像を撮影して当該表示装置の表示倍率を検出することを特徴とするデジタルカメラ。
  4. 請求項1〜3のいずれか1つに記載のデジタルカメラにおいて、
    さらに、前記表示装置に表示される画像データを拡大または縮小して表示させる拡大・縮小表示手段を備え、
    前記拡大・縮小表示手段は、被写体の大きさに対する表示上の倍率が2の累乗となるように前記表示装置に画像データを表示することを特徴とするデジタルカメラ。
  5. 被写体を撮像して画像データを取得する撮像手段と、
    撮影時の撮影倍率を検出する撮影倍率検出手段と、
    外部の表示装置と接続するためのインターフェイスと、
    基準画像を前記表示装置に表示させる基準画像表示制御手段と、
    前記表示装置に表示された基準画像に基づき、接続される前記外部の表示装置に応じて、前記表示装置のアスペクト比を検出するアスペクト比検出手段と、
    前記画像データを前記表示装置に表示する際に、前記アスペクト比検出手段により検出された前記表示装置のアスペクト比に基づき、前記画像データを補正して、前記表示装置に表示する表示制御手段と、
    を備えたことを特徴とするデジタルカメラ。
  6. 請求項5に記載のデジタルカメラにおいて、
    前記アスペクト比検出手段は、前記表示装置に表示された基準画像の寸法に基づき当該表示装置のアスペクト比を検出することを特徴とするデジタルカメラ。
  7. 請求項5に記載のデジタルカメラにおいて、
    前記アスペクト比検出手段は、前記表示装置に表示された基準画像を撮影して当該表示装置のアスペクト比を検出することを特徴とするデジタルカメラ。
  8. 請求項5〜7のいずれか1つに記載のデジタルカメラにおいて、
    さらに、前記表示装置に表示される画像データを縦横独立に拡大または縮小して表示させる拡大・縮小表示手段と、
    を備えたことを特徴とするデジタカメラ。
  9. デジタルカメラの画像表示方法において、
    被写体を撮像して画像データを取得するステップと、
    撮影時の撮影倍率を検出するステップと、
    外部接続される表示装置に基準画像を表示するステップと、
    前記表示装置に表示された基準画像に基づき、前記表示装置の表示倍率を検出するステップと、
    前記画像データを前記表示装置に表示する際に、前記表示装置の表示倍率および当該画像データの撮影倍率に基づき、被写体の大きさに対する表示上の倍率を算出するステップと、
    前記画像データを、前記算出された被写体の大きさに対する表示上の倍率で前記表示装置に表示させるステップと、
    を含むことを特徴とするデジタルカメラの画像表示方法。
  10. デジタルカメラの画像表示方法において、
    被写体を撮像して画像データを取得するステップと、
    撮影時の撮影倍率を検出するステップと、
    外部接続される表示装置に基準画像を表示するステップと、
    前記表示装置に表示された基準画像に基づき、外部接続される前記表示装置に応じて、前記表示装置のアスペクト比を検出するステップと、
    前記画像データを前記表示装置に表示する際に、検出された前記表示装置のアスペクト比に基づき、前記画像データを補正して前記表示装置に表示するステップと、
    を含むことを特徴とするデジタルカメラの画像表示方法。
JP16695199A 1999-06-14 1999-06-14 デジタルカメラおよびその画像表示方法 Expired - Fee Related JP4327945B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16695199A JP4327945B2 (ja) 1999-06-14 1999-06-14 デジタルカメラおよびその画像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16695199A JP4327945B2 (ja) 1999-06-14 1999-06-14 デジタルカメラおよびその画像表示方法

Publications (2)

Publication Number Publication Date
JP2000354181A JP2000354181A (ja) 2000-12-19
JP4327945B2 true JP4327945B2 (ja) 2009-09-09

Family

ID=15840657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16695199A Expired - Fee Related JP4327945B2 (ja) 1999-06-14 1999-06-14 デジタルカメラおよびその画像表示方法

Country Status (1)

Country Link
JP (1) JP4327945B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4520259B2 (ja) 2004-09-14 2010-08-04 株式会社リコー マルチメディア記録装置、マルチメディア記録方法、及びマルチメディア記録システム
JP4225284B2 (ja) * 2005-01-20 2009-02-18 富士フイルム株式会社 撮像装置
JP4878776B2 (ja) * 2005-05-27 2012-02-15 三星電子株式会社 画像信号キャリブレーション装置,画像出力装置およびデジタルカメラ
JP2009027298A (ja) 2007-07-18 2009-02-05 Ricoh Co Ltd 撮像装置および撮像装置の制御方法
JP2009054130A (ja) 2007-07-27 2009-03-12 Ricoh Co Ltd 画像処理装置、画像処理方法およびデジタルスチルカメラ

Also Published As

Publication number Publication date
JP2000354181A (ja) 2000-12-19

Similar Documents

Publication Publication Date Title
US7230648B2 (en) Image sensing apparatus and method of focusing and enlarging/reducing the in-focus image data on a display device
JP5131257B2 (ja) 表示制御装置及び表示制御プログラム
KR101346426B1 (ko) 광각 화상을 생성 가능한 화상 처리 장치
JP4260094B2 (ja) ステレオカメラ
US9060160B2 (en) Image generation device, imaging device, image reproduction device, and image reproduction program
JP5171398B2 (ja) 撮像装置
US9532034B2 (en) Three-dimensional imaging apparatus and three-dimensional image display method
JP4696614B2 (ja) 画像表示制御装置及びプログラム
JP2006287735A (ja) 画像音声記録装置及び集音方向調整方法
JP3613741B2 (ja) デジタルスチルカメラ、及びテレビ会議システム
JP4327945B2 (ja) デジタルカメラおよびその画像表示方法
JPH10336494A (ja) ズーム表示機能付デジタルカメラ
JP4429394B2 (ja) 情報処理装置および記録媒体
JP4445662B2 (ja) 電子カメラ
JP2008172395A (ja) 撮像装置、画像処理装置、方法およびプログラム
JP2000217022A (ja) 電子スチルカメラおよびその画像デ―タ記録再生方法
CN112422782B (zh) 显示控制设备及其控制方法和计算机可读存储介质
JP2006148701A (ja) デジタルカメラの位置校正システム、および方法
JP2010056768A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
JP4360395B2 (ja) 情報処理装置
JP2005278003A (ja) 画像処理装置
KR20030090889A (ko) 디지털 카메라 일체형 휴대용 단말기의 확대 영상 촬영방법 및 장치
JPWO2003084215A1 (ja) 画像拡大装置および方法
JP2008035307A (ja) 情報処理装置
EP0989746B1 (en) Imaging apparatus having a high-speed imaging function with electronic zoom circuit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090612

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees