JP4027140B2 - 画像表示システム、その制御方法および該制御方法を実現するためのプログラム - Google Patents

画像表示システム、その制御方法および該制御方法を実現するためのプログラム Download PDF

Info

Publication number
JP4027140B2
JP4027140B2 JP2002102516A JP2002102516A JP4027140B2 JP 4027140 B2 JP4027140 B2 JP 4027140B2 JP 2002102516 A JP2002102516 A JP 2002102516A JP 2002102516 A JP2002102516 A JP 2002102516A JP 4027140 B2 JP4027140 B2 JP 4027140B2
Authority
JP
Japan
Prior art keywords
image
image data
display device
display
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002102516A
Other languages
English (en)
Other versions
JP2003296701A (ja
Inventor
政美 加藤
勇 小澤
昭仁 望月
岳史 四宮
貴識 宮崎
憲 榊原
善久 田處
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002102516A priority Critical patent/JP4027140B2/ja
Publication of JP2003296701A publication Critical patent/JP2003296701A/ja
Application granted granted Critical
Publication of JP4027140B2 publication Critical patent/JP4027140B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、ネットワーク上の画像配信装置に登録された画像データを画像表示装置で表示する画像表示システム、その制御方法および該制御方法を実現するためのプログラムに関する。
【0002】
【従来の技術】
従来、ディジタルカメラによる撮影等で作成されたディジタル画像データを表示して鑑賞する場合には、外部記憶媒体経由や各種ケーブルなどで、ディジタル画像データを一旦パーソナルコンピュータに転送して表示する方法や、カメラ本体のビデオ出力を用いてモニタに表示する方法などが採られている。
【0003】
しかし、これらの方法では、従来の銀塩写真のように、気軽に撮影画像を鑑賞することができないため、例えば液晶表示装置を用いて、ディジタル画像データを表示するフォトフレームが提案され、実用化されている。
【0004】
スタンドアロンで使用される電子式フォトフレームでは、ユーザがディジタルカメラ等で撮影し、記憶媒体に蓄積したディジタル画像データや、付属のスキャナから画像を読み込んで生成したディジタル画像データをメモリに展開し、表示する。
【0005】
また、記憶媒体にディジタル画像データとともに表示方向情報を記録しておき、画像を表示する際には、表示方向情報を利用することによって、装置自体を縦にしても横にしても、特に上下方向を指示しなくても、正しい方向に画像を表示できる電子式フォトフレーム等も提案されている。
【0006】
この電子式フォトフレームによれば、その表示領域が長方形であり、かつ、表示画像も長方形であった場合に、表示領域の長辺方向と表示画像の長辺方向が一致しないとき、例えば、表示領域が横長であり、図29のような縦長の画像を表示するときであっても、図33に示すように、余白(非表示領域)部分202および203を生成することによって、正しい方向に画像201を表示することができる。
【0007】
さらに、画像の表示方向情報に合わせて自動的に表示部が回転する機構を加えるようにした電子式フォトフレームも提案されている。
【0008】
この電子式フォトフレームによれば、図34に示すように、その表示領域の長辺方向と表示画像の長辺方向が一致しない場合であっても(212)、表示領域を物理的に自動回転させることによって、両者の長辺方向を一致させ(211)、表示領域全体を用いて正しい方向に画像を表示することができる。
【0009】
また、近年のインターネットの普及を背景に、ネットワークを利用した新しい電子式フォトフレーム(以下、「インターネット型フォトフレーム」という)が提案され、実用に供されようとしている(米CEIVA Logic社や米Weave Innovations社等)。インターネット型フォトフレームは、ネットワーク上のサーバ装置に登録されているディジタル静止画像データを定期的に受信してメモリに展開し、例えば液晶ディスプレイ等の画像表示装置上に表示するものである。
【0010】
また、インターネット型フォトフレームは、WWW(World Wide Web)サーバに登録したユーザの画像データを受信して表示するだけでなく、他のユーザが指定したユーザに画像データを配信する機能等も備えている。
【0011】
【発明が解決しようとする課題】
【0013】
しかし、上記従来の電子式フォトフレームのうち、表示領域を物理的に回転させるようにしたものでは、回転モータなどのデバイスが必要になるため、回転機構を備えない通常の電子式フォトフレームと比較して、高価になるという問題がある。さらに、この電子式フォトフレームでは、表示領域を支持する台と表示領域部分の大きく2つに分かれて構成されるため、一般的な銀塩写真用写真立てと大きく形状を異にし、銀塩写真用写真立てを置き換える装置としては不適切な場合が考えられる。
【0014】
他方、上記従来の電子式フォトフレームのうち、回転機構を備えていないものでは、表示領域と表示画像の長辺方向が異なる場合に、表示領域に画像全体を収めるためには、画像データを縮小処理する必要があり、また、画像全体を収めないときでも、画像の一部を削除するなどの画像データ処理を行う必要があり、したがって、これらの画像処理には、より多くの作業用メモリやCPU能力が必要になるという問題がある。
【0015】
さらに、一般にディジタル画像データを表示する場合には、図35に示すように、表示領域の画素と表示データを保持しているフレームバッファの内容は対応している。ここで、表示領域を物理的に回転させたとしても、図36に示すように、画素とフレームバッファの対応関係は回転以前と変わらない。このため、図34に示す表示を得るには、フレームバッファ上に図37に示すような画像データを展開する必要がある。すなわち、元の画像データ(図29)を展開した後、回転した状態の画像データ(図37)を生成する必要がある。したがって、画像データの回転処理にも多くのCPU能力を必要とする。
【0016】
本発明は、これらの点についても着してなされたものであり、製造コストを低減させながら、画像を常に正しい方向に表示可能とすることを目的とする。
【0017】
【課題を解決するための手段】
【0028】
上記目的を達成するため、請求項1に記載の画像表示システムは、ネットワークを介して接続された、画像配信装置および画像表示装置からなる画像表示システムにおいて、前記画像表示装置は、表示平面上の支点を中心にして回転可能に構成された画面を有するとともに、前記画面の設置方向として、前記画面が基準位置から回転して一定時間が経ったときの回転量を検知する検知手段と、前記検知手段により検知された設置方向を前記画像配信装置に送信する第1の送信手段とを有し、前記画像配信装置は、画像データをその表示方向と対応づけて記憶する記憶手段と、前記記憶手段に記憶された画像データを、その表示方向および前記第1の送信手段により送信された設置方向に含まれる画面の回転量に基づいて回転処理する回転処理手段と、前記回転処理手段により回転処理された画像データを前記画像表示装置に送信する第2の送信手段とを有することを特徴とする。
【0036】
請求項に記載の画像表示システムは、請求項1の画像表示システムにおいて、前記画像表示装置は、さらに、予め指定された受信時刻になったかどうか判定する判定手段と、前記判定手段により受信時刻になったと判定されれば、前記画像配信装置とネットワークを介して接続する接続手段とを有することを特徴とする。
【0037】
請求項に記載の画像表示システムは、請求項1の画像表示システムにおいて、前記画像表示装置はさらに、前記画像表示装置の周囲の明るさを検出する明るさ検出手段を有し、前記第1の送信手段はさらに、前記検出された明るさを前記画像配信装置に送信し、前記画像配信装置はさらに、前記画像データを前記明るさに応じて選択する選択手段を有することを特徴とする。
【0040】
上記目的を達成するため、請求項に記載の画像表示システムの制御方法は、ネットワークを介して接続された、画像配信装置および画像表示装置からなる画像表示システムを制御する制御方法において、前記画像表示装置は表示平面上の支点を中心にして回転可能に構成された画面を有し、前記画像表示装置に対しては、前記画面の設置方向として、前記画面が基準位置から回転して一定時間が経ったときの回転量を検知する検知ステップと、前記検知された設置方向を前記画像配信装置に送信する第1の送信ステップとを有し、前記画像配信装置に対しては、画像データをその表示方向と対応づけて記憶手段に記憶させる記憶ステップと、前記記憶された画像データを、その表示方向および前記送信された設置方向に含まれる画面の回転量に基づいて回転処理する回転処理ステップと、前記回転処理された画像データを前記画像表示装置に送信する第2の送信ステップとを有することを特徴とする。
【0043】
上記目的を達成するため、請求項に記載のプログラムは、ネットワークを介して接続された、画像配信装置および画像表示装置からなる画像表示システムを制御する制御方法を、コンピュータに実現させるためのプログラムであって、前記画像表示装置は表示平面上の支点を中心にして回転可能に構成された画面を有し、前記制御方法は、前記画像表示装置に対しては、前記画面の設置方向として、前記画面が基準位置から回転して一定時間が経ったときの回転量を検知する検知ステップと、前記検知された設置方向を前記画像配信装置に送信する第1の送信ステップとを有し、前記画像配信装置に対しては、画像データをその表示方向と対応づけて記憶手段に記憶させる記憶ステップと、前記記憶された画像データを、その表示方向および前記送信された設置方向に含まれる画面の回転量に基づいて回転処理する回転処理ステップと、前記回転処理された画像データを前記画像表示装置に送信する第2の送信ステップとを有することを特徴とする。
【0044】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【0045】
(第1の実施の形態)
本発明の第1の実施の形態に係る画像表示システムは、画像データを保持するホストサーバ装置(以下、「サーバ」と略す)および該サーバにネットワークを介して接続される画像表示装置(本実施の形態の画像表示装置)によって構成され、画像表示装置は、サーバ上に保持された画像データを受信して表示する。
【0046】
図1は、本実施の形態の画像表示システムの構成の一例を示す図である。
【0047】
同図において、サーバ1は、画像表示装置(以下、「表示装置」と略す)3aおよび3bに提供する画像データを保持する。サーバ1は、ファイルサーバ機能、データベース機能、データ検索機能、WWWサーバ機能(HTTPD:HyperText Transfer Protocol Demon)などを有する。サーバ1は、例えば高性能なパーソナルコンピュータ等により構成され、各種機能は、オペレーティングシステム上でアプリケーションソフトウェアとして実現される。
【0048】
パーソナルコンピュータ2aおよび2bは、WWWクライアント(HTTPクライアント)機能を有するものであり、画像データを登録したいユーザは、当該コンピュータ2aおよび2bを利用してサーバ1に静止画像データを登録する。
【0049】
表示装置3aおよび3bは、ネットワーク、例えばインターネット4を介してサーバ1に接続され、サーバ1に登録された静止画像データ群を受信し、所定のシーケンスで表示する機能を備えている。
【0050】
図1では、A/B2人のユーザ環境が示されているが、実際には、多くのユーザの表示装置がネットワーク4に接続され、当該システムを利用している。
【0051】
図2は、本実施の形態の表示装置3の概観を示す図であり、図1の表示装置3aおよび3bを代表させて図示したものである。
【0052】
同図において、フレーム31内には、各種処理回路が内蔵されている。フレーム31は、いわゆる一般的な写真立てを模した外観形状をなしている。
【0053】
表示部32は、液晶ディスプレイからなり、受信した画像データを表示する。
【0054】
ユーザが押下可能なスイッチ33aおよび33bは、ユーザインターフェースとして利用される。
【0055】
装置の側面には、電源スイッチ34が設けられ、表示装置の背面には、電源アダプタケーブルやネットワークインターフェースケーブル等を接続するコネクタ(図示せず)が設けられている。
【0056】
図3は、表示装置3のハードウェア構成を示すブロック図である。
【0057】
同図に示すように、CPU(Central Processing Unit)41は、装置全体の制御動作、圧縮された画像データの伸長などの信号処理およびネットワークプロトコル処理等を司る。
【0058】
ネットワークインターフェース部42は、インターネットに接続するためのインターフェースを備え、ユーザ環境に応じて様々な通信インターフェースが適用される。ネットワークインターフェース部42は、アクセス網に直接接続する場合には、通信モデムやTA(Terminal Adapter)等で構成され、装置外部のADSL(Asymmetric Digital Subscriber Line)モデムやCATVモデム等に接続する場合には、イーサネット(登録商標)・インターフェース等で構成される。
【0059】
ROM(Read Only Memory)43は、CPU41の動作に必要な命令データが格納されるほか、CPU41の処理に必要なデータが格納される。ROM43は、EEPROM(Electrically Erasable and Programmable ROM)などにより構成され、不揮発の一時データ格納領域としても利用される。
【0060】
RAM(Random Access Memory)44は、CPU41の動作に必要な作業メモリとして利用される。
【0061】
ディスプレイインターフェース部45は、少なくとも1画面分のフレームバッファを有し、フレームバッファに記録された画像データをD/A変換して、ディスプレイ46に転送する。
【0062】
ディスプレイ46は、液晶ディスプレイとそのドライバからなる。
【0063】
時計デバイス(リアルタイムクロックIC)47は、装置の動作を制御する日時・時刻データを管理するために利用される。
【0064】
各デバイス42〜45および47は、システムバス(アドレスバス、データバス、コントロールバスを含む)48を介して、CPU41により制御される。
【0065】
以上のように構成された画像表示システムが実行する制御動作について、以下、詳細に説明する。
【0066】
まず、表示装置3aのユーザAは、パーソナルコンピュータ2aを利用して、ディジタルカメラ等で撮影した画像データをサーバ1に登録する。登録の際に、ユーザAは、登録する画像データに関連するキーワードを入力する。具体的には、被写体を表現するキーワードや撮影時間・日時・場所等に関する情報である。キーワードは、画像データに対するメタデータとして、例えばDIG(Digital Imaging Group)35等に対応したフォーマットに従って、画像データとともにサーバ1に保持される。メタデータに含まれる情報には、キーワードの他に、ユーザAが管理する画像データの所在等を示すURL(Uniform Resource Locater)やメールアドレス等も含まれている。 なお、キーワードは、画像データの撮影時に登録された情報を利用してもよい。
【0067】
次に、ユーザAは、登録した画像データの中から、表示装置3aに表示する画像データを選択する。ここで選択された複数の画像データが、表示装置3aに配信され、所定のシーケンスで自動表示される。 選択された画像データを指定する情報は、サーバ1のデータベースを利用して、ユーザAのID情報と画像固有のID情報により管理されている。
【0068】
以上の処理は、WWWサーバソフトウェアに関連する機能と、クライアントであるパーソナルコンピュータのWWWブラウザソフトウェアにより容易に実現できる。
【0069】
なお、ここでは、ユーザAおよびユーザAが所有する表示装置3aおよびパーソナルコンピュータ2aを例に挙げて説明したが、これは便宜上このようにしたに過ぎず、ユーザBおよびユーザBが所有する表示装置3bおよびパーソナルコンピュータ2bについても同様である。
【0070】
図4は、サーバ1に登録されている画像データセットの一例を示す図である。
【0071】
同図において、静止画像51a〜51dは、表示装置3aおよび3bで表示される静止画像であり、例えばJPEG(Joint Photographic Expert Group)等の圧縮方式で圧縮されている。また、画像データを表示する順番や間隔などを指定する情報も、サーバ1から配信される。図示例では、画像51a〜51dの順序で繰り返し表示される。
【0072】
図5は、表示装置3のCPU41が実行するメインルーチンの手順を示すフローチャートであり、図6は、サーバ1が実行する画像データ処理の手順を示すフローチャートである。
【0073】
表示装置3は、各種初期化処理の実行(ステップS1)後、受信スケジュールを判定する(ステップS2)。すなわち、ユーザが予め指定したデータ受信時刻を判定し、指定時刻になった場合には、サーバ1に保持されている、指定した画像データセットの受信を開始する。受信スケジュールは、時計デバイス47で管理されている時間データと、EEPROM43またはRAM44上に保持されているスケジュールデータとを比較することにより判定する。
【0074】
画像データの受信を開始する場合には、ネットワークインターフェース部42に含まれるモデム(電話網に直接接続されている構成の場合)により所定のサーバ(本実施の形態では、サーバ1)にPPP(Point to Point Protocol)でダイアルアップ接続する(ステップS3)。接続の完了後、HTTP(Hyper Text Transfer Protocol)/FTP(File Transfer Protocol)等のデータ転送プロトコルに従って、画像データセットをサーバ1に要求する(ステップS4)。
【0075】
サーバ1は、画像データの要求リクエストを受信し(ステップS21)、要求内容を判断する(ステップS22)。表示装置3のユーザが予め指定した画像データセットを要求する場合には、サーバ1のデータベースを利用して、ユーザID等を基に、指定された画像データセットを選択する(ステップS27)。選択された複数の画像データは、所定のプロトコルに従って表示装置3に送信される(ステップS26)。
【0076】
表示装置3は、画像データセットを受信し、EEPROM43などに蓄積する(ステップS5)。蓄積された画像データは、所定のシーケンスで順次再生処理される(ステップS6)。
【0077】
図7は、ステップS6の画像再生処理の詳細な手順を示すフローチャートである。
【0078】
時計デバイス47で管理される時間管理情報に従って、表示画像の更新時間に達した場合(ステップS31)、次に再生する画像データをメモリから取り出し、デコード処理する(ステップS32)。デコードされた画像データは、ディスプレイインターフェース部45のフレームバッファに転送される(ステップS33)。
【0079】
ディスプレイ46は、フレームバッファに格納されたデータを表示する。
【0080】
以上の処理により、複数の画像データ51a〜51dは、予めユーザが定めた適当な間隔で表示部32に順次表示される。
【0081】
次に、所定のスケジュール時刻に達し(ステップS7)かつ画像データの自動挿入モードに設定されている(ステップS8)ときには、改めてネットワークに接続し(ステップS9)、サーバ1に自動挿入画像データを要求する(ステップS10)。
【0082】
サーバ1は、自動挿入画像データの要求を受けた場合(ステップS22)、まずユーザが表示装置への表示指定を行った画像データに関するキーワードを収集し、その内容を解析する(ステップS23)。キーワードの解析は、例えば複数のキーワードの中から最も頻出するキーワードを選択するなどの簡単な方法でもよいし、知識データベース等を利用して当該複数のキーワードが意味する上位概念のキーワードを抽出する等の方法を利用してもよい。例えば、自動車/バス/電車などのキーワードを含む場合「陸上の乗り物」をキーワードと判定する。
【0083】
次に、決定されたキーワードから、サーバ1が保持する他の不特定ユーザの画像データを検索する(ステップS24)。
【0084】
さらに、検索結果から、実際に当該ユーザの画像データ表示シーケンスに挿入する画像データを決定する(ステップS25)。最終的な画像データの選択は、乱数等を利用して決定される。 ここで選択された画像データは、所定のプロトコルで表示装置3に送信される(ステップS26)。
【0085】
表示装置3は、サーバ1から送信された画像データを受信すると、メモリ等の蓄積装置に保持し(ステップS11)、当該表示装置のユーザが指定した画像データの表示シーケンスに挿入する。
【0086】
以上の処理により、ユーザが指定した画像データの表示シーケンスに、当画像データと類似の内容を有する他のユーザの画像データが自動的に挿入されて、表示される。
【0087】
さらに、画像データの表示中に、ユーザが表示装置3のスイッチ33aを押下した場合、割り込みが発生する。
【0088】
図8は、スイッチ33a押下時の割り込み処理の手順を示すフローチャートである。
【0089】
スイッチ33aの押下に伴う割り込みが発生すると、CPU41は、まず、割り込み発生時に表示している画像データを判別する(ステップS41)。表示画像がユーザの指示した画像データ以外の画像、すなわちサーバ1により自動挿入された画像データの場合には、当該画像データに付随する情報を抽出する(ステップS42)。画像データに付随する情報とは、自動挿入された画像データの所有者に関する情報であり、当該所有者の画像サーバを示すURLや当該所有者のメールアドレス等を含む情報である。ここで、URLが示すサーバの領域には当該所有者に関する情報や、当該所有者の保持する他の画像データや画像データに関する説明情報等が保持されているものとする。
【0090】
次に、抽出された情報を記したメール文書を自動生成し、表示装置3のユーザのメールアドレスに自動送信する(ステップS43)。なお、ユーザのメールアドレス等は予め表示装置3に登録されているものとする。
【0091】
ユーザは、後ほど、自分宛てに送信されたメール情報をパーソナルコンピュータで受信し、記載されたURL等から自動挿入された画像データの所有者の保有する他の画像データを閲覧し、表示装置に表示するデータとして指定することができる。更に、メールアドレス等から当該ユーザと直接コミュニケーションを図ることも可能である。
【0092】
このように、本実施の形態では、ユーザが表示装置に表示する画像データを指定するだけで、当該画像データと類似の画像データをサーバが自動挿入するので、ユーザは共通の嗜好の様々な画像データを楽しむことが可能になる。さらに、自動挿入された画像データの保持者である他のユーザと簡単なオペレーションでコミュニケーションを図ることが可能になり、ユーザの嗜好する画像データを不特定の多くのユーザと交換することが可能になる。
【0093】
(第2の実施の形態)
本実施の形態では、第1の実施の形態との違いについてのみ説明する。本実施の形態では、図6のサーバ側画像データ処理中、キーワード解析処理(ステップS23)、類似画像データ検索処理(ステップS24)および挿入画像データ選択処理(ステップS25)等が異なるのみである。
【0094】
図9は、本実施の形態のサーバが実行する画像データ処理の手順を示すフローチャートである。
【0095】
第1の実施の形態では、類似画像の検索に画像データに付随するキーワードを利用したが、本実施の形態では、画像データの内容から直接類似画像を検索する。
【0096】
まず、ユーザが表示装置3への表示を指示した、複数の画像データから、特徴パラメータを抽出し、抽出結果から複数の画像データを代表する特徴パラメータを決定する(ステップS53)。ここで決定された特徴パラメータに最もよく相関する画像データを、類似画像データ検索処理(ステップS54)で検索する。ここで、サーバ1に登録された画像データは、予め登録時に特徴パラメータが算出されているものとする。画像データの特徴量を表す特徴パラメータの抽出とそれを利用した検索方法等に関しては、例えば特開平06−168277号公報等に記載されているような従来提案されている方法を適用することで実現可能である。
【0097】
次に、検索結果から得られた画像データから、実際に表示装置3に表示する画像データを選択する(ステップS55)。この選択ステップでは、類似画像データ検索処理(ステップS54)で検索された画像データの妥当性を判断する。
具体的には、画像データにキーワード等が付随している場合、その情報からフォトフレームに自動挿入する画像データとして適当かどうかを判断する。 キーワードが付随していない場合には、画像データから画像内容を認識し、不適当な画像でないかの確認を行う。ここでの画像内容認識処理は、画像検索のための特徴抽出処理等に比べ、より高精度な認識処理を行い、不適格な画像内容を判別する。適当であると判断した場合には、表示装置203に画像データを送信する。
【0098】
本実施の形態によれば、上記第1の実施の形態の効果に加えて、ユーザが画像データの登録時にキーワードの入力を行う必要がなくなるため、利便性が一層向上する。また、色調や構図等の感性的な情報を特徴パラメータとすることで、画像全体の雰囲気等が類似した画像データを自動挿入画像として選択できる。さらに、フォトフレーム等の表示装置に自動表示する画像としてふさわしくない画像データが選択されることによる不快感を防止することが可能になる。
【0099】
(第3の実施の形態)
第1および第2の実施の形態では、サーバ1でキーワードの解析や画像データの特徴パラメータ抽出を行う場合について説明したが、これらの処理を表示装置3側で行ってもよい。その場合、表示装置3は、受信した複数の画像データから得られるキーワードを解析し、または画像データそのものから共通する特徴パラメータを抽出する。ここで得られた結果を基に、自動挿入画像の検索に必要な情報を決定し、サーバ1に通知する。サーバ1は、通知されたキーワードや特徴パラメータ等を基に類似画像の検索を行い、自動挿入画像として表示装置に配信する。
【0100】
本実施の形態によれば、検索情報を表示装置3側で行うようにしているので、サーバ1の処理負荷を低減させることができる。
【0101】
(第4の実施の形態)
本実施の形態では、表示装置3にメモリカードスロット等を設け、当該スロットに装着されたメモリカード内に保持された画像データをユーザの指示する画像データとする。ここでも、第1〜第3の実施の形態との違いについてのみ説明する。
【0102】
メモリカードスロットは、表示装置3のシステムバス4に接続され、メモリカードとのインターフェースを司る。メモリカード内に蓄積された画像データは、当該インターフェースを介してCPU4で処理される。
【0103】
図10は、本実施の形態の表示装置3が実行するメインルーチンの手順を示すフローチャートであり、図11は、本実施の形態のサーバ1が実行する画像データ処理の手順を示すフローチャートである。
【0104】
ステップS62で、CPU4は、メモリカードに格納された画像データを取り出し、ディスプレイ46に表示する。
【0105】
次に、所定の時刻(ステップS63)でかつ画像データの自動挿入が指示されている(ステップS64)場合、メモリカードに格納された画像データの内、ユーザが表示を指示した複数の画像データの特徴パラメータを抽出する(ステップS65)。特徴パラメータの抽出は、第2の実施の形態で示したような従来技術を適用することによって実現可能である。
【0106】
次に、ネットワークに接続し(ステップS66)、ステップS65で得られた特徴パラメータを利用して、サーバ1に類似画像データを要求する。
【0107】
サーバ1は、表示装置3から画像データの要求リクエストを受けると(ステップS71)、表示装置3から送られた画像データの特徴パラメータを利用して類似画像データを検索し(ステップS72)、表示装置3で表示するのに好ましい画像データを表示装置3に配信する(ステップS73およびS74)。
【0108】
表示装置3は、サーバ1から配信された他のユーザの類似画像データを受信し(ステップS68)、ユーザが表示を指示した画像データの表示シーケンスに加える。
【0109】
このように、本実施の形態では、ユーザは特別なオペレーションを必要とすることなく、メモリカードなどに格納された画像データの表示を指示するだけで、共通の嗜好を有する不特定の他のユーザの画像も楽しむことができる。
【0110】
(第5の実施の形態)
本実施の形態でも、第1〜第4の実施の形態と異なる部分についてのみ説明する。
【0111】
図12は、本実施の形態で特徴となる処理の手順を示すフローチャートであり、画像データの表示中にスイッチ33bが押下された場合の割り込み処理の手順を示すものである。
【0112】
スイッチ33bの押下により割り込みが発生すると、まず、ステップS81で、表示中の画像が、自動挿入された他のユーザの画像であるかを判断する。自動挿入された画像データの場合には、画像データに関連する情報から当該画像データのユーザに関する情報を取得する(ステップS82)。ここで取得された情報は、ユーザを特定するためのID番号やURL/メールアドレス等の情報を示す。
【0113】
次に、当該画像データを削除し、画像表示シーケンスから外す(ステップS83)。続いて、ネットワークに接続し(ステップS84)、ステップS82で得られた情報をサーバ1に送信する(ステップS85)。
【0114】
サーバ1は、ここで得られたユーザ情報を基に、以後、類似画像の検索ステップ(ステップS24)または挿入画像選択ステップ(ステップS25)で当該ユーザの画像データを選択対象から外す。
【0115】
このように、本実施の形態によれば、自動挿入された画像が気に入らない場合には、簡単なオペレーションで当該画像データの表示を停止するとともに、サーバに対して当該画像データのユーザに関するデータを今後選択しないように指示できるので、検索結果からは類似画像であると判断される画像であるが、ユーザの嗜好とは合致しない画像データの自動挿入を抑制することが可能になる。
【0116】
(他の実施の形態)
第1の実施の形態では、ユーザが、自動挿入された画像データの表示中に、スイッチ33aを押下したときに、メールが送信される場合について説明したが、本発明はこれに限られるわけでなく、様々な情報通知方法を適用することが可能である。例えば、スイッチ33aの押下により、当該画像データのユーザに関する情報が表示装置のユーザのWWWサーバデータ領域に登録される、あるいは、当該画像データのユーザに関する情報が表示装置に表示される等の方法でもよい。
【0117】
また、自動挿入された画像データがユーザにとって認識できるような表示態様を適用してもよい。
【0118】
図13は、このような表示態様の一例を示す図であり、自動挿入データを表示している場合にのみマーク61を表示する。マーク61の表示は、サーバ1が画像データ中に挿入する方法や表示装置が画像データの表示時に表示する方法等が考えられるが何れの方法でもよい。
【0119】
第1〜第5の実施の形態では、表示装置が、表示する複数の画像データを保持するように構成したが、表示装置は画像データを蓄積せず、常にネットワークからデータを受信するように構成してもよい。この場合、表示装置は、表示する画像データをサーバ1に対して指示するのに必要な情報を保持するだけでよく、装置を廉価に構成できる。
【0120】
さらに、表示装置が、サーバ1に対して、定期的に1つの画像データのポーリングを行うようにしてもよい。この場合、表示装置は、サーバ1に対して特定の画像データを指定するのではなく、サーバ1が用意した任意の画像データの要求のみを行う。サーバ1は、表示装置に配信する画像データの表示シーケンス等に関する情報を全て管理し、シーケンスに従って選択した画像データを表示装置のポーリング時に提示する。この場合、サーバ1と表示装置間の通信手順が簡略化され、通信コストを低減させることが可能になる。
【0121】
第1〜第5の実施の形態では、表示装置に表示する画像データの指定や表示シーケンス等は、パーソナルコンピュータを介して設定するように構成したが、表示装置3本体で設定可能な構成にしてもよい。その場合、例えば表示部にはタッチパネル機能等のインターフェース手段を有し、表示部32に表示されるグラフィカルユーザーインターフェース (例えば、当該表示装置がHTMLのブラウザ機能を有する)を介して、表示画像等を指定することも可能である。
【0122】
また、第1および第5の実施の形態では、ユーザの特定の操作としてスイッチ33aおよび33bを押下する方法について説明したが、タッチパネルを利用する方法や音声認識コマンドを利用する方法等、他のさまざまなインターフェースを適用することが可能である。
【0123】
第1〜第5の実施の形態では、キーワードを、画像データを含むフォーマットで保持する場合について説明したが、画像をユニークに指定するIDを基にしてサーバ1のデータベースで全て管理するようにしてもよい。
【0124】
第1の実施の形態では、キーワードを用いた画像検索、第2の実施の形態では、特徴パラメータを利用した画像検索について説明したが、類似画像を検索することが可能な方法であればどのような方法を適用してもよい。
【0125】
第1〜第5の実施の形態では、ディスプレイとして液晶表示装置を用いたが、画像データを表示可能なデバイスであればどのような表示装置でもよい。また、接続するネットワーク環境も、インターネットへのダイアルアップ接続環境に制限されるわけではなく、どのようなものでもよい。
【0126】
(第6の実施の形態)
図14は、本発明の第6の実施の形態に係る画像表示システムの構成を示す図である。
【0127】
同図に示すように、本実施の形態の画像表示システムは、画像配信装置であるサーバ101と、パーソナルコンピュータ102と、複数の表示装置103〜105とによって構成されている。
【0128】
サーバ101は、ファイルサーバ機能、WWWサーバ機能およびデータベース機能などを有する。
【0129】
パーソナルコンピュータ102は、WWWクライアント機能を有し、画像データを登録したいユーザは、パーソナルコンピュータ102を利用してサーバ101と接続する。
【0130】
表示装置103〜105は、ネットワーク、例えばインターネット106を介してサーバ101に接続され、サーバ101に登録された画像データを自動的に受信し、表示する。
【0131】
図15および図16は、本実施の形態の表示装置110の概観を示す図であり、図14の表示装置103〜105を代表させて図示したものである。図15は、主にその前方部を示し、図16は、主にその後方部を示している。
【0132】
表示部111は、液晶ディスプレイからなり、画像信号を表示する。
【0133】
フレーム112は、各種処理回路を内蔵する。
【0134】
置き方向検出スイッチ113は、液晶ディスプレイ111が縦長になるように本表示装置を設置した場合(以下、「縦置き」という)は、押された状態になり、本表示装置が縦置きされていることを認識する。
【0135】
なお、図15のように、液晶ディスプレイ111が横長になるように本表示装置を設置した場合(以下、「横置き」という)は、スイッチ113は押されていない状態になり、本表示装置が横置きされていることを認識する。
【0136】
本表示装置を支持する機構114により、本表示装置は縦置きにも横置きにもすることができる。
【0137】
通信コネクタ115は、インターネット106に接続するために使用される。
【0138】
電源コネクタ116は、本表示装置に電源を供給するために使用される。
【0139】
スライドスイッチ11は、本表示装置がサーバ101に接続する間隔を決定するのに使用される。
【0140】
図17は、表示装置110のハードウェア構成を示す図である。
【0141】
ネットワークインターフェース部121は、インターネット106に接続するためのインターフェース部で、通信コネクタ115を介してネットワークあるいは通信回線と接続される。ネットワークインターフェース部121は、ユーザの環境に応じてさまざまな通信インターフェースが適用される。ネットワークインターフェース部121は、アクセス網に直接接続する場合には、各種モデム等で構成され、外部装置のADSLモデムやケーブルモデムに接続する場合には、イーサネット(登録商標)インターフェースで構成される。
【0142】
ステータスセンサ部122は、置き方向検出スイッチ113を含み、表示装置110の設置状態を検知する。
【0143】
CPU123は、表示装置110の制御動作を司るものである。CPU123は、表示装置110全体の制御に加えて、必要な画像処理やプロトコル処理を行う。
【0144】
表示部124は、液晶ディスプレイ、フレームバッファおよびその制御回路によって構成され、CPU123によってデコードされた画像データを画像信号に変換して表示する。
【0145】
ROM125は、CPU123の制御動作や各種処理に必要な命令やデータを格納する。
【0146】
RAM126は、CPU123の制御動作に必要な作業メモリとして使用される。
【0147】
時計IC127は、時計デバイスであり、表示装置110の動作を制御するための日付・時間データを管理する。
【0148】
上記各デバイス121〜127は、システムバス128を介して相互に接続されている。
【0149】
図18は、サーバ101のハードウェア構成を示す図である。
【0150】
ネットワークインターフェース部131は、インターネット106に接続するためのインターフェース部であり、サーバ101の設置環境に応じてさまざまな通信インターフェースが適用される。
【0151】
CPU132は、サーバ101の制御動作を司るものである。CPU132は、サーバ101の全体の制御に加えて、必要な画像処理やプロトコル処理を行う。
【0152】
ストレージデバイス133は、配信する画像データに加えて、サーバ101の動作に必要なプログラムの保持も行う。ストレージデバイス133は、具体的には、ハードディスクドライブやDVDディスクドライブなどのデバイスである。
【0153】
ROM134は、CPU132の制御動作や各種処理に必要な命令やデータを格納する。
【0154】
RAM13は、CPU132の制御動作に必要な作業メモリとして使用される。
【0155】
上記各デバイス131〜135は、システムバス136を介して相互に接続されている。
【0156】
以上のように構成された画像表示システムが実行する制御動作について、以下、詳細に説明する。
【0157】
図19は、表示装置110のCPU123が実行するメインルーチンの手順を示すフローチャートである。
【0158】
ここでは、表示装置110の制御動作に先立ち、サーバ101には予め当該表示装置のユーザが閲覧する画像データが登録されているものとする。具体的には、遠隔地のユーザがパーソナルコンピュータ102を利用してサーバ101に複数の画像データを登録しているものとする。この画像データの登録は、例えばパーソナルコンピュータ102上のWWWブラウザソフトウェアを介して行い、画像データは、ディジタルカメラや、パーソナルコンピュータに接続されたスキャナ等で取り込まれたデータである。
【0159】
表示装置110は、各種初期化処理の実行(ステップS101)後、表示装置110のステータスを検知する(ステップS102)。ステータスは、ステータスセンサ部122を介して取得し、ここでは、表示装置110が縦置きされているか、横置きされているかを検知する。
【0160】
続くステップS103では、受信スケジュールを判定する。すなわち、ユーザが予め指定したデータ受信時刻を判定し、指定時刻になっている場合には、ステップS104へ進み、サーバ101に保持されている画像データの受信を開始する。受信スケジュールは、時計IC127で管理されている時間データと、ROM125またはRAM126上に保持されているスケジュールデータと、スライドスイッチ117が指示する接続間隔情報とにより管理する。
【0161】
指定時刻に達していない場合には、ステップS102に戻り、指定時刻になるまでステップS102およびS103の処理を繰り返す。
【0162】
一方、データの受信を開始する場合には、ネットワークインターフェース部121に含まれるモデム(電話網に直接接続されている構成の場合)により、所定のサーバにPPPでダイアルアップ接続する(ステップS104)。
【0163】
接続の完了後、HTTP/FTP等のデータ転送プロトコルに従って、ステップS102(あるいは、ステップS110)で取得した表示装置のステータス、ディスプレイの画素数、表示可能色数およびサポートする画像コーデックなどの情報を送信し(ステップS105)、続いて、サーバ101から画像データを受信する(ステップS106)。
【0164】
続くステップS107では、画像データの受信が完了したのを確認し、PPP接続を切断する。
【0165】
ネットワーク接続を切断すると、次に画像データを表示する。まず、CPU12により、圧縮された画像データを伸長し、表示部124で表示するのに適したディジタル画像データとする(ステップS108)。
【0166】
そして、ステップS109では、伸長されたディジタル画像データを表示部124のフレームバッファに転送し、表示部124のディスプレイは、この画像データを画像信号に変換して表示する。
【0167】
画像データの表示が完了すると、ステップS110およびS111を繰り返す待機状態になる。
【0168】
ステップS110における動作は、ステップS102のそれと同様であるが、表示装置110のステータスが以前のステータスと異なる場合にはステップS104へ進むのに対して、同じ場合にはステップS112へ進む点が異なっている。例えば、横置きされていた表示装置110が、ユーザにより縦置きとされた場合には、ステップS104へ進み、画像データの受信動作に移行する。
【0169】
ステップS112における動作は、ステップS103のそれと同様であるが、指定時間に達していない場合にステップS110へ進む点が異なっている。
【0170】
図20は、サーバ101のCPU132が実行する画像データ処理の手順を示すローチャートである。
【0171】
サーバ101は、各種初期化処理の実行後、表示装置110あるいはパーソナルコンピュータ102からの接続を待つ(ステップS121)。
【0172】
接続要求を受けると、接続元ユーザの認証を行い(ステップS122)、接続元がパーソナルコンピュータ102である場合にはステップS123へ進む一方、接続元が表示装置110である場合にはステップS125へ進む。
【0173】
パーソナルコンピュータ102から接続された場合には、WWWサーバが応答し、パーソナルコンピュータ102のWWWブラウザ上に画像データの登録を要求する画面を表示させる。ユーザは、当該画面を通じてパーソナルコンピュータ102内に保持されている画像データを、サーバ101に登録することができる。また、登録する画像が正しい向きでない場合には、このとき同時に画像の表示方向情報を登録する(ステップS123)。
【0174】
画像の登録が終了すると、パーソナルコンピュータ102との接続を切断し、再び接続待ちの状態となる(ステップS124)。
【0175】
一方、接続元が表示装置110である場合には、HTTP/FTP等のデータ転送プロトコルに従って、接続している表示装置の設置状態、ディスプレイの画素数、表示可能色数およびサポートする画像コーデックなどの情報を受信する(ステップS125)。なお、ここで受信される情報は、前記ステップS105で送信される情報と一致している。
【0176】
続くステップS126では、ステップS122で認証したユーザ情報から、送信する画像データを選択し、必要に応じてステップS125で受信した情報を用いて変換する。このステップS126の詳細な手順に関しては、図21を用いて後述する。
【0177】
ステップS126で準備した画像データを、HTTP/FTP等のデータ転送プロトコルに従って、接続している表示装置に転送し、接続を切断する(ステップS127およびS128)。
【0178】
図21は、ステップS126の画像データ準備処理の詳細な手順を示すフローチャートである。
【0179】
同図において、まず、ステップS131では、ステップS122で認証したユーザ情報から、送信する画像データを選択する。
【0180】
次に、選択した画像の色数と、ステップS125で取得した表示装置の表示可能色数とを比較し(ステップS132)、選択した画像の色数が多い場合には、減色処理を行う(ステップS133→S134)。減色アルゴリズムには、誤差拡散アルゴリズムなどのアルゴリズムを適用する。
【0181】
そして、ステップS135では、選択した画像に対し回転処理の必要性を判断する。回転処理の必要性の判断は、ステップS125で取得した表示装置の設置状態と、ステップS123で登録した画像の表示方向情報とを利用して行う。
【0182】
表示装置が横置きされている場合に、表示領域に正しい向きで画像を表示させるには、前記図35に示したように、フレームバッファに画像データを展開すればよい。すなわち、ステップS123で登録された画像の表示方向情報を利用して、画像の向きが上を向くように回転処理を行う(ステップS136→S137)。
【0183】
一方、表示装置が縦置きされている場合に、表示領域に正しい向きで画像を表示させるには、前記図36に示したように、フレームバッファに画像データを展開すればよい。すなわち、ステップS123で登録された画像の表示方向情報を利用して、画像の向きが左を向くように回転処理を行う(ステップS136→S137)。
【0184】
続くステップS138では、ステップS125で取得した表示装置110のディスプレイ画素数と、選択し、必要に応じて回転処理を施した画像データのサイズとを比較する。両者が一致しない場合には、ステップS140において画像のサイズ変更処理を行う。
【0185】
サイズ変更処理を行う場合には、画像のアスペクト比を変更せずに、表示装置110のディスプレイで表示できる範囲で拡大/縮小処理を行う。また、アスペクト比を保存するため、拡大/縮小処理によってもディスプレイ画素数と画像サイズが一致しない場合には、画像に適当な余白部分を付け加えることによって、ディスプレイ画素数と一致する画像を生成する。
【0186】
そして、ステップS141では、ステップS125で受信した表示装置の、対応している画像コーデックを用いて、サーバ101から送信する画像データを生成する。
【0187】
図22および図23は、サーバ101に登録された画像が、図21の画像データ準備処理により変換され、表示装置110に表示される様子を示す図である。
【0188】
状態141は、ステップS123において、横長の画像と、右辺が上となるのが正しい方向であるとの表示方向情報が登録されたことを示している。
【0189】
ステップS125で、横置きという情報が渡されている場合には、ステップS137で画像が正しい向きに回転されて、状態142のようになり、縦置きという情報が渡されている場合には、ステップS137でフレームバッファでの画像データの状態を考慮して回転されて、状態143のようになる。
【0190】
さらに、表示装置110の画素数を基に、ステップS140では、状態142の画像は縮小され、余白部分が付け加えられて、画素数と一致した画像の状態144に変換される。一方、状態143の画像は、表示装置の画素数と一致しているため、ステップS140の処理は実行されない。
【0191】
このようにして、状態141のように登録された画像は、表示装置の設置状態により、状態146あるいは147のように表示される。
【0192】
図23において、状態151は、ステップS123において、横長の画像と、上辺が上となるのが正しい方向であるとの表示方向情報が登録されたことを示している。
【0193】
ステップS125で横置きという情報が渡されている場合には、ステップS137は実行されず、状態152のようになり、縦置きという情報が渡されている場合には、ステップS137でフレームバッファでの画像データの状態を考慮して回転され、状態153のようになる。
【0194】
さらに、表示装置110の画素数を基に、ステップS140では、状態153の画像は縮小され、余白部分が付け加えられて、画素数と一致した画像の状態155に変換される。一方、状態152の画像は、表示装置の画素数と一致しているため、ステップS140の処理は実行されない。
【0195】
このようにして、状態151のように登録された画像は、表示装置の設置状態により、状態156あるいは157のように表示される。
【0196】
図24は、本実施の形態の画像表示システムを構成するサーバ101および表示装置103〜105が実行する一連の処理を示す図である。
【0197】
処理161は、ステップS105の処理に対応し、ここでは、表示装置の画素数が横610×縦480であり、1画素当たり24ビットの色(約1677万色)が表示でき、横置きの状態で設置されていることを通知している。
【0198】
処理162は、ステップS125の処理に対応し、処理161で送信された表示装置のステータス情報を受信している。
【0199】
処理163は、ステップS126(すなわち、ステップS131〜S141)の処理に対応しており、配信する画像を、表示装置の状態に適するように変換している。その結果、状態164のような画像が生成される。
【0200】
処理165は、ステップS127およびステップS106の処理に対応している。すなわち、状態164の画像を配信している。
【0201】
処理166は、ステップS108およびS109の処理に対応しており、表示装置が受信した画像データを表示する。この後、表示装置はステップS110とステップS111とを交互に実行するループに入る。
【0202】
状態167は、ユーザによって表示装置が縦置きに変更されたことを表している。この変化は、ステップS110で検出され、表示装置は、再びサーバ101との接続を行う。
【0203】
処理168は、ステップS105の処理に対応しており、処理161と同様の動作を行っているが、縦置きの状態で設置されていることを通知する点で異なっている。
【0204】
処理169は、ステップS125の処理に対応しており、処理168で送信された表示装置のステータス情報を受信している。
【0205】
処理170は、ステップS126(すなわち、ステップS131〜S141)の処理に対応しており、配信する画像を、表示装置の状態に適するように変換している。その結果、状態171のような画像が生成される。
【0206】
処理172は、ステップS127およびステップS106の処理に対応している。すなわち、状態171の画像を配信している。
【0207】
処理173は、ステップS108およびS109の処理に対応しており、表示装置が受信した画像を表示する。
【0208】
このように、本実施の形態によれば、インターネット型フォトフレームにおいて、設置状態によらず画像を常に正しい方向に表示でき、また、設置状態を変更した場合でも、ユーザの特別なオペレーションを必要とすることなく、表示画像の更新を行い、正しい方向で画像を表示することができる。
【0209】
また、画像は常に表示領域に適した状態で受信され、表示に際して、縮小/拡大、回転および減色等の余分な画像信号処理を行う必要がなくなる。このため、作業用のメモリの削減や、廉価なCPUなどを利用することができ、インターネット型フォトフレームを廉価に実現することが可能となる。
【0210】
(第7の実施の形態)
本実施の形態では、第6の実施の形態との違いについてのみ説明する。
【0211】
図25〜図27は、本実施の形態の表示装置の外観を示す図であり、図25および図27は、主にその前方部を示し、図26は、主にその後方部を示している。
【0212】
図25において、表示部181は、液晶ディスプレイからなり、画像データを表示する。
【0213】
フレーム182には、表示に関する処理回路が内蔵される。
【0214】
支持台183には、ネットワーク処理回路などの各種処理回路が内蔵される。
【0215】
固定支柱184の下部は支持台と接続され、左右に回転することができるようになっている。
【0216】
図26において、通信コネクタ185は、インターネットに接続するために使用される。
【0217】
電源コネクタ186は、本表示装置に電源を供給するために使用される。
【0218】
スライドスイッチ187は、本表示装置がサーバに接続する間隔を決定するのに使用される。
【0219】
接続機構188は、固定支柱184とフレーム182とを接続している。図27に示すように、フレーム182は、接続機構188を中心に回転することができるようになっている。また、この接続機構188は、フレーム182が標準の位置からどの程度回転しているかを測定できる。本表示装置の状態を検出する点で、前記図15の置き方向検出スイッチ113に対応している。
【0220】
例えば、図27の状態では、標準位置から70度回転している。
【0221】
本実施の形態では、前記図19のステップS102とステップS110で検知するステータスは、接続機構188が検出する回転量とする。また。ステップS111のステータス変化判定では、一定量の回転量変化が生じ、かつ、一定時間経った場合をステータスが変化したと見なす。例えば、回転量が±5度以上変化し、10秒以上経過した場合には、ステータスが変化したと見なし、ステップS104に移行するようにする。
【0222】
ステップS105では、ステータス情報の1つとして回転量を通知し、ステップS125では、ステータス情報の1つとして回転量を受信する。
【0223】
ステップS137およびステップS140では、ステップS125で受信した表示装置の回転量に応じて、配信する画像に回転処理およびサイズ変更を加える。
【0224】
例えば、配信する画像が図29に示す画像であり、ステップS125で受信した回転量が70度であった場合には、図30に示すような画像を生成する。
【0225】
この画像は、図28に示すように正しい方向の画像として、表示装置の表示領域に表示される。
【0226】
このように、本実施の形態では、表示領域を任意の角度に回転させることができるインターネット型フォトフレームにおいて、回転量によらず常に正しい方向に画像を表示することが可能になる。
【0227】
(第8の実施の形態)
本実施の形態についても、第6の実施の形態との違いについてのみ説明する。
【0228】
本実施の形態では、ステップS105において、ステップS102(あるいは、ステップS110)で取得した表示装置のステータス、ディスプレイの画素数、表示可能色数およびサポートする画像コーデック等に加えて、表示装置が希望する最大画像データサイズを通知し、これらの情報は、ステップS125において、サーバ101が受信する。
【0229】
図31は、前記ステップS126の画像データ準備処理の本実施の形態における詳細な手順を示すフローチャートである。
【0230】
図31のステップS151〜S161の各処理は、それぞれ、図21のステップS131〜S141の各処理と対応している。
【0231】
ステップS162では、ステップS152〜S160で生成した画像を、ステップS161で選択した画像コーデックで画像データとしたときのサイズを求め、このサイズと、ステップS125で受信した表示装置の希望する最大画像データサイズとを比較する。画像データサイズが最大画像データサイズより小さい場合には、本画像データ準備処理を終了して、ステップS127へ進む。
【0232】
一方、小さくなっていない場合には、画像コーデックの圧縮率を上げ、再び画像データを生成する(ステップS163)。ただし、選択した画像コーデックの圧縮率が変更できない場合には、このステップS163は省略する。
【0233】
ステップS164では、ステップS162と同様に、ステップS163によって圧縮された後の画像データサイズと表示装置の希望する最大画像データサイズとを比較し、画像データサイズが最大画像データサイズより小さい場合には、ステップS127へ進む。
【0234】
一方、小さくなっていない場合には、画像の色数を削減し、再び画像データを生成する(ステップS165)。ただし、減色した場合においても、原理的にデータサイズが縮小しない画像コーデックを選択している場合には、このステップS165は省略する。
【0235】
ステップS166では、ステップS162と同様に、ステップS165による減色処理後の画像データサイズと最大画像データサイズとを比較し、画像データサイズが小さい場合には、ステップS127へ進むが、大きい場合には、ステップS163へ戻り、更なるデータサイズの縮小化を行う。
【0236】
本実施の形態によれば、第6の実施の形態の効果に加えて、表示装置がJPEGなどの圧縮率可変の画像コーデックを処理できる場合においては、表示装置が指定した画像サイズ以下の画像データが生成され、表示装置で必要となる作業用メモリの最大サイズを容易に判定することができ、廉価なインターネット型フォトフレームの実現に一層効果的である。
【0237】
(第9の実施の形態)
本実施の形態についても、第6の実施の形態との違いについてのみ説明する。
【0238】
本実施の形態では、ステップS105において、ステップS102(あるいは、ステップS110)で取得した表示装置のステータス、ディスプレイの画素数、表示可能色およびサポートする画像コーデック等に加えて、ネットワークインターフェース部121の通信速度を通知し、これらの情報は、ステップS125において、サーバ101が受信する。
【0239】
図31は、前記ステップS126の画像データ準備処理の本実施の形態における詳細な手順を示すフローチャートである。
【0240】
図31のステップS151〜S161の各処理は、それぞれ、図21のステップS131〜S141の各処理と対応している。
【0241】
ステップS162では、ステップS152〜S160で生成した画像を、ステップS161で選択した画像コーデックで画像データとしたときのサイズを求め、このサイズと、ステップS125で受信した表示装置の通信速度とを比較する。画像データが十分小さい場合、例えば表示装置の通信速度において1分以内で転送できる場合には、ステップS127へ進む。
【0242】
一方、十分小さくなっていない場合には、画像コーデックの圧縮率を上げ、再び画像データを生成する(ステップS163)。ただし、選択した画像コーデックの圧縮率が変更できない場合には、このステップS163は省略する。
【0243】
ステップS164では、ステップS162と同様に、ステップS163によって圧縮された後の画像データサイズと表示装置の通信速度とを比較し、画像データサイズが十分に小さい場合には、ステップS127へ進む。
【0244】
一方、十分小さくなっていない場合には、画像の色数を削減し、再び画像データを生成する(ステップS165)。ただし、減色した場合においても、原理的にデータサイズが縮小しない画像コーデックを選択している場合には、このステップS165は省略する。
【0245】
ステップS166では、ステップS162と同様に、ステップS165による減色処理後の画像データサイズと表示装置の通信速度とを比較し、画像データサイズが十分小さい場合には、ステップS127へ進むが、大きい場合には、ステップS163へ戻り、更なるデータサイズの縮小化を試みる。
【0246】
なお、ステップS164およびステップS166において、これらのステップを実行した回数をカウントし、一定回数以上実行している場合には、これ以上の画像データの縮小化は不可能と判断し、ステップS127へ進むようにしてもよい。
【0247】
本実施の形態によれば、第6の実施の形態の効果に加えて、表示装置がJPEGなどの圧縮率可変の画像コーデックを処理できる場合においては、表示装置の通信回線速度に適したサイズの画像データが生成され、通信回線が低速な場合でも、適度な時間で画像データをダウンロードすることが可能となり、一層便利性が向上する。
【0248】
(第10の実施の形態)
本実施の形態についても、第6の実施の形態との違いについてのみ説明する。
【0249】
本実施の形態では、ステップS105、ステップS125、ステップS123、ステップS131の各動作が第6の実施の形態と異なる。
【0250】
ステップS105においては、ステップS102(あるいは、ステップS110)で取得した表示装置のステータス、ディスプレイの画素数、表示可能色数およびサポートする画像コーデック等に加えて、表示装置の時計IC127が保持する時刻を通知し、これらの情報は、ステップS125において、サーバ101が受信する。
【0251】
ステップS123においては、パーソナルコンピュータ102のユーザは、画像データと画像の表示方向情報に加えて、登録する画像を配信したい時間帯を選択する。例えば、午前5時〜午前10時の朝の時間帯配信用、午前10時〜午後18時の昼の時間帯配信用および午後18時〜午前5時の夜の時間帯配信用の3つの時間帯のうちいずれかを選択できるようにする。
【0252】
ステップS131においては、ステップS125において受信した表示装置の時刻に適した配信時間帯が設定されている画像から配信する画像を選択する。
【0253】
本実施の形態によれば、第6の実施の形態の効果に加えて、サーバにおいて、表示する時間帯別の画像アルバムを形成することができ、表示装置の時刻に適した画像アルバムを自動的に選択し、当該アルバム中の画像をダウンロードし表示することが可能になり、一層便利性が向上する。
【0254】
(第11の実施の形態)
本実施の形態についても、第6の実施の形態との違いについてのみ説明する。
【0255】
本実施の形態では、図32に示す外観、ステップS102、ステップS110、ステップS123、ステップS131の各動作が第6の実施の形態と異なる。
【0256】
図32は、本実施の形態の表示装置の外観を示す図である。
【0257】
同図において、明るさセンサ191は、周囲の明るさを検知することができるセンサであり、このセンサ191により、表示装置が明るい場所に設置されているか、暗い場所に設置されているかを知ることができる。なお、センサ191は、図17のステータスセンサ部122に含まれる。
【0258】
ステップS102およびステップS110においては、表示装置の設置状態の他に、センサ191を用いて周囲の明るさを検知する。
【0259】
ステップS123においては、パーソナルコンピュータ102のユーザは、画像データと画像の向きに加えて、登録する画像に対応した、表示装置の周囲の明るさを選択する。例えば、表示装置が寝室に設置されている場合などは、就寝中は表示装置の周囲は暗くなることを考慮して選択する。
【0260】
ステップS131においては、ステップS125において受信した表示装置の周囲の明るさが設定されている画像から、配信する画像を選択する。
【0261】
このように、本実施の形態では、第6の実施の形態の効果に加えて、サーバにおいて、表示装置の周囲の明るさ別に画像アルバムを形成することができ、表示装置の周囲の明るさに適した画像アルバムを自動的に選択し、当該アルバム中の画像をダウンロードし表示することが可能になり、一層便利性が向上する。
【0262】
なお、上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【0263】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0264】
プログラムコードを供給するための記憶媒体としては、たとえば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【0265】
また、コンピュータが読出したプログラムコードを実行することにより、上述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOSなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0266】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0267】
【発明の効果】
【0280】
以上説明したように、本発明によれば、表示装置の画面の設置方向を任意の角度に回転させることができる場合に、その回転量に拘わらず画像を常に正しい方向に表示させることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る画像表示システムの構成の一例を示す図である。
【図2】図1の表示装置の概観を示す図である。
【図3】図1の表示装置のハードウェア構成を示すブロック図である。
【図4】図1のサーバに登録されている画像データセットの一例を示す図である。
【図5】図1の表示装置のCPUが実行するメインルーチンの手順を示すフローチャートである。
【図6】図1のサーバが実行する画像データ処理の手順を示すフローチャートである。
【図7】図5の画像再生処理の詳細な手順を示すフローチャートである。
【図8】図1の表示装置が実行する割り込み処理の手順を示すフローチャートである。
【図9】本発明の第2の実施の形態に係るサーバが実行する画像データ処理の手順を示すフローチャートである。
【図10】本発明の第4の実施の形態に係る表示装置が実行するメインルーチンの手順を示すフローチャートである。
【図11】第4の実施の形態に係るサーバが実行する画像データ処理の手順を示すフローチャートである。
【図12】本発明の第5の実施の形態に係る表示装置が実行する割り込み処理の手順を示すフローチャートである。
【図13】自動挿入した画像データにマークを付加する場合の一例を示す図である。
【図14】本発明の第6の実施の形態に係る画像表示システムの構成を示す図である。
【図15】図14の表示装置、主としてその前方部の外観を示す図である。
【図16】図14の表示装置、主としてその後方部の外観を示す図である。
【図17】図14の表示装置のハードウェア構成を示すブロック図である。
【図18】図14のサーバのハードウェア構成を示す図である。
【図19】図14の表示装置が実行するメインルーチンの手順を示すフローチャートである。
【図20】図14のサーバが実行する画像データ処理の手順を示すフローチャートである。
【図21】図20の画像データ準備処理の詳細な手順を示すフローチャートである。
【図22】本発明の第6の実施の形態における画像データの処理例を示す図である。
【図23】図22とは別の画像データの処理例を示す図である。
【図24】図14の画像表示システムを構成するサーバおよび表示装置が実行する一連の処理を示す図である。
【図25】本発明の第7の実施の形態に係る表示装置、主としてその前方部の外観を示す図である。
【図26】図25の表示装置、主としてその後方部の外観を示す図である。
【図27】図25の表示装置のフレームは回転させることができることを示す図である。
【図28】図25の表示装置の画像の表示例を示す図である。
【図29】表示する画像の一例を示す図である。
【図30】図25の表示装置における画像データの処理例を示す図である。
【図31】本発明の第8の実施の形態における画像データ準備処理の手順を示すフローチャートである。
【図32】本発明の第11の実施の形態に係る画像表示装置の外観を示す図である。
【図33】従来の電子式フォトフレームによって表示される画像の表示の一例を示す図である。
【図34】従来の電子式フォトフレームにおいて、その表示領域が回転する様子を示す図である。
【図35】従来の電子式フォトフレームに内蔵されているフレームバッファの内容と表示領域(横置き)の画素との対応関係を示す図である。
【図36】従来の電子式フォトフレームに内蔵されているフレームバッファの内容と表示領域(縦置き)の画素との対応関係を示す図である。
【図37】縦置きの表示領域に表示するために生成した画像データの一例を示す図である。
【符号の説明】
1 サーバ
2a,2b パーソナルコンピュータ
3,3a,3b 表示装置
4 ネットワーク
31 フレーム
32 表示部
33a スイッチ
33b スイッチ
34 電源スイッチ
41 CPU
42 ネットワークインターフェース部
43 EEPROM
44 RAM
45 ディスプレイインターフェース部
46 ディスプレイ
47 時計IC
48 システムバス
51a〜51d 画像
61 マーク
101 サーバ
102 パーソナルコンピュータ
103〜105 表示装置
106 インターネット
111 液晶ディスプレイ
112 フレーム
113 置き方向検出スイッチ
114 表示装置の支持機構
115 通信コネクタ
116 電源コネクタ
117 スライドスイッチ
121 ネットワークインターフェース部
122 ステータスセンサ部
123 CPU
124 表示部
125 ROM
126 RAM
127 時計IC
128 システムバス
131 ネットワークインターフェース部
132 CPU
133 ストレージデバイス
134 ROM
135 RAM
181 表示部
182 フレーム
183 支持台
184 固定支柱
185 通信コネクタ
186 電源コネクタ
187 スライドスイッチ
188 接続機構
191 明るさセンサ

Claims (5)

  1. ネットワークを介して接続された、画像配信装置および画像表示装置からなる画像表示システムにおいて、
    前記画像表示装置は、表示平面上の支点を中心にして回転可能に構成された画面を有するとともに、
    前記画面の設置方向として、前記画面が基準位置から回転して一定時間が経ったときの回転量を検知する検知手段と、
    前記検知手段により検知された設置方向を前記画像配信装置に送信する第1の送信手段とを有し、
    前記画像配信装置は、
    画像データをその表示方向と対応づけて記憶する記憶手段と、
    前記記憶手段に記憶された画像データを、その表示方向および前記第1の送信手段により送信された設置方向に含まれる画面の回転量に基づいて回転処理する回転処理手段と、
    前記回転処理手段により回転処理された画像データを前記画像表示装置に送信する第2の送信手段とを有する
    ことを特徴とする画像表示システム。
  2. 前記画像表示装置は、さらに、
    予め指定された受信時刻になったかどうか判定する判定手段と、
    前記判定手段により受信時刻になったと判定されれば、前記画像配信装置とネットワークを介して接続する接続手段と
    を有することを特徴とする請求項1に記載の画像表示システム。
  3. 前記画像表示装置はさらに、前記画像表示装置の周囲の明るさを検出する明るさ検出手段を有し、
    前記第1の送信手段はさらに、前記検出された明るさを前記画像配信装置に送信し、
    前記画像配信装置はさらに、前記画像データを前記明るさに応じて選択する選択手段を有する
    ことを特徴とする請求項1に記載の画像表示システム。
  4. ネットワークを介して接続された、画像配信装置および画像表示装置からなる画像表示システムを制御する制御方法において、前記画像表示装置は表示平面上の支点を中心にして回転可能に構成された画面を有し、
    前記画像表示装置に対しては、
    前記画面の設置方向として、前記画面が基準位置から回転して一定時間が経ったときの回転量を検知する検知ステップと、
    前記検知された設置方向を前記画像配信装置に送信する第1の送信ステップとを有し、
    前記画像配信装置に対しては、
    画像データをその表示方向と対応づけて記憶手段に記憶させる記憶ステップと、
    前記記憶された画像データを、その表示方向および前記送信された設置方向に含まれる画面の回転量に基づいて回転処理する回転処理ステップと、
    前記回転処理された画像データを前記画像表示装置に送信する第2の送信ステップとを有する
    ことを特徴とする画像表示システムの制御方法。
  5. ネットワークを介して接続された、画像配信装置および画像表示装置からなる画像表示システムを制御する制御方法を、コンピュータに実現させるためのプログラムであって、前記画像表示装置は表示平面上の支点を中心にして回転可能に構成された画面を有し、
    前記制御方法は、
    前記画像表示装置に対しては、
    前記画面の設置方向として、前記画面が基準位置から回転して一定時間が経ったときの回転量を検知する検知ステップと、
    前記検知された設置方向を前記画像配信装置に送信する第1の送信ステップとを有し、
    前記画像配信装置に対しては、
    画像データをその表示方向と対応づけて記憶手段に記憶させる記憶ステップと、
    前記記憶された画像データを、その表示方向および前記送信された設置方向に含まれる画面の回転量に基づいて回転処理する回転処理ステップと、
    前記回転処理された画像データを前記画像表示装置に送信する第2の送信ステップとを有する
    ことを特徴とするプログラム。
JP2002102516A 2002-04-04 2002-04-04 画像表示システム、その制御方法および該制御方法を実現するためのプログラム Expired - Fee Related JP4027140B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002102516A JP4027140B2 (ja) 2002-04-04 2002-04-04 画像表示システム、その制御方法および該制御方法を実現するためのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002102516A JP4027140B2 (ja) 2002-04-04 2002-04-04 画像表示システム、その制御方法および該制御方法を実現するためのプログラム

Publications (2)

Publication Number Publication Date
JP2003296701A JP2003296701A (ja) 2003-10-17
JP4027140B2 true JP4027140B2 (ja) 2007-12-26

Family

ID=29388962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002102516A Expired - Fee Related JP4027140B2 (ja) 2002-04-04 2002-04-04 画像表示システム、その制御方法および該制御方法を実現するためのプログラム

Country Status (1)

Country Link
JP (1) JP4027140B2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010687A (ja) * 2003-06-20 2005-01-13 Pentax Corp 電子双眼鏡
JP2005202498A (ja) * 2004-01-13 2005-07-28 Kagoshima Univ 染色体模式図解析システム
WO2005080139A1 (en) * 2004-02-20 2005-09-01 Sharp Kabushiki Kaisha Onboard display device, onboard display system and vehicle
JP2005277470A (ja) * 2004-03-22 2005-10-06 Toshiba Corp 撮影表示装置および撮影画像表示処理プログラム
JP4276122B2 (ja) * 2004-04-08 2009-06-10 株式会社エース電研 遊技機
JP2006259358A (ja) * 2005-03-17 2006-09-28 Clarion Co Ltd 画像表示装置、画像表示方法、及び、画像表示プログラム
JP2006268197A (ja) * 2005-03-22 2006-10-05 Noboru Nomura 画像処理方法と画像処理プログラム
JP4687337B2 (ja) * 2005-08-30 2011-05-25 セイコーエプソン株式会社 ネットワーク型プラグアンドプレイに対応したネットワーク装置
JP5290499B2 (ja) * 2006-03-31 2013-09-18 富士通株式会社 画面記録プログラム
TWI369669B (en) * 2007-06-07 2012-08-01 Lite On Technology Corp Method for enabling a digital photo frame to automatically adjust a placement direction thereof, and digital photo frame applying the method
US20100325233A1 (en) * 2008-02-19 2010-12-23 Yoshihiro Sasaki Display device
JP2009199149A (ja) * 2008-02-19 2009-09-03 Sanyo Electric Co Ltd 表示装置
JP2009204799A (ja) * 2008-02-27 2009-09-10 Sanyo Electric Co Ltd 表示装置
JP5120108B2 (ja) * 2008-06-27 2013-01-16 株式会社ニコン デジタルフォトフレーム
JP5668272B2 (ja) * 2008-07-09 2015-02-12 株式会社ニコン デジタルフォトフレーム及びデジタルフォトフレームシステム
JP4877559B2 (ja) * 2008-12-25 2012-02-15 Necビッグローブ株式会社 画像提示方法、画像提示装置、画像提示システム、画像提示プログラム
JP5533113B2 (ja) * 2010-03-24 2014-06-25 日本電気株式会社 コンテンツ管理装置、管理方法、管理システム、プログラム及び記録媒体
JP2012113400A (ja) * 2010-11-22 2012-06-14 Panasonic Corp 受信情報表示装置、及び受信情報表示方法
TW201240454A (en) * 2011-03-24 2012-10-01 Jazz Hipster Corp Stereo base device for use in display
JP5533891B2 (ja) 2012-01-05 2014-06-25 コニカミノルタ株式会社 操作表示装置、その制御方法およびその制御プログラム
JP6140991B2 (ja) * 2012-12-04 2017-06-07 オリンパス株式会社 サーバシステム、プログラム、サーバシステムの作動方法及び端末装置
JP6249637B2 (ja) * 2013-05-28 2017-12-20 三菱電機株式会社 画像合成装置
JP6232839B2 (ja) * 2013-08-26 2017-11-22 株式会社リコー 再生システム、再生制御システム、情報端末、表示装置、再生制御プログラム、再生プログラム及び再生方法
JP5802249B2 (ja) * 2013-09-30 2015-10-28 シャープ株式会社 表示装置、ソース機器、及び表示システム
JP2015095085A (ja) * 2013-11-12 2015-05-18 株式会社東芝 電子機器、方法及びプログラム
CN103995646A (zh) * 2014-05-27 2014-08-20 东莞常禾电子有限公司 横屏显示控制方法及系统
CN104065999A (zh) * 2014-06-11 2014-09-24 四川政企网络信息服务有限公司 可实现图像旋转的图像处理组件及方法
CN207924309U (zh) * 2018-01-19 2018-09-28 昆山国显光电有限公司 显示装置
JP2020166269A (ja) * 2019-03-29 2020-10-08 株式会社港石材 画像表示システム

Also Published As

Publication number Publication date
JP2003296701A (ja) 2003-10-17

Similar Documents

Publication Publication Date Title
JP4027140B2 (ja) 画像表示システム、その制御方法および該制御方法を実現するためのプログラム
US6567122B1 (en) Method and system for hosting an internet web site on a digital camera
US7433710B2 (en) System and methodology for automated provisioning of new user accounts
JP3943674B2 (ja) カメラ制御システム並びにカメラサーバ及びその制御方法
JP2002521967A (ja) インターネットカメラゲートウェイ
US20020087546A1 (en) Apparatus, methods, and systems for digital photo management
JP2002511717A (ja) デジタル画像撮像装置のための方法及びシステム
JP2007221660A (ja) 画像配信システム、画像配信サーバ、及び画像配信方法
US20010053284A1 (en) Photographing apparatus for three-dimensional image and method therefor
US11064095B2 (en) Image displaying system, communication system, and method for image displaying
WO2001022390A1 (fr) Cadre pour photographie numerique
US6392757B2 (en) Method and apparatus for improved digital image control
JP3817313B2 (ja) カメラ制御装置及び方法
WO2018012137A1 (en) Information processing device, imaging device, and system
JP4573974B2 (ja) 撮像制御装置、撮像制御装置の制御方法、記憶媒体
EP3829159A1 (en) Image capturing device, image communication system, and method for display control, and carrier means
EP1110152B1 (en) Method and system for viewing images from an image capture device on a host computer
JP6666557B2 (ja) 画像管理システム、画像管理システムに用いられる情報処理装置、情報処理装置による情報提示方法及びプログラム
EP3869788A1 (en) Image capturing device, image communication system, method for display control, and carrier means
JP3906976B2 (ja) 撮像伝送装置及び撮像伝送システム
JP2002271723A (ja) 画像記録方法及び画像記録システム
JP2003122713A (ja) 情報処理装置およびプログラム
CN117956063A (en) Shaking photographing method, system and medium based on intelligent wearable equipment
CN113489918A (zh) 终端设备、服务器和虚拟合照方法
JP2021060738A (ja) プログラム、画像処理システム、通信端末

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070601

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071009

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees