JP4414431B2 - 画像処理方法並びにシステム、装置及び画像レコード - Google Patents

Description

本発明は、画像レコードとしてデジタル形式で画像データを記録する画像処理方法に関し、上記画像レコードは、少なくともヘッダ部と、画像データ部と、補助データ部とを備え、且つ補助データを含む少なくとも１つの定義データレコードが画像レコードと関連して格納される。本発明はまた、少なくともヘッダ部と、画像データ部と、補助データ部とを有する画像レコードとしてデジタル形式で画像を記録する手段と、画像レコードを処理する手段と、補助データを含む少なくとも１つの定義データレコードを画像レコードと関連して格納する手段とを有する画像処理システムにも関する。さらに、本発明は、デジタル画像を処理し、少なくともヘッダ部と、画像データ部と、補助データ部とを有する画像レコードとして該デジタル画像を記録する手段と、画像レコードを処理する手段と、補助データを含む少なくとも１つの定義データレコードを画像レコードと関連して格納する手段とを備えた装置に関する。さらに、本発明は、デジタル形式で画像データが記録される画像レコードに関し、画像レコードは、少なくともヘッダ部と、画像データ部と、補助データ部とを備え、且つ補助データを含む少なくとも１つの定義データレコードが画像レコードに格納される。

デジタルカメラ、ビデオカメラ、スキャナ、画像レコーダ、並びに、電子フォーマットで画像処理を行うその他の装置では、ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサのような画像センサによって光学像が電子フォーマットに変換される。このような画像センサは、行列の形で構成することが望ましいいくつかの感光性画素から構成される。画像センサ内の画素の数は画像品質（分解能）に影響を与える。個々の画素は、電荷または、個々の画素を露光する光量に比例する測定可能な別の電気量に従う。露光後、機械的シャッタなどを利用して画像センサ内の光のアクセスが阻止される。このシャッタ機能は、画像センサを十分迅速に読み取ることにより、あるいは、液晶表示装置や、電気的に制御可能な透光性を有する別のスクリーンなどをシャッタとして利用することにより電気的に実現可能である。

画像センサによって生成されるアナログ信号のデジタル形式への変換はアナログ／デジタル変換器によって行うことが可能である。アナログデジタル変換の精度は典型的には８ビットであり、それによって個々のピクチャエレメントは２５６階調の光度を生じる。人間の目の特性を考慮すると、この数は一般に要求される画質を達成するのに十分である。この変換結果は、アナログ／デジタル変換器から、並列のフォーマットで画像メモリへの記録やビデオテープへの記録を行うようなさらなる処理ステップへ転送される。

デジタル形式で画像を記録するために、いくつかの記録フォーマットが開発されている。これらの記録フォーマットには一般にヘッダ部と画像データ部とが含まれる。ヘッダ部には、一般に画像記録形式、画像に加え得る圧縮、分解能などに関する情報が含まれる。１つの既知の画像レコードの規格としてＥＸＩＦ（Exchangeable Image File Format）があり、いくつかのメーカーによってデジタルカメラに利用されている。この規格によれば、画像レコードのヘッダ部は、例えば画像サイズに関連するデータ、分解能、記録時刻および規格バージョンの記録用として使用される。圧縮画像では、ヘッダは、一般に、例えば逆量子化テーブルや解凍テーブルのような解凍に必要な情報の格納にも利用される。

多くのカメラでは、画像の取得時間（日付及び場合によっては時刻も）などの画像に記録する補助データを決定することができる。さらに、カメラによっては、ユーザが画像に記録するフリーフォームのテキストを決定できるものもある。これによって、後で画像を閲覧するとき、残りの画像データと関連して上記補助データを見ることが可能となる。この構成には、例えば画像内で補助情報が見えないようすることはできず、補助情報が常時表示されるという欠点がある。補助情報が見えない物体画像をユーザが望む場合、ユーザは補助情報の付かない画像と、補助情報付きの別の画像とを取得する必要がある。これは面倒であり、カメラの画像メモリを不必要に消費することになる。さらに、次々に撮影される同じ物体の画像は必ずしも完全に同一であるとはかぎらない。例えばこのような構成は、別様に動いたり、変化したりする物体の撮影には適していない。さらに、ユーザが異なる補助情報を画像に付けることを望む場合もある。例えば１つの画像に日付を表示し、別の画像にユーザが設定したテキストを表示し、第３の画像にすべての補助情報を表示するというような場合もある。従来技術の構成を利用する場合、上記を行うにはユーザがいくつかの画像を撮影し、個々の画像に含まれる補助情報を別個に選択する必要があるが、これを行うと記録処理に時間が掛かり、カメラのメモリ容量が消費され、カメラのユーザに余分の面倒をかけることになる。画像フォーマットにしたがって画像内に所望の補助情報を含めるためには、画像処理用ソフトウェアを利用することも可能である。この場合でも、ユーザはいくつかの画像ファイルを処理する必要がある。標準的画像フォーマットを使用しない場合、アプリケーション独自のファイルフォーマットの利用が可能であり、その場合上記ファイルフォーマットは単一ファイルの処理を行うのに十分なものであるかもしれない。しかし、このような状況では、当該アプリケーションの完全なファイルフォーマットを利用する必要がある。このようなアプリケーションの例にはフォトショップ（登録商標）およびパワーポイント（登録商標）が含まれる。
国際特許出願第ＷＯ０１／９５６０９号パンフレットには、メタデータ情報を処理するシステムおよび方法が開示されている。デジタル画像ファイルとして取得された画像情報はデータネットワークへ送信される。このデジタル画像としては例えばスキャン画像がある。そのシステムは選択した画像に関するメタ情報を入力する入力部を有し、メタ情報は、画像情報取得手段により取得可能な画像情報を有する。そのシステムは、選択画像に関するメタ情報を、画像情報取得操作と関連してデジタル画像ファイルと接続する手段をさらに有し、この手段によって、画像情報取得手段は選択画像に関する画像情報を取得する。この選択画像とデジタル画像とに関するメタ情報はデータネットワークへ送信される。このメタ情報は、画像、その内容、あるいは、この特定ドキュメントに関連する他の任意の情報に関する追加情報である。メタ情報は、別のユーザ、あるいは、データベース、ファイルサーバ、コンピュータなどのような装置によるデジタル画像ファイルの処理方法を制御するために使用できる。そのシステムによって、ユーザは、デジタル画像ファイルと接続されたメタ情報の入力を画像の取得場所で、および、その取得時に行うことが可能となる。

本発明の目的は、画像内に含まれる補助データの可視または不可視を表示時点に選択できる改善された画像処理方法を提供することにある。さらに、補助データがいくつかの部分を含む場合、その時点で画像内に表示する一乃至複数の上記部分を選択することが可能となる。本発明は、画像から独立に補助データを記録し、画像を表示する状況で、画像内に補助データまたは補助データの一部の表示するか否かを選択できるようにするという着想に基づくものである。さらに正確に述べれば、本発明による方法は、画像データの処理と関連して、上記補助データの少なくとも１つの項目が表示されるか否かを画像表示と関連して選択し、且つ上記少なくとも１つの定義データレコードは、補助データが表示されるために選択された場合、定義データレコードによるデータが表示される画像内の位置を示す領域定義を備えることを主たる特徴とする。本発明によるシステムは、画像表示と関連して、必要に応じて表示する格納された補助データの少なくとも１つの項目を選択する選択手段を有し、且つ上記少なくとも１つの定義データレコードは、補助データが表示されるために選択された場合、定義データレコードによるデータが表示される画像内の位置を示す領域定義を有することを主たる特徴とする。本発明による装置は、画像表示と関連して、必要に応じて表示する格納された補助データの少なくとも１つの項目を選択する選択手段を有し、且つ上記少なくとも１つの定義用データレコードは、補助データが表示されるために選択された場合、定義データレコードによるデータが表示される画像内の位置を示す領域定義を有することを主たる特徴とする。本発明による画像レコードは、画像レコードと関連して格納された補助データを含む少なくとも１つの定義レコードを有し、画像表示と関連して上記補助データの少なくとも１つの項目を表示するか否かを画像データの処理と関連して選択するように構成されることを主たる特徴とする。

本発明は従来技術の解決方法に優る顕著な利点を示すものである。本発明による方法によって、画像表示と関連して表示したり、隠された状態のままにしたりすることが可能な格納された補助データを画像に備えることが可能となる。したがって、ユーザは、補助データ付きの画像か、補助データの付かない画像かのいずれかを示すための準備に同じ物体のいくつかの画像を取得する必要がなくなる。したがって、画像の取得はさらに容易で、さらに高速になり、その一方で、ユーザは補助データを含まない画像の取得を記憶しておく必要がなくなる。本発明の構成は、別様に動いたり、変化する物体の撮影においても有用であり、画像表示の際に、必要に応じて画像内に記録された補助データを表示するか否かの選択を行うことが可能となる。本発明による方法の別の利点として、例えば、本発明による補助データの処理機能を備えていない装置をそのまま用いて、補助データの処理（追加や削除など）を行うことはできないものの、格納されたフォーマットで画像の閲覧ができるように、本方法の画像が従来技術の画像と互換性を有するということが挙げられる。

以下、添付図面を参照しながら本発明についてさらに詳細に説明する。
図１は本発明の好適な実施形態による装置１を示す。装置１は、例えばカメラや無線通信機器であるが、本発明はこのような装置にのみ限定されるものではないことは明らかである。装置１はＣＣＤセルやＣＭＯＳセルなどの画像取得手段２を具備する。画像取得手段２は、行列の形で構成された画素（図示せず）を有することが好ましく、且つ画素を露光する光の強度に比例する電荷のような電気的データを生成することが好ましい。この電気的データは上記画素から読み出され、次いでアナログ／デジタル変換器３によってデジタル形式に変換される。したがって、画像取得手段２は光電変換器として使用される。デジタル画像データはさらなる処理を行うためにメモリ４に格納される。カラー画像を取得するために、画像取得手段２は一般に、形成される各画素について３つの画素を有する。したがって、これら３つの画素の各々は、１つのカラー情報を形成するために使用される。これらのカラーは一般に赤、緑、青（ＲＧＢ）である。この結果、個々の画素は３つのカラー情報エレメントから構成されることになる。

図１の装置１は装置１の機能を制御する制御ブロック５も有する。制御ブロック５は、少なくともプロセッサ５.１（中央演算処理装置、ＣＰＵ）を有することが好ましく、場合によってはデジタル信号プロセッサ５.２（ＤＳＰ）も有することが望ましい。装置１は、操作キーやキーパッドのような、装置の使用に必要な入力手段６も有する。また、装置１は、取得した画像又はファインダの視野のような情報をユーザに対して表示する表示部７を有してもよい。

アプリケーションによっては、装置１は、装置１と別の装置（図示せず）間でのデータ転送のための通信手段８を有する。通信手段８は、例えば短距離データ転送用のローカルな通信手段８.１と、より長距離のデータ転送用移動通信手段などの通信手段８.２を有してもよい。例えば装置１から近傍にあるコンピュータなどの別の装置へ画像を転送するために、ローカルな通信手段８.１を使用することができる。

装置１は、例えば画像を格納するメモリカード１０を接続するための接続手段９を有してもよい。したがって、装置１が取得した画像を装置１の内部メモリ４および／またはメモリカード１０に記録することができる。

さらに、装置１は、本説明で以下後述するような画像と関連する補助データとして使用する時刻データと日付データとの管理を行うリアルタイムクロック１１を有することが好ましい。さらに、図１の装置１はオーディオ手段１３を有する。

以下は、図１に示す装置１における本発明の好ましい実施形態による操作方法に関する説明である。画像を取得するために、ユーザは対物レンズ１２を撮影対象物体へ向ける。装置１は従来型の光学ファインダを装備してもよいし、あるいは画像取得手段２をファインダとして使用することができる。画像取得手段２によって生成されたデータを装置１でファインダとして利用する場合、その画像データを転送して表示部７に表示する。この場合、表示部７に表示された画像は周期的に更新される。画像の取得を望む段階でユーザはトリガ・キー６.１を押す。これによって、キーストロークが制御ブロック５で検出され、画像の記録に必要な測定値が得られる。制御ブロック５は画像取得コマンドを画像取得手段２へ転送する。したがって、画像取得手段２は行毎および列毎の画素の電荷または画素毎の電荷を、例えば転送レジスタに転送する。実際には電荷を転送する方法は、例えば画像変換手段の実施方法に依存する。これは従来技術ではいずれの当業者にも周知のことであるため、この文脈でこれについてさらに詳細に説明する必要はない。

個々の画素が生成した電気的データはアナログ／デジタル変換器３でデジタル値に変換され、メモリ４に記録される。メモリ４は、個々の画素について１つの記憶位置を持つメモリ空間を備えることが好ましく、その変換値は、メモリ内に変換値用として予約されたその記憶位置に格納される。装置１はいくつかのアナログ／デジタル変換器３を有してもよく、この場合いくつかの変換の同時実行が可能である。例えば３つの変換器を用いて、単一画素のすべてのカラー成分の変換を行うことが可能であり、これらのカラー成分は上記画素の異なるカラー成分用として意図された記憶位置に格納される。

画像領域内のすべての画素の電荷がデジタル形式に変換され、格納された後、画像レコードの形成が可能となる。この形成は、主として所定のフォーマットに従う構造を持つファイルの形成により行うことが好ましい。図２ａは、本発明の好適な実施形態による画像レコード２００の構造を簡略に示す図である。画像レコード２００にはヘッダ部２０１、画像データ部２０２および補助データ部２０３が含まれる。この補助データ部は異なる画像レコードフォーマットにおいて既知の論理エレメントである。補助データ部２０３はＥＸＩＦフィールドなどを含むものであってもよい。補助データ部２０３は、日付と時刻、画像解像度、カラー画像か白黒画像かといった、画像フォーマットに関するデータ（ＲＧＢ、ＹＵＶなど）、画像データの圧縮についてのデータなどに関する情報の格納に利用することができる。画像データ部２０２は、そのままの形、または、圧縮方法により圧縮された形かのいずれかの形で画素のデジタル化された値を格納するために使用される。本発明によるシステムでは、画像と関連する補助データ部２０３に形成された定義データレコード２０４に補助データを格納することが好ましい。それによって、ユーザはこの補助データの画像内での表示／非表示の選択を行うことが可能となる。

図２ａの画像レコードの例では、補助データ部の定義データレコード２０４は画像レコード内に定義された補助データの個々の項目用として意図されたものである。これらの定義データレコード２０４は、画像内での補助データの表示に利用可能な領域について格納されたデータを有する、少なくとも領域定義２０５を有する。領域２０５は矩形であることが好ましく、領域定義は、例えば領域を制限する角点の座標又は領域の幅と長さと共に所定の角（例えば左上角点）の座標を示す。領域定義に加えて、各定義データレコード２０４は、補助データを表示しない（すなわち補助データがアクティブでない）状況で、その領域の画像データを格納するための少なくとも第１の補助データフィールド２０６を有する。さらに、定義データレコード２０４は、表示される補助データ（すなわちアクティブな補助データ）についてのデータを有する第２の補助データフィールド２０７を有する。この定義データレコード２０４は画素フォーマット（ビットマップ）の形のデータであってもよく、この場合、補助データを表示する状況で、第２の補助データフィールド２０７の内容を領域定義に従う画像位置へ直接コピーすることができる。第２の補助データフィールド２０７の内容はテキストフォーマットの形であってもよいし、あるいは、例えば画像レコードを格納した日付および／または時刻などのデータレコードのいくつかの補助データを参照するものであってもよい。さらに別の可能性として、第２の補助データフィールド２０７の定義に従う情報を第１の補助データフィールド２０６の上に表示するということも可能である。この場合、第１の補助データフィールドは一種の背景画像を定義し、この背景画像の上に第２の補助データフィールド２０７のデータが配置される。

上述した第１の補助データフィールド２０６と、第２の補助データフィールド２０７とは、２つのモードで補助データを表示する方法を定義し、上記補助データが表示されるか否かによって表示部７に画像レコードを表示するアプリケーションソフトウェアは、第１の補助データフィールド２０６か、第２の補助データフィールド２０７かのいずれかを表示するように選択する。

以下、本発明の好適な実施形態による方法で適用される補助データの形成について図３ａと３ｂの例で説明する。図３ａは装置１により記録される画像３０１を示す。ユーザは画像内に含まれるフリーフォーマット情報３０２を定義することができる。このフリーフォーマット情報３０２として例えばテキストがある。ユーザは、例えば入力手段６によって上記フリーフォーマット情報３０２の入力が可能であり、その場合、テキストは第２の補助データフィールド２０７に格納される。当該アプリケーションに依存して、フリーフォーマット情報の表示位置は固定されるか、画像領域内で自由に選択できるか、あるいは代替位置のうちの１つの位置の選択により選択されるかのいずれかとなる。上述したように、上記位置は長方形要素のような領域として定義することが好ましく、上記領域の制限内で、上記補助データを任意に表示することができる。この領域は図３ａに点線３０４によって示されている。図３ａには、この例では日付である第２の補助データ３０３も示されている。また、この第２の補助データ３０３の位置はユーザが固定したり、選択することができる。補助データ及び画像内に表示する補助データの位置についてのデータを含む定義データレコードを画像レコードの補助データ部３０３に格納するために、装置１を使用する。このような補助データが定義される場合、補助データの領域定義の範囲内に入る画像データの当該部分も第１の補助データフィールド２０６に格納される。実際には、領域３０４によって限定されたメモリの一部から第１の補助データフィールド２０６の中へ画像データをコピーすることにより上記格納は行われる。

本発明の好適な実施形態によれば、装置１または別の装置で画像が表示される段階で以下のステップが実行される。画像レコードのヘッダ部が画像タイプを知るためにチェックされる。画像が圧縮されていれば、圧縮済みの情報と、場合によっては圧縮に関連するテーブルとを用いて原画像に対応する画像の復元を可能な限り正確に行うように解凍が行われる。この画像データは、装置１のメモリ４に画像データ用として割り当てられた記憶位置へ転送される。さらに、補助データ用の一乃至複数の定義データレコード２０４が画像レコードの補助データ部３０３に含まれているかどうかの判定が行われる。少なくとも１つの定義データレコード２０４が発見された場合、その内容がチェックされる。また、ユーザは補助データを表示するか否かについて問い合わせることができる。一方、この表示用データを定義データレコード２０４に格納することも可能である。定義データレコード２０４に含まれるデータを表示部７に表示する場合、例えば、補助データの表示位置および補助データフィールド２０６、２０７は定義データレコード２０４から決定される。したがって、第１の補助データフィールド２０６か第２の補助データフィールドかのいずれかの補助データフィールド内の画像データ、すなわち領域定義２０５に従う原画像の一部が、装置１のメモリ４内の表示位置に対応する位置にコピーされる。さらに、第２の補助データフィールド２０７内の情報、すなわちフリーフォーマット情報、日付、時刻等がそれぞれの位置にコピーされる。一方、この補助データは、画像レコード内に在る形で必ずしも画像内にコピーできるとはかぎらず、この場合、分かりやすいフォーマットで補助データを表示部７に表示できるように必要な変換を行わなければならない。例えば、日付の１文字が１バイト（８ビット）として格納されるいわゆるＡＳＣＩＩフォーマットで日付が格納されている場合、文字の視覚化に必要な画素変換を考慮に入れる行列形式の画素マスクなどに上記データを変換しなければならない。したがって、画素マスクに従う画像画素を、残りの画像から識別できるように（数字や文字などの）表示されるシンボルを表わす所定のカラーを持つようにセットする。図３ａの例では補助データの表示に黒い画素が使用されているが、別のカラーの使用も可能である。

補助データを伴わない画像表示が行われる場合、一般に、メモリ内の画像レコードの読み取りと、必要な解凍ステップを行うことによって画像が表示され、補助データが可視となるように画像が格納されている場合、画像内の領域定義２０５が定義した位置へ第１の補助データフィールド２０６の画像データを転送することにより画像が表示される。図３ｂに、補助データ３０３、３０４を伴わない図３ａの例示画像３０１が表示されている。

画像を表示する際、補助データの１以上の項目を（表示部７から）クリアする場合、必ずしもメモリ内の画像全体の再読出しを行う必要はなく、例えば、以下のステップをとることができる。表示される画像の画像レコードの補助データ部から第１の補助データフィールド２０６による画像データを読み出してメモリ４の中へ入れる。表示部では、この画像データの内容は、クリアされる補助データが示されている領域内の原画像データ、すなわち、補助データ部の定義領域内にある画像の一部に対応する。この後、表示される画像は削除された補助データの領域内に在る原画像に対応する。図３ｂは補助データ項目３０２、３０３の双方が画像３ａからクリアされた状況を示す図である。

本発明の方法によれば、変動する内容を持つ異なるタイプの画像レコードの実装が可能である。発明を限定するものではない１例として、図４ａと４ｂに図示のクリスマスカレンダの応用例について述べる。この場合、画像レコードの画像データ部２０２は背景画像を有する。好適には、２４個の開くドア、すなわち１２月１日から１２月２４日がこの背景画像の中に定義される。これらのドアは、本発明による補助データ部２０３に付加された定義データレコード２０４により実現されている。したがって、個々のドアは第１の補助データフィールド２０６と第２の補助データフィールド２０７とを有する別個の補助データ部となる。第１の補助データフィールド２０６はドアが閉じた状況に対応する画像データを有する。したがって、第１の補助データフィールド２０６の内容はそのドアでの背景画像の内容に対応する。図４ａはすべてのドアが閉じている状況を示す図である。さらに、第１の補助データフィールド２０６は番号（１〜２４）及び場合によってはドアの境界線も有する。第２の補助データフィールド２０７はドアが開かれたときに示される画像データを有する。この１例として図４ｂに開かれたドア＃１５がある。さらに、個々の定義データレコードはドアの開閉を示すデータを有する。例えば、カレンダ機能によって自動的にドアを開くことができるし、あるいはユーザが入力手段６を用いることによりドアを開くことが可能である。

本発明は別のタイプの補助データと関連して適用することも可能であり、そのいくつかの例を以下図２ｂおよび図５を参照しながら示すことにする。図２ｂおよび図５は２つの定義データレコード２０４を示す図である。これらの定義データレコード２０４は３以上の補助データフィールド２０６、２０７を有する。第３の補助データフィールド２０８は、例えば、補助データがアクティブなときに起動するアプリケーションに関するデータと同様に、電話番号、電子メールアドレス等を有する。第４の補助データフィールド２０９は、例えば、音声記録、注釈、あるいは起動のためにとるべき別の処置を開始する情報を有してもよい。以下に述べるこのようなアプリケーションの１例として、背景画像５０１及びこの背景画像５０１に付けられた補助データ５０２、５０３を表示部に示す図５の状況がある。例えば第１の補助データ５０２は電子メールの送信に関連し、例えば第２の補助データは音声通信に関連するデータである。したがって、第１の補助データ５０２の定義データレコード（図示せず）は領域定義、及び例えば以下の情報を定義する４つの補助データフィールドを備える。補助データの提示位置、（受信電子メール／送信電子メールが存在しない）パッシブ状態の画像データ、（電子メールが受信されたり、ユーザが電子メールの送信を望んだりする）アクティブ状態の画像データ、電子メールアドレスおよび電子メールの受信と関連して示される音に関する情報。第１の補助データ５０２の状態の変化に基づいて、電子メールの受信を検出すると、ユーザは、例えばポインターデバイス（図示せず）を用いた補助データ５０２の指示や周知の別の方法によって電子メールを読むことができる。上記第１の補助データ５０２を選択する（アクティブにする）ことにより電子メールを所定の電子メールアドレスへ送信することが可能となり、その場合、装置１は第１の補助データの定義データレコードの第２の補助データフィールドに従う画像を表示するとともに、電子メールの書込みを行うために電子メールアプリケーションの起動も行う。好適には、第１の補助データ部５０２の第４の補助データフィールドに格納された電子メールアドレスを受信者のアドレスとしてセットする。

図５の例示状況では、第２の補助データ５０３は電話に関連し、第２の補助データ５０３の定義データレコード（図示せず）は、同様に、領域定義、及び例えば以下の情報を定義する４つの補助データフィールドを有する。表示される補助データの位置、（着信／発信が行われない）パッシブ状態の画像データ、（着信中、又はユーザが発信を望む）アクティブ状態の画像データ、電話番号のデータ、着信時の再生音。これに対応して、所定番号の呼び出し時に、上記第２の補助データ５０３を使用することができる。

本発明は、補助データを付加する機能同様実質的に固定されたフォーマットのヘッダ部および画像データ部を有するような画像フォーマットと関連する使用にも特に適している。したがって、本発明による機能が実装されていないような装置でも、表示部に補助データを表示することなく画像データ部による画像表示を行うことが可能となる。発明を限定するものではないこのような画像フォーマットの１例として、例えばいくつかのデジタルカメラで利用されるＪＰＥＧがある。ＪＰＥＧ画像フォーマットはヘッダ部および画像データ部を有する。ヘッダ部は、固定要素およびオプションの拡張要素を有し、その場合、このオプションの拡張要素を本発明による補助データ部の格納に利用することができる。カメラ用アプリケーションでは、オプションの拡張要素はＥＸＩＦ定義に従うデータをさらに有し、上記拡張要素は、例えばＪＰＥＧ画像をカメラに格納する方法及び予定されるカメラ固有の付加データなどを示すために利用される。

本発明は複数の異なる装置およびプログラムに適用することができる。以下に述べる例には、カメラ、カメラ付き電話、カメラと通信機器との組み合わせ、カメラとデータプロセッサとの組み合わせ、アルバム用アプリケーション、ウェブブラウザ、マルチメディアメッセージの受信および／または送信に適した通信機器、プリンタなどが含まれる。

以上単一画像と関連して本発明を提示したが、本発明はビデオ画像のようなな一連の画像と関連しても適用可能である。この場合、画像データ部２０２は（ビデオ表示の単一画像などの）いくつかの画像を有する。実際には、これらの画像は必ずしも１つの画像データ部２０２に格納されるとはかぎらず、いくつかの画像データ部２０２に分割されている場合もある。このような画像系列と関連して表示される補助データは、画像系列の初めからの再生時間や画像数、残りの再生時間や残りの画像数などのような画像系列の進行に関する情報であってもよい。上記補助データは、音楽用ビデオと関連して、例えばカラオケタイプなどのアプリケーションにおける演奏者名、演奏曲名、歌の歌詞などであってもよい。したがって、ビデオの視聴者は任意に（歌の歌詞のような）補助データの表示のオン／オフの切替えを行うことが可能となる。

例えばインターネットのデータネットワークを介して画像系列の取得が可能である。またこの場合、画像系列の視聴者が任意に可視又は不可視にセットできる補助データを画像系列が備えるようにしてもよい。

本発明のさらに別の好適なアプリケーションでは、例えば補助データを有料で視聴できるように補助データの視認性に制限を設けることが可能である。この場合、支払いを行った後ユーザは補助データを可視にするアクセス権限が与えられる。これは、例えばパスワードを用いるなどの複数の方法で実行可能である。したがって、パスワードの入力によってのみ補助データを可視にすることが可能となる。当然のことであるが、本発明は表示部からの補助データのクリアが制限される状況にも適している。これは特に、プレビュー用の無料ビデオを視聴者に提供し、閲覧中にビデオ画像の上に補助データを表示する状況に適している。この補助データは例えば有料でオフにすることが可能である。当然のことであるが、上記の例は本発明を限定するものではなく、単なる例であり、本発明の利用を例示する例にすぎない。

本発明の適用に必要な機能は、例えば制御ブロック５のプログラムコードとしてソフトウェアにより大部分が実現可能である。

本発明が、上記の実施形態のみに限定されるものではなく、添付の特許請求の範囲内で変更可能であることは明らかである。

本発明の好ましい実施形態による装置の簡易ブロック図である。 本発明の好ましい実施形態による画像レコードの構造を簡略に示す図である。 本発明の好ましい実施形態による別の画像レコードの構造を簡略に示す図である。 本発明を適用した画像の一例である。 本発明を適用した画像の一例である。 本発明を適用した画像の別の一例である。 本発明を適用した画像の別の一例である。 本発明を適用した画像のさらに別の一例である。

Claims (11)

1. 画像レコード（２００）として画像データをデジタル形式で格納し、
   少なくともヘッダ部（２０１）と、画像データ部（２０２）と、補助データ部（２０３）とを前記画像レコードに備え、
   補助データを含む少なくとも１つの定義データレコード（２０４）を前記画像レコード（２００）と関連して格納する画像処理方法であって、
   前記画像データの処理と関連して、前記補助データの少なくとも１つの項目が表示されるか否かを前記画像データの表示と関連して選択し、且つ
   前記少なくとも１つの定義データレコード（２０４）が、
   前記補助データを表示することが選択される場合に前記定義データレコード（２０４）による前記補助データが表示される画像内の位置を示す領域定義（２０５）と、
   前記補助データが表示されない場合のために前記領域定義（２０５）によって定義された領域の画像データを格納する第１の補助データフィールド（２０６）と、
   表示されるべき前記補助データについてのデータを含む第２の補助データフィールド（２０７）とを備える、
   ことを特徴とする方法。
2. 前記定義データレコード（２０４）が定義する補助データが表示される状況で、前記第１の補助データフィールド（２０６）に含まれる画像データを前記領域定義（２０５）が示す位置に表示し、前記第２の補助データフィールド（２０７）が定義した補助データを前記位置の上に重ねて配置することを特徴とする請求項１に記載の方法。
3. 前記定義データレコード（２０４）が定義する補助データが表示されない状況で、前記第１の補助データフィールド（２０６）に含まれる画像データを前記領域定義（２０５）が示す位置に表示することを特徴とする請求項１に記載の方法。
4. 補助データの少なくとも１つの項目と関連してアプリケーションが起動され、前記少なくとも１つの定義データレコード（２０４）は、
   前記起動されるアプリケーションへ転送されるデータを含む第３の補助データフィールド（２０８）と、
   前記少なくとも１つの補助データ項目の前記表示と関連して再生を意図する音声データを含む第４の補助データフィールド（２０９）のうちの少なくとも一方を有することを特徴とする請求項１〜３の何れか一項に記載の方法。
5. 前記起動されるアプリケーションが電子メールアプリケーションであり、前記第３の補助データフィールド（２０８）が電子メールアドレスを含むことを特徴とする請求項４に記載の方法。
6. 前記起動されるアプリケーションが電話アプリケーションであり、前記第３の補助データフィールド（２０８）が電話番号を含むことを特徴とする請求項４に記載の方法。
7. 少なくともヘッダ部（２０１）と、画像データ部（２０２）と、補助データ部（２０３）とを有する画像レコード（２００）としてデジタル形式で画像を格納する手段（４、１０）と、
   前記画像レコードを処理する手段（５）と、前記画像レコード（２００）と関連する補助データを含む少なくとも１つの定義データレコード（２０４）を格納する手段（５、６）とを有するシステムであって、
   前記システムが、前記画像データの表示と関連して、必要に応じて表示する格納された補助データの少なくとも１つの項目を選択する選択手段（５、６）を有し、且つ
   前記少なくとも１つの定義データレコード（２０４）が、
   前記補助データを表示することが選択される場合に前記定義データレコード（２０５）による前記補助データが表示される画像内の位置を示す領域定義（２０５）と、
   前記補助データが表示されない場合のために前記領域定義（２０５）によって定義された領域の画像データを格納する第１の補助データフィールド（２０６）と、
   表示されるべき前記補助データについてのデータを含む第２の補助データフィールド（２０７）とを有する、
   ことを特徴とするシステム。
8. 前記領域定義（２０５）が示す位置に、前記第１の補助データフィールド（２０６）に含まれる画像データを表示し、前記第１の補助データフィールド（２０６）に含まれる画像データの上に、前記第２の補助データフィールド（２０７）に定義された前記補助データを配置する手段を有することを特徴とする請求項７に記載のシステム。
9. 少なくともヘッダ部（２０１）と、画像データ部（２０２）と、補助データ部（２０３）とを有する画像レコード（２００）としてデジタル形式で画像を格納する手段（４、１０）と、前記画像レコードを処理する手段（５）と、
   前記画像レコード（２００）と関連する補助データを含む少なくとも１つの定義データレコード（２０４）を格納する手段（５、６）とを有する装置（１）であって、
   前記装置が、前記画像データの表示と関連して、必要に応じて表示される格納された補助データの少なくとも１つの項目を選択する選択手段（５、６）を有し、且つ、
   前記少なくとも１つの定義データレコード（２０４）が、
   前記補助データを表示することが選択される場合に前記定義データレコード（２０５）による前記補助データが表示される画像内の位置を示す領域定義（２０５）と、
   前記補助データが表示されない場合のために前記領域定義（２０５）によって定義された領域の画像データを格納する第１の補助データフィールド（２０６）と、
   表示されるべき前記補助データについてのデータを含む第２の補助データフィールド（２０７）とを有する、
   ことを特徴とする装置。
10. 前記領域定義（２０５）が示す位置に、前記第１の補助データフィールド（２０６）に含まれる画像データを表示し、前記第１の補助データフィールド（２０６）に含まれる画像データの上に、前記第２の補助データフィールド（２０７）に定義された前記補助データを配置する手段を有することを特徴とする請求項９に記載の装置。
11. 補助データの少なくとも１つの項目の表示と関連してアプリケーションを起動させる手段（５）を有し、
    前記少なくとも１つの定義データレコード（２０４）が、
    前記起動されるアプリケーションへ転送されるデータを含む第３の補助データフィールド（２０８）と、
    前記少なくとも１つの補助データ部（２０３）の前記表示と関連して再生を意図する音声データを含む第４の補助データフィールド（２０９）と、
    のうちの少なくとも一方を有する、
    ことを特徴とする請求項９又は１０に記載の装置。

Images