JP4687279B2 - 画像再生装置、画像再生方法、および画像再生用プログラム - Google Patents

Description

本発明は、画像とこの画像に係る様々な付帯情報を処理する画像再生装置、画像再生方法、および画像再生用プログラムに関する。

複数の画像データを統合的に扱う技術は、たとえば、画像を構成する複数の画像データ同士の比較検討の用途や立体視表示やパノラマ表示などのような統合表示をする際に用いられている。複数の画像データを統合的に扱うには、複数の画像データとともに、これらの画像データにかかるさまざまな付帯情報、たとえば夫々の画像の撮影時の情報やそれをどのように組み合わせて扱うかを示す情報などがある。たとえば、画像の立体視表示のためには、各々の画像について、画像であることを示す識別情報、視点（左眼／右眼や撮影地点）の情報、水平・垂直視点数、水平方向の重なり具合（水平シフト量）などの情報が必要であり、また、パノラマ表示のためには、各々の画像について、パノラマ画像であることを示す識別情報、パノラマのどの位置（順番）の画像であるかを示す情報などが必要である。

このような画像を統合的に扱うための情報は、従来、図１８に示すように、各画像データのファイル２１１−１，・・・，１１１−Ｎとは別の専用ファイル２１２に記述しておき、各画像データのファイル２１１と一緒に受け渡されるようにしたり、図１９に示すように、統合する複数の画像を物理的に連結して一つの統合画像１２１とし、各画像を統合的に扱うための情報を統合ヘッダ情報１２２としてファイルに組み込む手法を採用している。

たとえば、特許文献１などには、左右それぞれの画像データに個別に、画像であるという情報や、左右の識別情報などをヘッダ情報として記録しておくことで、記録再生装置や伝送装置などでの処理時に、左右の画像データが１つの画像取り扱い単位として扱われるようにして、誤って左右の画像データのうち一つが消去したり、伝送したりされる不具合を防止することなどが記載されている。
特開平５−３０５３８号公報

しかしながら、前者の各画像を統合的に扱うための情報を別の専用ファイルに格納する方法では、各ファイルの受け渡しの際に一つのファイルでも転送に失敗した場合には画像を統合的に処理することが不可となり、また、後者の統合ヘッダ情報を用いた方法では、その統合ヘッダ情報が壊れたり消失してしまうことによって画像を統合的に処理することが不可となる。後者の問題に関し、たとえば、統合画像を印刷物の形態で受け渡した場合、その印刷物の画像をスキャナで読み込んで画像の電子データを得ることができても、この時点でヘッダ情報は喪失しているので、スキャナで読み込んだ画像データから各画像を統合的に取り扱う処理は行えない、という問題があった。

また、図２０に示すように、統合画像１３１を印刷する際、印画紙１３２のサイズに合わせて画像を印刷すると、画像の一部が欠けてしまう場合がある、という問題があった。

また、本発明は、ヘッダ情報に拠らず、主画像の再生を行うことができ、さらには、表示条件に基づく主画像の検索と、ソート条件に基づく主画像のソートを行うことのできる画像再生装置、画像再生方法、および画像再生用プログラムを提供することにある。

上記課題を解決するために本発明は次のような構成を採用している。

すなわち、本発明の画像再生装置は、１以上の主情報と、前記主画像に係る付帯情報を符号化した符号化画像とが領域を区分して合成された合成画像を入力する合成画像入力手段と、前記入力された合成画像から前記主画像と前記符号化画像とを分離する分離手段と、前記分離手段により分離された前記符号化画像を復号して前記付帯情報を再生する復号手段と、主画像の表示条件を選定させる表示条件選定手段と、前記主画像の表示のソート条件を選定させるソート条件選定手段と、一覧表示の指令を受けたとき、前記選定された表示条件を満足する主画像を前記復号された付帯情報に基づき判定するとともに、前記選定されたソート条件に基づいて、前記判定されたすべての主画像の表示の並び順を決定して一覧表示するための処理を行う画像変換手段とを具備することを特徴とする。

この発明によれば、ヘッダ情報に拠らず、主画像の再生を行うことができるとともに、選定された表示条件とソート条件に合う主画像とその表示の並び順を決定するための処理を、主画像の付帯情報をもとに行うことができる。

以上のように、本発明によれば、ヘッダ情報に拠らず、主画像の再生を行うことができるとともに、選定された表示条件とソート条件に合う主画像とその表示の並び順を決定するための処理を、主画像の付帯情報をもとに行うことができる。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は本発明の一実施形態に係わる画像処理装置の全体的な構成を示すブロック図である。

同図に示すように、この画像処理装置１００は、画像入力部１、アスペクト比調整入力部２、データ分離出力部３、付帯情報入力調整部４、付帯情報生成部５、パディングデータ生成部６、画像合成部７、画像エンコード部８、データ多重化部９、記録媒体書き込み部１０を備えている。

画像入力部１は、それぞれ画像情報（主画像）に係る付帯情報がヘッダ情報として付加された１以上の画像ファイル２１（２１−１，２１−２，・・・，２１−Ｎ）を入力する手段である。

データ分離出力部３は、画像入力部１にて入力された各画像ファイル２１からそれぞれのヘッダ情報を分離して付帯情報生成部５に出力するための手段である。

付帯情報入力調整部４は、画像ファイル２１のヘッダ情報として付加されているパラメータ値などの付帯情報を最適な値に調整したり、ヘッダ情報に含まれない新たな項目の付帯情報を入力したり、図示されない画像合成部より出力される表示手段、などで確認して新たに入力した付帯情報の値を更に最適な値に調整したりするための手段である。

付帯情報生成部５は、データ分離出力部３より出力された各ヘッダ情報と付帯情報入力調整部４より与えられる情報に基づいて、パディングデータ生成部６およびデータ多重化部９に出力する付帯情報を生成するための手段である。ここで、パディングデータ生成部６へは、すべての付帯情報のうち、パディングデータによって符号化される一部の付帯情報が出力され、データ多重化部９へは、たとえばすべての付帯情報が出力される。

パディングデータ生成部６は、付帯情報生成部５から与えられた付帯情報を、たとえば人間がその意味を色や形状などの視覚的特徴によって判別可能な画像（第１の符号化画像）に符号化したり、画像解析によって判別可能なたとえば一次元バーコード、二次元バーコードなどの可視的なシンボルによる画像（第２の符号化画像）に符号化したりしてパディングデータを生成する手段である。パディングデータは、所定のアスペクト比をもつ二次元空間内に主画像を配置した場合にできる空き領域を埋めるデータである。

アスペクト比調整入力部２は、画像合成部７にて生成される合成画像のアスペクト調整比を入力するための手段である。このアスペクト調整比は、たとえば使用される印画紙の縦横比に合わせて入力される。

画像合成部７は、画像入力部１より入力された各画像ファイル２１の主画像とパディングデータ生成部６により生成されたパディングデータつまり第１の符号化画像および第２の符号化画像とを合成して、アスペクト比調整入力部２より入力されたアスペクト調整比をもつ合成画像データを生成する手段である。図示しない符号化画像の配置位置調整部により、符号化画像を合成画像の何処に配置するのか、その位置を調整し合成画像データを生成させるようにしても良い。

画像エンコード部８は、画像合成部７より出力された合成画像をたとえばＪＰＥＧ方式などの所定の方式で圧縮符号化する手段である。

データ多重化部９は、画像エンコード部８によって圧縮符号化された合成画像に付帯情報生成部５にて得られた付帯情報をヘッダ情報として多重化して、構造化画像情報である画像ファイルを作成する手段である。

記録媒体書き込み部１０は、データ多重化部９によって生成された画像ファイルを、コンピュータなどによる読み書きが可能な不揮発性の記録媒体（たとえばＥＥＰＲＯＭなど）に書き込む手段である。

次に、この画像処理装置１００の動作を説明する。

画像ファイルの入力前に、アスペクト比調整入力部２から、使用する印画紙の縦横比に合わせたアスペクト調整比を入力して、画像合成部７に画像合成用のアスペクト調整比として設定しておく。また、必要に応じて、付帯情報入力調整部４にて、付帯情報の調整値や、ヘッダ情報に存在しない新たな付帯情報を入力して設定しておく。

この後、画像入力部１にて１以上の画像ファイル２１を入力し、その中の主画像を画像合成部７へ与える一方、データ分離出力部３にて、画像ファイル２１のヘッダ情報を分離抽出して付帯情報生成部５へ出力する。

付帯情報生成部５は、データ分離出力部３より１以上の画像ファイル２１のヘッダ情報を取得すると、このヘッダ情報と、付帯情報入力調整部４より入力された情報とに基づいてパディングデータ生成部６およびデータ多重化部９に出力する付帯情報を生成し、出力する。

パディングデータ生成部６は、付帯情報生成部５から出力された付帯情報を人間がその意味をたとえば色、形状などの視覚的特徴によって容易に判別することのできる画像に符号化して第１の符号化画像を生成するとともに、画像解析によって判別可能な画像に符号化して第２の符号化画像を生成する、これら第１の符号化画像と第２の符号化画像をパディングデータとして出力する。第２の符号化画像は、具体的には、たとえば一次元バーコード、二次元バーコードなどの可視的なシンボルを採用することが可能である。また、輝度、形状、色などを付帯情報の符号化に用いるようにしてもよく、これによって符号化可能な情報量を増やすことができる。

パディングデータ生成部６によって生成されたパディングデータは画像合成部７へ送られる。画像合成部７は、画像入力部１からの主画像とパディングデータ生成部６からのパディングデータとを合成し、アスペクト調整比入力部２からの入力により設定されたアスペクト調整比をもつ一つの合成画像を生成する。図示しない符号化画像の配置位置調整部により、符号化画像を合成画像の何処に配置するのか、その位置を調整し合成画像データを生成させるようにしても良い。

図２は画像合成部７によって生成された合成画像２０の例を示している。

本例は、１つの画像ファイルの主画像１１（１１−１）とパディングデータとの合成画像を示している。この主画像１１の上下にパディングデータ領域１２，１３が設けられている。この合成画像２０の縦横のサイズはアスペクト比調整入力部２より入力されたアスペクト調整比によって決められている。すなわち、主画像１１の長辺の長さ（この例では水平方向の長さ）を合成画像２０の横の長さＸとし、合成画像２０の横の長さＸとアスペクト調整比とから、合成画像２０の縦の長さＹを決定する。すなわち、画像合成部７は、合成画像の縦横のサイズが、予め指定されたアスペクト調整比となるように、パディングデータのサイズを可変調整して主画像１１と合成する。

合成画像２０における主画像１１の鉛直方向の位置はシステム固有とされ、この例では、鉛直方向のほぼ中間の位置に主画像１１が配置されるように決められている。したがって、本例では、合成画像２０において、主画像１１の上下にパディングデータ領域１２，１３が確保されることになる。なお、主画像１１の上もしくは下にだけパディングデータ領域を確保するようにしてもよい。

上のパディングデータ領域１２には、第１の符号化画像１４に符号化された付帯情報のみが配置され、下のパディングデータ領域１３には第１の符号化画像１４と第２の符号化画像１５にそれぞれ符号化された付帯情報が配置されている。もちろん、第２の符号化画像１５に符号化された付帯情報を上のパディングデータ領域１２に配置するようにしてもよく、上下のパディングデータ領域１２，１３にそれぞれ配置してもよい。また、図３に示すように、第２の符号化画像１５に符号化された付帯情報を一つのパディングデータ領域１２または１３に複数設けてもよい。

図４は合成画像２０のさらに別の例を示している。

本例は、３つの画像ファイルの主画像１１（１１−１，１１−２，１１−３）とパディングデータとを合成した画像の例である。３つの画像ファイルの主画像１１（１１−１，１１−２，１１−３）は水平方向に接するように並べて一体化され、この一体化された主画像１１（１１−１，１１−２，１１−３）の上下にパディングデータ領域１２，１３が設けられている。上のパディングデータ領域１２には、第１の符号化画像１４に符号化された付帯情報のみが配置され、下のパディングデータ領域１３には第１の符号化画像１４と第２の符号化画像１５にそれぞれ符号化された付帯情報が配置されている。この場合にも、一体化された主画像１１（１１−１，１１−２，１１−３）の長辺の長さ（この例では水平方向の長さ）を合成画像２０の横の長さＸとし、合成画像２０の横の長さＸとアスペクト調整比とから、合成画像２０の縦の長さＹが決定される。

また、図５に示すように、主画像１１（１１−１，１１−２）が全体として縦長である場合には、主画像１１の長辺は縦の辺となり、この縦の辺の長さを合成画像２０の縦の長さＹとして、この合成画像２０の縦の長さＹとアスペクト調整比とから、合成画像２０の横の長さＸを決定する。したがって、この場合には、主画像１１の左右にパディングデータ領域１２，１３が設定され、その一方のパディングデータ領域１３に、第２の符号化画像１５に符号化された付帯情報が配置される。

第１の符号化画像１４と第２の符号化画像１５に符号化される付帯情報とは、より具体的には、主画像そのものに関する情報、たとえば主画像の縦横サイズ、そして符号化画像の縦横サイズと位置に関する情報、色空間情報、撮影方法に関する情報、撮像機に関する情報、撮影者や被写体に関する情報、また、主画像の再生のために必要な情報、複数画像の再生に有効な情報、再生時の注意に関する情報、記録形式に関する情報（画像ファイルのデータ構造、記録モード、符号化などに関する情報）などがある。なお、符号化画像のサイズと位置に関する情報は、画像合成部７にて生成され符号化され符号化画像として合成される。

たとえば、デジタルスチルカメラで撮像された主画像に係る付帯情報としては、撮影日時、デジタル化日時、シャッタースピード、レンズ絞り値、露光補正量、レンズの焦点距離、ホワイトバランスモード（自動／太陽光／曇天／蛍光灯／電球など）、シーン撮影タイプ（標準、水中、発光、夜景、人物など）、フラッシュモード（自動／強制発光／禁止など）、ドライブモード（連続撮影など）、フォーカスモード（自動／距離ステップ値／無限など）、画像サイズ、イメージセレクトモード（オン／オフ）、測光方式（分割測光／中央部重点測光／平均測光／部分測光／スポット測光定など）、露光制御モード（絞り優先ＡＥ／シャッタースピード優先ＡＥなど）、レンズ焦点距離、連続撮影時の連番、フラッシュ発光強度補正、マクロ撮影モード（広角側マクロ撮影、望遠側マクロ撮影など）、ノイズリダクション（オン／オフ）、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）／ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）ロックボタン（ロック／アンロック）、ミラーアップ撮影（可／不可）、シャッター・絞り露光設定ステップ、ＡＦ補助光の投光（オン／オフ）、ＡＶモードでのシャッター速度（自動／プログラムオート／マニュアルなど）、1回の撮影で露出を変更した結果を記録する機能であるＡＥＢ撮影に関する情報（オン／オフ、変更・記録回数など）、シンクロタイミング（前幕シンクロ／後幕シンクロなど）、レンズ前部に配置されたＡＦストップボタンがオートフォーカス作動中に押された場合にオートフォーカスが一時停止し、ボタンを離すとオートフォーカスが再開するＡＦストップ機能、自動フラッシュ充電量制限（オン／オフ）、メニューボタン復帰位置（トップメニュー／前メニューなど）、撮影時のＳＥＴボタン機能（なし／ファイル保存品質変更／ＩＳＯ設定変更／パラメータ選択など）、スーパーインポーズの表示（オン／オフ）、メモリカード未装着時のレリーズ（可／不可）、シャープネスの強さ（強い／標準／弱い、ステップ値など）、色相を調整するカラーマトリックス、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの位置情報、国地域情報、撮影者情報などが挙げられる。

複数画像の再生に有効な情報としては、複数画像の統合化のための情報などがある。複数画像の統合化のための情報とは、各々の画像をどのように組み合わせて扱うかを示す情報であり、たとえば、画像の立体視表示、パリラマ表示などを目的とする。画像の立体視表示のための統合化情報には、各々の画像ごとに、画像であることを示す識別情報、視点（左眼／右眼や撮影地点）の情報、水平・垂直視点数、水平方向の重なり具合（水平シフト量）などの情報がある。パノラマ表示のための統合化情報には、各々の画像ごとに、パノラマ画像であることを示す識別情報、パノラマのどの位置（順番）の画像であるかを示す情報、画像間の重なり位置を示す情報などがある。

再生時の注意に関する情報とは、たとえば「部屋を明るくして見ましょう」「休憩を入れて見ましょう」といった鑑賞上の注意事項や立体視鑑賞の際のアドバイスといった情報である。これら再生時の注意に関する情報は再生機器にて解釈されて主画像とともに再生される。

ところで、第１の符号化画像は、人間がたとえば色、形状などの視覚的特徴によって意味を判別すべき画像であるため、伝達可能な付帯情報の情報量は制限される。これに対して、第２の符号化画像は、画像解析によって符号化された付帯情報を判別すべき画像であるから、伝達可能な付帯情報の情報量は第１の符号化画像に比べ格段に大きい。このため、画像を鑑賞するユーザにとって特に有益な付帯情報のみを第１の符号化画像に符号化し、その他の付帯情報、あるいはすべての付帯情報を第２の符号化画像に符号化することが好ましい。

より多くの付帯情報を第１の符号化画像に符号化する手法として、色、形状以外に文字や絵記号を用いる方法がある。図６にその例を示す。同図に示す合成画像２０は、複数の主画像１１（１１−１、１１−２、１１−３、１１−４、）と、この主画像１１の上下のパディングデータ領域１２，１３とで構成されている。下のパディングデータ領域１３には、画像解析によって判別可能な第２の符号化画像１５とともに、文字や絵記号を用いて付帯情報を符号化した第１の符号化画像１４が配置されている。この例では、ズーム倍率１４ａ、焦点距離／画角１４ｂ、マクロ撮影モード１４ｃ、フラッシュモード１４ｄ、複数画像の構成情報１４ｅ、撮影日時／位置情報１４ｆ、国地域情報１４ｇなどの付帯情報が、文字や絵記号を用いた第１の符号化画像１４によって符号化されている。このように第１の符号化画像１４に文字や絵記号を用いることで、より多くの付帯情報を第１の符号化画像に符号化して、画像を鑑賞するユーザに視覚的に伝達することができる。

また、複数画像を含む合成画像の場合、たとえば、図７に示すように、付帯情報を人間がその意味を視覚的特徴によって判別することのできる第１の符号化画像１４−１、１４−２、１４−３と画像解析によって判別可能な第２の符号化画像１５−１、１５−２、１５−３を個々の主画像１１−１、１１−２、１１−３ごとに設けてもよい。さらに、図８に示すように、個々の主画像１１−１、１１−２、１１−３ごとの第１の符号化画像１４−１、１４−２、１４−３および第２の符号化画像１５−１、１５−２、１５−３とともに、全体の画像１１に対する付帯情報を符号化した第２の符号化画像１５−４を設けてもよい。

これは、たとえば、薬剤の投与による治療部位の治療経過を撮像した画像などに利用できる。すなわち、治療部位の画像を図８の個々の主画像１１−１、１１−２、１１−３とし、各々の治療部位の画像に係る付帯情報が第１の符号化画像１４−１、１４−２、１４−３、と第２の符号化画像１５−１、１５−２、１５−３とに符号化され、すべての画像に共通の付帯情報が第２の符号化画像１５−４に符号化される。この場合の付帯情報としては、たとえば、薬剤やその投与に関する情報、治療の経過に関する情報などがある。薬剤やその投与に関する情報とは、たとえば、薬剤分類（鎮痛、鎮痒、収斂、消炎剤など）、内外注区分、主な適応症（湿疹、皮膚炎群など）、薬理作用（抗炎症作用、抗ヒスタミン作用など）、組成・構造成分、用法、製品名、薬価、規格単位などがある。治療の経過に関する情報には、たとえば、投与日、投与量、経過日数、被治療者に関する情報などがある。各々の治療部位の画像に係る付帯情報の符号化に関して、どの付帯情報を第１の符号化画像１４−１、１４−２、１４−３で符号化して、どの付帯情報を第２の符号化画像１５−１、１５−２、１５−３により符号化するかの選定には特に制約は無く、視覚的に内容を認識できるようにしたい付帯情報の種類があれば、その付帯情報を人間がその意味を視覚的特徴によって判別することのできる第１の符号化画像１４−１、１４−２、１４−３に符号化すればよい。

また、１つの被写体を撮像機の機種や撮像条件を変えて撮像した複数の画像を比較評価する場合にも適用できる。たとえば、撮像機の機種や撮像条件などを付帯情報として、画像ごとの付帯情報を第１の符号化画像および第２の符号化画像に符号化する。また、この場合も、画像を比較評価するユーザにとって有益な付帯情報を、人間がその意味を視覚的特徴によって判別することのできる第１の符号化画像１４−１、１４−２、１４−３に符号化すればよい。

上記のように画像合成部７によって得られた合成画像データは、画像エンコード部８によって、たとえばＪＰＥＧ方式などの所定の方式で圧縮符号化されてデータ多重化部９に送られ、ここで、圧縮符号化された合成画像データに、付帯情報生成部５から出力された付帯情報の内容が統合ヘッダ情報として多重化されて画像ファイルが作成される。図９にこの画像ファイル３０の構成を示す。同図に示すように、この画像ファイル３０は、圧縮符号化された合成画像データ１６、統合ヘッダ情報１７、ファイルの先頭を示すＳＯＩ１８、ファイルの最後を示すＥＯＩ１９などで構成される。圧縮符号化された合成画像データに複数の画像情報と付帯情報が一体の画像イメージとして記録されている。作成された画像ファイル３０は記録媒体書き込み部１０によって、コンピュータが読み込み可能な記録媒体に記録される。

以上の実施形態の画像処理装置１００によれば、主画像に関する付帯情報の一部を、その主画像を鑑賞する人に視覚的に伝達することのできる合成画像を得ることができる。

また、この実施形態の画像処理装置１００によれば、主画像に関する付帯情報を、その主画像を再生する再生機器に、ヘッダ情報に拠らずに伝達することのできる合成画像を得ることができる。たとえば、付帯情報が複数画像の表示に必要な情報である場合には、再生機器では、ヘッダ情報に拠らず、複数画像を統合化して立体視表示やパノラマ表示などを行うことができる。

また、この実施形態の画像処理装置１００によれば、画像ファイル３０の統合ヘッダ情報の復旧が可能な合成画像を得ることができる。

さらに、この実施形態の画像処理装置１００によって得られた主画像とパディングデータとの合成画像は、使用される印画紙の縦横比に合わせてアスペクト比が決められているので、合成画像の全体を印画紙内にぴったり収まるように印刷することができる。

なお、上記までの実施形態では、それぞれヘッダ情報を有する１以上の画像ファイルを入力して、画像ファイルの主画像と、ヘッダ情報などから作成されたパディングデータとの合成画像を作成するものとしたが、図１０に示すように、複数の主画像が一体に統合され、この統合画像に関する付属情報が統合ヘッダ情報として付加された画像ファイル２２を入力して、その統合画像と、統合ヘッダ情報などから作成されたパディングデータとの合成画像を作成するようにしてもよい。

また、上記の説明では、主画像のファイルの入力から合成画像のファイルの出力までが、主画像のファイルの入力回ごとに行われるものとしたが、入力された主画像に関する付帯情報が確定したら、その付帯情報を画像処理装置２００の内部に記憶し、処理すべきすべての主画像に関する付帯情報が確定した後、すべての主画像について、パディングデータの生成、画像合成、圧縮符号化、ヘッダ情報との多重化、記録媒体への書き込みを行うようにしてもよい。また、一旦確定を終えて保存された付帯情報を再度読み出して表示し、再編集を行えるようにしてもよい。

次に、画像解析によって判別可能な第２の符号化画像１５の変形例を説明する。

上記の実施形態において、画像解析によって判別可能な第２の符号化画像１５には一次元バーコード、二次元バーコードなどを採用したが、その他、輝度、形状、色などを情報の符号化に採り入れてもよく、これによって符号化可能な情報量を増大させることができる。

図１１および図１２にその具体例を示す。これらの例では、第２の符号化画像１５の要素として曲線が用いられているが、図１１では各曲線はいずれも他の曲線と交わらず、図１２の例の曲線との間で特徴の差異を持たせている。もちろん、これは一例にすぎず、その他、線の形状（直線／曲線）、線の向き、他の線との交点の数、線幅、線の曲がり回数など、様々な特徴を符号化に用いることが可能である。また、図１１の符号化画像においては、個々の曲線部の領域１５ａ、１５ｂ、１５ｃ、１５ｄ、１５ｅはそれぞれ異なる色とされ、付帯情報が色の組み合わせ、色数、それぞれの色の位置などによっても符号化されている。

次に、本発明の第２の実施形態として、統合ヘッダ情報が壊れたり消失してしまった画像ファイル３０から、複数画像を統合化して表示再生する画像処理装置について説明する。

図１３は本実施形態の画像再生装置の構成を示すブロック図である。

同図に示すように、この画像再生装置３００は、記録媒体読み込み部４１、データ分離部４２、画像デコード部４３、画像分離部４４、パディングデータデコード部４５、画像変換部４６および画像表示部４７を備えている。

記録媒体読み込み部４１は、着脱自在な記録媒体から、複数の主画像とこれら複数の主画像の統合化のために必要な付帯情報を符号化したパディングデータ（符号化された第１の符号化画像および第２の符号化画像）との合成画像を含む画像ファイル３０（図９）を読み込む手段である。

データ分離部４２は、記録媒体から読み込まれた画像ファイル３０から、圧縮符号化された合成画像データ１６（図９）を分離抽出する手段である。

画像デコード部４３は、データ分離部４２によって分離抽出された圧縮符号化された合成画像データ１６を復号解凍する手段である。

画像分離部４４は、復号解凍された合成画像データから主画像とパディングデータ（符号化された第１の符号化画像および第２の符号化画像）とを分離して、主画像を画像変換部４６へ、パディングデータをパディングデータデコード部４５へそれぞれ振り分ける手段である。

パディングデータデコード部４５は、色判別、輝度判別、パターン認識などにより、パディングデータ中の第１の符号化画像および第２の符号化画像をそれぞれ判別、復号して、複数画像の統合化のために必要な付帯情報を再生する手段である。

画像変換部４６は、復号された付帯情報に基づき、複数の主画像に対して、立体視表示やパノラマ表示など、複数画像の統合化のため演算処理を実行し、その結果を画像表示部４７に出力する手段である。

画像表示部４７は、統合化された画像を表示する手段である。

次に、この画像再生装置３００の動作を説明する。

通常の再生装置では、画像ファイル３０のヘッダ情報に基づき複数画像の統合化再生が行われるが、この実施形態の画像再生装置３００では、ヘッダ情報に拠らずに、パディングデータ（第１の符号化画像および第２の符号化画像）に符号化された付帯情報に基づき複数画像の統合化再生が行われる。

まず、記録媒体読み込み部４１にて、着脱自在な記録媒体から、複数の主画像とこれら複数の主画像の統合化のために必要な付帯情報を符号化したパディングデータ（符号化された第１の符号化画像および第２の符号化画像）との合成画像を含む画像ファイル３０（図９）を読み込む。次に、データ分離部４２にて、記録媒体から読み込まれた画像ファイル３０から、圧縮符号化された合成画像データ１６が分離抽出され、画像デコード部４３にて復号解凍される。

続いて、画像分離部４４にて、復号解凍された合成画像データから複数の主画像とパディングデータとが分離され、複数の主画像は画像変換部４６へ出力される。また、パディングデータはパディングデータデコード部４５へ出力され、ここで複数画像の統合化のために必要な付帯情報が復号される。そして、画像変換部４６では、復号された付帯情報に基づき、主画像に対して立体視表示やパノラマ表示などの統合化のため演算処理が行われ、その結果が画像表示部４７にて表示される。

このように、本実施形態の画像再生装置３００によれば、パディングデータ（第１の符号化画像および第２の符号化画像）に符号化された付帯情報に基づき複数画像の統合化再生を行うことができる。

次に、本発明の第３の実施形態として、画像取り込み装置を用いた画像再生装置について説明する。

図１４はこの画像取り込み装置を用いた画像再生装置４００の構成を示すブロック図である。同図に示すように、この画像再生装置４００は、図１の画像処理装置１００によって得られた合成画像を印刷した画像シートから、その合成画像を光学系にて読み込む画像取り込み部５１と、画像取り込み部５１にて読み込まれた合成画像から主画像とパディングデータとを分離する画像分離部５２と、色判別、輝度判別、パターン認識などにより、パディングデータをそれぞれ判別、復号して、付帯情報を復元するパディングデータデコード部５３と、復号された付帯情報に基づき、主画像に対して、付帯情報の可視化や立体視表示やパノラマ表示などの統合化のため演算処理を実行し、その結果を画像表示部５５に出力する画像変換部５４と、統合化された画像を表示する画像表示部５５とにより構成される。

このような構成を有する画像再生装置４００により、合成画像の印刷物から、付帯情報の可視化や、立体視表示やパノラマ表示など、複数画像の統合化再生を行うことができる。

次に、本発明の第４の実施形態として、撮像系を有する画像処理装置について説明する。

図１５はこの撮像系を有する画像処理装置５００の構成を示すブロック図である。

同図に示すように、この画像処理装置５００は、レンズ鏡筒部６１および撮像素子６２を有する撮像系と、撮像素子６２の出力を読み取るＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）アナログ信号処理回路６３、撮像素子６２を駆動させるためのＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）６４、レンズ鏡筒部６１を駆動するレンズ鏡筒駆動回路６５、撮像素子６２の出力を処理するデジタル処理回路６６、表示器６７、着脱自在な記録媒体に対する読み書きを行う記録媒体読み書き部６８、操作部６９、システム制御回路７０、メモリ７１を備える。システム制御回路７０は、付帯情報生成部７２、パディングデータ生成部７３、画像合成部７４を備える。

撮像素子６２の出力は、ＡＦＥアナログ信号処理回路６３によって読み取られてデジタル処理回路６６へ出力される。デジタル処理回路６６は、撮像素子６２の出力から画像のデジタルデータを生成する。システム制御回路７０は、デジタル処理回路６６によって生成された画像データをメモリ７１に保持する。メモリ７１には、順次撮像された画像のデータが保持される。

利用者からの画像の統合化の指示が操作部６９から入力されると、システム制御回路７０は、続いて、統合対象の画像を利用者に選択させるために、メモリ７１に保持された各画像の一覧を表示器６７に表示する。統合対象の画像を利用者に選択された後、システム制御回路７０は、統合化のための情報の入力を利用者に表示器６７を通して促す。操作部６９より統合化のための情報が入力されると、システム制御回路７０は、この情報をメモリ７１に保持する。

この後、利用者から画像の統合の実行が操作部６９より指示され、システム制御回路７０は、この指示を受けて、選択された各画像データとパディングデータとの合成を開始する。

まず、システム制御回路７０は、メモリ７１に保持された統合化のための情報に基づき、付帯情報生成部７２にて付帯情報の生成を行う。次に、システム制御回路７０は、パディングデータ生成部７３５にて、付帯情報に基づいてパディングデータを生成する。そして、このパディングデータを、画像合成部７４にて、選択された各画像データと合成し、デジタル処理回路６６、記録媒体読み書き部６８を通じて記録媒体に記録する。

これにより、撮像系によって撮像された主画像と、この主画像に係る付帯情報を色や形状などの視覚的特徴によって符号化した第１の符号化画像、および付帯情報を画像解析によって判別可能な形式の第２の符号化画像との合成画像を得ることができる。

次に、本発明の応用例を説明する。

図１６は、図１の実施形態の画像処理装置１００によって作成された合成画像の印刷物である画像シート１０１の、パディングデータの領域の符号化画像１０２を、ペン状の光学読取装置１０３によって読み込み、パディングデータデコード部にて、その符号化画像を復号して、画像に係る付帯情報を得て、その結果を文字で表示器１０４にて表示することができるように構成されたパディングデータ読取装置６００である。

このような応用において、パディングデータの領域の符号化画像１０２として、画像の統合化のための情報のほか、撮影日時、撮影場所、撮影者、題名などの情報を記録するようにしてもよい。

なお、本発明においては、パディングデータを人間が一目で識別することのできる色や形状などの視覚的特徴によって符号化した情報と、画像解析によって判別可能な、たとえば一次元バーコード、二次元バーコードなどの可視的なシンボルを用いた情報の両方で構成することは必須ではない。すなわち、そのいずれか一方の符号化画像でパディングデータを構成するようにしてもよい。

また、図１３に示した画像再生装置３００に付加される機能として、図１７に示すように、複数の合成画像２０−１，・・・，２０−Ｎの各主画像１１−１，・・・，１１−Ｎを縮小して一覧表示（サムネイル表示）する機能がある。この機能の利用に際しては、各主画像の表示のソート条件や表示条件が予めユーザによって選定される。ここで、ソート条件や表示条件には合成画像から分離抽出される符号化画像から復号して得られる付帯情報を利用することも出来る。たとえば、デジタルスチルカメラで撮像された画像に係る付帯情報の場合には、撮影日時順にシーン撮影タイプが夜景である画像をすべてサムネイル表示するように、ソート条件として「撮影日時」を指定し、表示条件として「シーン撮影タイプ＝夜景」を指定する。また、自動でソートしなくても符号化画像部分を比較して視認し手動でソート、比較しても良い。また、表示の際には統合ヘッダ若しくは符号化画像より得られる付帯情報を利用して、主画像部分のみを表示するようにするようにしても良い。

以下に、この機能を利用する場合の動作を説明する。画像再生装置３００は、サムネイル表示の指令をユーザなどから受けると、記録媒体読み込み部４１にて、着脱自在な記録媒体から各画像ファイル３０を読み込み、データ分離部４２にて、主画像１１−１，・・・，１１−Ｎとパディングデータ（第１の符号化画像１４に符号化された付帯情報と第２の符号化画像１５に符号化された付帯情報）との合成画像２０−１，・・・，２０−Ｎをそれぞれ分離抽出する。主画像１１−１，・・・，１１−Ｎは画像デコード部４３にて復号解凍され、パディングデータはパディングデータデコード部４５にて復号され、付帯情報が復元される。記録媒体に記録されたすべての画像ファイル３０の主画像１１−１，・・・，１１−Ｎとその付帯情報が得られた後、画像変換部４６は、これらの付帯情報に基づき、指定された表示の条件を満足する主画像を判定し、指定されたソート条件に基づいて、該当するすべての主画像の表示の並び順を決定し、画像表示部４７に表示する。

さらに、複数画像の統合化として、各主画像に付帯情報として付加された位置情報に基づいて、各主画像を１つの座標空間にマッピングして表示する場合にも、本発明を適用できる。

また、上記実施形態で示した画像処理装置１００、画像再生装置３００、画像再生装置４００における画像処理、画像再生のための機能は、ＰＣなどのコンピュータを機能させるためのプログラムとして提供されるようにしてもよい。

本発明の一実施形態に係わる画像処理装置の全体的な構成を示すブロック図である。 図１の画像処理装置にて生成された合成画像の例を示す図である。 パディングデータの変形例を示す図である。 複数画像を有する合成画像の例を示す図である。 複数画像を有する合成画像の他の例を示す図である。 第１の符号化画像に文字や絵記号を用いた合成画像の例を示す図である。 主画像ごとに第１の符号化画像および第２の符号化画像をもつ合成画像の例を示す図である。 主画像ごとに第１の符号化画像および第２の符号化画像をもつ合成画像の他の例を示す図である。 図１の画像処理装置より出力される画像ファイルの構成を示す図である。 図１の画像処理装置の変形例を示すブロック図である。 画像解析によって判別可能な第２の符号化画像の変形例を示す図である。 画像解析によって判別可能な第２の符号化画像の他の変形例を示す図である。 本発明の第２の実施形態に係わる画像再生装置の構成を示すブロック図である。 本発明の第３の実施形態に係わる画像再生装置の構成を示すブロック図である。 本発明の第４の実施形態に係わる画像再生装置の構成を示すブロック図である。 本発明の応用例であるパディングデータ読取装置を示す図である。 主画像のサムネイル表示機能を説明するための図である。 複数の画像を統合化する方法を説明するための図である。 複数の画像を統合ヘッダ情報により統合化する方法を説明するための図である。 画像の印刷上の問題を説明するための図である。

符号の説明

１ 画像入力部
２ アスペクト調整比入力部
３ データ分離出力部
４ 付帯情報入力調整部
５ 付帯情報生成部
６ パディングデータ生成部
７ 画像合成部
８ 画像エンコード部
９ データ多重化部
１０ 記録媒体書き込み部
１１ 画像ファイル
１１ 主画像
１２，１３ パディングデータの領域
１４ 第１の符号化画像
１５ 第２の符号化画像
２０ 合成画像
１００ 画像処理装置

Claims (6)

1. 複数の画像情報を主画像として入力する画像入力手段と、
   前記複数の主画像の立体視表示又はパノラマ表示のための情報を含み、前記複数の主画像をどのように組み合わせて扱うかを示す統合化情報を含む、前記複数の主画像に係る付帯情報を生成する付帯情報生成手段と、
   前記生成された付帯情報を画像に符号化することで、視覚的特徴によって意味を判別可能な第１の符号化画像と、画像解析によって意味を判別可能な第２の符号化画像とを含む符号化画像を生成する符号化手段と、
   前記入力された複数の主画像を互いに接するように並べて一体化された主画像を生成し、前記一体化された主画像と前記符号化画像とを領域を区分して合成することで合成画像を生成する画像合成手段と
   を具備する画像処理装置。
2. 画像入力手段が、複数の画像情報を主画像として入力し、
   付帯情報生成手段が、前記複数の主画像の立体視表示又はパノラマ表示のための情報を含み、前記複数の主画像をどのように組み合わせて扱うかを示す統合化情報を含む、前記複数の主画像に係る付帯情報を生成し、
   符号化手段が、前記生成された付帯情報を画像に符号化することで、視覚的特徴によって意味を判別可能な第１の符号化画像と、画像解析によって意味を判別可能な第２の符号化画像とを含む符号化画像を生成し、
   画像合成手段が、前記入力された複数の主画像を互いに接するように並べて一体化された主画像を生成し、前記一体化された主画像と前記符号化画像とを領域を区分して合成することで合成画像を生成する
   画像処理方法。
3. 複数の画像情報を主画像として入力する画像入力手段と、
   前記複数の主画像の立体視表示又はパノラマ表示のための情報を含み、前記複数の主画像をどのように組み合わせて扱うかを示す統合化情報を含む、前記複数の主画像に係る付帯情報を生成する付帯情報生成手段と、
   前記生成された付帯情報を画像に符号化することで、視覚的特徴によって意味を判別可能な第１の符号化画像と、画像解析によって意味を判別可能な第２の符号化画像とを含む符号化画像を生成する符号化手段と、
   前記入力された複数の主画像を互いに接するように並べて一体化された主画像を生成し、前記一体化された主画像と前記符号化画像とを領域を区分して合成することで合成画像を生成する画像合成手段として、コンピュータを機能させる画像処理用プログラム。
4. 互いに接するように並べて一体化された複数の主画像と、前記複数の主画像の立体視表示又はパノラマ表示のための情報を含み、前記複数の主画像をどのように組み合わせて扱うかを示す統合化情報を含む、前記複数の主画像に係る付帯情報が画像に符号化された視覚的特徴によって意味を判別可能な第１の符号化画像と、画像解析によって意味を判別可能な第２の符号化画像とを含む符号化画像とが領域を区分して合成された合成画像を入力する合成画像入力手段と、
   前記入力された合成画像から前記複数の主画像と前記符号化画像とを分離する分離手段と、
   前記分離された符号化画像を復号して、前記統合化情報を含む前記付帯情報を再生する復号手段と、
   前記復号された付帯情報に含まれる前記統合化情報に基き、前記分離された複数の主画像の統合化のための演算処理を行う画像変換手段と、
   前記演算処理の結果に基き、統合化された前記複数の主画像を再生する再生手段と
   を具備する画像再生装置。
5. 合成画像入力手段が、互いに接するように並べて一体化された複数の主画像と、前記複数の主画像の立体視表示又はパノラマ表示のための情報を含み、前記複数の主画像をどのように組み合わせて扱うかを示す統合化情報を含む、前記複数の主画像に係る付帯情報が画像に符号化された視覚的特徴によって意味を判別可能な第１の符号化画像と、画像解析によって意味を判別可能な第２の符号化画像とを含む符号化画像とが領域を区分して合成された合成画像を入力し、
   分離手段が、前記入力された合成画像から前記複数の主画像と前記符号化画像とを分離し、
   復号手段が、前記分離された符号化画像を復号して、前記統合化情報を含む前記付帯情報を再生し、
   画像変換手段が、前記復号された付帯情報に含まれる前記統合化情報に基き、前記分離された複数の主画像の統合化のための演算処理を行い、
   再生手段が、前記演算処理の結果に基き、統合化された前記複数の主画像を再生する
   画像再生方法。
6. 互いに接するように並べて一体化された複数の主画像と、前記複数の主画像の立体視表示又はパノラマ表示のための情報を含み、前記複数の主画像をどのように組み合わせて扱うかを示す統合化情報を含む、前記複数の主画像に係る付帯情報が画像に符号化された視覚的特徴によって意味を判別可能な第１の符号化画像と、画像解析によって意味を判別可能な第２の符号化画像とを含む符号化画像とが領域を区分して合成された合成画像を入力する合成画像入力手段と、
   前記入力された合成画像から前記複数の主画像と前記符号化画像とを分離する分離手段と、
   前記分離された符号化画像を復号して、前記統合化情報を含む前記付帯情報を再生する復号手段と、
   前記復号された付帯情報に含まれる前記統合化情報に基き、前記分離された複数の主画像の統合化のための演算処理を行う画像変換手段と、
   前記演算処理の結果に基き、統合化された前記複数の主画像を再生する再生手段として、コンピュータを機能させることを特徴とする画像再生用プログラム。

Images