JP4200419B2 - 写真抽出方法、装置、プログラムおよび記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、フィルムから写真を容易且つ効率的に走査すると共に、走査されたデータを処理してユーザが所望に応じて印刷又は表示するための高品質コピーを発生するのを可能にするような装置及び方法に関する。また、本発明は上記写真抽出及び処理技術の種々の態様を実施化するための命令のプログラムにも関する。
【０００２】
【関連技術の説明】
デジタル画像が提供する便利さ及び高品質再現性、並びに今日のスキャナの増加された能力により、多くの人は、フィルム又はスライド（ネガ又はポジ）のような画像を表示、印刷、送信及び記憶等を行うためにデジタル画像に変換する。これを実行するために、ユーザは先ず一群の画像コマ（例えばフィルムネガ）を適当なテンプレート又はホルダに入れ、該ホルダをスキャナベッド上に載置する。全てではなくても殆どのフィルムフォーマットに対するホルダが存在し、所与のフィルムフォーマットに対しては２以上の型式のホルダが存在し得る。次いで、画像が走査され、そして再生される。
【０００３】
問題は、ユーザが所望する結果を生じさせるのに、しばしば、全体の処理が如何にも面倒且つ時間が掛かるという点にある。画像をホルダ内に正しく入れ、且つ、ホルダをスキャナベッド上に正しく載置するように注意を払わねばならない。更に、時にはユーザは或る選択されたコマにしか興味を有さず、各コマの高品質再生を発生させるために時間及び資源を費したくない場合もある。ユーザは、単に全てのコマを即座に見、次いで高品質再生のためにプリンタ／複写機にどのコマを送るかを選択することを欲するだけかも知れない。
【０００４】
従来のシステムは、斯様な処理要件を扱う容易且つ効率的な方法を提供していない。
【０００５】
【発明が解決しようとする課題】
従って、本発明の目的は、上述したような従来のシステムの問題を、斯様な容易且つ効率的な写真抽出技術を設けることにより克服することにある。
【０００６】
また、本発明の他の目的は、画像保持領域を有するホルダ内に収容された媒体から個々の画像を抽出する方法、装置及び命令のプログラムを提供することにある。
【０００７】
【課題を解決するための手段】
この発明の一態様によれば、ネガフィルム、ポジフィルム又はスライド等の媒体から個々の画像を抽出する方法が提供される。該方法は、前記媒体を相対的に低い解像度で走査して、前記媒体及び該媒体上の前記個々の画像の低解像度デジタル表現を発生するステップと；該低解像度デジタル表現を処理するステップと；前記媒体上で識別された全ての個々の画像のインデックスを発生するステップとを有している。上記低解像度デジタル表現を処理するステップは、前記媒体の境界を規定するステップであって、前記個々の画像の全てが該規定される境界内となるように規定するステップと；前記低解像度表現に平滑化フィルタを適用するステップと；少なくとも１つの画像を含むような各領域のエッジを検出するステップと；前記媒体の向きを決定すると共に、必要なら補正するステップと；前記個々の画像の各々を前記媒体における当該画像に対応する領域内で見付けるステップとを含んでいる。
【０００８】
他の態様においては、本発明は、画像保持領域を有するホルダ内に収容されたネガフィルム、ポジフィルム又はスライド等の媒体から個々の画像を抽出する方法であって、前記媒体及びホルダを相対的に低い解像度で走査して、前記ホルダ及び前記個々の画像を含む前記媒体の低解像度デジタル表現を発生するステップと；該低解像度デジタル表現を処理するステップと；前記媒体上で識別された全ての個々の画像のインデックスを発生するステップとを有するような方法に関するものである。上記の低解像度デジタル表現を処理するステップは、前記ホルダの境界を規定するステップであって、前記画像保持領域の全て及びこれら領域に含まれる前記個々の画像の全てが該規定される境界内となるように規定するステップと；前記低解像度表現に平滑化フィルタを適用するステップと；前記画像保持領域のエッジセグメントを検出するステップと；前記画像保持領域の各々を検出及び識別するステップと；少なくとも１つの画像保持領域の基準に対する向きを決定するステップであって、もし、前記少なくとも１つの画像保持領域が前記基準に対して傾いていると判定されたら、該少なくとも１つの画像保持領域の向きを補正するステップと；前記個々の画像の各々を前記画像保持領域内で見付けるステップとを含んでいる。
【０００９】
上記方法は、更に、サムネイル画像の集合を有することができる前記インデックスから前記個々の画像の１以上を選択するステップと；選択された個々の画像の各々を相対的に高い解像度で再走査するステップと；前記選択された個々の画像の各々の高解像度出力を発生するステップとを有することができる。
【００１０】
前記の境界を規定するステップは、前記ホルダを表すピクセルの最外側の行／列内の、又は該行／列から所定距離内のピクセルを暗くするステップを有することができる。
【００１１】
前記低解像度デジタル表現がＲＧＢカラー表現である場合、前記のフィルタを適用するステップは、前記平滑化フィルタを前記低解像度表現における各ピクセルのＲデータのみに適用するステップを有することができる。好ましくは、上記平滑化フィルタの各出力ピクセルは、当該ピクセルの前置フィルタ処理されたものと、所定の近隣におけるピクセルの各々との加重平均により決定される。
【００１２】
前記のエッジを検出するステップは、前記低解像度表現を二進データに低減し、次いで該二進データを前記画像保持領域の境界に低減するステップを有することができる。更に詳細には、上記エッジ検出ステップは、エッジ検出器を前記低解像度表現に適用するステップであって、該エッジ検出器の各出力ピクセルが所定のエッジ検出フィルタ核（カーネル）により決定されるようなステップと、次いで前記各出力ピクセルに閾テストを適用して、この出力ピクセルが所定の閾より高いか又は低いかを決定するステップと、この出力ピクセルを前記閾テストの結果に基づいて１又は０にするステップとを有することができる。
【００１３】
前記の検出及び識別するステップは、前記画像保持領域の検出されたエッジセグメントを画像保持領域エッジセグメントに類似した全てのアーチファクトから区別するステップと、連結されたエッジセグメントの群を識別するステップと、前記画像保持領域の各々を、連結されたエッジセグメントの対応する群のサイズ及び形状から識別するステップとを有することができる。
【００１４】
前記の向きを決定するステップは、１以上の画像保持領域の前記基準に対する回転角度を、当該画像保持領域の代表的な線描のハフ変換を計算することにより算出するステップを有することができる。
【００１５】
前記の個々の画像を見付けるステップは、識別された画像保持領域の各々における前記媒体の境界を識別するステップを有することができ、各個々の画像の境界を識別するステップを更に有することができる。
【００１６】
本発明の他の態様は、画像保持領域を有するホルダ内に収容されたネガフィルム、ポジフィルム又はスライド等の媒体から個々の画像を抽出する装置に関するものである。該装置は、前記媒体及びホルダを相対的に低い解像度で走査して、前記ホルダ及び前記個々の画像を含む前記媒体の低解像度デジタル表現を発生するスキャナと；該スキャナと通信して、前記低解像度デジタル表現を記憶する記憶媒体と；該記憶手段と通信して、前記低解像度デジタル表現を処理する処理手段と；前記媒体上で識別された全ての個々の画像のインデックスを発生する手段とを有している。上記処理手段は、前記ホルダの境界を規定する手段であって、前記画像保持領域の全て及びこれら領域に含まれる前記個々の画像の全てが該規定される境界内となるように規定する手段と；前記低解像度表現に平滑化フィルタを適用する手段と；前記画像保持領域のエッジセグメントを検出する手段と；前記画像保持領域の各々を検出及び識別する手段と；少なくとも１つの画像保持領域の基準に対する向きを決定する手段であって、もし、前記少なくとも１つの画像保持領域が前記基準に対して傾いていると判定されたら、該少なくとも１つの画像保持領域の向きを補正するような手段と；個々の画像の各々を前記画像保持領域内で見付ける手段とを含む。
【００１７】
上記装置は、更に、サムネイル画像の集合を有することができる前記インデックスから前記個々の画像の１以上を選択する手段と；選択された個々の画像の各々の高解像度出力を発生する手段とを有することができ、前記スキャナが上記の選択された個々の画像の各々を斯様な高い解像度で再走査する。
【００１８】
前記の境界を規定する手段は、前記ホルダを表すピクセルの最外側の行／列内の、又は該行／列から所定距離内のピクセルを暗くすることができる。
【００１９】
前記低解像度デジタル表現がＲＧＢカラー表現である場合、前記平滑化フィルタを適用する手段は、平滑化フィルタを前記低解像度表現における各ピクセルのＲデータのみに適用する。好ましくは、上記平滑化フィルタの各出力ピクセルは、当該ピクセルの前置フィルタ処理されたものと、所定の近隣におけるピクセルの各々との加重平均により決定することができる。
【００２０】
前記のエッジセグメントを検出する手段は、前記低解像度表現を二進データに低減し、次いで該二進データを前記画像保持領域の境界に低減することができる。更に詳細には、上記エッジセグメント検出手段は、各出力ピクセルが所定のエッジ検出フィルタカーネルにより決定されるようなエッジ検出器を前記低解像度表現に適用し、次いで前記各出力ピクセルに閾テストを適用して当該出力ピクセルが所定の閾より高いか又は低いかを決定し、この出力ピクセルを前記閾テストの結果に基づいて１又は０にすることができる。
【００２１】
前記の検出及び識別する手段は、前記画像保持領域の検出されたエッジセグメントを画像保持領域エッジセグメントに類似した全てのアーチファクトから区別し、連結されたエッジセグメントの群を識別し、前記画像保持領域の各々を、連結されたエッジセグメントの対応する群のサイズ及び形状から識別することができる。
【００２２】
前記の向きを決定及び補正する手段は、１以上の画像保持領域の前記基準に対する回転角度を、当該画像保持領域の代表的な線描のハフ変換を計算することにより算出することができる。
【００２３】
前記の見付ける手段は、識別された画像保持領域の各々における前記媒体の境界を識別することができると共に、各個々の画像の境界を更に識別することができる。
【００２４】
本発明の更なる態様によれば、上述した方法及びそのステップの何れかを、命令のプログラム（例えば、ソフトウェア）で実施化することができ、該プログラムは実行するためにコンピュータ若しくは他のプロセッサ制御型装置に記憶し、又は斯かるコンピュータ若しくは装置に伝送することができる。他の例として、前記方法及びそのステップの何れかを、機能的に等価なハードウェア構成要素又はソフトウェアとハードウェアとの組み合わせを用いて構成することもできる。
【００２５】
本発明の他の目的及び利点並びに完全な理解は、添付図面と共になされる下記の説明を参照することにより明らかとなり且つ理解されるであろう。
【００２６】
尚、図面において同様の符号は同様の構成要素を示している。
【００２７】
【発明の実施の形態】
図１は、本発明の技術を使用することができる典型的な画像再生システム１０の構成要素を図示している。図１に示すように、該システムは中央処理装置（ＣＰＵ）１１を含み、この中央処理装置は計算資源を提供すると共に当該コンピュータを制御する。ＣＰＵ１１は、マイクロプロセッサ等を用いて構成することができ、グラフィックスプロセッサ及び／又は数学的計算のための浮動小数点コプロセッサを含んでいても良い。システム１０は更にシステムメモリ１２を含むことができ、該システムメモリはランダムアクセスメモリ（ＲＡＭ）及び読出専用メモリ（ＲＯＭ）の形態とすることができる。
【００２８】
多数のコントローラ及び周辺装置も図１に示すように設けることができる。各入力コントローラ１３は、キーボード、マウス又はスタイラス等の１以上の入力装置１４に対するインターフェースを表している。コントローラ１５も存在し、該コントローラは写真画像をデジタル化するためのスキャナ１６又は等価な装置と通信する。１以上の記憶コントローラ１７が１以上の記憶装置１８とインターフェースし、各記憶装置はオペレーティングシステム、ユーティリティ及びアプリケーション用の命令のプログラムを記録するのに使用することができるような磁気テープ若しくはディスクのような記憶媒体、又は光媒体を含む。上記アプリケーションは、本発明の種々の態様を実施化するプログラムの実施例を含むことができる。記憶装置（又は複数の装置）１８は、本発明により処理されるべきデータを記憶するのに使用することもできる。表示コントローラ１９は表示装置２１に対するインターフェースを提供し、上記表示装置は陰極線管（ＣＲＴ）又は薄膜トランジスタ（ＴＦＴ）表示器とすることができる。プリンタ２３と通信して本発明により処理された写真画像を印刷するために、プリンタコントローラ２２も設けられている。通信コントローラ２４は通信装置２５とインターフェースし、該通信装置は当該システム１０が、インターネット、ローカルエリアネットワーク（ＬＡＮ）及び広域ネットワーク（ＷＡＮ）を含む種々のネットワークの何れかを介して、又は赤外線信号を含む適切な電磁搬送信号を介して遠隔装置と接続するのを可能にする。
【００２９】
図示の実施例においては、全ての主要なシステム構成要素はバス２６に繋がり、該バスは２以上の物理的バスを表すことができる。例えば、幾つかのパーソナルコンピュータは所謂工業規格アーキテクチャ（ＩＳＡ）バスのみを含んでいる。また、他のコンピュータはＩＳＡバス及び広帯域バスを含んでいる。
【００３０】
全てのシステム構成要素は互いに物理的に接近して配置することができるが、これは本発明の要件ではない。例えば、上記スキャナ、プリンタ又は両者はプロセッサ１１から遠くに配置されていてもよい。また、本発明の種々の態様を実施化するプログラムは、ネットワークを介して遠隔位置（例えば、サーバ）からアクセスすることができる。このように、走査されたデータ、印刷されるべきデータ又は本発明の種々の態様を構成するようなプログラムを具現化するソフトウェアは、プロセッサ１１に対して、磁気テープ若しくはディスク又は光ディスクを含む種々のマシンが読取可能な媒体の何れかを介して伝送することができ、これら媒体の何れかはシステムメモリ１２若しくは記憶装置（又は複数の装置）１８、ネットワーク信号、又は赤外線信号を含む他の適切な電磁搬送信号を構成するのに使用することができる。
概要
本発明の写真抽出技術は、スキャナ１６に対し、ネガ又はポジの３５mm又は４ｘ６インチフィルムから個々の白黒（ｂ＆ｗ）又はカラー写真を走査するよう指令する。この技術によれば、全ての斯様なフィルム型式及びサイズに適合することができる。更に、この技術は主にフィルムに、特にネガフィルムに対して設計されているが、該技術はスライドで以っても動作する。下記説明の殆どにおいては、ネガフィルムが、走査される媒体であるとされている。
【００３１】
ネガ３２は、図２に示すように標準のフィルムホルダ３１内に配置される。このアセンブリ（即ち、ネガ３２が収容されたホルダ３１）は、次いで、スキャナベッド上に載置される。上記ネガ及びホルダの低解像度カラー走査がスキャナ１６によりなされ、該低解像度表現が記憶される（例えば、システムメモリ１２又は記憶装置１８に）。一実施例においては、この低解像度走査は９６ドット／インチ（dpi）の解像度で実施されるが、他の解像度を使用することもできる。ここでの取引は、速度対もっと正確な後続処理（例えば、もっと正確な個々の写真の位置決定及びもっと正確な向きの決定）である。また、最終的走査解像度は制限されることはなく、最終出力画像の解像度にのみ影響するものであるが、該最終出力の品質は初期走査計算の如何なる不正確さも反映する。９６dpi解像度の初期走査は、これらの点を考慮すると合理的な妥協であると思われる。
【００３２】
当該写真抽出技術は、上記フィルム及びホルダの低解像度走査のデジタル表現を処理し、該フィルムで見付かった個々の写真の全てに関するサムネイルを有するインデックスページを印刷し、各写真のサイズ及び位置に関して収集された情報を用いて上記スキャナに所望の写真を印刷用の高解像度において走査するように指示する。上記低解像度表現を処理する過程で（即ち上記初期走査処理において）、該写真抽出技術はフィルムの型式（例えば、３５mm、４ｘ６インチ等）を自動的に検出し、スキャナベッド上へのホルダの曲がった載置を自動的に補正するので、該技術は最小限の手動入力しか必要としない。一旦、フィルムがホルダに入れられ、該ホルダがスキャナベッド上に載置されると、該技術は、必要とされる唯一の他のユーザ入力が、高解像度で印刷されるべき写真のインデックスであるように実施することができる。
【００３３】
説明及び理解を容易にするため、上記初期走査表現の処理を８つのステップに分割することができる。これらステップの境界は、ここでは、説明の便宜上規定されている。指定された機能及びこれら機能の関係が適切に実施される限りにおいて、他の境界も規定することができる。
【００３４】
個々の写真が上記初期走査処理で一旦見付かったら、インデックス印刷を実行することができ、ユーザにより選択された写真を高解像度で走査し、印刷することができる。
【００３５】
初期走査処理の８つのステップを、以下、カラーデジタル表現の場合について説明する。これらステップは図３のフローチャートにも示されている。
初期走査処理
１．エッジの充填
先ず、ステップ３０１において、低解像度デジタル表現３０の境界上又は境界の近くの幾つかのピクセル（例えば、最外側の１〜３行及び列におけるピクセル）を黒にする。これは、如何なる明るい領域も当該ホルダ内であって、外側ではないことを保証する。これは、変動の量を大幅に低減し、初期走査の写真サイズ及び実際のフィルム保持領域３３の自動検出を補助する一方、斯様にするために要する処理の量を低減する。
２．平滑化
ステップ３０２において、上記の変更された低解像度表現の１つのカラーチャンネルが分離され、平滑化され、別のバッファに記憶される。ＲＧＢ表現における３つのチャンネルのうちの赤が、フィルムホルダ３１の中実部分とフィルムを含むことができる領域３３を含むような当該ホルダの開口との間の差の最も信頼性のある指示子であることが実験的に分かった。このように、このステップにおいては、好ましくは赤のチャンネルが分離され、平滑化され、記憶される。合計で２４ビット／ピクセルの場合、各チャンネルは典型的には８ビット／ピクセルのデータストリームを有するが、他の解像度も可能である。何れの場合においても、単一のデータチャンネルの使用は、このステップにおいて必要とされる処理を低減し、それでいて信頼性を維持する。
【００３６】
“平滑化フィルタ”は、上記低解像度表現におけるノイズを除去するために使用される線形フィルタであり、斯かるノイズは当該技術のステップ３０４及び３０５等の後のステップの間における処理を低速化させる可能性がある。該平滑化フィルタは、さもなければエッジ検出ステップ（ステップ３０３）において現れるであろうエッジの多くを除去するが、フィルタを含み得る領域の境界を表すようなエッジの如何なるものも除去しない。
【００３７】
上記平滑化フィルタは、該フィルタがその入力バッファから出力バッファへデータを伝送するにつれて、上記低解像度の１つのチャンネル（例えば、赤のチャンネル）のデータを平滑化する。上記バッファの各々は、例えば、システムメモリ１２の領域、記憶装置１８における高速記憶領域、又は他の機能的に等価な方法により実施化することができる。各出力ピクセルは、自身（前置フィルタ処理された）と、所定の近隣のピクセルの各々との加重平均により決定される。上記所定の近隣のサイズ及び各入力ピクセルに割り当てられるべき重みは所定の核（カーネル）により決定される。使用されるべきｍｘｎのカーネルは初期走査の解像度に依存する。或る実施例においては、全て１の３ｘ３のカーネルが使用され、ここで出力ピクセルは入力ピクセルと、その８つの隣接のものとの平均となる。上記重み付けに依存して、平滑化されたチャンネルはｎビット／ピクセルのデータストリームからｍビット／ピクセルのデータストリームに変換することができる。
【００３８】
一旦写真の位置が決まった場合に、これら写真のサムネイルを抽出することができるように、前記低解像度表現の品質を落とさないコピーが依然として記憶されているべきである。後の段階における保護が、エッジの正確な位置の検出に影響するような、ここで導入され得る僅かなエラーを補償する。
３．エッジの検出
ステップ３０３において、ステップ３０２からの低解像度表現は二進データに減少され、エッジ検出器が結果としての該二進データを臨界的情報（例えば、フィルム３３を保持する領域を含むような開口の周囲の境界線３０ａ）のみに減少させる。当該写真抽出技術は、上記データを、ホルダ内のフィルム保持領域３３の僅かに粗い輪郭を表すような明確なエッジに関して検証する。このステップは図４に示され、該図は上記ホルダデータが境界線３４に減少され、それらの幾つかがフィルム保持領域３３を規定していることを示している。
【００３９】
前記低解像度表現の二進データ（例えばｂ＆ｗ）への減少は、好ましくは、ＲＧＢデータを赤のチャンネルを分離することにより実行される。赤チャンネルが他の２つのチャンネルの何れよりもフィルム保持領域を見付けるのに一層強力であることが実験的に分かった。所与のピクセルが黒であるか又は白であるかを決定するために使用される実際の閾値は様々であるが、本発明者は３５なる値（０ないし２５５の目盛り上で）を使用した。その２４ビットＲＧＢカラー値が上記閾値（例えば３５）より低い赤の値を有するような如何なるピクセルも、非フィルム保持領域内にあると見なされ、従って黒とされる。上記閾値よりも高い赤の値を持つ如何なるピクセルも、フィルム保持領域内に存在しそうであり、従って白にされる。
【００４０】
都合上、上記エッジ検出器はエッジ検出フィルタとして実施化することができ、該フィルタは上記平滑化フィルタと、使用するカーネルを除き同一とすることができる。しかしながら、他の機能的に等価なエッジ検出フィルタを使用することもできる。前記平滑化フィルタと同様に、該エッジ検出フィルタのカーネルのｍｘｎサイズは、当該表現の解像度に依存する。或る実施例においては、図５に示すカーネルが使用される。このカーネルによれば、出力ピクセルの値は、対応する入力ピクセルの８倍から該入力ピクセルの隣接ピクセルの各々の値を減算したものとなる。次いで、各出力ピクセル値は、該値に閾テストを適用することにより１又は０にされる。零より大きな値を持つ各ピクセルは１となり、零以下の値を持つ各ピクセルは０となる。
４．可能性のあるフィルムスロットの検出
ステップ３０３で検出されたエッジは、種々の接続された構成部分（成分）を形成している。各々の接続された成分は、ホルダ３１のフィルム保持領域３４を表し得るか、又は該ホルダの何らかのアーチファクトを表し得る。領域３４は、ステップ３０４においてサイズ及び形状によりアーチファクト３５から区別される。
【００４１】
接続された成分を決定することができる１つの方法は下記の通りである。上記エッジ検出器出力に関して、行に基づくランレングスのテーブルが作成される。当該データは二進であり、１は疎らであるので、このテーブルは極めてコンパクトなものである。このテーブルに対する２工程処理が、先ず、接続された区画（セグメント）をリンクし、これらのリンクされたセグメントを固有の識別ラベルの下でグループ化する。即ち、リンクされたセグメントには各々同一の識別ラベルが付与され、これらが同一の接続された成分に属することを示す。入力において１なる値を持っていた全てのピクセルは、その成分のラベル値により置換された値を有し、該値は０と成分の合計数から１を減算したものとの間の整数となる。成分の合計数は、後の使用のために記録される（例えば、システムメモリ１２又は記憶装置１８に）。
【００４２】
フィルム保持領域３４は、ユーザの選択により、又はフィルムホルダの型式及びフィルム保持領域のサイズを識別する当該ホルダ上の機械読取可能な識別子（バーコード等）により区別することができる。他の実施例においては、当該写真抽出技術は、考察中の領域のサイズ及び形状を使用して、該領域がフィルム保持領域であるか否かを決定する。領域は、該領域が最小の可能性のあるフィルム保持領域の少なくとも最小高さ及び幅である場合、多分フィルムを収容していると判定される。２つの最も普通のホルダ（３５mm及び４ｘ６インチ）のうち、３５mmホルダは小さい方のフィルム保持領域（112.5mm x 24mm）を有している。一実施例においては、領域は、その境界となる長方形（当該領域の最大及び最小のｘ及びｙ座標により規定される）が少なくとも８００ｘ（dpiにおける低解像度表現／１２０dpi）のピクセルを含むと共に少なくとも３．３３インチの高さを有する場合にフィルムを収容していると見なされる。図６は、フィルム保持領域３４を表す接続された成分の、アーチファクト３５を表す成分からの区別の結果を示している。
５．真のフィルムスロットの識別
領域３４のサイズ及び形状に基づいて、フィルムの型式（３５mm又は４ｘ６インチ）を検出することができる。ステップ３０５において、検出されたフィルム保持領域３４は、図７に示すように不所望な領域（即ち、当該ホルダの残部）から分離される。
【００４３】
２つの最もポピュラーなホルダにおけるフィルム保持領域のサイズにより、４ｘ６インチフィルムの領域は、４インチ＜ｗ＜６インチ及び５インチ＜ｈ＜６インチとなるような幅ｗ及び高さｈを有するとして区別することができる一方、３５mmフィルム領域は、２４mm＜ｗ＜４インチ及び１１２．５mm＜ｈ＜５インチとなるような幅ｗ及び高さｈを有するとして区別することができる。これらの測定値は、当該表現の解像度（dpiでの）に従いピクセルに変換される。幾らかのピクセル（例えば、９６dpiに対しては３）のエラーマージンが、当該低解像度表現における粗い分割により導入される如何なる僅かなエラーも当該処理の結果を害さないことを保証する。
【００４４】
真のフィルムスロットを識別したら、下記のステップの各々が、フィルムを保持し得る各領域に対して実行される。
６．フィルムの向きの決定及び補正
これは、最も時間の掛かるステップである。各フィルム保持領域の回転角は、ステップ３０６において、当該領域の代表的な線描（前記エッジ検出器の出力から容易に取り出すことができる）のハフ変換を計算することにより見付けられる。或る実施例においては、ハフ変換が、特定のフィルム保持領域を囲む各成分の傾き角を計算するために使用される。該傾き角は、傾いた表現を真っ直ぐにして個々の写真のサムネイル画像を形成するために使用されると共に、印刷のための最終走査画像を傾き補正するために後に使用されるであろう。
【００４５】
ハフ変換は、デジタル表現の基礎を当該表現中のラインを点にマップすることにより変更する良く知られた技術である。所与の成分の輪郭における各ピクセルが考慮され、特に、当該ピクセルを通過すると共に、０度と３６０度との間の傾き及びｄθ（或る実施例においては０．２５度）の倍数を有するような当該表現における各ラインが考慮される。１以上のピクセルを通過し得る斯様な各ラインに、該ラインが通過するピクセルの数に等しい“投票”数が付与される。各ピクセル対を経るラインが決定され、１投票として記録される。当該成分の角度は最も多い投票を有するラインの傾きから決定される。当該ハフ変換の全ての他の出力は無視される。
【００４６】
上記ハフ変換の出力の精度は、所望なら、速度のために犠牲にすることができる。これを実施する１つの方法は、ｄθを増加させることである。これを実施する他の方法は、成分のピクセルをサブサンプル処理することにより計算の量を減少させることである。また、傾き角を決定する余り強固でない他の方法も存在する。例えば、個々の各成分の傾き角を計算することは不必要であると考えることができる。何故なら、それらは当該ホルダ内において全て同一の向きであるべきであるからである。事実、所要の精度に応じて、上記ハフ変換に代えて他の適切な傾き角検出アルゴリズムを使用することもできる。
【００４７】
ハフ変換が採用されたと仮定すると、その後、当該成分に対応するフィルム保持区域の傾き補正されたデータを保持するために新たなバッファが作成される。システムメモリ１２の一部とすることができる該バッファは、各成分に関して再使用される。傾き補正された画像における各ピクセルの値は、三角法を用いて、傾いた画像における該ピクセルの座標を該ピクセルの新たな座標及び上記ハフ変換が算出した傾き角から見付けることにより決定される。傾いた画像におけるピクセルの算出された座標は整数でない可能性があるので、通常は、該傾いた画像からの個々のピクセルを傾き補正された画像へ単純に移植することは可能ではない。各ピクセルは、その座標の算出された値に最も整合するピクセルをとるか、又は算出された非整数座標を囲むピクセル（４個までのピクセル）の加重平均をとることにより移植することができる。後者の方法は傾き補正された画像の高品質に繋がるが、この段階での画像品質の保存はサムネイル表示にしか影響しないので、後の処理の性能にとっては余り重要ではなく重大でもない。
【００４８】
フィルム保持領域の境界に関する座標及びその回転角を用いて、当該写真抽出技術は、前記低解像度表現における向きに対して該領域を真っ直ぐにすると共に、該領域を更なる処理のために一時バッファにコピーする（好ましくは、２４ビットカラーで）が、該一時バッファはシステムメモリ１２の一部とすることができる。回転の後、当該フィルムの長い方の寸法は垂直となり、短い方の寸法は水平となる。３５mmフィルムの場合、当該フィルムのこの寸法は、その高さではなく、その幅と呼ばれる。
【００４９】
前記低解像度表現における如何なる妥当な角度（例えば、±１０度）の曲がりも補正することができる。該角度の大きさに対する限界は、この段階にあるのではなく、後における所望の写真の最終走査に存在する。該角度が大き過ぎる場合、最終走査は、利用可能なものよりも多くのラインのバッファ空間を必要とする。角度θでの走査から、１行の幅ｗのピクセルの真っ直ぐにされた出力を生成するにはｗｘsin(θ)のラインのバッファが必要とされる。数行のみしか利用可能でない場合、当該写真抽出技術は、ここでは、フィルムホルダが手動で真っ直ぐにされることを要すると共に、もう一度の初期走査がなされるべきと判定することができ、かくして、無駄な後続の処理を防止する。
７．フィルム領域の識別
上記の傾き補正された成分は、回転のアーチファクトとして不所望な境界が存在し得るので、通常、切り取り（クロップ）されねばならない。これが当該処理におけるステップ３０７であり、図８に図示されている。切り取りアルゴリズムは、単に、当該フィルムを表す２４mm（又は、４ｘ６インチフィルムの場合、４インチ）幅及び可変高さ（又は、４ｘ６インチフィルムの場合、５インチ）の各成分により規定される領域を見付けるよう試行する。当該フィルムが一旦分離されると、写真を見付けることができる。
【００５０】
上記アルゴリズムは、傾き補正された各成分の切り取り座標を以下のように決定する。該アルゴリズムは、前記初期走査解像度に応じてピクセルに変換された当該フィルムの幅（２４mm又は４インチ）に略等しい長さを有する、当該フィルムの色範囲内に入るような、最初の及び最後の水平線分を見付ける。本発明者により使用された範囲は７０＜Ｒ＋Ｇ＋Ｂ＜６２０である。これら２つの線分の始点及び終点は、切り取りのための下側及び上側限界ｘ座標とするために各々平均される。
【００５１】
上記の決定された切り取りの垂直方向の境界を用いて、水平方向の境界を見付ける必要がある。これは、上記垂直切取線の中心を通る垂直線をチェックすることにより実行される。当該フィルムの色範囲内で当該画像の長さ（検出されたフィルム型式に応じて、３６mm又は５インチ）と等しいピクセル数を含むような、上記線に沿う最初及び最後の垂直線が見付けられる。このようにして、水平方向の境界が決定される。当該アルゴリズムが妥当な領域を生じることに失敗した場合（即ち、当該領域が写真としては幅又は高さの何れかが小さ過ぎる場合）は、当該成分はフィルムを含まないとして破棄される。
８．写真の発見
ステップ３０８においては、個々の写真が見付けられる。４ｘ６インチフィルムの場合、各フィルム保持領域は１つの写真のみを表すので、該写真は当該ホルダから難なく抽出される。先の切り取り処理が、フィルムホルダの部分が当該写真の如何なる最終的印刷出力にも含まれないことを保証する。この切り取り処理は、各エッジにおいて数ピクセル程度にしか達せず、前記低解像度表現におけるピクセルの混合、及び最初の走査と最終の走査との間の配置の可能性のある矛盾を考慮する。
【００５２】
３５mmフィルムの場合、取り決めは可視画像が２４ｘ３６mmであるということである。しかしながら、カメラ間の僅かな変動を見越すために、全ての固有の値には数ピクセル（９６dpiの初期走査解像度の場合は３）のエラーの余裕が付与されて、最終走査に写真の境界が現れないことを保証する。如何なる引っ掻き傷、孔等も、前記検出を妨害しないように、非露光フィルムの色で着色される。３５mmフィルムの場合、多くの写真が１つの区画上に隣接して位置し得る。かくして、個々の写真は互いに分離されねばならない。
【００５３】
非露光フィルムと考えられるような、明るさの或る許容範囲内にある各水平帯部に印が付される。当該写真抽出技術は、どのグループの帯部が写真間の間隔を表しているかを決定することにより、写真の可能性のある位置を探索する。この計算において考慮されるものは、上記グループの幅及び整列である。各写真は、システムメモリ１２内に構成することが可能な収集バッファにコピーされ、インデックスプリントを生成するために該バッファから上記写真にアクセスされる。初期走査における各コマの位置は、ユーザが高解像度で再走査及び印刷したいと欲する場合に即座に取り出すために記憶される。
【００５４】
即ち、“写真の発見”アルゴリズムが採用され、該アルゴリズムは真っ直ぐにされ且つ切り取られたフィルムを取り出すと共に別個の写真に分解しようと試みる。４ｘ６インチフィルムの場合、見付けるべき写真は１つしか存在せず、該写真は簡単に抽出される。３５mmフィルムは、フィルムの区域上の写真の数が通常は未知であるので、もっと困難である。
【００５５】
３５mmフィルムの場合、“写真の発見”は先ず当該フィルムを介して水平行方向に走査する。７０（前記コマ切り取りと同一の閾）より小さい平均Ｒ＋Ｇ＋Ｂ値を持つ如何なる行も、実験的に決定され且つ特定のスキャナ、スキャナ設定及びフィルム型式に調整することができるＲＧＢ値（Ｒ，Ｇ，Ｂ）を持つようなピクセルの行と置換される。実際のＲ，Ｇ，Ｂ値はフィルム及びスキャナの型式に応じて変化するであろうが、３５mm、２００の速度のコダック（登録商標）フィルム用の或る実施例においては、Ｒ＝２４９、Ｇ＝１８４及びＢ＝１５０が良好な結果をもたらした。この行置換ステップは、当該スキャナからのグレアが２つの隣接するフィルム区画を１つの大きな区画として解釈させる場合に導入され得るようなエラーに対処することを意図している。
【００５６】
ここで、行の各カラーチャンネルが再び考察される。その平均ピクセル値が非露光フィルムの（当該チャンネルに関して）実験的に決定されたカラーの９９％よりも大きい場合、該行はコマ間の可能性のある境界として印される。コマ間の間隔は典型的には約１．５mmであるので、当該アルゴリズムは大凡斯かるサイズの連続したブロックを探索して、どの候補が写真間の真の境界であるかを決定する。これら境界のサイズはカメラ毎に変化し得、且つ、必ずしも正確でないので、好ましくは、当該アルゴリズムの該点には幾らかの柔軟性が組み込まれる。
【００５７】
写真の位置は下記のように見付けられる。先ず、当該フィルムが長さ的に調べられる。候補境界行より前の何れの位置も、写真の可能性のある“終了”位置であると見なされる。候補境界行の後の如何なる位置も、写真の可能性のある“開始”位置であると見なされる。当該アルゴリズムは、重なり合わず、且つ、各“開始”がフィルムの３６mm下方で“終了”により後続され、各“終了”（最後のものを除く）がフィルムの１．５mm下方で“開始”により後続されるような“開始”及び“終了”の集合を探索する。
【００５８】
このような集合を得るために、当該アルゴリズムは、３６mm（エラーマージンを含んで）後に“終了”を有するような最初の“開始”の位置を探索する。これが一旦見付かったら、該アルゴリズムはフィルムを介して逆に探して、当該ロール上の最初の写真を見付ける。該アルゴリズムは写真の開始及び終了位置を適応的に検出するよう試みるが、これらを見付けることができない場合は、３６mm及び１．５mmなるデフォルト値が使用される。各写真の位置は記録され、各写真はサムネイルのバッファにコピーされる。これらサムネイルは、所望に応じて、最終走査を指令するためのインデックスページを作成するために並び替えることができる。
最終処理
各写真がインデックス付けされると共にサムネイルとして記憶されたので、ステップ３０９においてインデックスページを準備することができる。図９に示すように、このインデックスは、全ての写真のサムネイルを、それらのインデックス番号と一緒に示すような１つの印刷ページとすることができる。プリンタ２３に出力するように設計された該ページは、ライン毎に準備されるので、非常に少ないメモリしか必要とされない。代わりとして、又は印刷に加えて、該インデックスページは表示装置２１上に表示することもできる。
【００５９】
ユーザは該インデックスページを見て、どの写真が高解像度で印刷されるべきかを決定する。次いで、ユーザはインデックス又は複数のインデックス及び最終走査用の解像度を選択する。当該写真抽出技術は、スキャナ１６にスキャナベッド上のフィルムホルダ内のネガから所望の各コマを走査するよう指令し、前記初期走査処理から決定された角度及び位置データを用いて各写真を真っ直ぐにすると共に印刷する。これは、上記スキャナベッド上のフィルムホルダが、上記初期走査がなされてからずらされていないと仮定していることに注意されたい。
【００６０】
特定の写真が高解像度で再走査されるように選択された場合、前記初期走査からの該写真の角部の座標が、新たな高解像度における座標に拡縮尺される。スキャナ１６は当該写真に関連するデータを含むようなラインのみを走査するよう指令される。システムメモリ１２内とすることができるバッファが、これらのラインを収集する。
【００６１】
上記バッファが１行の出力に関する全てのデータを含むやいなや（何故なら、入力データは傾いている一方、出力は傾き補正されているから）、該行は回転されてプリンタのパイルラインに出力される。他のラインが出力することができるようになるまで、新たなラインが上記バッファに読み込まれる。該バッファが満杯になると、古いデータは捨てられ、新たなデータが入力される。重ね書きされたラインが依然としてプリンタに出力されていないデータを含むことがあり得る。斯かる場合は、明示的なチェックによるのではなく、バッファのサイズが完全な１ライン分の出力を保持するのに充分な程大きいかを計算することにより防止することができる。もしそうなら、通常は、重ね書きからの結果としてエラーが生じることはない。もしそうでないなら、傾き角度が大き過ぎ、その場合には、ユーザが、低解像度を選択するか、又はフィルムホルダを手動により真っ直ぐにして再度試みるよう促される。これは、最終走査の解像度及び傾き角度のみに依存するので、該技術は、上記角度及び出力解像度が分かるやいなや、その手順を打ち切るように構成することができる。従って、可能性のある最も早い時間は、ステップ３０６においてである。当該プログラムが、そこで終了した場合、多くの時間を節約することができる。
【００６２】
【発明の効果】
上記記載が示すように、本発明は効率的且つ使い易い写真抽出技術を提供し、該技術はスキャナとパーソナルコンピュータ又は他の処理装置上で動作するソフトウェアとを用いて都合良く構成することができる。上述して種々のバッファの各々は、システムメモリ１２の一部又は記憶装置１８における記憶媒体の高速領域として都合良く構成することができる。また、本写真抽出技術は、個別論理回路、１以上の特定用途集積回路（ＡＳＩＣ）、デジタル信号プロセッサ、又はプログラム制御型プロセッサ等のハードウェア部品を用いて構成することもできる。また、ソフトウェアとハードウェアとの組み合わせも、本写真抽出技術を実施化するのに使用することができる。
【００６３】
これらの実施化代替例を心に留めて、上記ブロック及びフローチャートは或る特定の機能の作用及びそれらの関係を示すものであると理解されたい。これら機能ブロックの境界は、ここでは説明の便宜上規定されている。指定された機能が実行され、且つ、それらの間の関係が適切に維持される限りにおいて、他の境界を規定することもできる。各図及びそれらに伴う説明は、当業者がプログラムコード（即ち、ソフトウェア）を書く、又は所要の処理を実行する回路（即ち、ハードウェア）を製造するのに要する機能的情報を提供している。
【００６４】
以上、本発明を幾つかの特定の実施例に関連して説明したが、上記説明に照らして、当業者にとっては多くの他の代替例、修正例、変形例及び用途が明らかであろう。かくして、ここで説明した本発明は、添付請求項の趣旨及び範囲内に入るであろうように、全ての斯様な代替例、修正例、変形例及び用途を包含することを意図するものである。
【図面の簡単な説明】
【図１】図１は、本発明の態様を実施化するのに使用することができる例示的な画像再生システムの構成要素を図示するブロック図である。
【図２】図２は、標準のフィルムホルダの平面図であり、該フィルムホルダのフィルム保持領域に収容されたネガフィルムを伴っている。
【図３】図３は、本発明の実施例による初期走査及び最終処理のステップを示すフローチャートである。
【図４】図４は、本発明の実施例による初期走査処理のエッジ検出ステップを示す。
【図５】図５は、上記エッジ検出ステップに使用することができるエッジ検出フィルタ用の例示的な核（カーネル）を示す。
【図６】図６は、本発明の実施例による初期走査処理における可能性のあるフィルムスロットを検出するステップを示す。
【図７】図７は、本発明の実施例による初期走査処理における真のフィルムスロットを識別するステップを示す。
【図８】図８は、本発明の実施例による初期走査処理におけるフィルム領域を識別するステップを示す。
【図９】図９は、本発明の実施例による最終処理において発生されるインデックスページを示す。
【符号の説明】
１０：画像再生システム
１１：ＣＰＵ
１２：システムメモリ
１３：入力コントローラ
１４：入力装置
１５：スキャナコントローラ
１６：スキャナ
１７：記憶コントローラ
１８：記憶装置
１９：表示コントローラ
２１：表示装置
２２：プリンタコントローラ
２３：プリンタ
２４：通信コントローラ
２５：通信装置
２６：バス

Claims (15)

1. 画像保持領域を有するホルダ内に収容された媒体から個々の画像を抽出する装置において、
   − 前記媒体及び前記ホルダを相対的に低い解像度で走査して、前記ホルダ及び前記個々の画像を含む前記媒体の低解像度デジタル表現を発生するスキャナと、
   − 前記スキャナと通信して、前記低解像度デジタル表現を記憶する記憶媒体と、
   − 前記記憶手段と通信して、前記低解像度デジタル表現を処理する手段であって、該処理手段が、
   前記ホルダの境界を規定する手段であって、前記画像保持領域の全て及びこれら領域に含まれる前記個々の画像の全てが該規定された境界内となるように規定する手段と、
   前記低解像度表現に平滑化フィルタを適用する手段と、
   前記画像保持領域のエッジセグメントを検出する手段と、
   前記画像保持領域の各々を検出及び識別する手段と、
   少なくとも１つの画像保持領域の基準に対する向きを決定する手段であって、もし、前記少なくとも１つの画像保持領域が前記基準に対して傾いていると判定されたら、該少なくとも１つの画像保持領域の向きを補正するような手段と、
   前記個々の画像の各々を前記画像保持領域内で見付ける手段と、
   を含むような処理手段と、
   − 前記媒体上で識別された全ての個々の画像のインデックスを発生する手段と、
   を有しており、
   前記低解像度デジタル表現はＲＧＢカラー表現であり、前記平滑化フィルタを適用する手段が前記平滑化フィルタを前記低解像度表現における各ピクセルのＲデータのみに適用することを特徴とする装置。
2. 請求項１に記載の装置において、更に、
   前記インデックスから前記個々の画像の１以上を選択する手段であって、前記スキャナが前記選択された個々の画像の各々を相対的に高い解像度で再走査するような手段と、
   前記選択された個々の画像の各々の高解像度出力を発生する手段と、
   を有していることを特徴とする装置。
3. 請求項１に記載の装置において、前記媒体がネガフィルム、ポジフィルム及びスライドのうちの少なくとも１つを有していることを特徴とする装置。
4. 請求項１に記載の装置において、前記インデックスがサムネイル画像の集合を有していることを特徴とする装置。
5. 請求項１に記載の装置において、前記境界を規定する手段が、前記ホルダを表すピクセルの最外側の行／列内の、又は該行／列から所定距離内のピクセルを暗くすることを特徴とする装置。
6. 請求項１に記載の装置において、前記平滑化フィルタの各出力ピクセルが、当該ピクセルの前置フィルタ処理されたものと、所定の近隣におけるピクセルの各々との加重平均により決定されることを特徴とする装置。
7. 請求項１に記載の装置において、前記エッジセグメントを検出する手段が、前記低解像度表現を二進データに低減し、次いで該二進データを前記画像保持領域の境界に低減することを特徴とする装置。
8. 請求項１に記載の装置において、前記エッジセグメントを検出する手段は、各出力ピクセルが所定のエッジ検出フィルタカーネルにより決定されるようなエッジ検出器を前記低解像度表現に適用し、次いで前記各出力ピクセルに閾テストを適用して該出力ピクセルが所定の閾より高いか又は低いかを決定し、この出力ピクセルを前記閾テストの結果に基づいて１又は０にすることを特徴とする装置。
9. 請求項１に記載の装置において、前記検出及び識別する手段は、前記画像保持領域の前記検出されたエッジセグメントを画像保持領域エッジセグメントに類似した全てのアーチファクトから区別し、連結されたエッジセグメントの群を識別し、前記画像保持領域の各々を、連結されたエッジセグメントの対応する群のサイズ及び形状から識別することを特徴とする装置。
10. 請求項１に記載の装置において、前記向きを決定及び補正する手段は、前記少なくとも１つの画像保持領域の前記基準に対する回転角度を、当該画像保持領域の代表的な線描のハフ変換を計算することにより算出することを特徴とする装置。
11. 請求項１に記載の装置において、前記向きを決定及び補正する手段は、前記各画像保持領域の前記基準に対する回転角度を、当該画像保持領域の代表的な線描のハフ変換を計算することにより算出することを特徴とする装置。
12. 請求項１に記載の装置において、前記見付ける手段は、前記識別された画像保持領域の各々における前記媒体の境界を識別することを特徴とする装置。
13. 請求項１２に記載の装置において、前記見付ける手段は、前記各個々の画像の境界を更に識別することを特徴とする装置。
14. 画像保持領域を有するホルダ内に収容された媒体から個々の画像を抽出する方法において、
    − 前記媒体及び前記ホルダを相対的に低い解像度で走査して、前記ホルダ及び前記個々の画像を含む前記媒体の低解像度デジタル表現を発生するステップと、
    − 前記低解像度デジタル表現を記憶するステップと、
    − 前記低解像度デジタル表現を処理するステップであって、該処理するステップが、
    前記ホルダの境界を規定するステップであって、前記画像保持領域の全て及びこれら領域に含まれる前記個々の画像の全てが該規定された境界内となるように規定するステップと、
    前記低解像度表現に平滑化フィルタを適用するステップと、
    前記画像保持領域のエッジセグメントを検出するステップと、
    前記画像保持領域の各々を検出及び識別するステップと、
    少なくとも１つの画像保持領域の基準に対する向きを決定するステップであって、もし、前記少なくとも１つの画像保持領域が前記基準に対して傾いていると判定されたら、該少なくとも１つの画像保持領域の向きを補正するようなステップと、
    前記個々の画像の各々を前記画像保持領域内で見付けるステップと、
    を含むような処理ステップと、
    − 前記媒体上で識別された全ての個々の画像のインデックスを発生するステップと、
    を有しており、
    前記低解像度デジタル表現はＲＧＢカラー表現であり、前記平滑化フィルタを適用するステップが前記平滑化フィルタを前記低解像度表現における各ピクセルのＲデータのみに適用することを特徴とする方法。
15. 画像保持領域を有するホルダ内に収容された媒体から個々の画像を抽出する処理をコンピュータに実行させるための命令のプログラムであって、前記命令のプログラムが、
    − 前記媒体及び前記ホルダを相対的に低い解像度で走査して、前記ホルダ及び前記個々の画像を含む前記媒体の低解像度デジタル表現を発生するステップと、
    − 前記低解像度デジタル表現を記憶するステップと、
    − 前記低解像度デジタル表現を処理するステップであって、該処理するステップが、
    前記ホルダの境界を規定するステップであって、前記画像保持領域の全て及びこれら領域に含まれる前記個々の画像の全てが該規定された境界内となるように規定するステップと、
    前記低解像度表現に平滑化フィルタを適用するステップと、
    前記画像保持領域のエッジセグメントを検出するステップと、
    前記画像保持領域の各々を検出及び識別するステップと、
    少なくとも１つの画像保持領域の基準に対する向きを決定するステップであって、もし、前記少なくとも１つの画像保持領域が前記基準に対して傾いていると判定されたら、該少なくとも１つの画像保持領域の向きを補正するようなステップと、
    前記個々の画像の各々を前記画像保持領域内で見付けるステップと、
    を含むような処理ステップと、
    − 前記媒体上で識別された全ての個々の画像のインデックスを発生するステップと、
    を行うための命令を有しているプログラムであり、
    前記低解像度デジタル表現はＲＧＢカラー表現であり、前記平滑化フィルタを適用するステップが前記平滑化フィルタを前記低解像度表現における各ピクセルのＲデータのみに適用することを特徴とするプログラム。

Images