JP4818274B2 - 画像センサを備えた装置へマルチメディア・データを配信する方法 - Google Patents

画像センサを備えた装置へマルチメディア・データを配信する方法 Download PDF

Info

Publication number
JP4818274B2
JP4818274B2 JP2007543752A JP2007543752A JP4818274B2 JP 4818274 B2 JP4818274 B2 JP 4818274B2 JP 2007543752 A JP2007543752 A JP 2007543752A JP 2007543752 A JP2007543752 A JP 2007543752A JP 4818274 B2 JP4818274 B2 JP 4818274B2
Authority
JP
Japan
Prior art keywords
image
data
local device
user
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007543752A
Other languages
English (en)
Other versions
JP2008522515A (ja
Inventor
ジャン−マリー ボウ
オリヴィエ マルク アントワーヌ リーゴウ
ニコラ パトリス ベルナール トゥシャール
Original Assignee
イーストマン コダック カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーストマン コダック カンパニー filed Critical イーストマン コダック カンパニー
Publication of JP2008522515A publication Critical patent/JP2008522515A/ja
Application granted granted Critical
Publication of JP4818274B2 publication Critical patent/JP4818274B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/748Hypervideo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/93Document management systems
    • G06F16/94Hypermedia

Description

本発明は、マルチメディア・データを配信する方法に関し、特に中央配信ステーションから、画像センサを備えたローカル機器への画像データの配信に関する。本発明は、移動電話等、画像および/または音声の取得および再現機能を同時に統合する携帯装置の利用分野における用途がある。また、医療画像分野および報道情報の配信分野における用途が想定される。
移動電話の画像および/または音声の取得および再現能力は、専用装置のそれらと比較して劣っている。しかし、それらは常に進歩している。同じことが、オーガナイザまたはデジタル・カメラ等の他の携帯装置にも当てはまる。画像および/または音声の取得および再現能力の向上により、このような装置はマルチメディア・データを配信する好適なインターフェースとなっている。実際に、上述の携帯装置は、従来は固定式のパソコンに限られていた多くの機能を提供する。携帯装置のサイズが小さく、且つデータ記憶容量および再現能力が限られる問題は、各種の中央配信ステーションとの通信リンクを確立できる能力により補われる。中央配信ステーションは、データを携帯装置へ配信または再配信する前に、保存、分類、ソート、および恐らくは処理も行なうサーバを備えている。携帯装置とパーソナル・コンピュータとの間のやり取りもまた、同等のスキームに従い可能である。
以下の記述において、上述の電話その他の機器等の装置を「ローカル装置」と呼ぶ。データを保存し、ローカル装置が通信リンクを確立できる装置を「中央ステーション」と呼ぶ。中央ステーションは、例えばコンピュータまたはサーバであってよい。
ローカル装置の通信機能を介してより大量のデータをユーザーが利用できるようにすることで、ユーザーに配信する必要があるデータの場所、選択、およびアクセスに困難が生じる。本明細書の末尾に掲げる文献(1)〜(8)に、画像配信、画像に関連付けられたデータの配信、および配信すべきデータを選択する各種の態様が示されている。
例えば、文献(1)は、ユニフォーム・リソース・ロケータ(URL)を読んでインターネット経由でデータを受信することが可能なローカル装置を記述している。文献(2)は、ローカル携帯装置には言及していないが、対応する画像データを取り出すべくフォトインデックス・シートの画像にアドレスまたはコードを関連付ける可能性を示している。
米国特許第6707581号明細書 米国特許第6674923号明細書 米国特許出願公開第2002/0140988号明細書 米国特許第6408301号明細書 米国特許出願公開第2004/0085455号明細書 米国特許第5574519号明細書 国際公開第99/32960号パンフレット 国際公開第00/75914号パンフレット
本発明の目的は、配信または再現する必要があるデータの選択を極めて容易にするマルチメディア・データの配信方法を提案することである。
画像またはデータの選択機能を、ユーザーにとってより使い易くすることも目的である。より完成した形式において、ユーザーによる明示的な制御を一切必要とせずに選択動作を完全自動化することが目的である。
更に別の目的は、ユーザーに提供された画像をマルチメディア・データにより自動的に拡張可能にする方法を提案することである。
これらの目的を達成するために、本発明は、中央配信ステーションから当該中央配信ステーションとのリンクを確立すべく画像センサおよび手段を備えたローカル装置へマルチメディア・データをより正確に配信する方法をその目的として有している。当該方法は、
a)少なくとも1個の画像特徴を、各々が中央配信ステーションに保存された少なくとも1組のマルチメディア・データに関連付けるステップと、
b)少なくとも1人のユーザーに対し、マルチメディア・コンテンツを表わし、且つ少なくともその一部が画像特徴を含む少なくとも1個の選択画像を有するサポート画面を利用可能にするステップと、
c)ローカル装置のセンサにより当該サポート画面の画像を取得したことに応答して、当該ローカル装置と中央配信ステーションとの間に通信リンクを確立し、取得された画像の特徴を計算するステップと、
d)ステップc)で計算された特徴に最も近い画像特徴に関連付けられた中央ステーションのマルチメディア・データ集合を検索するステップと、
e)前記マルチメディア・データ集合のデータを当該ローカル装置へ転送して、当該ローカル装置を用いてユーザーに対して認知可能な形式でそれらを再現するステップとを含んでいる。
認知可能な形式でのデータの再現は、例えば、画像やビデオ・クリップまたは音声の再現を意味する。これは、ローカル装置の画面またはスピーカーで直接的に、あるいはユーザーの近くにあって当該ローカル装置に接続された他の装置上で行なわれてよい。例えば、マルチメディア・データが画像を含む場合、これらは移動電話の小型モニタ画面、または移動電話と通信すべくローカルに接続されたテレビに表示することができる。接続は、例えばブルートゥース・プロトコルに従い行なわれる。
本発明により、ユーザーは、受信したいと望む画像やマルチメディア・データを識別するコードまたはIDを入力する必要がなくなった。ユーザーは、自分のローカル装置で取得している画像に付随するマルチメディア・コンテンツの存在を無視することも可能である。実際に、中央配信ステーションとの通信リンクの確立およびマルチメディア・データの検索を自動的に生起させることができる。
中央ステーションに保存されたデジタル・マルチメディア・データは、画像、画像シーケンス、テキスト、音声、またはこれらマルチメディア・オブジェクトの組合せ等のマルチメディア・オブジェクトに関する。データはデータ集合として編成され、これは例えばファイルまたはファイル集合に対応している。
各々のデータ集合は、画像特徴、すなわち画像、画像の集合、または画像部分に対応する特徴に関連付けられている。画像特徴は、色または光成分、光度の空間勾配、光度の空間周波数、画像に含まれる形状の輪郭線のカード、画像の分割、画像の低解像度表現等、1個以上のパラメータの関数である。
一般に、多数のデータ集合の中から選択を行なう必要がある場合、より微細な画像特徴が採取される。より複雑な方法で、全ての画像データ、すなわちユーザーに提示されるサポート画面から選択された画像のピクセルを画像特徴として採取することができる。同じ画像のデータをより低い解像度で採取することができる。
逆に、限られた数のデータ集合の中から選択を行なわざるを得ない場合、強度勾配または輪郭線のカード等、更に要約された特徴があれば十分である。
ユーザーが、利用可能にされたサポート画面の全部または一部から画像を取得する場合、取得された画像の特徴の一つが計算される。この特徴が、記憶されたデータ集合の特徴と比較される。最後に、ユーザーが取得した画像の特徴に最も近い特徴を有する集合のデータがローカル装置へ送信される。
中央配信ステーションに存在するマルチメディア・データ集合の数が多い場合、データの検索はデータ集合の一つの部分集合内だけで実行することができる。この方策の目的は、必要な計算量を減らして処理速度を向上させることである。従って、データ集合の部分集合を識別子に関連付けることができる。例えば、ユーザーに与えられた同一サポート画面から選択できるデータ集合の部分集合を同一識別子に関連付けることができる。識別子は、英数字コード、バーコード、その他ユーザーが入力した任意の記号でよく、中央配信ステーションへ送られてマルチメディア・データの検索の目標となる。識別子の入力は、例えばローカル装置のキーボード等を用いて手動で、あるいはバーコード方式で自動的に行なわれてもよい。
別の可能性として、この特徴を有する画像が既に入力されている場合、データ集合の部分集合へ画像特徴を関連付けて、関連する部分集合内で検索することができる。
例えば、サポート画面の画像集合または画像全体の特徴をいくつかのデータ集合の部分集合に関連付けることができる。この画像全体が識別されたならば、本方法の次のステップは、画像集合または画像全体の特定の画像を識別させるべくユーザーに画像取得領域を制限させるメッセージをローカル装置に送るステップを含んでいてよい。この態様について、図面を参照しつつより詳細に述べる。
本発明の特定の実装によれば、マルチメディア・データは画像に関係付けられていて、当該画像のアイコン化されたコンテンツはユーザーへ送られたサポート画面に現われる選択された画像のコンテンツと一致し、且つ画像の一部のみが再現されている。再現される部分は、再現に使用される画面のサイズより大きいサイズを有する画像でのナビゲーションをシミュレーションすべく、ユーザーに提示されたサポート画面に関するローカル装置の位置に応じて決定される。これにより、ユーザーはローカル装置をチェック用機器および拡大鏡の両方の目的で使用しながら画像を走査することができる。
マルチメディア・データの再現は、選択画像の取得に用いるローカル装置で実行できるだけでなく、ローカル装置がデータを送信する他の特定の装置で実行することもできる。例えば、ローカル装置は、モニタまたはテレビと通信している携帯電話カメラであってよい。この場合、選択画像の読み込みは携帯電話カメラを用いて実行できる一方、画像および音声の再現はテレビで実行することができる。
本発明の他の特徴および利点は、添付の図面を参照しつつ以下の記述により明らかになる。これらの記述はあくまでも説明用であって本発明を限定するものではない。
以下の記述において、各種図面の同一、類似、または等価な部分には、図面間の参照を容易にすべく同一参照記号を付与している。
図1に、本方法を実装すべくユーザーへ送信可能なサポート画面10を示す。ここに示す例では、光学的プリントに付随して見られるものと同等のインデックス・シートである。サポート画面10はまた、新聞、雑誌、または紙であるか否かに関わらず、任意の種類の可読情報サポート画面であってよい。
サポート画面は、数個の選択画像12、14、16、18、20、22を含んでいる。この場合、これらは写真である。サポート画面の各々の選択画像は、1個以上のマルチメディア・オブジェクトに対応している。より一般的に、選択画像は、自身が表わす写真のデジタルデータに対応付けることができる。選択画像はまた、多くの画像を含むビデオ・シーケンスのデータに対応付けることができる。この場合、サポート画面10に存在する選択画像は例えば、関連するビデオ・シーケンスをユーザーが容易に識別できるようにすべく、ビデオ・シーケンスの画像のうちの1個を表わしている。
選択画像はまた、テキスト・データ、音声データ、その他ローカル装置またはローカル装置と通信する専用装置により認知可能な方法で再現可能な任意の種類のマルチメディア・データを表わすことができる。本発明の本質的な特徴を構成しないにものの、図1のサポート画面10の画像は写真を表わしている。この場合、解像度が限られた写真(サムネイル)である。
マルチメディア・データの集合が、サポート画面の選択画像12、14、16、18、20、22、選択画像24、26の一部、または選択画像の集合28に関連付けることが可能な点に留意されたい。
サポート画面の選択画像の各々は、固有の画像特徴を有する。例えば、これらは空間強度勾配、色成分、その他ローカル装置が取得した画像データから計算できる任意の特徴である。各画像、各画像部分または各画像集合について生成可能な特徴を、小さい正方形32、34、36、38、40、42、44、46、48により図1に象徴的に示す。画像特徴に付与された参照番号は、対応する画像または画像部分の参照番号に20を加算することにより得られる。例えば、特徴48はサポート画面の選択画像全体28に対応し、特徴42は選択画像22に対応し、特徴46は選択画像部分26に対応している。
画像特徴の利用法は、図2を参照しつつ本発明の方法の主要ステップを示す以下の記述で明らかになる。
図2において、一点鎖線により、図の左側に示すローカル側で実行されるステップと、図の右側に示す中央配信ステーションで実行されるステップを分けている。ローカル装置の置換を考慮する、またはディスプレイをフォーマット化する、いくつかの特徴計算ステップは、中央配信ステーションまたはローカル装置のいずれかにより実行できる。処理場所の選択は基本的に、ローカル装置の計算能力、および中央配信ステーションとの間の通信リンクの容量により決定される。
中央配信ステーションは、1人以上のユーザーが要求できる多くのマルチメディア・データを含んでいる。当該マルチメディア・データは、各々が画像特徴32、46等に関連付けられたデータ集合100、101、102に編成される。これらは、ユーザーに提示される選択サポート画面に表示可能な選択画像に対応する画像特徴である。この場合、これらは図1に関して上で述べた種類の選択画像特徴である。データ集合は、データ集合110、111、112の部分集合として編成されている。データの各部分集合は、例えば、特定のユーザーにより各々アクセス可能な全てのデータを含んでいる。データの部分集合もまた、1人以上のユーザーに提示された同一サポート画面から選択可能な全てのデータに対応付けることができる。他のグループ化も可能である。
データ集合と同様に、データ集合110、111、112の部分集合が画像特徴に関連付けられている。上に示した例では、データ集合の部分集合110の1個が、図1のサポート画面10に見出される画像により形成される集合28の部分集合に対応する特徴48に関連付けられている。
ユーザーが実行する第1のステップ200で、ユーザーへ送信されたサポート画面の画像を取得する。取得は、ローカル装置を用いて実行される。例えば、携帯電話カメラのセンサを用いた画像の取得である。
ユーザーは、取得した画像を枠取りして、当該サポート画面の選択画像全体、当該サポート画面の特定の1個の選択画像、選択画像の部分集合、または選択画像の一部のみが入るようにできる。
画像が取得されたならば、直ちに画像の特徴48aが作成される。特徴の生成202は、ローカル装置の画像センサから提供されたデータからの計算により生じる。中央配信ステーションとの通信リンク204もまた確立される。これは、無線(ヘルツ)リンクであっても、および/または通信ネットワークによるリンクであってもよい。
図に示す例では、図1のサポート画面10の全ての画像に多少なりとも対応する画像をユーザーが取得するものと仮定している。取得された画像から計算された特徴48aは、中央配信ステーション内でこれらの画像に関連付けられた特徴48とは正確には同一ではない。これは、例えば、わずかな枠取り誤差、わずかなサポート画面印刷誤差、センサ忠実度の誤差、その他あらゆる原因によるものである。
次いで、取得された画像に応答して生成された特徴48aと、中央配信ステーションのメモリに存在するデータ集合またはデータ集合の部分集合の特徴との間の比較ステップ206が実行される。本実施形態において、この比較は最初にデータ集合の部分集合の特徴に対して実行される。
比較は、例えば、決定された特徴48aと、配信ステーションのメモリに存在する特徴との間の差違関数を計算することに実行される。最も近い特徴とはすなわち、この関数を最小化することが可能なものである。例えば、画像特徴がサポート画面の選択画像のピクセルである場合、これらの画像データまたは各種の画像部分のデータを、配信ステーションに存在する特徴に畳み込むことが可能である。畳み込み積は、各種の画像解像度について実行することができる。畳み込み積の最小値が特徴で最適合致を示す。しかし、本実施形態では、ユーザーによる画像の取得に応答して生成された特徴48aは第1のデータ集合の部分集合110の特徴48とは正確には同一ではないものの、後者に最も近いことが分かる。
このように、利用可能なサポート画面を用いてユーザーが選択しようとする画像は、このように決定されたデータ集合の部分集合110内で探索しなければならないことが裏付けられた。
選択画像を取得するビューの領域を制限するための誘導表示208がローカル装置へ送られる。当該誘導表示は、例えば、ローカル装置の制御画面上に特別の表示として現れる。
ユーザーは、利用可能なサポート画面の選択画像または選択画像の特定部分の周辺で枠取りの中心を再調整して、ローカル装置のセンサを用いて新規画像を取得することができる。次いで取得200および特徴計算202のステップが繰り返される。新規画像特徴が生成される。
新規画像特徴は、中央配信ステーションに保存されている全ての画像特徴ではなく、以前に選択されたデータ集合の部分集合110に関連付けられた画像特徴だけと比較される。
ローカル装置が取得した画像の特徴から特定のデータ集合が識別されない限り、センサから提供された信号に対応する画像をローカル装置の制御画面上に表示するだけで済ませることができる。一方、取得された画像の特徴と、データ集合に関連付けられた特徴との間に合致が見出されたならば直ちに、データ集合が中央配信ステーションからローカル装置へ送信される。この送信を参照番号210で示す。これは、送信用にデータをフォーマット化するステップ207の後で実行される。例えば、これは画像データの解像度の調整を含んでいる。データは、携帯装置のメモリに保存212することができる。ローカル装置の制御画面、またはローカル装置により制御される画面上の表示216が次いで生成される。この表示は、ローカル装置の移動等、他のパラメータを考慮に入れることができる。取得およびこれらの移動の考慮を参照番号214で示す。
ローカル装置へ送信されたマルチメディア・データが音声のデータまたはグラフィック・データ等、画像データ以外のデータである場合、これらは画像センサによりリアルタイムで取得画像に付随して再現することができる。例えば、グラフィックまたはテキスト・データは、取得されて表示されている画像に重ね合わせることができる。音声データは、ローカル装置のスピーカーを用いて再現することができる。
マルチメディア・データが画像データまたはビデオ・シーケンス・データである場合、これらのデータに対応する画像の表示によりローカル装置の画像センサにより取得された画像の表示を置換することができる。換言すれば、マルチメディア・データがユーザーのサポート画面に示された選択画像に対応する場合、当該装置は、取得しているセンサ・データからの画像の再現を止めて、中央配信ステーションから提供されたデータを再現する。これらのデータは、コメントその他の情報が付加された画像に対応することができる。
中央配信ステーションから提供されたデータは、これらのデータに特徴が関連付けられた画像の全部または一部を携帯装置が取得する限り、複製することができる。当該携帯装置のサポート画面の画像周辺の置換範囲を定義することも可能であり、これにより当該範囲において、中央配信ステーションから提供されたデータが再現される。
取得された画像の特徴と、中央配信ステーションに保存されたデータ集合に関連付けられた特徴との比較に要する計算時間を減らすべく、これらの比較を限定された数のデータ集合に対して実行することが有用である。これは、上述の方法で、最初に画像全体を取得し、次いで画像全体に対応するデータ集合の部分集合を選択することにより実行することができる。
代替的または付加的に選択された他の解決策として、英数字コード、バーコードまたは、画像特徴の比較が必要とされる、中央ステーションのデータ集合の部分集合の一意且つ明白な決定を可能にする他の任意の種類のコードを入力すべくユーザーを誘導表示する方式がある。コードの入力190および中央ステーションへの送信192により、例えば同様な状況で、または同一被写体に関して、取得された写真の集合を選択することが可能になる。図1に、この種のデジタルコードを参照番号194で示す。
図3に、本方法の特定の実装を示す。この場合、ユーザーは図1のデータ・サポート画面10から画像12を取得する。画像センサ302がサポート画面に示す画像12の全部または一部をカバーすべく、ユーザーはサポート画面10の方へローカル装置300、この場合は移動電話、を移動させる。この画像のデータが中央配信ステーションにおいて識別されたならば直ちに、ローカル装置300へ送信される。ローカル装置の制御画面304は次いで、これらのデータに対応する画像を表示する。表示された画像が取得された画像に正確には対応しておらず、僅かに拡大されて再現されたその一部だけに対応していることがわかる。サポート画面の画像12周辺のローカル装置が置換されたことの検出を用いて、対応する画像の「ナビゲーション」を実行する。置換の検出は、公知の方法で、加速度計を用いるかまたは画像センサから提供された信号に基づいて、視認可能な画像を置換目標として用いることにより実行できる。これに関して、例えば本記述の末尾に示す文献(8)を参照されたい。
図4に、中央配信ステーションから提供されたデータの他の可能な使用例を示す。ローカル装置における、サポート画面を縮小または閉じる動作を用いて、再現された画像の拡大率を制御することができる。この動作はまた、画像センサ302から提供されたアクセラレータまたは信号を用いて検出することができる。
中央配信ステーションから提供された画像データが高解像度画像に対応する場合、ユーザーはローカル装置の制御画面上で利用できるサポート画面に現れない画像の詳細を表示することができる。ユーザーはこのように、当該装置を拡大鏡として使用することができる。
図5に、上述の方法が提供する更に別の可能性を示す。図5の場合、ユーザーは利用可能なサポート画面10の画像22を取得する。ユーザーは先に図3、4に示したように、この画像を走査したり、画像内で「ナビゲート」することができる。このように、画像がその特徴から識別されたならば直ちに、制御画面上での画像の表示にセンサ302の信号を用いるのは止めて、中央配信ステーションからのデータを用いて表示を行なう。
ローカル装置を用しいてサポート画面10の画像22を走査することにより、センサは図1、5の長方形で示す画像の部分24、26を取得することができる。これらの長方形は、ユーザーに提示されるサポート画面には表示されない。これらは単に、特定のマルチメディア・データがこれらの画像部分に対応する特徴に関連付けられていることを単に示すために図1、5に表示されている。これらの画像部分の特徴が生成されたならば、中央配信ステーションにおいて上述の方法でマルチメディア・データが探索される。
に示す例において、ローカル装置が取得した画像部分に関連付けられたマルチメディア・データは注釈であって、吹き出しBの形式で一時的に画像に重ね合わされてコンテンツを記述する。
吹き出しはローカル装置の画面だけに現れるが、ユーザーのサポート画面10の画像22には現れない。
本発明の特定の応用において、光インデックス・シートではなくサポート画面10は定期出版物その他任意の出版物であってよい。この場合、図1の参照番号194は、例えば出版番号または新聞の発行日である。
十分なローカル装置を提供されていないか、または中央ステーションからのデータの配信サービスに加入していないユーザーは、画像で普通に表示される新聞を参照することができる。
適切なローカル装置を提供されているユーザーは、当該ローカル装置を用いて新聞または出版物の画像を取得することができる。この場合、ユーザーは、出版物を表わす印刷画像だけでなく、画像特徴に関連付けられた追加的なマルチメディア・データからも恩恵が得られる。例えば、携帯装置が番組の主題に対応する画像を取得した際に、番組のビデオ・シーケンスまたはテレビ放送されたニュースの要約を当該携帯装置上で起動して再現することができる。
同じモデルで、図6に、医療画像分野における本発明の応用例を示す。サポート画面10は、識別番号194を含む、患者の識別シートである。当該番号を取得して中央配信ステーションへ送信192することにより、中央配信ステーションにおいて、当該患者が利用できる医療画像に対応するデータ集合105、107、109の部分集合111内で検索することが可能になる。
サポート画面10はまた、患者の体の全部または一部のX線画像13または写真を示す。
X線画像13は、全ての患者の医療画像並びに以前になされた医療診察の分析レポートを含むデータ集合の部分集合111に関連付けられた画像特徴を有する。画像特徴は、サポート画面10全体を多少なりとも包含する画像を携帯装置が取得した際に生成することができる。これらは次いで、適当なデータ集合の部分集合111の選択を可能にする。上述のデジタルコード194の取得に関連付けられたこの選択方法を利用することにより、二重チェックを行なって医療ファイルの取り違いを回避することが可能になる。
次いで医療従事者は、X線画像13を走査して、携帯装置を患者の病変位置に対応するX線画像の部分に向けることができる。携帯装置のセンサが取得した画像の特徴が生成されて、以前に決定されたデータ集合の各種の部分集合111に関連付けられたものと比較される。
実際に、X線画像13の特定部分15、17、19は、より詳細なX線画像または医療診断等のデータ105、107、109に関連付けられた特徴35、37、39を有する。
図に示す例において、一つのデータ集合107は、心臓のX線画像または心臓の鼓動を示すビデオ・シーケンスに対応している。取得された画像がこれらのデータに関連付けられた特徴37に近い特徴を有する場合、これらは医療従事者のローカル装置へ送られる。データは、必ずしもローカル装置の制御画面上で再現されないが、この場合はローカル装置に接続されて制御されるモニタ306に再現される。
図3、4に関して上で述べたナビゲーションおよび拡大(ズーム)機能により、医療従事者は患者の医療画像をより正確に調べて、多くの情報にアクセスできるようになる。
サポート画面に存在するX線画像または写真13は解像度が極めて低い場合があり、いずれにせよ内科的診断に必要とされる解像度よりはるかに低い点に留意する必要がある。これにより、サポート画面を簡単に再現して患者または医療従事者に提供することが可能になる。解像度は、画像部分の特徴を生成して他のものと区別することが可能であるだけで十分である。この条件は、低品質の印刷を用いて満たされる。
高解像度の詳細な医療画像に関するデータは、中央配信ステーションから到来して医療従事者による診断を可能にする。
本発明による方法を実装すべくユーザーへ送信可能なサポート画面を示す図である。 本発明による方法の主要なステップを示す構成図である。 サポート画面の画像の取得に応答するデータ再現の例を示す図である。 サポート画面の画像の取得に応答するデータ再現の別の例を示す図である。 サポート画面の画像の取得に応答するデータ再現の更に別の例を示す図である。 医療分野における本発明の特別な応用を示す図である。

Claims (11)

  1. 中央配信ステーションから、画像センサ(302)および前記中央配信ステーションとの通信リンクを確立する手段を備えたローカル装置(300)へマルチメディア・データを配信する方法であって、
    a)少なくとも1個の画像特徴(32、34、36、38、40、42、44、46、48)を、各々が前記中央配信ステーションに保存されているマルチメディア・データの少なくとも1個のデータ集合(100、101、102)に関連付けるステップと、
    b)少なくとも1人のユーザーに対し、マルチメディア・コンテンツを表わし、且つ少なくともその一部が画像特徴を含む少なくとも1個の選択画像(12、14、16、18、20、22)を表示するサポート画面(10)を利用可能にするステップと、
    c)前記サポート画面に表された画像全体の画像特徴(48)を、前記データ集合(100、101、102)を含む部分集合(110、111、112)に関連付けるステップと、
    d)前記ローカル装置の前記画像センサ(302)により前記サポート画面の少なくとも1個の画像を取得したこと(200)に応答して、前記ローカル装置と前記中央配信ステーションとの間に通信リンク(204)を自動的に確立し、前記取得された画像の特徴を計算する(202)ステップと、
    e)前記ローカル装置にて取得された画像の特徴と前記部分集合(110、111、112)に関連付けられた画像特徴とを比較することにより、前記ローカル装置にて取得された画像の特徴に最も近い画像特徴に関連付けられた部分集合を検索し、前記ローカル装置にて取得された画像の特徴が前記画像全体の画像特徴に対応する場合、画像取得領域を制限すべく誘導指示を前記ローカル装置(300)に送信する(208)ステップと、
    f)前記誘導指示に従って前記ローカル装置の前記画像センサ(302)によって取得された新たな画像の特徴と、ステップe)にて検索された部分集合に含まれるデータ集合に関連付けられた画像特徴とを比較することにより、前記新たな画像の特徴に最も近い画像特徴に関連付けられたマルチメディア・データのデータ集合を検索するステップと、
    g)ステップf)にて検索されたマルチメディア・データを前記ローカル装置へ転送して、前記ローカル装置を用いてユーザーに対し前記マルチメディア・データを再現するステップと、
    を含む方法。
  2. 前記データ集合が、画像データ、画像部分および複数の画像に関係するデータ、ビデオ・シーケンスに関係するデータ、音声データ、および注釈が付けられた画像に関係するデータのうち少なくとも一つを含む、請求項1に記載の方法。
  3. 前記ローカル装置を用いて入力された識別子(194)を前記中央配信ステーションが受信するステップをも含み、ステップf)の検索が、前記識別子に関連付けられたデータ集合(100、101、102)の部分集合内で実行される、請求項1に記載の方法。
  4. 前記マルチメディア・データが、ユーザーに提示された前記サポート画面に表示された前記選択画像のコンテンツに対応するアイコン化されたコンテンツを有する画像に関係していて、再現に使用する画面のサイズより大きいサイズを有する画像内でのナビゲーションをシミュレーションすべく、ユーザーに提示された前記サポート画面に関する前記ローカル装置の位置に応じて前記画像の一部が再現される、請求項1に記載の方法。
  5. 前記マルチメディア・データが1個の画像に対応していて、前記ローカル装置とユーザーに提示された前記サポート画面とを隔てる距離に依存する拡大係数を以って前記画像の一部が再現される、請求項1に記載の方法。
  6. 前記ローカル装置がデジタル・カメラまたは移動電話である、請求項1に記載の方法。
  7. 前記マルチメディア・データは画像データであり、前記画像データの再現が、前記ローカル装置に組み込まれた制御画面(304)、および前記ローカル装置から離れた制御画面(306)のうち一つで実行される、請求項1に記載の方法。
  8. 前記マルチメディア・データに関連付けられた画像特徴および前記計算された特徴が、画像の色成分、画像の空間強度勾配、画像または画像部分の空間周波数、画像に含まれる形状の輪郭線のマップ、および画像分割のうち少なくとも一つの関数である、請求項1に記載の方法。
  9. ユーザーに提示された前記サポート画面(10)が新聞であり、前記マルチメディア・コンテンツを表わす画像が新聞を表示する画像である、請求項1に記載の方法。
  10. ユーザーに提示された前記サポート画面(10)がX線画像プリントを含む、請求項1に記載の方法。
  11. ユーザーに提示されたサポート画面(10)が写真インデックス・シートである、請求項1に記載の方法。
JP2007543752A 2004-12-03 2005-11-28 画像センサを備えた装置へマルチメディア・データを配信する方法 Expired - Fee Related JP4818274B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0412814A FR2879064B1 (fr) 2004-12-03 2004-12-03 Procede de diffusion de donnees multimedia vers un equipement pourvu d'un capteur d'images
FR0412814 2004-12-03
PCT/EP2005/012671 WO2006058678A1 (en) 2004-12-03 2005-11-28 Method of distributing multimedia data to equipment provided with an image sensor

Publications (2)

Publication Number Publication Date
JP2008522515A JP2008522515A (ja) 2008-06-26
JP4818274B2 true JP4818274B2 (ja) 2011-11-16

Family

ID=34951305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007543752A Expired - Fee Related JP4818274B2 (ja) 2004-12-03 2005-11-28 画像センサを備えた装置へマルチメディア・データを配信する方法

Country Status (6)

Country Link
US (1) US7703121B2 (ja)
EP (1) EP1825405A1 (ja)
JP (1) JP4818274B2 (ja)
CN (1) CN101073079A (ja)
FR (1) FR2879064B1 (ja)
WO (1) WO2006058678A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4224434B2 (ja) * 2004-06-30 2009-02-12 パナソニック株式会社 半導体装置及びその製造方法
US8996562B2 (en) * 2005-12-01 2015-03-31 Peter Warren Computer-implemented method and system for enabling anonymous communication between networked users based on common search queries
US20090237546A1 (en) * 2008-03-24 2009-09-24 Sony Ericsson Mobile Communications Ab Mobile Device with Image Recognition Processing Capability
WO2010075384A2 (en) * 2008-12-23 2010-07-01 Saint-Gobain Ceramics & Plastics, Inc. Scintillation separator
EP2584969B1 (en) 2010-06-25 2016-11-23 Varian Medical Systems, Inc. Conversion of existing portable or mobile analog radiographic apparatus for enabling digital radiographic applications
JP5511583B2 (ja) * 2010-08-17 2014-06-04 キヤノン株式会社 無線通信装置、x線センサ、及び無線通信システム
CN102013223A (zh) * 2010-11-30 2011-04-13 孙大朋 一种具有多媒体功能的报纸及其实现方法
US8967482B2 (en) * 2011-05-23 2015-03-03 Intellectual Ventures Fund 83 Llc Image selection method using machine-readable codes
US8596523B2 (en) 2011-07-28 2013-12-03 Intellectual Ventures Fund 83 Llc Index print with machine-readable codes
US20130026223A1 (en) * 2011-07-28 2013-01-31 Thomas Joseph Murray Selecting images using machine-readable codes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016086A (ja) * 2001-07-02 2003-01-17 Sony Corp 情報処理システム、サーバ、端末装置、および広告サービス提供方法
JP2003110792A (ja) * 2001-09-28 2003-04-11 Fuji Photo Film Co Ltd 撮影支援システム及び撮影支援サーバ
JP2003331288A (ja) * 2002-05-16 2003-11-21 Ntt Docomo Inc 画像判別装置、及び画像判別方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4652733A (en) * 1984-10-15 1987-03-24 At&T Company Technique for cataloging pictorial and/or written database information on video tape or disk
DE4023632A1 (de) * 1990-07-25 1992-01-30 Matthias Fischer Anordnung zum ermitteln des inhalts von unterhaltungs-aufzeichnungstraegern, insbesondere compact-discs
US5574519A (en) * 1994-05-03 1996-11-12 Eastman Kodak Company Talking photoalbum
US6081629A (en) * 1997-09-17 2000-06-27 Browning; Denton R. Handheld scanner and accompanying remote access agent
SE511516C2 (sv) 1997-12-23 1999-10-11 Ericsson Telefon Ab L M Handburen displayenhet och metod att visa skärmbilder
US6408301B1 (en) * 1999-02-23 2002-06-18 Eastman Kodak Company Interactive image storage, indexing and retrieval system
US6288704B1 (en) 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
DE29914175U1 (de) * 1999-08-13 1999-12-09 Sonopress Prod Anlage zum Bereitstellen von akustischen und/oder optischen Informationen
US7187412B1 (en) * 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
US6674923B1 (en) * 2000-03-28 2004-01-06 Eastman Kodak Company Method and system for locating and accessing digitally stored images
US20020102966A1 (en) * 2000-11-06 2002-08-01 Lev Tsvi H. Object identification method for portable devices
EP1370981A2 (de) * 2001-01-25 2003-12-17 Siemens Aktiengesellschaft System und verfahren zur informationsdarstellung
GB2374225A (en) * 2001-03-28 2002-10-09 Hewlett Packard Co Camera for recording linked information associated with a recorded image
JP2004023692A (ja) * 2002-06-20 2004-01-22 Hitachi Ltd 撮影装置、撮影制限システム、撮影警告システム、及び撮影制限解除システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016086A (ja) * 2001-07-02 2003-01-17 Sony Corp 情報処理システム、サーバ、端末装置、および広告サービス提供方法
JP2003110792A (ja) * 2001-09-28 2003-04-11 Fuji Photo Film Co Ltd 撮影支援システム及び撮影支援サーバ
JP2003331288A (ja) * 2002-05-16 2003-11-21 Ntt Docomo Inc 画像判別装置、及び画像判別方法

Also Published As

Publication number Publication date
JP2008522515A (ja) 2008-06-26
US7703121B2 (en) 2010-04-20
WO2006058678A1 (en) 2006-06-08
EP1825405A1 (en) 2007-08-29
FR2879064A1 (fr) 2006-06-09
FR2879064B1 (fr) 2007-06-01
CN101073079A (zh) 2007-11-14
US20080003989A1 (en) 2008-01-03

Similar Documents

Publication Publication Date Title
JP4818274B2 (ja) 画像センサを備えた装置へマルチメディア・データを配信する方法
US10339383B2 (en) Method and system for providing augmented reality contents by using user editing image
US20130129232A1 (en) Group method for making event-related media collection
JP6184125B2 (ja) 医療支援システム
US20130128038A1 (en) Method for making event-related media collection
CN101657819A (zh) 挂片协议显示系统和方法
JP2012104949A (ja) 情報処理装置、情報処理装置の制御方法、プログラム
JP2005185560A5 (ja)
US20170185365A1 (en) System and method for screen sharing
CN109859814B (zh) 基于Web的DICOM数字影像与胶片打印方法及系统
JPWO2008016083A1 (ja) 重畳情報提示装置及び重畳情報提示システム
EP1535461B1 (en) Layout process for multimedia messages
CN104380271A (zh) 信息发布方法、计算机程序、信息发布装置及移动通信设备
JP2001100887A (ja) オブジェクト処理装置
JP2013037533A (ja) 商品情報取得システムおよび商品情報提供サーバ装置
JP4323453B2 (ja) 情報取得方法、及び情報取得プログラム
JPWO2015178014A1 (ja) 学習支援システム、学習支援サーバ、学習支援方法、及び学習支援プログラム
JP2009105591A (ja) 動画配信システム
US7348999B1 (en) Alignment method and apparatus
JP6740598B2 (ja) プログラム、ユーザ端末、記録装置及び情報処理システム
JP6377221B2 (ja) 医療支援システム
US8534542B2 (en) Making an ordered element list
JP2006309550A (ja) 二重読影支援システム
JP4389728B2 (ja) 画像形成装置、画像選択画面生成方法、及びプログラム
JPH06282630A (ja) ビデオidフォトシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110830

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees