WO2015146237A1 - 静止画の関連情報検出装置,検出方法,検出プログラムならびにそのプログラムを格納した記録媒体 - Google Patents

静止画の関連情報検出装置,検出方法,検出プログラムならびにそのプログラムを格納した記録媒体 Download PDF

Info

Publication number
WO2015146237A1
WO2015146237A1 PCT/JP2015/051294 JP2015051294W WO2015146237A1 WO 2015146237 A1 WO2015146237 A1 WO 2015146237A1 JP 2015051294 W JP2015051294 W JP 2015051294W WO 2015146237 A1 WO2015146237 A1 WO 2015146237A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
still image
area
still
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/051294
Other languages
English (en)
French (fr)
Inventor
哲弥 高森
與那覇 誠
学斌 胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of WO2015146237A1 publication Critical patent/WO2015146237A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking

Definitions

  • Patent Document 1 reads a digital watermark embedded in a still image and reproduces a moving image.
  • the digital watermark code is artificially generated, browsing cannot be restricted only from the code.
  • an index for specifying a captured image is automatically extracted from the captured image, but related information is displayed only by obtaining the captured image.
  • the security is low so that only a specific user can obtain information associated with a still image.
  • it is only detecting the authenticity of the print content, and it is not considered to find out the information associated with the print image, but such information is associated with the print image. Not even thought about it.
  • the first area including one still image and the first of the still image display paper media among the plurality of still images represented on the still image display paper medium.
  • Imaging means for imaging a second area different from the first area, first feature detection means for detecting a first feature that identifies one still image from the first area imaged by the imaging means, and imaging by the imaging means Second feature detection means for detecting a second feature that identifies the second region from the second region thus obtained, and the first feature and the second feature detection detected by the first feature detection means
  • Command means for outputting a command for finding information associated with one still image from the second feature detected by the means is provided.
  • the present invention also provides a program for detecting related information of a still image and a recording medium storing the program.
  • the image pickup unit picks up another still image different from the one still image
  • the second feature detection unit detects, for example, the second feature from the other still image picked up by the image pickup unit. To do.
  • the second feature can be detected from the digital watermark.
  • the command unit may include a moving image and a moving image associated with one still image from the first feature detected by the first feature detecting unit and the second feature detected by the second feature detecting unit.
  • a command for finding at least one of the chapter start times is output.
  • a display device that displays an image of an area imaged by an imaging unit on a display screen of a still image display paper medium, and a designation unit that specifies a part of the image displayed on the display screen of the display device May be further provided.
  • the first feature detection means will determine the area designated by the designation means as the first area and detect the first feature.
  • the still image display paper medium is, for example, a photo book composed of a plurality of pages in which one or more still images are represented on one sheet or one page on which a plurality of still images are represented. .
  • the overall operation of the smartphone is controlled by CPU2.
  • the memory card 5 stores a program for controlling operations described later. Such a memory card 5 is connected to the memory card interface 4, and the program stored in the memory card 5 is read by the smartphone 1. When the read program is installed in the smartphone 1, the operation described later is performed. Even if the program is not stored in a recording medium such as the memory card 5, it may be downloaded by the communication device 9 via the Internet.
  • FIG. 3 and 4 show an example of a photobook (paper album, still image display paper medium) 30.
  • FIG. 3 and 4 show an example of a photobook (paper album, still image display paper medium) 30.
  • the still image feature table stores still image features included in the photo book 30 for each still image.
  • the still image feature table is stored in the information database 21.
  • FIG. 7 is an example of a feature index table.
  • FIG. 8 is a flowchart showing the processing procedure of the smartphone 1
  • FIG. 9 is a flowchart showing the processing procedure of the server 20.
  • FIG. 10 shows a state in which the smartphone 1 captures an image of the first area including one still image I2.
  • the user of the smartphone 1 determines and captures the camera angle so that the entire one still image I2 appears on the entire display screen 14 of the smartphone 1. However, it is not always necessary to determine the camera angle so that the entire still image I2 at the position is reflected on the entire display screen 14.
  • the photo book has a plurality of pages on which one or a plurality of still images are represented.
  • a plurality of still images are displayed on one sheet like a post card. It goes without saying that the same processing can be carried out for those that are provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

 電子アルバムの静止画に関連付けられている情報を見つける関連情報検出装置,検出方法,検出プログラムおよびそのプログラムを格納した記録媒体を提供する。フォトブック30の一の静止画I2が第1の領域として撮像され,その静止画I2の特徴が第1の特徴として検出される。第1の領域と異なる第2の領域が撮像され,その特徴が第2の特徴として検出される。検出された第1の特徴と第2の特徴との二つの特徴から,一の静止画に関連付けられた動画が見つけられる。一の静止画I2だけでなく,第2の領域の情報が得られなければ,一の静止画に関連付けられた動画が得られないので,フォトブック30の所有者のみが静止画に関連付けられた動画を見ることができるようになる。

Description

静止画の関連情報検出装置,検出方法,検出プログラムならびにそのプログラムを格納した記録媒体
 この発明は,静止画の関連情報検出装置,検出方法,検出プログラムならびにそのプログラムを格納した記録媒体に関する。
 近年,ディジタル・カメラ,スマートフォンなどにより動画の撮影が容易となってきており,その撮影機会も増えている。撮影された動画は記録メディアなどに保存されるが,必要な場合に見つけるのは難しい。
 また,動画の中から印象的なコマを選び出し,写真やアルバムに出力することができるようになってきている。このようにして作成されたアルバムを見た際には,写真の元となっている動画を閲覧したいというニーズがある。このために,ディジタル・カメラ,携帯電話,スマートフォン,タブレット端末などのように撮影機能と表示機能とをもつ装置においてアルバムに含まれている写真を撮影することにより,その写真に関連した動画を再生するものが考えられている(特許文献1)。また,携帯端末のカメラ機能により映し出された撮影画像と関連する情報を携帯端末の画面に表示させるものもある(特許文献2)。さらに,紙に印刷されている印画画像から印画認証コードを紙に印画しておき,紙に印刷された印画内容を検証できるようにするものもある(特許文献3)。
特開2013-92903号公報 特開2013-222406号公報 特開2006-340215号公報
 特許文献1に記載のものでは,静止画に埋め込まれた電子透かしを読み取り,動画を再生するが,電子透かしのコードは人工的に生成されたものであるから,コードだけからは閲覧を制限できない。特許文献2に記載のものでは,撮影画像を特定するインデックスを撮影画像から自動的に抽出しているが,その撮像画像が得られるだけで関連する情報が表示されてしまう。特許文献1,2に記載のものでは,特定のユーザにのみ静止画に関連づけられた情報が得られるようにするセキュリティは低い。また,特許文献3に記載のものでは,印画内容の真偽を検出するに過ぎず,印画画像に関連付けられている情報を見つけ出すことは考えられていないどころか,そのような情報を印画画像に関連づけることすら考えられていない。
 この発明は,静止画表示紙媒体を有しているユーザが,その静止画表示紙媒体に含まれている静止画に関連付けられている情報を見つけられるようにすることを目的とする。
 この発明による静止画の関連情報検出装置は,静止画表示紙媒体に表わされている複数の静止画のうち,一の静止画を含む第1の領域および静止画表示紙媒体のうち第1の領域と異なる第2の領域を撮像する撮像手段,撮像手段によって撮像された第1の領域から一の静止画を特定する第1の特徴を検出する第1の特徴検出手段,撮像手段によって撮像された第2の領域から,第2の領域を特定する第2の特徴を検出する第2の特徴検出手段,ならびに第1の特徴検出手段によって検出された第1の特徴と第2の特徴検出手段によって検出された第2の特徴とから一の静止画に関連付けられている情報を見つけ出す指令を出力する指令手段を備えていることを特徴とする。
 この発明は,静止画の関連情報検出方法も提供している。すなわち,この方法は,撮像手段が,静止画表示紙媒体に表わされている複数の静止画のうち,一の静止画を含む第1の領域および静止画表示紙媒体のうち第1の領域と異なる第2の領域を撮像し,第1の特徴検出手段が,撮像手段によって撮像された第1の領域から一の静止画を特定する第1の特徴を検出し,第2の特徴検出手段が,撮像手段によって撮像された第2の領域から,第2の領域を特定する第2の特徴を検出し,指令手段が,第1の特徴検出手段によって検出された第1の特徴と第2の特徴検出手段によって検出された第2の特徴とから一の静止画に関連付けられている情報を見つけ出す指令を出力するものである。
 この発明は,静止画の関連情報を検出するプログラムおよびそのプログラムを格納した記録媒体も提供している。
 撮像手段は,たとえば,一の静止画と異なる他の静止画を撮像するものであり,第2の特徴検出手段は,たとえば,撮像手段によって撮像された他の静止画から第2の特徴を検出するものである。
 撮像手段は,静止画表示紙媒体に表わされている複数の静止画を除く静止画外領域を撮像してもよい。この場合,第2の特徴検出手段は,撮像手段によって撮像された静止画外領域から第2の特徴を検出するものとなろう。
 静止画外領域は,たとえば,余白領域である。
 撮像手段が,静止画外領域を撮像する場合,第2の特徴検出手段は,撮像手段によって撮像された静止画外領域の幅,面積,色および形状ならびに静止画外領域に表わされているテクスチャ,文字および図形のうち少なくとも一つにもとづいて第2の特徴を検出することができる。
 第2の領域に電子透かしが埋め込まれている場合には,電子透かしから第2の特徴を検出することができる。
 指令手段は,たとえば,第1の特徴検出手段によって検出された第1の特徴と第2の特徴検出手段によって検出された第2の特徴とから一の静止画に関連付けられている動画および動画のチャプターの開始時間の少なくとも一方を見つけ出す指令を出力するものである。
 第1の領域は,たとえば,撮像手段における撮像範囲の一部の領域であり,第2の領域は,たとえば,撮像範囲に相当する領域である。この場合,撮像手段は,第1の領域と第2の領域とを同時に撮像し,一部の領域を表示画面に表示する表示装置をさらに備えることが好ましい。
 静止画表示紙媒体のうち,撮像手段によって撮像された領域の画像を表示画面に表示する表示装置,および表示装置の表示画面に表示されている画像のうち,一部の領域を指定する指定手段をさらに備えてもよい。この場合,第1の特徴検出手段は,指定手段により指定された領域を第1の領域と決定し,第1の特徴を検出するものとなろう。
 静止画表示紙媒体のうち,撮像手段によって撮像された領域の画像を表示画面に表示する表示装置,および表示画面に表示されている画像上に,第1の領域を特定するマークを表示させる表示制御手段をさらに備えてもよい。
 静止画表示紙媒体は,たとえば,複数の静止画が表わされている一枚の用紙または1頁に1または複数の静止画が表わされている,複数頁から構成されるフォトブックである。
 この発明によると,静止画表示紙媒体に表わされている複数の静止画のうち,一の静止画を含む第1の領域および第1の領域と異なる第2の領域が撮像される。第1の領域から,一の静止画を特定する第1の特徴が検出され,第2の領域から第2の領域を特定する第2の特徴が検出される。検出された第1の特徴と第2の特徴とから,一の静止画に関連付けられている情報を見つけ出す指令が,たとえば,その情報を格納しているデータベースにアクセス可能なサーバに出力される。第1の特徴と第2の特徴とから,一の静止画に関連付けられている情報が見つけられ,見つけられた情報が関連情報検出装置に与えられる。関連情報検出装置において,一の静止画に関連付けられている情報が得られる。第1の領域と第2の領域とを撮像しなければ,一の静止画に関連付けられている情報が得られないので,一の静止画のみが得られていたとしても,一の静止画に関連付けられている情報が得られない。静止画表示紙媒体を有しているユーザが,一の静止画に関連付けられている情報を見つけることができるようになる。
静止画の関連情報検出システムの概要である。 スマートフォンの電気的構成を示すブロック図である。 フォトブックの一例である。 フォトブックの一例である。 静止画特徴テーブルの一例である。 静止画外特徴テーブルの一例である。 特徴インデックス・テーブルの一例である。 スマートフォンの処理手順を示すフローチャートである。 サーバの処理手順を示すフローチャートである。 スマートフォンの表示画面の一例である。 スマートフォンの表示画面の一例である。 フォトブックの一例である。 フォトブックの一例である。 スマートフォンの表示画面の一例である。 スマートフォンの表示画面の一例である。
 図1は,この発明の実施例を示すもので,静止画の関連情報検出システムの概要である。
 静止画の関連情報検出システムには,インターネット(他のネットワークでもよい)を介して互いに通信可能なスマートフォン(関連情報検出装置)1とサーバ20とが含まれている。サーバ20には,後述するようにフォトブックに含まれている静止画に関連付けられている動画(動画に限らず,静止画に関連付けられている情報であればよい)が複数格納されている。
 図2は,スマートフォン1の電気的構成を示すブロック図である。
 スマートフォンの全体の動作は,CPU2によって統括される。
 スマートフォン1には,カメラ8および表示装置6が含まれている。表示装置6の表示画面上にはタッチ・パネル7が設けられている。また,スマートフォン1には,データを記憶するメモリ3,メモリ・カード5とアクセスするためのメモリ・カード・インターフェイス4,インターネットに接続するための通信装置9およびパーソナル・コンピュータなどと接続するためのインターフェイス10も含まれている。さらに,スマートフォン1には,通話のためのマイクロフォン12,スピーカ13および音声制御装置11も含まれている。
 メモリ・カード5には,後述する動作を制御するプログラムが格納されている。そのようなメモリ・カード5がメモリ・カード・インターフェイス4と接続され,メモリ・カード5に格納されているプログラムがスマートフォン1に読み取られる。読み取られたプログラムがスマートフォン1にインストールされることにより,後述する動作が行われる。プログラムは,メモリ・カード5のような記録媒体に格納されていなくとも,インターネットを介して通信装置9によってダウンロードするようにしてもよい。
 図3および図4は,フォトブック(紙製アルバム,静止画表示紙媒体)30の一例である。
 図3はフォトブック30の第1頁と第2頁を示し,図4はフォトブック30の第3頁と第4頁とを示している。フォトブック30には,第5頁以降もあるが,省略されている。もっとも,第4頁までのフォトブックでもよい。
 図3を参照して,第1頁および第2頁には,静止画(写真)I1からI5が表わされている。これらの静止画I1からI5の間を静止画外領域と呼ぶこととする。第1頁から第2頁では,静止画外領域a1からa4が図示されている。静止画外領域a1,a3およびa4は余白(余白領域)であり,静止画外領域a2には,「春の一日」という文字およびハート・マークが表示されている。静止画外領域a1は,鎖線で示すように静止画I1,I2およびI3で囲まれている領域である。その他の静止画外領域も同様に規定される。静止画I2およびI5のそれぞれの左上および右下には,枠(マーク)31が表わされている。この枠31は,囲まれている静止画(図3の場合I2およびI5)に関連する動画が情報データベース21に格納されていることを示している。もっとも枠31は必ずしも必要ではない。静止画I2およびI5は,関連する動画を構成する1コマの静止画であるが,必ずしも動画を構成する1コマの静止画がフォトブック30に表わされていなくともよい。動画を構成する静止画ではない静止画に関連付けられて動画が情報データベース21に格納されていてもよい。
 図4を参照して,第3頁および第4頁には,静止画I6からI9が表わされている。静止画I6からI9の間には静止画外領域a5からa8が存在している。静止画I7およびI8の左上および右下には上述した枠31が設けられている。静止画I7およびI8に関連した動画があることが分る。
 図5は,静止画特徴テーブルの一例である。
 静止画特徴テーブルは,フォトブック30に含まれている静止画の特徴を静止画ごとに格納するものである。静止画特徴テーブルは,情報データベース21に格納されている。
 静止画I1の特徴として,暗点の位置(静止画I1の左上を原点とした場合の座標位置),輝点の位置,エッジの位置,階調値,色ヒストグラム,空間周波数,勾配ヒストグラム,電子透かしなどが静止画特徴テーブルに格納されている。同様に,静止画I1以外の静止画の特徴も静止画特徴テーブルに格納されている。
 図6は,静止画外特徴テーブルの一例である。
 静止画外特徴テーブルは,フォトブックに含まれている静止画外領域の特徴を静止画外領域ごとに格納するものである。静止画外特徴テーブルも情報データベース21に格納されている。
 静止画外領域a1の特徴として,領域の幅,領域の面積,色,形状,電子透かしなどが静止画外特徴テーブルに格納されている。領域の幅は,図3において,フォトブック30の左端から静止画I2の左端までの距離を示し,領域の面積および形状は,図3に示したように鎖線で囲まれている部分の面積および形状である。静止画外領域a1に電子透かしが埋め込まれている場合には,そのデータが静止画外特徴テーブルに格納される。
 静止画外領域a2には,上述した図3から分るように,「春の一日」およびハート・マークが含まれているから,それらの文字,文字の色,図形,図形の色等も静止画外特徴テーブルに格納されている。
 図7は,特徴インデックス・テーブルの一例である。
 特徴インデックス・テーブルに格納されている特徴インデックスは,静止画を特定するものであり,静止画に関連付けられている動画も管理するものである。特徴インデックスは,図5および図6に格納されている異なる領域の特徴に対応付けられている。異なる領域は少なくとも一つの静止画領域を含むもので,2つ以上の静止画領域でもよいし,一つの静止画領域と一つ以上の静止画外領域でもよい。異なる領域の特徴から,特徴インデックスが見つけられ,見つけられた特徴インデックスから静止画およびその静止画に関連付けられている動画が見つけられる。たとえば,静止画I1の暗点の位置および静止画外領域a1の幅という二つの特徴が与えられると,その特徴によって静止画I1を特定する特徴インデックスIx11が見つけられる。それらの二つの特徴の組合わせが特徴インデックスIx11ということもできる。見つけられた特徴インデックスIx11から静止画I1および動画M1が見つけられる。その他の静止画および動画についても同様である。異なる静止画に同じ動画が関連づけられていてもよいし,動画の一部を動画として静止画に関連づけられていてもよい。
 図8は,スマートフォン1の処理手順を示すフローチャート,図9は,サーバ20の処理手順を示すフローチャートである。
 これらの処理手順は,図3および図4に示すフォトブック30に含まれている静止画に関連付けられている動画を見つけ出し,スマートフォン1において再生するものである。
 この実施例では,静止画I2に関連付けられている動画を再生するものとする。
 スマートフォン1のユーザは,フォトブック30のうち,一の静止画I2を含む第1の領域を,スマートフォン1を用いてカメラ(撮像手段)8で撮像する(図8ステップ41)。すると,第1の領域を表わす画像がスマートフォン1のメモリ3に一時的に記憶される。図10は,一の静止画I2を含む第1の領域をスマートフォン1で撮像している様子を示している。スマートフォン1のユーザは,一の静止画I2の全体がスマートフォン1の表示画面14の全体に写るようにカメラ・アングルを決定し,撮像する。もっとも,必ずしも位置の静止画I2の全体が表示画面14の全体に写るようにカメラ・アングルを決定して撮像しなくともよい。
 つづいて,スマートフォン1のユーザは,フォトブック30のうち第1の領域とは異なる第2の領域(第1の領域と異なる頁でも同じ頁でもよい。第1の領域と完全に一致していなければよい。)をカメラ(撮像手段)8で撮像し,(図8ステップ41),シャッタを押す。すると,第2の領域を表わす画像がスマートフォン1のメモリ3に一時的に記憶される。図11は,第2の領域をスマートフォン1で撮像している様子を示している。この例では,静止画I4(一の静止画と異なる他の静止画)を含む領域が第2の領域として撮像される。静止画I4がスマートフォン1の表示画面14に表示される。
 つづいて,撮像された第1の領域から,一の静止画I2を特定する第1の特徴がCPU2によって検出される(第1の特徴検出手段)(図8ステップ42)。例えば,一の静止画I2の暗点の位置および輝点の位置がCPU2によって検出される。さらに,撮像された第2の領域の静止画I4から,第2の領域を特定する第2の特徴がCPUによって検出される(第2の特徴検出手段)(図8ステップ43)。たとえば,第2の領域に含まれている静止画I4のエッジの位置および階調値が検出される。一の静止画I2と同様に,静止画I4の暗点の位置および輝点の位置が検出されてもよい。
 検出された第1の特徴および第2の特徴ならびに関連情報検出コマンド(一の静止画に関連付けられている情報を見つけ出す指令)がスマートフォン1からサーバ20に出力(送信)される(図8ステップ44)(指令手段)。この例では,静止画I2に動画が関連付けられており,かつ静止画I4には動画が関連付けられていないから,静止画I2の関連情報検出コマンドがスマートフォン1からサーバ20に送信される。
 スマートフォン1から送信された検出された第1の特徴および第2の特徴ならびに関連情報検出コマンドがサーバ20において受信されると(図9ステップ51でYES),第1の特徴および第2の特徴から第1の領域が表わす一の静止画を特定する特徴インデックスが検出される(図9ステップ52)。上述したように,一の静止画I2の暗点の位置および輝点の位置が第1の特徴として検出され,静止画I4のエッジの位置および階調値が第2の特徴として検出された場合には,第1の特徴の暗点の位置および起点の位置をもつ領域は静止画I2であることが静止画特徴テーブルから分り,第2の特徴のエッジの位置および階調値をもつ領域は静止画I4であることが静止画特徴テーブルから分る。そして,第1の特徴の暗点の位置および起点の位置をもち,かつ第2の特徴のエッジの位置および階調値をもつ組み合わせに対応する特徴インデックスが特徴インデックス・テーブルから検出される(図9ステップ52)。この例の場合,静止画I2およびI4が撮像されているが,動画が関連付けられているのは静止画I2であるから,静止画I4を特定する特徴インデックスは見つからず(特徴インデックス・テーブルに格納されていない),静止画I2を特定する特徴インデックスが見つけられる。
 見つけられた特徴インデックスに対応する静止画(この場合静止画I2)が見つけられ,その静止画に関連付けられている動画(この場合動画M1)が情報データベース21から検出される(図9ステップ53)。検出された動画がサーバ20からスマートフォン1に送信(図9ステップ54)。
 サーバ20から送信された動画がスマートフォン1において受信されると(図8ステップ45でYES),その動画がスマートフォン1において再生される(図8ステップ46)。
 一の静止画I4を含む第1の領域を撮像して,その一の静止画の特徴から一の静止画に関連付けられている動画を再生するのではなく,第1の領域と異なる第2の領域を撮像し,一の静止画の特徴と第2の領域の特徴とから,一の静止画に関連付けられている動画を見つけ出しているので,一の静止画だけ得られていても一の静止画に関連付けられている動画を再生できない。一の静止画と第2の領域との両方の領域を撮像することができて初めて,一の静止画に関連付けられている動画を再生できる。フォトブック30自体を所有していなければ,フォトブックの静止画に関連付けられている動画を再生できないので,フォトブック30自体が動画再生の権限をもつことを証明するものとなる。
 図12および図13は,フォトブック30の一例であり,図3および図4に対応している。
 上述の実施例では,第2の領域として一の静止画と異なる静止画が撮像されているが,一の静止画が含まれていても,第1の領域と異なる第2の領域が撮像されればよい。
 たとえば,図12の鎖線61で示すように,一の静止画I2を含むが,第1の領域よりも大きな領域を第2の領域として撮像してもよい。この場合には,一の静止画I2の周りの静止画外領域a1,a2,a3などから第2の領域の特徴量が検出される。たとえば,静止画外領域a2の幅,領域a3の幅などが第2の領域の特徴量として検出される。第2の領域の特徴量として検出された特徴量と一の静止画の特徴量との組み合わせに対応する特徴インデックスが,上述のように特徴インデックス・テーブルから見つけられ,静止画および動画が見つけられることとなる。
 また,図12の鎖線62で示すように,文字,図形などが含まれている静止画外領域a2を,第2の領域として撮像してもよい。この場合には,静止画外領域a2に含まれている文字,図形などが第2の領域の特徴量として検出される。この場合も,第2の領域の特徴量として検出された特徴量と一の静止画の特徴量との組み合わせに対応する特徴インデックスが,上述のように特徴インデックス・テーブルから見つけられ,静止画および動画が見つけられることとなる。
 さらに,図13に鎖線63で示すように,一の静止画I2と異なる頁(見開き頁に無い頁)の領域を第2の領域として撮像するようにしてもよい。
 上述のように,静止画外領域の幅,面積,色,形状,静止画外領域に表わされているテクスチャ,文字,図形の少なくとも一つにもとづいて第2の特徴量を検出するようにしてもよいし,電子透かしが埋め込まれている領域を撮像して,電子透かしから第2の特徴量を検出するようにしてもよい。また,静止画外領域が第2の領域として撮像される場合,領域a2のように文字などが表わされている領域に限らず,余白領域を第2の領域として撮像されるようにしてもよいのはいうまでもない。
 さらに,図12に鎖線61で示す領域を撮像範囲に相当する領域とした場合に,図10に示すように,その撮像範囲の一部の領域をスマートフォン1の表示画面14に表示するようにしてもよい。この場合,表示画面14に表示される領域が一の画像を含む第1の領域となり,撮像範囲が第2の領域となる。また,第1の領域と第2の領域とを同時に撮像することとなる。ユーザは,一の静止画I2を第1の領域として撮像して表示画面14に表示しながら,一の静止画(第1の領域)よりも広い第2の領域を第1の領域と同時に撮像できることとなる。このようにして得られた第1の領域と第2の領域とから第1の特徴量および第2の特徴量が検出され,上述のように動画が見つけられるのはいうまでもない。
 図14は,変形例を示すもので,スマートフォン1の表示画面14の一例である。
 スマートフォン1によってフォトブックの第1頁および第2頁が撮像されている。表示装置6の表示画面14には,その第1頁および第2頁の画像が表示されている。スマートフォン1のユーザは,指70を使って,関連付けられている動画が見たい静止画上のタッチ・パネル(指定手段)をタッチする(一部の領域を指定)。すると,指定された静止画が第1の領域と決定され,第1の特徴量がCPU2によって検出される。この場合,指定された領域の周りの領域(鎖線64で示す領域)を自動的に第2の領域と決定するようにしてもよい。決定された第2の領域から第2の特徴量が検出される。
 図15は,スマートフォン1の表示画面14を示すもので,変形例を示している。
 表示画面14には,四つの指定枠15が表示されている。この指定枠15に一致するように,動画が関連付けられている静止画が撮像される。すると,一致した静止画が一の静止画として第1の領域から第1の特徴量が検出される。このように,表示画面に表示されている画像上に第1の領域を特定する枠15(マーク)をCPU2(表示制御手段)によって表示させるようにしてもよい。第2の領域は,改めて撮像してもよいし,上述したように,枠15の周りの領域としてもよい。
 上述した実施例では,1または複数の静止画が表わされている複数の頁を有するフォトブックについてのものであったが,ポストカードのように1枚の用紙に複数の静止画が表わされているものについても同様の処理を行うことができるのはいうまでもない。
 また,上述した静止画特徴テーブル,静止画外特徴テーブル,特徴インデックス・テーブル,動画がスマートフォン1に格納されていれば,サーバ20とアクセスすることなく,静止画に関連付けられている動画をスマートフォン1で再生できる。また,スマートフォンに限らず,他の携帯電話,タブレット端末等でも上述した処理を行うことができる。
1 スマートフォン(関連情報検出装置)
2 CPU(第1の特徴量検出手段,第2の特徴量検出手段,表示制御手段)
8 カメラ(撮像手段)
9 通信装置(指令手段)

Claims (14)

  1.  静止画表示紙媒体に表わされている複数の静止画のうち,一の静止画を含む第1の領域および上記静止画表示紙媒体のうち上記第1の領域と異なる第2の領域を撮像する撮像手段,
     上記撮像手段によって撮像された上記第1の領域から上記一の静止画を特定する第1の特徴を検出する第1の特徴検出手段,
     上記撮像手段によって撮像された上記第2の領域から,上記第2の領域を特定する第2の特徴を検出する第2の特徴検出手段,ならびに
     上記第1の特徴検出手段によって検出された上記第1の特徴と上記第2の特徴検出手段によって検出された上記第2の特徴とから上記一の静止画に関連付けられている情報を見つけ出す指令を出力する指令手段,
     を備えた静止画の関連情報検出装置。
  2.  上記撮像手段は,
     上記一の静止画と異なる他の静止画を撮像するものであり,
     上記第2の特徴検出手段は,
     上記撮像手段によって撮像された上記他の静止画から上記第2の特徴を検出するものである,
     請求項1に記載の静止画の関連情報検出装置。
  3.  上記撮像手段は,
     上記静止画表示紙媒体に表わされている複数の静止画を除く静止画外領域を撮像するものであり,
     上記第2の特徴検出手段は,
     上記撮像手段によって撮像された静止画外領域から上記第2の特徴を検出するものである,
     請求項1または2に記載の静止画の関連情報検出装置。
  4.  上記静止画外領域は,余白領域である,
     請求項3に記載の静止画の関連情報検出装置。
  5.  上記撮像手段は,
     上記静止画外領域を撮像するものであり,
     上記第2の特徴検出手段は,
     上記撮像手段によって撮像された上記静止画外領域の幅,面積,色および形状ならびに上記静止画外領域に表わされているテクスチャ,文字および図形のうち少なくとも一つにもとづいて上記第2の特徴を検出するものである,
     請求項3に記載の静止画の関連情報検出装置。
  6.  上記第2の領域には電子透かしが埋め込まれており,上記電子透かしから上記第2の特徴を検出するものである,
     請求項1から5のうち,いずれか一項に記載の静止画の関連情報検出装置。
  7.  上記指令手段は,
     上記第1の特徴検出手段によって検出された上記第1の特徴と上記第2の特徴検出手段によって検出された上記第2の特徴とから上記一の静止画に関連付けられている動画および動画のチャプターの開始時間の少なくとも一方を見つけ出す指令を出力するものである,
     請求項1から6のうち,いずれか一項に記載の静止画の関連情報検出装置。
  8.  上記第1の領域は,上記撮像手段における撮像範囲の一部の領域であり,
     上記第2の領域は,上記撮像範囲に相当する領域であり,
     上記撮像手段は,上記第1の領域と上記第2の領域とを同時に撮像するものであり,
     上記一部の領域を表示画面に表示する表示装置,
     をさらに備えた請求項1から7のうち,いずれか一項に記載の静止画の関連情報検出装置。
  9.  上記静止画表示紙媒体のうち,上記撮像手段によって撮像された領域の画像を表示画面に表示する表示装置,および
     上記表示装置の上記表示画面に表示されている画像のうち,一部の領域を指定する指定手段をさらに備え,
     上記第1の特徴検出手段は,
     上記指定手段により指定された領域を上記第1の領域と決定し,上記第1の特徴を検出するものである,
     請求項1から7のうち,いずれか一項に記載の静止画の関連情報検出装置。
  10.  上記静止画表示紙媒体のうち,上記撮像手段によって撮像された領域の画像を表示画面に表示する表示装置,および
     上記表示画面に表示されている画像上に,上記第1の領域を特定するマークを表示させる表示制御手段,
     をさらに備えた請求項1から9のうち,いずれか一項に記載の静止画の関連情報検出装置。
  11.  上記静止画表示紙媒体は,
     複数の静止画が表わされている一枚の用紙または1頁に1または複数の静止画が表わされている,複数頁から構成されるフォトブックである,
     請求項1から10のうち,いずれか一項に記載の静止画の関連情報検出装置。
  12.  撮像手段が,静止画表示紙媒体に表わされている複数の静止画のうち,一の静止画を含む第1の領域および上記静止画表示紙媒体のうち上記第1の領域と異なる第2の領域を撮像し,
     第1の特徴検出手段が,上記撮像手段によって撮像された上記第1の領域から上記一の静止画を特定する第1の特徴を検出し,
     第2の特徴検出手段が,上記撮像手段によって撮像された上記第2の領域から,上記第2の領域を特定する第2の特徴を検出し,
     指令手段が,
     上記第1の特徴検出手段によって検出された上記第1の特徴と上記第2の特徴検出手段によって検出された上記第2の特徴とから上記一の静止画に関連付けられている情報を見つけ出す指令を出力する,
     静止画の関連情報検出方法。
  13.  静止画の関連情報検出装置のコンピュータを制御するプログラムであって,
     静止画表示紙媒体に表わされている複数の静止画のうち,一の静止画を含む第1の領域および上記静止画表示紙媒体のうち上記第1の領域と異なる第2の領域を撮像させ,
     撮像された上記第1の領域から上記一の静止画を特定する第1の特徴を検出させ,
     撮像された上記第2の領域から,上記第2の領域を特定する第2の特徴を検出させ,
     検出された上記第1の特徴と上記第2の特徴とから上記一の静止画に関連付けられている情報を見つけ出す指令を出力する,静止画の関連情報検出装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
  14.  請求項13に記載のプログラムを格納した記録媒体。
PCT/JP2015/051294 2014-03-28 2015-01-20 静止画の関連情報検出装置,検出方法,検出プログラムならびにそのプログラムを格納した記録媒体 Ceased WO2015146237A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014067471A JP2015192258A (ja) 2014-03-28 2014-03-28 静止画の関連情報検出装置,検出方法,検出プログラムならびにそのプログラムを格納した記録媒体
JP2014-067471 2014-03-28

Publications (1)

Publication Number Publication Date
WO2015146237A1 true WO2015146237A1 (ja) 2015-10-01

Family

ID=54194779

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/051294 Ceased WO2015146237A1 (ja) 2014-03-28 2015-01-20 静止画の関連情報検出装置,検出方法,検出プログラムならびにそのプログラムを格納した記録媒体

Country Status (2)

Country Link
JP (1) JP2015192258A (ja)
WO (1) WO2015146237A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013092903A (ja) * 2011-10-25 2013-05-16 Dainippon Printing Co Ltd フォトブック作成システムおよびその使用方法
JP2013167973A (ja) * 2012-02-14 2013-08-29 Rakuten Inc 検索装置、検索方法、検索プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013092903A (ja) * 2011-10-25 2013-05-16 Dainippon Printing Co Ltd フォトブック作成システムおよびその使用方法
JP2013167973A (ja) * 2012-02-14 2013-08-29 Rakuten Inc 検索装置、検索方法、検索プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体

Also Published As

Publication number Publication date
JP2015192258A (ja) 2015-11-02

Similar Documents

Publication Publication Date Title
TWI253860B (en) Method for generating a slide show of an image
CN106664465B (zh) 用于创建和再现增强现实内容的系统以及使用其的方法
KR20100107684A (ko) 공유 레벨에 따라 영상을 차등화하여 제공하는 영상 공유 장치 및 방법
CN110100251B (zh) 用于处理文档的设备、方法和计算机可读存储介质
JP2016538783A (ja) モバイル映像データを用いて長尺文書の合成画像を生成するためのシステムおよび方法
US9569831B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium for extracting information embedded in a printed material
US9094616B2 (en) Method and system for image capture and facilitated annotation
JP6971789B2 (ja) 情報処理装置、プログラム及び情報処理方法
US9591172B2 (en) Information reading apparatus and computer-readable storage medium
KR102695188B1 (ko) 필터를 제공하는 방법 및 이를 지원하는 전자 장치
JP2016181808A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9081801B2 (en) Metadata supersets for matching images
US20150036020A1 (en) Method for sharing original photos along with final processed image
JP5184123B2 (ja) 画像処理装置、画像データ通信システム及び画像処理プログラム
JP6043753B2 (ja) コンテンツ再生システム、サーバ、携帯端末、コンテンツ再生方法、プログラムおよび記録媒体
CN109166193B (zh) 基于时间、位置、随机数和条形码的拍照打卡或取证方法
EP2909792A1 (en) Method and system for image capture and facilitated annotation
US10657723B2 (en) Image processing apparatus and image processing method
WO2016063570A1 (ja) 撮像抽出装置
KR101518696B1 (ko) 증강현실 컨텐츠의 생성 및 재생 시스템과, 이를 이용한 방법
JP7709053B2 (ja) 情報処理装置、情報処理システム、制御方法、プログラム
US9105110B2 (en) Method of simulating an imaging effect on a digital image using a computing device
WO2015146237A1 (ja) 静止画の関連情報検出装置,検出方法,検出プログラムならびにそのプログラムを格納した記録媒体
JP2016189507A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2012109696A (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15768200

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase
122 Ep: pct application non-entry in european phase

Ref document number: 15768200

Country of ref document: EP

Kind code of ref document: A1