JP5886662B2 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP5886662B2
JP5886662B2 JP2012060464A JP2012060464A JP5886662B2 JP 5886662 B2 JP5886662 B2 JP 5886662B2 JP 2012060464 A JP2012060464 A JP 2012060464A JP 2012060464 A JP2012060464 A JP 2012060464A JP 5886662 B2 JP5886662 B2 JP 5886662B2
Authority
JP
Japan
Prior art keywords
image
display
partial
whole
partial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012060464A
Other languages
English (en)
Other versions
JP2013195524A (ja
Inventor
増渕 美奈子
美奈子 増渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012060464A priority Critical patent/JP5886662B2/ja
Publication of JP2013195524A publication Critical patent/JP2013195524A/ja
Application granted granted Critical
Publication of JP5886662B2 publication Critical patent/JP5886662B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画像を表示する画像表示装置に関し、例えば、スマートフォンやタブレットPC、パーソナルコンピュータなどの画像表示装置に関する。
近年、記憶容量が大きいメモリを搭載したデジタルカメラの普及により、枚数をあまり気にせず写真を撮ることが可能となっている。例えば、絵画の写真を撮る場合、絵画の全体を撮影するのに加えて、絵画の一部を拡大して撮影することなども気軽に行われるようになっている。
例えば、絵画全体を撮影することは、作品全体の雰囲気を記録するために重要であるが、絵画の一部を撮影することは、作品全体がどのようにして成り立っているのかを把握したい場合に重要である。また、絵画の一部を撮影することには、絵画の質感を記録に残すためという目的もある。
ここで、絵画の質感とは、紙の質感(紙の毛羽立ちや表面のざらつきなど)、画材の質感(絵具の重なり具合、絵具の透け具合(溶け具合)、絵具の盛り上がりなど)のことである。絵画の質感を記録に残すことは、絵画制作者の制作工程(絵画をどの部分からどのような順序で描いたのか、絵画を描くのにどのような道具、画材を用いたのか)などを推測するのに大いに役立つ。
撮影した写真の数が少ない場合、全体写真とその一部の写真との対応関係を把握することは比較的容易である。しかし、撮影した写真の数が多くなってくると、その対応関係を把握することが難しくなり、全体写真の一部に対応する写真を探すのに手間がかかるようになる。
また、絵画などを拡大して撮影した場合、もとの絵画とは全く別のものを撮影しているように感じる場合がある。このような場合、拡大して撮影したものを後で見たときに、何を拡大して撮影した写真かを思い出すことが困難になる。
また、絵画の一部を非常に大きく拡大して撮影した場合、撮影された写真は絵画全体のほんの一部であるため、その部分が絵画全体のどの部分かを確認することが困難になる。特に、スマートフォンやタブレットPCでは、カメラの高解像度化が進んでいるものの、ディスプレイの大きさはそれほど大きくないため、上記確認が困難となる。
特許文献1には、全体画像と、全体画像の一部を拡大したズーム画像がある場合に、全体画像のズーム画像に対応する位置にクリッカブルマップを表示し、その位置がポインタなどでクリックされた場合にズーム画像を画面一面に拡大表示するようにした電子スチルカメラが開示されている。この技術により、全体画像に関連するズーム画像を探す手間を省くことができる。
特開2000−217022号公報
しかしながら、特許文献1の従来技術では、一画面には1つの画像しか表示されないため、全体画像の一部に対応する部分画像が全部でいくつあるのか、また、他にどのような部分画像が存在するかをユーザが把握しにくいという問題がある。
本発明は、上記実情に鑑み、全体画像の一部に対応する部分画像が全部でいくつあるのか、また、他にどのような部分画像が存在するかをユーザが容易に把握できるようにする画像表示装置を提供することを目的とする。
上記課題を解決する為に、本発明の第1の技術手段は、画像を表示する画像表示装置であって、前記画像を表示する表示部と、少なくとも画像データを記憶する記憶部と、該記憶部に記憶された画像データのうち、全体画像と該全体画像の一部に対応する部分画像の関係にある画像データを検出し、前記全体画像の画像データと前記部分画像の画像データとの間の対応関係を示す対応データを生成し、前記記憶部に記憶する対応データ生成部と、前記記憶部に記憶された前記対応データに基づいて、前記全体画像の画像データと前記部分画像の画像データとを選択し、該全体画像の画像データ、および、該部分画像の画像データに基づいて、該全体画像と一緒に該部分画像を前記表示部に表示させる表示制御部と、備え、該表示制御部は、前記全体画像の一部と前記部分画像との間の対応関係を示す対応情報を、該全体画像および該部分画像と一緒に前記表示部に表示させることを特徴とする。
本発明の第の技術手段は、第の技術手段において、前記表示制御部は、前記部分画像が他の部分画像の一部である場合に、前記部分画像と前記他の部分画像との間の対応関係を示す対応情報を、前記全体画像、前記部分画像、および、前記他の部分画像と一緒に前記表示部に表示させることを特徴とする。
本発明の第の技術手段は、第の技術手段において、前記表示制御部は、前記全体画像中の領域がユーザにより選択され、該領域に対応する部分画像が前記表示部に表示されている場合に、該領域に対応する部分画像を示す対応情報を前記表示部に表示させることを特徴とする。
本発明の第の技術手段は、第1〜第のいずれかの技術手段において、前記表示制御部は、前記ユーザからの指示を受け付けた場合に、前記全体画像および部分画像の表示位置または表示サイズを変更することを特徴とする。
本発明の第の技術手段は、第1〜第のいずれかの技術手段において、前記表示制御部は、前記全体画像の表示指示をユーザから受け付けた場合に、該全体画像の一部に対応する前記部分画像の画像データを検索し、検索の結果得られた部分画像の画像データに基づいて、該部分画像を前記全体画像と一緒に前記表示部に表示させることを特徴とする。
本発明の第の技術手段は、第1〜第いずれか1の技術手段において、前記表示制御部は、前記部分画像の表示指示をユーザから受け付けた場合に、該部分画像に一部が対応する前記全体画像の画像データを検索し、検索の結果得られた全体画像の画像データに基づいて、該全体画像を前記部分画像と一緒に前記表示部に表示させることを特徴とする。
本発明の第の技術手段は、第の技術手段において、前記表示制御部は、前記部分画像に一部が対応する複数の全体画像の画像データがある場合に、該複数の全体画像の画像データに基づいて、該複数の全体画像を前記表示部に表示させることを特徴とする。
本発明の第の技術手段は、第の技術手段において、前記表示制御部は、前記部分画像に一部が対応する複数の全体画像の画像データがある場合に、ユーザにより選択された全体画像の画像データに基づいて、該全体画像を前記表示部に表示させることを特徴とする。
本発明によれば、全体画像の画像データと全体画像の一部に対応する部分画像の画像データとの間の対応関係を示す対応データを記憶し、記憶された対応データに基づいて、全体画像の画像データと部分画像の画像データとを選択し、全体画像の画像データ、および、部分画像の画像データに基づいて、全体画像と一緒に部分画像を表示することとしたので、全体画像の一部に対応する部分画像が全部でいくつあるのか、また、他にどのような部分画像が存在するかをユーザが容易に把握できるようになる。
また、全体画像と一緒に部分画像を表示することにより、部分画像が全体画像のどの範囲に相当するものであるのかを容易に把握することができる。また、画像が写真である場合に、何に注目して撮影したのかという撮影者の意図を撮影者自身が容易に思い出すことができるだけでなく、撮影者以外の者もそれを容易に把握することができる。
さらに、撮影者以外の者が撮影者の意図を容易に把握できるようにすることにより、その撮影者の思考をより深く知ることができ、会話内容を広げたり、新たなコミュニケーションを生んだり、知識を増やすことなどができるようになる。
本発明の実施形態1に係る画像表示処理の一例について示す図である。 画像表示装置の構成の一例を示す図である。 対応データの一例を示す図である。 部分画像の一部に別の部分画像が対応する場合の一例について説明する図である。 部分画像が2つの全体画像の一部に対応する場合の一例について説明する図である。 全体画像および部分画像の表示画面の一例を示す図である。 部分画像の表示サイズや表示位置について説明する図である。 図3に示した対応データの生成処理の一例を示すフローチャートである。 本発明の実施形態1に係る画像表示処理の処理手順の一例を示すフローチャートである。 図9のステップS209に示した画像処理の一例を示すフローチャートである。 本発明の実施形態2に係る画像表示処理の一例について示す図である。 部分画像に対応する全体画像の部分を示す対応情報について説明する図である。 部分画像の一部に別の部分画像が対応する場合の一例について説明する図である。 部分画像が2つの全体画像の一部に対応する場合の一例について説明する図である。 図12で説明した画像表示処理の一例について説明するフローチャートである。 部分画像の表示位置や表示サイズについて説明する図である。
以下、本発明の実施形態について図面を参照して詳細に説明する。
(実施形態1)
図1は、本発明の実施形態1に係る画像表示処理の一例について示す図である。図1には、画面の所定の表示領域1内に3つの全体画像2、3、5が表示される例が示されている。全体画像2、3、5の表示はユーザの操作により切り替えられる。図1の例では、ユーザの操作により、全体画像2、全体画像3、全体画像5の順に表示がなされる。
また、全体画像3については、全体画像3の一部に対応する部分画像3a〜3dと、部分画像3a〜3dに対応する全体画像3の部分を示す対応情報4とが、全体画像3と一緒に表示されている。同様に、全体画像5についても、全体画像5の一部に対応する部分画像5aと、部分画像5aに対応する全体画像5の部分を示す対応情報4とが、全体画像5と一緒に表示されている。
このような表示を行うことにより、全体画像3、5の一部に対応する部分画像3a〜3d、5aが全部でいくつあるのか、また、他にどのような部分画像3a〜3d、5aが存在するかをユーザが容易に把握できるようになる。また、全体画像3、5、および、全体画像3、5と関連する部分画像3a〜3d、5aを一覧することができるようになる。さらに、対応情報4を表示することにより、部分画像3a〜3d、5aが全体画像3、5のどの領域に対応するものであるかをユーザが容易に把握できるようになる。
ここで、図1では、対応情報4が線である場合について説明したが、部分画像3a〜3dと、部分画像3a〜3dに対応する全体画像3の部分との間の対応関係がわかるものであれば、対応情報4は線以外のものであってもよい。また、線の種類も、図1に示すものに限定されず、部分画像3a〜3dに対応する全体画像3の部分との間の対応関係がわかるものであれば別の種類の線であってもよい。
また、図1には、部分画像3aがユーザにより選択された場合に、選択された部分画像3aが拡大表示される様子が示されている。これにより、部分画像3aが小さくて見にくい場合でも、ユーザは部分画像3aの細かい部分まで容易に確認することができる。
図2は、画像表示装置10の構成の一例を示す図である。画像表示装置10は、スマートフォンやタブレットPC、パーソナルコンピュータなど、画像を表示可能な装置である。画像表示装置10は、入力部11、表示部12、撮像部13、通信処理部14、記憶部15、制御部16を備える。
入力部11は、タッチパッドやキーボードなどの入力デバイスである。表示部12は、液晶ディスプレイなどの表示デバイスである。撮像部13は、カメラなどの撮像デバイスである。通信処理部14は、電話回線やネットワークを介して、他の装置と通信を行う通信デバイスである。
記憶部15は、メモリやハードディスク装置などの記憶デバイスである。記憶部15は、画像データ15a、サムネイル画像データ15b、対応データ15cなどを記憶する。
画像データ15aは、撮像部13による撮像により得られた画像データである。この画像データ15aには、画像データが撮像された際の倍率の情報が含まれる。サムネイル画像データ15bは、画像データ15aを縮小した画像データである。サムネイル画像データ15bは、縮小した全体画像や部分画像を表示する際に用いられるデータである。対応データ15cは、各画像の対応関係を示す情報を登録したデータである。
図3は、対応データ15cの一例を示す図である。対応データ15cには、全体画像情報、および、部分画像情報が登録される。全体画像情報は、全体画像の画像データの識別情報である。図3の例では、識別情報として、全体画像の画像データのファイル名(図3の1000182.jpg等)が用いられているが、これに限定されるものではない。
部分画像情報は、部分画像の画像データの識別情報(図3の1000184.jpg等)と、その部分画像が対応する他の画像の一部の領域の位置情報(図3の(X1A,Y1A),(X1B,Y1B)等)とを含む情報である。
位置情報とは、部分画像が全体画像の一部の領域に対応する場合、その領域が全体画像のどの位置にあるかを示す情報である。例えば、位置情報は、全体画像の左上の位置を原点とした2次元直交座標系において、全体画像の一部の領域に対応する部分画像の左上の位置を示す座標(図3の(X1A,Y1A)等)、および、右下の位置を示す座標(図3の(X1B,Y1B)等)で表される。
部分画像が他の部分画像の一部の領域に対応する場合は、位置情報とは、その領域が他の部分画像のどの位置かを示す情報となる。例えば、位置情報は、他の部分画像の左上の位置を原点とした2次元直交座標系において、他の部分画像の一部の領域に対応する部分画像の左上の位置を示す座標(図3の(X7A,Y7A)等)、および、右下の位置を示す座標(図3の(X7B,Y7B)等)で表される。
図3の例では、全体画像情報「1000182.jpg」には、部分画像情報が登録されていない。これは、図1の全体画像2のように、全体画像2に対応する部分画像がないことを示している。
また、全体画像情報「1000183.jpg」には、4つの部分画像情報「1000184.jpg,(X1A,Y1A),(X1B,Y1B)」、「1000185.jpg,(X2A,Y2A),(X2B,Y2B)」、「1000186.jpg,(X3A,Y3A),(X3B,Y3B)」、「1000187.jpg,(X4A,Y4A),(X4B,Y4B)」が登録されている。これは、図1の全体画像3のように、全体画像3に対応する4つの部分画像3a〜3dがあることを示している。全体画像情報「1000191.jpg」についても同様に、全体画像に対応する1つの部分画像があることを示している。
また、全体画像情報「1000193.jpg」には、2つの部分画像情報「1000194.jpg,(X6A,Y6A),(X6B,Y6B)」、「1000195.jpg,(X8A,Y8A),(X8B,Y8B)」が登録され、部分画像情報「1000194.jpg,(X6A,Y6A),(X6B,Y6B)」には、1つの部分画像情報「1000195.jpg,(X7A,Y7A),(X7B,Y7B)」が登録されている。これは、部分画像の一部に別の部分画像が対応する場合の例である。
図4は、部分画像の一部に別の部分画像が対応する場合の一例について説明する図である。図4には、全体画像6について、全体画像6の一部に対応する部分画像6a、6bと、部分画像6a、6bに対応する全体画像6の部分を示す対応情報4が全体画像6とともに表示されている。
それだけでなく、部分画像6bは、部分画像6aの一部に対応するため、部分画像6aの一部に対応する部分画像6bと、部分画像6bに対応する部分画像6aの部分を示す対応情報4が表示される。
このような場合、図3に一例を示す対応データ15cには、部分画像6aの部分画像情報「1000194.jpg,(X6A,Y6A),(X6B,Y6B)」に対応付けて、部分画像6bの部分画像情報「1000195.jpg,(X7A,Y7A),(X7B,Y7B)」が登録される。ここで、位置情報(X7A,Y7A),(X7B,Y7B)は、上述したように、部分画像6aの左上の位置を原点とした2次元直交座標系で表される。
図3の説明に戻ると、全体画像情報「1000196.jpg」には、2つの部分画像情報「1000197.jpg,(X9A,Y9A),(X9B,Y9B)」、「1000198.jpg,(X10A,Y10A),(X10B,Y10B)」が登録され、全体画像情報「1000199.jpg」にも、2つの部分画像情報「1000198.jpg,(X11A,Y11A),(X11B,Y11B)」、「1000200.jpg,(X12A,Y12A),(X12B,Y12B)」が登録されている。これは、部分画像が2つの全体画像の一部に対応する場合の例である。
図5は、部分画像が2つの全体画像の一部に対応する場合の一例について説明する図である。図5には、全体画像7、8、全体画像7の一部に対応する部分画像7a、全体画像7、8の一部に対応する部分画像7b、全体画像8の一部に対応する部分画像8a、部分画像7a、7b、8aに対応する全体画像7、8の部分を示す対応情報4が一緒に表示されている。
このように、部分画像7bが複数の全体画像7、8の一部に対応する場合、複数の全体画像7、8が一緒に表示される。これにより、部分画像に対応する領域を有する複数の全体画像をユーザが容易に把握できるようになる。
このような場合、図3に一例を示す対応データ15cには、全体画像7、8の全体画像情報「1000196.jpg」、「1000199.jpg」それぞれに対して、部分画像7bの部分画像情報「1000198.jpg,(X10A,Y10A),(X10B,Y10B)」、「1000198.jpg,(X11A,Y11A),(X11B,Y11B)」が登録される。
ここで、部分画像7bの位置情報(X10A,Y10A)と(X11A,Y11A)、(X10B,Y10B)と(X11B,Y11B)が異なるのは、位置情報(X10A,Y10A)、(X10B,Y10B)が全体画像7の左上の位置を原点とした2次元直交座標系で表されており、位置情報(X11A,Y11A)、(X11B,Y11B)が全体画像8の左上の位置を原点とした2次元直交座標系で表されているためである。
なお、ここでは、部分画像7bが複数の全体画像7、8の一部に対応する場合に、複数の全体画像7、8を一緒に表示することとしたが、全体画像7、8を一緒に表示する代わりに、表示する全体画像の指定をユーザから受け付け、指定された全体画像のみ表示することとしてもよい。
この場合、部分画像7bが対応する全体画像7、8が複数ある旨のメッセージが表示され、ユーザはそのメッセージに応じて全体画像の選択を行う。このように、不要な全体画像を表示させないことにより、ユーザが見たい全体画像について、全体画像と部分画像との間の対応関係をユーザが容易に把握できるようになる。
図2の説明に戻ると、制御部16は、画像表示装置10の各機能を制御するCPU(Central Processing Unit)などの制御デバイスである。制御部16は、画像データ管理部16a、対応データ生成部16b、表示制御部16cを備える。
画像データ管理部16aは、撮像部13による撮像の結果得られた画像データ、および、その画像データが撮像された際の倍率の情報を記憶部15に記憶したり、記憶部15に記憶した画像データのサムネイル画像のデータを生成したりする処理部である。
対応データ生成部16bは、図3で説明した対応データ15cを生成する処理部である。対応データ生成部16bは、全体画像の一部に対応する部分画像、および、部分画像の一部に対応する部分画像を検出し、その検出結果に基づいて対応データ15cを生成する。この対応データ15cの生成処理については後に詳しく説明する。
表示制御部16cは、表示部12における表示処理を制御する処理部である。表示制御部16cは、全体画像の一部に対応する部分画像や、部分画像の一部に対応する部分画像がある場合、部分画像が対応する全体画像の領域や部分画像が対応する部分画像の部分を示す対応情報4を、全体画像や部分画像と一緒に表示部12に表示させる。
また、表示制御部16cは、図1で説明したように、全体画像3や部分画像3a〜3dが入力部11を介してユーザにより指定された場合に、指定された部分画像を表示部12に拡大表示させる。
さらに、表示制御部16cは、入力部11を介して全体画像の表示指示をユーザから受け付けた場合に、対応データ15cを用いて、その全体画像の一部に対応する部分画像を検索し、検索の結果得られた部分画像を、全体画像や対応情報4とともに表示部12に表示させる。
図1を用いて説明すると、全体画像3や部分画像3a〜3dが表示されていない状態で、全体画像3の表示指示をユーザから受け付けた場合、表示制御部16cは、その全体画像3の一部に対応する部分画像3a〜3dを検索し、検索の結果得られた部分画像3a〜3dを、全体画像3や対応情報4とともに表示部12に表示させる。これにより、全体画像の一部に対応する部分画像を容易に抽出し、それらを一覧することができるようになる。
また、表示制御部16cは、入力部11を介して部分画像の表示指示をユーザから受け付けた場合に、対応データ15cを用いて、その部分画像に一部が対応する全体画像、および、その全体画像の一部に対応する他の部分画像を検索し、検索の結果得られた全体画像および他の部分画像を、表示指示を受け付けた部分画像や対応情報4とともに表示部12に表示させる。
図1を用いて説明すると、全体画像3や部分画像3a〜3dが表示されていない状態で、例えば、部分画像3aの表示指示をユーザから受け付けた場合、表示制御部16cは、その部分画像3aに一部が対応する全体画像3、および、その全体画像3の一部に対応する他の部分画像3b〜3dを検索し、検索の結果得られた全体画像3および他の部分画像3b〜3dを、表示指示を受け付けた部分画像3aや対応情報4とともに表示部12に表示させる。これにより、部分画像に一部が対応する全体画像、および、その全体画像の一部に対応する他の部分画像を容易に抽出し、それらを一覧することができるようになる。
図6は、全体画像および部分画像の表示画面の一例を示す図である。図6(A)には、全体画像および部分画像を表示する表示領域1を表示部12の画面9の一部に表示する場合の例が示されている。この状態において、表示する全体画像の切り替え指示をユーザから受け付けた場合、表示制御部16cは、図1で説明したように、つぎに表示される全体画像を表示部12に表示させる。
また、図6(B)には、全体画像や部分画像を表示する表示領域1が3つある場合の例が示されている。表示領域の数や大きさは、入力部11を介してユーザにより適宜設定され、表示制御部16cは、その設定に応じて表示部12に表示領域1を表示させる。
また、全体画像や部分画像の表示サイズや表示位置は、予め設定しておくこととしてもよいし、所定の条件に応じて変化させることとしてもよいし、ランダムに設定することとしてもよい。
図7は、部分画像の表示サイズや表示位置について説明する図である。図7(A)〜(C)では、部分画像3a〜3dの表示サイズや表示位置が異なっている。例えば、表示制御部16cは、表示部12に、撮影日時が現時点に近い部分画像ほど大きく表示させたり、撮影順序が後の部分画像ほど大きく表示させたり、図1の部分画像3aのように、拡大表示して閲覧された回数が多い部分画像ほど大きく表示させたりしてもよい。この場合、撮影日時、撮影順序、拡大表示して閲覧された回数の情報は、記憶部15に記憶されているものとする。
また、表示制御部16cは、全体画像3や部分画像3a〜3dの表示位置や表示サイズの変更指示を入力部11を介してユーザから受け付けた場合に、その変更指示に応じて表示位置や表示サイズを変更することとしてもよい。
また、表示制御部16cは、図5に示したように、部分画像7bに対応する領域を有する複数の全体画像7、8があり、入力部11を介してユーザによりいずれかの全体画像が指定された場合に、指定された全体画像と、その全体画像の一部に対応する部分画像のみを表示部12に表示させることとしてもよい。
つぎに、図3に示した対応データ15cの生成処理の一例について説明する。図8は、図3に示した対応データ15cの生成処理の一例を示すフローチャートである。この生成処理は、撮像部13により撮像される度に行われる処理である。以下では、複数の画像が撮像された後に、引き続き画像Xが撮像された場合について説明する。
まず、画像表示装置10の対応データ生成部16bは、記憶部15に記憶された画像データ15aの中から、画像Yを選択する(ステップS101)。ここで、画像Yは、画像Xよりも前に撮像された画像である。そして、対応データ生成部16bは、画像Yが画像Xよりも高倍率で撮像されたものか否かを判定する(ステップS102)。
画像Yが画像Xよりも高倍率で撮像されたものである場合(ステップS102においてYESの場合)、対応データ生成部16bは、画像Xの一部と画像Yが一致するか否かを判定する(ステップS102)。
具体的には、対応データ生成部16bは、画像Yの倍率の情報を用いて画像Yを縮小し、その縮小画像と画像Xの各領域との間で輝度値の相関を算出する。この相関は、例えば、2つの画像における輝度値の差の絶対値の和により表される。そして、その和が所定値以下である場合に、対応データ生成部16bは、画像Xの一部と画像Yが一致すると判定する。なお、この一致判定の方法はこれに限定されず、他の方法を用いることとしてもよい。
画像Xの一部と画像Yが一致する場合(ステップS103においてYESの場合)、対応データ生成部16bは、画像Yを画像Xの部分画像として設定する(ステップS104)。
さらに、対応データ生成部16bは、部分画像である画像Yの位置情報を設定する(ステップS105)。例えば、対応データ生成部16bは、画像Xの左上の位置を原点とした2次元直交座標系において、画像Yに対応する画像Xの領域の左上の位置の座標および右下の位置の座標を、部分画像である画像Yの位置情報として設定する。
ステップS102において、画像Yが画像Xよりも高倍率で撮像されたものでない場合(ステップS102においてNOの場合)、対応データ生成部16bは、画像Yの一部と画像Xが一致するか否かを判定する(ステップS106)。
具体的には、対応データ生成部16bは、画像Xの倍率の情報を用いて画像Xを縮小し、その縮小画像と画像Yの各領域との間で輝度値の相関を算出する。そして、その和が所定値以下である場合に、対応データ生成部16bは、画像Yの一部と画像Xが一致すると判定する。
画像Yの一部と画像Xが一致する場合(ステップS106においてYESの場合)、対応データ生成部16bは、画像Xを画像Yの部分画像として設定する(ステップS107)。
さらに、対応データ生成部16bは、部分画像である画像Xの位置情報を設定する(ステップS105)。例えば、対応データ生成部16bは、画像Yの左上の位置を原点とした2次元直交座標系において、画像Xに対応する画像Yの領域の左上の位置の座標および右下の位置の座標を、部分画像である画像Xの位置情報として設定する。
ステップS105の処理の後、または、ステップS106において、画像Yの一部と画像Xが一致しない場合(ステップS106においてNOの場合)、対応データ生成部16bは、画像データのすべての組み合わせが選択されたか否かを判定する(ステップS108)。
画像データのすべての組み合わせが選択されていない場合(ステップS108においてNOの場合)、ステップS101に移行して、新たな画像Yが選択される。画像データのすべての組み合わせが選択された場合(ステップS108においてYESの場合)、対応データ生成部16bは、部分画像でない画像を全体画像として設定する(ステップS109)。
その後、対応データ生成部16bは、設定した情報を対応データ15cに登録し(ステップS110)、この対応データ15cの生成処理は終了する。
なお、図8では、倍率を変えて複数の画像を撮像した場合の対応データ15cの生成方法について説明したが、撮影者が被写体に近づいて撮影した場合に、部分画像と対応する全体画像、あるいは、部分画像に対応する部分画像の情報の入力を撮影者等から受け付け、その情報に基づいて、対応データ15cを生成することとしてもよい。
つぎに、本発明の実施形態1に係る画像表示処理の処理手順の一例について説明する。図9は、本発明の実施形態1に係る画像表示処理の処理手順の一例を示すフローチャートである。
まず、画像表示装置10の表示制御部16cは、入力部11を介してユーザから表示する画像の選択を受け付ける(ステップS201)。ここで表示制御部16cが選択を受け付ける画像には、全体画像や部分画像が含まれる。
そして、表示制御部16cは、対応データ15cに基づいて、選択を受け付けた画像に対応する対応画像を検索する(ステップS202)。対応画像とは、対応データ15cにおいて、選択を受け付けた画像に対応付けて登録されている全体画像または部分画像のことである。
続いて、表示制御部16cは、対応画像があったか否かを判定する(ステップS203)。対応画像がなかった場合(ステップS203においてNOの場合)、表示制御部16cは、ステップS201において選択を受け付けた画像のみを表示する(ステップS207)。
ステップS203において、対応画像があった場合(ステップS203においてYESの場合)、表示制御部16cは、図5に示した部分画像7bに対応する全体画像7、8のように、部分画像に対応する複数の全体画像が検索されたか否かを判定する(ステップS204)。
複数の全体画像が検索されなかった場合(ステップS204においてNOの場合)、表示制御部16cは、ステップS201で選択を受け付けた画像と対応画像とを表示部12に一緒に表示させる(ステップS206)。
複数の全体画像が検索された場合(ステップS204においてYESの場合)、表示制御部16cは、図5に示したような画面表示において、複数の全体画像の中から、最終的に表示したいいずれかの全体画像の指定を受け付ける(ステップS205)。
その後、ステップS206に移行して、表示制御部16cは、ステップS201で選択を受け付けた画像と対応画像とを表示部12に一緒に表示させる(ステップS206)。なお、全体画像については、ステップS205で指定を受け付けた全体画像のみが表示される。
ステップS206、または、ステップS207の処理の後、表示制御部16cは、入力部11を介して、表示された画像に対する操作をユーザから受け付けたか否かを判定する(ステップS208)。
画像に対する操作をユーザから受け付けた場合(ステップS208においてYESの場合)、表示制御部16cは、その操作に応じた画像処理を実行する(ステップS209)。この画像処理については後に詳しく説明する。
画像に対する操作をユーザから受け付けていない場合(ステップS208においてNOの場合)、または、ステップS209の処理の後、表示制御部16cは、入力部11を介して、この画像表示処理の終了指示をユーザから受け付けたか否かを判定する(ステップS210)。
画像表示処理の終了指示を受け付けていない場合(ステップS210においてNOの場合)、ステップS208に移行して、それ以後の処理を継続する。画像表示処理の終了指示を受け付けた場合(ステップS210においてYESの場合)、この画像表示処理はそのまま終了する。
つぎに、図9のステップS209に示した画像処理の一例について説明する。図10は、図9のステップS209に示した画像処理の一例を示すフローチャートである。
まず、画像表示装置10の表示制御部16cは、入力部11を介してユーザによりなされた操作の種類を判定する(ステップS301)。
そして、その種類が画像の移動であった場合、表示制御部16cは、ユーザにより指定された画像の移動後の位置の情報を記憶部15に記憶し(ステップS302)、指定された位置にその画像を表示する処理を表示部12に実行させる(ステップS303)。そして、この画像処理は終了する。
ステップS301において、ユーザによりなされた操作の種類が画像の拡大または縮小であった場合、表示制御部16cは、ユーザにより指定された画像の拡大率または縮小率の情報を記憶部15に記憶し(ステップS304)、その画像を指定された拡大率または縮小率で表示する処理を表示部12に実行させる(ステップS305)。そして、この画像処理は終了する。
ステップS301において、ユーザによりなされた操作の種類が画像の全体表示であった場合、表示制御部16cは、ユーザにより指定された画像の元データを記憶部15から読み出し(ステップS306)、その画像を表示部12に画面全体に表示させる(ステップS307)。そして、この画像処理は終了する。
(実施形態2)
以下に本発明の実施形態2について説明する。上記実施形態1では、図1等に示すようにして全体画像および部分画像を表示することとしたが、それらの表示方法はこれに限定されるものではなく、本実施形態2で説明するように他の表示方法を採用することとしてもよい。図11は、本発明の実施形態2に係る画像表示処理の一例について示す図である。
図1と同様に、この表示例でも、画像の所定の表示領域1内に全体画像3と、全体画像3の一部に対応する部分画像3a〜3dが一緒に表示される。ただし、この表示例では、図1のような対応情報4は表示されず、その代わりに、入力部11を介して部分画像3a〜3dをユーザが指定すると、指定された部分画像3a〜3dに対応する全体画像3の部分を示す対応情報が全体画像3に表示される。
図12は、部分画像3a〜3dに対応する全体画像3の部分を示す対応情報4について説明する図である。図12(A)に示すように、例えば、ユーザにより部分画像3cが指定された場合、部分画像3cに対応する全体画像3の部分が対応情報4により示される。これにより、部分画像3a〜3dが全体画像3のどの領域に対応するものであるかをユーザが容易に把握できるようになる。
そして、ユーザが部分画像3cを再度指定すると、図12(B)、図12(C)に示すように、部分画像3cに対応する全体画像3の領域が徐々に大きくなって、部分画像3cが拡大表示される。また、この拡大表示処理が完了すると、初めに部分画像3cが表示されていた領域に全体画像3が表示される。その後、全体画像3がユーザにより指定されると、図12(A)に示すような全体画像3の表示画面に戻ることになる。
なお、本実施形態2に係る画像表示装置10の構成は、図2に示した画像表示装置10と同様のものである。ただし、表示制御部16cの行う処理が図2に示した画像表示装置10とは異なるため、以下にそれについて説明する。
実施形態2に係る表示制御部16cは、表示部12における表示処理を制御する処理部である。具体的には、表示制御部16cは、図11を用いて説明したように、全体画像3の一部に対応する部分画像3a〜3dがある場合に、全体画像3と部分画像3a〜3dとを表示部12に一緒に表示させる。
また、表示制御部16cは、図12を用いて説明したように、部分画像3a〜3dがユーザにより指定された場合に、その部分画像3a〜3dに対応する全体画像3の部分に対応情報4を表示する処理を表示部12に実行させる。
そして、ユーザが部分画像3a〜3dを再度指定した場合、図12(B)、図12(C)で説明したように、表示制御部16cは、指定された部分画像3a〜3dに対応する全体画像3の領域が徐々に大きくし、指定された部分画像3a〜3dが拡大表示する表示処理を表示部12に実行させる。
また、表示制御部16cは、この拡大表示処理が完了した場合に、指定された部分画像3a〜3dが表示されていた領域に全体画像3を表示する表示処理を表示部12に実行させる。その後、表示制御部16cは、全体画像3がユーザにより指定された場合、図12(A)に示すような全体画像3を表示部12に再度表示させる。
また、本実施形態2においても、図4、図5と同様の表示を行うことが可能である。図13は、部分画像の一部に別の部分画像が対応する場合の一例について説明する図である。
図13では、表示領域1内に、全体画像6と、全体画像6の一部に対応する部分画像6a、6bとが一緒に表示されている。ここで、部分画像6bは、全体画像6の一部に対応するだけでなく、部分画像6aの一部にも対応する画像である。
この場合、部分画像6bがユーザにより指定されると、表示制御部16cは、部分画像6bに対応する全体画像6の部分を示す対応情報4を表示部12に表示させる。さらに、表示制御部16cは、部分画像6bに対応する部分画像6aの部分を示す対応情報4を表示部12に表示させる。
また、図14は、部分画像が2つの全体画像の一部に対応する場合の一例について説明する図である。図14では、表示領域1内に、全体画像7、8と、全体画像7の一部に対応する部分画像7a、7bと、全体画像8の一部に対応する部分画像7a、8aとが一緒に表示されている。ここで、部分画像7bは、2つの全体画像7、8の一部に対応する画像である。
この場合、部分画像7bがユーザにより指定されると、表示制御部16cは、部分画像7bに対応する全体画像7の部分を示す対応情報4と、部分画像7bに対応する全体画像8の部分を示す対応情報4とを表示部12に表示させる。
その後、表示制御部16cは、入力部11を介してユーザにより全体画像7、8のいずれかが指定された場合に、指定された全体画像と、その全体画像の一部に対応する部分画像のみを表示部12に表示させる。
なお、図12、図13、図14では、表示制御部16cは、部分画像がユーザにより指定された場合に、その部分画像に対応する全体画像の領域、または、その部分画像に対応する他の部分画像の領域を示す対応情報を表示部12に表示させることとしたが、上記全体画像の領域、または、上記他の部分画像の領域がユーザにより指定された場合に、全体画像の領域、または、他の部分画像の領域に対応する部分画像を示す対応情報を表示することとしてもよい。
図12を用いて説明すると、例えば、全体画像3の対応情報4内の領域がユーザにより指定された場合に、表示制御部16cは、その領域に対応する部分画像3cを示す対応情報を表示部12に表示させる。この対応情報は、部分画像3cを囲む枠であってもよいし、矢印であってもよい。これにより、全体画像の一部の領域に対応する部分画像をユーザが容易に把握することができる。
つぎに、図12で説明した画像表示処理について詳しく説明する。図15は、図12で説明した画像表示処理の一例について説明するフローチャートである。
まず、画像表示装置10の表示制御部16cは、入力部11を介してユーザにより部分画像が指定されたか否かを判定する(ステップS401)。部分画像が指定されていない場合(ステップS401においてNOの場合)、表示制御部16cは、入力部11を介して、この画像表示処理の終了指示をユーザから受け付けたか否かを判定する(ステップS402)。
画像表示処理の終了指示を受け付けた場合(ステップS402においてYESの場合)、そのままこの画像表示処理は終了する。画像表示処理の終了指示を受け付けていない場合(ステップS402においてNOの場合)、ステップS401の判定処理を繰り返す。
ステップS401において、ユーザにより部分画像が指定された場合(ステップS401においてYESの場合)、表示制御部16cは、図12、図13、図14で説明したように、指定された部分画像に対応する全体画像または部分画像の部分に対応情報4を表示する処理を表示部12に実行させる(ステップS403)。
その後、表示制御部16cは、ステップS401で指定された部分画像が再度ユーザにより指定されたか否かを判定する(ステップS404)。ステップS401で指定された部分画像が再度ユーザにより指定されなかった場合(ステップS404においてNOの場合)、ステップS401以降の処理が再度実行される。
ステップS401で指定された部分画像が再度ユーザにより指定された場合(ステップS404においてYESの場合)、表示制御部16cは、図12(B)、図12(C)で説明したように、その部分画像を表示部12に拡大表示させる(ステップS405)。また、表示制御部16cは、図12(C)で説明したように、それまで大きく表示されていた全体画像を表示部12に縮小表示させる(ステップS406)。
その後、表示制御部16cは、図12(C)のように縮小表示された全体画像が、ユーザにより指定されたか否かを判定する(ステップS407)。全体画像がユーザにより指定された場合(ステップS407においてYESの場合)、表示制御部16cは、図12(A)のように全体画像を表示部12に拡大表示させる(ステップS408)。
さらに、表示制御部16cは、図12(A)のようにそれまで拡大表示されていた部分画像を表示部12に縮小表示させる(ステップS409)。その後、ステップS401以降の処理が継続される。
ステップS407において、縮小表示された全体画像がユーザにより指定されなかった場合(ステップS407においてNOの場合)、表示制御部16cは、拡大表示された部分画像以外の他の部分画像(例えば、図12(C)の例における部分画像3a、3b、3d)が、ユーザにより指定されたか否かを判定する(ステップS410)。
他の部分画像がユーザにより指定された場合(ステップS410においてYESの場合)、表示制御部16cは、指定された他の部分画像を表示部12に拡大表示させる(ステップS411)。また、表示制御部16cは、それまで拡大表示されていた部分画像を表示部12に縮小表示させる(ステップS412)。その後、ステップS407以降の処理が継続される。
他の部分画像がユーザにより指定されなかった場合(ステップS410においてNOの場合)、表示制御部16cは、入力部11を介して、この画像表示処理の終了指示をユーザから受け付けたか否かを判定する(ステップS413)。
画像表示処理の終了指示を受け付けた場合(ステップS413においてYESの場合)、そのままこの画像表示処理は終了する。画像表示処理の終了指示を受け付けていない場合(ステップS413においてNOの場合)、ステップS407以降の処理が実行される。
なお、上記実施形態2では、図11に示したように、全体画像3の下部に部分画像3a〜3dを同じサイズで表示することとしたが、部分画像の3a〜3dの表示位置や表示サイズはこれに限定されるものではない。
図16は、部分画像の表示位置や表示サイズについて説明する図である。図16(A)〜(C)では、部分画像3a〜3dの表示サイズや表示位置が異なっている。例えば、表示制御部16cは、表示部12に、撮影日時が現時点に近い部分画像ほど大きく表示させたり、撮影順序が後の部分画像ほど大きく表示させたり、拡大表示して閲覧された回数が多い部分画像ほど大きく表示させたりしてもよい。この場合、撮影日時、撮影順序、拡大表示して閲覧された回数の情報は、記憶部15に記憶されているものとする。
また、表示制御部16cは、全体画像3や部分画像3a〜3dの表示位置や表示サイズの変更指示を入力部11を介してユーザから受け付けた場合に、その変更指示に応じて表示位置や表示サイズを変更することとしてもよい。
さて、これまで画像表示装置および画像表示方法の実施形態を中心に説明を行ったが、本発明はこれらの実施形態に限定されるものではなく、画像表示装置の機能を実現するためのコンピュータプログラムとしての形態、あるいは、当該コンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体の形態として本発明が実施されることとしてもよい。
ここで、記録媒体としては、ディスク系(例えば、磁気ディスク、光ディスク等)、カード系(例えば、メモリカード、光カード等)、半導体メモリ系(例えば、ROM、不揮発性メモリ等)、テープ系(例えば、磁気テープ、カセットテープ等)等、さまざまな形態のものを採用することができる。
これら記録媒体に上記実施形態における画像表示装置の機能を実現させるコンピュータプログラム、または、画像表示方法をコンピュータに実行させるコンピュータプログラムを記録して流通させることにより、コストの低廉化、及び可搬性や汎用性を向上させることができる。
そして、コンピュータに上記記録媒体を装着し、コンピュータにより記録媒体に記録されたコンピュータプログラムを読み出してメモリに格納し、コンピュータが備えるプロセッサ(CPU:Central Processing Unit、MPU:Micro Processing Unit)が当該コンピュータプログラムをメモリから読み出して実行することにより、本実施形態に係る画像表示装置の機能を実現し、画像表示方法を実行することができる。
また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能である。
1…表示領域、2,3,5,6,7,8…全体画像、3a〜3d,5a,6a,6b,7a,7b,8a…部分画像、4…対応情報、9…画面、10…画像表示装置、11…入力部、12…表示部、13…撮像部、14…通信処理部、15…記憶部、15a…画像データ、15b…サムネイル画像データ、15c…対応データ、16…制御部、16a…画像データ管理部、16b…対応データ生成部、16c…表示制御部。

Claims (8)

  1. 画像を表示する画像表示装置であって、
    前記画像を表示する表示部と、
    少なくとも画像データを記憶する記憶部と、
    該記憶部に記憶された画像データのうち、全体画像と該全体画像の一部に対応する部分画像の関係にある画像データを検出し、前記全体画像の画像データと前記部分画像の画像データとの間の対応関係を示す対応データを生成し、前記記憶部に記憶する対応データ生成部と、
    前記記憶部に記憶された前記対応データに基づいて、前記全体画像の画像データと前記部分画像の画像データとを選択し、該全体画像の画像データ、および、該部分画像の画像データに基づいて、該全体画像と一緒に該部分画像を前記表示部に表示させる表示制御部と、備え
    該表示制御部は、前記全体画像の一部と前記部分画像との間の対応関係を示す対応情報を、該全体画像および該部分画像と一緒に前記表示部に表示させることを特徴とする画像表示装置。
  2. 前記表示制御部は、前記部分画像が他の部分画像の一部である場合に、前記部分画像と前記他の部分画像との間の対応関係を示す対応情報を、前記全体画像、前記部分画像、および、前記他の部分画像と一緒に前記表示部に表示させることを特徴とする請求項に記載の画像表示装置。
  3. 前記表示制御部は、前記全体画像中の領域がユーザにより選択され、該領域に対応する部分画像が前記表示部に表示されている場合に、該領域に対応する部分画像を示す対応情報を前記表示部に表示させることを特徴とする請求項に記載の画像表示装置。
  4. 前記表示制御部は、前記ユーザからの指示を受け付けた場合に、前記全体画像および部分画像の表示位置または表示サイズを変更することを特徴とする請求項1〜のいずれか1項に記載の画像表示装置。
  5. 前記表示制御部は、前記全体画像の表示指示をユーザから受け付けた場合に、該全体画像の一部に対応する前記部分画像の画像データを検索し、検索の結果得られた部分画像の画像データに基づいて、該部分画像を前記全体画像と一緒に前記表示部に表示させることを特徴とする請求項1〜のいずれか1項に記載の画像表示装置。
  6. 前記表示制御部は、前記部分画像の表示指示をユーザから受け付けた場合に、該部分画像に一部が対応する前記全体画像の画像データを検索し、検索の結果得られた全体画像の画像データに基づいて、該全体画像を前記部分画像と一緒に前記表示部に表示させることを特徴とする請求項1〜のいずれか1項に記載の画像表示装置。
  7. 前記表示制御部は、前記部分画像に一部が対応する複数の全体画像の画像データがある場合に、該複数の全体画像の画像データに基づいて、該複数の全体画像を前記表示部に表示させることを特徴とする請求項に記載の画像表示装置。
  8. 前記表示制御部は、前記部分画像に一部が対応する複数の全体画像の画像データがある場合に、ユーザにより選択された全体画像の画像データに基づいて、該全体画像を前記表示部に表示させることを特徴とする請求項に記載の画像表示装置。
JP2012060464A 2012-03-16 2012-03-16 画像表示装置 Expired - Fee Related JP5886662B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012060464A JP5886662B2 (ja) 2012-03-16 2012-03-16 画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012060464A JP5886662B2 (ja) 2012-03-16 2012-03-16 画像表示装置

Publications (2)

Publication Number Publication Date
JP2013195524A JP2013195524A (ja) 2013-09-30
JP5886662B2 true JP5886662B2 (ja) 2016-03-16

Family

ID=49394589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012060464A Expired - Fee Related JP5886662B2 (ja) 2012-03-16 2012-03-16 画像表示装置

Country Status (1)

Country Link
JP (1) JP5886662B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6528622B2 (ja) * 2015-09-18 2019-06-12 富士通クライアントコンピューティング株式会社 画像表示装置、画像表示方法、および画像表示プログラム
JP2017102217A (ja) * 2015-11-30 2017-06-08 株式会社ニコン 表示装置、表示プログラムおよび表示方法
WO2017094800A1 (ja) * 2015-11-30 2017-06-08 株式会社ニコン 表示装置、表示プログラムおよび表示方法
JP7423466B2 (ja) 2020-07-21 2024-01-29 シャープ株式会社 情報処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08115438A (ja) * 1994-10-18 1996-05-07 Hitachi Ltd 図表示装置
JP4995056B2 (ja) * 2007-12-06 2012-08-08 キヤノン株式会社 画像表示装置、その制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2013195524A (ja) 2013-09-30

Similar Documents

Publication Publication Date Title
US7308158B2 (en) Imaging method and system
EP2283642B1 (en) Method, apparatus, and computer program product for presenting burst images
EP3547218B1 (en) File processing device and method, and graphical user interface
JP6529267B2 (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
JP2009500884A (ja) デジタルメディアファイルを管理するための方法およびデバイス
WO2022161260A1 (zh) 对焦方法、装置、电子设备及介质
CN103297595A (zh) 照片拍摄并显示的方法及装置
KR20130142310A (ko) 전자장치에서 이미지 변경 방법 및 장치
CN112954196A (zh) 拍摄方法、装置、电子设备及可读存储介质
CN112584043B (zh) 辅助对焦方法、装置、电子设备及存储介质
JP5886662B2 (ja) 画像表示装置
US9767588B2 (en) Method and apparatus for image processing
JP2004215041A (ja) 画像処理装置、画像処理プログラム、記録媒体、および画像処理方法
WO2015096015A1 (zh) 一种照片显示方法及用户终端
WO2019196662A1 (zh) 图像局部放大
CN112822394B (zh) 显示控制方法、装置、电子设备及可读存储介质
TW200947265A (en) Presentation system
WO2016188199A1 (zh) 图片裁剪方法和装置
JPWO2012085993A1 (ja) 画像フォルダ伝送再生装置及び画像フォルダ伝送再生プログラム
JP2019179461A (ja) 手帳管理装置、手帳管理プログラム及び手帳管理方法
US20080298683A1 (en) Information processing apparatus and information processing method
JP4227638B2 (ja) 画像処理装置及び方法、並びにプログラム
WO2015159498A1 (en) Method and apparatus for displaying additional objects on a graphical user interface based on pinch gesture
TW201005679A (en) Display device and image zooming method thereof
CN112258393A (zh) 一种显示图片的方法和装置及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160212

R150 Certificate of patent or registration of utility model

Ref document number: 5886662

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees