JP5966584B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents

表示制御装置、表示制御方法およびプログラム Download PDF

Info

Publication number
JP5966584B2
JP5966584B2 JP2012109093A JP2012109093A JP5966584B2 JP 5966584 B2 JP5966584 B2 JP 5966584B2 JP 2012109093 A JP2012109093 A JP 2012109093A JP 2012109093 A JP2012109093 A JP 2012109093A JP 5966584 B2 JP5966584 B2 JP 5966584B2
Authority
JP
Japan
Prior art keywords
display
image
images
displayed
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012109093A
Other languages
English (en)
Other versions
JP2013235203A (ja
Inventor
広志 池田
広志 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012109093A priority Critical patent/JP5966584B2/ja
Priority to US13/834,112 priority patent/US10282819B2/en
Priority to CN201310158763.4A priority patent/CN103391396B/zh
Publication of JP2013235203A publication Critical patent/JP2013235203A/ja
Application granted granted Critical
Publication of JP5966584B2 publication Critical patent/JP5966584B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Description

本技術は、表示制御装置に関する。詳しくは、画像を表示させる表示制御装置および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、人物や風景等の被写体を撮像して画像データを生成し、この画像データを画像コンテンツとして記録するデジタルスチルカメラやデジタルビデオカメラ(例えば、カメラ一体型レコーダ)等の撮像装置が普及している。また、このように記録された画像コンテンツをユーザ操作により表示させることが可能な表示制御装置が提案されている。
例えば、撮像装置が移動した軌跡を点線で表示し、この軌跡上の任意の位置をユーザが指定すると、その指定された位置から見える画像を表示する装置が提案されている(例えば、特許文献1参照。)。
特開2001−177850号公報
上述の従来技術では、ユーザが所望する位置から見える画像をユーザ操作に基づいて容易に表示することができる。
このように、撮像空間において互いに関連する複数の画像を表示する場合に、表示されている画像の周辺に配置される画像に関する情報(撮像範囲や画質等)をユーザが容易に把握することができれば、さらに画像を楽しみながら見ることができると考えられる。
本技術はこのような状況に鑑みて生み出されたものであり、関連する複数の画像を表示する場合に各画像に関する情報をユーザが容易に把握することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザによる表示指示操作に基づいて表示部に表示させる表示制御部と、上記表示指示操作以外の特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに上記対象画像以外の他の画像と上記対象画像とが重複する重複領域を示す領域情報を表示させ、上記重複領域に表示される複数の画像の境界領域について各画像間の解像度が合うように画像処理を施す制御を行う制御部とを具備し、上記表示制御部は、上記解像度が合うように画像処理が施された複数の画像を表示させる表示制御装置および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに、対象画像以外の他の画像と対象画像とが重複する重複領域を示す領域情報を表示させ、重複領域に表示される複数の画像の境界領域について各画像間の解像度が合うように画像処理を施し、その解像度が合うように画像処理が施された複数の画像を表示させるという作用をもたらす。
また、本技術の第2の側面は、1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザによる表示指示操作に基づいて表示部に表示させる表示制御部と、上記表示指示操作以外の特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに上記対象画像以外の他の画像と上記対象画像とが重複する重複領域を示す領域情報を表示させ、上記複数の画像に関する画像情報に応じて上記他の画像に係る上記領域情報の表示態様を変更して表示させる制御を行う制御部とを具備する表示制御装置および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに、対象画像以外の他の画像と対象画像とが重複する重複領域を示す領域情報を表示させ、複数の画像に関する画像情報に応じて他の画像に係る領域情報の表示態様を変更して表示させるという作用をもたらす。
また、この第の側面において、上記制御部は、上記他の画像の表示領域に対応する輪郭を示す線状画像を上記領域情報として表示させ、上記領域情報の表示態様として上記線状画像の太さ、色、種類のうちの少なくとも1つを変更させる制御を行うようにしてもよい。これにより、他の画像の表示領域に対応する輪郭を示す線状画像を表示させ、この線状画像の太さ、色、種類のうちの少なくとも1つを変更させるという作用をもたらす。
また、この第の側面において、上記制御部は、上記領域情報の表示態様として、上記特定のユーザ操作の終了時から上記領域情報を消去するまでのタイミングを変更させる制御を行うようにしてもよい。これにより、特定のユーザ操作の終了時から、領域情報を消去するまでのタイミングを変更させるという作用をもたらす。
また、本技術の第3の側面は、1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザによる表示指示操作に基づいて表示部に表示させ、上記表示部に複数の画像を表示させる場合には、当該複数の画像のそれぞれの解像度に基づいて、当該複数の画像のうちの少なくとも1つを最前面に表示させる画像として選択する表示制御部と、上記表示指示操作以外の特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに上記対象画像以外の他の画像と上記対象画像とが重複する重複領域を示す領域情報を表示させる制御を行う制御部とを具備する表示制御装置および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の画像のうちの少なくとも1つを表示指示操作に基づいて表示部に表示させ、表示部に複数の画像を表示させる場合には、複数の画像のそれぞれの解像度に基づいて、複数の画像のうちの少なくとも1つを最前面に表示させる画像として選択し、特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに、対象画像以外の他の画像と対象画像とが重複する重複領域を示す領域情報を表示させるという作用をもたらす。
また、本技術の第4の側面は、1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザによる表示指示操作に基づいて表示部に表示させ、上記表示部に複数の画像を表示させる場合には、上記表示部の表示面の解像度と、表示対象となる画像の解像度との比較結果に基づいて、当該複数の画像のうちの少なくとも1つを最前面に表示させる画像として選択する表示制御部と、上記表示指示操作以外の特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに上記対象画像以外の他の画像と上記対象画像とが重複する重複領域を示す領域情報を表示させる制御を行う制御部とを具備する表示制御装置および表示制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の画像のうちの少なくとも1つをユーザによる表示指示操作に基づいて表示部に表示させ、表示部に複数の画像を表示させる場合には、表示部の表示面の解像度と、表示対象となる画像の解像度との比較結果に基づいて、複数の画像のうちの少なくとも1つを最前面に表示させる画像として選択し、特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに、対象画像以外の他の画像と対象画像とが重複する重複領域を示す領域情報を表示させるという作用をもたらす。
また、この第1乃至第4の側面において、上記制御部は、1または複数の上記他の画像を上記重複領域に表示させる制御を行うようにしてもよい。これにより、1または複数の他の画像を重複領域に表示させるという作用をもたらす。
また、この第1乃至第4の側面において、上記制御部は、上記対象画像に上記領域情報を重ねて表示させる制御を行うようにしてもよい。これにより、対象画像に領域情報を重ねて表示させるという作用をもたらす。
また、この第1乃至第4の側面において、上記表示制御部は、上記対象画像の表示される範囲が、上記対象画像に対する所定割合よりも低くなったときには、上記他の画像を表示させるようにしてもよい。これにより、対象画像の表示される範囲が、対象画像に対する所定割合よりも低くなったときには、他の画像を表示させるという作用をもたらす。
本技術によれば、関連する複数の画像を表示する場合に各画像に関する情報をユーザが容易に把握することができるという優れた効果を奏し得る。
本技術の第1の実施の形態における表示制御装置100の機能構成例を示すブロック図である。 本技術の第1の実施の形態における記憶部140に記憶されている画像とその撮像範囲との関係を簡略的に示す図である。 本技術の第1の実施の形態における記憶部140に記憶されている画像を表示部112に表示させる際における各画像の配置例を示す図である。 本技術の第1の実施の形態における表示部112に表示される画像(表示対象画像)を決定する場合における決定方法を模式的に示す図である。 本技術の第1の実施の形態における表示部112に表示される画像(表示対象画像)を決定する場合における決定方法を模式的に示す図である。 本技術の第1の実施の形態における表示部112に表示される画像の表示例を示す図である。 本技術の第1の実施の形態における表示制御装置100による表示制御処理の処理手順の一例を示すフローチャートである。 本技術の第2の実施の形態における記憶部140に記憶されている画像とその撮像範囲との関係を簡略的に示す図である。 本技術の第2の実施の形態における表示部112の最前面に表示される画像(最前面画像)を決定する場合における決定方法を模式的に示す図である。 本技術の第2の実施の形態における表示部112に表示される画像の表示例に示す図である。 本技術の第2の実施の形態における表示制御装置100による表示制御処理の処理手順の一例を示すフローチャートである。 本技術の第2の実施の形態における表示部112の最前面に表示される画像(最前面画像)をユーザ操作により決定する場合を模式的に示す図である。 本技術の第2の実施の形態における表示部112に表示される画像の表示遷移例を示す図である。 本技術の第2の実施の形態における表示部112の最前面に表示される画像(最前面画像)を被写体に応じて決定する場合を模式的に示す図である。 本技術の第3の実施の形態における表示部112に画像(最前面画像)とともに表示される領域情報の表示例を示す図である。 本技術の第3の実施の形態における表示部112に画像(最前面画像)とともに表示される領域情報の表示例を示す図である。 本技術の第3の実施の形態における表示部112に画像(最前面画像)とともに表示される領域情報の表示例を示す図である。 本技術の第3の実施の形態における表示部112に画像(最前面画像)とともに表示される領域情報の表示例を示す図である。 本技術の第3の実施の形態における表示部112に画像(最前面画像)とともに表示される領域情報の表示例を示す図である。 本技術の第3の実施の形態における表示部112に画像(最前面画像)とともに表示される領域情報の表示例を示す図である。 本技術の第3の実施の形態における表示部112に画像(最前面画像)とともに表示される領域情報の表示例を示す図である。 本技術の第3の実施の形態における表示部112に画像(最前面画像)とともに表示される領域情報の表示例を示す図である。 本技術の第3の実施の形態における表示部112に画像(最前面画像)とともに表示される領域情報の表示例を示す図である。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(表示制御:ユーザ操作が行われている間、表示部に表示されている対象画像とともに他の画像の重複領域を示す領域情報を表示する例)
2.第2の実施の形態(表示制御:所定条件に基づいて最前面画像を選択する例)
3.第3の実施の形態(表示制御:領域情報の表示態様を変更する例)
<1.第1の実施の形態>
[表示制御装置の機能構成例]
図1は、本技術の第1の実施の形態における表示制御装置100の機能構成例を示すブロック図である。
表示制御装置100は、入出力部110と、操作受付部120と、制御部130と、記憶部140と、表示制御部150とを備える。
入出力部110は、接触操作受付部111および表示部112を備える。例えば、接触操作受付部111として、導電性を有する物体(例えば、人物の指)の接触または近接を、静電容量の変化に基づいて検出する静電式(静電容量方式)のタッチパネルを用いることができる。また、例えば、表示部112として、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)パネル等の表示パネルを用いることができる。そして、入出力部110は、例えば、表示パネルの表示面上に、透明なタッチパネルを重ね合わせることにより構成される。
入出力部110は、表示制御部150の制御に基づいて各種画像を表示部112に表示するとともに、表示面(表示部112の表示面)に近接または接触する物体の検出状態に基づいてユーザからの操作入力を接触操作受付部111により受け付ける。また、接触操作受付部111は、受け付けられた操作入力に応じた制御信号(操作情報)を制御部130に出力する。
接触操作受付部111は、入出力部110の表示面に近接または接触する物体(例えば、ユーザの指)の検出状態に基づいて、その物体による操作入力を受け付けるものである。例えば、接触操作受付部111は、格子状に配置されている複数の静電センサを備える。この静電センサは、入出力部110の表示面に物体(導電性を有する物体(例えば、ユーザの指や手))が近接または接触すると、静電容量を増加させるセンサである。そして、接触操作受付部111は、静電センサの静電容量が変化すると、その静電センサの静電容量の値と、その静電センサの接触操作受付部111の操作面における位置とを含む情報(静電センサ情報)を制御部130に出力する。
表示部112は、表示制御部150の制御に基づいて各画像を表示する表示パネルである。なお、表示部112における表示例については、図6等に示す。
操作受付部120は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号(操作情報)を制御部130に出力する。操作受付部120は、例えば、表示制御装置100に備えられる操作部材(例えば、上下左右ボタン、スクロールボタン、タッチパネル、十字キー、マウス)に対応する。
制御部130は、操作受付部120からの操作情報と接触操作受付部111からの操作情報とに基づいて、表示制御装置100の各部を制御するものである。
また、制御部130は、接触操作受付部111により受け付けられたユーザによる操作入力(例えば、タッチ操作)に関する制御を行う。例えば、制御部130は、接触操作受付部111から出力された静電センサ情報に基づいて、入出力部110の表示面においてユーザの指が接触した範囲(接触範囲)を検出し、その表示面に対応する座標軸に基づいてその接触範囲を座標に変換する。そして、制御部130は、変換後の座標に基づいてその接触範囲の形状を算出し、その形状における重心の座標を算出する。また、制御部130は、その算出された重心の座標をユーザの指が接触した位置(接触位置)の座標として算出する。そして、制御部130は、算出された接触範囲の形状および接触位置の座標に関する操作情報(接触範囲の形状、接触位置の座標等)に基づいて、入出力部110の表示面におけるユーザの操作入力を認識する。
ここで、1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像(例えば、図2のbに示す画像215乃至217)のうちの少なくとも1つがユーザ操作に基づいて表示されている場合(例えば、図6に示す場合)を想定する。この場合には、制御部130は、例えば、ユーザ操作が行われていない状態では、図6のbに示すように、表示対象となっている画像のみを表示させる。一方、制御部130は、例えば、ユーザ操作が行われている状態では、図6のaに示すように、表示対象となっている画像とともに、この画像と他の画像とが重複する重複領域を示す領域情報(枠240)を表示させる。この場合に、制御部130は、撮像範囲の少なくとも一部が、その表示対象となっている画像と重複する1または複数の画像を、他の画像として領域情報を表示させる。また、制御部130は、表示対象となっている画像に領域情報(枠240)を重ねて表示させる。
記憶部140は、各種情報(静止画コンテンツや動画コンテンツ)を記憶するものである。また、記憶部140は、記憶されている各種情報を表示制御部150に供給する。
記憶部140には、例えば、撮像装置(例えば、デジタルスチルカメラ、デジタルビデオカメラ(例えば、カメラ一体型レコーダ))により生成された画像コンテンツ(静止画ファイル)が記憶される。この画像コンテンツとして、例えば、複数の静止画を1つのファイル(拡張子:.MPO)として記録するMP(Multi Picture)フォーマットに準拠した静止画ファイルを記憶することができる。なお、MPファイル(「CIPA DC−007−2009 マルチピクチャフォーマット」参照。)は、先頭画像に続いて、1または複数の画像を記録することができるファイルである。
例えば、撮像装置において撮像モードが設定されている場合に、最初の画像を基準として、これ以降に生成される画像の撮像時における撮像装置の位置(撮像位置)、その姿勢(水平方向または垂直方向への回転移動)、焦点距離(ズーム倍率)を順次検出する。すなわち、各画像に関する相対座標が検出される。そして、これらの撮影情報(位置(撮像位置)、姿勢(撮像姿勢)、焦点距離(ズーム倍率))を属性情報として各画像に関連付けて記録することができる。例えば、MPファイルにおいて、そのヘッダ部分に、各画像に関連付けて属性情報(撮影情報)を格納し、各画像を画像ファイルとして格納することができる。
ここで、撮像装置の位置(撮像位置)は、例えば、GPS(Global Positioning System)ユニットや加速度センサにより求めることができる。また、GPSユニットおよび加速度センサを用いて撮像装置の位置を求めることによりその精度を向上させることができる。また、撮像装置の姿勢(水平方向、垂直方向への回転移動)は、例えば、ジャイロセンサにより求めることができる。また、焦点距離は、撮像動作時におけるズーム倍率に基づいて求めることができる。
なお、撮像装置を表示制御装置100に内蔵するようにしてもよい。このように、表示制御装置100に撮像装置が内蔵されている場合には、撮像装置により生成された各画像と、これに関する属性情報とが記憶部140に順次記録される。
表示制御部150は、制御部130の制御に基づいて各画像を表示部112に出力させるものである。例えば、表示制御部150は、記憶部140に記憶されている画像コンテンツ(例えば、静止画コンテンツまたは動画コンテンツ)を表示部112に表示させる。
また、例えば、表示制御部150は、1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像(例えば、図3のaに示す画像215乃至217)のうちの少なくとも1つをユーザ操作に基づいて表示させる。この場合に、表示制御部150は、表示時における複数の画像のそれぞれの解像度(表示面における解像度)に基づいて、複数の画像のうちの少なくとも1つを選択して最前面に表示させる。
[表示対象画像および撮像範囲の関係例]
図2は、本技術の第1の実施の形態における記憶部140に記憶されている画像とその撮像範囲との関係を簡略的に示す図である。
図2のaでは、山を背景にして立っている人物201、その前を歩いている犬202、その周辺の家203等を被写体とする撮像範囲211乃至213を示す。図2のbでは、図2のaに示す撮像範囲211乃至213に対応する画像215乃至217を示す。
例えば、撮像装置(図示せず)においてズーム操作や構図を変更するための姿勢変更(例えば、チルチング操作、パンニング操作)等が行われて、撮像範囲211乃至213に対応する画像215乃至217が生成される。この場合に、撮像装置(図示せず)は、画像215乃至217の撮像時における撮像装置の位置(撮像位置)、撮像装置の姿勢(水平方向または垂直方向への回転移動)、ズーム倍率に基づいて画像215乃至217のそれぞれの属性情報(撮影情報)を生成する。そして、撮像装置(図示せず)は、その生成された属性情報(撮影情報)を各画像に関連付けて画像コンテンツとして記録する。このように記録された画像コンテンツが記憶部140に記憶されているものとする。この記憶例を図3のaに示す。
[画像の配置例]
図3は、本技術の第1の実施の形態における記憶部140に記憶されている画像を表示部112に表示させる際における各画像の配置例を示す図である。
図3のaには、記憶部140に記憶されている画像215乃至217を模式的に示す。なお、画像215乃至217は、図2のbに示す画像215乃至217と同一であるものとする。
図3のbには、図3のaに示す画像215乃至217が表示部112に表示される際における各画像の配置例を示す。図3のbでは、画像215乃至217の全体が表示されたと仮定した場合における仮想的な配置を点線の矩形221乃至223で仮想的に示す。
例えば、表示制御部150は、記憶部140に記憶されている画像215乃至217のそれぞれに関連付けられている属性情報を用いて各画像の配置(点線の矩形221乃至223)を決定することができる。この属性情報は、上述したように、例えば、撮影情報(位置(撮像位置)、姿勢(撮像姿勢)、焦点距離(ズーム倍率))である。例えば、表示制御部150は、1つの画像(例えば、画像216)を基準として、他の画像(例えば、画像215、217)の配置を決定することができる。
また、表示制御部150は、記憶部140に記憶されている画像215乃至217のそれぞれについて、画像処理により撮影情報(位置(撮像位置)、姿勢(撮像姿勢)、焦点距離(ズーム倍率))を求めるようにしてもよい。例えば、ブロックマッチング法により検出される各画像の関連性に基づいて、撮影情報を求めることができる。すなわち、画像処理により各画像に関する相対座標が検出される。
なお、記憶部140に記憶されている画像215乃至217のそれぞれに関連付けられている属性情報(撮影情報)と、画像処理により求められる撮影情報とを用いて各画像の配置を決定するようにしてもよい。例えば、表示制御部150は、各画像に関連付けられている属性情報(撮影情報)を用いて決定された各画像の配置を、画像処理により求められた撮影情報に基づいて補正するようにしてもよい。
なお、ユーザ操作により各画像の配置を決定するようにしてもよい。
[表示対象画像の決定例]
図4および図5は、本技術の第1の実施の形態における表示部112に表示される画像(表示対象画像)を決定する場合における決定方法を模式的に示す図である。
図4のaでは、被写体に応じてサイズを変更するとともに、重複する部分で重ねて配置した画像231乃至233を示す。なお、画像231乃至233は、図3のaに示す画像215乃至217に対応し、画像231乃至233の配置は、図3のbに示す配置(点線の矩形221乃至223)に対応する。なお、図4のaに示す配置は、画像231乃至233の全体が表示されたと仮定した場合における仮想的な配置を示すものである。
ここで、図4のaに示す画像231乃至233が表示対象画像として存在する場合に、ユーザが所望する視点(表示領域)を指定する指定操作がユーザにより行われるものとする。例えば、表示部112におけるタッチ操作やポインティングデバイスを用いた指定操作が行われる。
このように、指定操作が行われた場合には、表示制御部150は、表示対象となる複数の画像のうちから、その指定操作により指定された視点位置を基準にして1または複数の画像を選択する。例えば、その指定操作により指定された視点位置から見える全ての画像が選択される。
例えば、その指定操作により指定された視点位置を基準にした場合における表示対象領域235を点線の矩形で示す。この場合に、表示制御部150は、その表示対象領域235に少なくとも一部が含まれる画像231、232を選択する。例えば、図4のbに示すように、画像231、232が選択される。
続いて、表示制御部150は、視点位置に基づいて複数の画像が選択された場合には、複数の画像のうちの重複する領域について上側(表示面に対する垂直方向の上側(すなわち、ユーザ側))に表示する画像を決定する。すなわち、表示制御部150は、複数の画像のうちの重複する領域について、表示部112に表示する表示順序を決定する。
ここで、表示順序を決定する決定方法として、例えば、表示時における画像の解像度(表示面における解像度)を基準として用いる例を示す。すなわち、表示時における解像度が最も高い画像を最前面に表示する画像(最前面画像)として決定する例を示す。
ここで、表示時における画像の解像度は、被写体に対する単位長さあたりの画素数を意味するものとする。また、この解像度は、画素数、画角、ズーム倍率、撮像時における撮像装置の位置(撮像位置)を用いて算出することができる。例えば、画素数および画角を同一とした状態で同じ位置から同一の撮像装置で撮像動作を行った場合には、その撮像動作時のズーム倍率が高い方が解像度は高くなる。
例えば、画像231乃至233のそれぞれは、同一の画素数(例えば、800画素×600画素)であるものとする。ただし、画像231乃至233のそれぞれは表示時における画角が異なることになる。例えば、画角が大きい(撮像範囲のサイズが大きい)画像232は、被写体の解像度が低いのに対して、画角が小さい(撮像範囲のサイズが小さい)画像233は、被写体の解像度が高い。また、例えば、画角が大きい(撮像範囲のサイズが大きい)画像232は、被写体の解像度が低いのに対して、画角が小さい(撮像範囲のサイズが小さい)画像231は、被写体の解像度が高い。
例えば、画像231および232に含まれる人物201は、画像232に含まれる人物201よりも、画像231に含まれる人物201のほうが、解像度が高い。すなわち、同一の表示面において、同一倍率(例えば、100%)で画像231および232を表示する場合には、画像232に含まれる人物201よりも、画像231に含まれる人物201のほうが大きくなる(すなわち、解像度が高い)。
なお、表示時における解像度が等しい画像、または、その差が小さい画像(例えば、その差が10%程度しか変わらない画像)が複数存在する場合には、表示領域が大きい画像を前側の順序とすることにより、一貫性のある自然な表示をすることができる。
このように、選択された画像231および232について表示順序の決定が行われ、画像231が最前面に表示される画像として決定される。すなわち、画素数および画角を同一とした状態で同じ位置から同一の撮像装置で撮像動作を行われた場合に生成された複数の画像については、表示時における解像度が高い画像231が最前面に表示する画像として決定される。すなわち、その撮像動作時のズーム倍率が高い画像231が最前面に表示する画像として決定される。例えば、図5のaに示すように、画像231が最前面に表示する画像として決定される。
表示制御部150は、このように最前面に表示する画像として決定された画像231を表示部112に表示させる。この場合に、表示制御部150は、画像231における表示対象領域235のみを表示部112に表示させる。この表示例を図6のbに示す。
ただし、表示制御部150は、ユーザ操作(例えば、スクロール操作、ズーム操作)が行われている場合には、表示部112に表示されている画像に重複している画像の領域を示す枠(その画像の縁を表す画像(領域情報))236を表示する。この表示例を図6のbに示す。
[画像の表示例]
図6は、本技術の第1の実施の形態における表示部112に表示される画像の表示例を示す図である。
図6のaには、ユーザ操作(例えば、スクロール操作、ズーム操作)が行われている状態での表示例を示す。また、図6のbには、ユーザ操作が行われていない状態での表示例を示す。
図6のaに示すように、ユーザ操作(例えば、スクロール操作、ズーム操作)が行われている場合には、決定された表示順序で画像が表示されるとともに、この画像に重複している画像の領域を示す枠(領域情報)240が表示される。
これに対して、図6のbに示すように、ユーザ操作が行われていない場合には、決定された表示順序で画像が表示される。この場合に、表示対象となる画像に重複している画像の領域を示す枠(領域情報)は表示されない。
[表示制御装置の動作例]
図7は、本技術の第1の実施の形態における表示制御装置100による表示制御処理の処理手順の一例を示すフローチャートである。
最初に、制御部130は、記憶部140に画像コンテンツが記憶されている画像の表示指示操作が接触操作受付部111または操作受付部120により受け付けられたか否かを判断する(ステップS901)。そして、画像の表示指示操作が受け付けられていない場合には(ステップS901)、監視を継続して行う。一方、画像の表示指示操作が受け付けられた場合には(ステップS901)、表示制御部150は、その表示指示操作に応じた画像を表示部112に表示させる(ステップS902)。例えば、その表示指示操作により表示が指示された全ての画像が表示部112に表示される。
続いて、制御部130は、表示部112に表示されている画像において、視点(表示領域)の指定操作が接触操作受付部111または操作受付部120により受け付けられたか否かを判断する(ステップS903)。なお、視点の指定操作は、例えば、視点(表示領域)の移動操作やズーム操作である。そして、視点の指定操作が受け付けられていない場合には(ステップS903)、ステップS907に進む。一方、視点の指定操作が受け付けられた場合には(ステップS903)、表示制御部150は、その指定操作により選択された視点に応じて1または複数の画像を選択する(ステップS904)
続いて、表示制御部150は、選択された各画像の表示面における解像度を算出する(ステップS905)。続いて、表示制御部150は、算出された各画像の解像度(表示面における解像度)に基づいて各画像の表示順序を決定し、この決定された表示順序に従って、選択された画像を表示部112に表示させる(ステップS906)。例えば、図6のbに示すように、画像が表示される。
続いて、制御部130は、画像の表示指示操作、画像の表示終了操作以外の特定のユーザ操作(例えば、スクロール操作、ズーム操作)が接触操作受付部111または操作受付部120により受け付けられたか否かを判断する(ステップS907)。そして、特定のユーザ操作が受け付けられている場合には(ステップS907)、表示制御部150は、表示部112に表示されている画像に領域情報を重ねて表示させる(ステップS908)。例えば、図6のaに示すように、画像に重ねて枠(領域情報)240が表示される。一方、特定のユーザ操作が受け付けられていない場合には(ステップS907)、ステップS909に進む。この場合には、例えば、図6のbに示すように、枠(領域情報)が表示されない。

続いて、制御部130は、画像の表示終了操作が接触操作受付部111または操作受付部120により受け付けられたか否かを判断する(ステップS909)。そして、画像の表示終了操作が受け付けられていない場合には(ステップS909)、ステップS903に戻る。一方、画像の表示終了操作が受け付けられた場合には(ステップS909)、表示制御処理の動作を終了する。
なお、ステップS903乃至S906は、特許請求の範囲に記載の第1表示手順の一例である。また、ステップS907、S908は、特許請求の範囲に記載の第2表示手順の一例である。
<2.第2の実施の形態>
本技術の第1の実施の形態では、画像の表示面における解像度に基づいて表示順序を決定する例を示した。ここで、画像の表示面における解像度と表示面(ディスプレイ)の解像度とに基づいて適応的に前面に表示する画像を選択することにより、さらに効果的な表示をすることができると考えられる。
そこで、本技術の第2の実施の形態では、画像の表示面における解像度と表示面(ディスプレイ)の解像度とに基づいて表示順序を決定する例を示す。なお、本技術の第2の実施の形態における表示制御装置の構成については、図1等に示す例と略同様である。このため、本技術の第1の実施の形態と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
[表示対象画像および撮像範囲の関係例]
図8は、本技術の第2の実施の形態における記憶部140に記憶されている画像とその撮像範囲との関係を簡略的に示す図である。
図8のaでは、山を背景にして立っている人、その前を歩いている犬等を被写体とする撮像範囲251および252を示す。図8のbでは、図8のaに示す撮像範囲251および252に対応する画像255および256を示す。
なお、図8に示す関係例は、図2に対応するものであるため、ここでの詳細な説明を省略する。
[最前面画像の決定例]
図9は、本技術の第2の実施の形態における表示部112の最前面に表示される画像(最前面画像)を決定する場合における決定方法を模式的に示す図である。
例えば、表示部112の表示面(ディスプレイ)の解像度よりも、表示対象となる画像の解像度が高い場合(すなわち、ディスプレイの表現能力を超えた解像度を、表示対象となる画像が有する場合)には、ユーザは高精細な画像を見ることができる。これに対して、表示部112の表示面(ディスプレイ)の解像度よりも、表示対象となる画像の解像度が低い場合には、信号処理により拡大された画像(いわゆる、精細感を失った画像)が表示部112の表示面(ディスプレイ)に表示される。
ここで、表示部112の表示面の解像度よりも解像度が高い画像(被写体の高精細な画像)を取得するためには、その被写体を基準にして撮像装置のズーム倍率を上げて撮像動作を行うか、撮像装置をその被写体に近づけて撮像動作を行う必要がある。ただし、これらの撮像動作(撮像装置のズーム倍率を上げて行った撮像動作、または、撮像装置をその被写体に近づけて行った撮像動作)を行った場合には、記録される画像に含まれる被写体領域は小さくなる。このため、これらの撮像動作により生成された画像を利用して画像を表示させると、複数の画像が合成されて表示される可能性が高くなる。この場合には、ユーザが画像間における境界に違和感が生じることが想定される。また、被写体に動体が含まれる場合には、その違和感が特に生じやすいことが想定される。
このように、表示部112の表示面の解像度よりも、表示対象となる画像の解像度が高い場合には、ユーザは高精細な画像を見ることができるが、画像間における境界に違和感が生じることが想定される。このため、本技術の第2の実施の形態では、表示部112の表示面の解像度よりも、表示対象となる画像の解像度が高い場合には、比較的広範囲に被写体が記録されている画像を最前面画像として表示させるようにする。
ここで、図9に示す縦軸は、画像261、262の表示時におけるズーム倍率(表示倍率)を示す軸である。また、この縦軸上において、上側に進むに従って表示時におけるズーム倍率が小さくなり、下側に進むに従って表示時におけるズーム倍率が大きくなるものとする。また、この縦軸上において、Z1は、画像261の撮像動作時におけるズーム倍率と同一の表示倍率となる位置を示し、Z2は、画像262の撮像動作時におけるズーム倍率と同一の表示倍率となる位置を示すものとする。また、この縦軸上において、Z0は、画像261の撮像動作時におけるズーム倍率よりも小さい表示倍率となる位置を示す。
また、図9に示す縦軸上におけるZ0およびZ1間に配置されている白抜きの丸は、図9のaに示す表示対象領域263に対応するズーム倍率(表示倍率)の位置を示す。同様に、この縦軸上におけるZ1およびZ2間に配置されている白抜きの丸は、図9のbに示す表示対象領域264に対応するズーム倍率(表示倍率)の位置を示す。
また、図9に示す画像261、画像262が、例えば、画素数および画角を同一とした状態で同じ位置から同一の撮像装置で撮像動作を行った画像である場合を想定する。この場合には、画像261は広角側で撮像動作が行われた場合に生成された画像であり、画像262は望遠側で撮像動作が行われた場合に生成された画像である。
このような関係となる場合には、例えば、表示倍率が画像261の等倍表示と同一となる位置Z1までは、画像261が最前面画像として決定される。また、表示倍率が画像261の等倍表示を超える場合には、画像262が最前面画像として決定される。すなわち、表示時におけるズーム倍率(等倍表示)<Z1である場合(例えば、表示対象領域263の場合)には、画像261が最前面画像として決定される。一方、Z1≦表示時におけるズーム倍率(等倍表示)である場合(例えば、表示対象領域264の場合)には、画像262が最前面画像として決定される。
このように、表示面における解像度が閾値(例えば、等倍表示に対応する値)以上となる画像261、262が存在する場合には、表示面における解像度が閾値以上であり、かつ、その解像度が最も低い画像261が最前面画像として表示部112に表示される。
一方、表示面における解像度が閾値以上となる画像が存在しない場合(例えば、ズーム倍率(等倍表示)>Z2の場合)には、表示面における解像度が最も高い画像262が最前面画像として表示部112に表示される。
このように、最前面画像を決定することにより、高精細な(解像度が高い)画質、かつ、継ぎ目の少ない自然な画像を表示することができる。また、表示時におけるズーム倍率を固定し、視点位置を移動する場合も同様に、各画像の解像度を算出することにより、最前面画像を決定して表示することができる。
ここで、ディスプレイの表現能力が、表示面における画像の解像度よりも高い場合における他の表示例を図10に示す。
図10は、本技術の第2の実施の形態における表示部112に表示される画像の表示例に示す図である。なお、図10のa、bに示す画像の配置および表示領域の関係については、図9のaと同様である。このため、図10のa、bでは、図9のaと同一の符号を付して説明する。
図10のaに示すように、画像261、262のうち、表示対象領域263を表示する場合を想定する。この場合には、画像262の表示面における解像度が、画像261の表示面における解像度よりも大きいため、画像261、262の重複領域271については、画像262を表示させ、その他の領域には、画像261を表示させる。
ここで、表示対象領域263における画像261、262の境界については、解像度が異なるため、その境界部分が目立って不自然に見えることがある。そこで、例えば、その境界付近の画像について所定の画像処理(解像度の差異を低減する画像処理)を施すことにより、その境界部分を自然に見せることができる。ここで、所定の画像処理として、例えば、解像度が高い画像を低い画像に合わせて境界線近辺の解像度を徐々に落とす処理を施したり、超解像処理を施したりすることができる。
ここで、超解像処理を施す例を示す。例えば、図10のbに示すように、画像261と画像262との境界付近において、段階的に超解像を異なる度合いで施すことができる。具体的には、画像261と画像262との境界付近おける領域272、273のうち、領域272については、少なめの超解像を施し、領域273については、多めの超解像を施すことができる。このように、例えば、境界から離れるに従って、超解像処理の程度を増加させるようにする。これにより、境界部分を目立たなくすることができ、境界部分を自然に見せることが可能となる。
このように、制御部130は、重複領域に表示される複数の画像の境界領域について各画像間の解像度が合うように画像処理を施す制御を行う。そして、表示制御部150は、その解像度が合うように画像処理が施された複数の画像を表示させる。
また、表示制御部150は、例えば、図9に示すように、対象画像の表示される範囲が、対象画像に対する所定割合よりも低くなったときには、他の画像を表示させる。また、表示制御部150は、さらに表示部112の表示能力に基づいて、表示部112に表示させる画像として、複数の画像のうちの少なくとも1つを選択する。
[表示制御装置の動作例]
図11は、本技術の第2の実施の形態における表示制御装置100による表示制御処理の処理手順の一例を示すフローチャートである。なお、図11は、図7の変形例であるため、図7と共通する部分については、同一の符号を付して、その説明の一部を省略する。
表示制御部150は、視点に応じて選択された画像のうち、算出された解像度(表示面における解像度)が閾値以上となる画像が存在するか否かを判断する(ステップS921)。その解像度が閾値以上となる画像が存在する場合には(ステップS921)、表示制御部150は、算出された解像度(表示面における解像度)が閾値以上であり、かつ、解像度が最も低い画像を最前面画像として表示部112に表示させる(ステップS922)。例えば、図9のaに示すように、最前面画像として画像261が表示される。
一方、算出された解像度が閾値以上となる画像が存在しない場合には(ステップS921)、表示制御部150は、算出された解像度(表示面における解像度)が最も高い画像を最前面画像として表示部112に表示させる(ステップS923)。
ここで、画質を最優先にする場合には、等倍表示に対応する値を閾値として用いることができる。ただし、閾値として他の値を用いるようにしてもよく、ユーザ操作により閾値を設定可能とするようにしてもよい。
以上では、最前面画像を自動で決定して表示する例を示した。ただし、ユーザ操作により最前面画像を選択するようにしてもよく、被写体に応じて最前面画像を選択するようにしてもよい。これらの例を図12乃至図14に示す。
[最前面画像の決定例]
図12は、本技術の第2の実施の形態における表示部112の最前面に表示される画像(最前面画像)をユーザ操作により決定する場合を模式的に示す図である。なお、画像261および262の関係については、図9と同様である。
図12のaには、ユーザ操作により画像261が最前面画像として選択された場合における表示例を示す。また、図12のbには、ユーザ操作により画像262が最前面画像として選択された場合における表示例を示す。
ここで、最前面画像の選択方法について説明する。例えば、複数の画像の重複領域(例えば、図12のaおよびbに示す重複領域265)を選択(例えば、ダブルクリック)することにより、前面に表示されている画像とその背面に表示されている画像とを入れ替えることができる。これにより、ユーザが見たい画像を容易に切り替えることができる。
例えば、図12に示すように、画像261および画像262における重複領域265について選択操作を行うことにより、前面に表示する画像を切り替えることができる。例えば、図12のaに示す表示状態で、重複領域265の選択操作が行われた場合には、図12のbに示す表示状態となる。また、図12のbに示す表示状態で、重複領域265の選択操作が行われた場合には、図12のaに示す表示状態となる。このように、例えば、表示対象となる画像が2つの場合には、2回の選択操作を行うことにより元の状態に戻るように設定することができる。
なお、表示対象となる画像が3つの場合には、3回の選択操作を行うことにより元の状態に戻るように設定することができる。また、表示対象となる画像が4以上の場合には、表示対象となる画像の数だけ選択操作を行うことにより元の状態に戻るように設定することができる。この場合には、選択操作が行われる毎に、最前面画像が表示順序に従って順次変更される。
[画像の表示遷移例]
図13は、本技術の第2の実施の形態における表示部112に表示される画像の表示遷移例を示す図である。なお、図13のa、bに示す画像の配置および表示領域の関係については、図3のbと同様である。
図13では、3つの画像501乃至503を表示する例を示す。この場合に、撮像装置により生成された画像が配置されない領域には、所定の画像(例えば、黒やグレーの画像)が表示される。
図13のaに示すように、ユーザ操作が行われていない状態では、各画像の枠が付されていない状態の3つの画像501乃至503が表示される。一方、図13のbに示すように、ユーザ操作が行われている状態では、各画像の枠が付された状態の3つの画像501乃至503が表示される。
また、図13のaまたはbに示す状態で、ユーザ操作により1つの画像が選択された場合には、その選択された画像のみが表示される。例えば、ユーザ操作により画像501が選択された場合には、画像501のみが表示される。例えば、ユーザ操作が行われていない状態では、図6のbに示す画像が表示され、ユーザ操作が行われている状態では、図6のaに示す画像が表示される。
[最前面画像の決定例]
図14は、本技術の第2の実施の形態における表示部112の最前面に表示される画像(最前面画像)を被写体に応じて決定する場合を模式的に示す図である。
図14のaには、山を背景にして立っている人物201、その前を歩いている犬202、その周辺の家203等を被写体とする撮像範囲511、512を示す。図14のbには、図14のaに示す撮像範囲511、512に対応する画像515、516が表示部112に表示される際における各画像の配置例を示す。
また、図14では、画像の境界が特定の物体にかかる場合には、特定の物体の全体が表示されるように画像を選択する例を示す。例えば、図14のbに示すように、画像516の境界が人物201にかかっている。この場合に、例えば、画像516のみを表示すると、人物201の顔の上部分が切れて見えない状態となる。そこで、例えば、表示面における解像度に基づいて最前面画像として決定された画像が画像516である場合でも、画像516ではなく画像515を表示するようにする。
ここで、特定の物体は、例えば、人物の顔、人体、動物(犬、猫)、乗り物(車、電車)である。また、特定の物体の検出については、各種の物体検出方法を用いることができる。例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法(例えば、特開2004−133637参照。)、画像データに含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、人体等の検出方法として、例えば、画像における複数の領域の輝度の勾配方向に対する輝度の勾配強度の度数分布の比較結果に基づいて特定の物体を検出する検出方法を用いることができる(例えば、特開2010−67102号参照。)。また、例えば、画像における矩形特徴を用いた弱判別器によりその画像に含まれる特定の物体を検出する検出方法を用いることができる(例えば、特開2009−212980号参照。)。また、例えば、画像における2点間の輝度の差分値を用いた弱判別器によりその画像に含まれる物体の属性を検出して特定物体をする検出方法を用いることができる。
<3.第3の実施の形態>
本技術の第1および第2の実施の形態では、領域情報として太線の枠を表示する例を示した。しかしながら、他の表示態様で領域情報を表示するようにしてもよい。
そこで、本技術の第3の実施の形態では、各種の表示態様で領域情報を表示する例を示す。なお、本技術の第3の実施の形態における表示制御装置の構成については、図1等に示す例と略同様である。このため、本技術の第1の実施の形態と共通する部分については、同一の符号を付して、これらの説明の一部を省略する。
[画角のサイズに応じて枠を変える例]
図15乃至図20は、本技術の第3の実施の形態における表示部112に画像(最前面画像)とともに表示される領域情報(例えば、画像の重複領域を示す枠)の表示例を示す図である。
画像301乃至303は、同一の画素数(例えば、800画素×600画素)であるが、撮像動作時における画角(すなわち、ズーム倍率)がそれぞれ異なる画像である。また、画像301乃至303は、図3のbに示す関係と同様に配置されているものとする。また、画像302が最前面画像として決定されているものとする。また、表示対象領域305を点線の矩形により表す。なお、画像301乃至303のそれぞれに含まれる被写体については、図示を省略する。また、図16および図17に示す例も同様であるものとする。
[画角のサイズに応じて枠の太さを変える例]
図15には、画角のサイズに応じて枠の太さを変える例を示す。
例えば、画角のサイズが大きくなるのに応じて枠を太くする。一方、画角のサイズが小さくなるのに応じて枠を細くする。
例えば、画像301の画角のサイズは比較的大きいため、画像301の重複領域を示す枠311については、比較的太く表示される。一方、画像303の画角のサイズは比較的小さいため、画像303の重複領域を示す枠312については、比較的細く表示される。
なお、これらの関係とは逆となるように枠の太さを設定するようにしてもよい。すなわち、画角のサイズが大きくなるのに応じて枠を細くし、画角のサイズが小さくなるのに応じて枠を太くするようにしてもよい。
[画角のサイズに応じて枠の色を変える例]
図16には、画角のサイズに応じて枠の色を変える例を示す。
例えば、図16のbに示すように、画角のサイズが大きくなるのに応じて、紫、青、緑、黄、橙、赤に順次変更する。なお、図16のbでは、画角のサイズと、色との関係例を縦軸に並べて示す。また、図16のbでは、白黒の濃淡により色が付された線状画像(枠)を表すものとする。
例えば、図16のaに示すように、画像301の画角のサイズは比較的大きいため、画像301の重複領域を示す枠321は赤で表示される。一方、画像303の画角のサイズは比較的小さいため、画像303の重複領域を示す枠322は緑で表示される。
なお、これらの関係とは逆となるように枠の色を設定するようにしてもよい。また、さらに細かく色を設定するようにしてもよい。
[画角のサイズに応じて枠の種類を変える例]
図17には、画角のサイズに応じて枠の種類を変える例を示す。
例えば、図17のbに示すように、画角のサイズが大きくなるのに応じて、点線の間隔が広くなるように設定する。
例えば、図17のaに示すように、画像301の画角のサイズは比較的大きいため、画像301の重複領域を示す枠331については、比較的広い間隔の点線で表示される。一方、画像303の画角のサイズは比較的小さいため、画像303の重複領域を示す枠332については、比較的狭い間隔の点線で表示される。
なお、これらの関係とは逆となるように枠の種類を設定するようにしてもよい。また、その種類をさらに細かく設定するようにしてもよい。
[画角のサイズに応じて枠の消えるタイミングを変える例(枠を徐々に薄くする例)]
図18には、画角のサイズに応じて枠の消えるタイミングを変える例を示す。ここで、図18に示す縦軸は、画角のサイズを示す軸であり、図18に示す横軸は、時間軸である。
図18に示す時間軸において、時間t1は、ユーザ操作が終了した時点を示す。また、時間t2は、画角のサイズが比較的小さい画像の重複領域を示す枠を最後に表示する時点を示す。すなわち、時間t2の経過後に、画角のサイズが比較的小さい画像の重複領域を示す枠が消去される。同様に、時間t3は、画角のサイズが中程度の画像の重複領域を示す枠を最後に表示する時点を示す。また、時間t4は、画角のサイズが比較的大きい画像の重複領域を示す枠を最後に表示する時点を示す。
図18に示すように、ユーザ操作が終了した時点(時間t1)から、枠が順次薄くなるように表示態様を変更する。これにより、見えていた枠が徐々に消えていくような印象を与えることができる。これにより、見えていた枠が突然見えなくなることによる不自然さ等をユーザが生じることもなく、自然な状態で枠の遷移を見ることができる。
[画角のサイズに応じて枠の消えるタイミングを変える例(枠の種類を徐々に変更する例)]
図19には、画角のサイズに応じて枠の消えるタイミングを変える例を示す。なお、図19に示す縦軸および横軸は、図18と同様である。また、図19に示す時間軸における時間t1乃至t4についても、図18と同様である。
図19に示すように、ユーザ操作が終了した時点(時間t1)から、枠の種類が順次切り替わるように表示態様を変更する。これにより、見えていた枠が消えるまでの遷移をユーザが確認することができる。
[画角のサイズに応じて枠の消えるタイミングを変える例(枠の太さを徐々に変更する例)]
図20には、画角のサイズに応じて枠の消えるタイミングを変える例を示す。なお、図20に示す縦軸および横軸は、図18と同様である。また、図20に示す時間軸における時間t1乃至t4についても、図18と同様である。
図20に示すように、ユーザ操作が終了した時点(時間t1)から、枠の太さが順次切り替わるように表示態様を変更する。これにより、見えていた枠が消えるまでの遷移をユーザが確認することができる。
[他の表示例]
以上では、領域情報として枠を表示する例を示した。以下では、他の表示態様により領域情報を表示する例を示す。
図21乃至図23は、本技術の第3の実施の形態における表示部112に画像(最前面画像)とともに表示される領域情報の表示例を示す図である。なお、画像301乃至303、表示対象領域305については、図15乃至図17と同様であるものとする。
[ハイライトにより領域情報を表示する例]
図21には、ハイライトにより領域情報を表示する例を示す。例えば、領域341、342をハイライト表示する。なお、図15乃至図17に示す例と同様に、画角のサイズに応じてハイライト表示を変更するようにしてもよい。例えば、画角のサイズに応じて明るさを変更するようにしてもよい。
[異なる色のハイライトにより領域情報を表示する例]
図22には、異なる色のハイライトにより領域情報を表示する例を示す。例えば、領域351、352を異なる色でハイライト表示する。この場合に、図22に示すように、領域情報の輪郭に枠を付すようにしてもよい。なお、図15乃至図17に示す例と同様に、画角のサイズに応じてハイライト表示を変更するようにしてもよい。例えば、画角のサイズに応じて異なる色を付すようにしてもよい。
[網掛け表示により領域情報を表示する例]
図23には、網掛け表示により領域情報を表示する例を示す。例えば、領域361、362を網掛け表示する。この場合に、図23に示すように、領域情報の輪郭に枠を付すようにしてもよい。なお、図15乃至図17に示す例と同様に、画角のサイズに応じて網掛け表示を変更するようにしてもよい。例えば、画角のサイズに応じて網掛けの間隔を変更するようにしてもよい。
なお、図15乃至図23に示す表示態様以外の他の表示態様で領域情報を表示するようにしてもよい。例えば、表示対象となっている画像上において、他の画像の重複領域を特定色(例えば、薄いグレー)とすることにより、領域情報を表示するようにしてもよい。
このように、制御部130は、複数の画像に関する画像情報に応じて、他の画像に係る領域情報の表示態様を変更して表示させることができる。ここで、複数の画像に関する画像情報は、例えば、他の画像の表示サイズ(例えば、画角)や、撮像時における撮像条件(例えば、ズーム倍率)である。また、制御部130は、他の画像の重複領域に対応する輪郭を示す線状画像を領域情報として表示させ、領域情報の表示態様として、線状画像の太さ、色、種類のうちの少なくとも1つを変更させることができる。また、制御部130は、領域情報の表示態様として、ユーザ操作の終了時から、領域情報を消去するまでのタイミングを変更させることができる。
このように、本技術の実施の形態では、撮像動作時の撮像装置の状態(位置、姿勢、ズーム倍率)が関連付けられ、かつ、一部または全ての画像が共通の被写体を含む複数の画像を1つのシーンとして同時に表示することができる。この場合に、ユーザが操作(スクロール、ズーム)を行っている間、他の画像の重複領域を示す領域情報(例えば、枠)を表示するため、画質を損なうことなく、表示されている画像以外の他の画像の有無や、ズーム倍率を直観的に表現することができる。これにより、他の画像の有無や、ズーム倍率をユーザが直観的に把握することができる。例えば、表示されている画像を基準にして、その上下左右の撮像範囲に画像が存在するのか否か、ズームして撮影された高精細な画像がある否か等をユーザが容易に把握することができる。すなわち、関連する複数の画像を表示する場合に、各画像に関する情報をユーザが容易に把握することができる。
また、ユーザが操作(スクロール、ズーム)を行っている間、他の画像の重複領域を示す領域情報(例えば、枠)を表示することにより、重要な被写体(特に、動体)の位置が変更されたり、その被写体が消えたりすることを防止することができる。例えば、前面に表示されている画像と、その背面の画像との重複領域に動体が含まれるような場合には、その動体の移動により、その重複領域に含まれる動体の位置が互いに異なることも想定される。この場合に、その背面の画像を前面に表示させると、その重複領域における動体の位置が変更されたり、動体が消えたりするおそれがある。この場合でも、前面に表示されている画像における重複領域に枠を表示することにより、動体の位置が変更されたり、動体が消えたりすることを防止することができる。また、前面に表示されている画像における重複領域に枠を表示するのみであるため、画像間における境界領域で違和感が発生することを防止することができる。
また、複数の画像が重複する領域について、ディスプレイの解像度、表示状態(位置、ズーム倍率)、ユーザ操作に応じて適応的に前面に表示する画像を切り替えることにより、高精細な画像を自然に表示させることができる。
なお、本技術の実施の形態では、静電式(静電容量方式)のタッチパネルを用いる例を示したが、感圧式(抵抗膜圧式)や光式等のタッチパネルを用いるようにしてもよい。また、タッチパネルを備えていない表示制御装置に本技術の実施の形態を適用するようにしてもよい。
また、互いに関連する複数の画像を表示することが可能な他の表示制御装置(電子機器)に本技術の実施の形態を適用することができる。例えば、デジタルスチルカメラ、デジタルビデオカメラ(例えば、カメラ一体型レコーダ)、デジタルフォトフレーム、スマートフォン、タブレット、携帯電話、パーソナルコンピュータ等の機器に適用することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
なお、本技術は以下のような構成もとることができる。
(1)
1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザ操作に基づいて表示部に表示させる表示制御部と、
前記ユーザ操作が行われている状態では、表示対象となっている対象画像とともに前記対象画像以外の他の画像と前記対象画像とが重複する重複領域を示す領域情報を表示させる制御を行う制御部と
を具備する表示制御装置。
(2)
前記制御部は、1または複数の前記他の画像を前記重複領域に表示させる制御を行う前記(1)に記載の表示制御装置。
(3)
前記制御部は、前記重複領域に表示される複数の画像の境界領域について各画像間の解像度が合うように画像処理を施す制御を行い、
前記表示制御部は、前記解像度が合うように画像処理が施された複数の画像を表示させる
前記(2)に記載の表示制御装置。
(4)
前記制御部は、前記対象画像に前記領域情報を重ねて表示させる制御を行う前記(1)から(3)のいずれかに記載の表示制御装置。
(5)
前記制御部は、前記複数の画像に関する画像情報に応じて前記他の画像に係る前記領域情報の表示態様を変更して表示させる制御を行う前記(1)から(4)のいずれかに記載の表示制御装置。
(6)
前記制御部は、前記他の画像の表示領域に対応する輪郭を示す線状画像を前記領域情報として表示させ、前記領域情報の表示態様として前記線状画像の太さ、色、種類のうちの少なくとも1つを変更させる制御を行う前記(5)に記載の表示制御装置。
(7)
前記制御部は、前記領域情報の表示態様として、前記ユーザ操作の終了時から前記領域情報を消去するまでのタイミングを変更させる制御を行う前記(5)に記載の表示制御装置。
(8)
前記表示制御部は、表示時における前記複数の画像のそれぞれの解像度に基づいて、前記表示部に表示させる画像として、前記複数の画像のうちの少なくとも1つを選択する前記(1)から(7)のいずれかに記載の表示制御装置。
(9)
前記表示制御部は、前記対象画像の表示される範囲が、前記対象画像に対する所定割合よりも低くなったときには、前記他の画像を表示させる前記(8)に記載の表示制御装置。
(10)
前記表示制御部は、さらに前記表示部の表示能力に基づいて、前記表示部に表示させる画像として、前記複数の画像のうちの少なくとも1つを選択する前記(8)に記載の表示制御装置。
(11)
1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザ操作に基づいて表示部に表示させる第1表示手順と、
前記ユーザ操作が行われている状態では、表示対象となっている対象画像とともに前記対象画像以外の他の画像と前記対象画像とが重複する重複領域を示す領域情報を表示させる第2表示手順と
を具備する表示制御方法。
(12)
1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザ操作に基づいて表示部に表示させる第1表示手順と、
前記ユーザ操作が行われている状態では、表示対象となっている対象画像とともに前記対象画像以外の他の画像と前記対象画像とが重複する重複領域を示す領域情報を表示させる第2表示手順と
をコンピュータに実行させるプログラム。
100 表示制御装置
110 入出力部
111 接触操作受付部
112 表示部
120 操作受付部
130 制御部
140 記憶部
150 表示制御部

Claims (12)

  1. 1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザによる表示指示操作に基づいて表示部に表示させる表示制御部と、
    前記表示指示操作以外の特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに前記対象画像以外の他の画像と前記対象画像とが重複する重複領域を示す領域情報を表示させ、前記重複領域に表示される複数の画像の境界領域について各画像間の解像度が合うように画像処理を施す制御を行う制御部とを具備し、
    前記表示制御部は、前記解像度が合うように画像処理が施された複数の画像を表示させる
    表示制御装置。
  2. 1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザによる表示指示操作に基づいて表示部に表示させる表示制御部と、
    前記表示指示操作以外の特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに前記対象画像以外の他の画像と前記対象画像とが重複する重複領域を示す領域情報を表示させ、前記複数の画像に関する画像情報に応じて前記他の画像に係る前記領域情報の表示態様を変更して表示させる制御を行う制御部と
    を具備する表示制御装置。
  3. 前記制御部は、前記他の画像の表示領域に対応する輪郭を示す線状画像を前記領域情報として表示させ、前記領域情報の表示態様として前記線状画像の太さ、色、種類のうちの少なくとも1つを変更させる制御を行う請求項記載の表示制御装置。
  4. 前記制御部は、前記領域情報の表示態様として、前記特定のユーザ操作の終了時から前記領域情報を消去するまでのタイミングを変更させる制御を行う請求項2または3記載の表示制御装置。
  5. 1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザによる表示指示操作に基づいて表示部に表示させ、前記表示部に複数の画像を表示させる場合には、当該複数の画像のそれぞれの解像度に基づいて、当該複数の画像のうちの少なくとも1つを最前面に表示させる画像として選択する表示制御部と、
    前記表示指示操作以外の特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに前記対象画像以外の他の画像と前記対象画像とが重複する重複領域を示す領域情報を表示させる制御を行う制御部と
    を具備する表示制御装置。
  6. 1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザによる表示指示操作に基づいて表示部に表示させ、前記表示部に複数の画像を表示させる場合には、前記表示部の表示面の解像度と、表示対象となる画像の解像度との比較結果に基づいて、当該複数の画像のうちの少なくとも1つを最前面に表示させる画像として選択する表示制御部と、
    前記表示指示操作以外の特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに前記対象画像以外の他の画像と前記対象画像とが重複する重複領域を示す領域情報を表示させる制御を行う制御部と
    を具備する表示制御装置。
  7. 前記制御部は、1または複数の前記他の画像を前記重複領域に表示させる制御を行う請求項1乃至6の何れかに記載の表示制御装置。
  8. 前記制御部は、前記対象画像に前記領域情報を重ねて表示させる制御を行う請求項1乃至7の何れかに記載の表示制御装置。
  9. 前記表示制御部は、前記対象画像の表示される範囲が、前記対象画像に対する所定割合よりも低くなったときには、前記他の画像を表示させる請求項1乃至8の何れかに記載の表示制御装置。
  10. 1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザによる表示指示操作に基づいて表示部に表示させる第1表示手順と、
    前記表示指示操作以外の特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに前記対象画像以外の他の画像と前記対象画像とが重複する重複領域を示す領域情報を表示させる第2表示手順と
    前記重複領域に表示される複数の画像の境界領域について各画像間の解像度が合うように画像処理を施し、前記解像度が合うように画像処理が施された複数の画像を表示させる第3表示手順と
    を具備する表示制御方法。
  11. 1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザによる表示指示操作に基づいて表示部に表示させる第1表示手順と、
    前記表示指示操作以外の特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに前記対象画像以外の他の画像と前記対象画像とが重複する重複領域を示す領域情報を表示させ、前記複数の画像に関する画像情報に応じて前記他の画像に係る前記領域情報の表示態様を変更して表示させる第2表示手順と
    を具備する表示制御方法。
  12. 1つの画像の撮像範囲が他の画像の撮像範囲の少なくとも一部と重複する複数の画像のうちの少なくとも1つをユーザによる表示指示操作に基づいて表示部に表示させる第1表示手順と、
    前記表示指示操作以外の特定のユーザ操作が行われている状態では、表示対象となっている対象画像とともに前記対象画像以外の他の画像と前記対象画像とが重複する重複領域を示す領域情報を表示させる第2表示手順と
    前記重複領域に表示される複数の画像の境界領域について各画像間の解像度が合うように画像処理を施し、前記解像度が合うように画像処理が施された複数の画像を表示させる第3表示手順と
    をコンピュータに実行させるプログラム。
JP2012109093A 2012-05-11 2012-05-11 表示制御装置、表示制御方法およびプログラム Expired - Fee Related JP5966584B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012109093A JP5966584B2 (ja) 2012-05-11 2012-05-11 表示制御装置、表示制御方法およびプログラム
US13/834,112 US10282819B2 (en) 2012-05-11 2013-03-15 Image display control to grasp information about image
CN201310158763.4A CN103391396B (zh) 2012-05-11 2013-05-03 显示控制设备和显示控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012109093A JP5966584B2 (ja) 2012-05-11 2012-05-11 表示制御装置、表示制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2013235203A JP2013235203A (ja) 2013-11-21
JP5966584B2 true JP5966584B2 (ja) 2016-08-10

Family

ID=49535545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012109093A Expired - Fee Related JP5966584B2 (ja) 2012-05-11 2012-05-11 表示制御装置、表示制御方法およびプログラム

Country Status (3)

Country Link
US (1) US10282819B2 (ja)
JP (1) JP5966584B2 (ja)
CN (1) CN103391396B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102145542B1 (ko) * 2014-08-14 2020-08-18 삼성전자주식회사 촬영 장치, 복수의 촬영 장치를 이용하여 촬영하는 촬영 시스템 및 그 촬영 방법
CN106205440B (zh) * 2016-06-30 2019-11-29 微位(深圳)网络科技有限公司 带百叶窗动画效果的文字显示方法和系统
US10970915B2 (en) * 2017-01-06 2021-04-06 Canon Kabushiki Kaisha Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium
JP7298116B2 (ja) * 2018-08-03 2023-06-27 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
CN108965742B (zh) * 2018-08-14 2021-01-22 京东方科技集团股份有限公司 异形屏显示方法、装置、电子设备及计算机可读存储介质
WO2020210867A1 (en) * 2019-04-15 2020-10-22 Canva Pty Ltd Systems and methods of generating a design based on a design template and another design
CN112529766B (zh) * 2020-11-26 2023-10-03 维沃移动通信有限公司 图像的处理方法、装置及电子设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3591129B2 (ja) * 1996-05-16 2004-11-17 ブラザー工業株式会社 ディスプレイの表示特性関数決定方法と、ディスプレイの表示特性関数決定装置、γ値決定装置及びプリンタシステム
JPH11313204A (ja) * 1998-04-30 1999-11-09 Dainippon Screen Mfg Co Ltd 画像取得方法及びその装置並びにプログラムを記録した記憶媒体
JP2001177850A (ja) 1999-12-21 2001-06-29 Sony Corp 画像信号記録装置および方法、画像信号再生方法並びに記録媒体
JP4443735B2 (ja) * 2000-07-11 2010-03-31 富士フイルム株式会社 撮像装置およびその動作制御方法
JP2004266376A (ja) * 2003-02-25 2004-09-24 Matsushita Electric Ind Co Ltd 映像合成装置
JP4488233B2 (ja) * 2003-04-21 2010-06-23 日本電気株式会社 映像オブジェクト認識装置、映像オブジェクト認識方法、および映像オブジェクト認識プログラム
JP4196216B2 (ja) * 2003-09-08 2008-12-17 日本電気株式会社 画像合成システム、画像合成方法及びプログラム
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4507281B2 (ja) * 2006-03-30 2010-07-21 富士フイルム株式会社 画像表示装置、撮像装置および画像表示方法
US8027549B2 (en) * 2006-06-12 2011-09-27 D&S Consultants, Inc. System and method for searching a multimedia database using a pictorial language
US20080143969A1 (en) * 2006-12-15 2008-06-19 Richard Aufranc Dynamic superposition system and method for multi-projection display
JP4830023B2 (ja) * 2007-09-25 2011-12-07 富士通株式会社 画像合成装置及び方法
US20090102868A1 (en) * 2007-10-23 2009-04-23 Motorola, Inc. Method and apparatus for dynamically adjusting resolution of display device in mobile computing devices
JP4971202B2 (ja) * 2008-01-07 2012-07-11 株式会社エヌ・ティ・ティ・ドコモ 情報処理装置及びプログラム
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
CN103605452B (zh) * 2008-11-11 2018-04-17 索尼电脑娱乐公司 图像处理装置、以及图像处理方法
US8493408B2 (en) * 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
TWI401526B (zh) * 2008-12-05 2013-07-11 Altek Corp The instantaneous image of the degree of integration of the instant prompt method
US8958484B2 (en) * 2009-08-11 2015-02-17 Google Inc. Enhanced image and video super-resolution processing
JP5433377B2 (ja) * 2009-10-29 2014-03-05 楽天株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US8861890B2 (en) * 2010-11-24 2014-10-14 Douglas Alan Lefler System and method for assembling and displaying individual images as a continuous image
JP2012156797A (ja) * 2011-01-26 2012-08-16 Sony Corp 画像処理装置及び画像処理方法
JP2012160904A (ja) * 2011-01-31 2012-08-23 Sony Corp 情報処理装置、情報処理方法、プログラム、及び撮像装置
JP2012249145A (ja) * 2011-05-30 2012-12-13 Sony Corp 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP2013235203A (ja) 2013-11-21
US10282819B2 (en) 2019-05-07
CN103391396A (zh) 2013-11-13
US20130300742A1 (en) 2013-11-14
CN103391396B (zh) 2017-10-17

Similar Documents

Publication Publication Date Title
JP5966584B2 (ja) 表示制御装置、表示制御方法およびプログラム
US11770601B2 (en) User interfaces for capturing and managing visual media
US10244176B2 (en) Image processing device, image processing method and program
EP2822267B1 (en) Method and apparatus for previewing a dual-shot image
KR101231469B1 (ko) 이미지 처리 지원 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
US9496005B2 (en) Electronic apparatus, display control method and program for displaying an image for selecting a content item to be reproduced
KR20200087746A (ko) 상이한 줌 레벨들에서 카메라를 오리엔팅하기 위한 보조
EP3226537A1 (en) Mobile terminal and method for controlling the same
US20130239050A1 (en) Display control device, display control method, and computer-readable recording medium
KR20110100232A (ko) 정보 표시 장치, 정보 표시 방법 및 기록매체
JP2010072749A (ja) 画像検索装置、デジタルカメラ、画像検索方法および画像検索用プログラム
CN110610531A (zh) 图像处理方法、图像处理装置和记录介质
US9569814B2 (en) Display control apparatus, image capture apparatus, display control method, and image capture apparatus control method
US10958825B2 (en) Electronic apparatus and method for controlling the same
US10235805B2 (en) Client terminal and server for guiding a user
US20120194544A1 (en) Electronic equipment
JP2016178608A (ja) 画像処理装置、画像処理方法及びプログラム
KR20150023602A (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
US9214193B2 (en) Processing apparatus and method for determining and reproducing a number of images based on input path information
JP5519376B2 (ja) 電子機器
US20110221924A1 (en) Image sensing device
US9135275B2 (en) Digital photographing apparatus and method of providing image captured by using the apparatus
JP2010074297A (ja) デジタルカメラ、画像検索装置、画像検索方法および画像検索用プログラム
JP7110163B2 (ja) 画像処理装置、撮影装置、画像処理方法、及び画像処理プログラム
JP2018109740A (ja) 表示装置、プログラム、表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160620

R151 Written notification of patent or utility model registration

Ref document number: 5966584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees