JP6071866B2 - 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム - Google Patents

表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム Download PDF

Info

Publication number
JP6071866B2
JP6071866B2 JP2013261495A JP2013261495A JP6071866B2 JP 6071866 B2 JP6071866 B2 JP 6071866B2 JP 2013261495 A JP2013261495 A JP 2013261495A JP 2013261495 A JP2013261495 A JP 2013261495A JP 6071866 B2 JP6071866 B2 JP 6071866B2
Authority
JP
Japan
Prior art keywords
image
display
imaging
area
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013261495A
Other languages
English (en)
Other versions
JP2015119338A5 (ja
JP2015119338A (ja
Inventor
孝志 安達
孝志 安達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013261495A priority Critical patent/JP6071866B2/ja
Priority to US14/567,882 priority patent/US10798305B2/en
Priority to KR1020140181979A priority patent/KR101739318B1/ko
Priority to RU2014151357A priority patent/RU2606214C2/ru
Priority to CN201810637197.8A priority patent/CN108989663B/zh
Priority to CN201410799137.8A priority patent/CN104735344A/zh
Priority to EP17189279.7A priority patent/EP3285479A1/en
Priority to EP14198964.0A priority patent/EP2887644B1/en
Publication of JP2015119338A publication Critical patent/JP2015119338A/ja
Publication of JP2015119338A5 publication Critical patent/JP2015119338A5/ja
Application granted granted Critical
Publication of JP6071866B2 publication Critical patent/JP6071866B2/ja
Priority to US15/678,996 priority patent/US11184544B2/en
Priority to US17/514,598 priority patent/US11895392B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は撮像装置の撮像範囲を制御する制御装置に関する。
従来、クライアント装置からネットワークを介して撮像装置の撮像方向、又は、ズームを操作する技術が知られている。
また、撮像装置が撮像方向又はズームを変更することによって撮像可能な範囲を示すパノラマ画像をクライアント装置において表示させる技術が知られている。
さらに、クライアント装置において表示されたパノラマ画像上の位置をユーザが指定すると、パノラマ画像上の指定された位置に応じた方向に撮像装置の撮像方向を変更させる技術が知られている(例えば、特許文献1)。
さらに特許文献1には、ユーザがパノラマ画像上の位置を指定するとパノラマ画像の表示を更新して、クライアント装置において表示されるパノラマ画像の中心と、ユーザが指定したパノラマ画像上の位置とを一致させることが開示されている。
特開2007−43505号公報
しかし従来の方法では、撮像装置が撮像可能な範囲における所望の位置(例えば、パノラマ画像上の所望の位置)をユーザが指定することが困難となる場合があった。
例えば、携帯用端末などの小型のディスプレーでパノラマ画像を表示させる場合、表示されるパノラマ画像自体が小さいため、パノラマ画像上の所望の範囲を指定することがユーザにとって困難となる場合があった。
そして、パノラマ画像上等の所望の範囲を指定できないために、ユーザは撮像装置の撮像範囲を所望の範囲に変更することができない場合があった。
そこで本発明は、所望の範囲をユーザが容易に指定できるようにすることを目的とする。
本発明の表示制御装置は、第1の画像の少なくとも一部分と、マークとを、表示手段の表示画面に表示させる表示制御部を有し、前記表示制御部は、前記第1の画像に重なる位置に前記マークを表示させ、前記第1の画像の少なくとも一部分を前記表示画面に表示させる場合において所定の操作が行われると、前記表示画面に対する前記マークの表示位置と、前記第1の画像の少なくとも一部分を表示させるための領域であって、その領域における一端が前記表示画面における一端に対応し、その領域における前記一端とは異なる他端が前記表示画面おける前記一端とは異なる他端に対応する領域である第1の領域の前記表示画面に対する位置とは変ずに、前記第1の画像を前記所定の操作に応じて動かし、前記第1の画像における前記マークと重なる領域に応じた画像を、前記第1の画像とは異なる位置に表示させる。
また、本発明の表示制御装置は、表示手段の表示画面における、第1の画像の少なくとも一部分を表示させるための領域であって、その領域における一端が前記表示画面における一端に対応し、その領域における前記一端とは異なる他端が前記表示画面おける前記一端とは異なる他端に対応する領域である第1の領域に、前記第1の画像の少なくとも一部分を表示させ、マークを前記第1の領域に含まれる第2の領域に表示させる表示制御部を有し、前記第1の領域の位置、及び、前記第2の領域の位置は前記表示画面に対して固定であり、前記表示制御部は、前記第1の画像の少なくとも一部分を前記表示画面に表示させる場合において所定の操作が行われると、前記第1の画像を前記所定の操作に応じて動かし、前記第1の画像における前記マークと重なる領域に応じた画像を、前記第1の画像とは異なる位置に表示させる。
本発明の表示制御方法は、第1の画像の少なくとも一部分と、前記第1の画像に重なる位置に表示されるマークと、前記第1の画像における前記マークと重なる領域に応じた第2の画像とを表示手段の表示画面に表示させ、前記第1の画像の少なくとも一部分を前記表示画面に表示させる場合において所定の操作が行われると、前記表示画面に対する前記マークの表示位置と、前記第1の画像の少なくとも一部分を表示させるための領域であって、その領域における一端が前記表示画面における一端に対応し、その領域における前記一端とは異なる他端が前記表示画面おける前記一端とは異なる他端に対応する領域である第1の領域の前記表示画面に対する位置とは変えずに、前記第1の画像を前記所定の操作に応じて動かし、前記所定の操作が行われる前に表示していた前記第2の画像を、前記第1の画像における、前記所定の操作が行われた後に前記マークと重なる領域に応じた第3の画像へと変更する。
また、本発明の表示制御方法は、第1の画像の少なくとも一部分を表示させるための領域であって、その領域における一端が表示手段の表示画面における一端に対応し、その領域における前記一端とは異なる他端が前記表示画面おける前記一端とは異なる他端に対応する領域であり、前記表示画面に対して固定の領域である第1の領域に、第1の画像の少なくとも一部分を表示させ、前記第1の領域に含まれ、前記表示画面に対して固定の第2の領域にマークを表示させ、前記表示画面における前記第1の画像とは異なる位置に、前記第1の画像における前記マークと重なる領域に応じた第2の画像を表示させ、前記第1の画像の少なくとも一部分を前記表示画面に表示させる場合において所定の操作が行われると、前記第1の画像を前記所定の操作に応じて動かし、前記所定の操作が行われる前に表示していた前記第2の画像を、前記第1の画像における、前記所定の操作が行われた後に前記マークと重なる領域に応じた第3の画像へと変更する。
本発明によれば、所望の範囲をユーザが容易に指定することができる。
本発明にかかる撮像システムを示す図。 撮像装置110の撮像範囲を変更するための操作例を示す図。 撮像装置110の撮像方向をパン方向に変更するための操作例を示す図。 撮像装置110の撮像方向をチルト方向に変更するための操作例を示す図。 撮像装置110の画角を変更するための操作例を示す図。 第1の実施形態にかかる端末装置120の動作を示す図。 第2の実施形態にかかる端末装置120の動作を示す図。 撮像装置110の撮像可能範囲のうち端末装置120に表示される領域を示す図。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
<実施形態1>
本発明にかかる撮像システムについて図1を用いて説明する。図1に示す撮像システムにおいて、撮像装置110と端末装置120がネットワーク130を介して接続される。ネットワーク130には複数の撮像装置110が接続されることとしてもよい。
撮像装置110は、撮像範囲を変更して撮像を行うことが可能な撮像装置である。撮像装置110は、例えばネットワークカメラとすることができる。
端末装置120は、撮像装置110が撮像する撮像範囲を変更させる制御を行う制御装置である。端末装置120は、例えば、PC(Personal Computer)とすることができる。あるいは、例えば、タブレット端末、スマートフォン等の携帯用端末とすることができる。
撮像装置110が撮像した撮像画像は、ネットワーク130を介して端末装置120に送信され、端末装置120の表示部125に表示される。
端末装置120は、撮像装置110が撮像方向及び画角を変更して撮像可能な範囲を示す画像であるパノラマ画像の一部又は全体を表示部125に表示させる。
端末装置120は、撮像装置110が撮像範囲を変更して撮像可能な範囲のうち、端末装置120の表示画面における第1の領域(図2の表示領域222)に対応付ける範囲を表示画面に対する操作に基づいて変更することができる。
本実施形態では、端末装置120が表示部125を有する場合について説明するが、これに限らない。端末装置120は、端末装置120に接続された外部の表示装置を制御して、撮像装置110から受信した撮像画像を表示装置に表示させることとしてもよい。
ネットワーク130は、例えば、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless LAN)、WAN(Wide Area Network)、又は、アナログケーブル等により構成される。ネットワーク130は、その通信規格、規模、構成を問わない。LANの通信規格として、例えばEthanet(登録商標)等を用いることができる。
まず、撮像装置110の構成について図1を用いて説明する。
撮像部113は、被写体を撮像して撮像画像を生成する。撮像部113は、レンズやCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子などによって構成される。撮像素子はレンズによって結像された被写体の像を画像信号に変換して撮像画像を生成する。撮像部113の撮像方向は、後述の駆動制御部114の制御により変更することができる。
画像処理部116は、撮像部113が生成した画像信号に対する画像処理を行う。画像処理部116は、例えば、撮像部113が撮像した画像の符号化を行う。符号化方式として例えば、JPEG(Joint Photographic Experts Group)を用いることができる。または、符号化方式として、H.264/MPEG−4 AVC(以下H.264)を用いることができる。あるいは符号化方式として、HEVC(High Efficiency Video Coding符号化方式)を用いることができる。符号化方式はこれらに限られない。また、画像処理部116は複数の符号化方式の中から符号化方式を選択して符号化を行うこととしてもよい。
また画像処理部116は、撮像部113が複数の撮像方向で撮像した撮像画像を合成したパノラマ画像を生成する。本実施形態において画像処理部116は、撮像装置110が撮像方向又はズームを変更して撮像可能な範囲に対応する領域のパノラマ画像を生成する。パノラマ画像の符号化方式として、例えばJPEG、PNG(Portable Network Graphics)、GIF(Graphics Interchange Format)、BMP(Bit Map Image)等を用いることができる。または、パノラマ画像の符号化方式として、H.264、HEVC等の符号化方式を用いることができる。
本実施形態では、撮像装置110の画像処理部116がパノラマ画像を生成する例について説明するが、これに限らない。端末装置120がパノラマ画像を生成することとしてもよい。すなわち、撮像装置110から受信した複数の撮像画像を端末装置120が合成してパノラマ画像を生成してもよい。あるいは、ネットワーク130に接続された不図示のサーバが、撮像装置110が撮像した撮像画像を合成してパノラマ画像を生成することとしてもよい。端末装置120は、このサーバが生成したパノラマ画像をネットワーク130を介して取得することとしてもよい。パノラマ画像をいずれの装置が生成するかについては、特に限定しない。
駆動制御部114は、撮像部113の撮像方向、又は、画角を変更させる制御を行う。本実施形態において、駆動制御部114は、撮像部113の撮像方向をパン方向、及び、チルト方向に変化させる制御を行う。また本実施形態において駆動制御部114は、ズーム倍率を変更して撮像部113の撮像範囲の画角を変更させる。
本実施形態では、撮像装置110がパン方向、及び、チルト方向に撮像方向を変更可能であり、撮像画角を変更することができる場合について説明するがこれに限らない。
少なくとも1方向に撮像方向でき、画角を変更する機能を有さない撮像装置110についても本発明を適用することができる。また、撮像方向を変更する機能を有さず、撮像画角を変更する機能を有する撮像装置にも本発明を適用することができる。
本実施形態では、撮像装置110が駆動制御部114を有する場合について説明するがこれに限らない。撮像装置110に取り付けられた雲台等によって撮像部113の撮像方向が変更されることとしてもよい。
記憶部115は、撮像部113が撮像し、画像処理部116が画像処理を行った撮像画像を記憶する。また記憶部115は、画像処理部116が生成したパノラマ画像を記憶する。さらに、記憶部115は後述の制御部112が用いる制御パラメータを保持する。
撮像画像、及び、パノラマ画像は、撮像装置110に接続された外部記憶装置に記録されることとしてもよい。例えば、撮像画像又はパノラマ画像を撮像装置110に装着されたメモリカード等に記録されることとしてもよい。あるいは、撮像画像又はパノラマ画像をネットワーク130に接続された不図示のNAS(Network Attached Storage)等に記録することとしてもよい。
通信部111は、撮像部113において撮像され画像処理部116において画像処理された撮像画像を、端末装置120に送信する。また通信部111は、画像処理部116が生成したパノラマ画像を端末装置120に送信する。さらに通信部111は、端末装置120から撮像装置110に対する制御命令を受信する。撮像装置110に対する制御命令として、例えば、撮像部113の撮像方向の変更を指示する命令が含まれる。また、撮像装置110に対する制御命令として、撮像部113の画角の変更を指示する命令が含まれる。
制御部112は、図1に示した撮像装置110の各構成の制御を行う。制御部112は例えば、CPU(Central Processing Unit)などのプロセッサとすることができる。制御部112がプロセッサとして構成される場合、例えば制御部112は、記憶部115に記憶されたプログラムを実行することにより、撮像装置110の各構成を制御する。
次に端末装置120の構成について図1を用いて説明する。
通信部121は、撮像装置110から撮像画像を取得する。また通信部121は、パノラマ画像を取得する。さらに、通信部121は撮像装置110に対する操作指示を撮像装置110に出力する。操作指示は例えば、後述の操作部126をユーザが操作して入力した入力信号に基づいて生成され、撮像装置110に送信される。
通信部121は、端末装置120の表示画面における第1の領域(表示領域222)の一部の第2の領域(枠223が示す領域)に対応する撮像範囲を撮像装置110に撮像させる指示を撮像装置110に出力する。
本実施形態では、端末装置120がパノラマ画像を取得する場合について説明するがこれに限らない。パノラマ画像のかわりに、撮像装置110が撮像範囲を変更して撮像可能な範囲を示す、予め用意された画像を用いることとしてもよい。
例えば、パノラマ画像のかわりに、撮像装置110が撮像範囲を変更して撮像可能な範囲の地図を取得して用いてもよい。この画像はパノラマ画像と同様、いずれから取得するかについては限定されない。この画像を撮像装置110から取得してもよい。この画像を端末装置120の記憶部123から取得することとしてもよい。あるいは、この画像をネットワーク130に接続された不図示の記憶装置から取得することとしてもよい。
記憶部123は通信部121が取得した撮像画像を保持する。また、記憶部123は通信部121が取得したパノラマ画像を保持する。
表示部125は、後述の制御部122の制御に従って、撮像画像及びパノラマ画像を表示する。表示部125は、図2用いて後述するように、端末装置120の表示画面上の表示領域221に撮像装置110から受信した撮像画像を表示する。また、表示部125は、表示画面上の表示領域222(第1の領域)にパノラマ画像の一部又は全体を表示する。
パノラマ画像全体のうちいずれの範囲の画像を表示領域222に表示させるかは、ユーザが端末装置120の表示画面に対して操作を行って変更することができる。
本実施形態において、表示部125はさらに、パノラマ画像に重畳して枠223を表示する。枠223は、表示されたパノラマ画像が示す範囲のうち、撮像装置110の撮像部113に撮像させる撮像範囲を示す領域(第2の領域)を示す枠である。端末装置120は、撮像装置110の撮像範囲が、パノラマ画像において枠223が示す領域に対応した範囲となるように、撮像画像の撮像方向及び画角を制御する。
本実施例では端末装置120は、表示画面における第1の領域(表示領域222)の一部の第2の領域(枠223が示す領域)に対応する撮像範囲を撮像装置110に撮像させる指示を撮像装置110に出力し、撮像画像の撮像範囲を制御する。
表示部125は、枠223を表示領域222における所定の位置に表示する。例えば表示部125は、枠223が示す領域(第2の領域)が表示領域222(第1の領域)の中央を含むように表示する。あるいは表示領域222において枠223を表示する位置をユーザが設定できることとしてもよい。
表示部125は、ユーザの指示に応じて枠223を表示するか否かを切り替えることとしてもよい。また、本実施形態では表示部125が枠223を表示する場合について説明するが、枠223は必ずしも表示しなくてもよい。
本実施形態において、表示部125が表示する枠223の大きさは一定であるものとするが、表示領域222の大きさに対する枠223の大きさをユーザが変更できることとしてもよい。
操作部126は、端末装置120の表示画面に対するユーザの操作を受け付ける。例えば操作部126は、端末装置120が備えるタッチパネルを用いた操作を受け付ける。タッチパネルに対してユーザが行う操作は、例えば、タップ、スワイプ、フリック、ピンチイン、ピンチアウト等のタッチ操作とすることができる。あるいは操作部126は、端末装置120に接続されたマウスやキーボードを用いてユーザが行う操作を受け付けることができる。
ユーザによる操作の内容、及び、ユーザの操作に応じて端末装置120が撮像装置110に出力する操作指示の内容については、図2から図5を用いて詳細を後述する。
決定部124は、操作部126が受け付けた操作の内容に応じて、撮像装置110に送信する操作指示の内容を決定する。例えば決定部124は、操作部126に対する操作量に応じて、撮像装置110の撮像方向をパン方向又はチルト方向に移動させるための制御値を決定する。あるいは操作部126に対する操作量に応じて、撮像装置110の画角を拡大又は縮小させるための制御値を決定する。
決定部124は、表示領域222に表示する画像の位置が変更された距離、又は、表示領域222に表示する画像の大きさが変更された割合の一方のみに応じて撮像範囲を変更させる変更量を決定することとしてもよい。
上述の通信部121は、決定部124が決定した結果に応じて撮像装置110の撮像範囲を変更させる指示を出力する。
制御部122は、図1に示した端末装置120の各構成の制御を行う。例えば、制御部122は、表示部125を制御して表示部125に撮像画像、パノラマ画像の一部又は全体、及び、枠223を表示させる表示制御を行う。
制御部122は例えば、CPUなどのプロセッサとすることができる。制御部122がプロセッサとして構成される場合、例えば制御部122は、記憶部123に記憶されたプログラムを実行することにより、端末装置120の各構成を制御する。
次に、ユーザが端末装置120を操作して撮像装置110の撮像範囲を変更する例について、図2から図5を用いて説明する。
図2の例において、撮像装置110は撮像方向をパン方向及びチルト方向に変更することができるネットワークカメラである。撮像装置110はズーム機構を有し、撮像範囲の画角を変更することができる。
図2において範囲210は、撮像装置110がカメラの撮像方向及び画角を変更して撮像可能な撮像対象の範囲を表す。また図2において、撮像範囲を示す枠211は撮像装置110が現在撮像している範囲を表している。
撮像装置110は、撮像部113の撮像方向を変更して撮像した複数の撮像画像を合成して、範囲210に対応する範囲のパノラマ画像を生成する。生成したパノラマ画像はネットワーク130を介して端末装置120に送信される。
本実施形態では、撮像装置110がパノラマ画像を生成して送信する場合について説明するが、撮像装置110撮像した複数の撮像画像を用いて、端末装置120がパノラマ画像を生成することとしてもよい。
また図2の例において、端末装置120は、撮像装置110のパン、チルト、及び、ズームを制御するタブレット端末である。端末装置120は、ネットワーク130を介して撮像装置110と通信を行う。図2に示した例では、端末装置120は無線LANを介して撮像装置110と通信を行う。
端末装置120は、撮像装置110が撮像した撮像画像を、表示画面上の表示領域221に表示させる。また端末装置120は、取得したパノラマ画像の一部または全体を、表示画面上の表示領域222に表示させる。表示領域221及び表示領域222の表示レイアウトは図2の例に限られず、任意である。
端末装置120は、パノラマ画像にかえて、撮像装置110が撮像範囲を変更して撮像することができる範囲を示す地図画像の一部又は全体を表示領域222に表示させることとしてもよい。
さらに図2の例では、表示領域222内の所定位置に枠223が表示される。枠223は、撮像装置110の撮像範囲とする範囲を示す。すなわち端末装置120は、表示領域222(第1の表示領域)に、撮像装置110が撮像する撮像範囲(枠223が示す範囲)を含み、かつ、当該撮像範囲よりも広い範囲に対応する画像を表示させる。この表示は後述の制御部122が、表示部125を制御することにより実行される。
ユーザは端末装置120を操作して、パノラマ画像全体のうち、いずれの範囲の画像を表示領域222に表示させるかを決定することができる。
すなわち端末装置120は、撮像装置110が撮像範囲を変更して撮像可能な範囲(例えば、パノラマ画像)のうち、第1の領域(表示領域222)に対応付ける範囲を、ユーザから受け付けた操作に基づいて変更する。この変更制御は、操作部126が受け付けた指示に基づいて、制御部122が表示部125に表示させる画像を変更させることにより行われる。
例えばユーザは、表示画面上の表示領域222に表示された画像上に指220の位置を合わせて、縦方向、横方向、又は、斜め方向にスワイプ操作する。このようにして、パノラマ画像上の領域のうち表示領域222に表示される領域を縦方向、横方向、又は、斜め方向に変更させることができる。
ここでスワイプ操作とは、指220を操作画面に接触し或いは近接させた状態で画面上の2点間移動させる操作のことである。指のかわりに、タッチペンなどの操作器具を用いて操作することとしてもよい。
また例えばユーザは、表示画面上の第2の表示領域に表示された画像上に指220の位置を合わせて、ピンチイン、又は、ピンチアウト操作することにより、パノラマ画像上の領域のうち、第2の表示領域に表示される領域を縮小又は拡大することができる。
ここでピンチイン操作とは、第1の指と第2の指とが操作画面に接触し或いは近接させた状態で、第1の指と第2の指の距離を短くさせる操作のことである。また、ピンチアウト操作とは、第1の指と第2の指とが操作画面に接触し或いは近接させた状態で、第1の指と第2の指との距離を長くさせる操作のことである。指のかわりに、タッチペンなどの操作器具を用いて操作することとしてもよい。
ユーザは、表示領域222(第1の領域)に表示される画像の範囲を変更して、撮像装置110に撮像させたい範囲に対応する範囲の画像が枠223が示す領域(第2の領域)に表示されるように操作する。
ここで端末装置120の操作部126は、第1の領域(表示領域222)のうち第2の領域(枠223が示す領域)を含まない領域に対する操作を受け付け可能である。従ってユーザは、表示領域222のうち、枠223が示す領域を含まない領域に対して操作を行っても、枠223内の領域に表示する範囲を変更することができる。枠223内の領域に表示される範囲は、撮像装置110に撮影させる撮像範囲に対応する範囲である。
ユーザは、枠223内の領域よりも大きい領域である表示領域222に対する操作を行うことにより、枠223に表示される領域を変更して、撮像装置110の撮像範囲を変更させることができる。
このようにして、撮像装置110が撮像可能な範囲における所望の範囲をユーザが容易に指定することができる。ここで所望の範囲とは、ユーザが撮像装置110に対して指定する撮像範囲に対応する範囲である。
従ってユーザは、表示画面に表示されたパノラマ画像上で枠の大きさや位置を変更させることにより撮像装置110の撮像範囲を変更する場合に比べて、容易に撮像装置110の撮像範囲を変更させることができる。
端末装置120は、枠223内に表示された画像に対応する被写体の領域が撮像装置110の撮像範囲となるように撮像装置110を駆動させるための操作指示を撮像装置110に送信する。
本実施例ではパノラマ画像全体の範囲と、撮像装置110が撮像方向及び画角を変更して撮像可能な撮像可能範囲とが対応する場合について説明する。パノラマ画像全体の範囲と枠223の範囲との相対関係が、撮像装置110の撮像可能範囲における撮像装置110の撮像範囲との相対関係と対応するように、端末装置120は撮像装置110の撮像範囲を変更させる指示を出力する。
すなわち、撮像装置110が撮像範囲を変更して撮像可能な範囲における第2の領域(枠223が示す領域)の相対位置が、撮像装置110が撮像範囲を変更して撮像可能な範囲における撮像装置110の撮像範囲の相対位置と対応させる。
また、撮像装置110が撮像範囲を変更して撮像可能な範囲に対する第2の領域に表示された範囲の大きさが、撮像装置110が撮像範囲を変更して撮像可能な範囲に対する撮像装置110の撮像範囲の大きさと対応するように撮像装置の画角を変更させる。
本実施形態において、端末装置120を操作して撮像装置110の撮像方向を右方向にパンさせる場合の例について、図3を用いて説明する。
撮像装置110の撮像方向を右方向にパンさせたい場合、ユーザは、表示領域222上に指を接触し或いは近接させた状態で、位置320から位置321まで指で画面をスワイプする操作を行う。このようなユーザのスワイプ操作に応じて、表示領域222に表示される画像のパノラマ画像上の位置が方向に動作する。
なお、この撮像方向をパンするために指を接触させる位置320は、表示領域222内の枠223以外の領域としてもよい。指が枠223内に接触した場合、表示領域222内に表示されるパノラマ画像は移動させず、枠223の位置を移動させてもよい。
図3に示した例では、スワイプ操作によって、枠223に表示される画像は、枠310の撮像範囲に対応する画像が表示された状態から、枠211の撮像範囲に対応する画像が表示される状態に変化する。
これに伴って端末装置120は、撮像装置110の撮像範囲を図3に表す枠310が示す範囲から枠211が示す範囲に移動させるための指示を撮像装置110に送る。枠223を移動した場合、移動後の枠223が示す範囲を撮像するように、撮像装置110に指示する。
このようにして、撮像装置110は、撮像範囲が枠310が示す範囲から枠211が示す範囲に変化するように右方向にパン制御される。
次に、撮像装置110の撮像方向を上方向にチルトさせる場合の例について図4を用いて説明する。
撮像装置110の撮像方向を上方向にチルトさせたい場合、ユーザは、表示領域222上に指を接触しあるいは近接させた状態で、位置420から位置421に指で画面をスワイプする操作を行う。図4に示した例では、表示領域222に表示される画像のパノラマ画像上の位置が下方向に動く。このようにして枠223内に表示される画像が変化し、パン操作の場合と同様にして撮像装置110の撮像方向が上方向にチルト制御される。図4を用いて説明した操作例によれば、撮像装置110の撮像方向は、撮像範囲410を撮像する状態から枠211の撮像範囲を撮像する状態に変化する。なお、撮像方向を斜めに移動させることも同様に可能である。
次に撮像装置110に対してズーム制御を行う場合の例について図5を用いて説明する。
ユーザは、表示領域222に表示されたパノラマ画像を拡大するようにピンチアウト操作を行うことによって、枠223内に表示される画像が拡大される。枠223内に表示される画像が拡大されることに応じて、撮像装置110の撮像範囲が望遠にズーム制御される。図5を用いて説明した操作例によれば、撮像装置110の画角は、図5に表す枠510が示す範囲から枠211が示す範囲に縮小される。
図2から図5を用いて説明した操作例は一例に過ぎず、これに限られない。表示領域222に表示される画像の範囲の、パノラマ画像上における位置を変化させるための操作はタッチ操作に限られない。たとえば、ユーザは端末装置120に接続されたマウスを操作して、表示画面上に表示されるカーソルを動かし、画像をドラッグアンドドロップして移動させることとしてもよい。
あるいは、端末装置120に接続されたキーボードを操作して、表示領域222に表示される画像を変化させることとしてもよい。
または表示部125は、表示領域222に表示させるパノラマ画像上の領域の移動、拡大及び縮小を指示するためのボタンを表示画面上に表示させ、ユーザがボタンを操作することとしてもよい。または、表示領域222の画像と共にスライドバーを表示させて、スライドバーを操作することにより、表示領域222に表示させるパノラマ画像上の領域の移動、拡大、及び、縮小を指示することとしてもよい。
次に、端末装置120の動作について、図6を用いて説明する。端末装置120の制御部122がプロセッサ及びメモリを内蔵する形態では、図6に示した処理は、図6に示される手順を制御部122が記憶部123に格納されたプログラムをメモリ104に展開して実行することにより実現される。あるいは、図6に示す処理の一部又は全体をハードウェアが行うこととしてもよい。
ステップS601において、制御部122は、操作部126に入力されたユーザ操作を受け付ける。ユーザ操作がタッチ操作により行われる場合には、例えば、ユーザは表示部125が表示する画像に指を接触させ或いは近接させることにより操作を開始することができる。または、ユーザは表示部125が表示する画像をドラッグ操作することで操作を開始することができる。あるいは、表示部125が表示するボタンやスクロールバーによりユーザ操作が行われる場合には、ボタンのクリックや、スクロールバーの移動の開始により、ユーザ操作を開始することができる。
ここでドラッグ操作とは、マウスボタンを押したままマウスを移動させて、表示画面上のカーソルを移動させる操作である。
ステップS602において、制御部122は、ユーザ操作によりパノラマ画像において枠223内の領域が移動した移動方向を取得する。上述したように、表示領域222内(例えば、枠223外)をユーザが操作することにより、範囲210内の、表示領域222に対応する領域が変更される。範囲210は、撮像装置110が撮像範囲を変更して撮像可能な撮像可能範囲である。その変更に応じて、範囲210内の、枠223に対応する領域も変更される。範囲210内の、枠223に対応する領域を撮像するように、撮像装置110に指示する。
ステップS603において、制御部122は、ユーザ操作によりパノラマ画像において枠223内の領域が移動した移動量を取得する。枠223内の領域の移動量は、例えば、枠223内の領域の中心がパノラマ画像において移動した距離とすることができる。
ステップS604において、制御部122は、ユーザ操作によりパノラマ画像における枠223内の領域の大きさが変化した量を取得する。
ステップS605において、制御部122は、ステップS602において取得した移動方向に応じて、撮像装置110の撮像方向を変化させる方向を決定する。
ステップS606において、制御部122は、ステップS603において取得した移動量に応じて、撮像装置110の撮像方向を現在の撮像方向から変化させる変更量を決定する。
ステップS607において、制御部122は、ステップS604において取得した変化量に応じて、ズーム倍率を変化させて撮像装置110の画角を変化させる量を決定する。
ステップS608において、制御部122は、通信部121を制御して、撮像装置110の撮像範囲を変化させるための操作指示を撮像装置110に出力する。
撮像装置110に出力される操作指示には、S605において決定された内容に応じた、撮像装置110の撮像方向を変化させる移動方向の指示が含まれる。また、撮像装置110に出力される操作指示には、S606において決定された内容に応じた、撮像装置110の撮像方向の変更量の指示が含まれる。さらに撮像装置110に送信される操作指示には、S607において決定された内容に応じた、撮像装置110の画角の変更量の指示が含まれる。
ステップS609において、制御部122は、ユーザ操作が停止したかを判定する。ユーザ操作の停止は、例えば、ユーザ操作がタッチ操作により行われる場合には、表示画面からユーザの指が離れた場合にユーザ操作が停止したと判定することができる。または、ユーザ操作が表示画面に表示されるカーソルの操作により行われる場合には、例えば、表示部125が表示した画像がドラッグされた後にドロップされた場合に、ユーザ操作が停止したと判定することができる。あるいは、表示部125が表示するボタンやスクロールバーによりユーザ操作が行われる場合には、ボタンのクリックが完了した場合や、スクロールバーの移動が停止した場合に、ユーザ操作が停止したと判定することができる。
ここでドロップ操作とは、ドラッグ操作がなされている状態からマウスボタンを離す操作を行うことをいう。
操作が継続していると判定した場合(S609でNoの場合)、制御部122はステップS601からS608の操作を繰り返す。
一方、操作が停止したと判定した場合(S609でYesの場合)、制御部122は、撮像装置110の撮像範囲を制御するための処理を終了する。なお、後述するように、ユーザが操作を停止したと判定した後に、撮像装置110に操作指示を送信するようにしてもよい。すなわち、ユーザが表示領域222に対して操作を行って、変更後の撮像範囲の指定が終了した後、撮像装置110に操作指示を送信するようにしてもよい。
次に撮像装置110が撮像可能な範囲のうち端末装置120に表示される領域について、図8を用いて説明する。
図8に示した点Qは、撮像装置110の設置位置を示している。また、図8に示した範囲210は、撮像装置110が撮像方向及び画角を変更して撮像可能な範囲を示している。本実施形態において、パノラマ画像全体が示す領域は範囲210の全体に対応する。
また図8に示した範囲822は、端末装置120において表示領域222に表示される画像に対応する被写体の領域を示している。
また図8に示した範囲823は、端末装置120において枠223内に表示される画像に対応する被写体の領域を示している。また範囲823は、端末装置120において表示領域221に表示される画像に対応する被写体の領域を示している。さらに範囲823は、端末装置120からの指示に応じて撮像装置110が撮像する撮像範囲を示している。
範囲823は、範囲822との相対関係を保ちながら範囲210上で拡大、縮小、及び、移動を行う。範囲822と範囲823との相対関係には、範囲822と範囲823との相対的な位置関係が含まれる。また、範囲822と823との相対関係には、範囲822と範囲823との大きさ(例えば、面積)の相対関係が含まれる。
ユーザは、端末装置120を操作して表示領域222に表示するパノラマ画像の範囲を決定することにより、範囲210における範囲822の位置及び大きさを決定することができる。
ユーザが端末装置120を操作して、表示領域222に表示するパノラマ画像の範囲を変更することにより、範囲210における範囲822の範囲が変化する。
範囲822の範囲の変化に伴って、範囲823は範囲822との相対関係を保つようにして、範囲210における位置及び大きさを変化させる。
このように、ユーザは端末装置120を操作して表示領域222に表示されるパノラマ画像の範囲を変更することにより、撮像装置110の撮像範囲を示す範囲823の範囲210における位置及び大きさを変更することができる。
以上のようにして、端末装置120は、枠223内に表示された画像に対応する範囲が撮像装置110の撮像範囲となるように、撮像装置110の撮像範囲を変化させることができる。
本実施形態によれば、表示領域222に表示される枠223の位置や大きさを変化させることなく、ユーザは撮像装置110の撮像範囲を変化させることができる。
ユーザは、撮像範囲に応じた枠223よりも大きく表示されている表示領域222内のパノラマ画像に対して操作を行うことにより、撮像装置110の撮像範囲を変化させることができる。
このようにして、本発明によれば、ユーザがパノラマ画像上の所望の位置を容易に指定することができる。従って、ユーザは端末装置120を用いて、容易に撮像装置110の撮像範囲を変更することができる。
<第2の実施形態>
第2の実施形態では、端末装置120に対するユーザ操作が停止した後に、撮像装置110の撮像範囲を変化させる例について説明する。
本実施例において端末装置120の決定部124は、操作部126が受け付けた操作の操作量に応じて、撮像装置110に送信する操作指示の内容を決定する。例えば決定部124は、操作部126に対する操作量に応じて、撮像装置110の撮像方向をパン方向又はチルト方向に移動させるための制御値を決定する。あるいは操作部126に対する操作量に応じて、撮像装置110の画角を拡大又は縮小させるための制御値を決定する。
決定部124は、撮像装置110が撮像範囲を変更して撮像可能な範囲に対応する画像上で表示領域222に表示する画像の位置が表示画面に対する操作によって変更された距離に応じて、撮像装置110の撮像範囲を変更させる変更量を決定する。
撮像装置110が撮像範囲を変更して撮像可能な範囲に対応する画像上で表示領域222に表示する画像の位置が変更された距離は、表示領域222に表示する画像が表示画面に対する操作によって変更された表示画面上の距離に基づいて求めることができる。
また決定部124は、撮像装置が撮像範囲を変更して撮像可能な範囲に対応する画像に上で表示領域222に表示する画像の大きさが表示画面に対する操作によって変更された割合に応じて、撮像装置110の撮像範囲を変更させる変更量を決定する。
撮像装置110が撮像範囲を変更して撮像可能な範囲に対応する画像上で表示領域222に表示する画像の大きさが変更された割合は、表示領域222に表示する画像が表示画面に対する操作によって拡大又は縮小された倍率に基づいて求めることができる。
本実施形態における撮像装置110及び端末装置120のその他の構成は、実施形態1において説明した内容と同様であるため、説明を省略する。
本実形態における端末装置120の動作について、図7のフローチャートを用いて説明する。端末装置120の制御部122がプロセッサ及びメモリを内蔵する形態では、図6に示した処理は、図7に示される手順を制御部122が記憶部123に格納されたプログラムをメモリ104に展開して実行することにより実現される。あるいは、図7に示す処理の一部又は全体をハードウェアが行うこととしてもよい。
まずステップS701において、制御部122は、操作部126に入力されたユーザ操作を受け付ける。ユーザ操作の受付については、実施形態1における図6のステップS601の処理と同様である。
次にステップS702において、制御部122はユーザ操作が停止したかを判定する。ユーザ操作が停止したかの判定は、実施形態1における図6のステップS609の処理と同様である。ユーザ操作が停止していない場合(ステップS702においてNoの場合)には、制御部122はステップS601及びステップS602処理を繰り返す。ユーザ操作が停止した場合(ステップS702においてYesの場合)には、制御部122はステップS703の処理に進む。
ステップS703において、制御部122はパノラマ画像全体における枠223の位置を取得する。例えば、パノラマ画像の中心を原点とした座標における、枠223の中心の位置を示す座標を取得する。原点はパノラマ画像の中心に限られず、パノラマ画像の頂点又は任意の点とすることができる。また、枠223の中心の座標を取得する場合に限られず、枠223の頂点又は任意の点の座標を取得するようにしてもよい。
次にステップS704において、制御部122はパノラマ画像全体における枠223の大きさを取得する。例えば、パノラマ画像の中心を原点した時の、枠223の各頂点の位置を示す座標を取得する。枠223が矩形である場合、枠223の対角線のうち一つの対角線の両端の頂点の座標を取得することとしてもよい。原点はパノラマ画像の中心に限られず、パノラマ画像の頂点又は任意の点とすることができる。
また、枠223の頂点座標をする場合に限らず、パノラマ画像全体の面積に対する、枠223内に表示された画像の面積の割合を取得することとしてもよい。
制御部122は、パノラマ画像全体に設定した座標系における枠223の頂点の座標を取得することにより、ステップS703の処理及びステップS704の処理を同時に実行することとしてもよい。
次にステップS705において、制御部122は、ステップS703において取得した内容に応じて、撮像装置110の撮像方向を決定する。制御部122は、撮像装置110が撮像可能な範囲における撮像装置110の撮像範囲の相対位置が、パノラマ画像全体における枠223の相対位置と対応するように、撮像装置110の撮像方向を決定する。
次にステップS706において、制御部122は、ステップS704において取得した内容に応じて、撮像装置110の画角を決定する。制御部122は、撮像装置110が撮像可能な範囲に対する撮像装置110の撮像範囲の相対的な大きさが、パノラマ画像全体に対する枠223の相対的な大きさと対応するように、撮像装置110の画角を決定する。
そしてステップS707において、制御部122は、通信部121を制御して、撮像装置110の撮像範囲を変化させるための操作指示を撮像装置110に出力する。
撮像装置110に出力される操作指示には、S705において決定された内容に応じた、撮像装置110の撮像方向の指示が含まれる。また、撮像装置110に出力される操作指示には、S706において決定された内容に応じた、撮像装置110の画角の指示が含まれる。
以上のようにして、端末装置120は、枠223内に表示された画像に対応する範囲が撮像装置110の撮像範囲となるように、撮像装置110の撮像範囲を変化させることができる。
次に、S705における撮像装置110の撮像方向の決定について、図8を用いて説明する。
図8に示したパン角p1は、撮像装置110の撮像方向の基準方向Rに対する現在の撮像方向のパン角度を示している。図8に示したチルト角t1は、撮像装置110の撮像方向の基準位置に対する現在の撮像方向のチルト角度を示している。そして、図8に示した画角z1は、撮像装置110の画角を示している。
範囲823は、撮像装置110の撮像範囲の長辺と短辺の比率であるアスペクト比を保つように、その幅と高さが設定されている。そして、パノラマ画像全体に対応する範囲210と範囲823の位置関係からパン角p1、チルト角t1、画角z1が決定される。
例えば、範囲823の中心と範囲822の中心が一致するように設定されている場合について説明する。範囲210上の任意の点を原点とする範囲210上の座標系において、範囲822の中心の座標が(x、y)である場合、範囲823は範囲822の中心に予め設定されているため、パン角p1、チルト角t1の制御値は(x、y)となる。
また、範囲822が拡大又は縮小された時、範囲823は範囲822応じた拡大縮小を行う。このようにして、ズームz1が決定される。
本実施形態によれば、表示領域222に表示される枠223の位置や大きさを変化させることなく、ユーザは撮像装置110の撮像範囲を変化させることができる。
ユーザは、撮像範囲に応じた枠223よりも大きく表示されている表示領域222内のパノラマ画像に対して操作を行うことにより、撮像装置110の撮像範囲を変化させることができる。
このようにして、本発明によれば、ユーザがパノラマ画像上の所望の位置を容易に指定することができる。従って、ユーザは端末装置120を用いて、容易に撮像装置110の撮像範囲を変更することができる。
<第3の実施形態>
表示領域222に広角の画像が表示されている場合、表示領域222に表示させる画像を移動させると、表示領域222に小さな画角の画像が表示されている場合に比べて、撮像装置110の撮像方向が大きく変化する。したがって、表示領域222に広角の画像が表示されている場合には、ユーザが撮像装置110の撮像方向の細やかな操作がしづらくなる場合がある。
そこで、第3の実施形態では、表示領域222に表示される領域をパノラマ画像上で移動させる距離を、表示領域222に表示されている画像の拡大倍率に応じて変更する場合について説明する。
本実施形態における撮像装置110及び端末装置120の構成は、実施形態1において説明した内容と同様であるため、説明を省略する。
本実施形態において、端末装置120の制御部122は、ユーザによる一定の操作に対して、表示領域222に表示される領域をパノラマ画像上で移動させる距離を、表示領域222に表示されている画像の拡大倍率に応じて変更する。
例えば、表示領域222に表示されているパノラマ画像の表示倍率が第1の倍率であるとする。このとき、ユーザが指を画面に接触し或いは近接させた状態で第1の距離移動させるスワイプ操作を行った場合、表示領域222に表示される領域がパノラマ画像上で移動する距離を第2の距離とする。
また、表示領域222に表示されているパノラマ画像の表示倍率が第1の倍率よりも高い第2の倍率であるとする。すなわち、表示領域222にはパノラマ画像が第1の倍率で表示されている場合に比べてより拡大されて表示されているものとする。
このときユーザが指を画面に接触し或いは近接させた状態で上述の第1の距離移動させるスワイプ操作を行った場合、表示領域222に表示される領域がパノラマ画像上で移動する距離を第3の距離とする。
本実施形態において、端末装置120の制御部122は表示部125を制御して、上述の第2の距離が、上述の第3の距離より短くなるように制御する。
このようにすれば、表示領域222におけるパノラマ画像の表示倍率が低い場合にも、ユーザは撮像装置110の撮像方向を細やかに操作することができる。
逆に、端末装置120の制御部122は表示部125を制御して、上述の第3の距離が、上述の第2の距離より短くなるように制御することとしてもよい。このようにすれば、表示領域222に表示されるパノラマ画像の倍率が高い場合でも、少ない操作量で、撮像装置110の撮像方向を大きく変化させるようにすることができる。
以上、実施形態1から3において本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
上記の実施形態1から3においては、撮像装置110が撮像した撮像画像に基づいて生成されたパノラマ画像を用いる例について説明したが、これに限らない。撮像装置110が撮像可能な範囲を表す画像であればよい。例えば、撮像装置が撮像可能な範囲に存在する物体の位置などを示す地図をパノラマ画像のかわりに用いることとしてもよい。
ユーザは、地図上の所望の領域が枠223内に表示されるように端末装置120を操作することにより、枠223に含まれる地図上の領域に対応した撮像範囲を撮像装置110が撮像するように制御することができる。
また、上記の実施形態1から3においては、表示領域222に表示することができるパノラマ画像の全体が、撮像装置110が撮像できる範囲の全体に対応する例について説明したが、これに限らない。
例えば、撮像装置110が撮像範囲を変更して撮像できる撮像可能範囲のうち、端末装置120が閲覧することができる範囲が制限されている場合、端末装置120の表示領域222に表示できる画像の範囲を制限することとしてもよい。すなわち、表示領域222に表示することができる画像の範囲を、端末装置120が閲覧することができる範囲に制限することとしてもよい。
また、枠223は必ずしも表示しなくてもよい。表示領域222のうち所定の領域に表示された画像に対応した撮像範囲を撮像装置110に撮像させるように予め設定されていればよい。
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
110 撮像装置
120 端末装置
130 ネットワーク
113 撮像部
112 制御部
121 通信部
122 制御部
124 決定部
125 表示部
126 操作部

Claims (22)

  1. 第1の画像の少なくとも一部分と、マークとを、表示手段の表示画面に表示させる表示制御部を有し、
    前記表示制御部は、
    前記第1の画像に重なる位置に前記マークを表示させ、
    前記第1の画像の少なくとも一部分を前記表示画面に表示させる場合において所定の操作が行われると、
    前記表示画面に対する前記マークの表示位置と、
    前記第1の画像の少なくとも一部分を表示させるための領域であって、その領域における一端が前記表示画面における一端に対応し、その領域における前記一端とは異なる他端が前記表示画面おける前記一端とは異なる他端に対応する領域である第1の領域の前記表示画面に対する位置とは変ずに、
    前記第1の画像を前記所定の操作に応じて動かし、
    前記第1の画像における前記マークと重なる領域に応じた画像を、前記第1の画像とは異なる位置に表示させる
    ことを特徴とする表示制御装置。
  2. 表示手段の表示画面における、第1の画像の少なくとも一部分を表示させるための領域であって、その領域における一端が前記表示画面における一端に対応し、その領域における前記一端とは異なる他端が前記表示画面おける前記一端とは異なる他端に対応する領域である第1の領域に、前記第1の画像の少なくとも一部分を表示させ、マークを前記第1の領域に含まれる第2の領域に表示させる表示制御部を有し、
    前記第1の領域の位置、及び、前記第2の領域の位置は前記表示画面に対して固定であり、
    前記表示制御部は、
    前記第1の画像の少なくとも一部分を前記表示画面に表示させる場合において所定の操作が行われると、前記第1の画像を前記所定の操作に応じて動かし、
    前記第1の画像における前記マークと重なる領域に応じた画像を、前記第1の画像とは異なる位置に表示させる
    ことを特徴とする表示制御装置。
  3. 前記第1の画像は、撮像部によって撮像される複数の画像から生成された画像である
    ことを特徴とする請求項1又は2に記載の表示制御装置。
  4. 前記第1の画像は、撮像部によって撮像される複数の画像が合成された画像である
    ことを特徴とする請求項1〜3のいずれか1項に記載の表示制御装置。
  5. 前記第1の画像は、撮像部によって撮像される複数の画像が繋ぎ合わされた画像である
    ことを特徴とする請求項1〜4のいずれか1項に記載の表示制御装置。
  6. 前記マーク は矩形状のマークである
    ことを特徴とする請求項1〜5のいずれか1項に記載の表示制御装置。
  7. 前記マーク は枠である
    ことを特徴とする請求項1〜6のいずれか1項に記載の表示制御装置。
  8. タッチパネルを有し、
    前記所定の操作は、前記タッチパネルにおける、当該所定の操作によって前記表示画面に対する位置が変わらない前記第1の領域に対する操作である
    ことを特徴とする請求項1〜7のいずれか1項に記載の表示制御装置。
  9. 前記所定の操作は、フリック操作である
    ことを特徴とする請求項8記載の表示制御装置。
  10. 前記所定の操作は、スワイプ操作である
    ことを特徴とする請求項8記載の表示制御装置。
  11. 前記第1の画像はパノラマ画像である
    ことを特徴とする請求項1〜10のいずれか1項に記載の表示制御装置。
  12. 前記第1の画像は、撮像部が撮像範囲を変更して撮像可能な撮像可能範囲を示す画像である
    ことを特徴とする請求項1〜11のいずれか1項に記載の表示制御装置。
  13. 前記第1の画像における前記マークと重なる領域に応じた撮像範囲を撮像装置に撮像させる指示を前記撮像装置に出力する出力部を備え、
    前記第1の画像における前記マークと重なる領域に応じた画像は、前記指示に応じて前記撮像装置によって撮影される画像である
    ことを特徴とする請求項1〜12のいずれか1項に記載の表示制御装置。
  14. 前記表示制御部は、前記所定の操作に応じて、前記第1の領域に表示させる範囲を変更するよう、前記第1の画像を前記所定の操作に応じて動かす
    ことを特徴とする請求項1〜13のいずれか1項に記載の表示制御装置。
  15. 前記表示制御部は、前記第1の領域の中央に前記所定の操作によって前記表示画面に対する表示位置が変わらない前記マークを表示させる
    ことを特徴とする請求項1〜14のいずれか1項に記載の表示制御装置。
  16. 前記表示制御部は、
    所定の操作が行われると、前記所定の操作が行われる前に前記異なる位置に表示していた画像から、前記第1の画像における、前記所定の操作が行われた後に前記マークと重なる領域に応じた画像へと、前記異なる位置に表示させる画像を変更する、
    ことを特徴とする請求項1〜15のいずれか1項に記載の表示制御装置。
  17. 前記マークは、前記表示手段において画像を表示可能な最大の領域に対応する前記表示画面に表示される、前記第1の画像の一部分よりも小さい
    ことを特徴とする請求項1〜16のいずれか1項に記載の表示制御装置。
  18. 請求項1〜17のいずれか1項に記載の表示制御装置と、
    前記第1の画像の少なくとも一部分と、前記マークと、前記第1の画像における前記マークと重なる領域に応じた画像とを表示する表示部と
    を有することを特徴とする表示装置。
  19. 請求項1〜17のいずれか1項に記載の表示制御装置と、
    前記第1の画像の少なくとも一部分と、前記マークと、前記第1の画像における前記マークと重なる領域に応じた画像とを表示する表示部と、
    前記第1の画像を撮像する撮像部と
    を有することを特徴とする撮像システム。
  20. 第1の画像の少なくとも一部分と、前記第1の画像に重なる位置に表示されるマークと、前記第1の画像における前記マークと重なる領域に応じた第2の画像とを表示手段の表示画面に表示させ、
    前記第1の画像の少なくとも一部分を前記表示画面に表示させる場合において所定の操作が行われると、前記表示画面に対する前記マークの表示位置と、前記第1の画像の少なくとも一部分を表示させるための領域であって、その領域における一端が前記表示画面における一端に対応し、その領域における前記一端とは異なる他端が前記表示画面おける前記一端とは異なる他端に対応する領域である第1の領域の前記表示画面に対する位置とは変えずに、前記第1の画像を前記所定の操作に応じて動かし、前記所定の操作が行われる前に表示していた前記第2の画像を、前記第1の画像における、前記所定の操作が行われた後に前記マークと重なる領域に応じた第3の画像へと変更する
    ことを特徴とする表示制御方法。
  21. 第1の画像の少なくとも一部分を表示させるための領域であって、その領域における一端が表示手段の表示画面における一端に対応し、その領域における前記一端とは異なる他端が前記表示画面おける前記一端とは異なる他端に対応する領域であり、前記表示画面に対して固定の領域である第1の領域に、第1の画像の少なくとも一部分を表示させ、前記第1の領域に含まれ、前記表示画面に対して固定の第2の領域にマークを表示させ、前記表示画面における前記第1の画像とは異なる位置に、前記第1の画像における前記マークと重なる領域に応じた第2の画像を表示させ、
    前記第1の画像の少なくとも一部分を前記表示画面に表示させる場合において所定の操作が行われると、前記第1の画像を前記所定の操作に応じて動かし、前記所定の操作が行われる前に表示していた前記第2の画像を、前記第1の画像における、前記所定の操作が行われた後に前記マークと重なる領域に応じた第3の画像へと変更する
    ことを特徴とする表示制御方法。
  22. 請求項1〜17のいずれか1項に記載の表示制御装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
JP2013261495A 2013-12-18 2013-12-18 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム Active JP6071866B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2013261495A JP6071866B2 (ja) 2013-12-18 2013-12-18 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
US14/567,882 US10798305B2 (en) 2013-12-18 2014-12-11 Control apparatus, imaging system, control method, and recording medium
RU2014151357A RU2606214C2 (ru) 2013-12-18 2014-12-17 Устройство управления, система формирования изображений, способ управления и носитель записи
KR1020140181979A KR101739318B1 (ko) 2013-12-18 2014-12-17 표시 제어장치, 촬상 시스템, 표시 제어방법, 및 기록 매체
CN201410799137.8A CN104735344A (zh) 2013-12-18 2014-12-18 控制装置、摄像系统及控制方法
EP17189279.7A EP3285479A1 (en) 2013-12-18 2014-12-18 Control apparatus, display apparatus, imaging system, control method, and recording medium
CN201810637197.8A CN108989663B (zh) 2013-12-18 2014-12-18 控制装置、摄像系统及控制方法
EP14198964.0A EP2887644B1 (en) 2013-12-18 2014-12-18 Control apparatus, imaging system, control method, and program
US15/678,996 US11184544B2 (en) 2013-12-18 2017-08-16 Display control apparatus, imaging system, control method, and recording medium for displaying an image and an indicator in a screen including a first region and a second region
US17/514,598 US11895392B2 (en) 2013-12-18 2021-10-29 Display control apparatus, imaging system, control method, and recording medium for displaying an image and an indicator in a screen including a first region and a second region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013261495A JP6071866B2 (ja) 2013-12-18 2013-12-18 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2015119338A JP2015119338A (ja) 2015-06-25
JP2015119338A5 JP2015119338A5 (ja) 2016-04-07
JP6071866B2 true JP6071866B2 (ja) 2017-02-01

Family

ID=52347095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013261495A Active JP6071866B2 (ja) 2013-12-18 2013-12-18 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム

Country Status (6)

Country Link
US (3) US10798305B2 (ja)
EP (2) EP2887644B1 (ja)
JP (1) JP6071866B2 (ja)
KR (1) KR101739318B1 (ja)
CN (2) CN108989663B (ja)
RU (1) RU2606214C2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5791256B2 (ja) * 2010-10-21 2015-10-07 キヤノン株式会社 表示制御装置、表示制御方法
JP6547496B2 (ja) * 2015-08-03 2019-07-24 株式会社リコー 通信装置、通信方法、プログラムおよび通信システム
JP6633862B2 (ja) * 2015-08-04 2020-01-22 キヤノン株式会社 情報処理装置およびその制御方法
KR101747841B1 (ko) * 2015-12-01 2017-06-14 주식회사 아이디스 카메라 팬틸트줌 제어 장치
EP3293963A1 (en) * 2016-09-12 2018-03-14 Axis AB Improved monitoring camera direction control
KR20180040451A (ko) * 2016-10-12 2018-04-20 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
JP6852500B2 (ja) * 2017-03-27 2021-03-31 サクサ株式会社 情報出力装置、プログラム及び情報出力方法
JP6907079B2 (ja) * 2017-09-14 2021-07-21 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
CN108429881A (zh) * 2018-05-08 2018-08-21 山东超景深信息科技有限公司 免通过反复变焦取景的长焦拍摄云台相机系统应用方法
CN108965747A (zh) * 2018-06-19 2018-12-07 苏州佳世达电通有限公司 影像显示方法及应用其的影像显示装置
CN111586283B (zh) * 2019-02-19 2022-09-27 北京小米移动软件有限公司 变焦方法及装置
JP7350510B2 (ja) * 2019-05-14 2023-09-26 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
CN112150554B (zh) * 2019-06-28 2023-08-04 杭州海康威视数字技术股份有限公司 画面显示方法、装置、终端和存储介质
CN112511751B (zh) 2020-12-04 2021-10-29 维沃移动通信(杭州)有限公司 拍摄方法及装置、电子设备和可读存储介质

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09116790A (ja) * 1995-10-23 1997-05-02 Canon Inc カメラ制御装置
US7697025B2 (en) * 2002-08-28 2010-04-13 Sony Corporation Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
JP4614653B2 (ja) 2003-12-12 2011-01-19 ソニー株式会社 監視装置
JP2006086952A (ja) * 2004-09-17 2006-03-30 Casio Comput Co Ltd デジタルカメラ、および、プログラム
US7904188B2 (en) * 2004-10-26 2011-03-08 Panasonic Corporation Information outputting device, information output controlling method, and information output controlling program
US7774712B2 (en) 2004-12-31 2010-08-10 A Far Site Better, Llc Methods and systems for displaying an enlarged image
JP2008527806A (ja) 2005-01-03 2008-07-24 ブミー インコーポレイテッド 夜間監視のシステムおよび方法
JP4244973B2 (ja) 2005-08-03 2009-03-25 ソニー株式会社 撮像システムとカメラ制御装置およびパノラマ画像表示方法とプログラム
WO2007046458A1 (ja) * 2005-10-21 2007-04-26 Axion Japan Co., Ltd パノラマ画像撮影装置及びパノラマ撮影における画像処理方法
KR100787987B1 (ko) 2006-04-28 2007-12-26 주식회사 프로브 팬틸트 카메라의 제어장치 및 그 기록매체
US8591420B2 (en) * 2006-12-28 2013-11-26 Kabushiki Kaisha Toshiba Ultrasound imaging apparatus and method for acquiring ultrasound image
IL189251A0 (en) 2008-02-05 2008-11-03 Ehud Gal A manned mobile platforms interactive virtual window vision system
JP4572248B2 (ja) * 2008-06-23 2010-11-04 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、制御プログラム、記録媒体
KR20100071754A (ko) 2008-12-19 2010-06-29 삼성전자주식회사 터치와 키조작에 의한 멀티 입력 방식을 이용한 촬영방법 및 이를 적용한 촬영장치
EP2207342B1 (en) * 2009-01-07 2017-12-06 LG Electronics Inc. Mobile terminal and camera image control method thereof
KR20100082147A (ko) 2009-01-08 2010-07-16 삼성전자주식회사 촬영되는 화면의 확대 방법과 변경 방법, 그리고, 이를 이용한 촬영 장치
JP5654007B2 (ja) * 2009-06-02 2015-01-14 コーニンクレッカ フィリップス エヌ ヴェ Mr画像誘導治療
JP5338498B2 (ja) * 2009-06-09 2013-11-13 ソニー株式会社 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム
JP2011050038A (ja) 2009-07-27 2011-03-10 Sanyo Electric Co Ltd 画像再生装置及び撮像装置
JP2011123697A (ja) * 2009-12-11 2011-06-23 Fujifilm Corp ウェブ・ページ変換システム
US8274592B2 (en) 2009-12-22 2012-09-25 Eastman Kodak Company Variable rate browsing of an image collection
JP2011170838A (ja) * 2010-01-20 2011-09-01 Sanyo Electric Co Ltd 画像処理装置及び電子機器
US9076310B2 (en) 2010-07-30 2015-07-07 Lg Electronics Inc. Method and electronic device for remote diagnosis
JP5682168B2 (ja) 2010-07-30 2015-03-11 ソニー株式会社 カメラ装置、カメラシステム、制御装置、及びプログラム
US20130123646A1 (en) * 2010-07-30 2013-05-16 Lg Electronics Inc. Method and electronic device for remote diagnosis
JP5791256B2 (ja) 2010-10-21 2015-10-07 キヤノン株式会社 表示制御装置、表示制御方法
JP2012088636A (ja) * 2010-10-22 2012-05-10 Seiko Epson Corp プロジェクター、およびプロジェクターの制御方法
JP5677034B2 (ja) * 2010-11-04 2015-02-25 キヤノン株式会社 表示装置及びその制御方法、情報処理装置及びその制御方法、画像表示システム、プログラム
JP5853359B2 (ja) * 2010-11-11 2016-02-09 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP5652142B2 (ja) 2010-11-11 2015-01-14 ソニー株式会社 撮像装置、表示制御方法およびプログラム
JP5686244B2 (ja) * 2010-12-21 2015-03-18 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム
EP2469389B1 (en) * 2010-12-24 2018-10-10 Lg Electronics Inc. Mobile terminal and method for changing page thereof
KR101755599B1 (ko) * 2011-01-24 2017-07-07 삼성전자주식회사 디지털 촬영 장치 및 그의 이미지 제공 방법
KR101648564B1 (ko) 2011-03-15 2016-08-16 한화테크윈 주식회사 휴대 단말, 원격 카메라, 및 휴대 단말에 의한 원격 카메라의 팬/틸트/줌 제어 방법
JP5845608B2 (ja) * 2011-03-31 2016-01-20 株式会社ニデック 眼科撮影装置
JP5974433B2 (ja) * 2011-08-03 2016-08-23 日本精機株式会社 周辺画像表示装置
JP6038440B2 (ja) * 2011-10-17 2016-12-07 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲーム装置、携帯ゲーム機およびゲームプログラム
JP6056127B2 (ja) 2011-10-31 2017-01-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR101867051B1 (ko) 2011-12-16 2018-06-14 삼성전자주식회사 촬상장치, 촬상 구도 제공 방법 및 컴퓨터 판독가능 기록매체
KR20130080311A (ko) * 2012-01-04 2013-07-12 삼성메디슨 주식회사 의료 영상 표시 방법 및 의료 영상 표시 장치
TWI475473B (zh) * 2012-02-17 2015-03-01 Mitac Int Corp 根據觸控手勢產生分割畫面之方法
JP5990011B2 (ja) * 2012-02-28 2016-09-07 キヤノン株式会社 情報処理装置及びその制御方法
US20150055004A1 (en) * 2012-03-26 2015-02-26 Xacti Corporation Electronic device, related information display method and program
JP2013229672A (ja) 2012-04-24 2013-11-07 Panasonic Corp 通信端末、通信方法、通信プログラム及び通信システム
CN103425237B (zh) 2012-05-16 2016-08-03 联想(北京)有限公司 一种显示控制方法和电子设备
JP5992210B2 (ja) 2012-06-01 2016-09-14 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP5342040B1 (ja) * 2012-06-07 2013-11-13 株式会社エヌ・ティ・ティ・ドコモ 表示装置、表示方法及びプログラム
JP5874034B2 (ja) * 2012-07-27 2016-03-01 パナソニックIpマネジメント株式会社 表示装置、及び表示制御システム
US20150212683A1 (en) * 2012-10-16 2015-07-30 Mitsubishi Electric Corporation Information display device and display information operation method
KR101990036B1 (ko) * 2012-10-31 2019-06-17 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
JP5709820B2 (ja) * 2012-11-08 2015-04-30 株式会社モリタ製作所 X線撮影装置
JP6030935B2 (ja) * 2012-12-04 2016-11-24 任天堂株式会社 情報処理プログラム、表示制御装置、表示システム及び表示方法
KR101988313B1 (ko) * 2013-01-04 2019-06-12 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 및 이의 기록 매체
US9031783B2 (en) * 2013-02-28 2015-05-12 Blackberry Limited Repositionable graphical current location indicator
KR20140107829A (ko) * 2013-02-28 2014-09-05 삼성전자주식회사 디스플레이장치, 입력장치 및 그 제어방법
KR102070776B1 (ko) * 2013-03-21 2020-01-29 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
JP6319952B2 (ja) * 2013-05-31 2018-05-09 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
KR102089444B1 (ko) * 2013-07-25 2020-03-16 삼성전자 주식회사 음성 인식 기능을 지원하는 전자 기기의 음성 입력 제어 방법 및 장치 장치
WO2015029318A1 (ja) * 2013-08-26 2015-03-05 パナソニックIpマネジメント株式会社 3次元表示装置および3次元表示方法
US9247129B1 (en) * 2013-08-30 2016-01-26 A9.Com, Inc. Self-portrait enhancement techniques
US10126913B1 (en) * 2013-11-05 2018-11-13 Google Llc Interactive digital map including context-based photographic imagery
WO2015091821A1 (en) * 2013-12-18 2015-06-25 Flir Systems Ab Processing infrared images based on swipe gestures

Also Published As

Publication number Publication date
EP2887644A1 (en) 2015-06-24
US10798305B2 (en) 2020-10-06
KR101739318B1 (ko) 2017-05-24
EP2887644B1 (en) 2017-09-06
CN108989663B (zh) 2021-04-20
US20170347038A1 (en) 2017-11-30
RU2014151357A (ru) 2016-07-10
US11184544B2 (en) 2021-11-23
US11895392B2 (en) 2024-02-06
US20150172554A1 (en) 2015-06-18
CN104735344A (zh) 2015-06-24
CN108989663A (zh) 2018-12-11
US20220053138A1 (en) 2022-02-17
EP3285479A1 (en) 2018-02-21
JP2015119338A (ja) 2015-06-25
RU2606214C2 (ru) 2017-01-10
KR20150071660A (ko) 2015-06-26

Similar Documents

Publication Publication Date Title
JP6071866B2 (ja) 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
US10628010B2 (en) Quick review of captured image data
JP6886939B2 (ja) 情報処理装置の制御方法、制御プログラム及び情報処理装置
JP6618644B2 (ja) 制御装置及び制御方法、プログラム
JP6386809B2 (ja) 情報処理装置およびその制御方法、システム、並びにプログラム
JP6192276B2 (ja) 表示制御装置及びその制御方法、プログラム、及び記録媒体
JP6312046B2 (ja) 画像処理システム、画像処理方法、及びプログラム
JP2016096481A (ja) 制御装置、撮像システム、制御方法、及び、プログラム
JP5871779B2 (ja) カメラシステム
JP6347663B2 (ja) 制御装置、撮像システム、制御方法、及び、プログラム
JP7338330B2 (ja) 表示装置、表示方法、プログラム
JP6608196B2 (ja) 情報処理装置、情報処理方法
JP6367759B2 (ja) 表示画像ズーム端末、表示画像ズーム方法及び表示画像ズームプログラム
JP6160194B2 (ja) 画像形成システム、外部端末およびプログラム
JP2021040231A (ja) 画像処理装置およびプログラム
JP6456217B2 (ja) 撮像制御装置及びその制御方法
JP2015228549A (ja) カメラ制御を行うための情報処理装置およびその方法、プログラム、記憶媒体
JP2017107256A (ja) 情報処理装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160219

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160219

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160506

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160929

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161227

R151 Written notification of patent or utility model registration

Ref document number: 6071866

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151