JP6289047B2 - 撮像装置、撮像システム、撮像方法、及び撮像プログラム - Google Patents

撮像装置、撮像システム、撮像方法、及び撮像プログラム Download PDF

Info

Publication number
JP6289047B2
JP6289047B2 JP2013238313A JP2013238313A JP6289047B2 JP 6289047 B2 JP6289047 B2 JP 6289047B2 JP 2013238313 A JP2013238313 A JP 2013238313A JP 2013238313 A JP2013238313 A JP 2013238313A JP 6289047 B2 JP6289047 B2 JP 6289047B2
Authority
JP
Japan
Prior art keywords
unit
imaging
operation instruction
imaging device
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013238313A
Other languages
English (en)
Other versions
JP2015099994A (ja
Inventor
佐藤 和宏
和宏 佐藤
麻衣 山口
麻衣 山口
植村 有為子
有為子 植村
友美 上村
友美 上村
紗知恵 山本
紗知恵 山本
野中 修
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013238313A priority Critical patent/JP6289047B2/ja
Priority to CN201480003042.9A priority patent/CN104798365B/zh
Priority to PCT/JP2014/064503 priority patent/WO2015072167A1/ja
Priority to US14/711,205 priority patent/US9681054B2/en
Publication of JP2015099994A publication Critical patent/JP2015099994A/ja
Application granted granted Critical
Publication of JP6289047B2 publication Critical patent/JP6289047B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00183Photography assistance, e.g. displaying suggestions to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/53Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H04N23/531Constructional details of electronic viewfinders, e.g. rotatable or detachable being rotatable or detachable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は、被写体を撮像する撮像装置、当該撮像装置を備えた撮像システム、当該撮像装置が行う撮像方法、及び当該撮像装置に実行させる撮像プログラムに関する。
近年、デジタルカメラやデジタルビデオカメラ等の撮像装置において、撮像により生成した画像データに対応するライブビュー画像を表示部に表示するとともに、通信技術を用いて、当該画像データを携帯電話等の外部の通信機器に順次、送信する技術が知られている(例えば、特許文献1参照)。
特許文献1に記載の技術は、通信機器により撮像装置を遠隔操作する技術である。
具体的に、特許文献1に記載の技術では、通信機器は、撮像装置から送信された画像データを順次、受信し、当該画像データに対応するライブビュー画像を表示部に順次、表示する。通信機器のユーザは、通信機器の表示部に表示されたライブビュー画像を確認しながら、撮像装置に画像データの記録を実行させたいタイミングで通信機器に対して所定の操作を実行する。この操作により通信機器から画像データの記録要求が撮像装置に送信され、撮像装置は、当該記録要求を受信した後、撮像動作(画像データの記録動作)を行う。
特開2003−250079号公報
しかしながら、特許文献1に記載の技術では、通信機器のユーザは、当該通信機器の表示部に表示されたライブビュー画像を確認しながら、近くの撮影スポットで撮影を行うことをアドバイスしたい場合や、撮像装置のアングルについてアドバイスしたい場合等には、携帯電話等の他の通信手段を使って上述したアドバイスをする必要がある。このため、利便性の向上が図れない、という問題がある。
本発明は、上記に鑑みてなされたものであって、利便性の向上が図れる撮像装置、撮像システム、撮像方法、及び撮像プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像する撮像装置において、前記被写体を撮像して画像データを生成する撮像部と、画像を表示する第1表示部と、外部の通信機器と情報を送受信可能に接続する第1通信部と、前記第1通信部を介して、前記通信機器から当該撮像装置のユーザに対する動作指示に関する動作指示情報を受信する第1通信制御部と、前記第1通信部を介して前記動作指示情報を受信した場合に、当該動作指示情報に基づく動作指示に応じた当該撮像装置のユーザの動作を擬似的に表現した擬似画像を生成する擬似画像生成部と、前記擬似画像生成部にて生成された前記擬似画像を前記第1表示部に表示させる第1表示制御部とを備えることを特徴とする。
また、本発明に係る撮像装置は、上記発明において、当該撮像装置の位置に関する位置情報を取得する位置取得部と、当該撮像装置にて撮像される方位に関する第1方位情報を取得する第1方位取得部とを備え、前記動作指示情報は、特定の場所での撮影を指示する第1動作指示に関する第1動作指示情報を含み、前記擬似画像生成部は、前記第1通信部を介して前記第1動作指示情報を受信した際に前記位置取得部及び前記第1方位取得部にてそれぞれ取得された前記位置情報及び前記第1方位情報、並びに当該第1動作指示情報に基づいて、当該撮像装置のユーザを当該第1動作指示情報に基づく特定の場所に導くための前記擬似画像を生成することを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記擬似画像生成部は、前記位置情報、及び前記第1動作指示情報に基づいて、当該撮像装置の現在位置から前記特定の場所までの距離に関する距離画像を生成し、前記第1表示制御部は、前記擬似画像及び前記距離画像を前記第1表示部に表示させることを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記第1通信制御部は、前記第1通信部を介して、前記位置取得部にて取得された前記位置情報を前記通信機器に送信することを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記第1通信制御部は、前記第1通信部を介して、前記撮像部にて生成された前記画像データを前記通信機器に送信し、前記動作指示情報は、当該撮像装置と前記被写体との位置関係の変更を指示する第2動作指示に関する第2動作指示情報を含み、前記擬似画像生成部は、前記第2動作指示情報に基づいて、当該撮像装置のユーザに前記位置関係を変更するための前記擬似画像を生成することを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記動作指示情報は、特定の場所での撮影を指示する第1動作指示に関する第1動作指示情報を含み、当該撮像装置は、当該撮像装置の位置に関する位置情報を取得する位置取得部と、前記第1通信部を介して受信した前記第1動作指示情報、及び前記位置取得部にて取得された位置情報に基づいて、当該撮像装置の現在位置が前記第1動作指示情報に基づく特定の場所から所定距離の範囲内に位置しているか否かを判定する位置判定部とを備え、前記擬似画像生成部は、前記位置判定部にて当該撮像装置の現在位置が前記特定の場所から所定距離の範囲内に位置していると判定された場合に、前記第2動作指示情報に基づいて、当該撮像装置のユーザに前記位置関係を変更するための前記擬似画像を生成することを特徴とする。
また、本発明に係る撮像装置は、上記発明において、撮影条件を指示する第1操作を受け付ける第1操作受付部を備え、前記第1通信制御部は、前記第1操作受付部が前記第1操作を受け付けた場合に、前記第1通信部を介して、前記撮影条件に関する撮影条件情報を前記通信機器に送信することを特徴とする。
また、本発明に係る撮像装置は、上記発明において、前記被写体は、当該撮像装置のユーザであり、前記第1表示制御部は、当該撮像装置のユーザが前記撮像部にて撮像されることで生成された画像データに対応する画像と、前記擬似画像とを前記第1表示部に表示させ、当該撮像装置のユーザに対して、前記動作指示情報に基づく動作指示に応じた動作を促すことを特徴とする。
また、本発明に係る撮像システムは、上述した撮像装置と、前記撮像装置との間で情報を送受信可能に接続する通信機器とを備え、前記通信機器は、前記撮像装置のユーザに対する動作指示に関する第2操作を受け付ける第2操作受付部と、前記撮像装置との間で情報を送受信可能に接続する第2通信部と、前記第2操作受付部が前記第2操作を受け付けた場合に、前記第2通信部を介して、前記動作指示に関する動作指示情報を前記撮像装置に送信する第2通信制御部とを備えることを特徴とする。
また、本発明に係る撮像システムは、被写体を撮像する撮像装置と、前記撮像装置との間で情報を送受信可能に接続される通信機器とを備えた撮像システムにおいて、前記通信機器は、前記撮像装置のユーザに対する動作指示に関する第2操作を受け付ける第2操作受付部と、前記第2操作受付部が前記第2操作を受け付けた場合に、前記動作指示に応じた前記撮像装置のユーザの動作を擬似的に表現した擬似画像を生成する擬似画像生成部と、前記撮像装置と情報を送受信可能に接続する第2通信部と、前記第2通信部を介して、前記擬似画像を前記撮像装置に送信する第2通信制御部とを備え、前記撮像装置は、前記被写体を撮像して画像データを生成する撮像部と、画像を表示する第1表示部と、前記通信機器と情報を送受信可能に接続する第1通信部と、前記第1通信部を介して、前記通信機器から前記擬似画像を受信する第1通信制御部と、前記第1通信部を介して前記擬似画像を受信した場合に、当該擬似画像を前記第1表示部に表示させる第1表示制御部とを備えることを特徴とする。
また、本発明に係る撮像システムは、上記発明において、前記第1通信制御部は、前記第1通信部を介して、前記撮像部にて生成された画像データを前記通信機器に送信し、前記通信機器は、画像を表示する第2表示部と、前記第2通信部を介して受信した前記画像データに対応する画像を前記第2表示部に表示させる第2表示制御部と、当該通信機器の方位に関する第2方位情報を取得する第2方位取得部とを備え、前記第2操作受付部は、前記第2方位取得部にて取得された前記第2方位情報に基づく当該通信機器の方位が変更されたことを前記第2操作として受け付けることを特徴とする。
また、本発明に係る撮像方法は、被写体を撮像する撮像装置が行う撮像方法において、外部の通信機器から前記撮像装置のユーザに対する動作指示に関する動作指示情報を受信した場合に、当該動作指示情報に基づく動作指示に応じた前記撮像装置のユーザの動作を擬似的に表現した擬似画像を生成する擬似画像生成ステップと、前記擬似画像生成ステップにて生成した前記擬似画像を表示する表示ステップとを含むことを特徴とする。
また、本発明に係る撮像プログラムは、上述した撮像方法を撮像装置に実行させることを特徴とする。
本発明に係る撮像装置は、外部の通信機器から動作指示情報を受信した場合に、当該動作指示情報に基づく動作指示に応じた当該撮像装置のユーザの動作を擬似的に表現した擬似画像を生成する。そして、撮像装置は、当該擬似画像を表示する。
このため、撮像装置のユーザは、当該撮像装置に表示された擬似画像により、通信機器のユーザが指示した動作指示を認識し、当該動作指示に応じた動作を行うことができる。すなわち、通信機器のユーザは、携帯電話等の他の通信手段を利用することなく、撮像装置のユーザに対して種々のアドバイスをすることができる。
したがって、本発明に係る撮像装置によれば、利便性の向上が図れる、という効果を奏する。
本発明に係る撮像システムは、上述した撮像装置を備えるため、上述した撮像装置と同様の効果を奏する。
本発明に係る撮像方法は、上述した撮像装置が行う撮像方法であるため、上述した撮像装置と同様の効果を奏する。
本発明に係る撮像プログラムは、上述した撮像装置にて実行されるプログラムであるため、上述した撮像装置と同様の効果を奏する。
図1は、本発明の実施の形態1に係る撮像システムの構成を示すブロック図である。 図2は、図1に示した撮像装置における第1表示部が基準位置に位置付けられた状態を当該撮像装置のユーザに面する側から見た斜視図である。 図3は、図1に示した撮像装置における第1表示部が自分撮り位置に位置付けられた状態を当該撮像装置の被写体側から見た斜視図である。 図4は、図1ないし図3に示した撮像装置の動作を示すフローチャートである。 図5は、図1に示した通信機器の動作を示すフローチャートである。 図6は、図4及び図5に示した撮像システムの動作時における撮像装置のユーザの姿勢を模式的に示す図である。 図7は、図4及び図5に示した撮像システムの動作時に撮像装置のユーザがアドバイス依頼操作を行った場合に撮像装置及び通信機器に表示される画像の一例を示す図である。 図8は、図4及び図5に示した撮像システムの動作時に通信機器のユーザが行う第1アドバイス操作、及び撮像装置に表示される第1重畳画像の一例を示す図である。 図9は、図4及び図5に示した撮像システムの動作時に通信機器のユーザが行う第1アドバイス操作、及び撮像装置に表示される第1重畳画像の一例を示す図である。 図10は、図4及び図5に示した撮像システムの動作時に通信機器のユーザが行う第1アドバイス操作、及び撮像装置に表示される第1重畳画像の一例を示す図である。 図11は、図4及び図5に示した撮像システムの動作時に通信機器のユーザが行う第1アドバイス操作、及び撮像装置に表示される第1重畳画像の一例を示す図である。 図12は、図4及び図5に示した撮像システムの動作時に通信機器のユーザが行う第1アドバイス操作、及び撮像装置に表示される第1重畳画像の一例を示す図である。 図13は、図4及び図5に示した撮像システムの動作時に通信機器のユーザが行う第1アドバイス操作、及び撮像装置に表示される第1重畳画像の一例を示す図である。 図14は、本発明の実施の形態2に係る撮像装置の動作を示すフローチャートである。 図15は、本発明の実施の形態2に係る通信機器の動作を示すフローチャートである。 図16は、図14及び図15に示した撮像システムの動作時に通信機器のユーザが行う第2アドバイス操作、及び撮像装置に表示される第2重畳画像の一例を示す図である。 図17は、図14及び図15に示した撮像システムの動作時に通信機器のユーザが行う第2アドバイス操作、及び撮像装置に表示される第2重畳画像の一例を示す図である。 図18は、図14及び図15に示した撮像システムの動作時に通信機器のユーザが行う第2アドバイス操作、及び撮像装置に表示される第2重畳画像の一例を示す図である。 図19は、図14及び図15に示した撮像システムの動作時に通信機器のユーザが行う第2アドバイス操作、及び撮像装置に表示される第2重畳画像の一例を示す図である。 図20は、図14及び図15に示した撮像システムの動作時に通信機器のユーザが行う第2アドバイス操作、及び撮像装置に表示される第2重畳画像の一例を示す図である。 図21は、図14及び図15に示した撮像システムの動作時に通信機器のユーザが行う第2アドバイス操作、及び撮像装置に表示される第2重畳画像の一例を示す図である。 図22は、図14及び図15に示した撮像システムの動作時に通信機器のユーザが行う第2アドバイス操作、及び撮像装置に表示される第2重畳画像の一例を示す図である。 図23は、本発明の実施の形態2の変形例に係る撮像システムの構成を示すブロック図である。 図24は、本発明の実施の形態3に係る撮像システムの構成を示すブロック図である。 図25は、図24に示した撮像装置の動作を示すフローチャートである。 図26は、図24に示した通信機器の動作を示すフローチャートである。
以下に、図面を参照して、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
(実施の形態1)
〔撮像システムの概略構成〕
図1は、本発明の実施の形態1に係る撮像システム1の構成を示すブロック図である。
撮像システム1は、互いに異なるユーザによりそれぞれ操作され、無線通信により互いに情報の送受信を可能に接続する撮像装置2(図1)及び通信機器3(図1)を備える。
なお、撮像システム1としては、無線通信に限られず、有線通信により互いに情報の送受信を可能に撮像装置2及び通信機器3を接続した構成としても構わない。
そして、撮像システム1は、通信機器3のユーザが撮像装置2のユーザに対する動作指示(アドバイス)に関する操作を通信機器3に対して行うことにより、通信機器3から離れた場所にある撮像装置2が所定の表示を行って撮像装置2のユーザに対して当該アドバイスに応じた動作を促すシステムである。
〔撮像装置の構成〕
図2は、撮像装置2における第1表示部291が基準位置に位置付けられた状態を当該撮像装置2のユーザに面する側から見た斜視図である。図3は、撮像装置2における第1表示部291が自分撮り位置に位置付けられた状態を当該撮像装置2のユーザ被写体側から見た斜視図である。
なお、図2及び図3では、撮像装置2の幅方向をX軸、撮像装置2の高さ方向をY軸、撮像装置2の光軸L方向をZ軸としている。
撮像装置2は、被写体を撮像する装置であり、例えば、デジタルカメラ、デジタルビデオカメラ、撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器、内視鏡、または顕微鏡等として構成される。
なお、以下では、撮像装置2の構成として、本発明の要部を主に説明する。
この撮像装置2は、図1ないし図3に示すように、本体部2Aと、表示機構2Bとを備える。
本体部2Aは、図1に示すように、撮像部20と、位置取得部21と、第1方位取得部22と、第1入力部23と、第1通信部24と、第1メモリ部25と、第1記録部26と、回転判定部27と、第1制御部28とを備える。
撮像部20は、第1制御部28による制御の下、被写体を撮像して画像データを生成する。この撮像部20は、被写体像を結像する光学系、光学系が結像した被写体像を受光して電気信号に変換するCCD(Charge Coupled Device)等の撮像素子、当該撮像素子からの電気信号(アナログ信号)に対して信号処理(A/D変換等)を行うことによりデジタルの画像データを生成する信号処理部等を用いて構成される。
そして、撮像部20にて生成された画像データは、第1制御部28による制御の下、順次、第1メモリ部25に記憶されるとともに、撮像装置2のユーザによる第1入力部23への撮影操作に応じて第1記録部26に記録される。
位置取得部21は、地上の物体の位置を測定する測定手段であるGPS(Global Positioning System)を構成する複数のGPS衛星から送信されてくる衛星の軌道情報を受信し、この受信した軌道情報に基づいて、撮像装置2の位置情報(経度や緯度に関する情報)を取得する。そして、位置取得部21は、撮像装置2の位置情報を第1制御部28に出力する。
第1方位取得部22は、撮像装置2(撮像部20における光学系)の光軸L(図3)が略水平になる場合において、当該光軸Lが視野領域を向いた方向を基準方位としたときの撮像装置2の方位を第1方位情報として取得する。そして、第1方位取得部22は、撮像装置2の第1方位情報を第1制御部28に出力する。
具体的に、第1方位取得部22は、磁気方位センサ等を用いて構成され、地磁気の垂直方向と水平方向の成分を検出し、北を基準とする基準方位と撮像装置2の光軸Lとがなす角度を方位角として検出することによって、撮像装置2の第1方位情報を取得する。
第1入力部23は、ユーザ操作を受け付けるボタンやスイッチ等を用いて構成され(図2、図3参照)、当該ユーザ操作に応じた指示信号を第1制御部28に出力する。
第1通信部24は、第1制御部28による制御の下、通信機器3との間でライブビュー画像データや通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。
第1メモリ部25は、撮像部20にて生成された画像データや、通信機器3から第1通信部24を介して受信した動作指示情報等を記憶する。
第1記録部26は、図1に示すように、第1プログラム記録部261と、画像データ記録部262とを備える。
第1プログラム記録部261は、第1制御部28が実行する各種プログラム(撮像プログラムを含む)、及びプログラムの実行中に使用される各種データ等を記録する。
画像データ記録部262は、第1制御部28による制御の下、撮像部20にて生成された画像データを記録する。
回転判定部27は、表示機構2Bの回転状態を判定し、この判定結果を第1制御部28に出力する。具体的には、回転判定部27は、第1表示部291が自分撮り位置(図3)に位置しているか否かを判定し、この判定結果を第1制御部28に出力する。
第1制御部28は、CPU(Central Processing Unit)等を用いて構成され、第1入力部23からの指示信号等に応じて撮像装置2を構成する各部に対応する指示やデータの転送等を行って撮像装置2の動作を統括的に制御する。
この第1制御部28は、図1に示すように、第1通信制御部281と、第1表示制御部282と、擬似画像生成部283と、撮像制御部284と、位置判定部285とを備える。
第1通信制御部281は、第1通信部24の動作を制御し、通信機器3との間で無線通信を行う。
具体的に、第1通信制御部281は、第1通信部24を介して、撮像部20が連続的に生成し第1メモリ部25に順次、記憶されたライブビュー画像データを順次、通信機器3に送信する。また、第1通信制御部281は、撮像装置2のユーザによる第1入力部23への撮影スポットのアドバイスを受けるための操作(以下、アドバイス依頼操作と記載)に応じて、すなわち、第1入力部23からの指示信号に基づいて、第1通信部24を介して、位置取得部21及び第1方位取得部22にてそれぞれ取得された位置情報及び第1方位情報を通信機器3に送信する。さらに、第1通信制御部281は、第1通信部24を介して、通信機器3から動作指示情報を受信する。
第1表示制御部282は、表示機構2Bを構成する第1表示部291の動作を制御し、第1表示部291に画像を表示させる。
具体的に、第1表示制御部282は、第1メモリ部25に記憶されたライブビュー画像データを読み出し、当該ライブビュー画像データに対応するライブビュー画像を第1表示部291に表示(ライブビュー表示)させる。また、第1表示制御部282は、ライブビュー画像に対して、擬似画像生成部283にて生成された擬似画像を重畳した重畳画像を第1表示部291に表示させる。さらに、第1表示制御部282は、画像データ記録部262に記録された画像データを読み出し、当該画像データに対応する画像を第1表示部291に表示させる。
ここで、第1表示制御部282は、回転判定部27にて第1表示部291が自分撮り位置(図3)に位置していると判定された場合には、本体部2Aに対して表示対象とする画像を反転させて第1表示部291に表示させる(ミラー反転表示)。
なお、第1表示制御部282は、表示対象とする画像を本体部2Aに対して反転させた後、当該画像をさらに左右反転させて第1表示部291に表示させても構わない。また、第1表示制御部282は、表示対象とする画像を反転させることなく、そのままの状態で第1表示部291に表示させても構わない。
擬似画像生成部283は、第1通信部24を介して動作指示情報を受信した場合に、当該動作指示情報に基づく動作指示に応じた撮像装置2のユーザの動作を擬似的に表現した擬似画像を生成する。
本実施の形態1では、動作指示情報は、特定の場所での撮影を指示する第1動作指示(撮影スポットのアドバイス)に関する第1動作指示情報である。
そして、擬似画像生成部283は、第1動作指示情報を受信した時点で位置取得部21及び第1方位取得部22にてそれぞれ取得された位置情報及び第1方位情報、並びに当該第1動作指示情報に基づいて、撮像装置2のユーザを第1動作指示情報に基づく撮影スポットに導くための擬似画像(以下、第1擬似画像と記載)を生成する。
撮像制御部284は、撮像装置2のユーザによる第1入力部23への撮影操作に応じて、撮像部20に被写体を撮像させ、当該撮像により撮像部20にて生成された画像データを画像データ記録部262に記録する。
位置判定部285は、第1メモリ部25に記憶された第1動作指示情報、及び位置取得部21にて取得された位置情報に基づいて、撮像装置2の現在位置が第1動作指示情報に基づく撮影スポット(目標位置)から所定距離の範囲内に位置しているか否かを判定する。
表示機構2Bは、図2または図3に示すように、本体部2Aに対して回動可能に設けられ、撮像装置2のユーザ側(背面側)の基準位置(図2)、または、被写体側(前面側)の自分撮り位置(図3)に位置付けられる。
この表示機構2Bは、図1ないし図3に示すように、第1表示部291と、可動部292と、回転支持部293とを備える。
第1表示部291は、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて構成され、第1表示制御部282による制御の下、ライブビュー画像や、第1重畳画像を表示する。また、第1表示部291は、撮像装置2の操作情報及び撮影に関する情報等を適宜、表示する。
可動部292は、第1表示部291が取り付けられ、ヒンジ等の回転支持部293を介して本体部2Aの一端を中心にして回動可能に本体部2Aに取り付けられる。
具体的には、可動部292は、回転支持部293の軸Rを中心として、第1表示部291が基準位置(図2)または自分撮り位置(図3)に位置するように、本体部2Aに対して回動可能に取り付けられる。
〔通信機器の構成〕
通信機器3は、撮像装置2と無線通信を行う機器であり、例えば、デジタルカメラ、デジタルビデオカメラ、携帯電話やタブレット型携帯機器、または、パーソナルコンピュータ等として構成される。
なお、以下では、通信機器3の構成として、本発明の要部を主に説明する。
この通信機器3は、図1に示すように、第2表示部31と、第2入力部32と、第2通信部33と、第2メモリ部34と、第2記録部35と、第2制御部36とを備える。
第2表示部31は、液晶または有機EL等からなる表示パネルを用いて構成され、第2制御部36による制御の下、種々の画像を表示する。
第2入力部32は、ボタン、スイッチ、タッチパネル、マイクロフォン等を用いて構成されている。
すなわち、第2入力部(ボタン、スイッチ)32は、通信機器3のユーザによるユーザ操作を受け付け、当該ユーザ操作に応じた指示信号を第2制御部36に出力する。また、第2入力部(タッチパネル)32は、外部からの物体のタッチを検出し、検出したタッチ位置に応じた位置信号を第2制御部36に出力する。さらに、第2入力部(マイクロフォン等)32は、通信機器3のユーザが発した言葉(音声)を入力して電気信号に変換し、変換した電気信号を標本化及び量子化を施してA/D変換を行うことによって音声データを生成し、当該音声データを第2制御部36に出力する。
そして、第2入力部32は、本発明に係る第2操作受付部としての機能を有する。
第2通信部33は、第2制御部36による制御の下、撮像装置2との間でライブビュー画像データや通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。
第2メモリ部34は、撮像装置2から送信され第2通信部33を介して受信したライブビュー画像データや、位置情報及び第1方位情報等を記憶する。
第2記録部35は、図1に示すように、第2プログラム記録部351と、地図情報記録部352とを備える。
第2プログラム記録部351は、第2制御部36が実行する各種プログラム、及びプログラムの実行中に使用される各種データ等を記録する。
地図情報記録部352は、各地点の経度及び緯度を含む地図情報を記録する。
第2制御部36は、CPU等を用いて構成され、第2入力部32からの指示信号、位置信号、あるいは音声データ等に応じて通信機器3を構成する各部に対応する指示やデータの転送等を行って通信機器3の動作を統括的に制御する。
この第2制御部36は、図1に示すように、第2通信制御部361と、第2表示制御部362と、動作指示情報生成部363とを備える。
第2通信制御部361は、第2通信部33の動作を制御し、撮像装置2との間で無線通信を行う。
具体的に、第2通信制御部361は、第2通信部33を介して、撮像装置2からライブビュー画像データを順次、受信するとともに、動作指示情報生成部363にて生成された動作指示情報を撮像装置2に送信する。
第2表示制御部362は、第2表示部31に種々の画像(例えば、第2通信部33を介して受信したライブビュー画像データに対応するライブビュー画像)を表示させる。
動作指示情報生成部363は、通信機器3のユーザによる第2入力部32への動作指示に関する操作に応じて、すなわち、第2入力部32からの指示信号、位置信号、あるいは音声データに基づいて、撮像装置2のユーザに対する動作指示に関する動作指示情報を生成する。
本実施の形態1では、動作指示情報生成部363は、通信機器3のユーザによる第2入力部32への第1動作指示(撮影スポットのアドバイス)に関する操作(以下、第1アドバイス操作と記載)に応じて、当該第1動作指示に関する第1動作指示情報(撮影スポット(目標位置)の経度及び緯度に関する情報)を生成する。
上述した第1アドバイス操作は、本発明に係る第2操作に相当する。
〔撮像システムの動作〕
次に、上述した撮像システム1の動作について説明する。
以下では、撮像システム1の動作として、撮像装置2の動作(本発明に係る撮像方法)、及び通信機器3の動作を順に説明する。
〔撮像装置の動作〕
図4は、撮像装置2の動作を示すフローチャートである。
撮像装置2のユーザによる第1入力部23への操作によって撮像装置2の電源がオンになる(ステップS101:Yes)と、第1制御部28は、撮像部20に撮像を開始させる(ステップS102)。そして、撮像部20にて生成された画像データは、順次、第1メモリ部25に記憶される。
続いて、第1通信制御部281は、第1通信部24を介して、第1メモリ部25に記憶された最新のライブビュー画像データを順次、通信機器3に送信する(ステップS103)。
続いて、第1制御部28は、後述するステップS110において第1重畳画像の表示を開始し、当該第1重畳画像の表示中であるか否かを判断する(ステップS104)。
第1重畳画像の表示中であると判断された場合(ステップS104:Yes)には、撮像装置2は、ステップS109に移行する。
一方、第1重畳画像の表示中ではないと判断された場合(ステップS104:No)には、第1表示制御部282は、第1メモリ部25に記憶された最新のライブビュー画像データを読み出し、第1表示部291にライブビュー表示を開始させる(ステップS105)。
ステップS105の後、第1通信制御部281は、撮像装置2のユーザによる第1入力部23へのアドバイス依頼操作があったか否かを判断する(ステップS106)。
第1通信制御部281は、アドバイス依頼操作があったと判断した場合(ステップS106:Yes)には、当該操作があった時点で位置取得部21及び第1方位取得部22にてそれぞれ取得された位置情報及び第1方位情報を、第1通信部24を介して、通信機器3に送信する(ステップS107)。
一方、アドバイス依頼操作がないと判断された場合(ステップS106:No)には、撮像装置2は、ステップS108に移行する。
ステップS107の後、または、アドバイス依頼操作がないと判断した場合(ステップS106:No)、第1通信制御部281は、第1通信部24を介して、通信機器3から第1動作指示情報(撮影スポット(目標位置)の経度及び緯度に関する情報)を受信したか否かを判断する(ステップS108)。
第1動作指示情報を受信していないと判断された場合(ステップS108:No)には、撮像装置2は、ステップS113に移行する。
一方、第1動作指示情報を受信したと判断された場合(ステップS108:Yes)には、第1制御部28は、第1動作指示情報を第1メモリ部25に記憶する。そして、擬似画像生成部283は、第1擬似画像を生成する(ステップS109:擬似画像生成ステップ)。なお、第1重畳画像の表示中であると判断された場合(ステップS104:Yes)にも、擬似画像生成部283は、ステップS109において、第1擬似画像を生成する。
ステップS109の後、第1表示制御部282は、第1メモリ部25に記憶された最新のライブビュー画像データに対応するライブビュー画像に対して、ステップS109にて生成された第1擬似画像を重畳した第1重畳画像を第1表示部291に表示させる(ステップS110:表示ステップ)。
続いて、位置判定部285は、第1メモリ部25に記憶された第1動作指示情報、及び位置取得部21にて取得された位置情報に基づいて、撮像装置2の現在位置が第1動作指示情報に基づく目標位置(撮影スポットの位置)から所定距離の範囲内に位置しているか否かを判定する(ステップS111)。
撮像装置2の現在位置が目標位置から所定距離の範囲内に位置していないと判定された場合(ステップS111:No)には、撮像装置2は、ステップS113に移行する。
一方、撮像装置2の現在位置が目標位置から所定距離の範囲内に位置していると判定された場合(ステップS111:Yes)には、第1表示制御部282は、第1表示部291の表示状態を、第1重畳画像の表示から、ライブビュー表示に切り替える(ステップS112)。
ステップS112の後、ステップS108において第1動作指示情報を受信していないと判断された場合(ステップS108:No)、またはステップS111において撮像装置2の現在位置が目標位置から所定距離の範囲内に位置していないと判定された場合(ステップS111:No)には、撮像制御部284は、撮像装置2のユーザによる第1入力部23への撮影操作があったか否かを判断する(ステップS113)。
撮影操作がないと判断された場合(ステップS113:No)には、撮像装置2は、ステップS101に戻る。
一方、撮影操作があったと判断した場合(ステップS113:Yes)には、撮像制御部284は、撮像部20に被写体を撮像させ、当該撮像により撮像部20にて生成された画像データを画像データ記録部262に記録する(ステップS114)。この後、撮像装置2は、ステップS101に戻る。
〔通信機器の動作〕
図5は、通信機器3の動作を示すフローチャートである。
通信機器3のユーザによる第2入力部32への操作によって通信機器3の電源がオンになる(ステップS201)と、第2通信制御部361は、撮像装置2から第2通信部33を介してライブビュー画像データを受信したか否かを判断する(ステップS202)。
ライブビュー画像データを受信していないと判断された場合(ステップS202:No)には、通信機器3は、ステップS201に戻る。
一方、ライブビュー画像データを受信したと判断された場合(ステップS202:Yes)には、第2制御部36は、受信したライブビュー画像データを順次、第2メモリ部34に記憶する。また、第2制御部36は、後述するステップS206において指定画面の表示を開始し、当該指定画面の表示中であるか否かを判断する(ステップS203)。
指定画面の表示中であると判断された場合(ステップS203:Yes)には、通信機器3は、ステップS206に移行する。
一方、指定画面の表示中ではないと判断された場合(ステップS203:No)には、第2表示制御部362は、第2メモリ部34に記憶されたライブビュー画像データを順次、読み出し、第2表示部31に当該ライブビュー画像データに対応するライブビュー画像を表示(ライブビュー表示)させる(ステップS204)。
続いて、第2通信制御部361は、第2通信部33を介して、撮像装置2から当該撮像装置2の位置情報及び第1方位情報を受信したか否かを判断する(ステップS205)。
撮像装置2の位置情報及び第1方位情報を受信していないと判断された場合(ステップS205:No)には、通信機器3は、ステップS201に戻る。
一方、撮像装置2の位置情報及び第1方位情報を受信したと判断された場合(ステップS205:Yes)には、第2表示制御部362は、撮像装置2のユーザに対して撮影スポットをアドバイスするための指定画面を第2表示部31に表示させる(ステップS206)。
続いて、動作指示情報生成部363は、通信機器3のユーザによる第2入力部32への第1アドバイス操作があったか否かを判断する(ステップS207)。
第1アドバイス操作がないと判断された場合(ステップS207:No)には、通信機器3は、ステップS201に戻る。
一方、第1アドバイス操作があったと判断した場合(ステップS207:Yes)には、動作指示情報生成部363は、第1動作指示に関する第1動作指示情報を生成する(ステップS208)。
続いて、第2通信制御部361は、第2通信部33を介して、ステップS208にて生成された第1動作指示情報を撮像装置2に送信する(ステップS209)。この後、通信機器3は、ステップS201に戻る。
〔表示形態の具体例〕
以上説明した撮像システム1の動作時に撮像装置2及び通信機器3に表示される画像の具体例について説明する。
以下では、撮像装置2のユーザがアドバイス依頼操作を行った場合、通信機器3のユーザが第1アドバイス操作を行った場合に、撮像装置2及び通信機器3に表示される画像を順に説明する。
〔アドバイス依頼操作〕
図6は、撮像システム1の動作時における撮像装置2のユーザの姿勢を模式的に示す図である。図7は、撮像システム1の動作時に撮像装置2のユーザがアドバイス依頼操作を行った場合に撮像装置2及び通信機器3に表示される画像の一例を示す図である。
以下では、図6に示すように、撮像装置2のユーザCUが第1表示部291を自分撮り位置に位置付けた撮像装置2を左手で把持しながらユーザCU自身を被写体として撮影する自分撮り撮影を行う場合を例に説明する。
例えば、撮像装置2におけるライブビュー表示(ステップS105)として、現在表示しているライブビュー画像を図7(a)に示すライブビュー画像W100とする。
ここで、撮像装置2のユーザCUは、通信機器3のユーザから撮影スポットのアドバイスを受けたい場合には、第1入力部23に対してアドバイス依頼操作(例えば、第1入力部23を構成するボタンのうちのいずれかのボタンを押下する操作等)を行う。そして、撮像装置2は、第1入力部23からの指示信号に基づいて、アドバイス依頼操作があったと判断し(ステップS106:Yes)、当該操作があった時点での撮像装置2の位置情報及び第1方位情報を通信機器3に送信する(ステップS107)。
一方、通信機器3は、撮像装置2の位置情報及び第1方位情報を受信する(ステップS205:Yes)と、図7(b)に示す指定画面Spを表示する(ステップS206)。
具体的に、ステップS206において、第2表示制御部362は、地図情報記録部352から、撮像装置2の位置情報に基づく経度及び緯度を含む所定の縮尺の地図情報を読み出す。また、第2表示制御部362は、第2メモリ部34に記憶された最新のライブビュー画像を読み出す。そして、第2表示制御部362は、図7(b)に示すように、上記地図情報に対応する地図画像Mに対して、上記最新のライブビュー画像データに対応するライブビュー画像W200を重畳する。さらに、第2表示制御部362は、当該地図画像Mに対して、撮像装置2の位置情報及び第1方位情報に基づいて、地図画像M中の撮像装置2の位置及び方位をそれぞれ示す位置画像(黒丸)P及び第1方位画像(矢印)Oを重畳する。そして、第2表示制御部362は、地図画像Mに対してライブビュー画像W200、位置画像P及び第1方位画像Oを重畳した指定画面Spを第2表示部31に表示させる。
なお、図7(b)の例では、撮像装置2は、地図画像M中において、位置画像Pの位置に第1方位画像Oの矢印の方向(左方向)を向く姿勢で、撮像装置2のユーザCUに把持されている。言い換えれば、撮像装置2のユーザCUは、地図画像M中において、第1方位画像Oの矢印の先端側の位置に当該矢印の基端側(右方向)を向く姿勢で立っている。
ここで、撮像装置2は、最新のライブビュー画像データを順次、送信しながら(ステップS103)、当該最新のライブビュー画像データに対応するライブビュー画像W100を順次、表示する(ステップS105)。そして、通信機器3は、ステップS204やステップS206において、最新のライブビュー画像データに対応するライブビュー画像W200を順次、表示する。このため、図7(b)に示すように、通信機器3が表示するライブビュー画像W200は、撮像装置2にて表示されているライブビュー画像W100(図7(a))と略同一の画像となる。
〔第1アドバイス操作〕
通信機器3のユーザは、当該通信機器3に表示された指定画面Spを確認する。そして、通信機器3のユーザは、撮像装置2のユーザCUに対して撮影スポットのアドバイスをしたい場合(例えば、地図画像M中で撮像装置2のユーザCUの位置の近くにある撮影スポットをアドバイスしたい場合等)には、通信機器3における表示画面上(第2入力部(タッチパネル)32)の指定撮影スポットS1〜S6(図8ないし図13参照)を指でタッチする。
以下、指定撮影スポットS1〜S6が指示された場合を順に説明する。
〔指定撮影スポットS1が指示された場合〕
図8は、撮像システム1の動作時に通信機器3のユーザが行う第1アドバイス操作(指定撮影スポットS1の指示)、及び撮像装置2に表示される第1重畳画像の一例を示す図である。
なお、図8(b)に示す指定画面Spは、図7(b)に示した指定画面Spと同一の指定画面である。図9(b)、図10(b)、図11(b)、図12(b)、及び図13(b)に示す指定画面Spも同様である。
撮像装置2のユーザCUから見て右側に位置する指定撮影スポットS1が指示された場合には、通信機器3は、第2入力部(タッチパネル)32からの位置信号に基づいて、第1アドバイス操作があったと判断する(ステップS207:Yes)。そして、通信機器3は、第1動作指示情報(地図画像M中のタッチ位置に対応する指定撮影スポットS1の経度及び緯度に関する情報)を生成し(ステップS208)、当該第1動作指示情報を撮像装置2に送信する(ステップS209)。
一方、撮像装置2は、第1動作指示情報を受信する(ステップS108:Yes)と、ステップS109において、当該第1動作指示情報を受信した時点で位置取得部21及び第1方位取得部22にてそれぞれ取得された位置情報及び第1方位情報、並びに当該第1動作指示情報に基づいて、撮像装置2における現在の位置及び方位と指定撮影スポットS1の位置(目標位置)との位置関係を認識する。具体的に、撮像装置2は、目標位置が撮像装置2のユーザCUの右側(撮像装置2の左側)であることを認識する。そして、撮像装置2は、撮像装置2のユーザCUを目標位置に導くために、人が右側(撮像装置2のユーザCUの右側)に歩いていく動作を擬似的に表現した第1擬似画像Q1A(図8(a))を生成する。また、撮像装置2は、撮像装置2の現在位置、及び目標位置に基づいて、撮像装置2の現在位置から目標位置までの距離に関する距離情報(距離画像D(図8(a)))を生成する。そして、撮像装置2は、最新のライブビュー画像データに対応するライブビュー画像W100に対して、第1擬似画像Q1A、距離画像D、及び右方向の矢印画像A1A(図8(a))を重畳した第1重畳画像Su1A(図8(a))を表示する(ステップS110)。
〔指定撮影スポットS2が指示された場合〕
図9は、撮像システム1の動作時に通信機器3のユーザが行う第1アドバイス操作(指定撮影スポットS2の指示)、及び撮像装置2に表示される第1重畳画像の一例を示す図である。
撮像装置2のユーザCUから見て左側に位置する指定撮影スポットS2が指示された場合には、通信機器3は、地図画像M中のタッチ位置に対応する指定撮影スポットS2の経度及び緯度に関する情報を含む第1動作指示情報を生成し(ステップS208)、当該第1動作指示情報を撮像装置2に送信する(ステップS209)。
一方、撮像装置2は、第1動作指示情報を受信する(ステップS108:Yes)と、ステップS109において、上記指定撮影スポットS1が指示された場合と同様の処理により、指定撮影スポットS2の位置(目標位置)が撮像装置2のユーザCUの左側であることを認識する。そして、撮像装置2は、人が左側に歩いていく動作を擬似的に表現した第1擬似画像Q1B(図9(a))を生成する。また、撮像装置2は、上記指定撮影スポットS1が指示された場合と同様の処理により、撮像装置2の現在位置から目標位置までの距離に関する距離情報(距離画像D(図9(a)))を生成する。そして、撮像装置2は、ライブビュー画像W100に対して、第1擬似画像Q1B、距離画像D、及び左方向の矢印画像A1B(図9(a))を重畳した第1重畳画像Su1B(図9(a))を表示する(ステップS110)。
〔指定撮影スポットS3が指示された場合〕
図10は、撮像システム1の動作時に通信機器3のユーザが行う第1アドバイス操作(指定撮影スポットS3の指示)、及び撮像装置2に表示される第1重畳画像の一例を示す図である。
撮像装置2のユーザCUから見て後方側に位置する指定撮影スポットS3が指示された場合には、通信機器3は、地図画像M中のタッチ位置に対応する指定撮影スポットS3の経度及び緯度に関する情報を含む第1動作指示情報を生成し(ステップS208)、当該第1動作指示情報を撮像装置2に送信する(ステップS209)。
一方、撮像装置2は、第1動作指示情報を受信する(ステップS108:Yes)と、ステップS109において、上記指定撮影スポットS1が指示された場合と同様の処理により、指定撮影スポットS3の位置(目標位置)が撮像装置2のユーザCUの後方側であることを認識する。そして、撮像装置2は、人が後方側に歩いていく動作を擬似的に表現(歩いている人が徐々に小さくなっていく)した第1擬似画像Q1C(図10(a))を生成する。また、撮像装置2は、上記指定撮影スポットS1が指示された場合と同様の処理により、撮像装置2の現在位置から目標位置までの距離に関する距離情報(距離画像D(図10(a)))を生成する。そして、撮像装置2は、ライブビュー画像W100に対して、第1擬似画像Q1C及び距離画像Dを重畳した第1重畳画像Su1C(図10(a))を表示する(ステップS110)。
〔指定撮影スポットS4が指示された場合〕
図11は、撮像システム1の動作時に通信機器3のユーザが行う第1アドバイス操作(指定撮影スポットS4の指示)、及び撮像装置2に表示される第1重畳画像の一例を示す図である。
撮像装置2のユーザCUから見て前方側に位置する指定撮影スポットS4が指示された場合には、通信機器3は、地図画像M中のタッチ位置に対応する指定撮影スポットS4の経度及び緯度に関する情報を含む第1動作指示情報を生成し(ステップS208)、当該第1動作指示情報を撮像装置2に送信する(ステップS209)。
一方、撮像装置2は、第1動作指示情報を受信する(ステップS108:Yes)と、ステップS109において、上記指定撮影スポットS1が指示された場合と同様の処理により、指定撮影スポットS4の位置(目標位置)が撮像装置2のユーザCUの前方側であることを認識する。そして、撮像装置2は、人が前方側に歩いていく動作を擬似的に表現(歩いている人が徐々に大きくなっていく)した第1擬似画像Q1D(図11(a))を生成する。また、撮像装置2は、上記指定撮影スポットS1が指示された場合と同様の処理により、撮像装置2の現在位置から目標位置までの距離に関する距離情報(距離画像D(図11(a)))を生成する。そして、撮像装置2は、ライブビュー画像W100に対して、第1擬似画像Q1D及び距離画像Dを重畳した第1重畳画像Su1D(図11(a))を表示する(ステップS110)。
〔指定撮影スポットS5が指示された場合〕
図12は、撮像システム1の動作時に通信機器3のユーザが行う第1アドバイス操作(指定撮影スポットS5の指示)、及び撮像装置2に表示される第1重畳画像の一例を示す図である。
撮像装置2のユーザCUから見て右斜め後方側に位置する指定撮影スポットS5が指示された場合には、通信機器3は、地図画像M中のタッチ位置に対応する指定撮影スポットS5の経度及び緯度に関する情報を含む第1動作指示情報を生成し(ステップS208)、当該第1動作指示情報を撮像装置2に送信する(ステップS209)。
一方、撮像装置2は、第1動作指示情報を受信する(ステップS108:Yes)と、ステップS109において、上記指定撮影スポットS1が指示された場合と同様の処理により、指定撮影スポットS5の位置(目標位置)が撮像装置2のユーザCUの右斜め後方側であることを認識する。そして、撮像装置2は、人が右斜め後方側に歩いていく動作を擬似的に表現(歩いている人が右側に移動しながら徐々に小さくなっていく)した第1擬似画像Q1E(図12(a))を生成する。また、撮像装置2は、上記指定撮影スポットS1が指示された場合と同様の処理により、撮像装置2の現在位置から目標位置までの距離に関する距離情報(距離画像D(図12(a)))を生成する。そして、撮像装置2は、ライブビュー画像W100に対して、第1擬似画像Q1E、距離画像D、及び右側を向き、かつ、右側に向かうにしたがって細くなる矢印画像A1E(図12(a))を重畳した第1重畳画像Su1E(図12(a))を表示する(ステップS110)。
〔指定撮影スポットS6が指示された場合〕
図13は、撮像システム1の動作時に通信機器3のユーザが行う第1アドバイス操作(指定撮影スポットS6の指示)、及び撮像装置2に表示される第1重畳画像の一例を示す図である。
撮像装置2のユーザCUから見て左斜め前方側に位置する指定撮影スポットS6が指示された場合には、通信機器3は、地図画像M中のタッチ位置に対応する指定撮影スポットS6の経度及び緯度に関する情報を含む第1動作指示情報を生成し(ステップS208)、当該第1動作指示情報を撮像装置2に送信する(ステップS209)。
一方、撮像装置2は、第1動作指示情報を受信する(ステップS108:Yes)と、ステップS109において、上記指定撮影スポットS1が指示された場合と同様の処理により、指定撮影スポットS6の位置(目標位置)が撮像装置2のユーザCUの左斜め前方側であることを認識する。そして、撮像装置2は、人が左斜め前方側に歩いていく動作を擬似的に表現(歩いている人が左側に移動しながら徐々に大きくなっていく)した第1擬似画像Q1F(図13(a))を生成する。また、撮像装置2は、上記指定撮影スポットS1が指示された場合と同様の処理により、撮像装置2の現在位置から目標位置までの距離に関する距離情報(距離画像D(図13(a)))を生成する。そして、撮像装置2は、ライブビュー画像W100に対して、第1擬似画像Q1F、距離画像D、及び左側を向き、かつ、左側に向かうにしたがって太くなる矢印画像A1F(図13(a))を重畳した第1重畳画像Su1F(図13(a))を表示する(ステップS110)。
以上説明した本実施の形態1に係る撮像装置2は、外部の通信機器3から動作指示情報を受信した場合に、当該動作指示情報に基づく動作指示に応じた当該撮像装置2のユーザの動作を擬似的に表現した擬似画像を生成する。そして、撮像装置2は、当該擬似画像を表示する。
このため、撮像装置2のユーザは、当該撮像装置2に表示された擬似画像により、通信機器3のユーザが指示した動作指示を認識し、当該動作指示に応じた動作を行うことができる。すなわち、通信機器3のユーザは、携帯電話等の他の通信手段を利用することなく、撮像装置2のユーザに対して種々のアドバイスをすることができる。
特に、撮像装置2は、動作指示(アドバイス)に応じて、文字や矢印等の図形ではなく、上述した擬似画像を生成して表示する。このため、撮像装置2のユーザは、当該撮像装置2特有の用語を知らない場合や、当該撮像装置2の取り扱いに不慣れな場合であっても、当該擬似画像により、通信機器3のユーザからの動作指示を明確に認識することができる。
したがって、本実施の形態1に係る撮像装置2によれば、利便性の向上が図れる。
また、本実施の形態1に係る撮像装置2は、当該撮像装置2の位置情報及び第1方位情報をそれぞれ取得する位置取得部21及び第1方位取得部22を備える。
このため、動作指示情報が撮影スポットのアドバイスに関する第1動作指示情報(撮影スポットの経度及び緯度に関する情報を含む)である場合には、撮像装置2は、当該撮像装置2のユーザを現在位置から通信機器3のユーザが指示した撮影スポットまで導くための第1擬似画像を生成し表示することができる。また、撮像装置2は、当該撮像装置の現在位置から通信機器3のユーザが指示した撮影スポットまでの距離に関する距離画像を生成し表示することができる。
したがって、撮像装置2のユーザは、第1擬似画像及び距離画像を把握することで、通信機器3からの指示に従うか否かを即座に判断(例えば、撮影スポットまでの距離が遠いと判断した場合には指示に従わない)し、指示に従わない場合には、別の撮影スポットのアドバイスを受けるために、改めてアドバイス依頼操作を行うことができる。
また、本実施の形態1に係る撮像装置2は、当該撮像装置2のユーザによる第1入力部23へのアドバイス依頼操作に応じて、当該操作があった時点で位置取得部21にて取得された位置情報を通信機器3に送信する。
このため、通信機器3は、撮像装置2の位置情報に基づく経度及び緯度を含む所定の縮尺の地図を、撮像装置2のユーザに対して撮影スポットをアドバイスするための指定画面として表示することができる。
したがって、通信機器3のユーザは、当該指定画面から、撮像装置2の現在位置に比較的に近い撮影スポットをアドバイスすることができる。
また、本実施の形態1では、被写体は、撮像装置2のユーザである。そして、撮像装置2は、第1表示部291が自分撮り位置に位置付けられている場合には、本体部2Aに対して表示対象とする画像を反転させて第1表示部291に表示する。
このため、撮像装置のユーザは、自分撮り撮影を行っている場合であっても、第1擬似画像に基づいて、撮影スポットの方向を明確に認識することができる。
また、本実施の形態1に係る撮像装置2は、ライブビュー画像データを通信機器3に送信する。そして、通信機器3は、受信したライブビュー画像データに対応するライブビュー画像を表示する。
このため、通信機器3のユーザは、被写体の服装等を把握し、当該被写体に合わせた撮影スポットをアドバイスすることができる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態1では、撮像装置2は、通信機器3のユーザから撮影スポットのアドバイスを受けた場合(第1動作指示情報を受信した場合)にのみ、擬似画像(第1擬似画像)を生成し、ライブビュー画像に第1擬似画像を重畳した第1重畳画像を表示していた。
これに対して本実施の形態2では、撮像装置は、上記の場合に第1擬似画像の生成及び第1重畳画像の表示を行う他、カメラアングル等の撮像装置と被写体との位置関係のアドバイスを受けた場合(第2動作指示情報を受信した場合)に、擬似画像(第2擬似画像)を生成し、ライブビュー画像に第2擬似画像を重畳した第2重畳画像を表示する。
そして、本実施の形態2に係る撮像システムは、上述した実施の形態1で説明した撮像システム1と同様の構成である。
以下では、本実施の形態2に係る撮像システム1の動作(撮像装置2の動作(本発明に係る撮像方法)、及び通信機器3の動作)を説明する。
〔撮像装置の動作〕
図14は、本発明の実施の形態2に係る撮像装置2の動作を示すフローチャートである。
本実施の形態2に係る撮像装置2の動作は、図14に示すように、上述した実施の形態1で説明した撮像装置2の動作(図4)に対して、ステップS115〜S120を追加した点が異なるのみである。
このため、以下では、ステップS115〜S120のみを説明する。
ステップS115は、ステップS103の後に実行される。
具体的に、第1制御部28は、後述するステップS120において第2重畳画像の表示を開始し、当該第2重畳画像の表示中であるか否かを判断する(ステップS115)。
第2重畳画像の表示中であると判断された場合(ステップS115:Yes)には、撮像装置2は、ステップS119に移行する。
一方、第1重畳画像の表示中ではないと判断された場合(ステップS115:No)には、撮像装置2は、ステップS104に移行する。
ステップS116は、ステップS112の後に実行される。
具体的に、第1通信制御部281は、撮像装置2のユーザによる第1入力部23への撮影条件設定操作があったか否かを判断する(ステップS116)。
ここで、撮影条件設定操作は、撮像装置2と被写体との位置関係のアドバイスを受けるための操作であって、例えば、モデル風に撮影したい場合にその撮影条件(モデル風等)を入力すること等を例示することができる。
上述した撮影条件設定操作は、本発明に係る第1操作に相当する。そして、第1入力部23は、本発明に係る第1操作受付部としての機能を有する。
撮影条件設定操作がないと判断された場合(ステップS116:No)には、撮像装置2は、ステップS113に移行する。
一方、撮影条件設定操作があったと判断した場合(ステップS116:Yes)には、第1通信制御部281は、第1通信部24を介して、当該撮影条件設定操作により入力等された撮影条件に関する撮影条件情報を通信機器3に送信する(ステップS117)。
ステップS117の後、または、第1動作指示情報を受信していないと判断した場合(ステップS108:No)には、第1通信制御部281は、第1通信部24を介して、通信機器3から第2動作指示情報を受信したか否かを判断する(ステップS118)。
第2動作指示情報を受信していないと判断された場合(ステップS118:No)には、撮像装置2は、ステップS113に移行する。
一方、第2動作指示情報を受信したと判断された場合(ステップS118:Yes)には、第1制御部28は、第2動作指示情報を第1メモリ部25に記憶する。そして、擬似画像生成部283は、第1メモリ部25に記憶された第2動作指示情報に基づいて、撮像装置2のユーザに撮像装置2と被写体との位置関係を変更させるための第2擬似画像を生成する(ステップS119:擬似画像生成ステップ)。なお、第2重畳画像の表示中であると判断された場合(ステップS115:Yes)にも、擬似画像生成部283は、ステップS119において、第2擬似画像を生成する。
ステップS119の後、第1表示制御部282は、第1メモリ部25に記憶された最新のライブビュー画像データに対応するライブビュー画像に対して、ステップS119にて生成された第2擬似画像を重畳した第2重畳画像を第1表示部291に表示させる(ステップS120:表示ステップ)。この後、撮像装置2は、ステップS113に移行する。
〔通信機器の動作〕
図15は、本発明の実施の形態2に係る撮像装置2の動作を示すフローチャートである。
本実施の形態2に係る通信機器3の動作は、図15に示すように、上述した実施の形態1で説明した撮像装置2の動作(図5)に対して、ステップS210〜S215を追加した点が異なるのみである。
このため、以下では、ステップS210〜S215のみを説明する。
ステップS210は、ライブビュー画像データを受信したと判断(ステップS202:Yes)された後に実行される。
具体的に、第1制御部28は、後述するステップS212において条件重畳画像の表示を開始し、当該条件重畳画像の表示中であるか否かを判断する(ステップS210)。
条件重畳画像の表示中であると判断された場合(ステップS210:Yes)には、撮像装置2は、ステップS212に移行する。
一方、条件重畳画像の表示中ではないと判断された場合(ステップS210:No)には、撮像装置2は、ステップS204に移行する。
ステップS211は、撮像装置2の位置情報及び第1方位情報を受信していないと判断(ステップS205:No)された後に実行される。
具体的に、第2通信制御部361は、撮像装置2から第2通信部33を介して撮影条件情報を受信したか否かを判断する(ステップS211)。
撮影条件情報を受信していないと判断された場合(ステップS211:No)には、通信機器3は、ステップS201に戻る。
一方、撮影条件情報を受信したと判断された場合(ステップS211:Yes)には、第2表示制御部362は、第2メモリ部34に記憶された最新のライブビュー画像データに対応するライブビュー画像に対して、撮影条件情報に基づく撮影条件を重畳した条件重畳画像を第2表示部31に表示させる(ステップS212)。
続いて、動作指示情報生成部363は、通信機器3のユーザによる第2入力部32への第2動作指示(撮像装置2と被写体との位置関係のアドバイス)に関する操作(以下、第2アドバイス操作と記載)があったか否かを判断する(ステップS213)。
上述した第2アドバイス操作は、本発明に係る第2操作に相当する。
第2アドバイス操作がないと判断された場合(ステップS213:No)には、通信機器3は、ステップS201に戻る。
一方、第2アドバイス操作があったと判断した場合(ステップS213:Yes)には、動作指示情報生成部363は、第2動作指示に関する第2動作指示情報を生成する(ステップS214)。
続いて、第2通信制御部361は、第2通信部33を介して、ステップS214にて生成された第2動作指示情報を撮像装置2に送信する(ステップS215)。この後、通信機器3は、ステップS201に戻る。
〔表示形態の具体例〕
以上説明した本実施の形態2に係る撮像システム1の動作時に通信機器3のユーザが行う第2アドバイス操作、及び撮像装置2に表示される第2重畳画像の具体例について説明する。
以下では、上述した実施の形態1(図6)と同様に、撮像装置2のユーザCUが当該ユーザCU自身を被写体として撮影する自分撮り撮影を行う場合を例に説明する。
ステップS212では、通信機器3は、最新のライブビュー画像データに対応するライブビュー画像W201に対して、撮像装置2から受信した撮影条件情報に基づくモデル風等の撮影条件Cが重畳された条件重畳画像Scを表示する(図16ないし図22参照)。そして、通信機器3のユーザは、当該通信機器3に表示された条件重畳画像Scを確認することで、撮像装置2のユーザCUが求める撮影条件Cを把握する。
ここで、通信機器3のユーザは、撮像装置2のユーザCUに対して当該撮影条件Cに応じたアドバイス(撮像装置2と当該撮像装置2のユーザCUとの位置関係のアドバイス)をしたい場合には、当該アドバイスに応じた言葉を発する。
以下、通信機器3のユーザが第2アドバイス操作として言葉W1〜W7(図16(b)ないし図22(b)参照)を発した場合を順に説明する。
〔言葉W1を発した場合〕
図16は、撮像システム1の動作時に通信機器3のユーザが行う第2アドバイス操作(言葉W1)、及び撮像装置2に表示される第2重畳画像の一例を示す図である。
通信機器3のユーザが「低く」等の言葉W1を発した場合には、通信機器3は、第2入力部(マイクロフォン等)32からの音声データ(言葉W1に対応する音声データ)に基づいて、第2アドバイス操作があったと判断する(ステップS213:Yes)。また、通信機器3は、当該音声データを解析して、ローアングルでの撮影のアドバイス(第2動作指示)に関する第2動作指示情報を生成し(ステップS214)、撮像装置2に送信する(ステップS215)。
一方、撮像装置2は、第2動作指示情報を受信する(ステップS118:Yes)と、当該第2動作指示情報に基づいて、撮像装置2のユーザCUにローアングルでの撮影をさせるために、人が把持したカメラを下げていく動作を擬似的に表現した第2擬似画像Q2A(図16(a))を生成する(ステップS119)。そして、撮像装置2は、最新のライブビュー画像データに対応するライブビュー画像W101に対して、第2擬似画像Q2A、及び下方向の矢印画像A2A(図16(a))を重畳した第2重畳画像Su2A(図16(a))を表示する(ステップS120)。
〔言葉W2を発した場合〕
図17は、撮像システム1の動作時に通信機器3のユーザが行う第2アドバイス操作(言葉W2)、及び撮像装置2に表示される第2重畳画像の一例を示す図である。
通信機器3のユーザが「高く」等の言葉W2を発した場合には、通信機器3は、第2入力部32からの言葉W2に対応する音声データを解析して、ハイアングルでの撮影のアドバイスに関する第2動作指示情報を生成し(ステップS214)、撮像装置2に送信する(ステップS215)。
一方、撮像装置2は、第2動作指示情報を受信する(ステップS118:Yes)と、当該第2動作指示情報に基づいて、撮像装置2のユーザCUにハイアングルでの撮影をさせるために、人が把持したカメラを上げていく動作を擬似的に表現した第2擬似画像Q2B(図17(a))を生成する(ステップS119)。そして、撮像装置2は、ライブビュー画像W101に対して、第2擬似画像Q2B、及び上方向の矢印画像A2B(図17(a))を重畳した第2重畳画像Su2B(図17(a))を表示する(ステップS120)。
〔言葉W3を発した場合〕
図18は、撮像システム1の動作時に通信機器3のユーザが行う第2アドバイス操作(言葉W3)、及び撮像装置2に表示される第2重畳画像の一例を示す図である。
通信機器3のユーザが「右」等の言葉W3を発した場合には、通信機器3は、第2入力部32からの言葉W3に対応する音声データを解析して、右側からの撮影のアドバイスに関する第2動作指示情報を生成し(ステップS214)、撮像装置2に送信する(ステップS215)。
一方、撮像装置2は、第2動作指示情報を受信する(ステップS118:Yes)と、当該第2動作指示情報に基づいて、撮像装置2のユーザCUに右側から撮影をさせるために、人が把持したカメラを右側に移動していく動作を擬似的に表現した第2擬似画像Q2C(図18(a))を生成する(ステップS119)。そして、撮像装置2は、ライブビュー画像W101に対して、第2擬似画像Q2C、及び右方向の矢印画像A2C(図18(a))を重畳した第2重畳画像Su2C(図18(a))を表示する(ステップS120)。
〔言葉W4を発した場合〕
図19は、撮像システム1の動作時に通信機器3のユーザが行う第2アドバイス操作(言葉W4)、及び撮像装置2に表示される第2重畳画像の一例を示す図である。
通信機器3のユーザが「左」等の言葉W4を発した場合には、通信機器3は、第2入力部32からの言葉W4に対応する音声データを解析して、左側からの撮影のアドバイスに関する第2動作指示情報を生成し(ステップS214)、撮像装置2に送信する(ステップS215)。
一方、撮像装置2は、第2動作指示情報を受信する(ステップS118:Yes)と、当該第2動作指示情報に基づいて、撮像装置2のユーザCUに左側から撮影をさせるために、人が把持したカメラを左側に移動していく動作を擬似的に表現した第2擬似画像Q2D(図19(a))を生成する(ステップS119)。そして、撮像装置2は、ライブビュー画像W101に対して、第2擬似画像Q2D、及び左方向の矢印画像A2D(図19(a))を重畳した第2重畳画像Su2D(図19(a))を表示する(ステップS120)。
〔言葉W5を発した場合〕
図20は、撮像システム1の動作時に通信機器3のユーザが行う第2アドバイス操作(言葉W5)、及び撮像装置2に表示される第2重畳画像の一例を示す図である。
通信機器3のユーザが「近く」等の言葉W5を発した場合には、通信機器3は、第2入力部32からの言葉W5に対応する音声データを解析して、近い位置からの撮影のアドバイスに関する第2動作指示情報を生成し(ステップS214)、撮像装置2に送信する(ステップS215)。
一方、撮像装置2は、第2動作指示情報を受信する(ステップS118:Yes)と、当該第2動作指示情報に基づいて、撮像装置2のユーザCUに近い位置から撮影をさせるために、人が把持したカメラを当該人に近付けていく動作を擬似的に表現した第2擬似画像Q2E(図20(a))を生成する(ステップS119)。そして、撮像装置2は、ライブビュー画像W101に対して、第2擬似画像Q2E、及びカメラから人に向かう矢印画像A2E(図20(a))を重畳した第2重畳画像Su2E(図20(a))を表示する(ステップS120)。
〔言葉W6を発した場合〕
図21は、撮像システム1の動作時に通信機器3のユーザが行う第2アドバイス操作(言葉W6)、及び撮像装置2に表示される第2重畳画像の一例を示す図である。
通信機器3のユーザが「遠く」等の言葉W6を発した場合には、通信機器3は、第2入力部32からの言葉W6に対応する音声データを解析して、遠い位置からの撮影のアドバイスに関する第2動作指示情報を生成し(ステップS214)、撮像装置2に送信する(ステップS215)。
一方、撮像装置2は、第2動作指示情報を受信する(ステップS118:Yes)と、当該第2動作指示情報に基づいて、撮像装置2のユーザCUに遠い位置から撮影をさせるために、人が把持したカメラを当該人から遠ざけていく動作を擬似的に表現した第2擬似画像Q2F(図21(a))を生成する(ステップS119)。そして、撮像装置2は、ライブビュー画像W101に対して、第2擬似画像Q2F、及び人からカメラに向かう矢印A2F(図21(a))を重畳した第2重畳画像Su2F(図21(a))を表示する(ステップS120)。
〔言葉W7を発した場合〕
図22は、撮像システム1の動作時に通信機器3のユーザが行う第2アドバイス操作(言葉W7)、及び撮像装置2に表示される第2重畳画像の一例を示す図である。
通信機器3のユーザが「止めて」等の言葉W7を発した場合には、通信機器3は、第2入力部32からの言葉W7に対応する音声データを解析して、撮像装置2の位置が適切である旨のアドバイスに関する第2動作指示情報を生成し(ステップS214)、撮像装置2に送信する(ステップS215)。
一方、撮像装置2は、第2動作指示情報を受信する(ステップS118:Yes)と、当該第2動作指示情報に基づいて、撮像装置2のユーザCUに撮像装置2の移動を停止させるために、人を静止させる動作を擬似的に表現した第2擬似画像Q2G(図22(a))を生成する(ステップS119)。そして、撮像装置2は、ライブビュー画像W101に対して、第2擬似画像Q2G、及び「Stop」という文字画像TG(図22(a))を重畳した第2重畳画像Su2G(図22(a))を表示する(ステップS120)。
以上説明した本実施の形態2によれば、上述した実施の形態1と同様の効果の他、以下の効果を奏する。
本実施の形態2に係る撮像装置2は、動作指示情報が当該撮像装置2と被写体との位置関係のアドバイスに関する第2動作指示情報である場合には、当該撮像装置2と被写体との位置関係を変更するための第2擬似画像を生成し表示する。
このため、通信機器3のユーザは、携帯電話等の他の通信手段を利用することなく、撮像装置2のユーザに対して撮影スポットの他、撮像装置2と被写体との位置関係についてもアドバイスをすることができる。
また、本実施の形態2に係る撮像装置2は、通信機器3のユーザが指示した撮影スポットの近くに当該撮像装置2のユーザが到達した場合には、当該撮像装置2と被写体との位置関係のアドバイスを受けるモードに自動的に変更される。
このため、撮像装置2のユーザは、通信機器3のユーザから撮影スポットのアドバイスを受けた後、当該撮像装置2と被写体との位置関係のアドバイスを受けるために、再度、撮像装置2と通信機器3との通信を開始させる作業を行う必要がない。
また、本実施の形態2に係る撮像装置2は、当該撮像装置2のユーザによる第1入力部23への撮影条件設定操作に応じて、当該操作により入力等された撮影条件に関する撮影条件情報を通信機器3に送信する。そして、通信機器3は、最新のライブビュー画像に対して撮影条件情報に基づく撮影条件を重畳した条件重畳画像を表示する。
このため、通信機器3のユーザは、当該条件重畳画像から、撮像装置2のユーザが希望する撮影条件(例えば、モデル風等)を把握し、当該撮影条件に応じたアドバイス(撮像装置2と被写体との位置関係のアドバイス)をすることができる。
(実施の形態2の変形例)
図23は、本発明の実施の形態2の変形例に係る撮像システム1Cの構成を示すブロック図である。
上述した実施の形態2では、通信機器3は、当該通信機器3のユーザが発した言葉に応じて第2アドバイス操作があったと判断していた(ステップS213:Yes)が、これに限られない。
例えば、図23に示すように、撮像システム1Cを構成する通信機器3Cとして、上述した実施の形態2で説明した通信機器3に対して、第1方位取得部22と同様の機能を有する第2方位取得部37を追加する。第2方位取得部37は、通信機器3Cの方位(姿勢)に関する第2方位情報を取得する。そして、通信機器3Cは、条件重畳画像を表示している際(ステップS212)に、当該通信機器3Cのユーザにより通信機器3Cの姿勢が変更され、第2方位取得部37にて取得された第2方位情報に基づく通信機器3Cの方位が変更された場合に、第2アドバイス操作があったと判断しても構わない。例えば、第2表示部31の表示画面が上方に向くように通信機器3Cの姿勢が変更された場合には、通信機器3Cは、ローアングルでの撮影のアドバイスに関する第2動作指示情報を生成し、撮像装置2に送信する。
また、上述した実施の形態2では、通信機器3は、当該通信機器3のユーザが発した言葉(音声データ)を解析して第2動作指示情報を生成及び送信していたが、これに限られず、当該音声データを第2動作指示情報としてそのまま送信し、当該解析を撮像装置2に行わせる構成としても構わない。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
本実施の形態3に係る撮像システムは、上述した実施の形態1で説明した撮像システム1に対して、擬似画像を生成する機能を、撮像装置ではなく、通信機器に持たせた点が異なるのみである。
〔撮像システムの構成〕
図24は、本発明の実施の形態3に係る撮像システム1Dの構成を示すブロック図である。
本実施の形態3に係る撮像システム1Dを構成する撮像装置2Dは、図24に示すように、上述した実施の形態1で説明した撮像装置2(図1)に対して、擬似画像生成部283が省略されている。
また、本実施の形態3に係る撮像システム1Dを構成する通信機器3Dは、図24に示すように、上述した実施の形態1で説明した通信機器3(図1)に対して、動作指示情報生成部363が省略され、擬似画像生成部283と同様の機能を有する擬似画像生成部364が付加されている。
〔撮像システムの動作〕
次に、上述した撮像システム1Dの動作について説明する。
以下では、撮像システム1Dの動作として、撮像装置2Dの動作、及び通信機器3Dの動作を順に説明する。
〔撮像装置の動作〕
図25は、撮像装置2Dの動作を示すフローチャートである。
撮像装置2Dの動作は、上述した実施の形態1で説明した撮像装置2の動作(図4)に対して、図25に示すように、ステップS108,S110,S111の代わりにステップS121,S110D,S111Dをそれぞれ付加し、ステップS109を省略した点が異なる。
このため、以下では、上記異なる点のみを説明する。
ステップS121において、第1通信制御部281は、通信機器3Dから第1通信部24を介して、第1擬似画像、及び撮影スポット(目標位置)の経度及び緯度に関する目標位置情報を受信したか否かを判断する。
第1擬似画像及び目標位置情報を受信していないと判断された場合(ステップS121:No)には、撮像装置2Dは、ステップS113に移行する。
一方、第1擬似画像及び目標位置情報を受信したと判断された場合(ステップS121:Yes)には、第1制御部28Dは、第1メモリ部25に当該第1擬似画像及び目標位置情報を記憶する。そして、第1表示制御部282は、ステップS110Dにおいて、第1メモリ部25に記憶された最新のライブビュー画像データに対応するライブビュー画像に対して、第1メモリ部25に記憶された第1擬似画像を重畳した第1重畳画像を第1表示部291に表示させる。
続いて、位置判定部285は、ステップS111Dにおいて、第1メモリ部25に記憶された目標位置情報、及び位置取得部21にて取得された位置情報に基づいて、撮像装置2Dの現在位置が目標位置情報に基づく目標位置から所定距離の範囲内に位置しているか否かを判定する。
撮像装置2Dの現在位置が目標位置から所定距離の範囲内に位置していないと判定された場合(ステップS111D:No)には、撮像装置2Dは、ステップS113に移行する。
一方、撮像装置2Dの現在位置が目標位置から所定距離の範囲内に位置していると判定された場合(ステップS111D:Yes)には、撮像装置2Dは、ステップS112に移行する。
〔通信機器の動作〕
図26は、通信機器3Dの動作を示すフローチャートである。
通信機器3Dの動作は、上述した実施の形態1で説明した通信機器3の動作(図5)に対して、図26に示すように、ステップS208,S209の代わりにステップS216,S217をそれぞれ付加した点が異なる。
このため、以下では、上記異なる点のみを説明する。
ステップS206の後、擬似画像生成部364は、通信機器3Dのユーザによる第2入力部32への第1アドバイス操作(第1動作指示(撮影スポットのアドバイス)に関する操作)があったか否かを判断する(ステップS207)。
第1アドバイス操作がないと判断された場合(ステップS207:No)には、通信機器3Dは、ステップS201に戻る。
一方、第1アドバイス操作があったと判断した場合(ステップS207:Yes)には、擬似画像生成部364は、上述した実施の形態1で説明したステップS109と同様に、第1動作指示に応じた撮像装置2Dのユーザの動作を擬似的に表現した第1擬似画像を生成する(ステップS216)。
具体的に、擬似画像生成部364は、ステップS216において、第2通信部33を介して受信した撮像装置2Dの位置情報及び第1方位情報、並びに目標位置情報(第1動作指示に応じた撮影スポット(目標位置)の経度及び緯度に関する情報)に基づいて、撮像装置2Dのユーザを第1動作指示情報に基づく撮影スポットに導くための第1擬似画像を生成する。
続いて、第2通信制御部361は、第2通信部33を介して、ステップS216にて生成された第1擬似画像、及び目標位置情報を撮像装置2Dに送信する(ステップS217)。この後、通信機器3Dは、ステップS201に戻る。
以上説明した本実施の形態3のように、擬似画像を生成する機能を通信機器3Dに持たせた場合であっても、上述した実施の形態1と同様の効果を奏する。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1〜3によってのみ限定されるべきものではない。
上述した実施の形態1〜3では、被写体として撮像装置2,2Dのユーザを例示したが、これに限られず、撮像装置2,2Dのユーザ以外を被写体としても構わない。
上述した実施の形態1〜3では、撮像装置2,2Dは、当該撮像装置2,2Dのユーザによる第1入力部23へのアドバイス依頼操作や撮影条件設定操作に応じて、当該撮像装置2,2Dの位置情報及び第1方位情報や撮影条件情報を通信機器3,3C,3Dに送信していたが、これに限られない。
例えば、撮像装置は、アドバイスを行う人物を紹介する仲介者の所有する通信機器に上記位置情報及び第1方位情報や撮影条件情報を送信する。仲介者の所有する通信機器は、上記位置情報及び第1方位情報や撮影条件情報に基づく画像を表示する。そして、仲介者は、当該画像に基づいて、アドバイスを行う人物を選定し、当該アドバイスを行う人物が所有する通信機器に、上記位置情報及び第1方位情報や撮影条件情報を送信する。この後、上述した実施の形態1〜3と同様に、撮像装置2,2Dとアドバイスを行う人物が所有する通信機器との間で通信が行われる。
上述した実施の形態1〜3において、画像データを記録する(ステップS114)際に、当該画像データに対して、以下に示す情報を関連付けて記録しても構わない。
上述した実施の形態1〜3で説明した撮影形態は、撮像装置2,2Dのユーザ(カメラユーザ)と、通信機器3,3C,3Dのユーザ(遠隔カメラマン)との共同作業となる。このため、当該ユーザ同士の同意の下、共同で撮影をしたことを示す情報を、画像データに対して関連付けて記録しても構わない。また、通信機器3,3C,3Dのユーザを特定する情報を画像データに対して関連付けて記録しても構わない。さらに、画像データを記録する(ステップS114)までに、撮像装置2,2Dが通信機器3,3C,3Dに送信した情報や通信機器3,3C,3Dから受信した情報、撮像装置2,2Dのユーザによるユーザ操作の履歴を示す情報等を、画像データに対して関連付けて記録しても構わない。
このような情報を画像データに関連付けて記録しておけば、画像の検索性を改善し、著作権等の権利関係や、画像データの記録に関する責任の所在等を明確にすることが可能となる。
上述した実施の形態1〜3において、画像データを記録する(ステップS114)までの一連の作業を動画にして記録しても構わない。
このような動画を記録しておけば、記録(ステップS114)された画像データのメーキング動画となって、画像の楽しみ方を広げることが可能となる。なお、この場合、撮像装置2,2Dは、アドバイス依頼操作がなされた時点を含む所定の期間に生成された画像データ(ライブビュー画像データ)、当該撮像装置2,2Dのユーザが発した言葉に対応する音声データ、通信機器3,3C,3Dのユーザが発した言葉に対応する音声データ(通信機器3,3C,3Dから撮像装置2,2Dに送信される音声データ)を記録すればよい。
また、処理フローは、上述した実施の形態1〜3で説明したフローチャートにおける処理の順序に限られず、矛盾のない範囲で変更しても構わない。
さらに、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記録部に記録してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記録部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
1,1C,1D 撮像システム
2,2D 撮像装置
2A 本体部
2B 表示機構
3,3C,3D 通信機器
20 撮像部
21 位置取得部
22 第1方位取得部
23 第1入力部
24 第1通信部
25 第1メモリ部
26 第1記録部
27 回転判定部
28,28D 第1制御部
31 第2表示部
32 第2入力部
33 第2通信部
34 第2メモリ部
35 第2記録部
36,36D 第2制御部
37 第2方位取得部
261 第1プログラム記録部
262 画像データ記録部
281 第1通信制御部
282 第1表示制御部
283 擬似画像生成部
284 撮像制御部
285 位置判定部
291 第1表示部
351 第2プログラム記録部
352 地図情報記録部
361 第2通信制御部
362 第2表示制御部
363 動作指示情報生成部
364 擬似画像生成部
A1A〜A1F,A2A〜A2F 矢印画像
C 撮影条件
CU 撮像装置のユーザ
D 距離画像
L 光軸
M 地図画像
O 第1方位画像
P 位置画像
Q1A〜Q1F 第1擬似画像
Q2A〜Q2G 第2擬似画像
R 軸
S1〜S6 指定撮影スポット
Sc 条件重畳画像
Sp 指定画面
Su1A〜Su1F 第1重畳画像
Su2A〜Su2G 第2重畳画像
TG 文字画像
W1〜W7 言葉
W100,W101,W200,W201 ライブビュー画像

Claims (12)

  1. 被写体を撮像する撮像装置において、
    前記被写体を撮像して画像データを生成する撮像部と、
    画像を表示する第1表示部と、
    外部の通信機器と情報を送受信可能に接続する第1通信部と、
    当該撮像装置の位置に関する位置情報を取得する位置取得部と、
    当該撮像装置にて撮像される方位に関する第1方位情報を取得する第1方位取得部と
    前記第1通信部を介して、前記通信機器から当該撮像装置のユーザに対する動作指示に関する動作指示情報を受信する第1通信制御部と、
    前記第1通信部を介して前記動作指示情報を受信した場合に、当該動作指示情報に基づく動作指示に応じた当該撮像装置のユーザの動作を擬似的に表現した擬似画像を生成する擬似画像生成部と、
    前記擬似画像生成部にて生成された前記擬似画像を前記第1表示部に表示させる第1表示制御部と
    を備え
    前記動作指示情報は、
    特定の場所での撮影を指示する第1動作指示に関する第1動作指示情報を含み、
    前記擬似画像生成部は、
    前記第1通信部を介して前記第1動作指示情報を受信した際に前記位置取得部及び前記第1方位取得部にてそれぞれ取得された前記位置情報及び前記第1方位情報、並びに当該第1動作指示情報に基づいて、当該撮像装置のユーザを当該第1動作指示情報に基づく特定の場所に導くための前記擬似画像を生成する
    ことを特徴とする撮像装置。
  2. 前記擬似画像生成部は、
    前記位置情報、及び前記第1動作指示情報に基づいて、当該撮像装置の現在位置から前記特定の場所までの距離に関する距離画像を生成し、
    前記第1表示制御部は、
    前記擬似画像及び前記距離画像を前記第1表示部に表示させる
    ことを特徴とする請求項に記載の撮像装置。
  3. 前記第1通信制御部は、
    前記第1通信部を介して、前記位置取得部にて取得された前記位置情報を前記通信機器に送信する
    ことを特徴とする請求項1または2に記載の撮像装置。
  4. 前記第1通信制御部は、
    前記第1通信部を介して、前記撮像部にて生成された前記画像データを前記通信機器に送信し、
    前記動作指示情報は、
    当該撮像装置と前記被写体との位置関係の変更を指示する第2動作指示に関する第2動作指示情報を含み、
    前記擬似画像生成部は、
    前記第2動作指示情報に基づいて、当該撮像装置のユーザに前記位置関係を変更させるための前記擬似画像を生成する
    ことを特徴とする請求項1〜のいずれか一つに記載の撮像装置。
  5. 前記動作指示情報は、
    特定の場所での撮影を指示する第1動作指示に関する第1動作指示情報を含み、
    当該撮像装置は、
    前記第1通信部を介して受信した前記第1動作指示情報、及び前記位置取得部にて取得された位置情報に基づいて、当該撮像装置の現在位置が前記第1動作指示情報に基づく特定の場所から所定距離の範囲内に位置しているか否かを判定する位置判定部と、
    を備え、
    前記擬似画像生成部は、
    前記位置判定部にて当該撮像装置の現在位置が前記特定の場所から所定距離の範囲内に位置していると判定された場合に、前記第2動作指示情報に基づいて、当該撮像装置のユーザに前記位置関係を変更させるための前記擬似画像を生成する
    ことを特徴とする請求項に記載の撮像装置。
  6. 撮影条件を指示する第1操作を受け付ける第1操作受付部を備え、
    前記第1通信制御部は、
    前記第1操作受付部が前記第1操作を受け付けた場合に、前記第1通信部を介して、前記撮影条件に関する撮影条件情報を前記通信機器に送信する
    ことを特徴とする請求項4または5に記載の撮像装置。
  7. 前記被写体は、
    当該撮像装置のユーザであり、
    前記第1表示制御部は、
    当該撮像装置のユーザが前記撮像部にて撮像されることで生成された画像データに対応する画像と、前記擬似画像とを前記第1表示部に表示させ、当該撮像装置のユーザに対して、前記動作指示情報に基づく動作指示に応じた動作を促す
    ことを特徴とする請求項1〜のいずれか一つに記載の撮像装置。
  8. 請求項1〜のいずれか一つに記載の撮像装置と、
    前記撮像装置との間で情報を送受信可能に接続する通信機器とを備え、
    前記通信機器は、
    前記撮像装置のユーザに対する動作指示に関する第2操作を受け付ける第2操作受付部と、
    前記撮像装置との間で情報を送受信可能に接続する第2通信部と、
    前記第2操作受付部が前記第2操作を受け付けた場合に、前記第2通信部を介して、前記動作指示に関する動作指示情報を前記撮像装置に送信する第2通信制御部とを備える
    ことを特徴とする撮像システム。
  9. 被写体を撮像する撮像装置と、前記撮像装置との間で情報を送受信可能に接続される通信機器とを備えた撮像システムにおいて、
    前記通信機器は、
    前記撮像装置のユーザに対する動作指示に関する第2操作を受け付ける第2操作受付部と、
    前記第2操作受付部が前記第2操作を受け付けた場合に、前記動作指示に応じた前記撮像装置のユーザの動作を擬似的に表現した擬似画像を生成する擬似画像生成部と、
    前記撮像装置と情報を送受信可能に接続する第2通信部と、
    画像を表示する第2表示部と、
    前記第2通信部を介して受信した画像データに対応する画像を前記第2表示部に表示させる第2表示制御部と、
    当該通信機器の方位に関する第2方位情報を取得する第2方位取得部と、
    前記第2通信部を介して、前記擬似画像を前記撮像装置に送信する第2通信制御部と、
    を備え、
    前記撮像装置は、
    前記被写体を撮像して画像データを生成する撮像部と、
    画像を表示する第1表示部と、
    前記通信機器と情報を送受信可能に接続する第1通信部と、
    前記第1通信部を介して、前記通信機器から前記擬似画像を受信し、かつ、前記撮像部にて生成された画像データを前記通信機器に送信する第1通信制御部と、
    前記第1通信部を介して前記擬似画像を受信した場合に、当該擬似画像を前記第1表示部に表示させる第1表示制御部と
    を備え
    前記第2操作受付部は、
    前記第2方位取得部にて取得された前記第2方位情報に基づく当該通信機器の方位が変更されたことを前記第2操作として受け付ける
    ことを特徴とする撮像システム。
  10. 前記第1通信制御部は、
    前記第1通信部を介して、前記撮像部にて生成された画像データを前記通信機器に送信し、
    前記通信機器は、
    画像を表示する第2表示部と、
    前記第2通信部を介して受信した前記画像データに対応する画像を前記第2表示部に表示させる第2表示制御部と、
    当該通信機器の方位に関する第2方位情報を取得する第2方位取得部とを備え、
    前記第2操作受付部は、
    前記第2方位取得部にて取得された前記第2方位情報に基づく当該通信機器の方位が変更されたことを前記第2操作として受け付ける
    ことを特徴とする請求項に記載の撮像システム。
  11. 被写体を撮像する撮像装置が行う撮像方法において、
    当該撮像装置の位置に関する位置情報を取得する位置取得ステップと、
    当該撮像装置にて撮像される方位に関する第1方位情報を取得する第1方位取得ステップと
    外部の通信機器から前記撮像装置のユーザに対する動作指示に関する動作指示情報を受信した場合に、当該動作指示情報に基づく動作指示に応じた前記撮像装置のユーザの動作を擬似的に表現した擬似画像を生成する擬似画像生成ステップと、
    前記擬似画像生成ステップにて生成した前記擬似画像を表示する表示ステップと
    を含み、
    前記動作指示情報は、
    特定の場所での撮影を指示する第1動作指示に関する第1動作指示情報を含み、
    前記擬似画像生成ステップは、
    前記第1動作指示情報を受信した際に前記位置取得ステップ及び前記第1方位取得ステップにてそれぞれ取得された前記位置情報及び前記第1方位情報、並びに当該第1動作指示情報に基づいて、当該撮像装置のユーザを当該第1動作指示情報に基づく特定の場所に導くための前記擬似画像を生成する
    ことを特徴とする撮像方法。
  12. 請求項11に記載の撮像方法を撮像装置に実行させる
    ことを特徴とする撮像プログラム。
JP2013238313A 2013-11-18 2013-11-18 撮像装置、撮像システム、撮像方法、及び撮像プログラム Active JP6289047B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013238313A JP6289047B2 (ja) 2013-11-18 2013-11-18 撮像装置、撮像システム、撮像方法、及び撮像プログラム
CN201480003042.9A CN104798365B (zh) 2013-11-18 2014-05-30 摄像装置、摄像系统和摄像方法
PCT/JP2014/064503 WO2015072167A1 (ja) 2013-11-18 2014-05-30 撮像装置、撮像システム、撮像方法、及び撮像プログラム
US14/711,205 US9681054B2 (en) 2013-11-18 2015-05-13 Imaging apparatus, imaging system, imaging method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013238313A JP6289047B2 (ja) 2013-11-18 2013-11-18 撮像装置、撮像システム、撮像方法、及び撮像プログラム

Publications (2)

Publication Number Publication Date
JP2015099994A JP2015099994A (ja) 2015-05-28
JP6289047B2 true JP6289047B2 (ja) 2018-03-07

Family

ID=53057115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013238313A Active JP6289047B2 (ja) 2013-11-18 2013-11-18 撮像装置、撮像システム、撮像方法、及び撮像プログラム

Country Status (4)

Country Link
US (1) US9681054B2 (ja)
JP (1) JP6289047B2 (ja)
CN (1) CN104798365B (ja)
WO (1) WO2015072167A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10083532B2 (en) * 2015-04-13 2018-09-25 International Business Machines Corporation Sychronized display of street view map and video stream
JP6828465B2 (ja) * 2017-01-30 2021-02-10 セイコーエプソン株式会社 内視鏡操作支援システム
CN111432074B (zh) * 2020-04-21 2021-06-29 青岛联合创智科技有限公司 一种辅助手机用户进行图片信息采集的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3968507B2 (ja) 2002-02-22 2007-08-29 ソニー株式会社 撮像装置、撮像システムおよび撮像動作制御方法
JP4470105B2 (ja) * 2004-05-20 2010-06-02 ノーリツ鋼機株式会社 ナビゲーションシステム及びプログラム
US8098899B2 (en) * 2005-11-14 2012-01-17 Fujifilm Corporation Landmark search system for digital camera, map data, and method of sorting image data
TW200818884A (en) * 2006-09-20 2008-04-16 Macnica Inc Control system of image photographing apparatus, as digital camera, digital video-camera or the like using a mobile communication terminal, and image photographing apparatus
JP4965475B2 (ja) * 2008-02-05 2012-07-04 オリンパス株式会社 仮想移動表示装置
JP5200780B2 (ja) * 2008-09-08 2013-06-05 ソニー株式会社 撮影装置および方法、並びにプログラム
JP2011172094A (ja) * 2010-02-19 2011-09-01 Nikon Corp 撮像装置
JP2012109852A (ja) * 2010-11-18 2012-06-07 Nec Corp 遠隔画像表示システム、装置および方法
JP5907660B2 (ja) * 2011-02-28 2016-04-26 オリンパス株式会社 撮像装置
JP2013042255A (ja) * 2011-08-12 2013-02-28 Canon Marketing Japan Inc 撮影装置、その制御方法、及びプログラム
KR101882442B1 (ko) * 2011-12-21 2018-07-26 엘지전자 주식회사 이동 단말기, 서버, 이동 단말기 제어 방법 및 서버의 제어 방법
JP2013183306A (ja) * 2012-03-02 2013-09-12 Nec Casio Mobile Communications Ltd 撮像装置、撮像方法、及びプログラム
JPWO2014178228A1 (ja) * 2013-04-30 2017-02-23 ソニー株式会社 クライアント端末、表示制御方法、プログラム、およびシステム

Also Published As

Publication number Publication date
CN104798365B (zh) 2018-02-02
WO2015072167A1 (ja) 2015-05-21
US9681054B2 (en) 2017-06-13
CN104798365A (zh) 2015-07-22
US20150249788A1 (en) 2015-09-03
JP2015099994A (ja) 2015-05-28

Similar Documents

Publication Publication Date Title
EP3503068A1 (en) Vehicle and control method
CN107707817B (zh) 一种视频拍摄方法及移动终端
JP5255674B2 (ja) データ送信操作機器、および、データ送信制御方法
JP2013532338A (ja) ジェスチャーベースの遠隔制御のための方法および装置
JP6060536B2 (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2017033619A1 (ja) 撮像システム及び撮像制御方法
EP2748933A1 (en) Gesture-based input mode selection for mobile devices
JPWO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN103970500A (zh) 一种图片显示的方法及装置
JP6289047B2 (ja) 撮像装置、撮像システム、撮像方法、及び撮像プログラム
JP6370056B2 (ja) 撮像装置、通信機器、及び撮像方法
JP2008042628A (ja) 携帯型受信装置及び、携帯型受信装置の動作方法
CN111338474B (zh) 虚拟对象位姿校准方法及装置、存储介质和电子设备
JP6029292B2 (ja) 通信機器、通信方法およびプログラム
JP2020005147A (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
CN111147744B (zh) 拍摄方法、数据处理方法、装置、电子设备及存储介质
JP5514062B2 (ja) 電子機器、情報付き撮像画面表示方法及びプログラム
US20200150688A1 (en) Movable body and remote guidance system
JP2018099297A (ja) 制御装置、制御方法、及び医療用観察システム
CN107317986B (zh) 终端装置、信息取得系统及其信息取得方法
CN113432620B (zh) 误差估计方法、装置、车载终端及存储介质
KR101763938B1 (ko) 위치정보 기반의 영상데이터의 처리 방법 및 장치
CN108089462B (zh) 电动设备的控制方法、装置、移动终端设备及电动设备
CN111158791A (zh) 配置文件更新方法、装置及系统、存储介质
JP2015139124A (ja) 画像生成装置、画像生成システム、画像生成方法、及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150423

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180206

R151 Written notification of patent or utility model registration

Ref document number: 6289047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250