JP7122669B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP7122669B2
JP7122669B2 JP2017208790A JP2017208790A JP7122669B2 JP 7122669 B2 JP7122669 B2 JP 7122669B2 JP 2017208790 A JP2017208790 A JP 2017208790A JP 2017208790 A JP2017208790 A JP 2017208790A JP 7122669 B2 JP7122669 B2 JP 7122669B2
Authority
JP
Japan
Prior art keywords
communication
digital camera
function
smartphone
external device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017208790A
Other languages
English (en)
Other versions
JP2019083378A (ja
Inventor
聖史 大岸
豊 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017208790A priority Critical patent/JP7122669B2/ja
Priority to US16/172,743 priority patent/US10827109B2/en
Publication of JP2019083378A publication Critical patent/JP2019083378A/ja
Application granted granted Critical
Publication of JP7122669B2 publication Critical patent/JP7122669B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/15Setup of multiple wireless link connections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • H04W88/06Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0037Topological details of the connection
    • H04N2201/0039Connection via a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0048Type of connection
    • H04N2201/006Using near field communication, e.g. an inductive loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0074Arrangements for the control of a still picture apparatus by the connected apparatus
    • H04N2201/0075Arrangements for the control of a still picture apparatus by the connected apparatus by a user operated remote control device, e.g. receiving instructions from a user via a computer terminal or mobile telephone handset
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/19Connection re-establishment

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Telephone Function (AREA)

Description

本開示は、他の機器から通信を介して遠隔操作可能な撮像装置に関する。
特許文献1は、他の通信装置(例えば、スマートフォン)へライブビュー表示用の画像データを送信し、他の通信装置から制御コマンドを受信する通信装置(例えば、撮像装置)を開示する。特許文献1の通信装置は、他の通信装置との間で複数の通信経路を使用して通信を行う通信部と、通信部におけるそれぞれの通信経路に対して通信機能を割り当てる通信機能割当部と、通信部の通信状況を視認可能に表示部に表示させる表示制御部と、を具備する。この構成により、機能毎の通信経路の容易な割り当てを可能にしている。
特開2016-174220号公報
本開示は、複数の通信経路を介して外部機器と通信可能な撮像装置であって、外部機器から遠隔で起動された時に迅速に所望の機能を開始できる撮像装置を提供する。
本開示の一態様の撮像装置は、外部機器から遠隔操作が可能な撮像装置である。撮像装置は、外部機器と第1の通信を行なう第1の通信部と、外部機器と第2の通信を行なう第2の通信部と、外部機器から遠隔で起動されたときに実行される機能として、少なくとも第1の機能または第2の機能を設定する設定部と、設定された機能にしたがい撮像装置の動作を制御する制御部と、を備える。第1の機能は、第1の通信部を介して外部機器へ画像データを送信しかつ外部機器から遠隔操作のための操作信号を受信する機能である。第2の機能は、第2の通信部を介して外部機器から操作信号を受信する機能である。制御部は、第1の機能が設定されている場合、外部機器から遠隔で起動されたときに、最初に第1の通信を確立し、その後に第2の通信を確立する。
本開示によれば、外部機器から遠隔で起動された時に迅速に所望の機能(第1の機能)を開始できる撮像装置を提供できる。
デジタルカメラとスマートフォンからなる撮像システムの構成図 デジタルカメラの電気的構成図 スマートフォンの電気的構成図 デジタルカメラにおいて表示される、遠隔操作時の起動モードを設定するためのアイコンを説明した図 スマートフォンにおいて表示される、遠隔起動を指示するためのアイコンを説明した図 遠隔操作/ライブビューモードにおけるデジタルカメラとスマートフォン間の動作シーケンスを示す図 デジタルカメラとスマートフォン間のシーケンスであって、Wi-Fi接続よりも前にBluetooth接続を確立する場合の動作シーケンスを示す図 シャッタリモコンモードにおけるデジタルカメラとスマートフォン間の動作シーケンスを示す図 デジタルカメラにおける遠隔起動時の処理を示すフローチャート
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
〔1-1.構成〕
図1は、本開示の実施の形態1にかかる撮像システムの構成を示す図である。撮像システム10は、デジタルカメラ100(撮像装置の一例)と、スマートフォン200(外部機器の一例)とを含む。
デジタルカメラ100とスマートフォン200とは互いにWi-Fi(登録商標)規格及びBluetooth(登録商標)規格に準拠した通信が可能である。デジタルカメラ100とスマートフォン200間の通信を利用して、例えば、デジタルカメラ100は撮影中の画像をスマートフォン200へリアルタイムで転送し、スマートフォン200でライブビュー表示を行うことができる。ここで、ライブビューとは、デジタルカメラ100で撮像された画像(動画)をリアルタイムでスマートフォン200に表示する機能である。ユーザは、ライブビュー表示された画像を参照することで被写体の状況を確認でき、撮影画像の構図を決定することができる。また、スマートフォン200は、デジタルカメラ100に対して、デジタルカメラ100を遠隔操作するための操作信号を送信することができる。すなわち、スマートフォン200からデジタルカメラ100を遠隔操作することができる。
図2は、デジタルカメラ100の電気的構成図である。デジタルカメラ100は、光学系110を介して形成された被写体像を画像センサ115で撮像する。画像センサ115は撮像した被写体像に基づき画像データ(RAWデータ)を生成する。画像処理部120は、撮像により生成された画像データに対して各種処理を施す。コントローラ135は、画像処理部120にて処理された画像データをメモリカード142に記録する。また、コントローラ135は、メモリカード142に記録された画像データを、使用者による操作部150の操作にしたがい液晶モニタ130に表示(再生)させることができる。以下、デジタルカメラ100を構成する各構成要素を説明する。
光学系110は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ(OIS)、絞り、シャッタ、等を含む。光学系110に含まれる各種レンズは、何枚から構成されるものであっても、何群から構成されるものであってもよい。
画像センサ115は、光学系110を介して形成された被写体像を撮像して画像データを生成する。画像センサ115は、所定のフレームレート(例えば、30フレーム/秒)で新しいフレームの画像データを生成する。画像センサ115における、撮像データの生成タイミングおよび電子シャッタ動作は、コントローラ135によって制御される。なお、画像センサとして、CMOSイメージセンサ、CCDイメージセンサ、またはNMOSイメージセンサなど、様々な種類の画像センサを用いることができる。
画像処理部120は、画像センサ115から出力された撮像データに対して各種の処理を施した後、メモリカード142に記録する。また、画像処理部120は、メモリカード142から読み出した画像データに各種の処理を施して、液晶モニタ130に表示するための画像を生成する。各種処理としては、ホワイトバランス補正、ガンマ補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理部120は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。
液晶モニタ130は、デジタルカメラ100の背面に備わる。液晶モニタ130は、画像処理部120にて処理された画像データに基づく画像を表示する。なお、液晶モニタに代えて、有機ELモニタなど、他のモニタを用いてもよい。
コントローラ135はCPUを含み、デジタルカメラ100全体の動作を統括制御する。また、コントローラ135は、画像処理部120などと共に1つの半導体チップで構成されてもよい。図示していないが、コントローラ135はROMを内蔵する。ROMには、例えば、他の通信機器(例えば、スマートフォン200)とのWi-Fi通信を確立するために必要なSSID(Servic Set Identifier)、WEPキー(Wired Equivalent Privacy Key)等が格納されている。コントローラ135は、必要に応じて、ROMからSSID、WEPキーを読み出すことができる。また、ROMには、CPUにより実行される、オートフォーカス制御(AF制御)や通信制御に関するプログラムの他、デジタルカメラ100全体の動作を統括制御するためのプログラムが記憶されている。また、コントローラ135は、CPUの作業領域として機能するRAMを内蔵する。
バッファメモリ125は、画像処理部120やコントローラ135のワークメモリとして機能する記録媒体である。バッファメモリ125は、DRAM(Dynamic Random Access Memory)などにより実現される。
カードスロット140はメモリカード142をデジタルカメラ100に接続する手段である。カードスロット140は、メモリカード142を電気的及び機械的に接続可能である。メモリカード142は、内部にフラッシュメモリ等の記録素子を備えた外部記録媒体である。メモリカード142は、画像処理部120で生成される画像データなどのデータを格納できる。
フラッシュメモリ145は不揮発性の記録媒体である。
操作部150は、デジタルカメラ100の外装に設けられた操作釦や操作レバー等のハードキーの総称であり、使用者による操作を受け付ける。操作部150は、例えば、レリーズ釦、モードダイヤルを含む。操作部150は液晶モニタ130に重畳して取り付けられたタッチパネルも含む。操作部150はユーザによる操作を受け付けると、ユーザ操作に対応した操作信号をコントローラ135に送信する。
Wi-Fiモジュール155は、通信規格IEEE802.11またはWi-Fi規格に準拠した通信を行う通信モジュール(回路)である。デジタルカメラ100は、Wi-Fiモジュール155を介して、Wi-Fiモジュールを搭載した他の機器と通信することができる。デジタルカメラ100は、Wi-Fiモジュール155を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。なお、Wi-Fiモジュールに代えて、他の通信規格に準拠した通信を行う通信モジュールを使用してもよい。すなわち、通信モジュールとして、比較的通信ビットレートが高く、通信エリアが数メートル以上である通信が可能な通信モジュールを使用できる。
Bluetoothモジュール160は、Bluetooth Low Energy(BLE)規格に準拠した通信を行うためのモジュール(回路)である。デジタルカメラ100は、Bluetoothモジュール160を介して他の機器とBLE規格に準拠した通信を行うことができる。
図3は、スマートフォン200の電気的構成図である。スマートフォン200は、画像処理部205にて生成された画像データが示す画像を液晶モニタ215に表示することができる。液晶モニタ215の表面にはタッチパネル210が配置されており、ユーザによるタッチ操作を受け付けることができる。また、スマートフォン200は操作部230を有し、操作部230上で、タッチパネル210による操作以外の操作を行うことができる。コントローラ225は、Wi-Fiモジュール235、Bluetoothモジュール240を介して他の機器と通信することができる。
画像処理部205は、フラッシュメモリ245から読み出した画像データに各種の処理を施して、液晶モニタ215に表示するための画像を生成する。各種処理としては、伸張処理等が挙げられるが、これらに限定されない。画像処理部205は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。
タッチパネル210は、使用者の指等の接触を検出して操作情報をコントローラ225に出力する入力デバイスである。タッチパネル210は、液晶モニタ215の表面に配置されている。タッチパネル210は、抵抗膜方式でも、静電容量方式でも、他の方式であっても構わない。
液晶モニタ215は、コントローラ225から指示された画面を表示する表示デバイスである。液晶モニタに換えて、有機ELモニタを使用してもよい。
バッファメモリ220は、コントローラ225が各種処理動作を実行するために必要な情報を一時的に格納するメモリである。
コントローラ225は、スマートフォン200を構成する各部の動作を制御する。コントローラ225は、画像処理部205、タッチパネル210、液晶モニタ215、バッファメモリ220、操作部230、Wi-Fiモジュール235及びBluetoothモジュール240に電気的に接続されている。
Wi-Fiモジュール235は、通信規格IEEE802.11に準拠した通信を行う通信モジュールである。スマートフォン200は、Wi-Fiモジュール235を介して、Wi-Fiモジュールを搭載した他の機器と通信することができる。スマートフォン200は、Wi-Fiモジュール235を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。
Bluetoothモジュール240は、Bluetooth Low Energy(BLE)規格に準拠した通信を行うためのモジュール(回路)である。スマートフォン200は、Bluetoothモジュール240を介して他の機器とBluetooth規格に準拠した通信を行うことができる。
フラッシュメモリ245は、スマートフォン200で撮影した画像データ及びデジタルカメラ100から転送された画像データ等を格納する。フラッシュメモリ245は、コントローラ225により実行され、後述する機能を実現するカメラ連携アプリケーションを格納している。カメラ連携アプリケーションにより、デジタルカメラ100から画像データを受信してライブビュー表示を行ったり、デジタルカメラ100に対する遠隔操作を行ったりすることが可能となる。
スマートフォン200はさらに、電話機能、インターネット通信機能、及びカメラ機能等を備えている。
〔1-2.動作〕
以下、デジタルカメラ100とスマートフォン200における、遠隔起動時の通信接続に関する動作を説明する。
デジタルカメラ100とスマートフォン200は互いにWi-Fi通信およびBluetooth通信を介して通信が可能である。
デジタルカメラ100とスマートフォン200間の通信接続が確立されている場合、デジタルカメラ100は、スマートフォン200から、Bluetooth通信を介して、時間同期情報、GPS位置信号、及びリモートシャッタ操作のための操作信号(以下「シャッタ操作信号」という)を受信することができる。また、デジタルカメラ100は、Wi-Fi通信を介して、スマートフォン200から、遠隔操作に関する操作信号を受信することができる。また、デジタルカメラ100は、Wi-Fi通信を介して、スマートフォン200へ、画像センサ115で撮像した画像を示す画像データをリアルタイムで送信することができる。このとき、スマートフォン200は、デジタルカメラ100から受信した画像データに基づきライブビュー表示を行うことができる。
また、デジタルカメラ100すなわちコントローラ135がスリープ状態(以下「電源オフ状態」という)にある場合でも、Bluetoothモジュール160には、BLE規格にしたがって微小な電力が供給されている。このため、Bluetoothモジュール160は、デジタルカメラ100が電源オフ状態であっても、スマートフォン200から、デジタルカメラ100を起動するための起動信号を受信することができる。Bluetoothモジュール160は起動信号を受信すると、デジタルカメラ100のコントローラ135を起動する。すなわち、スマートフォン200はデジタルカメラ100を遠隔で起動することができる。
本実施の形態のデジタルカメラ100は、遠隔で起動されたときの起動モードとして「遠隔操作/ライブビューモード」と「シャッタリモコンモード」との2つのモードを有する。
遠隔操作/ライブビューモードは、スマートフォン200におけるライブビュー表示と、スマートフォン200からのデジタルカメラ100の遠隔操作を可能とするモードである。遠隔操作/ライブビューモードは、後述する図6で示すシーケンスにより実現される。遠隔操作/ライブビューモードにおいては、デジタルカメラ100は、スマートフォン200との間で無線LAN通信を優先して接続する。
シャッタリモコンモードは、スマートフォン200からデジタルカメラ100のシャッタの遠隔操作を可能とするモードである。シャッタリモコンモードは、後述する図8に示すシーケンスにより実現される。シャッタリモコンモードでは、デジタルカメラ100からスマートフォン200へ画像データは転送されず、スマートフォン200はライブビュー表示を実施しない。シャッタリモコンモードにおいては、デジタルカメラ100は、スマートフォン200との間でBluetooth通信を優先して接続する。
デジタルカメラ100において、遠隔起動時に、遠隔操作/ライブビューモードとシャッタリモコンモードのいずれの起動モードでデジタルカメラ100を起動させるかを設定することができる。
図4は、このような設定を行うための、デジタルカメラ100の液晶モニタ130に表示される設定画面である。図4に示すように設定画面は2つのアイコン136、138を含む。アイコン136は、デジタルカメラ100を遠隔操作/ライブビューモードに設定するためのアイコンである。アイコン138は、デジタルカメラ100をシャッタリモコンモードに設定するためのアイコンである。ユーザによりいずれかのアイコン136または138が選択されることにより、デジタルカメラ100は遠隔操作/ライブビューモードまたはシャッタリモコンモードに設定される。
図5は、スマートフォン200の液晶モニタ215に表示される、デジタルカメラ100の遠隔起動を指示するためのアイコンを説明した図である。図5に示す画面は、スマートフォン200にインストールされたカメラ連携アプリケーションの機能により表示される。アイコン216は、デジタルカメラ100を遠隔操作/ライブビューモードで起動させたいときにユーザが選択するアイコンである。アイコン218は、デジタルカメラ100をシャッタリモコンモードで起動させたいときにユーザが選択するアイコンである。ユーザによりアイコン216が選択された場合、スマートフォン200は後述する図6に示すシーケンスで動作する。ユーザによりアイコン218が選択された場合、スマートフォン200は後述する図8に示すシーケンスで動作する。
図4及び図5に示すように、デジタルカメラ100とスマートフォン200の間で、それぞれのモードに対するアイコンのデザインを共通にしている。これによってユーザの操作時の利便性を向上している。
以下、図6を参照し、遠隔操作/ライブビューモードでのデジタルカメラ100及びスマートフォン200の通信接続に関する動作を説明する。なお、以下の説明では、デジタルカメラ100とスマートフォン200は事前にBluetooth規格にしたがったペアリングがなされているとする。ペアリングとは、無関係な機器と通信しないように、互いの機器を通信相手として認証する処理のことである。また、デジタルカメラ100は、事前に遠隔操作/ライブビューモードに設定されているとする。
デジタルカメラ100が電源オフ状態にあるときに、ユーザによって、スマートフォン200上に表示された、遠隔操作/ライブビューモード用のアイコン216が選択されると、スマートフォン200のコントローラ225は、Bluetoothモジュール240を介してデジタルカメラ100へ起動要求として起動信号を送信する(S1)。
デジタルカメラ100のBluetoothモジュール160は、スマートフォン200から起動信号を受信すると、コントローラ135を起動する(S2)。これにより、コントローラ135は電源オフ状態から復帰し、デジタルカメラ100全体を動作可能状態に制御する。
コントローラ135が起動すると、コントローラ135は、デジタルカメラ100とスマートフォン200の間で共通する種々のドライバを初期化する(S3)。このとき、スマートフォン200側でも共通する種々のドライバの初期化が行われる。
共通するドライバの初期化が完了すると、遠隔操作/ライブビューモードにおいては、コントローラ135は、最初に、Wi-Fiモジュール155を介して、スマートフォン200との間で無線LAN接続(すなわちWi-Fi接続)を行う(S4)。このため、コントローラ135は、Wi-Fi接続の初期化を行い、デジタルカメラ100とスマートフォン200との間の無線LAN接続(すなわちWi-Fi接続)を確立する(S5)。
次に、コントローラ135は、デジタルカメラ100とスマートフォン200との間でDLNA(登録商標)(Digital Living Network Alliance)接続を確立する(S6)。DLNA接続が確立されると、デジタルカメラ100とスマートフォン200の間でコマンドやデータのやり取りのための通信路が確立される。デジタルカメラ100は、この通信路を介してスマートフォン200にライブビュー用の画像データを転送することが可能となる。スマートフォン200は、デジタルカメラ100から受信した画像データを用いてライブビュー機能が可能となる。なお、画像転送は所定のアプリケーションにより実現される。
DLNA接続が確立されると、コントローラ135は、スマートフォン200との間でBluetooth接続を行う(S7)。このため、コントローラ135は、Bluetooth通信機能の初期化を行い、Bluetooth接続を確立する(S8)。Bluetooth接続が確立されると、スマートフォン200は、Bluetooth通信を介して、デジタルカメラ100に対して、時間同期情報、GPS位置情報、および遠隔操作のために操作信号を送信することができる。
このように、本実施の形態では、遠隔操作/ライブビューモードにおいて、Bluetooth接続よりも前に無線LAN接続(Wi-Fi接続)を確立している。以下にこの理由を説明する。
図7は、無線LAN接続(Wi-Fi接続)よりも前にBluetooth接続を確立する場合のシーケンスを示した図である。一般にBluetooth接続の確立には時間(例えば、20秒)を要する。このため、図7に示すように、まず、Bluetooth接続を行い(S4b、S5b)、その後に無線LAN接続を行った場合(S6b、S7b)、途中のBluetooth接続の確立に時間を要するため、デジタルカメラ100の起動から無線LAN接続の完了までに時間がかかる。スマートフォン200におけるライブビュー機能は無線LAN接続が確立される必要がある。このため、デジタルカメラ100の起動から無線LAN接続の完了までに時間がかかると、ライブビュー開始までに時間がかかるという問題がある。
この問題を解決するため、本実施の形態では、図6に示すように無線LAN接続をBluetooth接続に先立って確立することにより、図7に示す場合と比較として、デジタルカメラ100とスマートフォン200間で無線LAN接続を確立するまでに要する時間を、Bluetooth接続に要する時間分だけ短縮できる。よって、デジタルカメラ100の起動からより早期にライブビュー機能を実現することができる。
図8は、シャッタリモコンモードで起動する場合のデジタルカメラ100及びスマートフォン200の動作シーケンスを示した図である。以下、シャッタリモコンモードにおけるデジタルカメラ100及びスマートフォン200の通信接続に関する動作を説明する。なお、以下の説明では、デジタルカメラ100はシャッタリモコンモードに設定されているとする。
デジタルカメラ100が電源オフ状態にあるときに、ユーザによって、スマートフォン200上に表示された、シャッタリモコンモード用のアイコン218が選択されると、スマートフォン200のコントローラ225は、Bluetoothモジュール240を介してデジタルカメラ100へ起動要求として起動信号を送信する(S21)。
デジタルカメラ100のBluetoothモジュール160は、スマートフォン200から起動信号を受信すると、コントローラ135を起動する(S22)。これにより、コントローラ135は電源オフから復帰し、デジタルカメラ100全体を動作可能状態に制御する。
その後、コントローラ135は、デジタルカメラ100とスマートフォン200の間で共通する種々のドライバを初期化する(S23)。スマートフォン200側でも共通する種々のドライバを初期化する。
共通するドライバの初期化が完了すると、シャッタリモコンモードにおいては、コントローラ135は、スマートフォン200との間でBluetooth接続を行う(S24)。すなわち、コントローラ135は、Bluetooth接続の初期化を行い、Bluetooth接続を確立する(S25)。これ以後、スマートフォン200は、Bluetooth通信を介して、デジタルカメラ100に対してシャッタ操作信号を送信することができ、デジタルカメラ100はスマートフォン200からシャッタ操作信号を受信することができる。
このとき、デジタルカメラ100とスマートフォン200間では無線LAN通信は自動で確立されない。デジタルカメラ100はスマートフォン200へ画像データを転送せず、スマートフォン200はライブビュー表示を行わない。なお、図8に示す動作の完了後に、ユーザの手動により、デジタルカメラ100とスマートフォン200間で無線LAN接続が確立されてもよい。
図9は、デジタルカメラ100の遠隔起動時の処理を示すフローチャートである。本処理は、デジタルカメラ100のコントローラ135により、スマートフォン200から遠隔要求を受けて起動されたときに実行される。
コントローラ135は、スマートフォン200からの遠隔要求にしたがいBluetoothモジュール160によって起動されると、起動モードの設定を確認する(S41)。
起動モードが遠隔操作/ライブビューモードに設定されている場合(S42でYES)、コントローラ135は、遠隔操作/ライブビューモードで起動する(S43)。すなわち、図6に示したシーケンスにしたがいスマートフォン200との間で、無線LAN接続およびBluetooth接続を確立する。このとき、コントローラ135は、画像データ転送機能をONにし(S44)、スマートフォン200へライブビュー表示用の画像データを無線LAN経由で転送する。また、コントローラ135は、無線LAN経由で、スマートフォン200から遠隔操作信号を受信する(S45)。コントローラ135は、スマートフォン200から受信した遠隔操作信号に応じた制御を行う。
一方、起動モードが遠隔操作/ライブビューモードに設定されていない場合、すなわち、リモコンシャッタモードに設定されている場合(S42でNO)、コントローラ135はリモコンシャッタモードで起動する(S46)。すなわち、図8に示したシーケンスにしたがいスマートフォン200との間で、Bluetooth接続を確立する。このとき、コントローラ135は、スマートフォン200との間で、自動での無線LAN接続は行わない。コントローラ135は、画像データ転送機能をOFFにし(S47)、スマートフォン200へライブビュー表示用の画像データは転送しない。また、コントローラ135は、Bluetooth経由で、スマートフォン200からシャッタ操作信号を受信する(S48)。コントローラ135は、スマートフォン200からシャッタ操作信号を受信すると、受信したタイミングで画像センサ115にて撮像された画像データをメモリカード142に記録する。
以上のように、デジタルカメラ100は設定にしたがい、遠隔起動されたときに、遠隔操作/ライブビューモードまたはリモコンシャッタモードで起動する。特に、遠隔操作/ライブビューモードで起動する際には、最初に、無線LAN通信(Wi-Fi通信)を確立し、その後にBluetooth通信を確立する。これにより、迅速に無線LAN通信を確立でき、迅速に画像転送を可能とすることができる。すなわち、デジタルカメラ100の遠隔起動から短い時間で、スマートフォン200においてライブビュー機能を実現することが可能となる。また、シャッタリモコンモードでは、無線LAN通信(Wi-Fi通信)を確立せずにBluetooth通信を確立する。これにより、デジタルカメラ100の遠隔起動から短い時間でBluetooth通信を利用した遠隔シャッタ操作が可能になる。
なお、デジタルカメラ100が電源オフ状態(スリープモード)であっても、デジタルカメラ100のBluetoothモジュール160はBLE規格にしたがいスマートフォン200へ状態通知が可能である。状態通知として、デジタルカメラ100において設定されている起動モード(遠隔操作/ライブビューモードまたはリモコンシャッタモード)を示す情報がスマートフォン200に送信される。スマートフォン200は、デジタルカメラ100から受信した情報に基づき、デジタルカメラ100において設定されている起動モードを判断し、デジタルカメラ100の起動モードに応じたシーケンスで動作する。すなわち、スマートフォン200は、デジタルカメラ100の起動モードに応じて、図6または図8に示すシーケンスのいずれかで動作する。デジタルカメラ100が遠隔操作/ライブビューモード及びリモコンシャッタモードのいずれにも対応していない場合、スマートフォン200は図7に示すシーケンスで動作してもよい。
〔1-3.効果、等〕
以上のように本実施の形態のデジタルカメラ100(撮像装置の一例)は、スマートフォン200(外部機器の一例)から遠隔操作が可能な撮像装置である。デジタルカメラ100は、スマートフォン200とWi-Fi通信(第1の通信の一例)を行なうWi-Fiモジュール155(第1の通信部の一例)と、スマートフォン200とBluetooth通信(第2の通信の一例)を行なうBluetoothモジュール160(第2の通信部の一例)と、スマートフォン200から遠隔で起動されたときに実行される機能として、少なくとも遠隔操作/ライブビューモード(第1の機能の一例)またはシャッタリモコンモード(第2の機能の一例)を設定する操作部150(設定部の一例)と、設定された機能にしたがいデジタルカメラの動作を制御するコントローラ135(制御部の一例)と、を備える。
遠隔操作/ライブビューモードは、Wi-Fiモジュール155を介してスマートフォン200へ画像データを送信しかつスマートフォン200から遠隔操作のための操作信号を受信するモード(機能)である。シャッタリモコンモードは、Bluetoothモジュール160を介してスマートフォン200から操作信号を受信するモード(機能)である。コントローラ135は、遠隔操作/ライブビューモードが設定されている場合、スマートフォン200から遠隔で起動されたときに、最初にWiFi通信の接続を確立し(図6のS4)、その後にBluetooth通信の接続を確立する(S7)。
以上の構成により、迅速に無線LAN通信を確立でき、迅速に画像転送を可能とすることができる。すなわち、デジタルカメラ100の遠隔起動から短い時間で、スマートフォン200においてライブビュー機能を実現することが可能となる。
また、コントローラ135は、シャッタリモコンモードが設定されている場合、スマートフォン200から遠隔で起動されたときに、WiFi通信の接続の確立を行わずに、Bluetooth通信の接続を確立する(図8のS24)。これにより、迅速にシャッタリモコン機能を実現できる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
上記の実施の形態では、デジタルカメラ100とスマートフォン200とは、Bluetooth通信とWi-Fi通信の2種類の通信を介して接続されたが、デジタルカメラ100とスマートフォン200間の通信はこれらに限定されない。他の通信規格に準拠した通信を用いても良い。
撮像装置の例としてデジタルカメラを説明したが、これに限定されない。撮像装置として、画像撮影機能と通信機能を有する電子機器(例えば、ビデオカメラ、スマートフォン、タブレット端末等)であればよい。また、外部機器の例としてスマートフォンを説明したが、これに限定されない。撮像装置と通信可能な機器であれば、任意の機器(例えば、タブレット端末)が外部機器として使用できる。
デジタルカメラ100のコントローラ135及びスマートフォン200のコントローラ225は、CPU、GPU、MPU、FPGA、ASIC等で構成することができる。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、外部機器から遠隔操作可能な撮像装置に適用できる。
10 撮像システム
100 デジタルカメラ
110 光学系
115 画像センサ
135 コントローラ
136、138、216、218 アイコン
155 Wi-Fiモジュール
160 Bluetoothモジュール
200 スマートフォン
225 コントローラ
235 Wi-Fiモジュール
240 Bluetoothモジュール

Claims (5)

  1. 外部機器から遠隔操作が可能な撮像装置であって、
    前記外部機器と第1の通信を行なう第1の通信部と、
    前記外部機器と第2の通信を行なう第2の通信部と、
    前記外部機器から遠隔で起動されたときに実行される機能として、少なくとも第1の機能または第2の機能を設定する設定部と、
    前記設定された機能にしたがい前記撮像装置の動作を制御する制御部と、を備え、
    前記第1の機能は、前記第1の通信部を介して前記外部機器へライブビュー用の画像データを送信しかつ前記外部機器から遠隔操作のための操作信号を受信する機能であり、前記第2の機能は、前記第2の通信部を介して前記外部機器から前記操作信号を受信する機能であり、
    前記制御部は、前記第1の機能が設定されている場合、前記外部機器から遠隔で起動されたときに、最初に前記第1の通信の接続を確立し、その後に前記第1の通信の接続を維持しつつ前記第2の通信の接続を確立し、前記第2の機能が設定されている場合、前記外部機器から遠隔で起動されたときに、前記第1の通信の接続を確立せずに、前記第2の通信の接続を確立する、
    撮像装置。
  2. 前記第2の機能において、前記制御部は、前記第1の通信部を介した前記外部機器への画像データの転送は行わず、前記第2の通信部を介して前記外部機器からシャッタ操作のための操作信号を受信する、
    請求項1に記載の撮像装置。
  3. 前記外部機器は、当該撮像装置が前記第1の機能により送信した画像データを受信したときに、受信した画像データを用いてライブビュー表示機能を実行する、
    請求項1に記載の撮像装置。
  4. 前記第1の通信はWi-Fi規格に準拠した通信であり、前記第2の通信はBluetooth規格に準拠した通信である、
    請求項1ないし3のいずれかに記載の撮像装置。
  5. 前記第2の通信部は、前記制御部がスリープ状態において前記外部機器から起動信号を受信すると、前記制御部を起動する、請求項1に記載の撮像装置。
JP2017208790A 2017-10-30 2017-10-30 撮像装置 Active JP7122669B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017208790A JP7122669B2 (ja) 2017-10-30 2017-10-30 撮像装置
US16/172,743 US10827109B2 (en) 2017-10-30 2018-10-27 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017208790A JP7122669B2 (ja) 2017-10-30 2017-10-30 撮像装置

Publications (2)

Publication Number Publication Date
JP2019083378A JP2019083378A (ja) 2019-05-30
JP7122669B2 true JP7122669B2 (ja) 2022-08-22

Family

ID=66245678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017208790A Active JP7122669B2 (ja) 2017-10-30 2017-10-30 撮像装置

Country Status (2)

Country Link
US (1) US10827109B2 (ja)
JP (1) JP7122669B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365895A (zh) * 2019-06-03 2019-10-22 浙江大华技术股份有限公司 摄像装置调节方法、系统、可读存储介质和设备
JP2022053356A (ja) * 2020-09-24 2022-04-05 キヤノン株式会社 通信装置、通信装置の制御方法、プログラム
JP2022119631A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 撮像装置、操作装置、制御方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012204862A (ja) 2011-03-23 2012-10-22 Nikon Corp 撮像システム、遠隔操作装置、遠隔操作方法、及び遠隔操作プログラム
JP2015180043A (ja) 2014-02-25 2015-10-08 キヤノン株式会社 通信装置、通信装置の制御方法およびプログラム
JP2016111569A (ja) 2014-12-08 2016-06-20 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP2016167644A (ja) 2013-08-19 2016-09-15 ソニー株式会社 撮像装置、制御方法、およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038295A (ja) 2002-06-28 2004-02-05 Toshiba Corp 情報処理装置及び電源制御方法
JP6187241B2 (ja) 2013-12-24 2017-08-30 ソニー株式会社 制御装置、電子機器、制御システム、および制御方法
WO2016148102A1 (ja) 2015-03-16 2016-09-22 オリンパス株式会社 通信装置、通信システム及び通信方法
JP6529794B2 (ja) 2015-03-16 2019-06-12 オリンパス株式会社 通信装置、通信システム、通信方法及び通信プログラム
JP6308199B2 (ja) * 2015-11-13 2018-04-11 カシオ計算機株式会社 撮像装置、通信制御方法及びプログラム
JP6656070B2 (ja) * 2016-04-25 2020-03-04 キヤノン株式会社 撮像装置およびその制御方法、プログラムならびにシステム
JP6821360B2 (ja) * 2016-08-31 2021-01-27 キヤノン株式会社 電子機器およびその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012204862A (ja) 2011-03-23 2012-10-22 Nikon Corp 撮像システム、遠隔操作装置、遠隔操作方法、及び遠隔操作プログラム
JP2016167644A (ja) 2013-08-19 2016-09-15 ソニー株式会社 撮像装置、制御方法、およびプログラム
JP2015180043A (ja) 2014-02-25 2015-10-08 キヤノン株式会社 通信装置、通信装置の制御方法およびプログラム
JP2016111569A (ja) 2014-12-08 2016-06-20 キヤノン株式会社 撮像装置、その制御方法、及びプログラム

Also Published As

Publication number Publication date
US20190132505A1 (en) 2019-05-02
JP2019083378A (ja) 2019-05-30
US10827109B2 (en) 2020-11-03

Similar Documents

Publication Publication Date Title
JP6238184B2 (ja) 撮像装置
US9288830B2 (en) Electronic device capable of communicating with another device
WO2013118487A1 (ja) 通信装置
KR101761106B1 (ko) 통신장치 및 그 제어 방법
JP7122669B2 (ja) 撮像装置
JP7033717B2 (ja) 撮像装置及び画像転送方法
JP2013214959A (ja) 通信装置
JP6503734B2 (ja) 情報処理装置、制御方法、およびプログラム
US10986247B2 (en) Communication apparatus, data transfer apparatus, and methods of controlling them
JP6821360B2 (ja) 電子機器およびその制御方法
US10512111B2 (en) Electronic apparatus and control method thereof
US9503590B2 (en) Imaging apparatus, method of controlling imaging apparatus, and program
JP6656070B2 (ja) 撮像装置およびその制御方法、プログラムならびにシステム
US11076110B2 (en) Communication apparatus and control method thereof
JP6761307B2 (ja) 撮像装置、電子機器およびその制御方法、通信システム
JP7122564B2 (ja) 撮像装置、電子機器及び撮像システム
US11503656B2 (en) Communication apparatus, method for controlling communication apparatus, and storage medium
JP7158886B2 (ja) 画像処理装置、電子機器、及び画像処理装置の制御方法
JP6776741B2 (ja) 処理装置、処理方法及びプログラム
JP2023067096A (ja) 無線通信装置およびその制御方法
JP2020129204A (ja) 通信装置およびその制御方法ならびにプログラム
JP2024015828A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210930

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210930

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220513

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220513

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220607

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220722

R151 Written notification of patent or utility model registration

Ref document number: 7122669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151