JPWO2018092596A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2018092596A1
JPWO2018092596A1 JP2018551566A JP2018551566A JPWO2018092596A1 JP WO2018092596 A1 JPWO2018092596 A1 JP WO2018092596A1 JP 2018551566 A JP2018551566 A JP 2018551566A JP 2018551566 A JP2018551566 A JP 2018551566A JP WO2018092596 A1 JPWO2018092596 A1 JP WO2018092596A1
Authority
JP
Japan
Prior art keywords
image
display panel
display
image processing
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018551566A
Other languages
English (en)
Other versions
JP7110985B2 (ja
Inventor
山本 大介
大介 山本
孝浩 片桐
孝浩 片桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018092596A1 publication Critical patent/JPWO2018092596A1/ja
Application granted granted Critical
Publication of JP7110985B2 publication Critical patent/JP7110985B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • H04N9/7925Processing of colour television signals in connection with recording for more than one processing mode for more than one standard
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/103Detection of image changes, e.g. determination of an index representative of the image change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本技術は、所望の速度で連写撮影を行うことができるようにする画像処理装置、画像処理方法、およびプログラムに関する。制御部は、画像の撮影周期に応じて表示パネルの駆動周波数を切り替える制御を行う。本技術は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、スマートフォン等、連写撮影機能を備える電子機器に適用できる。

Description

本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、表示駆動方式に関わらず、所望の速度で連写撮影を行うことができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
デジタルスチルカメラ(以下、単にカメラとも称する。)は、静止画だけでなく、動画も撮影可能である。動画の表示駆動方式には、例えば、NTSC方式とPAL方式があり、デジタルスチルカメラでは、表示駆動方式を設定する機能が搭載されている(例えば、特許文献1,2参照)。デジタルスチルカメラは、設定された表示駆動方式に従って、液晶パネルやファインダーの駆動周波数や作成(記録)する動画のフレームレートを変更する。また、カメラで撮影した動画を、テレビジョン受像機などの外部表示機器に出力して表示させる場合には、予めカメラの表示駆動方式を外部表示機器の表示駆動方式に合わせて撮影する必要がある。
一方で、近年、デジタルスチルカメラにおいて複数枚の静止画を高速に連続撮影する連写機能が飛躍的に向上しており、例えば、20fps(frame per second)で連写できるカメラも存在している。
特開平11−215441号公報 特開2004−336608号公報
しかしながら、連写撮影時の駆動も動画の表示駆動方式に依存するため、連写速度が表示駆動方式によって低下してしまうことがある。
例えば、カメラの連写速度が1/20秒ごとに一枚の静止画を撮影する20fpsの設定となっているとする。表示駆動方式がNTSC方式である場合、1/60秒で1フレーム更新されるため、20fpsで連写撮影するためには、1枚の静止画を3フレーム時間ごとに撮影すればよく、連写のタイミングが表示周期の整数倍となるので、カメラは20fpsで連写撮影できる。
一方、表示駆動方式がPAL方式である場合、1/50秒で1フレーム更新されるため、20fpsで連写撮影するためには、1枚の静止画を2.5フレーム時間ごとに撮影する必要がある。しかしながら、連写のタイミングは表示駆動のタイミングと同期をとる必要があるため、1枚の静止画を3フレーム時間ごとに撮影する連写速度になってしまい、連写速度は16.6fpsに低下してしまう。
本技術は、このような状況に鑑みてなされたものであり、表示駆動方式に関わらず、所望の速度で連写撮影を行うことができるようにするものである。
本技術の一側面の画像処理装置は、画像の撮影周期に応じて表示パネルの駆動周波数を切り替える制御を行う制御部を備える画像処理装置。
本技術の一側面の画像処理方法は、画像処理装置が、画像の撮影周期に応じて表示パネルの駆動周波数を切り替える制御を行うステップを含む。
本技術の一側面のプログラムは、コンピュータを、画像の撮影周期に応じて表示パネルの駆動周波数を切り替える制御を行う制御部として機能させるためのものである。
本技術の一側面においては、画像の撮影周期に応じて表示パネルの駆動周波数が切り替えられる。
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
記録装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
本技術の一側面によれば、表示駆動方式に関わらず、所望の速度で連写撮影を行うことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用したカメラの一実施の形態の構成例を示すブロック図である。 駆動方式の変更による黒画の発生を説明する図である。 動画がPAL方式のときの各画面と表示駆動方式との対応関係を示す図である。 連写撮影モードに変更時の駆動制御処理を説明するフローチャートである。 再生モードに変更時の駆動制御処理を説明するフローチャートである。 連写速度変更時の駆動制御処理を説明するフローチャートである。 外部表示機器接続の駆動制御処理を説明するフローチャートである。 動画がNTSC方式のときの各画面と表示駆動方式との対応関係を示す図である。 連写速度と駆動周波数の対応テーブルを示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.カメラのブロック図
2.各画面と表示駆動方式の対応関係
3.連写撮影モードに変更時の駆動制御処理フロー
4.再生モード変更時の駆動制御処理フロー
5.連写速度変更時の駆動制御処理フロー
6.外部表示機器接続時の駆動制御処理フロー
7.まとめ
8.変形例
9.コンピュータの例
<1.カメラのブロック図>
図1は、本技術を適用したカメラ(撮像装置)の一実施の形態の構成例を示すブロック図である。
図1のカメラ1は、静止画または動画を撮影する撮影モードと、撮影したコンテンツ(静止画または動画)を再生する再生モードの2つの状態モードを持ち、撮影モード内において、さらに、静止画を撮影する静止画モードと、動画を撮影する動画モードの2つの撮影動作モードを備えるデジタルスチルカメラである。また、カメラ1は、連写機能も備えており、静止画モードにおいて、予め設定した枚数(連写枚数)の静止画を連続撮影(連写撮影)することができる。
カメラ1において、被写体OBJの像が撮像レンズLNSを介してイメージセンサ11に投影され、受光される。イメージセンサ11は、被写体OBJを撮影する撮影部であり、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサで構成される。イメージセンサ11は、カメラ信号処理回路13から供給される同期信号に従って入射光の光量を画素単位で電気信号に変換し、画素信号としてA/Dコンバータ12に出力する。
A/Dコンバータ12は、イメージセンサ11から供給されるアナログの画素信号をデジタルの画像データに変換して、カメラ信号処理回路13に出力する。カメラ信号処理回路13は、A/Dコンバータ12から供給される画像データに対してホワイトバランスの補正およびガンマ補正などの処理を施し、さらにYUV形式の画像データに変換して、メモリコントローラ14に供給する。
メモリコントローラ14は、カメラ信号処理回路13から供給される画像データを、画像バス15を通じてメモリ16の表示用エリアに書き込む。このメモリ16の表示用エリアは、いわゆるビデオRAMを構成するもので、そのアドレスと表示画面上のドット位置とが対応している。
メモリコントローラ14は、メモリ16の表示用エリアに書き込まれた画像データを読み出し、画像バス15を通じて表示用信号処理回路17に供給する。表示用信号処理回路17は、画像データをRGB形式の画像データに変換するとともに、アナログ画像信号にD/A変換して、表示パネル18に供給し、カラー画像として表示させる。また、表示用信号処理回路17は、アナログ画像信号と同時にカラービデオ信号も形成し、外部出力端子19から出力して、テレビジョン受像機などの外部表示機器(図示せず)に表示させることもできる。
また、メモリコントローラ14は、メモリ16の表示用エリアに書き込まれた画像データを、画像バス15を通じて画像圧伸回路21に供給し、例えばJPEGフォーマットやMPEGフォーマット等の所定のフォーマットの符号化データに画像圧縮させる。この圧縮された符号化データは、画像バス15を通じてメモリ16の作業用エリアに一時的に記憶される。そして、メモリコントローラ14は、メモリ16の作業用エリアに書き込まれた符号化データを読み出し、マイクロコンピュータ22を介して半導体メモリ等の着脱可能な記憶メディア23に書き込む(保存する)。
記憶メディア23に書き込まれた画像データを再生(表示)する場合には、メモリコントローラ14が、マイクロコンピュータ22を介して記憶メディア23に保存された符号化データを読み出し、メモリ16の作業用エリアに一時的に記憶させる。そして、メモリコントローラ14は、メモリ16の作業用エリアに記憶させた符号化データを画像圧伸回路21に供給して元の画像データに伸長させた後、メモリ16の表示用エリアに書き込む。メモリ16の表示用エリアに書き込まれた画像データは、上記のように表示用信号処理回路17により処理されて、表示パネル18においてカラー画像として表示されたり、外部出力端子19からカラービデオ信号として出力される。
表示パネル18は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等の薄型ディスプレイで構成され、メモリ16の表示用エリアに書き込まれた静止画または動画を表示する。
同期信号生成回路24は、例えば、NTSC方式、PAL方式等の所定の表示駆動方式に合わせた周波数の同期信号を生成し、イメージセンサ11、カメラ信号処理回路13、表示用信号処理回路17等に供給する。
操作部31は、動画撮影と静止画撮影の撮影動作モードを切り替える撮影動作モードダイヤル、シャッタ操作を行うレリーズボタン、1秒間に連続撮影する枚数(以下、連写速度という)、シャッタ速度、絞り値などを調整する調整ダイヤル等の各種の操作ダイヤルや操作ボタンを含み、ユーザの操作を受け付け、受け付けた操作情報を制御部32に供給する。なお、表示パネル18にタッチパネルが重畳されている場合には、タッチパネルで指定された操作情報も、操作部31から制御部32に供給される。
制御部32は、不揮発メモリ33に記憶された動作設定情報や、操作部31が受け付けたユーザ操作に応じて、カメラ1全体の動作を制御する。動作設定情報には、表示パネル18の表示駆動方式や、連写速度などが含まれる。
不揮発メモリ33は、カメラ1の電源がオフされた状態でも記憶可能なメモリであり、カメラ1の各種の動作を設定する動作設定情報や、カメラ1の動作を制御するプログラム等を記憶する。
以上のように構成されるカメラ1では、表示パネル18の表示駆動方式として、NTSC方式とPAL方式の2種類の駆動方式が可能である。NTSC方式は、駆動周波数60Hzで1秒間に30枚の画像を表示する駆動方式であり、PAL方式は、駆動周波数50Hzで1秒間に25枚の画像を表示する駆動方式である。
制御部32は、動画を撮影したり、再生(表示)する場合、動作設定情報として不揮発メモリ33に記憶された表示駆動方式に従った駆動方式で、動画の撮影および再生(表示)を行うように制御する。この動作設定情報としての表示駆動方式は、ユーザの設定操作によって変更可能である。
例えば、動画の表示駆動方式としてNTSC方式が設定されている場合、制御部32は、同期信号生成回路24に60Hzの同期信号を生成させ、カメラ信号処理回路13、表示用信号処理回路17等に供給させる。
一方、動画の表示駆動方式としてPAL方式が設定されている場合、制御部32は、同期信号生成回路24に50Hzの同期信号を生成させ、カメラ信号処理回路13、表示用信号処理回路17等に供給させる。
表示駆動方式を変更する場合、駆動周波数が変更されるので、表示パネル18の再起動を行う必要がある。そのため、図2に示されるように、PAL方式からNTSC方式へ変更する場合、および、NTSC方式からPAL方式へ変更する場合のそれぞれにおいて、一瞬(0.5秒程度)、表示パネル18の画面を更新できない期間(例えば、黒画の状態)が発生する(以降、この期間中の表示パネル18の状態を黒画と表現する)。
ところで、上述したように、連写撮影時の駆動は、動画の表示駆動方式に依存するため、連写速度が表示駆動方式によって低下してしまうことがある。
連写速度が20fpsに設定されている場合、表示駆動方式がNTSC方式であれば、連写のタイミングが表示周期の整数倍のタイミングとなるので、カメラは20fpsで連写撮影できる。しかしながら、表示駆動方式がPAL方式である場合には、連写速度は16.6fpsに低下してしまう。
そこで、カメラ1では、表示駆動方式がNTSC方式およびPAL方式のどちらであっても、連写速度を設定値(いまの場合、20fps)から低下させることなく、連写撮影することができるように構成されている。
具体的には、カメラ1は、撮影動作モードとして、連写撮影を行う静止画モードをユーザが指定した場合、表示駆動方式を、動作設定情報に設定されている表示駆動方式に関わらず、現在の連写速度設定値が表示周期の倍数となる表示駆動方式に設定する。
例えば、連写速度が20fpsに設定されており、動作設定情報に設定されている表示駆動方式がPAL方式である場合には、表示駆動方式を、PAL方式ではなく、NTSC方式に変更して、20fpsの連写速度で連写撮影できるようにする。
ただし、表示駆動方式を、動作設定情報に設定されている表示駆動方式であるPAL方式から、NTSC方式に変更する場合には、上述したように、表示駆動方式を変更することによる黒画が発生するので、カメラ1は、黒画の発生回数をできるだけ少なくするように制御する。
即ち、本技術を適用したカメラ1は、連写速度を設定値(いまの場合、20fps)から低下させることなく、連写撮影することができるようにするとともに、黒画の発生回数をできるだけ少なくすることを目的とする制御を行う。
なお、以下の説明では、理解を容易にするため、カメラ1の不揮発メモリ33に動作設定情報として記憶されている表示駆動方式がPAL方式であり、連写速度は20fpsに設定されているものとする。20fpsの連写速度はカメラ1で可能な最高連写速度であるが、最高連写速度以外の任意の連写速度における場合でも同様である。
また、以下の説明では、撮影動作モードが静止画を撮影する静止画モードに設定された場合、設定された連写枚数で連写撮影を行う連写撮影モードが選択されるものとして説明する。静止画モードには、連写撮影モードのほか、例えば、1枚の静止画を撮影する1枚撮影モードもある。
<2.各画面と表示駆動方式の対応関係>
図3は、制御部32の制御によって表示パネル18に表示される各画面と、その各画面の表示駆動方式との対応関係を示している。
表示パネル18に表示される画面の種類には、PAL方式で駆動される、動画撮影画面G1、動画再生画面G2、及び、静止画再生画面G3と、NTSC方式で駆動される、静止画撮影画面G11、及び、静止画再生画面G12とがある。動画撮影画面G1と静止画撮影画面G11は、状態モードが撮影モードのときに表示される画面である。一方、動画再生画面G2、静止画再生画面G3、及び、静止画再生画面G12は、状態モードが再生モードのときに表示される画面である。
動作設定情報として記憶されている表示駆動方式がPAL方式であるため、動画を撮影する際の動画撮影画面G1と、撮影された動画を再生する際の動画再生画面G2は、いずれもPAL方式で表示される。従って、動画撮影画面G1および動画再生画面G2間の画面遷移S6では、表示駆動方式の変更がないので、黒画は発生しない。
一方、連写撮影モード(撮影モード)で静止画を撮影する際、表示駆動方式がPAL方式だと、連写速度は上述したように16.6fpsに低下してしまうので、制御部32は、表示駆動方式を、20fpsの連写速度を実現するためにNTSC方式に変更する。したがって、連写撮影モード(撮影モード)で静止画を撮影する際の静止画撮影画面G11は、NTSC方式で表示される。
そのため、動画撮影画面G1および静止画撮影画面G11間の画面遷移S1、動画再生画面G2および静止画撮影画面G11間の画面遷移S2、並びに、静止画再生画面G3から静止画撮影画面G11への画面遷移S3では、表示駆動方式の切替えが発生し、黒画が発生する。また、静止画再生画面G12から動画再生画面G2への画面遷移S4でも、黒画が発生する。
一方、撮影された静止画を再生する場合、表示パネル18の表示駆動方式は関係しないので、静止画再生画面は、その前の駆動方式から変えずに表示できる。したがって、連写撮影モードの静止画撮影画面G11から静止画再生画面G12への画面遷移S5では、黒画が発生しない。また、動画再生画面G2から静止画再生画面G3への画面遷移S7と、動画撮影画面G1から静止画再生画面G3への画面遷移S8でも、黒画は発生しない。
制御部32は、以上のように画面の表示駆動方式を制御することで、ユーザが多く利用する操作フローであると考えられる、「静止画の撮影と再生を繰り返す操作」、「動画の撮影と再生を繰り返す操作」、および、「動画の再生と静止画の再生を繰り返す操作」において、黒画を発生させなくしている。その結果、カメラ1では、黒画の発生回数をできるだけ少なくすることができる。
なお、静止画撮影画面G11から静止画再生画面G3への画面遷移は、静止画撮影画面G11から静止画再生画面G12への画面遷移S5が優先されるため発生しない。また、動画再生画面G2から静止画再生画面G12への画面遷移は、動画再生画面G2から静止画再生画面G3への画面遷移S7が優先されるため発生しない。
<3.連写撮影モードに変更時の駆動制御処理フロー>
図4は、状態モードを再生モードから連写撮影モードに変更する操作が行われたときに実行される駆動制御処理を示すフローチャートである。
ここで、状態モードが再生モードから連写撮影モードに変更される場合は、状態モードが再生モードから撮影モードに変更された場合で、かつ、撮影動作モードが静止画モードであって、特に連写撮影モードが選択されている場合である。
この処理は、静止画再生画面G3から静止画撮影画面G11への画面遷移S3、静止画再生画面G12から静止画撮影画面G11への画面遷移S5、動画再生画面G2から静止画撮影画面G11への画面遷移S2において実行される。なお、再生モードから連写撮影モードへの変更には含まれないが、撮影動作モードを動画モードから連写撮影モードに変更したときの、動画撮影画面G1から静止画撮影画面G11への画面遷移S1においても、この処理が実行される。
状態モードが再生モードから連写撮影モードに変更される操作が行われると、ステップS11において、制御部32は、設定されている連写fps時間が現在の表示周期の倍数となっているかを判定する。
ここで、連写fps時間とは、所定の連写速度(fps)のときの静止画1枚の撮影時間(撮影周期)を表す。例えば、連写速度が20fpsである場合、1秒間に20枚の連続撮影を行うので、静止画1枚の撮影時間(連写fps時間)は1/20秒である。例えば、表示パネル18の表示駆動方式がPAL方式となっており、連写速度が20fpsである場合、連写fps時間は現在の表示周期(1/50秒)の倍数ではない。また例えば、表示パネル18の表示駆動方式がNTSC方式となっており、連写速度が20fpsである場合、連写fps時間は現在の表示周期(1/60秒)の倍数である。
ステップS11で、設定されている連写fps時間が現在の表示周期の倍数ではないと判定された場合、処理はステップS12に進み、制御部32は、表示駆動方式を切り替え、処理を終了する。表示駆動方式がPAL方式で、連写速度が20fpsである場合、表示駆動方式がPAL方式からNTSC方式に切り替えられる。
一方、ステップS11で、設定されている連写fps時間が現在の表示周期の倍数であると判定された場合、ステップS12の処理がスキップされ、そのまま処理が終了する。この場合、表示駆動方式は切り替えられない。
<4.再生モード変更時の駆動制御処理フロー>
図5は、図4の反対の操作、即ち、状態モードを連写撮影モードから再生モードに変更する操作が行われたときに実行される駆動制御処理を示すフローチャートである。
この処理は、静止画撮影画面G11から静止画再生画面G12への画面遷移S5、静止画撮影画面G11から動画再生画面G2への画面遷移S2において実行される。
状態モードを連写撮影モードから再生モードに変更する操作が行われると、ステップS21において、制御部32は、再生対象として指定されているコンテンツである再生コンテンツが静止画コンテンツであるかを判定する。
ステップS21で、再生コンテンツが静止画コンテンツではない、即ち再生対象コンテンツが動画コンテンツであると判定された場合、処理はステップS22に進み、制御部32は、表示駆動方式を切り替え、処理を終了する。表示駆動方式がPAL方式からNTSC方式に切り替えられる。
一方、ステップS21で、再生コンテンツが静止画コンテンツである判定された場合、ステップS22の処理がスキップされ、処理が終了する。この場合、表示駆動方式は切り替えられない。
<5.連写速度変更時の駆動制御処理フロー>
図6は、連写撮影モードにおいて連写速度を変更する操作が行われたときに実行される駆動制御処理を示すフローチャートである。
連写撮影モードにおいて連写速度を変更する操作が行われると、ステップS31において、制御部32は、変更された連写速度の連写fps時間が現在の表示周期の倍数となっているかを判定する。
ステップS31で、連写fps時間が現在の表示周期の倍数ではないと判定された場合、処理はステップS32に進み、制御部32は、表示駆動方式を切り替え、処理を終了する。例えば、現在の表示駆動方式がPAL方式である場合、表示駆動方式がPAL方式からNTSC方式に切り替えられる。
一方、ステップS31で、連写fps時間が現在の表示周期の倍数であると判定された場合、ステップS32の処理がスキップされ、そのまま処理が終了する。この場合、表示駆動方式は切り替えられない。
以上のように、連写速度が変更された場合には、変更された連写速度の連写fps時間が現在の表示周期の倍数となっているかどうかが判定され、表示駆動方式が制御される。
<6.外部表示機器接続時の駆動制御処理フロー>
図7は、外部出力端子19に外部表示機器が接続されたときに実行される駆動制御処理を示すフローチャートである。
外部出力端子19に外部表示機器が接続されたことが検出されると、ステップS41において、制御部32は、接続された外部表示機器に現在の表示周期が対応しているか、即ち、現在の表示駆動方式と外部表示機器の表示駆動方式が一致しているかを判定する。
ステップS41で、接続された外部表示機器に現在の表示周期が対応していないと判定された場合、処理はステップS42に進み、制御部32は、表示駆動方式を切り替え、処理を終了する。例えば、現在の表示駆動方式がPAL方式で、外部表示機器の表示駆動方式がNTSC方式である場合、表示駆動方式がPAL方式からNTSC方式に切り替えられる。
一方、ステップS41で、接続された外部表示機器に現在の表示周期が対応していると判定された場合、ステップS42の処理がスキップされ、そのまま処理が終了する。この場合、表示駆動方式は切り替えられない。
図7の駆動制御処理では、接続された外部表示機器に表示駆動方式を合わせるように、表示駆動方式が制御される。したがって、外部表示機器の表示駆動方式によっては、変更後の表示周期の倍数が連写fps時間とならない場合があり、この場合、連写速度は、設定値よりも低くなることがある。そのため、例えば、動作設定情報によって、連写速度が低下しないことを優先する設定を可能とし、その設定が有効となっている場合には、接続された外部表示機器の表示駆動方式に合わせないように制御してもよい。
<7.まとめ>
以上のように、制御部32は、静止画を連写撮影モードで撮影する際、静止画の撮影周期に応じて、表示パネル18の駆動周波数を切り替える制御を行う。より具体的には、連写fps時間が現在の表示パネル18の表示周期の倍数であるかに応じて、表示パネル18の表示駆動方式が切り替えられる。
上述したように、例えば、動画撮影時の駆動方式がPAL方式であり、連写速度が20fpsに設定されている場合、連写fps時間(1/20秒)は現在の表示周期(1/50秒)の倍数ではないので、表示パネル18の表示駆動方式が倍数となるNTSC方式に切り替えられる。
あるいはまた、例えば、動画撮影時の駆動方式がNTSC方式であり、連写速度が25fpsに設定されている場合、連写fps時間(1/25秒)は現在の表示周期(1/60秒)の倍数ではないので、表示パネル18の表示駆動方式が倍数となるPAL方式に切り替えられる。
図8は、動画撮影時の駆動方式がNTSC方式であり、連写速度が25fpsに設定されている場合の、表示パネル18に表示される各画面と、その各画面の表示駆動方式との対応関係を示している。
図8は、図3に対して、NTSC方式駆動とPAL方式駆動が入れ替わった関係にある。
このように、連写撮影を行う際には、連写fps時間が現在の表示周期の倍数となる駆動方式に変更することによって、動作設定情報に設定されている表示駆動方式に関わらず、所望の速度(最高連写速度)で連写撮影を行うことができる。
<8.変形例>
上述した実施の形態では、カメラ1において、表示パネル18の駆動方式として、駆動周波数60HzのNTSC方式と、駆動周波数50HzのPAL方式の2種類が設定可能な場合の例について説明した。
しかし、本技術は、設定された連写速度に対応する連写fps時間が表示周期の倍数であるかどうかを判定し、駆動周波数を切り替えるものであるので、NTSC方式とPAL方式の表示駆動方式のみに限定されるものではなく、例えば、54Hzなど、任意の駆動周波数であっても適用可能である。
また例えば、表示パネル18で設定可能な駆動周波数の種類(数)も2種類ではなく、3種類以上としてもよい。
また、上述した実施の形態では、ユーザによって設定された連写速度を現在の駆動周波数で実行可能か否かを、設定されている連写速度に対応する連写fps時間が現在の表示周期の倍数となっているか否かを判定することにより、制御部32が判断した。
しかし、例えば、図9に示されるような、連写速度と、その連写速度を実現可能な駆動周波数をテーブルとして予め記憶しておき、そのテーブルを参照することにより、設定された連写速度が現在の駆動周波数で実行可能か否かを判断し、必要に応じて切り替えるようにしてもよい。
図9のテーブルには、カメラ1で設定可能な連写速度として、20fps、25fps、27fps、および、30fpsがあり、それぞれの連写速度での連写撮影を可能とする駆動周波数が、対応付けて記憶されている。連写速度が20fpsおよび30fpsのときの駆動周波数は、60Hzであり、連写速度が25fpsのときの駆動周波数は、50Hzであり、連写速度が27fpsのときの駆動周波数は、54Hzである。
図9は、連写速度と表示パネル18の駆動周波数との対応テーブルの例であるが、テーブルは、画像の撮影周期と表示パネル18の表示周期との対応を示すものであればよい。
<9.コンピュータの例>
本技術は、上述した撮像装置(デジタルビデオカメラを含む)に限らず、静止画と動画の撮影機能と、表示パネルに表示させる表示機能を備える任意の画像処理装置、例えば、スマートフォンなどの携帯端末、携帯ゲーム機、タブレット端末、携帯用音楽再生装置などの電子機器にも適用することができる。
また、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図10は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、及びドライブ110が接続されている。
入力部106は、キーボード、マウス、マイクロホンなどよりなる。出力部107は、ディスプレイ、スピーカなどよりなる。記憶部108は、ハードディスクや不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体111を駆動する。
撮像部121は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子により構成される。撮像部121は、被写体を撮像し、撮像した被写体の画像データを、入出力インタフェース105を介してCPU101等に供給する。
以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述した一連の処理が行われる。
コンピュータでは、プログラムは、リムーバブル記録媒体111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した複数の機能の全てまたは一部を適宜組み合わせた形態を採用することができる。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
画像の撮影周期に応じて表示パネルの駆動周波数を切り替える制御を行う制御部
を備える画像処理装置。
(2)
前記制御部は、前記静止画1枚の撮影周期が現在の前記表示パネルの表示周期の倍数であるかに応じて、前記表示パネルの駆動周波数を切り替える
前記(1)に記載の画像処理装置。
(3)
前記制御部は、前記静止画1枚の撮影周期と前記表示パネルの表示周期との対応テーブルに応じて、前記表示パネルの駆動周波数を切り替える
前記(1)または(2)に記載の画像処理装置。
(4)
前記静止画1枚の撮影周期は、静止画を連写撮影するときの周期である
前記(1)乃至(3)のいずれかに記載の画像処理装置。
(5)
前記制御部は、前記表示パネルの駆動周波数として、NTSC方式の60HzとPAL方式の50Hzとを切り替える
前記(1)乃至(4)のいずれかに記載の画像処理装置。
(6)
静止画を撮影する撮影部と、前記表示パネルとをさらに備え、
前記制御部は、静止画を前記表示パネルに表示する場合には、前記表示パネルの駆動周波数を切り替えない
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)
前記画像の撮影周期を動作設定情報として記憶する記憶部をさらに備え、
前記制御部は、前記動作設定情報として記憶されている前記画像の撮影周期に応じて、表示パネルの駆動周波数を切り替える制御を行う
前記(1)乃至(6)のいずれかに記載の画像処理装置。
(8)
ユーザによる前記画像の撮影周期の設定操作を受け付ける操作部をさらに備え、
前記制御部は、ユーザにより設定された前記画像の撮影周期に応じて、表示パネルの駆動周波数を切り替える制御を行う
前記(1)乃至(7)のいずれかに記載の画像処理装置。
(9)
前記制御部は、複数の画像を前記撮影周期で撮影する場合に、前記表示パネルの駆動周波数を切り替える制御を行う
前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10)
前記制御部は、再生モードから撮影モードに変更された場合に、前記画像の撮影周期に応じて表示パネルの駆動周波数を切り替える制御を行う
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(11)
前記制御部は、撮影モードから再生モードに変更された場合で、かつ、再生コンテンツが静止画である場合、前記表示パネルの駆動周波数を切り替えない
前記(1)乃至(10)のいずれかに記載の画像処理装置。
(12)
前記制御部は、外部表示機器が接続されたことが検出された場合に、前記外部表示機器の駆動方式に応じて、前記表示パネルの駆動周波数を切り替える制御をさらに行う
前記(1)乃至(11)のいずれかに記載の画像処理装置。
(13)
画像処理装置が、
画像の撮影周期に応じて表示パネルの駆動周波数を切り替える制御を行う
ステップを含む画像処理方法。
(14)
コンピュータを、
画像の撮影周期に応じて表示パネルの駆動周波数を切り替える制御を行う制御部
として機能させるためのプログラム。
1 カメラ, 11 イメージセンサ, 13 カメラ信号処理回路, 17 表示用信号処理回路, 18 表示パネル, 24 同期信号生成回路, 31 操作部, 32 制御部, 33 不揮発メモリ, 101 CPU, 102 ROM, 103 RAM, 106 入力部, 107 出力部, 108 記憶部, 109 通信部, 110 ドライブ, 121 撮像部

Claims (14)

  1. 画像の撮影周期に応じて表示パネルの駆動周波数を切り替える制御を行う制御部
    を備える画像処理装置。
  2. 前記制御部は、前記画像の撮影周期が現在の前記表示パネルの表示周期の倍数であるかに応じて、前記表示パネルの駆動周波数を切り替える
    請求項1に記載の画像処理装置。
  3. 前記制御部は、前記画像の撮影周期と前記表示パネルの表示周期との対応テーブルに応じて、前記表示パネルの駆動周波数を切り替える
    請求項1に記載の画像処理装置。
  4. 前記画像の撮影周期は、静止画を連写撮影するときの周期である
    請求項1に記載の画像処理装置。
  5. 前記制御部は、前記表示パネルの駆動周波数として、NTSC方式の60HzとPAL方式の50Hzとを切り替える
    請求項1に記載の画像処理装置。
  6. 静止画を撮影する撮影部と、前記表示パネルとをさらに備え、
    前記制御部は、静止画を前記表示パネルに表示する場合には、前記表示パネルの駆動周波数を切り替えない
    請求項1に記載の画像処理装置。
  7. 前記画像の撮影周期を動作設定情報として記憶する記憶部をさらに備え、
    前記制御部は、前記動作設定情報として記憶されている前記画像の撮影周期に応じて、表示パネルの駆動周波数を切り替える制御を行う
    請求項1に記載の画像処理装置。
  8. ユーザによる前記画像の撮影周期の設定操作を受け付ける操作部をさらに備え、
    前記制御部は、ユーザにより設定された前記画像の撮影周期に応じて、表示パネルの駆動周波数を切り替える制御を行う
    請求項1に記載の画像処理装置。
  9. 前記制御部は、複数の画像を前記撮影周期で撮影する場合に、前記表示パネルの駆動周波数を切り替える制御を行う
    請求項1に記載の画像処理装置。
  10. 前記制御部は、再生モードから撮影モードに変更された場合に、前記画像の撮影周期に応じて表示パネルの駆動周波数を切り替える制御を行う
    請求項1に記載の画像処理装置。
  11. 前記制御部は、撮影モードから再生モードに変更された場合で、かつ、再生コンテンツが静止画である場合、前記表示パネルの駆動周波数を切り替えない
    請求項1に記載の画像処理装置。
  12. 前記制御部は、外部表示機器が接続されたことが検出された場合に、前記外部表示機器の駆動方式に応じて、前記表示パネルの駆動周波数を切り替える制御をさらに行う
    請求項1に記載の画像処理装置。
  13. 画像処理装置が、
    画像の撮影周期に応じて表示パネルの駆動周波数を切り替える制御を行う
    ステップを含む画像処理方法。
  14. コンピュータを、
    画像の撮影周期に応じて表示パネルの駆動周波数を切り替える制御を行う制御部
    として機能させるためのプログラム。
JP2018551566A 2016-11-17 2017-11-02 画像処理装置、画像処理方法、およびプログラム Active JP7110985B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016224019 2016-11-17
JP2016224019 2016-11-17
PCT/JP2017/039695 WO2018092596A1 (ja) 2016-11-17 2017-11-02 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018092596A1 true JPWO2018092596A1 (ja) 2019-10-17
JP7110985B2 JP7110985B2 (ja) 2022-08-02

Family

ID=62145692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018551566A Active JP7110985B2 (ja) 2016-11-17 2017-11-02 画像処理装置、画像処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US11412173B2 (ja)
EP (1) EP3544292B1 (ja)
JP (1) JP7110985B2 (ja)
WO (1) WO2018092596A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113140177A (zh) * 2021-04-26 2021-07-20 武汉华星光电技术有限公司 一种多路复用电路、显示面板以及显示面板的驱动方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117539A (ja) * 1999-10-14 2001-04-27 Nec Corp 動画再生方法およびこの方法を用いたシステム
JP2004159191A (ja) * 2002-11-07 2004-06-03 Seiko Epson Corp 画像データに応じたフレームレートの変換
JP2005176246A (ja) * 2003-12-15 2005-06-30 Canon Inc 撮像方法、撮像装置、プログラム及び記憶媒体
JP2006109113A (ja) * 2004-10-06 2006-04-20 Hitachi Ltd 画像再生装置及び画像再生方法
JP2007316599A (ja) * 2006-04-25 2007-12-06 Casio Comput Co Ltd 表示制御装置、及び、表示制御プログラム
JP2010087708A (ja) * 2008-09-30 2010-04-15 Casio Computer Co Ltd 撮像装置、及びプログラム
JP2017040908A (ja) * 2015-08-21 2017-02-23 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 表示装置及びその駆動方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090122207A1 (en) * 2005-03-18 2009-05-14 Akihiko Inoue Image Display Apparatus, Image Display Monitor, and Television Receiver
US20070247544A1 (en) * 2006-04-25 2007-10-25 Casio Computer Co., Ltd. Display control apparatus, display control method and recording medium that stores display control program
US8502878B2 (en) * 2008-12-12 2013-08-06 Olympus Imaging Corp. Imaging apparatus having a changeable operating mode responsive to an inclined orientation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117539A (ja) * 1999-10-14 2001-04-27 Nec Corp 動画再生方法およびこの方法を用いたシステム
JP2004159191A (ja) * 2002-11-07 2004-06-03 Seiko Epson Corp 画像データに応じたフレームレートの変換
JP2005176246A (ja) * 2003-12-15 2005-06-30 Canon Inc 撮像方法、撮像装置、プログラム及び記憶媒体
JP2006109113A (ja) * 2004-10-06 2006-04-20 Hitachi Ltd 画像再生装置及び画像再生方法
JP2007316599A (ja) * 2006-04-25 2007-12-06 Casio Comput Co Ltd 表示制御装置、及び、表示制御プログラム
JP2010087708A (ja) * 2008-09-30 2010-04-15 Casio Computer Co Ltd 撮像装置、及びプログラム
JP2017040908A (ja) * 2015-08-21 2017-02-23 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 表示装置及びその駆動方法
US20170053592A1 (en) * 2015-08-21 2017-02-23 Samsung Display Co., Ltd. Display device having reduced power consumption and driving method therefor

Also Published As

Publication number Publication date
EP3544292B1 (en) 2024-04-10
WO2018092596A1 (ja) 2018-05-24
US11412173B2 (en) 2022-08-09
EP3544292A1 (en) 2019-09-25
US20210289163A1 (en) 2021-09-16
JP7110985B2 (ja) 2022-08-02
EP3544292A4 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
US7768553B2 (en) Photographing apparatus, display control method, and program
JP6317577B2 (ja) 映像信号処理装置及びその制御方法
JP5240213B2 (ja) 撮像装置および撮像装置の制御方法
JP2015122734A (ja) 撮像装置及び撮像方法
US20160105632A1 (en) Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer readable storage medium
JP2018006827A (ja) 撮像装置、撮像プログラム、撮像方法
JP2011259375A (ja) 撮像装置、撮像システム、撮像方法
JP5909997B2 (ja) 撮像装置および撮像装置の制御方法
JP2008109245A (ja) 記録再生装置
JP2011211507A (ja) デジタルカメラ
JP7110985B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2017150238A1 (ja) 表示制御装置、表示制御方法、及び、プログラム
JP2013046348A (ja) 撮像装置、その制御方法、および制御プログラム
US11356611B2 (en) Image capture apparatus and control method thereof
JP6728010B2 (ja) 撮像装置及び撮像装置の制御方法
US9661217B2 (en) Image capturing apparatus and control method therefor
JP2001128036A (ja) 電子カメラ装置
JP2015122731A (ja) 動画再生装置及び動画再生方法
JP2014160927A (ja) 撮像装置
JP2009210928A (ja) 画像表示装置
WO2022158202A1 (ja) 撮像装置、撮像制御方法、プログラム
JP6800693B2 (ja) 撮像装置及び撮像装置の駆動方法
JP5943113B2 (ja) デジタルカメラ
JP2012100022A (ja) 画像処理システム
JP5720820B2 (ja) 装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220704

R151 Written notification of patent or utility model registration

Ref document number: 7110985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151