JP7418233B2 - 表示装置、制御方法およびプログラム - Google Patents

表示装置、制御方法およびプログラム Download PDF

Info

Publication number
JP7418233B2
JP7418233B2 JP2020022669A JP2020022669A JP7418233B2 JP 7418233 B2 JP7418233 B2 JP 7418233B2 JP 2020022669 A JP2020022669 A JP 2020022669A JP 2020022669 A JP2020022669 A JP 2020022669A JP 7418233 B2 JP7418233 B2 JP 7418233B2
Authority
JP
Japan
Prior art keywords
image
mode
display
brightness
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020022669A
Other languages
English (en)
Other versions
JP2021128250A5 (ja
JP2021128250A (ja
Inventor
和臣 戸口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020022669A priority Critical patent/JP7418233B2/ja
Priority to US17/169,215 priority patent/US11599976B2/en
Publication of JP2021128250A publication Critical patent/JP2021128250A/ja
Publication of JP2021128250A5 publication Critical patent/JP2021128250A5/ja
Application granted granted Critical
Publication of JP7418233B2 publication Critical patent/JP7418233B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/92
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0238Improving the black level
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Description

本発明は、画像の表示制御技術に関する。
従来のダイナミックレンジよりも広いダイナミックレンジを表示可能な表示装置が登場している。従来の表示装置で表現可能なダイナミックレンジはSDR(Standard Dynamic Range)と呼ばれ、従来の表示装置よりも表現可能なダイナミックレンジが広いものはHDR(High Dynamic Range)と呼ばれる。
このような表示装置において、HDRで撮影された画像を表示する場合、ピーク輝度・コントラストが高く、SDRに比べ消費電力が増加してしまう。また、画像に重畳するOSD(On Screen Display)などは、入力階調が高い値で固定されているため、ピーク輝度の拡張に伴い、消費電力の増加だけではなく、眩しすぎて視認性が悪くなる。OSDは、例えばカメラなどで撮影された画像に、撮影機器の設定や撮影条件などの情報を重畳して表示する機能である。特許文献1では、画像信号の特徴量を検出し、OSD信号の輝度が、画像信号が取りうる最大輝度を超えないようにOSD信号の輝度を設定する技術が記載されている。
特開2008-225026号公報
特許文献1では、輝度が固定値のOSD信号に比べて視認性向上や消費電力低減は可能であるが、SDRモード時と比較するとOSD信号における黒帯画像の輝度が高くなっているため、黒帯画像の消費電力が増加してしまう。また、OSDの視認性は、黒帯画像と文字画像とのコントラスト比で決まるため、黒帯画像の輝度を下げることで、文字画像の輝度をさらに下げることが可能であり、文字画像に関わる消費電力についても改善の余地がある。
本発明は、上記課題に鑑みてなされ、その目的は、従来よりも広いダイナミックレンジの画像を表示する場合の消費電力の増加や輝度劣化を低減する技術を実現することである。
上記課題を解決し、目的を達成するために、本発明の表示装置は、第1のダイナミックレンジの画像を表示部に表示可能な第1のモードと、前記第1のダイナミックレンジよりも広い第2のダイナミックレンジの画像を表示部に表示可能な第2のモードとを切り替える制御手段と、少なくとも黒領域を含む画像であって、前記表示部に表示される画像に重畳される部分画像を生成する生成手段と、を有し、前記制御手段は、前記第2のモード時に表示可能な全ての階調に対する黒領域の階調の割合を変更することにより、前記第2のモード時の部分画像の黒領域の輝度が前記第1のモード時の部分画像の黒領域の輝度未満となるように制御する。
本発明によれば、従来よりも広いダイナミックレンジの画像を表示する場合の消費電力の増加や輝度劣化を低減することができる。
本実施形態の装置構成を示す外観図。 本実施形態の装置構成を示すブロック図。 本実施形態の表示制御処理を示すフローチャート。 本実施形態の表示制御処理の説明図。 本実施形態の階調特性の説明図。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[実施形態1]
以下に、本発明の表示装置を、静止画や動画を撮影可能なデジタルカメラなどの撮像装置に適用した実施の形態について、添付図面を参照して詳細に説明する。
<装置構成>図1および図2を参照して、本実施形態のデジタルカメラ100の構成および機能について説明する。
図1において、背面表示部101は、ユーザが視認可能に、画像や各種情報を表示する、ファインダー外であるカメラ本体の背面に設けられた液晶パネルや有機ELパネルなどの表示デバイスである。また、背面表示部101は、静止画撮影後の静止画再生や記録中の動画表示、およびライブビュー表示機能を併せ持っている。背面表示部101には、タッチパネル270aが設けられている。タッチパネル270aは、背面表示部101の表示面(タッチパネル270aの操作面)対する接触(タッチ操作)を検出可能なタッチ検出手段である。ファインダー外表示部243は、カメラ本体の上面に設けられた液晶パネルや有機ELパネルなどの表示デバイスであり、シャッター速度や絞りなどのカメラの様々な設定値を表示する。
シャッターボタン102は撮影指示を行うための押しボタン式の操作部材である。モード切替スイッチ103は各種モードを切り替えるためのダイヤル式の操作部材である。モード切替スイッチ103は、システム制御部201の動作モードを、静止画撮影モード、動画記録モード、再生モードのいずれかに切り替える。静止画撮影モードには、例えば、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード(Avモード)、シャッター速度優先モード(Tvモード)、プログラムAEモード(Pモード)、が含まれる。また、静止画撮影モードには、例えば、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモードなどが含まれる。
モード切替スイッチ103で、静止画撮影モードに含まれる複数のモードのいずれかに直接切り替える。あるいは、モード切替スイッチ103で静止画撮影モードに一旦切り替えた後に、静止画撮影モードに含まれる複数のモードのいずれかに他の操作部材を用いて切り替えるようにしてもよい。同様に、動画記録モードや再生モードにも複数のモードが含まれていてもよい。
端子カバー104は外部機器とデジタルカメラ100をUSBなどのケーブルを介して接続するためのコネクタ(不図示)を保護するカバー部材である。メイン電子ダイヤル105は図2で後述する操作部270に含まれる回転操作部材であり、このメイン電子ダイヤル105を回すことで、シャッター速度や絞りなどの設定値が変更できる。
電源スイッチ106はデジタルカメラ100の電源のオン/オフを切り替える操作部材である。サブ電子ダイヤル107は、選択枠の移動や画像送りなどを行う回転操作部材である。十字キー108は、上、下、左、右からなる4方向ボタンのいずれかを押し込むことで、十字キー108の押した部分に応じた操作が可能な移動指示部材である。SETボタン109は、主に選択項目の決定などに用いられる押しボタン式の操作部材である。録画ボタン110は、静止画撮影モードではライブビュー表示のオン/オフを切り替え、動画記録モードでは動画撮影(記録)の開始や停止の指示に用いられる押しボタン式の操作部材である。拡大ボタン111は、ライブビュー中における拡大表示のオン/オフ、および拡大表示中の拡大率の変更を行うために用いられる押しボタン式の操作部材である。また、拡大ボタン111は、再生モードでは再生画像を拡大し、拡大率を増加させるために使用される。拡大表示をオンとした後にメイン電子ダイヤル105を操作することでライブビューの拡大または縮小を行うことができる。また、再生モードでは再生画像を拡大し、拡大率を増加させるための拡大ボタンとして機能する。AEロックボタン112は、撮影待機状態で押下することにより露出状態を固定することができる押しボタン式の操作部材である。再生ボタン113は、撮影モードと再生モードとを切り替えるために用いられる押しボタン式の操作部材である。撮影モード中に再生ボタン113を押下することで再生モードに移行し、記録媒体250に記録された画像のうち最新の画像を背面表示部101に表示させることができる。メニューボタン114は、押下されると各種の設定可能なメニュー画面が背面表示部101に表示される押しボタン式の操作部材である。ユーザは、背面表示部101に表示されたメニュー画面と、十字キー108やSETボタン109を用いて直感的に各種設定を行うことができる。
背面表示部101および後述するファインダー内表示部229は、電子ビューファインダー(以下、EVF)として上述した各種の動作モードに応じてシステム制御部201により表示制御される。
接眼部216は、覗き込み型の接眼ファインダーである。ユーザは、接眼部216を介してファインダー内表示部229に表示された画像を視認可能であり、レンズユニット200を通じて取り込んだ被写体像の焦点や構図の確認を行うことができる。
接眼検知部217は、接眼部216の近傍に配置され、接眼部216への何らかの物体の接近を検知することができる。接眼検知部217は、例えば赤外線近接センサが用いられる。
通信端子210はデジタルカメラ100がレンズユニット200(図2)と通信を行うための電気的接点である。蓋116はデジタルカメラ100に対して記録媒体250を着脱するためにスロットを開閉する部材である。グリップ部115は、ユーザがデジタルカメラ100を構えた際に右手で握りやすい形状を有する。グリップ部115を右手の小指、薬指、中指で握ってデジタルカメラ100を保持した状態で、右手の人差指で操作可能な位置にシャッターボタン102、メイン電子ダイヤル105が配置されている。また、同じ状態で、右手の親指で操作可能な位置に、サブ電子ダイヤル107が配置されている。
次に、図2を参照して、本実施形態のデジタルカメラ100およびレンズユニット200の内部構成について説明する。図2において、図1と共通する構成には同じ符号を付して示している。
図2において、レンズユニット200は撮影レンズ207を搭載し、デジタルカメラ100に対して着脱可能である。撮影レンズ207は通常、複数枚のレンズから構成されるが、ここでは簡略して1枚のレンズのみで示している。通信端子206はレンズユニット200がデジタルカメラ100と通信を行うための電気的接点である。通信端子210はデジタルカメラ100がレンズユニット200と通信を行うための電気的接点である。レンズユニット200は、通信端子206を介してシステム制御部201と通信し、内蔵されたレンズ制御部204が絞り駆動回路202を制御して絞り205を駆動し、AF駆動回路203を制御して撮影レンズ207の位置を変位させることで焦点を合わせる。
フォーカルプレーンシャッター221は、システム制御部201の指示に応じて撮像部222での露光時間を自由に制御できる。撮像部222は被写体像を電気信号に変換するCCDやCMOS等の撮像素子で構成されたイメージセンサである。A/D変換器223は、撮像部222から出力される1画素のアナログ信号を、例えば10ビットのデジタル信号に変換する。
画像処理部224は、A/D変換器223からのデータ、又は、メモリ制御部215からのデータに対して所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部224では、撮像した画像データを用いて所定の演算処理が行われ、システム制御部201は演算結果に基づいて露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部224では更に、撮像した画像データを用いて所定の演算処理を行い、演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
メモリ制御部215は、A/D変換器223、画像処理部224、メモリ232の間のデータの授受を制御する。A/D変換器223から出力されるデジタルデータは、画像処理部224およびメモリ制御部215を介して、あるいは、メモリ制御部215を介してメモリ232に直接書き込まれる。メモリ232は、撮像部222およびA/D変換器223から得られる画像データや、背面表示部101またはファインダー内表示部229に表示するための画像表示用のデータを格納する。メモリ232は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。また、メモリ232は画像表示用のメモリ(ビデオメモリ)を兼ねている。
D/A変換器219は、メモリ232に格納されている画像表示用のデータをアナログ信号に変換して背面表示部101またはファインダー内表示部229に供給する。メモリ232に書き込まれた表示用の画像データはD/A変換器219を介して背面表示部101やファインダー内表示部229により表示される。背面表示部101やファインダー内表示部229は、表示デバイスにD/A変換器219からのアナログ信号に応じた表示を行う。このように、メモリ232に格納されたデジタル信号をアナログ信号に変換し、背面表示部101またはファインダー内表示部229に逐次転送して表示することで、ライブビュー(LV)表示(スルー画像表示)を行うEVFとして機能する。
ファインダー外表示部243には、ファインダー外表示部駆動回路244を介して、シャッター速度や絞りなどのカメラの様々な設定値が表示される。
不揮発性メモリ256は、電気的に消去・記録可能な、例えばEEPROMなどである。不揮発性メモリ256には、システム制御部201の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述するフローチャートを実行するためのプログラムのことである。
システム制御部201は、デジタルカメラ100全体を統括して制御するCPUやMPUを備え、不揮発性メモリ256に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。システムメモリ252はRAMなどであり、システム制御部201の動作用の定数、変数、不揮発性メモリ256から読み出したプログラムなどを展開するワークメモリとしても使用される。また、システム制御部201は、メモリ232、D/A変換器219、背面表示部101、ファインダー内表示部229などを制御することにより表示制御も行う。システムタイマー253は各種制御に用いる時間や、内蔵時計の時間を計測する計時部である。
また、システム制御部201は、ファインダー内表示部229または背面表示部101に、第1の階調特性201bの画像信号を表示する第1のモード(SDRモード)と、第1の階調特性201bよりもダイナミックレンジが広い第2の階調特性201cの画像信号を表示する第2のモード(HDRモード)のいずれかに切り替え可能な特性切替部201aを有する。
第1の階調特性201bは、ファインダー内表示部229または背面表示部101に出力する画像信号の階調特性をSDR(Standard Dynamic Range)に制御するためのEOTF(Electro-Optical Transfer Function)特性である。第2の階調特性201cは、背面表示部101またはファインダー内表示部229に出力する画像信号の階調特性をHDR(High Dynamic Range)に制御するためのEOTF特性である。特性切替部201aは、第1の階調特性201bと第2の階調特性201cとを切り替える。
SDRは、従来の表示装置が表示可能なダイナミックレンジに対応する階調特性であって、例えば、ITU-R BT.709という規格で定められている。これに対して、従来の表示装置よりも表示可能なダイナミックレンジが広いHDR(High Dynamic Range)は、Rec.ITU-R BT.2100という規格で定められている。
本実施形態のデジタルカメラ100は、ユーザがメニュー画面などの操作することによって、ファインダー内表示部229または背面表示部101に、SDR画像を表示するSDRモードまたはHDR画像を表示するHDRモードに設定できる。システム制御部201は、いずれのモードに設定されているかに応じて、特性切替部201aが後述する制御を行う。
OSD生成部290は、文字画像生成部290aと黒帯画像生成部290bとを含む。文字画像生成部290aは、文字領域を含む文字画像および/または図形領域を含む図形画像を生成する。黒帯画像生成部290bは、黒領域を含む黒帯画像を生成する。OSD生成部290は、黒帯画像上に文字画像および/または図形領域を含む図形画像を形成することでOSD画像を生成する。上に文字領域を含む文字画像および/または図形領域を含む図形画像を形成することでOSD画像を生成する。形成することでOSD画像を生成する。OSD画像は、ファインダー内表示部229または背面表示部101に表示される画像に重畳される部分画像である。OSD生成部290が生成するOSD画像の表示輝度の制御方法については後述する。
第1シャッタースイッチ211および第2シャッタースイッチ212はシステム制御部201に以下の動作指示を入力する。
第1シャッタースイッチ211は、デジタルカメラ100に設けられたシャッターボタン102の操作途中、いわゆる半押し(撮影準備指示)でオンとなり、第1シャッタースイッチ信号SW1を発生する。システム制御部201は、第1シャッタースイッチ信号SW1を受けて画像処理部224によって、AF処理、AE処理、AWB処理、EF処理などを開始する。
第2シャッタースイッチ212は、シャッターボタン102の操作完了、いわゆる全押し(撮影指示)でオンとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部201は、第2シャッタースイッチ信号SW2により、撮像部222からの信号読み出しから記録媒体250に画像データを書き込むまでの一連の撮影処理を開始する。
操作部270は、ユーザからの各種操作を受け付けて、システム制御部201へ通知する各種スイッチ、ボタンなどの操作部材からなり、少なくとも以下の操作部材が含まれる。シャッターボタン102、モード切替スイッチ103、メイン電子ダイヤル105、電源スイッチ106、サブ電子ダイヤル107、十字キー108、SETボタン109、録画ボタン110、拡大ボタン111、AEロックボタン112、再生ボタン113、メニューボタン114。
電源制御部280は、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部280は、その検出結果およびシステム制御部201の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体250を含む各部へ供給する。
電源部230は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Liイオン電池等の二次電池、ACアダプタ等からなる。記録媒体I/F218は、メモリカードやハードディスク等の記録媒体250とのインターフェースである。記録媒体250は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
通信部254は、無線アンテナや有線ケーブルによって外部機器と通信可能に接続し、画像や音声の送受信を行う。通信部254は無線LAN(Local Area Network)やインターネットにも接続可能である。通信部254は撮像部222で撮像された画像データ(ライブビュー画像を含む)や、記録媒体250に記録されている画像ファイルを外部機器に送信でき、また、外部機器から画像データやその他の各種情報を受信できる。なお、通信部254は、無線LANに限らず、赤外線通信、Bluetooth(登録商標)、Bluetooth(登録商標) Low Energy、WirelessUSBなどの無線通信モジュール、あるいは、USBケーブルやHDMI(登録商標)、IEEE1394などの有線接続手段を用いてもよい。
姿勢検知部255は重力方向に対するデジタルカメラ100の姿勢を検知する。姿勢検知部255で検知された姿勢に基づいて、撮像部222で撮影された画像が、デジタルカメラ100を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部201は、姿勢検知部255で検知された姿勢に応じた向き情報を撮像部222で撮像された画像の画像ファイルに付加したり、画像を回転して記録したりすることが可能である。姿勢検知部255としては、加速度センサやジャイロセンサなどを用いることができる。姿勢検知部255は、加速度センサやジャイロセンサを用いることで、デジタルカメラ100の動き(パン、チルト、持ち上げ、静止など)を検知することも可能である。
音声入力部257は、デジタルカメラ100に内蔵されたマイクまたは音声入力端子に接続された外部マイクなどにより集音された音声信号をシステム制御部201に出力し、システム制御部201は、入力された音声信号を必要に応じて選択し、デジタル信号に変換し、レベルの適正化処理、特定周波数の低減処理など行い音声データを生成する。
また、背面表示部101には、表示画面に対するタッチ操作を検出可能なタッチセンサを有するタッチパネル270aが設けられている。タッチパネル270aは、背面表示部101の表示画面に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。システム制御部201は、タッチパネル270aに対する以下の操作を検出できる。タッチパネル270aを指やペンで触れたこと(タッチダウン)。タッチパネル270aを指やペンで触れている状態であること(タッチオン)。タッチパネル270aを指やペンで触れたまま移動していること(ムーブ)。タッチパネル270aに触れていた指やペンを離したこと(タッチアップ)。タッチパネル270aに何も触れていない状態(タッチオフ)。タッチパネル270aに指やペンでタッチダウンとタッチアップを連続して行うことをタップと称する。これらの操作や、タッチパネルに指やペンが触れている位置座標は、システム制御部201に通知され、システム制御部201は通知された情報に基づいてタッチパネルにどのような操作が行われたかを判定する。ムーブについてはタッチパネル270aで移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル270aの垂直成分・水平成分ごとに判定できる。またタッチパネル270aをタッチダウンから所定の距離以上のムーブを経てタッチアップをしたとき、ドラッグを経てドロップが行われたこととする(ドラッグアンドドロップ)。タッチパネル270aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。
また、撮像装置本体に限らず、有線または無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットPC、デスクトップPCなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。
なお、本実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、PDA(Personal Digital Assistant)、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダなど、表示部を備え、外部機器にデータを転送可能な装置であれば、本発明は適用可能である。
接眼検知部217は接眼部216に対する目(物体)の接近(接眼)および離反(離眼)を検知する(接近検知)。システム制御部201は、接眼検知部217で検知された状態に応じて、背面表示部101とファインダー内表示部229の表示(表示状態)/非表示(非表示状態)を切り替える。システム制御部201は、少なくとも撮影モード、かつ、表示先の切替が自動である場合において、非接眼中は表示先を背面表示部101とし、ファインダー内表示部229は非表示とする。また、接眼中は表示先をファインダー内表示部229とし、背面表示部101は非表示とする。
物体が接近した場合は、接眼検知部217の投光部(図示せず)から照射された赤外光が反射して赤外線近接センサの受光部(図示せず)に入射される。赤外線近接センサで受光される赤外光の入射光量によって、接眼部216への何らかの物体の接近の検出と、物体が接眼部216からどの程度の距離まで近づいているか(接眼距離)を判別することができる。接眼部216への物体の接近を検知するとシステム制御部201がファインダー内表示部229の表示を開始させることが可能となる。これにより、ユーザが接眼部216を覗いたときにファインダー内表示部229を極力遅延なく表示可能となる。
また、接眼検知部217は、非接眼状態(非接近状態)から、接眼部216に対して所定距離以内に近づく物体を検出した場合に接眼を検出したと判定し、システム制御部201に接眼検知通知を送信する。また、接眼状態(接近状態)から、接近を検知していた物体が所定距離以上離れた場合に離眼が検出したと判定し、システム制御部201に離眼検知通知を送信する。接眼を検出する閾値と、離眼を検出する閾値は例えばヒステリシスを設けるなどして異なっていてもよい。また、接眼を検出した後は、離眼を検出するまでは接眼状態であるものとする。離眼を検出した後は、接眼を検出するまでは非接眼状態であるものとする。これにより、システム制御部201は、接眼検知部217が検出した接眼状態もしくは離眼状態に応じて背面表示部101とファインダー内表示部229の表示制御を行う。
なお、接眼検知部217は赤外線近接センサに限らず、接眼とみなせる目や物体の接近を検知できるものであれば他のセンサを用いてもよい。
視線検出部260は、次のダイクロイックミラー262、結像レンズ263、視線検出センサ264、視線検出回路265、赤外発光素子266を含み、ユーザの視線の有無だけでなく視線の位置や動きを検出する。
赤外発光素子266は、ファインダー画面内におけるユーザの視線位置を検出するための赤外光を発光するダイオードであり、ユーザの眼球(目)261に赤外光を接眼部216の中央付近に向けて照射する。赤外発光素子266から照射された赤外光は眼球(目)261で反射し、反射した赤外光はダイクロイックミラー262に到達する。ダイクロイックミラー262は赤外光だけを反射して可視光を透過させる機能を有し、光路を変更された反射赤外光は、結像レンズ263を介して視線検出センサ264の撮像面に結像する。
結像レンズ263は視線検出光学系を構成する光学部材である。視線検出センサ264は、CCDやCMOSなどからなるイメージセンサを含む。視線検出センサ264は、入射された反射赤外光を電気信号に光電変換して視線検出回路265へ出力する。視線検出回路265は、視線検出センサ264の出力信号に基づき、ユーザの眼球(目)261の動きや瞳孔の位置からユーザの視線位置を検出し、検出した情報をシステム制御部201に出力する。視線検出センサ264は、人の目の瞳孔の検知が可能であるため、他の物体が接眼部216に接近または接触していても、人の視線が入力されていることを検知しない。これにより接眼部216は視線操作部としての機能を有するが、視線検出部は別の構成であってもよい。なお、視線検出部260による視線入力機能の有効/無効は、例えば、メニュー画面を介してユーザが設定可能である。
注視判定部267は所定の閾値を有し、視線検出回路265から受け取った検出情報に基づき、撮影者の視線がある領域に固定されている時間が所定の閾値を越えた場合に、その領域を注視していると判定する。なお、所定の閾値は任意に変更可能である。
<表示制御処理>次に、図3から図5を参照して、実施形態1の表示制御について説明する。
図3は、実施形態1の表示制御処理を示すフローチャートである。図3の処理は、デジタルカメラ100の電源がオンされ、システム制御部201が、不揮発性メモリ256に格納されたプログラムをシステムメモリ252に展開して実行し、各部を制御することにより実現される。
ステップS301では、システム制御部201は、SDRモードであるか否かを判定し、SDRモードであると判定した場合はステップS302へ進み、SDRモードでないと判定した場合はステップS306へ進む。
ステップS302では、OSD生成部290は、予め定められたSDRモード時のOSD画像の階調特性に基づき、OSD画像を生成する。SDRモード時のOSD画像の階調特性の一例を図5の座標551(x2、y2)と座標554(x4、y5)に示す。図5の詳細は後述する。
ステップS303では、システム制御部201は、ファインダー内表示部229または背面表示部101にSDR画像の表示を行う。SDR画像は、SDRモードに変換した画像信号に、ステップS302で生成したOSD画像を重畳した画像信号である。図4は画像の表示例であり詳細は後述する。
ステップS304では、システム制御部201は、HDRモードに切り替わったか否かを判定し、HDRモードに切り替わったと判定した場合はステップS306へ進み、HDRモードに切り替わっていないと判定した場合はステップS305へ進む。
ステップS305では、システム制御部201は、表示オフになったか否かを判定し、表示オフと判定した場合は処理を終了し、表示オフでないと判定した場合はステップS303へ戻る。
ステップS306では、OSD生成部290は、予め定められたHDRモード時のOSD画像の階調特性に基づき、OSD画像を生成する。HDRモード時のOSD画像の階調特性の一例を図5の座標553(x1、y1)と座標556(x3、y4)に示す。図5の詳細は後述する。
SDRモードからHDRモードへ階調特性を変更した場合のOSD画像は、同じ階調の画像データを利用するので黒帯画像は図5の座標552(x2、y3)、文字画像は図5の座標555(x4、y6)に示すような関係となる。つまり、HDRモード時は、SDRモード時に比べて表示輝度が高くなるため、消費電力の増加や輝度劣化が懸念される。そこで、本実施形態では、HDRモード時に表示可能な全ての階調に対する黒帯画像の階調割合を変更することで、HDRモード時の黒帯画像の表示輝度を、SDRモード時の黒帯画像の表示輝度未満に制御し、消費電力の増加や輝度劣化を低減する。本実施形態では、黒帯画像の表示輝度を制御する方法として黒帯画像の入力階調を制御する例を示しているが、黒帯画像の表示輝度の制御方法は、これに限定されるものではない。また、文字画像についても同様に、HDRモード時に表示可能な全ての階調に対する文字画像の階調割合を変更することで、HDRモード時の文字画像の表示輝度を、SDRモード時の文字画像の表示輝度以下に制御し、消費電力の増加や輝度劣化を低減する。本実施形態では、文字画像の表示輝度を制御する方法として文字画像の入力階調を制御する例を示しているが、これに限定されるものではない。
一方、OSD画像の視認性は文字画像輝度と黒帯画像輝度との輝度の差分で決定される。本実施形態のように表示輝度の制御を行った場合、OSD画像の視認性が悪化する可能性がある。本実施形態ではOSD画像の視認性の悪化を防止するため、HDRモード時の黒帯画像の表示輝度と文字画像の表示輝度の差分が、SDRモード時の黒帯画像の表示輝度と文字画像の表示輝度の差分以上となる、つまり、HDRモード時の黒帯画像の輝度に対する文字画像の輝度の割合が、SDRモード時の黒帯画像の輝度に対する文字画像の輝度の割合以上になるように制御する。
ステップS307では、システム制御部50が、ファインダー内表示部229または背面表示部101にHDR画像の表示を行う。HDR画像信号は、HDRモードに変換した画像信号に、ステップS306で生成したOSD画像を重畳した画像信号である。図4は画像の表示例であり詳細は後述する。
ステップS308では、システム制御部201が、SDRモードに切り替わったか否かは判定し、HDRモードに切り替わったと判定した場合はステップS302へ進む。HDRモードに切り替わっていない判定した場合はステップS309へ進む。
ステップS309では、システム制御部201が、表示オフになったか否かを判定し、表示オフと判定した場合は処理を終了し、表示オフでないと判定した場合はステップS307へ戻る。
図4は本実施形態の表示制御の説明図である。
図4(a)は、SDRモードで背面表示部101に表示される画像を例示している。なお、画像は動画や静止画を含む。画像401aはSDRモードで背面表示部101に表示されるSDR画像である。SDR画像401aには、黒帯画像402aおよび文字画像403aが重畳されている。黒帯画像402aの(入力階調、表示輝度)の座標は、例えば図5の座標551(x2、y2)である。文字画像403aの(入力階調、表示輝度)の座標は、例えば図5の554(x4、y5)である。
図4(b)は、従来のHDRモードで背面表示部101に表示される画像を例示している。画像401bはHDRモードで背面表示部101に表示されるHDR画像である。HDR画像401bには、黒帯画像402bおよび文字画像403bが重畳されている。黒帯画像402bの(入力階調、表示輝度)の座標は、例えば図5の552(x2、y3)である。文字画像403bの(入力階調、表示輝度)の座標は、例えば図5の555(x4、y6)である。
図4(c)は、本実施形態のHDRモードにおいて黒帯画像の表示輝度をSDRモードの表示輝度未満に制御した画像を例示している。黒帯画像402cの(入力階調、表示輝度)の座標は、例えば図5の553(x1、y1)である。黒帯画像402cの表示輝度は、図4(b)の黒帯画像402bの表示輝度未満に制御されているため、従来のHDRモードよりも消費電力の増加や輝度劣化を低減することができる。
図4(d)は、本実施形態のHDRモードにおいて黒帯画像の表示輝度をSDRモード未満に制御し、文字画像の表示輝度をSDRモードの表示輝度以下とした画像を例示している。黒帯画像402cの表示輝度は、SDRモードの表示輝度未満に制御されているため、従来のHDRモードよりも消費電力の増加や輝度劣化を低減することができる。さらに、文字画像403dの表示輝度は、SDRモードの表示輝度以下に制御されているため、従来のHDRモードよりも消費電力の増加や輝度劣化を低減することができる。
図5は本実施形態の階調特性の説明図であり、横軸はシステム制御部201からファインダー内表示部229および背面表示部101に出力する画像信号の入力階調を表し、縦軸は表示輝度を表している。入力階調は最大階調で規格化したものであり、Bit幅が異なっていても適用可能である。
特性カーブ501は第1の階調特性201bの一例である。第1の階調特性201bはSDRモードの階調特性である。特性カーブ502は第2の階調特性201cの一例である。第2の階調特性201cはHDRモードの階調特性である。
入力階調511はHDRモード時の黒帯画像の入力階調の一例である。入力階調512はSDRモードにおける黒帯画像の入力階調および従来のHDRモードにおける黒帯画像の入力階調の一例である。入力階調513はHDRモード時の文字画像の入力階調の一例である。入力階調514はSDRモードにおける文字画像の入力階調および従来のHDRモードにおける文字画像の入力階調の一例である。
表示輝度521はHDRモード時の黒帯画像の表示輝度の一例である。表示輝度522はSDRモードにおける黒帯画像の表示輝度の一例である。表示輝度523は従来のHDRモードにおける黒帯画像の表示輝度の一例である。表示輝度524はHDRモード時の文字画像の表示輝度の一例である。表示輝度525はSDRモードにおける文字画像の表示輝度の一例である。表示輝度526は従来のHDRモードにおける文字画像の表示輝度の一例である。
座標551はSDRモードにおける黒帯画像の入力階調と表示輝度との座標(x2、y2)である。座標552は従来のHDRモードにおける黒帯画像の入力階調と表示輝度との座標(x2、y3)である。座標553はHDRモード時の黒帯画像の入力階調と表示輝度との座標(x1、y1)である。座標554はSDRモードにおける文字画像の入力階調と表示輝度との座標(x4、y5)である。座標555は従来のHDRモードにおける文字画像の入力階調と表示輝度との座標(x4、y6)である。座標556はHDRモード時文字画像の入力階調と表示輝度との座標(x3、y4)である。
以上のように、本実施形態によれば、HDRモード時のOSD画像の消費電力の増加や輝度劣化を低減することができ、かつSDRモード時と同等以上の視認性が確保できる。なお、本実施形態では黒帯画像の入力階調を変更する例を説明した。しかしながら、透過率が変更可能な黒帯画像生成部を搭載する場合には、HDRモード時の黒帯画像の透過率をSDRモード時よりも下げることで消費電力の増加や輝度劣化を低減することも可能である。
[他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100…デジタルカメラ、101…背面表示部、201…システム制御部、201a…特性切替部、229…ファインダー内表示部、290…OSD生成部、290a…文字画像生成部、290b…黒帯画像生成部

Claims (8)

  1. 第1のダイナミックレンジの画像を表示部に表示可能な第1のモードと、前記第1のダイナミックレンジよりも広い第2のダイナミックレンジの画像を表示部に表示可能な第2のモードとを切り替える制御手段と、
    少なくとも黒領域を含む画像であって、前記表示部に表示される画像に重畳される部分画像を生成する生成手段と、を有し、
    前記制御手段は、前記第2のモード時に表示可能な全ての階調に対する黒領域の階調の割合を変更することにより、前記第2のモード時の部分画像の黒領域の輝度が前記第1のモード時の部分画像の黒領域の輝度未満となるように制御することを特徴とする表示装置。
  2. 前記部分画像は文字および/または図形の領域を含み、
    前記制御手段は、前記第2のモード時に表示可能な全ての階調に対する黒領域の階調の割合を変更することにより、前記第2のモード時の文字領域の輝度が、前記第1のモード時の文字領域の輝度未満となるように制御することを特徴とする請求項1に記載の表示装置。
  3. 前記制御手段は、表示可能な全ての階調に対する文字および/または図形の領域の階調の割合を変更することを特徴とする請求項2に記載の表示装置。
  4. 前記制御手段は、前記第2のモード時の黒領域の輝度に対する文字および/または図形の領域の輝度の割合が、前記第1のモード時の黒領域の輝度に対する文字および/または図形の領域の輝度の割合以上になるように制御することを特徴とする請求項3に記載の表示装置。
  5. 前記制御手段は、前記黒領域を含む画像の透過率を変更可能であり、
    前記第2のモード時に表示可能な全ての階調に対する黒領域の階調の割合を変更することにより、前記第2のモード時の黒領域の透過率が、前記第1のモード時の黒領域の透過率よりも小さくなるように制御することを特徴とする請求項1に記載の表示装置。
  6. 前記第1のダイナミックレンジはSDR(Standard Dynamic Range)であり、
    前記第2のダイナミックレンジはHDR(High Dynamic Range)であることを特徴とする請求項1から5のいずれか1項に記載の表示装置。
  7. 第1のダイナミックレンジの画像を表示部に表示可能な第1のモードと、前記第1のダイナミックレンジよりも広い第2のダイナミックレンジの画像を表示部に表示可能な第2のモードとを切り替えるステップと、
    少なくとも黒領域を含む画像であって、前記表示部に表示される画像に重畳される部分画像を生成するステップと、
    前記第2のモード時に表示可能な全ての階調に対する黒領域の階調の割合を変更することにより、前記第2のモード時の部分画像の黒領域の輝度が前記第1のモード時の部分画像の黒領域の輝度未満となるように制御するステップと、を有することを特徴とする表示装置の制御方法。
  8. コンピュータに、請求項7に記載された制御方法を実行させるためのプログラム。
JP2020022669A 2020-02-13 2020-02-13 表示装置、制御方法およびプログラム Active JP7418233B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020022669A JP7418233B2 (ja) 2020-02-13 2020-02-13 表示装置、制御方法およびプログラム
US17/169,215 US11599976B2 (en) 2020-02-13 2021-02-05 Display apparatus and control method with images of different dynamic ranges

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020022669A JP7418233B2 (ja) 2020-02-13 2020-02-13 表示装置、制御方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2021128250A JP2021128250A (ja) 2021-09-02
JP2021128250A5 JP2021128250A5 (ja) 2023-02-17
JP7418233B2 true JP7418233B2 (ja) 2024-01-19

Family

ID=77272937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020022669A Active JP7418233B2 (ja) 2020-02-13 2020-02-13 表示装置、制御方法およびプログラム

Country Status (2)

Country Link
US (1) US11599976B2 (ja)
JP (1) JP7418233B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014528182A (ja) 2011-06-14 2014-10-23 コーニンクレッカ フィリップス エヌ ヴェ 高ダイナミックレンジ・ビデオのためのグラフィック処理
WO2016038950A1 (ja) 2014-09-11 2016-03-17 ソニー株式会社 画像処理装置及び画像処理方法
JP2017005472A (ja) 2015-06-09 2017-01-05 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
WO2017110823A1 (ja) 2015-12-25 2017-06-29 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、および記録媒体
JP2017169133A (ja) 2016-03-17 2017-09-21 シャープ株式会社 受信装置および放送システム
US20180191997A1 (en) 2014-07-11 2018-07-05 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
JP2019057824A (ja) 2017-09-21 2019-04-11 キヤノン株式会社 映像出力装置、映像出力方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5041831B2 (ja) 2007-03-13 2012-10-03 シャープ株式会社 液晶表示装置
JP2016212180A (ja) * 2015-05-01 2016-12-15 株式会社Jvcケンウッド 光源駆動装置、光源駆動方法および表示装置
US10885614B2 (en) * 2015-08-19 2021-01-05 Samsung Electronics Co., Ltd. Electronic device performing image conversion, and method thereof
JP6872098B2 (ja) * 2015-11-12 2021-05-19 ソニーグループ株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
GB2558000B (en) * 2016-12-21 2020-06-10 Apical Ltd Display control

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014528182A (ja) 2011-06-14 2014-10-23 コーニンクレッカ フィリップス エヌ ヴェ 高ダイナミックレンジ・ビデオのためのグラフィック処理
US20180191997A1 (en) 2014-07-11 2018-07-05 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
WO2016038950A1 (ja) 2014-09-11 2016-03-17 ソニー株式会社 画像処理装置及び画像処理方法
JP2017005472A (ja) 2015-06-09 2017-01-05 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
WO2017110823A1 (ja) 2015-12-25 2017-06-29 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、および記録媒体
JP2017169133A (ja) 2016-03-17 2017-09-21 シャープ株式会社 受信装置および放送システム
JP2019057824A (ja) 2017-09-21 2019-04-11 キヤノン株式会社 映像出力装置、映像出力方法

Also Published As

Publication number Publication date
JP2021128250A (ja) 2021-09-02
US20210256668A1 (en) 2021-08-19
US11599976B2 (en) 2023-03-07

Similar Documents

Publication Publication Date Title
CN107037920B (zh) 电子设备及其控制方法
US10715719B2 (en) Image capturing apparatus and control method thereof
US10397482B2 (en) Imaging control apparatus and method for controlling the same
US11240419B2 (en) Electronic device that can execute function in accordance with line of sight of user, method of controlling electronic device, and non-transitory computer readable medium
JP7465129B2 (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP7463155B2 (ja) 撮像制御装置およびその制御方法
CN113364945A (zh) 电子装置、控制方法和计算机可读介质
JP2021145191A (ja) 撮像装置およびその制御方法、プログラム、並びに記憶媒体
JP2020178273A (ja) 表示制御装置およびその制御方法
US11212458B2 (en) Display control apparatus, display control method, and storage medium
US11442244B2 (en) Imaging device
JP7346375B2 (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
JP7418233B2 (ja) 表示装置、制御方法およびプログラム
JP7377088B2 (ja) 電子機器およびその制御方法、プログラム、並びに記憶媒体
JP2021097356A (ja) 撮像制御装置
JP7431567B2 (ja) 電子機器およびその制御方法、プログラム、並びに記憶媒体
JP7389662B2 (ja) 撮像装置、制御方法、プログラムならびに記憶媒体
JP7475187B2 (ja) 表示制御装置および方法、プログラム、記憶媒体
US11418715B2 (en) Display control apparatus and control method therefor
JP7451255B2 (ja) 電子機器及びその制御方法
US20220400207A1 (en) Electronic apparatus, control method for electronic apparatus, program, and storage medium
US11438512B2 (en) Electronic apparatus and control method thereof
US11582379B2 (en) Image capturing apparatus, control method for image capturing apparatus, and storage medium
US20220385877A1 (en) Electronic equipment, control method therefor, and storage medium
WO2023007904A1 (ja) 電子機器、電子機器の制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240109

R151 Written notification of patent or utility model registration

Ref document number: 7418233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151