JP6041575B2 - 画像表示装置、その制御方法、および制御プログラム - Google Patents

画像表示装置、その制御方法、および制御プログラム Download PDF

Info

Publication number
JP6041575B2
JP6041575B2 JP2012184137A JP2012184137A JP6041575B2 JP 6041575 B2 JP6041575 B2 JP 6041575B2 JP 2012184137 A JP2012184137 A JP 2012184137A JP 2012184137 A JP2012184137 A JP 2012184137A JP 6041575 B2 JP6041575 B2 JP 6041575B2
Authority
JP
Japan
Prior art keywords
image
image display
display area
displayed
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012184137A
Other languages
English (en)
Other versions
JP2014042194A5 (ja
JP2014042194A (ja
Inventor
三河 拓馬
拓馬 三河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012184137A priority Critical patent/JP6041575B2/ja
Priority to US13/973,421 priority patent/US9830683B2/en
Publication of JP2014042194A publication Critical patent/JP2014042194A/ja
Publication of JP2014042194A5 publication Critical patent/JP2014042194A5/ja
Application granted granted Critical
Publication of JP6041575B2 publication Critical patent/JP6041575B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、画像表示装置、制御方法、および制御プログラムに関し、特に、画像を所望の向きに回転して表示する技術に関する。
一般に、デジタルカメラなどの撮像装置で得られたデジタル画像を記録する際、撮影時における撮像装置の姿勢に応じて、画面表示されるデジタル画像の画面上の向きを示す情報(画像回転情報)を90度単位でデジタル画像に付加することが行われている。
そして、画像回転情報が付加されたデジタル画像(画像データ)を表示する際、表示部の姿勢を考慮して画像回転情報に応じて画像が正位置になるように90度単位で画像を回転表示するようにしたものがある(特許文献1参照)。
特開2000−312329号公報
ところで、上向き又は下向きに近い状態で撮影した場合など撮影時における撮像装置の姿勢によっては、ユーザが意図しない画像回転情報が画像データに付加されることがある。
上記の特許文献1では、ユーザが意図しない画像回転情報が付加された画像データについて、ユーザが所望の向きで閲覧しようとすると、ユーザは種々の操作を行わなければならず、その表示に手間が掛かってしまう。
従って、本発明の目的は、画像データに応じた画像を表示する際、撮影時における撮像装置の姿勢に拘わらず、ユーザ所望の向きに容易に画像の表示を行うことのできる画像表示装置、その制御方法、および制御プログラムを提供することにある。
上記の目的を達成するため、本発明による画像表示装置は、画像表示領域に画像を表示する画像表示装置であって、前記画像表示装置の姿勢を検出する検出手段と、画像に付与されている回転情報と、前記検出手段で検出した画像表示装置の姿勢とに応じて、画像の表示方向を制御する制御手段とを有し、前記画像表示領域に表示されている画像の長辺と前記画像表示領域の長辺とが一致していない状態から、前記画像表示装置を回転した場合には、前記制御手段は、前記画像の長辺と前記画像表示領域の長辺とが一致するように前記画像表示領域に表示されている画像を回転し、前記画像の長辺と前記画像表示領域の長辺とが一致して前記画像表示領域に表示されている状態から、前記画像表示装置を回転した場合には、前記制御手段は、前記画像表示領域に表示されている画像の回転を制限することを特徴とする。
本発明による制御方法は、画像表示領域に画像を表示する画像表示装置の制御方法であって、前記画像表示装置の姿勢を検出する検出ステップと、画像に付与されている回転情報と、前記検出ステップで検出した画像表示装置の姿勢とに応じて、画像の表示方向を制御する制御ステップとを有し、前記制御ステップでは、前記画像表示領域に表示されている画像の長辺と前記画像表示領域の長辺とが一致していない状態から、前記画像表示装置を回転した場合には、前記画像の長辺と前記画像表示領域の長辺とが一致するように前記画像表示領域に表示されている画像を回転し、前記画像の長辺と前記画像表示領域の長辺とが一致して前記画像表示領域に表示されている状態から、前記画像表示装置を回転した場合には、前記画像表示領域に表示されている画像の回転を制限することを特徴とする。
本発明による制御プログラムは、画像表示領域に画像を表示する画像表示装置で用いられる制御プログラムであって、前記画像表示装置が備えるコンピュータに、前記画像表示装置の姿勢を検出する検出ステップと、画像に付与されている回転情報と、前記検出ステップで検出した画像表示装置の姿勢とに応じて、画像の表示方向を制御する制御ステップとを実行させ、前記制御ステップでは、前記画像表示領域に表示されている画像の長辺と前記画像表示領域の長辺とが一致していない状態から、前記画像表示装置を回転した場合には、前記画像の長辺と前記画像表示領域の長辺とが一致するように前記画像表示領域に表示されている画像を回転し、前記画像の長辺と前記画像表示領域の長辺とが一致して前記画像表示領域に表示されている状態から、前記画像表示装置を回転した場合には、前記画像表示領域に表示されている画像の回転を制限することを特徴とする。
本発明によれば、画像データに応じた画像を表示する際、撮影時における撮像装置の姿勢に拘わらず、ユーザ所望の向きに容易に画像の表示を行うことができる。
本発明の第1の実施形態による画像表示装置を備える撮像装置の一例をその背面側から示す図である。 図1に示す撮像装置についてその構成の一例を示すブロック図である。 図2に示すカメラにおいて再生モードの際の処理を説明するためのフローチャートである。 図3に示す画像回転処理を説明するためのフローチャートである。 図3で説明した画像再生処理における画像表示を説明するための図であり、(A)はカメラを上向きとして撮影した際にユーザが意図しない回転情報が付加されている場合の画像表示の一例を示す図、(B)はカメラを上向きとして撮影した際にユーザが意図しない回転情報が付加されている場合の画像表示の他の例を示す図である。 本発明の第2の実施形態による画像表示装置を備えるカメラにおいて再生モードの際の処理を説明するためのフローチャートである。 図6に示す画像回転処理を説明するためのフローチャートである。 本発明の第2の実施形態で用いられる撮影時におけるカメラ姿勢情報を説明するための斜視図である。 本発明の第3の実施形態による画像表示装置を備えるカメラにおいて行われる画像回転処理を説明するためのフローチャートである。
以下、本発明の実施の形態による画像表示装置の一例について図面を参照して説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態による画像表示装置を備える撮像装置の一例をその背面側から示す図である。
図1に示す撮像装置は、例えば、デジタルカメラ(以下単にカメラと呼ぶ)であり、被写体の撮影の結果得られた画像データの記録および再生が可能である。そして、このカメラは、撮影モードおよび再生モードを有している。
なお、画像データは、例えば、JPEGでカメラに縦横比4:3の画像ファイルで記録されるものとするが、非圧縮形式などの画像データを記録するようにしてもよい。また、画像ファイルの縦横比は4:3に限定されるものではない。
カメラ筐体の背面には、表示部である液晶ディスプレイ(LCD)2−Aが配置されており、このLCD2−Aには撮影の際にユーザが確認するための画像(撮影画像)が表示される。
また、LCD2−Aにはメモリなどに記録された画像データを再生する際、当該画像データに応じた画像が再生画像として表示される。
図示のように、カメラ筐体の上面には静止画撮影ボタン2−Bおよび動画撮影ボタン2−Cが配置されている。そして、ユーザが静止画撮影ボタン2−Bを押し下げると、静止画撮影が開始される。また、ユーザが動画撮影ボタン2−Cを押し下げると、動画撮影が開始される。
カメラ筐体の背面において、LCD2−Aの左側にはモード切替スイッチ2−D、操作ボタン2−E、セット(set)ボタン2−F、およびメニュー(menu)ボタン2−Gが配置されている。
モード切替スイッチ2−Dは、再生モード(play)、撮影モード(camera)、および電源オフを切り替えるためのスイッチである。操作ボタン2−Eはカメラの操作を行うために用いられる。
操作ボタン2−Eは上下左右の4つのボタンで構成されており、操作ボタン2−Eと、セットボタン2−F、およびメニューボタン2−Gを用いて、撮影、再生操作、そして、カメラ設定を行うことができる。モード切替スイッチ2−Dを、図中左側に設定するとカメラは再生モードとなり、右側に設定するとカメラは撮影モードとなる。また、モード切替スイッチ2−Dを中央に設定すると、カメラは電源オフ状態となる。
図2は、図1に示す撮像装置についてその構成の一例を示すブロック図である。
図示のカメラは撮像部10を備えている。この撮像部10は、例えば、撮影レンズ、シャッター・絞り、およびCCDなどの撮像素子で構成され、オートフォーカス機能を有している。
撮像素子は撮影レンズを介して入射した光学像(被写体像)に応じた電気信号(アナログ信号)を出力する。なお、撮像部10の動作に関する動作情報がシステムコントローラ70に送られる。
アナログ信号はA/D変換器30に送られ、ここでデジタル信号(画像信号)に変換される。そして、デジタル信号はエンコーダ40に送られる。なお、カメラが撮影モードであると、デジタル信号に応じた画像をモニタ130(図1に示すLCD2−A)に表示するため、デジタル信号はD/A変換器120にも送られる。
エンコーダ40はデジタル信号を圧縮符号化して圧縮画像データとする。ここでは、エンコーダはJPEGによってデジタル信号を圧縮する。そして、エンコーダ40はシステムコントローラの制御下で、圧縮画像データをシステムコントローラ80およびデータアクセス制御部50に送る。
アクセス制御部50はメモリカード70および内部メモリ60と画像データなどの送受を行うためのものである。アクセス制御部50はシステムコントローラ80の制御下で、メモリカード70又は内部メモリ60に対して圧縮が像データを書き込む。さらに、アクセス制御部50はシステムコントローラ80の制御下で、メモリカード70又は内部メモリ60に記録された圧縮画像データを読み出す。
内部メモリ60は読み出し専用メモリおよび書き込み可能メモリ備えている。読み出し専用メモリには制御プログラムが格納されており、書き込み可能メモリは一時的な記憶領域として用いられる。なお、書き込み可能メモリには、一時的に圧縮画像データが記録される。
メモリカード70はカメラに対して着脱可能な外部記録媒体(記録メディア)であり、圧縮画像データなどのデジタルデータがファイルとして記録される。
システムコントローラ80はマイクロコンピュータを備え、カメラ全体の制御を司るとともに、信号処理を行う。なお、カメラ全体の制御を行うための制御プログラムがシステムコントローラ80に記録されている。
システムコントローラ80には操作部90が接続されている。この操作部90は、図1に示す静止画撮影ボタン2−B、動画撮影ボタン2−C、モード切替スイッチ2−D、操作ボタン2−E、セットボタン2−F、およびメニューボタン2−Gに対応する。ユーザが操作部90を操作すると、当該操作に応じた操作情報がシステムコントローラ70に送られ、システムコントローラ70は操作情報に応じた処理を実行する。
加速度センサー95はカメラの姿勢を検出して、その姿勢検出結果をシステムコントローラ80に送る。なお、加速度センサー95は、カメラが横位置にあるか又は縦位置にあるかなどを検知する。
デコーダ100は圧縮画像データを復号するためのものである。カメラが再生モードであると、デコーダ100は、データアクセス制御部50を介してメモリカード70に記録された圧縮画像データを受け、当該圧縮画像データを復号処理して、復号化画像データとしてD/A変換器120に送る。
D/A変換器120はA/D変換器30又はデコーダ100から受けた画像データをアナログ信号に変換して、モニタ130に送る。これによって、モニタ130には画像データに応じた画像が表示される。なお、必要に応じて、D/A変換器120はシステムコントローラ80から送られた文字データを画像データに重ね合わせた後、アナログ信号に変換する。
図示のように、A/D変換器30にはマイク20が接続され、マイク20は音声などの音響を電気信号に変換してA/D変換器30に送る。なお、モニタ130はその縦横比が4:3であり、また、D/A変換器140には画像データに付加された音声データに応じた音声を出力するためのスピーカ140が接続されている。
図2に示すカメラはメモリカード70に圧縮画像データを記録する撮影モードとメモリカード70に記録された圧縮画像データを再生する再生モードとを有している。いま、図1に示すモード切替スイッチ2−Dによって再生モードが設定されたものとする。
図3は、図2に示すカメラにおいて再生モードの際の処理を説明するためのフローチャートである。
ここでは、図3に示すフローチャートに係る処理はシステムコントローラ80に記録された制御プログラムに応じて行われるが、当該制御プログラムをメモリカード70に記録して、システムコントローラ80にロードするようにしてもよい。
なお、図示はしないが、ネットワークから当該制御プログラムをダウンロードして実行するようにしてもよい。
再生処理が開始されると、システムコントローラ80は表示すべき画像ファイルの設定を行う(ステップS300)。ここでは、システムコントローラ80は、例えば、メモリカード70に記録された画像ファイルのうちで最も古い画像ファイルを選択する。なお、システムコントローラ80は、前回の再生モードを終了した際に表示していた画像ファイルを設定するようにしてもよい。
続いて、システムコントローラ80は「長辺一致フラグ」および「回転制御フラグ」をオフ(OFF)に初期化する(ステップS310)。ここで、「長辺一致フラグ」のオン(ON)は、モニタ130の長辺と画像の長辺とが一致した状態で画像がモニタ130に表示されることを示す。また、「回転制御フラグ」のONはモニタ130(つまり、カメラ)を回転した場合に回転処理が行われなかったことを示す。
次に、システムコントローラ80は後述する設定(つまり、選択)した画像ファイルに対する画像回転処理を行う(ステップS320)。
図4は、図3に示すステップS320の画像回転処理を説明するためのフローチャートである。
画像回転処理を開始すると、まず、システムコントローラ80は「長辺一致フラグ」がオン(ON)であるか否かを判定する(ステップS500)。「長辺一致フラグ」がONであると(ステップS500において、YES)、システムコントローラ80は「回転制御フラグ」をONして(ステップS505)、画像回転処理を終了する。
一方、「長辺一致フラグ」がOFFであると(ステップS500において、NO)、システムコントローラ80はデータアクセス制御部50を制御して設定した画像ファイルから画像データを内部メモリ60に読み込む(ステップS510)。
なお、再生モードが設定されて最初に画像回転処理を行う際には、必ず「長辺一致フラグ」はOFFとなっているので、システムコントローラ80はステップS510の処理を行うことになる。また、画像データには画面上の画像の向きを示す画像回転情報が付加されている。
次に、システムコントローラ80はアクセス制御部50を制御して内部メモリ60に格納された画像データから画像回転情報を取得する(ステップS520)。ここでは、画像回転情報はExifで定義されている情報(Orientation Tag)が用いられる。
続いて、システムコントローラ80は加速度センサー95からカメラの姿勢を示す姿勢検出結果を取得する(ステップS530)。そして、システムコントローラ80は、画像回転情報および姿勢検出結果(姿勢情報ともいう)に基づいて画像の向きが横(画像の長辺が水平であることをいう)でかつカメラの向きが横(カメラの長辺が水平方向であることをいう)であるか否かを判定する(ステップS540)。
画像およびカメラの向きともに横であると(ステップS540において、YES)、システムコントローラ80は画像を180度回転する必要があるか否かを判定する(ステップS560)。画像およびカメラの向きともに横であることは、モニタ130および画像の長辺(この長辺は所定の辺である)が一致している状態であるが、画像を正位置でモニタ130に表示するためには、画像を180度回転することが必要な場合がある。つまり、カメラの姿勢によっては、画像を180度回転することが必要となる場合がある。
画像を180度回転する必要があると判定すると(ステップS560において、YES)、システムコントローラ80は画像を180度回転する回転処理を行って(ステップS570)、内部メモリ60に画像データを上書きする。そして、システムコントローラ80は「長辺一致フラグ」をONして(ステップS580)、画像回転処理を終了する。
一方、画像を180度回転する必要がないと判定すると(ステップS560において、NO)、システムコントローラ80はステップS580の処理に進んで、「長辺一致フラグ」ONする。
画像およびカメラの向きの少なくとも一方が横でないと(ステップS540において、NO)、システムコントローラ80は画像回転情報および姿勢検出結果に基づいて画像の向きが縦でかつカメラの向きが縦であるか否かを判定する(ステップS550)。
画像およびカメラの向きがともに縦であると(ステップS550において、YES)、システムコントローラ80は、モニタ130および画像の長辺が一致しているとし、ステップS560の処理に進んで画像を正位置で表示するため画像を180度回転する必要があるか否かを判定する。
画像およびカメラの向きの少なくとも一方が縦でないと(ステップS550において、NO)、システムコントローラ80は画像を正位置で表示するため、内部メモリ60に記録された画像(つまり、画像データ)を90度回転する処理を行う(ステップS590)。
この際には、システムコントローラ80はカメラの姿勢検出結果および画像回転情報に基づいて画像を右回転するか左回転するかを判定する。そして、システムコントローラ80は90度回転処理した画像データを内部メモリ60に上書きする。
続いて、システムコントローラ80は「長辺一致フラグ」をOFFとして(ステップS595)、画像回転処理を終了する。
再び図3を参照して、上述のようにして画像回転処理を行った後、システムコントローラ80はD/A変換器120を制御して、画像データに応じた画像をモニタ130に表示する(ステップS330)。
この際、モニタ130および画像の長辺が一致しない状態で表示する場合又はモニタ130および画像の縦横比が一致しない場合には、システムコントローラ80は画像全体が表示されるように画像に黒帯を付けて表示する。
次に、システムコントローラ80は加速度センサー95から現在のカメラの姿勢情報を取得する(ステップS340)。そして、システムコントローラ80は現在のカメラの姿勢情報に基づいて画像表示中にカメラが回転したか否かを判定する(ステップS350)。
この判定処理に当たっては、システムコントローラ80は前回取得した姿勢情報と現在の姿勢情報との変化によってカメラの回転を判定する。
画像表示中にカメラが回転しないと判定すると(ステップS350において、NO)、システムコントローラ80はユーザが画像送り操作(特定操作)を行った否かを判定する(ステップS370)。この画像送り操作は図1に示す操作ボタン2−Eによって行われる。
操作ボタン2−Eの右キーを操作するとシステムコントローラ80に次の画像を表示する指示が送られる。操作ボタン2−Eの左キーを操作するとシステムコントローラ80に前の画像を表示する指示が送られる。
画像送り操作がないと判定すると(ステップS380において、NO)、システムコントローラ80はユーザがモード切替スイッチ2−Dを操作して、再生モードを終了する操作、つまり、電源OFF又はモード切替操作を行ったか否かを判定する(ステップS380)。
電源OFF又はモード切替操作が行われると(ステップS380において、YES)、システムコントローラ80は再生処理を終了する。
一方、電源OFF又はモード切替操作が行われないと(ステップS380において、NO)、システムコントローラ80はステップS340の処理に戻る。
画像送り操作があったと判定すると(ステップS380において、YES)、システムコントローラ80は「回転制御フラグ」がONであるか否かを判定する(ステップS390)。「回転制御フラグ」がONであると(ステップS390において、YES)、システムコントローラ80は、長辺一致の表示の際にカメラが回転されたとして、現在の画像の表示状態とカメラの姿勢情報に基づいて、現状の表示状態が正位置となるように画像回転情報を変更する(ステップS400)。
続いて、システムコントローラ80は、次に表示すべき画像ファイルを再設定する(ステップS410)。そして、システムコントローラ80はステップS310の処理に戻る。
なお、「回転制御フラグ」がOFFであると(ステップS390において、NO)、システムコントローラ80はステップS410の処理に進む。
画像表示中にカメラが回転したと判定すると(ステップS350において、YES)、システムコントローラ80は再度画像回転処理を行う(ステップS360)。ステップS360における画像回転処理は、図4で説明した画像回転処理と同様である。
この場合、モニタ130および画像の長辺(所定の辺)が一致していれば、「長辺一致フラグ(第1のフラグ)」がONとなっており、この結果、システムコントローラ80は「回転制御フラグ(第2のフラグ)」をONとすることになる。
つまり、「回転制御フラグ」のONはモニタ130を回転した場合に回転処理が行われなかったことを示すので、モニタ130および画像の長辺(所定の辺)が一致していれば、システムコントローラ80は画像の回転処理を禁止又は制限することになる。
このようにして、システムコントローラ80はステップS310からステップS410を繰り返して画像表示と画像送りを行うことになる。
図5は、図3で説明した画像再生処理における画像表示を説明するための図である。そして、図5(A)はカメラを上向きとして撮影した際にユーザが意図しない回転情報が付加されている場合の画像表示の一例を示す図であり、図5(B)はカメラを上向きとして撮影した際にユーザが意図しない回転情報が付加されている場合の画像表示の他の例を示す図である。
いま、画像データに付加された画像回転情報として0度が付加されているものとする。この画像データに応じた画像を、カメラを横位置としてモニタ130に表示する際、図4で説明した画像回転処理において、ステップS500で「長辺一致フラグ」がOFFと判定され、画像回転情報が0度であるので、ステップS504で画像およびカメラの向きともに横であると判定される。
そして、モニタ130および画像500の長辺が一致した状態であるので、ステップS560で画像を180度回転する必要はないと判定されて、ステップS580で「長辺一致フラグ」がONとされる。続いて、図3に示すステップS330で図5(A)に示す画像500がモニタ130に表示される。
図5(A)では、画像500およびモニタ130の長辺が一致した状態であるが、その向きが一致しない状態である。このような画像表示では、ユーザは画像を視認しづらいのでカメラを回転させることが多い。いま、ユーザがカメラを図中左に90度回転したとする。
ユーザがカメラを左に90度回転させると、システムコントローラ80は、図3に示すステップS350でカメラが回転されたと判定して、ステップS360で画像回転処理を行う。この場合、図4に示すステップS500において「長辺一致フラグ」はONであるから、ステップS505において、システムコントローラ80は「回転制御フラグ」をONとする。
そして、カメラおよび画像の長辺が一致している状態でカメラを回転した場合には、システムコントローラ80は画像の表示状態を維持する。この結果、モニタ130に画像510が表示されることになる。
つまり、画像510が正位置でモニタ130に表示され、ユーザの意図に合致する状態で画像510が表示される。
ここで、ユー度が画像送り操作を行ったとする。この場合、システムコントローラ80は、図3に示すステップS370で画像送りありと判定し、さらに、ステップS390で「回転制御フラグ」がONであると判定する。
そして、システムコントローラ80は、ステップS400において、現在の画像の表示状態とカメラの姿勢情報に基づいて現状の表示状態が正位置となるように画像回転情報を変更する。この結果、次の画像データに応じた画像520が正位置でモニタ130に表示されることになって、次の画像データに応じた画像520はユーザの意図する向きに変更されることになる。
続いて、カメラ、つまり、モニタ130が縦位置にあるとする。画像データに応じた画像を、カメラを縦位置としてモニタ130に表示する際、図4で説明した画像回転処理において、ステップS500で「長辺一致フラグ」がOFFと判定され、画像回転情報が0度であるので、ステップS504で画像およびカメラの向きの少なくとも一方が横向きではない判定される。
続いて、システムコントローラ80はステップS550でカメラが縦であり、画像が横であると判定して、ステップS590で画像を90度回転させる。そして、システムコントローラ80はステップS595において「長辺一致フラグ」をOFFとする。次に、システムコントローラ80は図3に示すステップS330で図5(B)に示す画像550をモニタ130に表示する。
図5(B)では、モニタ130および画像550の長辺が一致せず、しかもその向きも一致しない状態で表示される。この際には、図示のように画像550には黒帯が付加される。
ここで、ユーザがカメラを図中左に90度回転したとする。ユーザがカメラを左に90度回転させると、システムコントローラ80は、図3に示すステップS350でカメラが回転されたと判定して、ステップステップS360で画像回転処理を行う。
この場合、図4に示すステップS500において「長辺一致フラグ」はOFFであるから、ステップS540において、システムコントローラ80はカメラおよび画像の向きが横であるか否かを判定する。
ここでは、カメラおよび画像の向きがともに横向きであるので、システムコントローラは、図4に示すステップS560で画像を180度回転する必要があるか否かを判定することになる。
この場合、モニタ130および画像500の長辺が一致した状態であるので、システムコントローラ80は、図4に示すステップS560で画像を180度回転する必要はないと判定し、ステップS580で「長辺一致フラグ」をONとする。続いて、システムコントローラ80は図3に示すステップS330で図5(B)に示す画像560をモニタ130に表示する。
図5(B)に示す画像560においては、画像560およびモニタ130の長辺は一致しているものの、その向きが一致しない状態である。このような画像表示では、ユーザは画像を視認しづらいのでカメラを再度回転させることになる。
ユーザがカメラを図中左に90度回転したとすると、システムコントローラ80は、図3に示すステップS350でカメラが回転したと判定して、ステップS360で画像回転処理を行う。
この場合、「長辺一致フラグ」はONであるから、ステップS505において、システムコントローラ80は「回転制御フラグ」をONとする。
そして、前述のように、カメラおよび画像の長辺が一致している状態でカメラを回転した際には、システムコントローラ80は画像の表示状態を維持する。この結果、図5(B)に示すように、モニタ130に画像570が表示されることになる。つまり、画像570が正位置でモニタ130に表示され、ユーザの意図に合致する状態で画像570が表示される。
このように、ユーザが意図しない画像回転情報が付加された画像データに応じた画像を表示する際においても、カメラ、つまり、モニタ130を回転させるだけで画像を正位置に表示制御することができる。さらに、画像送り操作を行えば、画像回転情報を修正することができる。
以上のように、本発明の第1の実施形態では、モニタ130および画像の長辺が一致した状態で画像がモニタ130に表示されている際に、モニタ130を画面に交差する軸回りに回転させた場合に、当該画像を画面に交差する軸回りに回転させずにそのままの表示状態に維持するようにする。
これによって、ユーザはモニタ130を回転させるだけで、モニタ130および画像の向きを一致させて画像を正位置で表示させることができる。
さらに、本発明の第1の実施形態では、画像送り操作を行うと、画像送り操作前にモニタ130に表示された画像の表示状態で画像送り操作後の画像データに付加された画像回転情報を変更するようにしたので、画像送り操作後の画像はモニタ130を回転させることなく常に正位置で表示される。
[第2の実施形態]
次に、本発明の第2の実施形態による画像表示装置について説明する。
なお、ここでは、第2の実施形態による画像表示装置を備えるカメラを例に挙げて説明する。また、第2の実施形態においてカメラの構成は図1および図2に示すカメラと同様である。
図6は、本発明の第2の実施形態による画像表示装置を備えるカメラにおいて再生モードの際の処理を説明するためのフローチャートである。なお、図6において、図3に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。
図3に関連して説明したように、システムコントローラ80はステップS310において、「長辺一致フラグ」および「回転制御フラグ」をOFFに設定する。その後、システムコントローラ80は画像回転処理を行う。
図7は、図6に示す画像回転処理を説明するためのフローチャートである。なお、図7において図4に示すフローチャートにおけるステップと同一のステップについては同一の参照符号を付して説明を省略する。
図4で説明したように、システムコントローラ80は、ステップS530で加速度センサー95からカメラの姿勢を示す姿勢検出結果(姿勢情報)を取得する。その後、システムコントローラ80は読み込んだ画像データに対応づけられた撮影時におけるカメラ姿勢情報を内部メモリ60から読み込む(ステップS832)。ここでは、撮影時におけるカメラ姿勢情報(撮影時レンズ姿勢情報ともいう)は画像ファイルのヘッダに記録されているものとする。
図8は、本発明の第2の実施形態で用いられる撮影時におけるカメラ姿勢情報を説明するための斜視図である。
図8においては、カメラの姿勢と加速度センサー95の軸との対応が示されており、撮影時におけるカメラ姿勢情報として、システムコントローラ80は次の第1〜第3の情報を取得する。
(1)カメラの左右方向(X軸)の傾きを示すValues[0](第1の情報)
(2)カメラの上下方向(Y軸)の傾きを示すValues[1](第2の情報)
(3)カメラの前後方向(Z軸)の傾きを示すValues[2](第3の情報)
図8に示す例では、カメラは正位置の状態にあり、カメラが正位置状態にあると、第1〜第3の情報は以下のようになる。
(1)Values[0]=0.0(第1の情報)
(2)Values[1]=10.0(第2の情報)
(3)Values[2]=0.0(第3の情報)
このように、正位置状態においては、第2の情報であるY軸に対応するValues[1]のみがゼロ以外の値である10.0となる。これによって、システムコントローラ80はカメラが正位置状態にあるか否かを判定することができる。また、これら3軸の値に応じて、システムコントローラ80はカメラの傾き状態を判定することができる。
また、カメラレンズが上向きの際には、第1〜第3の情報は以下のようになる。
(1)Values[0]=0.0(第1の情報)
(2)Values[1]=0.0(第2の情報)
(3)Values[2]=10.0(第3の情報)
このように、カメラレンズが上向きの場合には、第3の情報であるZ軸に対応するValues[2]のみが10.0となる。これによって、システムコントローラ80はカメラレンズが上向きであるか否かを判定することができる。なお、ここでは、カメラレンズの向きとモニタ130の向きとは同一となる。
さらに、カメラレンズが下向きの際には、第1〜第3の情報は以下のようになる。
(1)Values[0]=0.0(第1の情報)
(2)Values[1]=0.0(第2の情報)
(3)Values[2]=−10.0(第3の情報)
このように、カメラレンズが下向きの場合には、第3の情報であるZ軸に対応するValues[2]のみが−10.0となる。これによって、システムコントローラ80はカメラレンズが下向きであるか否かを判定することができる。
上記のように、第1〜第3の情報を有する撮影時におけるカメラ姿勢情報(以下、撮影時カメラ姿勢情報と呼ぶ)を取得した後、システムコントローラ80は撮影時カメラ姿勢情報に基づいて画像回転情報の信頼性を判定する(ステップS834)。
ここでは、カメラがカメラレンズ上向き又はカメラレンズ下向きの状態から角度20度の傾きまでの状態にある場合に、システムコントローラ80は画像回転情報を信頼できないと判定する。
なお、これ以外の基準を用いて画像回転情報の信頼性を判定するようにしてもよい。例えば、カメラが斜め45度に近い状態にある場合に、画像回転情報が信頼できないと判定するようにしてもよい。
また、第1〜第3の情報の全てが0である場合には、システムコントローラ80は画像回転情報を信頼することができると判定するものとする。
画像回転情報が信頼できると判定すると(ステップS834において、YES)、システムコントローラ80は、図4で説明したステップS540の処理に進む。
一方、画像回転情報が信頼できないと判定すると(ステップS834において、NO)、システムコントローラ80は、「回転制御フラグ」をONに設定する(ステップS836)。つまり、画像回転情報が信頼できない場合には、システムコントローラ80は回転処理を制御するため、「回転制御フラグ」をONとする。
再び、図6を参照して、上述のようにして、ステップS620で画像回転処理を行った後、システムコントローラ80はステップS330で画像データに応じた画像をモニタ130に表示する。
ステップS350において、画像表示中にカメラが回転したと判定すると、システムコントローラ80は再度画像回転処理を行う(ステップS660)。その後、システムコントローラ80はステップS370の処理に進む。
なお、ステップS660における画像回転処理は図7で説明した画像回転処理と同様である。
ステップS370において、画像送り操作が行われたと判定した際、「回転制御フラグ」がONであると(ステップS390において、YES)、システムコントローラ80は撮影時カメラ姿勢情報における第1〜第3の情報の全てを0に設定する(ステップS692)。そして、システムコントローラ80はステップS400の処理に進む。
撮影時カメラ姿勢情報における第1〜第3の情報の全てが0であると、システムコントローラ80は画像回転情報を信頼することができると判定することになる。
よって、次回から当該画像データに応じた画像を表示する際には、システムコントローラ80は当該画像データに付加された画像回転情報を信頼することができると判定する。
なお、ここでは、「回転制御フラグ」がONであると、第1〜第3の情報の全てを0として、画像回転情報を信頼することができるとしたが、別の手法を用いて画像回転情報の信頼性を判定するようにしてもよい。
以上のように、本発明の第2の実施形態では、画像データに付加された画像回転情報が信頼できないと、「回転制御フラグ」をONに設定して、モニタ130および画像の長辺を一致させて(つまり、画像を回転させて)モニタ130に表示する。さらに、「回転制御フラグ」がONであると、画像回転情報を常に信頼がおけるとするようにした。
これによって、本発明の第2の実施形態では、画像回転情報が信頼できない場合には、モニタ130および画像の長辺を一致させて画像が表示されるので、当初から黒帯なしの状態で画像が表示される結果、ユーザはより少ない回転操作で所望の表示状態に移行させることができる。
さらに、画像回転情報が再設定された画像データについては、次回表示の際に常に正位置で表示することができる。
なお、上述の第2の実施形態では、画像回転情報の信頼性を判定する際、撮影時カメラ姿勢情報を用いたが、例えば、撮影の際にカメラにおいて画像回転情報の信頼性を示す信頼性情報を画像データに付加して、画像再生の際に信頼性情報に応じて画像回転情報の信頼性を判定するようにしてもよい。
[第3の実施形態]
続いて、本発明の第2の実施形態による画像表示装置について説明する。
なお、ここでは、第3の実施形態による画像表示装置を備えるカメラを例に挙げて説明する。また、第3の実施形態においてカメラの構成は図1および図2に示すカメラと同様である。
第3の実施形態におけるカメラでは、画像再生処理の際には図3で説明したフローチャートによって処理が行われるが、画像回転処理が図4で説明した画像回転処理と異なる。
図9は、本発明の第3の実施形態による画像表示装置を備えるカメラにおいて行われる画像回転処理を説明するためのフローチャートである。なお、図9において、図4に示すフローチャートにおけるステップと同一のステップについては同一の参照符号を付して説明を省略する。
図4で説明したように、システムコントローラ80はステップS530において、加速度センサー95からカメラの姿勢を示す姿勢検出結果(姿勢情報)を取得する。続いて、システムコントローラ80はカメラの姿勢情報に基づいて、カメラの回転状態の信頼性を判定する(ステップS934)。
ここでは、システムコントローラ80はカメラ姿勢情報として加速度センサー95から3軸検出結果を取得するものとする。この3軸検出結果とは、図8で説明した第1〜第3の情報をいう。
そして、システムコントローラ80はカメラ姿勢情報に応じて、カメラがカメラレンズ上向き又はカメラレンズ下向きの状態から角度20度の傾きまでの状態にある場合に画像回転情報を信頼できないと判定する。
カメラの回転状態が信頼できると判定すると(ステップS934において、YES)、システムコントローラ80はステップS540の処理に進む。一方、カメラの回転状態が信頼できないと判定すると(ステップS934において、NO)、システムコントローラ80はステップS560の処理に進む。
以上のように、本発明の第3の実施形態では、カメラ、つまり、モニタ130の回転状態が信頼できないと、モニタ130および画像の長辺を一致させて(つまり、画像を回転させて)モニタ130に表示する。
これによって、当初から黒帯なしの状態で画像が表示されて、ユーザはより少ない回転操作で所望の表示状態に移行させることができる。
上述の第1〜第3の実施形態では、画像表示装置がデジタルカメラに備えられた場合について説明したが、この画像表示装置はカメラ以外に備えるようにしてもよい。例えば、タブレットPC又はスマートフォンに上記の画像表示装置を備えるようにしてもよい。
また、本発明の実施の形態では、画像送り操作の際に画像回転情報を変更するようにしたが、例えば、画像拡大表示操作、画像プロパティ表示操作、一定期間操作なし、決定操作などの操作が行われた際に画像回転情報を変更するようにしてもよい。
さらに、上述の実施の形態では、加速度センサーを用いてカメラ姿勢情報を取得するようにしたが、他のセンサーを用いてカメラ姿勢情報を取得するようにしてもよい。加えて、画像データとして静止画データを扱う場合について説明したが、動画像データの場合においても同様にして処理することができる。
なお、上述の形態では、所定の辺が画像の長辺および表示部の長辺であるとして説明したが、所定の辺が画像の短辺および表示部の短辺であっても、同様に制御すれば、撮影時における撮像装置の姿勢に拘わらず、ユーザ所望の向きに容易に画像の表示を行うことができる。
上述の説明から明らかなように、図2に示す例においては、少なくともシステムコントローラ80、加速度センサー95、データアクセス制御部50、内部メモリ60、デコーダ100、D/A変換器120、およびモニタ130が画像表示装置を構成する。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像表示装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画層表示装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。
10 撮像部
30 A/D変換器
40 エンコーダ
50 データアクセス制御部
80 システムコントローラ
90 操作部
95 加速度センサー
100 デコーダ
120 D/A変換器
130 モニタ

Claims (6)

  1. 画像表示領域に画像を表示する画像表示装置であって、
    前記画像表示装置の姿勢を検出する検出手段と、
    画像に付与されている回転情報と、前記検出手段で検出した画像表示装置の姿勢とに応じて、画像の表示方向を制御する制御手段とを有し、
    前記画像表示領域に表示されている画像の長辺と前記画像表示領域の長辺とが一致していない状態から、前記画像表示装置を回転した場合には、前記制御手段は、前記画像の長辺と前記画像表示領域の長辺とが一致するように前記画像表示領域に表示されている画像を回転し、
    前記画像の長辺と前記画像表示領域の長辺とが一致して前記画像表示領域に表示されている状態から、前記画像表示装置を回転した場合には、前記制御手段は、前記画像表示領域に表示されている画像の回転を制限することを特徴とする画像表示装置。
  2. 前記制御手段が画像の回転を制限しているときに、画像送り、ズーム操作、プロパティ表示、表示の向きの確定操作、および一定時間操作なしの少なくともいずれかが発生した場合に、前記回転情報を変更する変更手段を有することを特徴とする請求項1に記載の画像表示装置。
  3. さらに、前記画像には、当該画像が撮影された際の撮像装置の姿勢として、水平方向に対して上向き又は下向きを示す情報を付加されており、
    前記制御手段は、当該上向き又は下向きを示す情報に基づいて前記回転情報を無視するか否かを制御することを特徴とする請求項1又は2に記載の画像表示装置。
  4. 前記検出手段は、前記画像表示装置の姿勢として前記画像表示装置が横位置であるか又は縦位置であるかを検出することを特徴とする請求項1乃至3のいずれか1項に記載の画像表示装置。
  5. 画像表示領域に画像を表示する画像表示装置の制御方法であって、
    前記画像表示装置の姿勢を検出する検出ステップと、
    画像に付与されている回転情報と、前記検出ステップで検出した画像表示装置の姿勢とに応じて、画像の表示方向を制御する制御ステップとを有し、
    前記制御ステップでは、前記画像表示領域に表示されている画像の長辺と前記画像表示領域の長辺とが一致していない状態から、前記画像表示装置を回転した場合には、前記画像の長辺と前記画像表示領域の長辺とが一致するように前記画像表示領域に表示されている画像を回転し、前記画像の長辺と前記画像表示領域の長辺とが一致して前記画像表示領域に表示されている状態から、前記画像表示装置を回転した場合には、前記画像表示領域に表示されている画像の回転を制限することを特徴とする制御方法。
  6. 画像表示領域に画像を表示する画像表示装置で用いられる制御プログラムであって、
    前記画像表示装置が備えるコンピュータに、
    前記画像表示装置の姿勢を検出する検出ステップと、
    画像に付与されている回転情報と、前記検出ステップで検出した画像表示装置の姿勢とに応じて、画像の表示方向を制御する制御ステップとを実行させ、
    前記制御ステップでは、前記画像表示領域に表示されている画像の長辺と前記画像表示領域の長辺とが一致していない状態から、前記画像表示装置を回転した場合には、前記画像の長辺と前記画像表示領域の長辺とが一致するように前記画像表示領域に表示されている画像を回転し、前記画像の長辺と前記画像表示領域の長辺とが一致して前記画像表示領域に表示されている状態から、前記画像表示装置を回転した場合には、前記画像表示領域に表示されている画像の回転を制限することを特徴とする制御プログラム。
JP2012184137A 2012-08-23 2012-08-23 画像表示装置、その制御方法、および制御プログラム Expired - Fee Related JP6041575B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012184137A JP6041575B2 (ja) 2012-08-23 2012-08-23 画像表示装置、その制御方法、および制御プログラム
US13/973,421 US9830683B2 (en) 2012-08-23 2013-08-22 Image display device capable of displaying image in a desired orientation, method of controlling the same, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012184137A JP6041575B2 (ja) 2012-08-23 2012-08-23 画像表示装置、その制御方法、および制御プログラム

Publications (3)

Publication Number Publication Date
JP2014042194A JP2014042194A (ja) 2014-03-06
JP2014042194A5 JP2014042194A5 (ja) 2015-10-08
JP6041575B2 true JP6041575B2 (ja) 2016-12-14

Family

ID=50147600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012184137A Expired - Fee Related JP6041575B2 (ja) 2012-08-23 2012-08-23 画像表示装置、その制御方法、および制御プログラム

Country Status (2)

Country Link
US (1) US9830683B2 (ja)
JP (1) JP6041575B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741150B2 (en) 2013-07-25 2017-08-22 Duelight Llc Systems and methods for displaying representative images
JP2015026297A (ja) * 2013-07-29 2015-02-05 京セラ株式会社 携帯端末ならびに表示方向制御プログラムおよび方法
JP5802249B2 (ja) * 2013-09-30 2015-10-28 シャープ株式会社 表示装置、ソース機器、及び表示システム
KR102099681B1 (ko) * 2013-10-10 2020-04-10 삼성전자주식회사 영상처리장치 및 그 제어방법
US11438509B2 (en) * 2019-03-29 2022-09-06 Canon Kabushiki Kaisha Imaging apparatus configured to record orientation of the imaging apparatus when an image is captured
TWI816181B (zh) * 2021-09-09 2023-09-21 虹光精密工業股份有限公司 文件處理裝置及其影像處理方法、電腦程式產品

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000312329A (ja) 1999-02-26 2000-11-07 Canon Inc 画像処理装置、画像処理システム、画像処理制御方法、及び記憶媒体
JP2000293111A (ja) * 1999-04-09 2000-10-20 Sony Corp 画像表示装置
JP4411193B2 (ja) * 2004-12-09 2010-02-10 富士フイルム株式会社 ディスプレイ付き撮像装置及び画像表示装置
CN101142813B (zh) * 2005-03-18 2010-06-23 松下电器产业株式会社 成像装置
US8068121B2 (en) * 2007-06-29 2011-11-29 Microsoft Corporation Manipulation of graphical objects on a display or a proxy device
CN101598972A (zh) * 2008-06-04 2009-12-09 鸿富锦精密工业(深圳)有限公司 电子装置及其功能变换方法
JP2011055476A (ja) * 2009-08-06 2011-03-17 Canon Inc 表示装置
CN101989126B (zh) * 2009-08-07 2015-02-25 深圳富泰宏精密工业有限公司 手持式电子装置及其屏幕画面自动旋转方法
JP2011233064A (ja) * 2010-04-30 2011-11-17 Sony Corp 情報処理装置及び表示画面操作方法

Also Published As

Publication number Publication date
US9830683B2 (en) 2017-11-28
US20140055494A1 (en) 2014-02-27
JP2014042194A (ja) 2014-03-06

Similar Documents

Publication Publication Date Title
JP6041575B2 (ja) 画像表示装置、その制御方法、および制御プログラム
EP3125524A1 (en) Mobile terminal and method for controlling the same
US8035720B2 (en) Image display apparatus and photographing apparatus
KR101978214B1 (ko) 동영상 디스플레이 장치 및 그 방법
US10158798B2 (en) Imaging apparatus and method of controlling the same
JP5383356B2 (ja) 撮像装置、情報処理装置、撮像装置の制御方法、情報処理装置の制御方法、及びコンピュータプログラム
JP2011030041A (ja) 撮像部駆動装置、回転角度制御方法、撮像装置、プログラム、撮像システム
CN111385470B (zh) 电子设备、电子设备的控制方法和计算机可读介质
WO2012039311A1 (ja) 撮影装置、画像転送方法、及びプログラム
JP5463973B2 (ja) 表示制御装置、表示制御プログラム、および表示制御システム
JP6643008B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに記憶媒体
JP2018201076A (ja) 画像処理装置、その制御方法、および制御プログラム
JP2006287744A (ja) 画像処理方法およびその装置
JP2007025483A (ja) 画像記憶処理装置
JP5668466B2 (ja) 画像処理装置、その制御方法およびプログラム
JP2021069045A (ja) 表示制御装置、表示制御方法、プログラムおよび記憶媒体
JP5019566B2 (ja) 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
JP4948637B2 (ja) 画像処理方法およびその装置
JP2006229585A (ja) 電子カメラ
JP2007124548A (ja) 撮像装置
JP5744606B2 (ja) 表示制御装置及び表示制御方法、プログラム、並びに記憶媒体
JP5730119B2 (ja) 表示制御装置、方法及びプログラム並びに記録媒体
KR101396349B1 (ko) 얼굴을 포함하는 영상의 회전 정보를 포함한 디지털 영상처리장치 및 그 제어방법
JP2005252797A (ja) デジタルカメラ
JP5279326B2 (ja) 再生装置及びその制御方法、プログラム、並びに、コンピュータ読み取り可能な記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150824

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161108

R151 Written notification of patent or utility model registration

Ref document number: 6041575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees