JP6216109B2 - 表示制御装置,表示制御プログラムおよび表示制御方法 - Google Patents

表示制御装置,表示制御プログラムおよび表示制御方法 Download PDF

Info

Publication number
JP6216109B2
JP6216109B2 JP2012235268A JP2012235268A JP6216109B2 JP 6216109 B2 JP6216109 B2 JP 6216109B2 JP 2012235268 A JP2012235268 A JP 2012235268A JP 2012235268 A JP2012235268 A JP 2012235268A JP 6216109 B2 JP6216109 B2 JP 6216109B2
Authority
JP
Japan
Prior art keywords
object image
image
range
prohibited range
display surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012235268A
Other languages
English (en)
Other versions
JP2014085897A (ja
Inventor
今村 仁
仁 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2012235268A priority Critical patent/JP6216109B2/ja
Priority to PCT/JP2013/078754 priority patent/WO2014065344A1/ja
Priority to US14/438,609 priority patent/US20150294649A1/en
Publication of JP2014085897A publication Critical patent/JP2014085897A/ja
Application granted granted Critical
Publication of JP6216109B2 publication Critical patent/JP6216109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed

Description

この発明は、表示制御装置,表示制御プログラムおよび表示制御方法に関し、特にたとえば、アイコン,ウェジェットなどのオブジェクト画像を人物写真などの背景画像上に配置して表示面に表示させる、表示制御装置,表示制御プログラムおよび表示制御方法に関する。
従来のこの種の装置の一例が、特許文献1に開示されている。この背景技術では、待ち受け画像の中で占有率が高い色で区画される領域を表示可能領域として決定し、決定された表示可能領域にウィジェットを組み込んだ待受け画像をディスプレイに表示する。たとえば、待ち受け画像が人物写真の場合、人物部分には多種の色が複雑に混在していることが多いため、人物部分が表示可能領域として選択される可能性は低くなり、その結果、ウィジェットが人物部分を避けて配置されやすくなる。
特開2010−244189号公報[G06F 3/048, 3/14]
しかし、引用文献1の背景技術では、ウィジェットは、占有率が高い色で区画される領域つまり色の変化が少ない部分に配置されやすくなるに過ぎず、必ずしも所望の部分を避けて表示されるとは限らない。たとえば、花畑にいる人物の顔を撮影した写真画像の場合、肌色の顔の周りに多種の色の花が複雑に混在していると、顔の部分が表示可能領域として選択され、ウィジェットは顔の部分に配置される可能もある。
それゆえに、この発明の主たる目的は、新規な、表示制御装置,表示制御プログラムおよび表示制御方法を提供することである。
この発明の他の目的は、所望の部分を避けてオブジェクトを表示させることができる、表示制御装置,表示制御プログラムおよび表示制御方法を提供することである。
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
この発明の第1の態様は、オブジェクト画像を背景画像上に配置して表示面に表示させる表示制御装置であって、表示面に禁止範囲を設定する設定部、設定部によって設定された禁止範囲の内部にドロップされたオブジェクト画像を当該禁止範囲の外部に移動させる第1移動部、および第1移動部による移動後のオブジェクト画像を背景画像上に配置した画面を、表示面に表示させる制御部を備える。
第1の態様では、オブジェクト画像(Ob)を背景画像(Wp)上に配置して表示面(30a)に表示させる表示制御装置(10)において、たとえばCPU(24)が表示制御プログラム(52)を実行することで、設定部,第1移動部および制御部が実現される。設定部は、表示面に禁止範囲(PA)を設定し(S17,S21)、第1移動部は、設定部によって設定された禁止範囲の内部にドロップされたオブジェクト画像を当該禁止範囲の外部に移動させ(S23,S53,S63)、そして制御部は、第1移動部による移動後のオブジェクト画像を背景画像上に配置した画面(DT)を、表示面に表示させる(S25)。
第1の態様によれば、表示面に禁止範囲を設定し、禁止範囲の内部にドロップされたオブジェクトを禁止範囲の外部に移動させるので、所望の部分を避けてオブジェクトを表示させることができる。
第2の態様は、第1の態様において、設定部による設定前に背景画像を表示面に表示させる背景表示部(S3)をさらに備える。
第2の態様によれば、背景画像を予め表示することで、その背景画像に適した禁止範囲をユーザが指定できる。
第3の態様は、第2の態様において、第1移動部(S23)は、設定部によって禁止範囲が設定されたとき、禁止範囲の内部にドロップされたオブジェクト画像の有無を判別して、禁止範囲の内部にドロップされたオブジェクト画像がある場合に当該オブジェクト画像を当該禁止範囲の外部に移動させる(S31:YES→S33)。
第3の態様によれば、ユーザが背景画像の所望の部分を指定すると、その部分が禁止範囲に設定され、設定された禁止範囲の内部にドロップされたオブジェクト画像が外部に移動される結果、所望の部分を避けてオブジェクトを表示させることができる。
第4の態様は、第2態様において、表示面はタッチデバイス(30,32)の表示面であり、設定部はタッチデバイスで検出される位置情報に基づいて禁止範囲を設定する(S17)。
第4の態様によれば、手動で禁止範囲を設定できる。
第5の態様は、第4の態様において、設定部はタッチデバイスで検出されるスライド操作の始点および終点で規定される範囲を禁止範囲に設定する。
第5の態様によれば、スライド操作で禁止範囲を設定できる。
なお、ある実施例では、設定部はスライド操作の始点および終点を対角線とする矩形の領域を禁止範囲に設定するが(図2,図4(A))、変形例では、そのような矩形に内接する領域を禁止範囲に設定してもよい(図14(A))。または、スライド操作の始点を中心、始点から終点を半径とする円形の領域を禁止範囲に設定してもよい。他の変形例では、設定部はスライド操作の軌跡で囲まれた範囲を禁止範囲に設定してもよい(図14(B))。
他の実施例では、表示部がタッチデバイスの表示面にテンプレートを表示し、設定部はタッチデバイスで選択されたテンプレートに対応する禁止範囲を設定してもよい(図15)。
第6の態様は、第1の態様において、背景画像に対して顔認識を行う顔認識部(S19)をさらに備え、設定部は顔認識部の認識結果に基づいて禁止範囲を設定する(S21)。
第6の態様によれば、顔認識を利用することで、自動で禁止範囲を設定し、顔の部分を避けてオブジェクトを表示させることができる。
なお、背景画像に対してエッジ検出を行い、エッジ検出の結果に基づいて禁止範囲を設定してもよい。
第7の態様は、第1の態様において、第1移動部は、画面の禁止範囲を除く部分に収まりきれないオブジェクト画像がある場合には、当該オブジェクト画像を別の画面(DT2)に移動させる(S35:YES→S37)。
第7の態様によれば、禁止範囲の設定により、画面に収まらないオブジェクトが生じても、それらを別の画面に移動させることで、デスクトップ画面(DT)に収まらないオブジェクト(Ob)が表示されなくなることを防止できる。
第8の態様は、第7の態様において、別の画面は、画面の禁止範囲を除く部分に収まりきれないオブジェクト画像を背景画像と同じ画像上に配置した画面であり、第1移動部は、画面内に収まりきれないオブジェクト画像を別の画面の禁止範囲を除く部分に移動させる(図6(B))。
第8の態様によれば、別の画面でも、オブジェクト画像は禁止範囲を避けて配置されるので、同じ背景画像を用いれば、所望の部分を避けてオブジェクトを表示させることができる。
第9の態様は、第7の態様において、制御部は、第1移動部による別の画面(DT2)への移動後に当該別の画面を一時表示する(S39)。
第9の態様によれば、別の画面に移動されたオブジェクト画像をユーザが見失うことを防止できる。
第10の態様は、第2の態様において、第1移動部(S53)は、新たなオブジェクト画像が追加されたときに、禁止範囲の内部にドロップされたオブジェクト画像の有無を判別して、禁止範囲の内部にドロップされたオブジェクト画像がある場合に当該オブジェクト画像を当該禁止範囲の外部に移動する(S31:YES→S33)。
第10の態様によれば、新たなオブジェクト画像が追加されたときにも、禁止範囲の内部から外部への移動を行うので、所望の部分を避けてオブジェクトを表示させることができる。
第11の態様は、第2の態様において、表示面に表示されたオブジェクト画像をタッチデバイスで検出される位置情報に基づいて移動させる第2移動部(S55)をさらに備え、制御部はさらに、第2移動部によって移動中のオブジェクト画像が禁止範囲の内部に入った場合に当該禁止範囲を表示する(S57:YES→S59)。
第11の態様によれば、手で移動中のオブジェクト画像が禁止範囲に入った場合に禁止範囲を表示することで、手で禁止範囲の内部に配置されないように警告することができる。
第12の態様は、第11の態様において、第1移動部(S63)は、第2移動部によってオブジェクト画像が禁止範囲の内部に配置された場合(S61:YES)に、当該オブジェクト画像を当該禁止範囲の外部に移動させる(S31:YES→S33)。
第12の態様によれば、オブジェクト画像が手動で禁止範囲の内部に配置されても、そのオブジェクト画像は自動的に禁止範囲の外部に移動されるので、所望の部分を避けてオブジェクトを表示させることができる。
第13の態様は、第11の態様において、制御部はさらに、第2移動部によってオブジェクト画像が画面の端部に移動された場合に、当該オブジェクト画像を背景画像と同じ画像上に配置した別の画面(DT2)を表示面に表示させる(S71:YES→S73)。
第13の態様によれば、オブジェクト画像が手で画面の端部まで移動されると、同種の別の画面が表示されるので、手での移動範囲を広げることができる。
第14の態様は、第1の態様において、設定部によって設定された禁止範囲を解除する解除部(S56b)をさらに備える。
好ましくは、設定部によって設定された禁止範囲が解除部によって解除されても、移動部によって禁止範囲の外部に移動されたオブジェクトを禁止範囲の内部に復帰させる処理は行わない。
第14の態様によれば、禁止範囲を解除することで、それ以降、禁止範囲に対応する部分にもオブジェクトを表示できるようになる。
第15の態様は、表示制御プログラム(52)であって、オブジェクト画像(Ob)を背景画像(Wp)上に配置して表示面(30a)に表示させる表示制御装置(10)のCPU(24)を、表示面に禁止範囲(PA)を設定する設定部(S17,S21)、設定部によって設定された禁止範囲の内部にドロップされたオブジェクト画像を当該禁止範囲の外部に移動させる第1移動部(S23,S53,S63)、および第1移動部による移動後のオブジェクト画像を背景画像上に配置した画面(DT)を、表示面に表示させる制御部(S25)として機能させる。
第16の態様は、オブジェクト画像(Ob)を背景画像(Wp)上に配置して表示面(30a)に表示させる表示制御装置(10)による表示制御方法であって、表示面に禁止範囲(PA)を設定する設定ステップ(S17,S21)、設定ステップによって設定された禁止範囲の内部にドロップされたオブジェクト画像を当該禁止範囲の外部に移動させる第1移動ステップ(S23,S53,S63)、および第1移動ステップによる移動後のオブジェクト画像を背景画像上に配置した画面(DT)を、表示面に表示させる制御ステップ(S25)を含む。
第15または16の態様によっても、第1の態様と同様に、所望の部分を避けてオブジェクトを表示させることができる。
この発明によれば、所望の部分を避けてオブジェクトを表示させることができる、表示制御装置,表示制御プログラムおよび表示制御方法が実現される。
この発明の一実施例である携帯端末の構成を示すブロック図である。 タッチパネルが設けられたディスプレイ(タッチデバイス)の表示面と、スライド操作によって表示面に設定される禁止範囲(スライド操作の始点および終点で規制される矩形の内部)とを示す図解図である。 禁止範囲を設定しない場合の表示例を示す図解図であり、(A)は禁止範囲を設定するか否かを選択する画面を、(B)は禁止範囲が設定されていないデスクトップ(DT)画面をそれぞれ示す。 禁止範囲を設定する場合の表示例を示す図解図であり、(A)は禁止範囲を手動で設定するか否かを選択する画面を、(B)はスライド操作で禁止範囲を設定する画面を、(C)は設定した禁止範囲を確認する画面を、そして(D)は禁止範囲が設定されたデスクトップ画面をそれぞれ示す。 禁止範囲を自動(顔認識)で設定する場合の表示例を示す図解図であり、(A)は禁止範囲を自動(顔認識)で設定するか否かを選択する画面を、(B)は禁止範囲が設定されたデスクトップ画面をそれぞれ示す。 禁止範囲が設定されたデスクトップ画面にオブジェクトを表示しきれない場合の表示例を示す図解図であり、(A)はオブジェクトで満杯になったデスクトップ画面を、(B)はデスクトップ画面に表示しきれなかったオブジェクトを表示する別のデスクトップ画面をそれぞれ示す。 禁止範囲が設定されたデスクトップ画面において、手でオブジェクトを移動させる場合に、オブジェクトが禁止範囲に入ったとき禁止範囲を表示して警告する様子を示す図解図である。 禁止範囲が設定されたデスクトップ画面において、手でオブジェクトを移動させる場合に、オブジェクトが左右の端部に到達したとき別のデスクトップ画面を表示する様子を示す図解図である。 メインメモリの内容を示すメモリマップ図である。 メインメモリに記憶されるオブジェクト配置情報の一例を示す図解図であり、図6に対応する。 CPUによる設定処理を示すフロー図である。 設定処理に含まれるオブジェクト自動移動処理の詳細を示すフロー図である。 設定処理に続くDT制御処理を示すフロー図である。 スライド操作による禁止範囲設定の変形例を示す図解図であり、(A)はスライド操作の始点および終点で規定される円または楕円の内部を禁止範囲とする場合を、(B)はスライド操作の軌跡で囲まれる範囲を禁止範囲とする場合をそれぞれ示す。 テンプレートによる禁止範囲の設定例を示す図解図である。
図1には、携帯端末10のハードウエア構成が示される。図1を参照して、この発明の一実施例である携帯端末10はCPU24を含む。CPU24には、キー入力装置26、タッチパネル32、メインメモリ34、フラッシュメモリ36および撮像装置38が接続され、さらに、無線通信回路14を介してアンテナ12が、A/Dコンバータ16を介してマイク18が、D/Aコンバータ20を介してスピーカ22が、そしてドライバ28を介してディスプレイ30が、それぞれ接続される。
アンテナ12は、図示しない基地局からの無線信号を受信する。また、アンテナ12は、無線通信回路14からの無線信号を送信する。無線通信回路14は、アンテナ12で受信された無線信号を復調および復号化し、また、CPU24からの信号を符号化および変調する。マイク18は、音波をアナログの音声信号に変換し、A/Dコンバータ16は、マイク18からの音声信号をディジタルの音声データに変換する。D/Aコンバータ20は、CPU24からの音声データをアナログの音声信号に変換し、スピーカ22は、D/Aコンバータ20からの音声信号を音波に変換する。
キー入力装置26は、ユーザ(使用者)によって操作される各種のキー,ボタン(図示せず)などで構成され、操作に応じた信号(コマンド)をCPU24に入力する。ドライバ28は、CPU24からの信号に応じた画像をディスプレイ30に表示する。タッチパネル32は、ディスプレイ30の表示面30aに設けられ、タッチ点の位置を示す信号(X,Y座標:図2参照)をCPU24に入力する。
メインメモリ34は、たとえばSDRAMなどで構成され、CPU24に各種の処理を実行させるためのプログラム,データなど(図9参照)を記憶する共に、CPU24に必要な作業領域を提供する。フラッシュメモリ36は、たとえばNAND型のフラッシュメモリで構成され、プログラムなどの保存領域や撮像装置38による画像データの記録領域として利用される。
撮像装置38は、図示しないレンズ,イメージセンサ(たとえばCCD,CMOSなどの撮像素子),カメラ処理回路などで構成され、レンズを経てイメージセンサ上に結像する光学像を光電変換して、これに対応する画像データを出力する。
CPU24は、メインメモリ34に記憶されたプログラム(52〜56)に従って、他のハードウエア(12〜22,26〜38)を利用しつつ、各種の処理を実行する。
以上のように構成された携帯端末10では、たとえば図3(B)に示すようなデスクトップ画面を通して、電話発信を行うための電話アプリケーション、カメラによる撮影を行うカメラアプリケーションなどを選択することができる。デスクトップ画面DTでは、電話アプリケーションやカメラアプリケーションと関連付けられた各種のオブジェクト画像(アイコンやウィジェット)Obが背景画像(人物写真などの壁紙)Wp上に配置されており、いずれかのオブジェクトObへのタッチ操作を行うことで、所望のモードを選択することができる。
電話アプリケーションが選択されると、携帯端末10は、電話発信を行うための表示をディスプレイ30に表示させる。詳しくは、キー入力装置26によって発呼操作が行われると、CPU24は、無線通信回路14を制御して発呼信号を出力する。出力された発呼信号は、アンテナ12を介して出力され、図示しない移動通信網を経て相手の電話機に伝達される。相手の電話機は、着信音などによる呼び出しを開始する。着信を受けた相手が電話機に対して着呼操作を行うと、CPU24は通話処理を開始する。一方、相手からの発呼信号がアンテナ12によって捕捉されると、無線通信回路14は着信をCPU24に通知し、CPU24は、スピーカ22からの着信音や図示しないバイブレータの振動などによる呼び出しを開始する。キー入力装置26によって着呼操作が行われると、CPU24は通話処理を開始する。
通話処理は、たとえば、次のように行われる。相手から送られてきた受話音声信号は、アンテナ12によって捕捉され、無線通信回路14によって復調および復号化を施された後、D/Aコンバータ20を経てスピーカ22に与えられる。これにより、スピーカ22から受話音声が出力される。一方、マイク18によって取り込まれた送話音声信号は、A/Dコンバータ16を経て無線通信回路14に送られ、無線通信回路14によって符号化および変調を施された後、アンテナ12を通して相手に送信される。相手の電話機でも、送話音声信号の復調および復号化が行われ、送話音声が出力される。
カメラアプリケーションが選択されると、携帯端末10はカメラを起動させる。詳しくは、CPU24がスルー撮影開始命令を発し、撮像装置38はスルー撮影を開始する。撮像装置38では、図示しないレンズを経てイメージセンサに結像した光学像は、光電変換を施され、これによって、光学像を表す電荷が生成される。スルー撮影では、イメージセンサで生成された電荷の一部が、たとえば1/60秒毎に、低解像度の生画像信号として読み出される。読み出された生画像信号は、カメラ処理回路によってA/D変換,色分離,YUV変換などの一連の画像処理を施されることで、YUV形式の画像データに変換される。こうして、撮像装置38からは、スルー表示用の低解像度の画像データが、たとえば60fpsのフレームレートで出力される。出力された画像データは、現時点のスルー画像データとしてメインメモリ34に書き込まれ、ドライバ28は、メインメモリ34に記憶されたスルー画像データを繰り返し読み出し、これに基づくスルー画像をディスプレイ30に表示する。
そして、スルー画像の表示中にユーザがキー入力装置26またはタッチパネル32によりシャッタ操作を行うと、CPU24は、静止画を記録する記録命令を発する。応じて、イメージセンサで生成された電荷が静止画記録用の高解像度の生画像信号として読み出され、読み出された生画像信号は、カメラ処理回路によって一連の画像処理を施されることでYUV形式の画像データに変換される。こうして、撮像装置38から高解像度の画像データが出力され、出力された画像データは、メインメモリ34に一時保持された後、静止画像データとしてフラッシュメモリ36に書き込まれる。
ところで、先述した図3(B)のデスクトップ画面DTは、背景画像Wpに含まれる顔画像がオブジェクト画像Obで隠れており、ユーザは顔画像を確認することができない。そこで、この実施例では、図2に示すようなスライド操作によって、または顔認識を利用して自動的に、ディスプレイ30の表示面30aに禁止範囲PAを設定し、表示面30aの禁止範囲を除く部分にオブジェクト画像Obを表示する(図4(B),図4(D)参照)。
詳しくは、表示面30aには、たとえば図2に示すように、その左上端を原点Oとして、右方向および下方向にX軸およびY軸が定義されている。このような表示面30aに対してタッチ操作(タップ操作,クリック操作ともいう)が行われると、そのタッチ位置(X,Y座標)がタッチパネル32によって検出される。また、スライド操作が行われると、その始点から終点に至るタッチ軌跡(たとえばタッチ軌跡を構成する点列の座標群)がタッチパネル32によって検出される。
CPU24は、このようなタッチパネル32の検出結果に基づいて、タッチ操作で選択されたオブジェクト(アイコン,ウィジェットなど)に対応する処理を実行したり、スライド操作の始点および終点で規定される矩形(たとえば始点および終点を対角線とする正方形または長方形)の内部を禁止範囲PAとして設定したりすることができる。
禁止範囲PAは、具体的には、図3〜図5のような画面を通じて設定される。画面には、デスクトップ画面DTの壁紙となる背景画像Wpが表示される。ユーザは、まず、禁止範囲PAを設定するかどうかを図3(A)のような画面を通じて選択することができる。図3(A)の画面には、“禁止範囲を設定しますか?”のようなダイアログと共に、“OK”および“キャンセル”のような操作ボタンが表示される。図3(A)の画面でユーザが“キャンセル”を選択すると、禁止範囲PAの設定は行われずに、図3(B)のようなデスクトップ画面DTが表示される。図3(B)のデスクトップ画面DT、つまり禁止範囲PAが設定されていないデスクトップ画面DTの場合、背景画像Wpの中央部つまり顔画像の上にもオブジェクト画像Obが配置され得る。
図3(A)の画面で“OK”が選択されると、引き続き図4(A)のような画面が表示され、ユーザは、禁止範囲PAを手動で設定するかどうかを選択することができる。図4(A)の画面には、“手動で設定しますか?”のようなダイアログと共に、“OK”および“キャンセル”のような操作ボタンが表示され、ユーザが“OK”を選択すると、図2のようなスライド操作による禁止範囲PAの設定が行われる。スライド操作中、図4(B)のような画面を通じて、現時点のタッチ位置に応じて変化(拡大,縮小,変形)する禁止範囲PAが明示される。この背景画像Wpの場合、中央部に人物の顔画像があるので、ユーザは、顔画像がオブジェクト画像Obで隠れないように、表示面30aの中央部を禁止範囲PAに指定する。
こうして、スライド操作に基づき禁止範囲PAが指定されると、図4(C)のような画面が表示され、ユーザは、指定した禁止範囲PAでよいかを確認することができる。図4(C)の画面には、“この範囲でOKですか?”のようなダイアログと共に、“OK”および“キャンセル”のような操作ボタンが表示される。ここでユーザが“OK”を選択すると、図4(D)のようなデスクトップ画面DTが表示される。図4(D)のデスクトップ画面DTの場合、表示面30aの中央部が禁止範囲PAに設定されたことで、オブジェクト画像Obは表示面30aの中央部を避けて(禁止範囲PAの外側に)配置されるため、顔画像がオブジェクト画像Obに隠れることはない。
なお、図4(C)の画面で“キャンセルが選択された場合、上記のように設定した禁止範囲PAは放棄され、”図4(A)の画面に戻って、上記と同様の操作をやり直すことができる。
なお、図4(C)において、禁止領域PA設定後にオブジェクト画像Obがどのように移動されたかを確認することができるよう、オブジェクト移動後の確認画面を表示することとしてもよい。確認画面は、メインのホーム画面において禁止領域PAが設定された場合にオブジェクト画像Obが配置される画面を確認画面とする。
図4(A)の画面で“キャンセル”が選択されると、引き続き図5(A)のような画面が表示され、ユーザは、禁止範囲PAを自動(たとえば顔認識)で設定するかどうかを選択することができる。図5(A)の画面には、“自動(顔認識)で設定しますか?”のようなダイアログと共に、“OK”および“キャンセル”のような操作ボタンが表示され、ユーザが“OK”を選択すると、背景画像Wpに対して顔認識処理が実行される。背景画像Wpの場合、中央部に人物の顔画像があるので、この顔画像を囲むように、表示面30aの中央部に禁止範囲PAが設定される。なお、顔画像を囲む範囲に代えて、顔画像自体を禁止範囲PAに設定してもよい。
こうして、顔認識処理の結果に基づき禁止範囲PAが設定されると、図5(B)のようなデスクトップ画面DTが表示される。図5(B)のデスクトップ画面DTのように、顔画像を囲む範囲を禁止範囲に設定したデスクトップ画面DTの場合、オブジェクト画像Obは顔画像を囲む禁止範囲PAを避けて配置されるので、顔画像がオブジェクト画像Obに隠れることはない。
なお、図5(A)の画面で“キャンセルが選択された場合、図3(A)の画面に戻って上記と同様の操作をやり直すことができる。
このように、携帯端末10では、表示面30aに禁止範囲を手動または自動で設定することで、所望の部分(たとえば背景画像Wpに含まれる顔画像)を避けてオブジェクトを表示させることができる。
ただし、表示面30aに禁止範囲PAが設定されたことで、デスクトップ画面DTに全てのオブジェクト画像Obを配置しきれなくなる場合がある。たとえば、14個のオブジェクト画像Ob1〜Ob14があり、このうち12個しかデスクトップ画面DTに配置しきれない場合、たとえば図6(A)に示すように、オブジェクト画像Ob1〜Ob12をデスクトップ画面DTに配置し、残りのオブジェクト画像Ob12およびOb13は、図6(B)に示すように、別のデスクトップ画面DT2に配置する。
表示面30aに設定された禁止範囲PAは、デスクトップ画面DTだけでなく、別のデスクトップ画面DT2に対しても有効であるため、オブジェクト画像Ob12およびOb13は、別のデスクトップ画面DT2でも禁止範囲PAを避けて(禁止範囲PAの外部に)配置される。具体的には、たとえば、別のデスクトップ画面DT2の左下に1番目のオブジェクト画像Ob13が配置され、その右に2番目のオブジェクト画像Ob14が配置される。
なお、3番目以降のオブジェクト画像Ob15,Ob16,Ob17,…が存在する場合、3番目のオブジェクト画像Ob15は2番目のオブジェクト画像Ob15の右に配置され、4番目のオブジェクト画像Ob16は3番目のオブジェクト画像Ob16の右に配置され、そして、下端部の表示領域がオブジェクトの表示で満たされたとすると、5番目のオブジェクト画像Ob17は、4番目のオブジェクト画像Ob16の上に配置される。言い換えると、まずは、左下から右、そして、右端に達すると、右下から上、そして、上端に達すると、右上から左へと順にオブジェクトが配置される。つまり、左下を起点に禁止範囲PAの外側を左周りに囲むようにオブジェクトは配置される。ただし、上記した配置順は一例に過ぎず、たとえば、左上を起点に禁止範囲PAの外側を右周りに囲む配置順でもよいし、禁止範囲PAの外側の空いている部分にランダムに配置することも可能である。
また、表示面30aに禁止範囲PAが設定されている場合、ユーザが手でデスクトップ画面DT(または別のデスクトップ画面DT2)上のオブジェクト画像Obを移動中に(つまりオブジェクト画像Obをドラッグしているとき)、オブジェクト画像Obが禁止範囲PAの内部に入ると、図7に示すように、“禁止範囲には移動できません”といったダイアログと共に禁止範囲PAを表示することで、ユーザに対して警告を行う。
なお、図示は省略するが、オブジェクト画像Obが禁止範囲PAの外部に出ると、ダイアログおよび禁止範囲PAの表示は消去される。また、ユーザが禁止範囲PAの内部で手を離した場合(つまりオブジェクト画像Obが禁止範囲PAの内部にドロップされた場合)、オブジェクト画像Obは自動的に禁止範囲PAの外部に移動される。
また、表示面30aに禁止範囲PAが設定されている場合、ユーザが手でデスクトップ画面DT上のオブジェクト画像Obを移動中に、図8(A)に示すように、オブジェクト画像Obが表示面30aの左端部または右端部に到達すると、図8(B)に示すように、別のデスクトップ画面DT2が表示される(つまり表示面30aの表示内容が、デスクトップ画面DTから別のデスクトップ画面DT2に更新される)。
上述したような禁止範囲PAの設定、および、禁止領範囲PAの設定に基づくデスクトップ画面DTの表示制御は、たとえば、メインメモリ34に記憶された図9および図10に示す各種のプログラム(52〜56)およびデータ(62〜72)に基づいて、CPU24が図11〜図13に示すフローに従う処理を実行することにより実現される。
図9を参照して、メインメモリ34の構成について説明する。メインメモリ34はプログラム領域50およびデータ領域60を含み、プログラム領域50には表示制御プログラム52,顔認識プログラム54およびタッチ検出プログラム56などが、データ領域60にはタッチ情報62,顔領域情報64,禁止範囲情報66,オブジェクト配置情報68,背景画像データ70およびオブジェクト画像データ72などが、それぞれ記憶される。なお、図示は省略するが、プログラム領域50には、先述した電話アプリケーションおよびカメラアプリケーションなどを実現するための各種制御プログラムも記憶される。
表示制御プログラム52は、禁止範囲PAの設定およびこれに基づくデスクトップ画面DTの表示制御(図3〜図8)を行うためのメインのプログラムであり、顔認識プログラム54およびタッチ検出プログラム56と共働して、データ領域60を参照しつつ図11〜図13のフローに従う処理をCPU24に実行させる。
顔認識プログラム54は、表示制御プログラム52によって利用されるプログラムであり、背景画像Wpに対する顔認識処理(図11のステップS19)をCPU24に実行させる。タッチ検出プログラム56は、表示制御プログラム52によって利用されるサブのプログラムであり、タッチパネル32の出力に基づくタッチ検出処理(図示せず)をCPU24に実行させる。
タッチ情報62は、タッチ検出処理の結果を示す情報であり、タッチ検出プログラム56によって所定の周期で(たとえば1/60秒毎に)更新される。タッチ情報62には、現時点のタッチ状態(たとえば表示面30aに何も接触していない状態か、手などが接触している状態か、さらにはスライド操作中かなどを示す情報),現時点のタッチ座標,およびタッチ軌跡などを示す情報が含まれる。
顔領域情報64は、顔認識処理の結果を示す情報であり、顔認識プログラム54によって所定の周期で(たとえば1/60秒毎に)更新される。顔領域情報64には、背景画像Wpのうち顔画像として認識された領域(顔領域)の位置や大きさを示す情報が含まれる。
禁止範囲情報66は、表示面30aに設定された禁止範囲PAの位置や大きさを示す情報であり、表示制御プログラム52によって書き込まれる(更新される)。
オブジェクト配置情報68は、オブジェクト画像Obの配置を示す情報であり、表示制御プログラム52によって書き込まれる(更新される)。オブジェクト配置情報68の構成例が、図10に示される。
ここで図10を参照して、このオブジェクト配置情報68は、図6の配置に対応しており、個々のオブジェクト画像Obを識別するオブジェクトID(Ob1,Ob2,…,Ob14)、オブジェクトID(Ob1,Ob2,…,Ob14)に関連付けられたデスクトップ画面(DT,DT,…,DT2)、およびオブジェクトID(Ob1,Ob2,…,Ob14)に関連付けられた位置((x1,y1),(x2,y2),…,(x14,y14))に関する情報を含む。
図9に戻って、背景画像データ70は、ドライバ28を介してディスプレイ30の表示面30aに背景画像Wp(壁紙)を表示するための画像データである。たとえば、撮像装置38で撮像した人物写真の画像データや、無線通信回路14を介してインターネットから取得した人物写真の画像データが、背景画像データ70として利用される。
オブジェクト画像データ72は、ドライバ28を介してディスプレイ30の表示面30aにオブジェクト画像Obを表示するための画像データである。オブジェクト画像Obは、たとえば、デスクトップ画面DTに表示されるアイコン,ウィジェットなどの画像である。
次に、以上のようなプログラムおよびデータに基づくCPU24の動作を図11〜図13により説明する。メニュー画面を通じて“壁紙”あるいは“禁止範囲の設定”といった項目が選択されると、CPU24は、表示制御プログラム52の制御下で、図11に示す設定処理を実行する。
図11を参照して、設定処理が開始されると、CPU24は、最初、ステップS1で、タッチパネル32を介したユーザ操作に基づき壁紙を選択する。選択された壁紙の画像データが、メインメモリ34のデータ領域60に背景画像データ70として記憶されると、CPU24は、ステップS3で、背景画像データ70をドライバ28に与えて、ディスプレイ30に壁紙を表示させる。そして、ステップS5で、禁止範囲PAを設定するか否かをユーザ操作に基づき判別する。具体的には、図3(A)に示すようなダイアログを操作ボタンと共に表示して、“OK”が選択されればYES、“キャンセル”が選択されればNOと判別する。
ステップS5でNOであれば、ステップS7に進み、さらにオブジェクト配置情報68およびオブジェクト画像データ72をドライバ28に与えることで、ディスプレイ30にデスクトップ画面DTを表示させる。ステップS7で表示されるデスクトップ画面DTの場合、図3(B)に示されるように、壁紙(背景画像Wp)に含まれる顔画像がオブジェクト画像Obで隠れる可能性がある。その後、CPU24は、設定処理を終了して図示しない通常のデスクトップ制御に移行する。
ステップS5でYESであれば、ステップS9に進んで、禁止範囲PAを手動で設定するか否かをユーザ操作に基づき判別する。具体的には、図4(A)に示すようなダイアログを操作ボタンと共に表示して、“OK”が選択されればYES、“キャンセル”が選択されればNOと判別する。
ステップS9でNOであれば、ステップS11に移って、禁止範囲PAを自動(顔認識)で設定するか否かをユーザ操作に基づき判別する。具体的には、図5(A)に示すようなダイアログを操作ボタンと共に表示して、“OK”が選択されればYES、“キャンセル”が選択されればNOと判別する。ステップS11でもNOであれば、ステップS5に戻って上記と同様の処理を繰り返す。
ステップS9でYESであれば、ステップS13に進んで、表示面30a内の任意の範囲を指定するユーザ操作を受け付ける。具体的には、ユーザが、たとえば図2に示すようなスライド操作により表示面30a内の任意の範囲を指定すると、そのスライド操作の軌跡が、タッチ検出プログラム56の制御下でタッチパネル32を介して検知され、検知結果を示すタッチ情報62がデータ領域60に書き込まれる。CPU24は、こうしてデータ領域60に記憶されたタッチ情報62に含まれる始点座標および終点座標に基づいて、図2に示すような、スライド操作の始点および終点を対角線とする矩形の範囲を、ユーザが指定した範囲(指定範囲)として認識する。
その後、ステップS15に進み、指定範囲を禁止範囲PAに設定する(OK)か否かをユーザに確認する。具体的には、図4(C)に示すようなダイアログを操作ボタンと共に表示して、“OK”が選択されればYES、“キャンセル”が選択されればNOと判断する。ステップS15でNOであれば、ステップS9に戻って上記と同様の処理を繰り返す。
ステップS15でYESであれば、指定範囲を禁止範囲PAを設定する。具体的には、指定範囲を示す情報(たとえば始点および終点の座標)を禁止範囲情報66としてデータ領域60に書き込む。その後、ステップS23(後述)に進む。
ステップS11でYESであれば、ステップS19に進み、顔認識プログラム54の制御下で、背景画像データ70に対して顔認識処理を実行する。そして、顔認識処理の結果、つまり背景画像Wpのうち顔画像として認識された領域(顔領域)に関する情報(位置や大きさなど)を、顔領域情報64としてデータ領域60に書き込む。
次に、ステップS21で、データ領域60に記憶された顔領域情報64に基づき禁止範囲PAを設定する。具体的には、図5(B)に示すような、顔領域を囲む(顔領域に外接する)円ないし楕円の領域を、禁止範囲PAに設定する。その後、ステップS23に進む。
ステップS23では、禁止範囲情報66およびオブジェクト配置情報68に基づきオブジェクト自動移動処理(図12参照)を実行する。このオブジェクト自動移動処理は、たとえば、図12のフロー(サブルーチン)に従って実行される。
ここで、図12を参照して、CPU24は、最初、ステップS31で、禁止範囲PAの内部にオブジェクト画像Obがあるか否かを禁止範囲情報66およびオブジェクト配置情報68に基づき判別する。ステップS31でNOであれば、CPU24の処理は図11のフローに戻る。
ステップS31でYESであれば、ステップS33に進んで、禁止範囲PAの内部に位置するオブジェクト画像Obを禁止範囲PAの外部(好ましくは、他のオブジェクトが表示されている場所は除く)に移動させる。次に、デスクトップ画面DTに収まらないオブジェクト画像Obがあるか否かをステップS35で判別し、ここでNOであれば、CPU24の処理は図11のフローに戻る。
ステップS35でYESであれば、ステップS37に進んで、デスクトップ画面DTに収まらないオブジェクト画像Obを別のデスクトップ画面DT2に移動させる。別のデスクトップ画面DT2でも、オブジェクト画像Obは禁止範囲PAの外部に配置される。
ステップS33,S37の実行結果は、オブジェクト配置情報68に反映される。つまり、オブジェクト配置情報68の少なくとも一部が、ステップS33,S37でオブジェクト画像Obが移動されたことに応じて更新される。
その後、CPU24は、ステップS39で、オブジェクト配置情報68,背景画像データ70およびオブジェクト画像データ72をドライバ28に与えて、ディスプレイ30に移動先つまり別のデスクトップ画面DT2を表示させ、そして、ステップS41でユーザの確認(OK)を待つ。タッチパネル32等でOK操作が検知されると、ステップS41でYESと判別され、CPU24の処理は図11のフローに戻る。
再び図11を参照して、CPU24は、次のステップS25で、オブジェクト配置情報68,背景画像データ70およびオブジェクト画像データ72をドライバ28に与えて、ディスプレイ30にデスクトップ画面DTを表示させる。ステップS25で表示されるデスクトップ画面DTの場合、表示面30aに禁止範囲PAが設定されたことで、たとえば図4(D),図5(B)に示されるように、顔画像がオブジェクト画像Obに隠れることはなくなる。その後、CPU24の処理は図13のデスクトップ制御に移行する。
次に、図13を参照して、デスクトップ制御処理が開始されると、CPU24は、最初、ステップS51で、新たなオブジェクト画像Obが追加されたか否かをオブジェクト配置情報68などに基づいて判別する。たとえば、新たなアプリケーションソフト(アプリ)がインストールされると、それに対応する新たなオブジェクト画像Ob(アイコンなど)の配置情報および画像データがオブジェクト配置情報68およびオブジェクト画像データ72にそれぞれ追加されて、その新たなオブジェクト画像Obがデスクトップ画面DTに登場するため、新たなオブジェクト画像Obが追加されたか否かは、オブジェクト配置情報68(および/またはオブジェクト画像データ72)に基づいて判別できる。
ステップS51でNOであれば、ステップS55に進む。ステップS51でYESであれば、ステップS53でオブジェクト自動移動処理(図11参照:前述)を実行した後、ステップS55に進む。
ステップS55では、手でオブジェクト画像Obを移動中か否かをタッチ情報62およびオブジェクト配置情報68に基づき判別する。ステップS55でNOであれば、ステップS56aに移って、ステップS17または21で設定した禁止範囲を解除するか否かをユーザ操作に基づき判別する。たとえば、デスクトップ画面DTに図示しない解除ボタンを常時表示しておき、この解除ボタンへのタッチ操作が検知されればYES、検知されなければNOと判別する。
ステップS56aでNOであれば、ステップS51に戻って上記と同様の処理を繰り返す。なお、ステップS51からステップS55およびS56aを経てステップS51に戻るループ処理は、たとえば1/60秒周期で実行される。
ステップS56aでYESであれば、ステップS56bに進み、ステップS17またはS21で設定された禁止範囲を解除する。その後、CPU24の処理は、図示しない通常のデスクトップ制御に移行する。
ステップS55でYESであれば、ステップS57に進んで、その移動中のオブジェクト画像Obの位置が禁止範囲PAの内部か否かを禁止範囲情報66およびオブジェクト配置情68に基づいて判別する。
ステップS57でYESであれば、ステップS59で、ドライバ28を介してディスプレイ30に禁止範囲PAを赤枠で表示させる。なお、枠の色は青など他の色でもよいし、枠自体は表示せずに、枠の内部(または外部)を着色したり、枠の内部(または外部)の輝度を変化させたりしてもよい。
次のステップS61では、禁止範囲PAの内部でユーザが手を離した(または着信などの割り込みが発生した)か否かをタッチ情報62等に基づいて判別し、ここでNOであれば、ステップS57に戻って上記と同様の処理を繰り返す。
ステップS61でYESであれば、ステップS63でオブジェクト自動移動処理(図11参照:前述)を実行することで、そのオブジェクト画像Ob、つまり禁止範囲PAの内部で手放された(または割り込みによって禁止範囲PAの内部で移動が中断された)オブジェクト画像Obを、強制的に禁止範囲PAの外部に移動させる。そして、ステップS64で赤枠を消去した後、ステップS51に戻って上記と同様の処理を繰り返す。
ステップS57でNOであれば、ステップS65で赤枠を消去した後(なお、赤枠を表示中でない場合は、このステップS65はスキップしてよい)、ステップS67に進み、禁止範囲PAの外部でユーザが手を離した(または着信などの割り込みが発生した)か否かをタッチ情報62等に基づいて判別し、ここでYESであれば、ステップS69で、そのオブジェクト画像Obをその位置つまり手を離した時点(または着信が発生した時点)の位置に配置した後、ステップS51に戻って上記と同様の処理を繰り返す。
ステップS67でYESであれば、さらにステップS71で、そのオブジェクト画像Obが表示面30aの左端部または右端部に到達した(図8(A)参照)か否かをオブジェクト配置情報68に基づいて判別し、ここでNOであれば、ステップS57に戻って上記と同様の処理を繰り返す。
ステップS71でYESであれば、ステップS73で、ドライバ28を介してディスプレイ30に別のデスクトップ画面DT2を表示させる(図8(B)参照)。なお、現時点の表示が別のデスクトップ画面DT2の場合は、さらに別のデスクトップ画面DT3(図示せず)か、または元のデスクトップ画面DTを表示させる。その後、ステップS57に戻って上記と同様の処理を繰り返す。
以上から明らかなように、この実施例では、携帯端末10のCPU24は、オブジェクト画像Obを背景画像Wp上に配置して表示面30aに表示させる際に、表示面30aに禁止範囲PAを設定し(S17,S21)、設定された禁止範囲PAの内部に位置するオブジェクト画像Obを当該禁止範囲PAの外部に移動させ(S23,S53,S63)、そして、移動後のオブジェクト画像Obを背景画像Wp上に配置したデスクトップ画面DTを表示面30aに表示させる(S25)。したがって、所望の部分を避けてオブジェクトを表示させることができる。
また、CPU24は、禁止範囲PAの設定前に背景画像Wpを表示面30aに表示させる(S3)。こうして背景画像Wpを予め表示することで、その背景画像Wpに適した禁止範囲PAをユーザが指定できる。
また、CPU24は、禁止範囲PAが設定されたとき、禁止範囲PAの内部に位置するオブジェクト画像Obの有無を判別して、禁止範囲PAの内部に位置するオブジェクト画像Obがある場合に当該オブジェクト画像Obを当該禁止範囲PAの外部に移動させる(S31:YES→S33)。これにより、ユーザが背景画像Wpの所望の部分を指定すると、その部分が禁止範囲PAに設定され、設定された禁止範囲PAの内部に位置するオブジェクト画像Obが外部に移動される結果、所望の部分を避けてオブジェクトを表示させることができる。
ここで、表示面30aは、タッチデバイス(たとえばタッチパネル32が設けられたディスプレイ30)の表示面であり、CPU24は、タッチデバイスで検出される位置情報に基づいて禁止範囲を設定する(S17)。したがって、携帯端末10では、手動で禁止範囲を設定できる。
手動設定が選択された場合、CPU24は、タッチデバイスで検出されるスライド操作の始点および終点で規定される範囲、具体的には、スライド操作の始点および終点を対角線とする矩形の領域を禁止範囲PAに設定する(図2,図4(A))。変形例では、そのような矩形に内接する領域を禁止範囲PAに設定してもよい(図14(A))。または、スライド操作の始点を中心、始点から終点を半径とする円形の領域を禁止範囲PAに設定してもよい(図示せず)。他の変形例では、スライド操作の軌跡で囲まれた範囲を禁止範囲PAに設定してもよい(図14(B))。こうして、スライド操作により禁止範囲PAを設定できる。
なお、他の実施例では、タッチデバイスの表示面30aにテンプレートを表示し、タッチデバイスで選択されたテンプレートに対応する禁止範囲PAを設定してもよい(図15)。
また、携帯端末10では、禁止範囲PAを自動で設定することも選択可能であり、自動設定(顔認識)が選択されると、CPU24は、背景画像Wpに対して顔認識を行い(S19)、認識結果に基づいて禁止範囲を設定する(S21)。これにより、自動で禁止範囲PAを設定し、顔の部分を避けてオブジェクトを表示させることができる。なお、変形例では、背景画像Wpに対してエッジ検出を行い、エッジ検出の結果に基づいて禁止範囲PAを設定してもよい。
また、CPU24は、デスクトップ画面DTの禁止範囲PAを除く部分に収まりきれないオブジェクト画像Obがある場合には、当該オブジェクト画像Obを別のデスクトップ画面DT2に移動させる(S35:YES→S37)。したがって、禁止範囲PAの設定により、デスクトップ画面DTに収まらないオブジェクトが生じても、それらは別のデスクトップ画面DT2に移動されるので、デスクトップ画面DTに収まらないオブジェクトが表示されなくなることを防止できる。
ここで、別のデスクトップ画面DT2は、デスクトップ画面DTの禁止範囲PAを除く部分に収まりきれないオブジェクト画像Obを背景画像Wpと同じ画像上に配置した画面であり、CPU24は、デスクトップ画面DT内に収まりきれないオブジェクト画像Obを別のデスクトップ画面DT2の禁止範囲PAを除く部分に移動させる(図6(B))。このように、別のデスクトップ画面DT2でも、オブジェクト画像Obは禁止範囲PAを避けて配置されるので、同じ背景画像Wpを用いれば、所望の部分を避けてオブジェクトを表示させることができる。
また、CPU24は、上記のような別のデスクトップ画面DT2への移動後に、移動先つまり当該別のデスクトップ画面DT2を一時表示する(S39)。これにより、別のデスクトップ画面DT2に移動されたオブジェクト画像Obをユーザが見失うことを防止できる。
また、CPU24は、新たなオブジェクト画像Obが追加されたときに、禁止範囲PAの内部に位置するオブジェクト画Ob像の有無を判別して、禁止範囲PAの内部に位置するオブジェクト画像Obがある場合に当該オブジェクト画像Obを当該禁止範囲PAの外部に移動させる(S31:YES→S33)。したがって、新たなオブジェクト画像Obが追加されたときにも、禁止範囲PAの内部から外部への移動を行うので、所望の部分を避けてオブジェクトを表示させることができる。
また、CPU24は、表示面30aに表示されたオブジェクト画像Obをタッチデバイスで検出される位置情報に基づいて移動させ(S55)、こうして手で移動中のオブジェクト画像Obが禁止範囲PAの内部に入った場合に当該禁止範囲PAを表示する(S57:YES→S59)。これにより、手で禁止範囲の内部に配置されないように警告することができる。
また、CPU24は、オブジェクト画像Obが手で禁止範囲PAの内部に配置された場合(S61:YES)に、当該オブジェクト画像Obを当該禁止範囲PAの外部に移動させる(S31:YES→S33)。したがって、オブジェクト画像Obが手動で禁止範囲PAの内部に配置されても、そのオブジェクト画像Obは自動的に禁止範囲PAの外部に移動されるので、所望の部分を避けてオブジェクトを表示させることができる。
また、CPU24は、オブジェクト画像Obが手でデスクトップ画面DTの端部に移動された場合に、当該オブジェクト画像Obを背景画像Wpと同じ画像上に配置した別のデスクトップ画面DT2を表示面30aに表示させる(S71:YES→S73)。したがって、オブジェクト画像Obがデスクトップ画面DTの端部に到達すると、同種の別のデスクトップ画面DT2が表示されるので、手での移動範囲を広げることができる。
また、CPU24は、禁止範囲PAの設定後に解除操作が行われると、その禁止範囲PAを解除する(S56b)。なお、禁止範囲PAが解除されても、禁止範囲PAの外部に移動されたオブジェクト画像Obを禁止範囲PAの内部に復帰させる処理は行わない。こうして禁止範囲PAを解除することで、それ以降、禁止範囲に対応する部分にもオブジェクトを表示できるようになる。
なお、この実施例では、デスクトップ画面DTにオブジェクト画像Obを配置しきれない場合や、手で移動中のオブジェクト画像Obが表示面30aの左端または右端に達した場合に、表示面30aの表示を別のデスクトップ画像DT2に切り替えたが、他の実施例では、表示面30aよりも大きなサイズの背景画像Wpを記憶し、表示面30aにはその一部を表示するように構成して、デスクトップ画面DTにオブジェクト画像Obを配置しきれない場合や、手で移動中のオブジェクト画像Obが表示面30aの左端または右端に達した場合には、背景画像Wpの表示をスクロールさせる制御を行ってもよい。
なお、禁止範囲PAの形状は、実施例では、矩形または円ないし楕円であるが、六角形などの多角形などでもよく、一般には、所望の部分(たとえば顔領域)の全部または大部分を含むものであれば、任意の形状で構わない。
なお、禁止範囲PAは、この実施例では表示面30aに設定した(結果、全てのデスクトップ画面DT,DT2,…に共通である)が、他の実施例では、各デスクトップ画面に設定してもよい。この場合、禁止範囲PAはデスクトップ画面によって異なるので、デスクトップ画面によって異なる壁紙を用いることもできる。
また、たとえば、画像Aを壁紙設定し、次に画像Bを壁紙設定し、そして再度画像Aを壁紙設定する場合、画像Aへの禁止領域PAの設定をユーザが再度行う必要がないように、壁紙Aと関連付けて禁止領域PAの設定を記録しておいてもよい。そして、再度画像Aを壁紙として設定する場合に、以前の禁止領域PAの設定を利用するか否かの確認画面を表示して、OKであれば、以前設定した禁止領域PAを再度壁紙に対する禁止領域PAとして設定することができる。
なお、禁止範囲PAを手動で設定する場合、実施例では、ユーザはスライド操作で矩形の範囲を指定したが、変形例では、スライド操作で円形ないし楕円形の範囲を指定してもよい。この場合、CPIU24は、図14(A)に示すように、スライド操作の始点および終点で規定される矩形に内接する円または楕円の内部を禁止範囲PAに設定することができる。または、スライド操作の始点を中心とし、スライド操作の始点から終点までの距離を半径とする円の内部を禁止範囲PAに設定してもよい。
他の変形例では、たとえば、図14(B)に示すように、ユーザがスライド操作で円や矩形などの領域を描き、CPU24は、そのスライド操作の軌跡で囲まれる領域を禁止範囲PAに設定してもよい。
この実施例や変形例の手動設定は、スライド操作の軌跡を利用して(つまり手書きの態様で)行ったが、他の実施例では、テンプレートを利用して行ってもよい。たとえば、CPU24は、図15に示すように、楕円,矩形といった各種図形を示す複数のテンプレートを表示面30aに表示して、そのうち1つを、タッチパネル32で検出されるスライド操作に基づき任意の位置に移動させ、さらにタッチ操作に基づきテンプレートを伸縮させれば、ユーザは手動で所望の禁止範囲PAを設定することができる。
また、禁止範囲PAを自動で設定する場合、実施例では顔認識を利用したが、変形例ではエッジ検出を利用してもよい。具体的には、CPU24は、背景画像Wpから色差,輝度差などの画像情報に基づきエッジ(輪郭線)を検出し、検出されたエッジの配置や密度に基づき禁止範囲PAを設定する。たとえば、検出されたエッジ配置をデータベースに登録されたエッジ配置と比較することで、背景画像Wpに含まれる対象を推定し、推定結果が特定の対象(たとえば人物,動植物,車体など)である場合に、その対象を囲むように禁止範囲PAを設定する方法や、検出されたエッジ密度が周囲と比べて高い領域を禁止範囲PAに設定する方法などがある。
以上では、携帯端末10について説明したが、この発明は、オブジェクト画像(たとえばアイコン,ウィジェット)を背景画像(たとえば人物,動植物,乗り物などの写真画像)上に配置して、タッチデバイス(たとえばタッチパネルないしタッチスクリーン付きのディスプレイ)の表示面に表示させる、表示制御装置(たとえばスマートフォン,タブレットPC,各種の情報端末)に適用できる。
10 …携帯端末
24 …CPU
28 …ドライバ
30 …ディスプレイ
30a …表示面
32 …タッチパネル
34 …メインメモリ
DT,DT2 …デスクトップ画面
Ob …オブジェクト画像
PA …禁止範囲
Wp …背景画像(壁紙)

Claims (14)

  1. オブジェクト画像を背景画像上に配置して表示面に表示させる表示制御装置であって、
    前記背景画像を前記表示面に表示した後に前記表示面に禁止範囲を設定する設定部、
    前記設定部によって前記禁止範囲が設定されたとき、当該禁止範囲の内部にドロップされた前記オブジェクト画像の有無を判別して、前記禁止範囲の内部にドロップされた前記オブジェクト画像がある場合に当該オブジェクト画像を当該禁止範囲の外部に移動させる第1移動部、および
    前記第1移動部による移動後の前記オブジェクト画像を前記背景画像上に配置した画面を、前記表示面に表示させる制御部を備える、表示制御装置。
  2. 前記表示面はタッチデバイスの表示面であり、
    前記設定部は前記タッチデバイスで検出される位置情報に基づいて禁止範囲を設定する、請求項1記載の表示制御装置。
  3. オブジェクト画像を背景画像上に配置して表示面に表示させるタッチデバイス、
    前記表示面に前記タッチデバイスで検出されるスライド操作の始点および終点で規定される範囲を禁止範囲に設定する設定部、
    前記禁止範囲の内部にドロップされた前記オブジェクト画像を当該禁止範囲の外部に移動させる第1移動部、および
    前記第1移動部による移動後の前記オブジェクト画像を前記背景画像上に配置した画面を、前記表示面に表示させる制御部を備える、表示制御装置
  4. 前記背景画像に対して顔認識を行う顔認識部をさらに備え、
    前記設定部は前記顔認識部の認識結果に基づいて禁止範囲を設定する、請求項1または3記載の表示制御装置。
  5. オブジェクト画像を背景画像上に配置して表示面に表示させる表示制御装置であって、
    前記表示面に禁止範囲を設定する設定部、
    前記設定部によって設定された禁止範囲の内部にドロップされたオブジェクト画像を当該禁止範囲の外部に移動させる第1移動部、および
    前記第1移動部による移動後のオブジェクト画像を前記背景画像上に配置した画面を、前記表示面に表示させる制御部を備え、
    前記第1移動部は、前記画面の前記禁止範囲を除く部分に収まりきれないオブジェクト画像がある場合には、当該オブジェクト画像を別の画面に移動させる、表示制御装置。
  6. 前記別の画面は、前記画面の前記禁止範囲を除く部分に収まりきれないオブジェクト画像を前記背景画像と同じ画像上に配置した画面であり、
    前記第1移動部は、前記画面内に収まりきれないオブジェクト画像を前記別の画面の前記禁止範囲を除く部分に移動させる、請求項5記載の表示制御装置。
  7. 前記制御部は、前記第1移動部による前記別の画面への移動後に当該別の画面を一時表示する、請求項5記載の表示制御装置。
  8. 前記第1移動部は、新たなオブジェクト画像が追加されたときに、前記禁止範囲の内部にドロップされたオブジェクト画像の有無を判別して、前記禁止範囲の内部にドロップされたオブジェクト画像がある場合に当該オブジェクト画像を当該禁止範囲の外部に移動する、請求項1記載の表示制御装置。
  9. オブジェクト画像を背景画像上に配置して表示面に表示させる表示制御装置であって、
    前記表示面に禁止範囲を設定する設定部、
    前記設定部によって設定された禁止範囲の内部にドロップされたオブジェクト画像を当該禁止範囲の外部に移動させる第1移動部、
    前記第1移動部による移動後のオブジェクト画像を前記背景画像上に配置した画面を、前記表示面に表示させる制御部、および
    前記表示面に表示されたオブジェクト画像を前記タッチデバイスで検出される位置情報に基づいて移動させる第2移動部を備え、
    前記制御部は、前記第2移動部によって移動中のオブジェクト画像が前記禁止範囲の内部に入った場合に当該禁止範囲を表示する、表示制御装置。
  10. 前記第1移動部は、前記第2移動部によってオブジェクト画像が前記禁止範囲の内部に配置された場合に、当該オブジェクト画像を当該禁止範囲の外部に移動させる、請求項9記載の表示制御装置。
  11. 前記制御部はさらに、前記第2移動部によってオブジェクト画像が前記画面の端部に移動された場合に、当該オブジェクト画像を前記背景画像と同じ画像上に配置した別の画面を前記表示面に表示させる、請求項9記載の表示制御装置。
  12. 前記設定部によって設定された禁止範囲を解除する解除部をさらに備える、請求項1、3、5または9記載の表示制御装置。
  13. オブジェクト画像を背景画像上に配置して表示面に表示させる表示制御装置であって、
    前記背景画像を前記表示面に表示した後に前記表示面に禁止範囲を設定する設定部、
    前記設定部によって前記禁止範囲が設定されたとき、当該禁止範囲の内部にドロップされた前記オブジェクト画像の有無を判別して、前記禁止範囲の内部にドロップされた前記オブジェクト画像がある場合に当該オブジェクト画像を当該禁止範囲の外部に移動させる第1移動部、および
    前記第1移動部による移動後の前記オブジェクト画像を前記背景画像上に配置した画面を、前記表示面に表示させる制御部として機能させる、表示制御プログラム。
  14. オブジェクト画像を背景画像上に配置して表示面に表示させる表示制御装置による表示制御方法であって、
    前記背景画像を前記表示面に表示した後に前記表示面に禁止範囲を設定する設定ステップ、
    前記設定ステップによって前記禁止範囲が設定されたとき、当該禁止範囲の内部にドロップされた前記オブジェクト画像の有無を判別して、前記禁止範囲の内部にドロップされた前記オブジェクト画像がある場合に当該オブジェクト画像を当該禁止範囲の外部に移動させる第1移動ステップ、および
    前記第1移動ステップによる移動後の前記オブジェクト画像を前記背景画像上に配置した画面を、前記表示面に表示させる制御ステップを含む、表示制御方法
JP2012235268A 2012-10-25 2012-10-25 表示制御装置,表示制御プログラムおよび表示制御方法 Active JP6216109B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012235268A JP6216109B2 (ja) 2012-10-25 2012-10-25 表示制御装置,表示制御プログラムおよび表示制御方法
PCT/JP2013/078754 WO2014065344A1 (ja) 2012-10-25 2013-10-24 表示制御装置,表示制御プログラムおよび表示制御方法
US14/438,609 US20150294649A1 (en) 2012-10-25 2013-10-24 Display control apparatus, display control program and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012235268A JP6216109B2 (ja) 2012-10-25 2012-10-25 表示制御装置,表示制御プログラムおよび表示制御方法

Publications (2)

Publication Number Publication Date
JP2014085897A JP2014085897A (ja) 2014-05-12
JP6216109B2 true JP6216109B2 (ja) 2017-10-18

Family

ID=50544717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012235268A Active JP6216109B2 (ja) 2012-10-25 2012-10-25 表示制御装置,表示制御プログラムおよび表示制御方法

Country Status (3)

Country Link
US (1) US20150294649A1 (ja)
JP (1) JP6216109B2 (ja)
WO (1) WO2014065344A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160021607A (ko) * 2014-08-18 2016-02-26 삼성전자주식회사 배경 화면을 디스플레이하는 방법 및 장치
EP3040829A1 (de) 2015-01-02 2016-07-06 Volkswagen AG Anwenderschnittstelle und Verfahren zum Betrieb einer Anwenderschnittstelle für ein Fortbewegungsmittel
JP6290143B2 (ja) 2015-07-30 2018-03-07 シャープ株式会社 情報処理装置、情報処理プログラムおよび情報処理方法
US10546185B2 (en) * 2015-12-01 2020-01-28 Casio Computer Co., Ltd. Image processing apparatus for performing image processing according to privacy level
US10187587B2 (en) * 2016-04-13 2019-01-22 Google Llc Live updates for synthetic long exposures
JP2018022370A (ja) * 2016-08-04 2018-02-08 キヤノン株式会社 アプリケーション実行装置及びその制御方法、並びにプログラム
JP6550485B2 (ja) * 2018-02-07 2019-07-24 シャープ株式会社 表示装置、制御プログラムおよび制御方法
CN113726948B (zh) * 2020-05-12 2022-08-23 北京字节跳动网络技术有限公司 图片展示方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08314677A (ja) * 1995-05-17 1996-11-29 Hitachi Ltd アイコンの再表示方法
JPWO2003041405A1 (ja) * 2001-11-07 2005-03-03 シャープ株式会社 データ受信装置
JP4293810B2 (ja) * 2002-03-22 2009-07-08 ニスカ株式会社 印刷制御システム及び印刷制御方法並びにプログラム
JP2004147174A (ja) * 2002-10-25 2004-05-20 Make Softwear:Kk 写真自動販売機、画像入力方法、および画像入力プログラム
JP4468443B2 (ja) * 2005-03-18 2010-05-26 シャープ株式会社 多重画像表示装置、多重画像表示プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP5098596B2 (ja) * 2007-11-23 2012-12-12 株式会社デンソー 車両用表示装置
US8359541B1 (en) * 2009-09-18 2013-01-22 Sprint Communications Company L.P. Distributing icons so that they do not overlap certain screen areas of a mobile device
JP5293634B2 (ja) * 2010-02-15 2013-09-18 コニカミノルタ株式会社 画像合成装置及び画像の位置合わせ方法
JP5323010B2 (ja) * 2010-07-05 2013-10-23 レノボ・シンガポール・プライベート・リミテッド 情報入力装置、その画面配置方法、およびコンピュータが実行可能なプログラム
JP2013092988A (ja) * 2011-10-27 2013-05-16 Kyocera Corp 装置、方法、及びプログラム

Also Published As

Publication number Publication date
WO2014065344A1 (ja) 2014-05-01
US20150294649A1 (en) 2015-10-15
JP2014085897A (ja) 2014-05-12

Similar Documents

Publication Publication Date Title
JP6216109B2 (ja) 表示制御装置,表示制御プログラムおよび表示制御方法
JP6834056B2 (ja) 撮影モバイル端末
JP6517967B2 (ja) 撮影装置
JP6205067B2 (ja) パン・チルト操作装置、カメラシステム、パン・チルト操作用プログラム及びパン・チルト操作方法
US9819871B2 (en) Method of executing fast association function of camera and portable device including the same
US20180316849A1 (en) Image capturing device with touch screen for adjusting camera settings
KR101237809B1 (ko) 카메라 장치
JP5848932B2 (ja) 携帯端末、フォルダ管理プログラムおよびフォルダ管理方法
JP5791448B2 (ja) カメラ装置および携帯端末
US20230308778A1 (en) Photographing method and apparatus, electronic device, and storage medium
JP6496805B2 (ja) WiFi信号アイコンの展示方法、装置、移動端末、プログラム、及び記録媒体
JP2007148350A (ja) 画像出力装置、画像表示装置、画像出力用通信システム、画像一覧表示システム、プログラム、記録媒体、及び画像出力方法
US10291835B2 (en) Information processing apparatus, imaging apparatus, information processing method, and imaging system
JP2016535527A (ja) 呼び出し転送方法、装置及び端末、プログラム及び記録媒体
US9363435B2 (en) Apparatus and method of determining how to perform low-pass filter processing as a reduction association processing when moire is suppressed in a captured image represented by image capture data according to an array of color filters and when the moire appears in the reduced image after processing the reduction processing on the image pickup data, on the basis of an acquisition result of the shooting condition data
CN113747078A (zh) 显示设备及焦距控制方法
JP4001706B2 (ja) 携帯通信端末の機能設定装置
US20170041377A1 (en) File transmission method and apparatus, and storage medium
CN113885744A (zh) 菜单选项显示方法及智能手表
JP2014026359A (ja) 電子機器,タッチ選択プログラムおよび方法
JP2008242096A (ja) 表示装置、表示装置の制御方法、表示装置の制御プログラム、および表示装置の制御プログラムを記録した記録媒体
US20210166658A1 (en) Display control apparatus and control method therefor
JP6598964B2 (ja) 通信装置、通信装置の制御方法、プログラム
KR100842615B1 (ko) 표시장치에서 좌표의 위치 이동 방법
KR20060098664A (ko) 줌기능을 구현하기 위한 영상처리장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161130

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161206

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170922

R150 Certificate of patent or registration of utility model

Ref document number: 6216109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150