JP4635437B2 - Electronic apparatus and image display method - Google Patents
Electronic apparatus and image display method Download PDFInfo
- Publication number
- JP4635437B2 JP4635437B2 JP2004001989A JP2004001989A JP4635437B2 JP 4635437 B2 JP4635437 B2 JP 4635437B2 JP 2004001989 A JP2004001989 A JP 2004001989A JP 2004001989 A JP2004001989 A JP 2004001989A JP 4635437 B2 JP4635437 B2 JP 4635437B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- enlarged
- grid
- size
- entire image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、画像を表示することができる例えばデジタルカメラ、デジタルカムコーダ、PDA(Personal Digital Assistants)、携帯電話等の電子機器及び画像表示方法に関する。 The present invention relates to an electronic device capable of displaying an image, for example, a digital camera, a digital camcorder, a PDA (Personal Digital Assistants), a mobile phone or the like, and an image display method.
従来から、画像の一部分を拡大表示する場合に、当該画像のどの部分を拡大表示しているのかを示すために、当該拡大された拡大画像の上に、当該部分の位置を示した全体画像を所定の大きさに縮小し、当該全体画像を上記拡大画像と合成して表示するという技術がある(例えば、特許文献1参照)。
しかしながら、上記技術においては、上記全体画像は所定の大きさに縮小されているため、特に表示画面が小さい場合には、全体画像における拡大された部分が把握しにくく、また、拡大表示する領域を変更する場合にその微調整がしにくいという問題があった。 However, in the above technique, since the entire image is reduced to a predetermined size, particularly when the display screen is small, it is difficult to grasp an enlarged portion of the entire image, and an area to be enlarged is displayed. There is a problem that fine adjustment is difficult when changing.
そこで、縮小された全体画像を見やすくするために当該全体画像を拡大することが考えられるが、全体画像の縦横比を変更せずにそのまま拡大しようとすると、当該拡大された全体画像が、拡大画像をその中心部付近まで隠してしまい、拡大画像が見にくくなってしまう。また、拡大画像の縦横比を変更して拡大画像を極力隠さないように表示しようとすると、全体画像が不自然な形になってしまい、結果としてどの部分を拡大しているかが把握しにくくなり、ユーザを混乱させてしまうことになる。 Therefore, it is conceivable to enlarge the entire image in order to make it easier to see the reduced entire image. However, if the enlargement is performed without changing the aspect ratio of the entire image, the enlarged entire image is enlarged. Is hidden up to the vicinity of the center, making it difficult to see the enlarged image. Also, if you change the aspect ratio of the enlarged image and try to display it so as not to hide it as much as possible, the entire image will be unnatural, and it will be difficult to grasp which part is enlarged as a result. Would confuse the user.
更に、全体画像の表示位置が固定されており、ユーザが任意にそのレイアウトを変更することができないため、ユーザの所望する位置に全体画像をレイアウトできず、拡大画像中のユーザが見たい部分を全体画像が覆い隠してしまっている場合でも、全体画像のレイアウトをユーザが特に見たいと思っていない位置に変更して、当該覆い隠している部分を見られるようにすることもできなかった。 Furthermore, since the display position of the entire image is fixed and the user cannot arbitrarily change the layout, the entire image cannot be laid out at the position desired by the user, and the portion of the enlarged image that the user wants to see is displayed. Even when the entire image is obscured, it is not possible to change the layout of the entire image to a position that the user does not particularly want to see so that the obscured portion can be seen.
以上のような事情に鑑み、本発明の目的は、拡大画像とその拡大領域を示す全体画像を同時に表示する際に、拡大画像を覆い隠すことを極力避けつつ、全体画像を見やすく表示することができる電子機器及び画像表示方法を提供することにある。 In view of the circumstances as described above, an object of the present invention is to display an entire image in an easy-to-see manner while avoiding obscuring the enlarged image as much as possible when simultaneously displaying the enlarged image and the entire image showing the enlarged area. It is an object to provide an electronic device and an image display method that can be used.
上述の目的を達成するため、本発明の主たる観点に係る電子機器は、画像を所定の大きさに縮小し、かつ、3次元空間内で奥行き方向に傾斜させて全体画像を生成する全体画像生成手段と、前記画像中の一部の領域を拡大した拡大画像を生成する拡大画像生成手段と、前記全体画像上に、前記画像中における前記拡大された領域の位置及び大きさを示す拡大領域枠を作成する拡大領域枠作成手段と、前記拡大領域枠が作成された全体画像を前記拡大画像の上に重ねて両画像を合成する合成手段と、前記合成された画像を表示画面に表示する表示手段とを具備することを特徴としている。 In order to achieve the above-described object, an electronic apparatus according to a main aspect of the present invention generates an entire image by reducing an image to a predetermined size and tilting the image in the depth direction in a three-dimensional space. Means, an enlarged image generating means for generating an enlarged image obtained by enlarging a partial area in the image, and an enlarged area frame indicating the position and size of the enlarged area in the image on the entire image An enlarged area frame creating means for creating the image, a combining means for overlaying the entire image on which the enlarged area frame has been created on the enlarged image, and synthesizing both images, and a display for displaying the synthesized image on a display screen Means.
また、本発明の他の観点に係る画像表示方法は、(a)画像を所定の大きさに縮小し、かつ、3次元空間内で奥行き方向に傾斜させて全体画像を生成するステップと、(b)前記画像中の一部の領域を拡大した拡大画像を生成するステップと、(c)前記全体画像上に、前記画像中における前記拡大された領域の位置及び大きさを示す拡大領域枠を作成するステップと、(d)前記拡大領域枠が作成された全体画像を前記拡大画像の上に重ねて両画像を合成するステップと、(e)前記合成された画像を表示画面に表示するステップとを具備することを特徴としている。
さらに、本発明の別の観点に係るプログラムは、電子機器に、画像を所定の大きさに縮小し、かつ、3次元空間内で奥行き方向に傾斜させて全体画像を生成するステップと、前記画像中の一部の領域を拡大した拡大画像を生成するステップと、前記全体画像上に、前記画像中における前記拡大された領域の位置及び大きさを示す拡大領域枠を作成するステップと、前記拡大領域枠が作成された全体画像を前記拡大画像の上に重ねて両画像を合成するステップと、前記合成された画像を表示画面に表示するステップとを実行させるためのものである。
An image display method according to another aspect of the present invention includes: (a) generating an entire image by reducing an image to a predetermined size and tilting the image in a depth direction in a three-dimensional space; b) generating an enlarged image obtained by enlarging a partial area in the image; and (c) an enlarged area frame indicating a position and a size of the enlarged area in the image on the entire image. Creating, (d) superimposing the entire image on which the enlarged area frame is created on the enlarged image, and synthesizing both images, and (e) displaying the synthesized image on a display screen. It is characterized by comprising.
Furthermore, a program according to another aspect of the present invention includes a step of generating an entire image by reducing an image to a predetermined size and inclining in a depth direction in a three-dimensional space on an electronic device, Generating an enlarged image obtained by enlarging a part of the area; creating an enlarged area frame indicating the position and size of the enlarged area in the image on the entire image; The step of superimposing the entire image with the region frame on the enlarged image to combine both images and the step of displaying the combined image on a display screen are executed.
これらの構成によれば、上記全体画像が所定の大きさに縮小され、かつ、3次元空間内で傾斜して表示されるため、全体画像を2次元で表示する場合に比べて表示画面上における全体画像の占有面積を小さくすることができ、当該全体画像が、その下に表示される拡大画像を覆い隠すことを極力避けることができる。この構成は、表示画面が小さいために全体画像を大きくするとその下の拡大画像を覆い隠してしまい、また全体画像を小さくするとどの部分を拡大しているかが把握しにくくなるような場合に特に有効である。 According to these configurations, the entire image is reduced to a predetermined size and displayed in a tilted manner in the three-dimensional space, so that the entire image is displayed on the display screen as compared with the case where the entire image is displayed in two dimensions. The area occupied by the entire image can be reduced, and the entire image can be avoided as much as possible from obscuring the enlarged image displayed below it. This configuration is especially effective when the entire image is enlarged because the display screen is small, and the enlarged image below it is obscured, and when the entire image is reduced, it is difficult to grasp which part is enlarged. It is.
また、上記全体画像を3次元空間内で傾斜させて表示することにより、全体画像を例えばその縦横比を変更して表示するような場合に比べて、ユーザにとって違和感が無く、より自然な感じで全体画像を表示することができるため、ユーザは当該全体画像を参照することで画像中における拡大領域を容易に把握することができる。 Further, by displaying the whole image in a tilted manner in the three-dimensional space, the user feels more comfortable and feels more natural than the case where the whole image is displayed with the aspect ratio changed, for example. Since the entire image can be displayed, the user can easily grasp the enlarged region in the image by referring to the entire image.
上記電子機器において、前記拡大画像生成手段は、前記画像中の一部の領域を拡大する際の拡大率を変更する手段を有し、前記拡大領域枠作成手段は、前記拡大率の変更に応じて前記拡大領域枠の大きさを変更する手段を有してもよい。 In the electronic apparatus , the enlarged image generating means includes means for changing an enlargement ratio when enlarging a partial area in the image, and the enlarged area frame creating means is configured to respond to the change of the enlargement ratio. And means for changing the size of the enlarged area frame.
また、上記画像表示方法において、前記ステップ(b)は、前記画像中の一部の領域を拡大する際の拡大率を変更するステップを有し、前記ステップ(c)は、前記拡大率の変更に応じて前記拡大領域枠の大きさを変更するステップを有してもよい。 In the image display method, the step (b) includes a step of changing an enlargement ratio when enlarging a partial area in the image, and the step (c) includes changing the enlargement ratio. The method may include a step of changing the size of the enlarged area frame according to the above.
これにより、ユーザが拡大したい部分をより詳細に閲覧することができるとともに、拡大率の変更に応じて上記拡大領域枠の大きさを変更することができるため、ユーザは拡大率を変更しても画像中に占める当該拡大領域の大きさを容易に把握することができる。 Thereby, while being able to browse the part which a user wants to expand in detail and changing the magnitude | size of the said expansion area frame according to the change of an enlargement ratio, even if a user changes an enlargement ratio The size of the enlarged area in the image can be easily grasped.
上記電子機器は、前記合成手段による合成後の前記全体画像を任意の方向に移動させる移動手段と、前記合成後の全体画像を任意の方向に回転させる回転手段と、前記合成後の全体画像を任意の大きさに拡大及び縮小させる拡大縮小手段とを更に具備するようにしてもよい。 The electronic device includes a moving unit that moves the entire image combined by the combining unit in an arbitrary direction, a rotating unit that rotates the combined entire image in an arbitrary direction, and the combined entire image. You may make it further comprise the expansion / contraction means to expand and reduce to arbitrary magnitude | sizes.
また、上記画像表示方法は、(f)前記ステップ(d)による合成後の前記全体画像を任意の方向に移動させるステップと、(g)前記合成後の全体画像を任意の方向に回転させるステップと、(h)前記合成後の全体画像を任意の大きさに拡大及び縮小させるステップとを更に具備するようにしてもよい。 Further, the image display method includes the steps of (f) moving the whole image after synthesis in step (d) in an arbitrary direction, and (g) rotating the whole image after synthesis in an arbitrary direction. And (h) a step of enlarging and reducing the combined whole image to an arbitrary size.
これにより、上記拡大画像中のユーザが見たい部分を上記全体画像が覆い隠してしまっている場合でも、当該全体画像を例えばユーザが特に見たいと思っていない場所に移動させたり、任意の方向に回転させたり、任意の大きさに縮小させたりすることにより、覆い隠されている部分を閲覧することができる。また、そのような処理を行っても、全体画像は自然な感じで違和感無く表示することができるため、ユーザは拡大領域を容易に把握することができる。 As a result, even when the whole image covers the part of the enlarged image that the user wants to see, the whole image is moved to a place where the user does not particularly want to see, for example, or in any direction It is possible to view the portion that is covered by rotating the screen or by reducing it to an arbitrary size. Moreover, even if such processing is performed, the entire image can be displayed with a natural feeling and without a sense of incongruity, so that the user can easily grasp the enlarged area.
上記電子機器において、前記拡大領域枠作成手段は、前記全体画像上に、当該全体画像を格子状に分割するグリッドを作成する手段を有してもよい。 In the electronic apparatus , the enlarged area frame creation unit may include a unit that creates a grid that divides the entire image into a lattice shape on the entire image.
また、上記画像表示方法において、前記ステップ(c)は、前記全体画像上に、当該全体画像を格子状に分割するグリッドを作成するステップを有してもよい。 In the image display method, the step (c) may include a step of creating a grid that divides the entire image into a lattice shape on the entire image.
これにより、例えば上記拡大領域の位置を変更しようとする場合に、上記グリッドと上記拡大領域枠の位置及び大きさとの関係を把握しておくことで、位置を変更した場合に拡大領域が画像中で占めるであろう範囲を容易に推測することができる。 Thus, for example, when the position of the enlargement area is to be changed, by grasping the relationship between the position of the grid and the enlargement area frame and the size, the enlargement area is displayed in the image when the position is changed. The range that will be occupied by can be easily estimated.
上記電子機器及び上記画像表示方法において、前記グリッドは、前記拡大領域枠の大きさに応じて、当該グリッドにより分割される複数のマス目の形状及び大きさが前記拡大領域枠と略同一になるように作成されるようにしてもよい。 In the electronic apparatus and the image display method, the grid has substantially the same shape and size of the plurality of cells divided by the grid according to the size of the enlarged region frame. You may make it create as follows.
これにより、上記拡大領域枠の大きさと上記グリッドにより分割されるマス目の大きさが常に同期しているため、拡大率の変更により上記拡大領域枠の大きさが変わっても、拡大領域の位置を変更した場合に当該拡大領域が画像中で占めるであろう範囲を容易に推測することができる。 As a result, the size of the enlarged area frame and the size of the grids divided by the grid are always synchronized, so even if the size of the enlarged area frame changes due to the change of the enlargement ratio, the position of the enlarged area It is possible to easily estimate the range that the enlarged area will occupy in the image when the change is made.
また、上記電子機器及び上記画像表示方法において、前記グリッドは、前記拡大領域枠の位置及び大きさに応じて、当該グリッドにより分割される複数のマス目のうち所定のマス目が前記拡大領域枠と常に重なるように作成されるようにしてもよい。 Further, in the electronic device and the image display method, the grid may be configured such that a predetermined square among a plurality of squares divided by the grid is the enlarged area frame according to a position and a size of the enlarged area frame. May be created so that they always overlap.
これにより、上記拡大領域枠の大きさと上記所定のマス目の位置及び大きさとが常に同期しているため、上記拡大領域枠の位置を変更する際に当該拡大領域枠が視覚的に強調されて表示され、上記全体画像上で拡大領域を把握することがより容易になる。 As a result, the size of the enlarged area frame and the position and size of the predetermined grid are always synchronized, so that when the position of the enlarged area frame is changed, the enlarged area frame is visually emphasized. It is displayed and it becomes easier to grasp the enlarged area on the whole image.
本発明によれば、拡大画像とその拡大領域を示す全体画像を同時に表示する際に、拡大画像を覆い隠すことを極力避けつつ、全体画像を見やすく表示することができる。 According to the present invention, when displaying an enlarged image and an entire image showing the enlarged area at the same time, it is possible to display the entire image in an easy-to-see manner while avoiding obscuring the enlarged image as much as possible.
以下、本発明の実施の形態について、本発明をデジタルカメラに適用した場合を例に、図面に基づき説明する。 Embodiments of the present invention will be described below with reference to the drawings, taking as an example the case where the present invention is applied to a digital camera.
図1は、本実施形態におけるデジタルカメラ100の構成を示す図である。同図に示すように、デジタルカメラ100においては、レンズ部101と、画像入力デバイスとしてのCCD(Charge Coupled Device)102とによって撮像部が構成される。レンズ部101は、CPU107からの制御信号によって自動絞り制御、自動焦点制御等を行う。CCD102の出力信号はA/D(Analog/Digital)変換機103によりデジタル信号に変換された後、映像信号処理部104に送られる。映像信号処理部104は、デジタル映像信号から画素毎のRGB信号を生成し、画像データ切替部105を通じて表示部106に出力する。表示部としては、例えばLCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)、PDP(Plasma Display Panel)、OEL(Organic Electroluminescence)などが挙げられる。
FIG. 1 is a diagram illustrating a configuration of a
CPU107のバス114にはROM(Read Only Memory)108、メインメモリ109、映像圧縮符号・複合化部110及び画像データ切替部105が接続されている。メインメモリ109は例えばVRAM(Video Random Access Memory)などからなる高速で読み書きが可能なメモリであり、CPU107のワーキングエリア、フレームバッファなどに用いられる。またメインメモリ109は、画像を拡大処理する場合に、拡大画像の拡大率や拡大領域の位置等の状態変数を記憶し、ユーザの操作により当該拡大率や拡大領域の位置が変更されたりした場合には、上記状態変数の値を更新して記憶する。
A ROM (Read Only Memory) 108, a
ROM108は各種のプログラムやデータなどを固定的に格納した不揮発性のメモリである。映像圧縮符号・複合化部110は、例えばJPEG(Joint Photographic Experts Group)を使用して静止画を圧縮又は伸張したり、MPEG(Moving Picture Experts Group)を使用して動画を圧縮または伸張したりする回路モジュールである。画像データ切替部105は、画像データの転送先の切り替えを行う。
The
さらにバス114には、フラッシュメモリ等の可搬性の記録媒体に対する読み書きを行う記録媒体読み書き部112がインターフェース部(I/F)111を介して接続されており、ユーザにより撮像された画像は、当該記録媒体に記録される。なお、当該画像は、上記VRAMに記憶されていてもよい。
In addition, a recording medium read /
CPU107は、バス114を通じて各部門の情報のやり取りを制御すると共に、ROM108からメインメモリ109に必要なプログラムやデータをロードし、そのプログラムに従ってデジタルカメラ100の制御や各種のデータ処理を行う。
The
操作入力部113は、具体的には、プッシュボタン、ジョグダイヤルなどであり、ユーザは当該操作入力部を介して撮像したり、撮像した画像に対して例えば拡大処理等の操作により画像を確認したりする。
Specifically, the
図2は、デジタルカメラ100の斜視図である。同図に示すように、デジタルカメラ100の上面には、シャッタスイッチ(押釦スイッチ)201、パワーオンオフスイッチ202等の操作スイッチ類が設けられており、パワーオンオフスイッチ202により電源が投入されると、パワーオン状態を表示するパワーオン表示部203が点灯するようになっている。
FIG. 2 is a perspective view of the
デジタルカメラ100の背面には、液晶パネル204、ズームボタン205、メニューボタン206、十字ボタン207、レイアウト変更ボタン208等、ユーザが操作をするための各インターフェースが設けられている。
On the rear surface of the
液晶パネル204は、被写体や撮影した画像及びその拡大画像等を表示するとともに、デジタルカメラ100の各種機能を実行及び設定する場合には例えば各種機能のメニューを表示したりする。
The
ズームボタン205は、ユーザが撮像時に被写体に対してズーム処理を行う場合のほか、撮像した画像を拡大表示するために用いられる。具体的には、例えばズームボタン205の+(プラス)ボタンを押す毎に画像の一部が徐々に拡大表示され、逆に−(マイナス)ボタンを押す毎に、拡大されていた画像が徐々に縮小されて元の大きさに戻るようになっている。
The
メニューボタン206は、ユーザが上記各種機能を実行及び設定する場合に当該各種機能のメニューを表示させる。
The
十字ボタン207は、上記メニューボタン206により表示されるメニューのリストからユーザが実行及び設定したいメニューを選択したり、画像を拡大表示する場合に画像中の拡大する部分の位置を移動させたりする。
The
また、拡大画像上に、画像中における拡大領域の位置を示すための全体画像を表示する場合には、上記レイアウト変更ボタン208を押すことにより当該全体画像のレイアウトを3次元空間内で任意に変更することが可能な状態となる。具体的には、上記レイアウト変更ボタン208を押した後、上記十字ボタン207を操作することにより、当該全体画像を3次元空間内の任意の方向に移動させ、任意の方向に回転させ、また任意の大きさに拡大及び縮小することができる。当該操作の詳細については後述する。
When displaying the entire image for indicating the position of the enlarged region in the image on the enlarged image, the layout of the entire image can be arbitrarily changed in the three-dimensional space by pressing the
図3は、本実施形態において、例えばユーザがデジタルカメラ100で撮像した画像を確認する場合等に、画像を拡大表示する際の表示画面の例を示す図である。
FIG. 3 is a diagram illustrating an example of a display screen when an image is enlarged and displayed, for example, when the user confirms an image captured by the
同図に示すように、液晶パネル204には、画像の一部を拡大した拡大画像301及び画像中におけるその拡大領域を示す全体画像302が表示される。拡大画像301の拡大率は任意に変更することが可能となっている。
As shown in the figure, on the
全体画像302は、図4に示すように、画像を所定の大きさに縮小し、かつ、3次元空間内で、幾何学変換により傾斜させて作成して、上記拡大画像301上に合成したものである。当該全体画像302は、ユーザの操作により3次元空間内で任意の方向に移動、回転及び拡大縮小することができるようになっている。また、全体画像302上には、画像中における拡大された領域の位置及び大きさを示す拡大領域枠303が作成される。上記拡大画像301の拡大率が変更されると、画像中における当該変更後の拡大画像301の位置及び大きさに応じて当該拡大領域枠303の位置及び大きさも変更されるようになっている。また、全体画像302上には、当該全体画像302を格子状に分割するグリッド304が作成される。当該グリッド304の作成方法の詳細については後述する。
As shown in FIG. 4, the
次に、本実施形態において上記拡大画像301と全体画像302を合成して表示する際の動作について説明する。本実施形態においては、上記ROM108に格納された拡大表示アプリケーションにより拡大処理を実行するものとする。
Next, an operation when the
図5は、当該処理の流れを示したフロー図である。本処理において全体画像302は、図4に示すように3次元空間内で立体的な面として表現され、当該面に、画像のテクスチャの貼り付けをテクスチャマッピングにより行う。テクスチャマッピングは、例えば、テクスチャのビットマップデータを物体に貼り付けて3次元レンダリングをすることによって実現される。
FIG. 5 is a flowchart showing the flow of the processing. In this processing, the
図5に示すように、まず、拡大表示アプリケーションは、ユーザが撮影した画像データをメインメモリ109から呼び出す(ステップ501)。そして、全体画像302を作成する前処理として、上記画像データのサイズを所定の大きさに縮小し、当該画像のテクスチャを貼り付けるための面を3次元幾何学変換により傾斜させて作成する(ステップ502)。次に、当該面に同じく3次元幾何学変換したテクスチャを貼り付けて全体画像302を作成する(ステップ503)。続いて、ユーザの拡大操作に応じて、上記画像の一部を所定の大きさに拡大した拡大画像301を作成し(ステップ504)、その一方で、画像中の拡大領域を示すための拡大領域枠303を作成する(ステップ505)。次に、拡大領域枠303が作成された上記全体画像302と上記拡大画像301を合成処理し(ステップ506)、合成された結果の画像を液晶パネル204に表示する(ステップ507)。そして、ユーザから、ズームボタン205により拡大率を変更したり、十字ボタン207により拡大領域の位置を変更したりする等の操作入力があるか否かを確認する(ステップ508)。当該入力があった場合(ステップ509のNO)には、メインメモリ109に格納されている拡大率データや拡大領域の中心座標データ等のデータを変更し(ステップ510)、上述の処理により再度合成画像を作成する。ユーザから終了を指示する入力があった場合(ステップ509のYES)には終了する。
As shown in FIG. 5, first, the enlargement display application calls image data captured by the user from the main memory 109 (step 501). Then, as pre-processing for creating the
以上の動作によれば、上記全体画像302が所定の大きさに縮小され、かつ、3次元空間内で幾何学変換により傾斜して表示されるため、全体画像302を2次元で表示する場合に比べて表示画面上における全体画像302の占有面積を小さくすることができ、当該全体画像302が、その下に表示される拡大画像301を覆い隠すことを極力避けることができる。デジタルカメラ100の液晶パネル204のように、表示画面が小さくならざるを得ないような電子機器においては特に有効である。
According to the above operation, since the
また、上記全体画像302を3次元空間内で傾斜させることにより、全体画像を例えばその縦横比を変更して表示するような場合に比べて、ユーザにとって違和感が無く、より自然な感じで表示することができる。というのも、ユーザは自ら撮像した3次元幾何学変換する前の元の画像のイメージを覚えているため、3次元幾何学変換により変形して表示しても、画像が表示している物、例えば本実施形態において図3及び図4に示した犬の形状及び例えば目や鼻等の位置を感覚的に理解することができるからである。
In addition, by tilting the
本実施形態において、拡大表示アプリケーションは、上記全体画像302を3次元空間で幾何学変換して表示するだけでなく、当該全体画像302を液晶パネル204上の任意の位置に移動させ、任意の方向に回転させ、また任意の大きさに縮小させて、任意にレイアウトすることもできる。図6は、全体画像302のレイアウトを変更する際の、上記十字ボタン207の操作と当該操作による全体画像302の動きとの対応関係を示した図である。
In the present embodiment, the enlarged display application not only displays the
ユーザが上記レイアウト変更ボタン208を押すと、レイアウト変更が可能な状態となり、例えば当該レイアウト変更ボタン208を更に押す毎に、全体画像302を移動させる移動モード、回転させる回転モード、拡大及び縮小させる拡大縮小モードの3つのモードが順次切り替わるようになっている。ユーザが最初にレイアウト変更ボタン208を押した場合には、これらのうちどれか一つのモードとなるように設定される。そして、ユーザは各モードで十字ボタン207を押すことによりレイアウトを変更する。
When the user presses the
具体的には、図6に示すように、移動モードにおいて十字ボタン207の上ボタン207a及び下ボタン207bを押すと、全体画像302は3次元空間内のY軸方向、すなわち上下方向に移動し、左ボタン207c及び右ボタン207dを押すと、全体画像302は3次元空間内のX軸方向、すなわち左右方向に移動する。
Specifically, as shown in FIG. 6, when the
また、回転モードにおいて十字ボタン207の上ボタン207a及び下ボタン207bを押すと、全体画像302は3次元空間内のX軸を回転軸としてそれぞれ奥行き方向及び手前方向に回転し、左ボタン207c及び右ボタン207dを押すと、全体画像302は3次元空間内のY軸を回転軸としてそれぞれ反時計回り及び時計回りに回転する。更に、上ボタン207aと右ボタン207dとを同時に押すと、全体画像302は3次元空間内のZ軸を回転軸として時計回りに回転し、下ボタン207bと左ボタン207cとを同時に押すと、Z軸を回転軸として反時計回りに回転する。本実施形態においては、当該X、Y及びZ軸は液晶パネル204に固定された態様となっているが、全体画像302に対して固定として、全体画像302の動きに合わせて3次元空間内で回転軸も移動するような態様であってもよい。
In addition, when the
更に、拡大縮小モードにおいて十字ボタン207の上ボタン207a及び下ボタン207bを押すと、全体画像302は3次元空間内でそれぞれ奥行き方向及び手前方向に移動することにより、視覚的にはそれぞれ縮小及び拡大するように把握され、左ボタン207c及び右ボタン207dを押すと、全体画像302は移動を伴わずにその場で拡大及び縮小する。
Furthermore, when the
上記各モードでレイアウト変更を行う場合には、ユーザが操作をする際にその操作を容易にするため、例えば図7に示すように、それぞれのモード及びその操作方法を説明する画面を液晶パネル204に表示できるようにしてもよい。
When the layout is changed in each of the above modes, in order to facilitate the operation when the user performs the operation, for example, as shown in FIG. 7, a screen for explaining each mode and the operation method is displayed on the
なお、上記全体画像302の動きに対応する上記十字ボタン207のそれぞれのボタンの割り当て及び操作方法は勿論上記態様に限られるものではなく、上記とは異なるボタン及び操作方法を採用してもよいし、また十字ボタン以外にも、例えばそれぞれの動きを実行させる機能ボタンやジョグダイヤル等をそれぞれ一対一で対応付けて用意するようにしてもよい。
Of course, the assignment and operation method of each of the
図8は、上記レイアウト変更操作により全体画像302を任意にレイアウトした場合の例を示す図である。同図に示すように、全体画像302を液晶パネル204上の任意の位置に移動させたり、回転させたり、拡大縮小させたりする等、様々なレイアウトが可能である。
FIG. 8 is a diagram showing an example when the
図9は、拡大表示アプリケーションが全体画像302のレイアウトを変更する際の動作を示すフロー図である。上記図5と同様の処理を行う部分については同一の符号を付し、説明を省略する。
FIG. 9 is a flowchart showing an operation when the enlarged display application changes the layout of the
同図に示すように、拡大表示アプリケーションは、拡大画像301及び全体画像302を表示中に、ユーザによるレイアウト変更操作があると(ステップ901のYES)、メインメモリ109に格納されている全体画像302の座標データ等、レイアウトに必要なデータを変更し(ステップ902)、当該変更したデータに基づいて、位置を変更したり、レンダリング処理等により回転させたりして、それまで表示していた全体画像302のレイアウトを変更した上で(ステップ903)拡大画像301との合成画像を生成する(ステップ506)。ユーザのレイアウト変更操作がある度に当該処理を繰り返す。
As shown in the figure, if the user performs a layout change operation while displaying the
これらの動作によれば、例えば拡大画像301中のユーザが見たい部分を全体画像302が覆い隠してしまっている場合でも、当該全体画像302を例えばユーザが特に見たいと思っていない場所に移動させたり、任意の方向に回転させたり、任意の大きさに縮小させたりすることにより、覆い隠されている部分を閲覧することができるようになる。また、そのような処理を行っても、全体画像302は自然な感じで違和感無く表示することができるため、ユーザは拡大領域を容易に把握することができる。
According to these operations, for example, even when the
本実施形態において拡大表示アプリケーションは、上記図3の説明において述べたように、上記全体画像302上に、当該全体画像302を格子状に分割するグリッド304を作成することができる。以下、当該グリッド304の作成処理について詳述する。
In the present embodiment, as described in the explanation of FIG. 3, the enlarged display application can create a
グリッド304は、上記図3等に示すように、その分割されたマス目が3次元空間内において上記拡大領域枠303と略同一の形状及び大きさとなるように作成される。そして、拡大率を変更することにより拡大領域枠303の大きさが変更されると、それに応じてグリッド304もその分割されたマス目が当該拡大領域枠303と略同一の大きさ及び形状となるように再作成される。
As shown in FIG. 3 and the like, the
図10は、当該グリッド304を作成する場合の計算方法を示した図である。なお、説明を分かりやすくするため、同図においては、全体画像302がまだ3次元幾何学変換される前の2次元の状態を示す。同図において、全体画像302の高さをY、幅をXとし、拡大領域枠303の高さをy、幅をxとする。また、拡大領域枠303の左上の点の座標を(x0、y0)とする。全体画像302上に作成されるグリッド304の本数は、縦(m)と横(n)それぞれm=TRUNC(X/x)、n=TRUNC(Y/y)という関数で表される。TRUNC()はマイクロソフト(登録商標)社のMS-Excel(登録商標)において使用される関数で、割り算の商の整数部分を取り出すものである。
FIG. 10 is a diagram showing a calculation method when the
この場合、グリッド304をg(m)、h(n)で表すこととすると、
g(m) = m×x
h(n) = n×y
という関数になる。
In this case, if the
g (m) = m × x
h (n) = n × y
It becomes a function.
これにより、拡大領域枠303の大きさに応じて、グリッド304により分割されるマス目の大きさが変更されることになる。例えば拡大領域枠303が小さくなれば、上記x及びyは減少し、それによりm及びnは増加して、グリッド304は、グリッド304により分割されるマス目が、上記小さくなった拡大領域枠303と2次元空間上では同一形状となるように作成される。当該グリッド304が作成された後に全体画像302は3次元空間内で幾何学変換される。
As a result, the size of the cells divided by the
また、グリッド304は分割されたマス目のうち所定のマス目が上記拡大領域枠303と常に重なるように作成されてもよい。すなわち、この場合には拡大領域枠303の大きさだけでなく位置が変わっても、それに合わせてグリッド304も移動することになる。図11はこの場合のグリッド304の計算方法を示した図である。同図に示すように、この場合のグリッド304の座標をg(m)、h(n)で表すと、
g(m) = m×x - x0 + TRUNC(x0)
h(n) = n×y- y0 + TRUNC(y0)
となる。
Further, the
g (m) = m × x-x0 + TRUNC (x0)
h (n) = n × y- y0 + TRUNC (y0)
It becomes.
これにより、拡大領域枠の大きさに応じてx及びy、m及びnが変動するとともに、上記拡大領域枠303の位置が変われば、上記座標(x0、y0)が変動して、グリッド304は拡大領域枠303の位置に合わせて移動する。
As a result, x, y, m, and n change according to the size of the enlarged area frame, and if the position of the
図12は、本実施形態においてグリッド304を作成する動作を示すフロー図である。上記図5及び図9と同様の処理を行う部分については同一の符号を付し、説明を省略する。
同図に示すように、拡大表示アプリケーションは、拡大領域枠303を作成すると同時に、当該拡大領域枠303に合わせてグリッド304を作成し(ステップ1201)、当該グリッド304を全体画像302に拡大領域枠303とともに合成し、更に拡大画像301と合成して(ステップ1202)、表示する(ステップ507)。
FIG. 12 is a flowchart showing an operation of creating the
As shown in the figure, the enlarged display application creates an
以上の動作によれば、例えば上記拡大領域の位置を変更しようとする場合に、上記グリッド304と上記拡大領域枠303の位置及び大きさとの関係を把握しておくことで、位置を変更した場合に拡大領域が画像中で占めるであろう範囲を容易に推測することができる。また、上記図11のようにグリッド304により分割されるマス目のうち所定のマス目が前記拡大領域枠303と常に重なるように作成すれこととすれば、上記拡大領域枠の大きさと上記所定のマス目の位置及び大きさとが常に同期しているため、上記拡大領域枠の位置を変更する際に当該拡大領域枠が視覚的に強調されて表示され、上記全体画像上で拡大領域を把握することがより容易になる。
According to the above operation, for example, when the position of the enlarged region is to be changed, the position is changed by grasping the relationship between the position and size of the
以上説明したように、本実施形態によれば、拡大画像301とその拡大領域を示す全体画像302を同時に表示する際に、全体画像302を3次元空間内で傾斜させて表示し、また当該全体画像302を3次元空間内で移動、回転及び拡大縮小等して任意にレイアウトすることができるようにしたため、全体画像を2次元で表現する場合に比べて、拡大画像301を覆い隠すことを極力避けつつ、全体画像302を見やすく表示することができる。また、拡大領域枠303と同期したグリッド304を作成することとしたため、ユーザは拡大領域をより容易に把握することができる。
As described above, according to the present embodiment, when the
なお、本発明は以上説明した実施の形態には限定されるものではなく、種々の変形が可能である。例えば、上記実施形態においては、本発明をデジタルカメラ100に適用した場合について説明したが、PDAや携帯電話等、特に表示画面が小さくならざるを得ないような電子機器及びその他の電子機器にも同様に適用することができる。
The present invention is not limited to the embodiments described above, and various modifications can be made. For example, in the above embodiment, the present invention has been described as applied to a
100…デジタルカメラ
101…レンズ部
102…CCD
103…A/D変換機
104…映像信号処理部
105…画像データ切替部
106…表示部
107…CPU
108…ROM
109…メインメモリ
110…映像圧縮符号・複合化部
111…インターフェース部
112…記録媒体読み書き部
113…操作入力部
114…バス
204…液晶パネル
205…ズームボタン
206…メニューボタン
207…十字ボタン
208…レイアウト変更ボタン
301…拡大画像
302…全体画像
303…拡大領域枠
304…グリッド
DESCRIPTION OF
DESCRIPTION OF
108 ... ROM
DESCRIPTION OF
Claims (13)
前記画像中の一部の領域を拡大した拡大画像を生成する拡大画像生成手段と、
前記全体画像上に、前記画像中における前記拡大された領域の位置及び大きさを示す拡大領域枠を作成する拡大領域枠作成手段と、
前記拡大領域枠が作成された全体画像を前記拡大画像の上に重ねて両画像を合成する合成手段と、
前記合成された画像を表示画面に表示する表示手段と
を具備する電子機器。 Whole image generating means for reducing one image to a predetermined size and generating an entire image by inclining in a depth direction in a three-dimensional space;
An enlarged image generating means for generating an enlarged image obtained by enlarging a partial area in the image;
An enlarged area frame creating means for creating an enlarged area frame indicating the position and size of the enlarged area in the image on the entire image;
A synthesizing unit that synthesizes both images by superimposing the entire image on which the enlarged region frame has been created on the enlarged image;
An electronic device comprising: display means for displaying the synthesized image on a display screen.
前記拡大画像生成手段は、前記画像中の一部の領域を拡大する際の拡大率を変更する手段を有し、
前記拡大領域枠作成手段は、前記拡大率の変更に応じて前記拡大領域枠の大きさを変更する手段を有する電子機器。 The electronic apparatus according to claim 1,
The enlarged image generating means has means for changing an enlargement ratio when enlarging a partial area in the image,
The enlarged region frame creation unit, an electronic device to have a means for changing the size of the enlarged region frame in accordance with the change of the magnification.
前記合成手段による合成後の前記全体画像を任意の方向に移動させる移動手段と、
前記合成後の全体画像を任意の方向に回転させる回転手段と、
前記合成後の全体画像を任意の大きさに拡大及び縮小させる拡大縮小手段と
を更に具備する電子機器。 The electronic apparatus according to claim 1,
Moving means for moving the whole image after synthesis by the synthesis means in an arbitrary direction;
Rotating means for rotating the combined whole image in an arbitrary direction;
An electronic device further comprising enlargement / reduction means for enlarging and reducing the combined whole image to an arbitrary size.
前記拡大領域枠作成手段は、前記全体画像上に、当該全体画像を格子状に分割するグリッドを作成する手段を有する電子機器。 The electronic apparatus according to claim 1,
The enlarged region frame creation means, the on the entire image, an electronic device that have the means to create a grid which divides the whole image into a grid.
前記グリッドは、前記拡大領域枠の大きさに応じて、当該グリッドにより分割される複数のマス目の形状及び大きさが前記拡大領域枠と略同一になるように作成される電子機器。 The electronic apparatus according to claim 4,
The grid is an electronic device created according to the size of the enlarged area frame so that the shape and size of a plurality of cells divided by the grid are substantially the same as the enlarged area frame.
前記グリッドは、前記拡大領域枠の位置及び大きさに応じて、当該グリッドにより分割される複数のマス目のうち所定のマス目が前記拡大領域枠と常に重なるように作成される電子機器。 The electronic apparatus according to claim 4,
The grid is an electronic device that is created so that a predetermined grid among a plurality of grids divided by the grid always overlaps the enlarged area frame according to the position and size of the enlarged area frame.
(b)前記画像中の一部の領域を拡大した拡大画像を生成するステップと、
(c)前記全体画像上に、前記画像中における前記拡大された領域の位置及び大きさを示す拡大領域枠を作成するステップと、
(d)前記拡大領域枠が作成された全体画像を前記拡大画像の上に重ねて両画像を合成するステップと、
(e)前記合成された画像を表示画面に表示するステップと
を具備する画像表示方法。 (A) reducing one image to a predetermined size and inclining in the depth direction in a three-dimensional space to generate an entire image;
(B) generating an enlarged image obtained by enlarging a partial region in the image;
(C) creating an enlarged area frame indicating the position and size of the enlarged area in the image on the entire image;
(D) superposing the entire image on which the enlarged area frame has been created on the enlarged image, and synthesizing both images;
(E) An image display method comprising: displaying the synthesized image on a display screen.
前記ステップ(b)は、前記画像中の一部の領域を拡大する際の拡大率を変更するステップを有し、
前記ステップ(c)は、前記拡大率の変更に応じて前記拡大領域枠の大きさを変更するステップを有する画像表示方法。 An image display method according to claim 7,
The step (b) includes a step of changing an enlargement ratio when enlarging a partial area in the image,
Wherein step (c), an image display method for have a step of changing the size of the enlarged region frame in accordance with the change of the magnification.
(f)前記ステップ(d)による合成後の前記全体画像を任意の方向に移動させるステップと、
(g)前記合成後の全体画像を任意の方向に回転させるステップと、
(h)前記合成後の全体画像を任意の大きさに拡大及び縮小させるステップと
を更に具備する画像表示方法。 An image display method according to claim 7,
(F) moving the entire image after synthesis in step (d) in an arbitrary direction;
(G) rotating the combined whole image in an arbitrary direction;
(H) An image display method further comprising the step of enlarging and reducing the combined whole image to an arbitrary size.
前記ステップ(c)は、前記全体画像上に、当該全体画像を格子状に分割するグリッドを作成するステップを有する画像表示方法。 An image display method according to claim 7,
Wherein step (c), the on the entire image, an image display method for chromatic steps to create a grid which divides the whole image into a grid.
前記グリッドは、前記拡大領域枠の大きさに応じて、当該グリッドにより分割される複数のマス目の形状及び大きさが前記拡大領域枠と略同一になるように作成される画像表示方法。 An image display method according to claim 10,
Said grid, said depending on the size of the enlarged area frame, image display method shapes and sizes of a plurality of squares is divided by the grid is created so as to be substantially equal to the expansion area frame.
前記グリッドは、前記拡大領域枠の位置及び大きさに応じて、当該グリッドにより分割される複数のマス目のうち所定のマス目が前記拡大領域枠と常に重なるように作成される画像表示方法。 An image display method according to claim 10,
It said grid, depending on the position and size of the enlarged region frame, an image display method in which a predetermined grid of the plurality of squares is divided by the grid is created to always overlap the expansion area frame.
1枚の画像を所定の大きさに縮小し、かつ、3次元空間内で奥行き方向に傾斜させて全体画像を生成するステップと、
前記画像中の一部の領域を拡大した拡大画像を生成するステップと、
前記全体画像上に、前記画像中における前記拡大された領域の位置及び大きさを示す拡大領域枠を作成するステップと、
前記拡大領域枠が作成された全体画像を前記拡大画像の上に重ねて両画像を合成するステップと、
前記合成された画像を表示画面に表示するステップと
を実行させるためのプログラム。 Electronic equipment,
Reducing one image to a predetermined size and inclining in a depth direction in a three-dimensional space to generate an entire image;
Generating an enlarged image in which a partial area in the image is enlarged;
Creating an enlarged area frame indicating the position and size of the enlarged area in the image on the entire image;
Superimposing the entire image on which the enlarged area frame has been created on the enlarged image, and synthesizing both images;
A program for executing the step of displaying the synthesized image on a display screen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004001989A JP4635437B2 (en) | 2004-01-07 | 2004-01-07 | Electronic apparatus and image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004001989A JP4635437B2 (en) | 2004-01-07 | 2004-01-07 | Electronic apparatus and image display method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005195867A JP2005195867A (en) | 2005-07-21 |
JP2005195867A5 JP2005195867A5 (en) | 2007-02-08 |
JP4635437B2 true JP4635437B2 (en) | 2011-02-23 |
Family
ID=34817347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004001989A Expired - Fee Related JP4635437B2 (en) | 2004-01-07 | 2004-01-07 | Electronic apparatus and image display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4635437B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4578197B2 (en) * | 2004-09-29 | 2010-11-10 | 三洋電機株式会社 | Image display device |
JP4650689B2 (en) * | 2006-02-14 | 2011-03-16 | 富士ゼロックス株式会社 | Print page display system |
JP4815271B2 (en) * | 2006-05-26 | 2011-11-16 | オリンパスイメージング株式会社 | Image display device, camera, and image display control program |
JP5446619B2 (en) * | 2009-09-03 | 2014-03-19 | 株式会社ニコン | Digital camera and image data editing program |
JP5414920B2 (en) * | 2013-02-22 | 2014-02-12 | パナソニック株式会社 | Display control apparatus, display control method, and program |
JP6464626B2 (en) * | 2013-09-27 | 2019-02-06 | リコーイメージング株式会社 | Operation key |
JP5835384B2 (en) | 2014-03-18 | 2015-12-24 | 株式会社リコー | Information processing method, information processing apparatus, and program |
JP5835383B2 (en) | 2014-03-18 | 2015-12-24 | 株式会社リコー | Information processing method, information processing apparatus, and program |
JP6460868B2 (en) * | 2015-03-19 | 2019-01-30 | キヤノン株式会社 | Display control apparatus and control method thereof |
JP6128185B2 (en) * | 2015-11-02 | 2017-05-17 | 株式会社リコー | Apparatus, method, and program |
JP6350695B2 (en) * | 2017-02-10 | 2018-07-04 | 株式会社リコー | Apparatus, method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0922340A (en) * | 1995-07-07 | 1997-01-21 | Sharp Corp | Display method for information processor and information processor |
JPH1165806A (en) * | 1997-08-12 | 1999-03-09 | Matsushita Electric Ind Co Ltd | Multiwindow display device |
JP2001148815A (en) * | 1999-09-06 | 2001-05-29 | Matsushita Electric Ind Co Ltd | Image display device and medium |
JP2001249747A (en) * | 2000-03-03 | 2001-09-14 | Nec Corp | Information display device and information display method and recording medium with information display program recorded thereon |
JP2002055674A (en) * | 2000-08-11 | 2002-02-20 | Nippon Avionics Co Ltd | Method for displaying magnified area at magnification and display |
-
2004
- 2004-01-07 JP JP2004001989A patent/JP4635437B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0922340A (en) * | 1995-07-07 | 1997-01-21 | Sharp Corp | Display method for information processor and information processor |
JPH1165806A (en) * | 1997-08-12 | 1999-03-09 | Matsushita Electric Ind Co Ltd | Multiwindow display device |
JP2001148815A (en) * | 1999-09-06 | 2001-05-29 | Matsushita Electric Ind Co Ltd | Image display device and medium |
JP2001249747A (en) * | 2000-03-03 | 2001-09-14 | Nec Corp | Information display device and information display method and recording medium with information display program recorded thereon |
JP2002055674A (en) * | 2000-08-11 | 2002-02-20 | Nippon Avionics Co Ltd | Method for displaying magnified area at magnification and display |
Also Published As
Publication number | Publication date |
---|---|
JP2005195867A (en) | 2005-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3846432B2 (en) | Display device, display method and program thereof | |
JP6673381B2 (en) | Image processing device | |
JP6337888B2 (en) | Image processing apparatus, image processing method, and program | |
TWI517711B (en) | Processing method of display setup and embedded system | |
CA2942559C (en) | Systems and methods for processing and editing all celestial sphere images | |
JP2004227393A (en) | Icon drawing system, icon drawing method and electronic device | |
JP4635437B2 (en) | Electronic apparatus and image display method | |
EP1524847A2 (en) | A display image generating device comprising converting function of resolution | |
JPH10232940A (en) | Device and method for corner detection | |
JP4726577B2 (en) | Slide show generating apparatus, slide show data generating apparatus, control method therefor, and program for controlling them | |
JP2005195867A5 (en) | ||
JP2005318177A (en) | Material presentation apparatus | |
JP2004198858A (en) | Projector | |
JPH10145674A (en) | Video signal processing unit and video signal processing method | |
JPWO2012032996A1 (en) | Information processing apparatus, information processing method, and program | |
JP4296032B2 (en) | Image processing device | |
JP2018109946A (en) | Display device, program, and method for display | |
JPH10145673A (en) | Video signal processing unit and video signal processing method | |
CN108702441A (en) | Image processing equipment, image processing system and program | |
JP3358595B2 (en) | Image display method, image display device, and recording medium recording image display program | |
JP4534205B2 (en) | Image display device | |
JP2010081102A (en) | Imaging apparatus, and image processing method and image processing program for the same | |
JP6202991B2 (en) | Image display apparatus, control method thereof, and program | |
JP6417342B2 (en) | Image display device, image display method, and image display program | |
JP2001119611A (en) | Electronic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061214 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101026 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101108 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |