JP5064424B2 - Stereoscopic image display apparatus and stereoscopic image display method - Google Patents
Stereoscopic image display apparatus and stereoscopic image display method Download PDFInfo
- Publication number
- JP5064424B2 JP5064424B2 JP2009039724A JP2009039724A JP5064424B2 JP 5064424 B2 JP5064424 B2 JP 5064424B2 JP 2009039724 A JP2009039724 A JP 2009039724A JP 2009039724 A JP2009039724 A JP 2009039724A JP 5064424 B2 JP5064424 B2 JP 5064424B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- stereoscopic image
- image
- frame
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
本発明は立体画像表示装置及びその表示方法に係り、特に、所定の視差を持つ立体画像を表示している状態から視差の異なる立体画像に表示を切り替える際に、ユーザが感じる疲労や不快感を少なくする立体画像表示装置及び立体画像表示方法に関する。 The present invention relates to a stereoscopic image display apparatus and a display method thereof, and particularly, when a display is switched from a state where a stereoscopic image having a predetermined parallax is displayed to a stereoscopic image having a different parallax, the user feels fatigue and discomfort. The present invention relates to a stereoscopic image display apparatus and a stereoscopic image display method for reducing the number of stereoscopic images.
両眼視差のある画像をユーザの左右の目に分離して入力することによって、ユーザに立体視させる立体画像表示装置が知られている。このような表示装置を用いて立体視を行うと、ユーザは眼の疲労を感じることがある。 There is known a stereoscopic image display device that allows a user to stereoscopically view an image having binocular parallax by separating and inputting the left and right eyes of the user. When stereoscopic viewing is performed using such a display device, the user may feel eye fatigue.
特許文献1には、立体画像の表示時間が所定時間を超えた場合に、立体画像の視差を小さくする技術が記載されている。この技術によれば、観察者の眼の疲労に応じて表示される立体画像の視差を調整することで、観察者の眼を保護することが可能となる。
しかしながら、特許文献1の技術を用いても、立体画像をコマ送りした場合に、急に異なる視差画像へ表示が切り替わるため、ユーザはそれに合わせて瞬時に視差を調整しなければならず、不快感、疲労、それに伴う立体感の喪失が生じてしまうという問題点があった。この問題点は、高速でコマ送りをする際には、より顕著になる。
However, even when the technique of
本発明はこのような事情に鑑みてなされたもので、所定の視差を持つ立体画像を表示している状態から視差の異なる立体画像に表示を切り替える際に、ユーザが感じる疲労や不快感を少なくする立体画像表示装置及び立体画像表示方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and reduces fatigue and discomfort that a user feels when switching a display from a state in which a stereoscopic image having a predetermined parallax is displayed to a stereoscopic image having a different parallax. An object of the present invention is to provide a stereoscopic image display device and a stereoscopic image display method.
前記目的を達成するために請求項1に記載の立体画像表示装置は、視差を有する立体画像を表示手段に表示する立体画像表示装置であって、コマ送り指示に応じて表示中の現コマの立体画像を次コマの立体画像に順次コマ送りする立体画像表示装置において、所定の視差を有する立体画像から前記視差を低減した画像を生成する手段を備え、コマ送りが指示されると、前記現コマの立体画像から視差を低減した現コマの視差低減画像を表示した後に前記次コマの立体画像を前記表示手段に表示することを特徴とする。
In order to achieve the above object, a stereoscopic image display apparatus according to
請求項1に記載の発明によれば、コマ送りが指示されると、視差を低減した画像を表示した後に次コマの立体画像を表示手段に表示するようにしたので、所定の視差を持つ立体画像を表示している状態から視差の異なる立体画像に表示を切り替える際に、ユーザが感じる疲労や不快感を少なくすることができる。 According to the first aspect of the present invention, when the frame advance is instructed, the stereoscopic image of the next frame is displayed on the display means after the image with reduced parallax is displayed. When the display is switched from a state in which an image is displayed to a stereoscopic image having a different parallax, fatigue and discomfort felt by the user can be reduced.
これにより、ユーザが感じる疲労や不快感を少なくすることができ、かつ自然なコマ送りをすることができる。 Thereby, fatigue and discomfort felt by the user can be reduced, and natural frame advance can be performed.
請求項2に示すように請求項1に記載の立体画像表示装置において、前記現コマの視差低減画像を表示した後に前記次コマの立体画像から視差を低減した次コマの視差低減画像を表示し、その後前記次コマの立体画像を前記表示手段に表示することを特徴とする。
In the stereoscopic image display apparatus according to
これにより、ユーザが感じる疲労や不快感を少なくすることができ、かつ自然なコマ送りをすることができる。 Thereby, fatigue and discomfort felt by the user can be reduced, and natural frame advance can be performed.
請求項3に示すように請求項1又は2に記載の立体画像表示装置において、コマ送りが指示されると、前記現コマの立体画像の視差を低減させた複数の画像であって、前記視差が現コマの視差から該現コマの視差よりも小さい所定の視差まで変化する複数の画像を視差が大きい順に表示してから前記現コマの視差低減画像を表示することを特徴とする。
In the stereoscopic image display apparatus according to
これにより、ユーザが感じる疲労や不快感を少なくすることができ、かつ自然なコマ送りをすることができる。 Thereby, fatigue and discomfort felt by the user can be reduced, and natural frame advance can be performed.
請求項4に示すように請求項1から3のいずれかに記載の立体画像表示装置において、コマ送りが指示されると、前記次コマの立体画像の視差を低減させた複数の画像であって、前記視差が次コマの視差よりも小さい所定の視差から次コマの視差まで変化する複数の画像を視差が小さい順に表示してから前記次コマの立体画像を表示することを特徴とする。
In the stereoscopic image display apparatus according to any one of
これにより、ユーザが感じる疲労や不快感を少なくすることができ、かつ自然なコマ送りをすることができる。 Thereby, fatigue and discomfort felt by the user can be reduced, and natural frame advance can be performed.
請求項5に示すように請求項3又は4に記載の立体画像表示装置において、コマ送り速度に応じて、前記複数の画像の表示時間及び/又は枚数を切替えることを特徴とする。 According to a fifth aspect of the present invention, in the stereoscopic image display device according to the third or fourth aspect , the display time and / or the number of the plurality of images are switched according to the frame feed speed.
これにより、ユーザが感じる疲労や不快感を少なくすることができ、かつ自然なコマ送りをすることができる。 Thereby, fatigue and discomfort felt by the user can be reduced, and natural frame advance can be performed.
請求項6に示すように請求項1から5のいずれかに記載の立体画像表示装置において、前記現コマの視差低減画像は、視差の無い画像であることを特徴とする。
また、請求項7に示すように請求項2から6のいずれかに記載の立体画像表示装置において、前記次コマの視差低減画像は、視差の無い画像であることを特徴とする。
According to a sixth aspect of the present invention, in the stereoscopic image display device according to any one of the first to fifth aspects, the parallax reduced image of the current frame is an image having no parallax.
Moreover, as shown in claim 7, in the stereoscopic image display device according to any one of claims 2 to 6, the parallax-reduced image of the next frame is an image having no parallax.
視差低減画像は、現コマ及び次コマよりも視差を低減したものであれば本願発明の効果を得られるが、より好ましくは、視差をゼロまで低減すれば立体視能力の個人差によるばらつきを抑えることができる。 The effect of the present invention can be obtained if the parallax-reduced image is one in which the parallax is reduced more than the current frame and the next frame, but more preferably, the parallax is reduced to zero to suppress variation due to individual differences in stereoscopic vision. be able to.
請求項8に示すように請求項6又は7に記載の立体画像表示装置において、前記コマ送りは、普通速コマ送りと、該普通速コマ送りよりも短時間にコマ送りを行う高速コマ送りを備え、前記高速コマ送りが指示された場合には、コマ送りすべき立体画像の視差を除去して生成された画像だけを表示してコマ送りすることを特徴とする。 The stereoscopic image display apparatus according to claim 6 or 7, wherein the frame advance includes normal frame advance and high-speed frame advance that performs frame advance in a shorter time than the normal frame advance. And when the high-speed frame advance is instructed, only the image generated by removing the parallax of the stereoscopic image to be frame-displayed is displayed and frame-advanced.
これにより、視差が高速に切り替わって目に負担をかけることを防止することができる。 As a result, it is possible to prevent the parallax from switching at a high speed and placing a burden on the eyes.
請求項9に示すように請求項8に記載の立体画像表示装置において、前記視差を除去して生成された画像を表示する際に、基となった画像が立体画像である旨の表示を行うことを特徴とする。 In the stereoscopic image display device according to claim 8, when the image generated by removing the parallax is displayed, a display indicating that the base image is a stereoscopic image is displayed. It is characterized by that.
これにより、表示している画像が立体画像であるか平面画像であるかの判断が可能となる。 As a result, it is possible to determine whether the displayed image is a stereoscopic image or a planar image.
前記目的を達成するために請求項10に記載の立体画像表示方法は、視差を有する立体画像を表示手段に表示する立体画像表示方法であって、コマ送り指示に応じて表示中の現コマの立体画像を次コマの立体画像に順次コマ送りする立体画像表示方法において、所定の視差を有する立体画像から前記視差を低減した画像を生成する工程を備え、コマ送りが指示されると、前記現コマの立体画像から視差を低減した現コマの視差低減画像を表示した後に前記次コマの立体画像を前記表示手段に表示することを特徴とする。 The stereoscopic image display method according to claim 1 0 in order to achieve the object, a stereoscopic image display method for displaying on display means a stereoscopic image with parallax, the current displayed frame in accordance with the frame advance indication In the stereoscopic image display method for sequentially feeding the stereoscopic image of the next frame to the stereoscopic image of the next frame, the method includes a step of generating an image with reduced parallax from a stereoscopic image having a predetermined parallax, and when frame advance is instructed, A stereoscopic image of the next frame is displayed on the display means after displaying a parallax-reduced image of the current frame in which the parallax is reduced from the stereoscopic image of the current frame.
本発明によれば、コマ送りが指示されると、視差を低減した画像を表示した後に次コマの立体画像を前記表示手段に表示するようにしたので、所定の視差を持つ立体画像を表示している状態から視差の異なる立体画像に表示を切り替える際に、ユーザが感じる疲労や不快感を少なくすることができる。 According to the present invention, when the frame advance is instructed, the stereoscopic image of the next frame is displayed on the display means after the image with reduced parallax is displayed, so that the stereoscopic image having a predetermined parallax is displayed. It is possible to reduce fatigue and discomfort that the user feels when the display is switched from a state where the image is displayed to a stereoscopic image having a different parallax.
以下に、本発明を実施するための最良の形態について説明する。 The best mode for carrying out the present invention will be described below.
<第1の実施の形態>
図1は、本発明に係る立体画像表示装置1の正面図である。同図に示すように、立体画像表示装置1の筐体は略直方体の箱状に形成されており、その正面には立体画像表示デバイス14、操作部26が設けられている。
<First Embodiment>
FIG. 1 is a front view of a stereoscopic
操作部26は、図では詳細に表されていないが、記録/再生モード選択スイッチ26a、記録ボタン26c、電源ボタン26d、ズームボタン26e、メニューボタン26f、メニュー選択用十字キー26g等を備えており、ユーザは、それぞれの操作に応じて立体画像表示装置1を制御する。
Although not shown in detail in the figure, the
立体画像表示デバイス14は、立体画像データを立体表示することが可能なレンチキュラーレンズ方式の3Dモニタである。立体画像表示デバイス14は、動作モード、ズーム等を設定する際の各種のメニュー画面を表示させ、操作部26の操作に応じて設定項目の設定が可能なGUI用の画面を表示する。
The stereoscopic
図2は、立体画像表示装置1の電気的構成の一例を示す図である。同図に示すように、立体画像表示装置1は、前述の立体画像表示デバイス14、操作部26の他、画像信号処理部10、立体画像信号処理部11、圧縮処理部12、ビデオエンコーダ13、バス15、CPU16、音入力処理部17、ステレオマイクアンプ部18、マイク19、メモリ20、ROM21、メディア記録制御部22、記録メディア23等から構成される。
FIG. 2 is a diagram illustrating an example of an electrical configuration of the stereoscopic
各部はCPU16に制御されて動作し、CPU16は、操作部26からの入力に基づき所定の制御プログラムを実行することにより、立体画像表示装置1の各部を制御する。
Each unit operates under the control of the
ROM21にはCPU16が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。CPU16は、ROM21に記録された制御プログラムをメモリ20に読み出し、逐次実行することにより、立体画像表示装置1の各部を制御する。
In addition to the control program executed by the
ビデオエンコーダ13は、CPU16からの指令に従い、バス15を介して入力された画像データの立体画像表示デバイス14への表示を制御する。
The
ステレオマイクアンプ部18は、マイク19から入力された音声信号を増幅し、音入力処理部17に入力する。音入力処理部17は、CPU16からの指令に従い、ステレオマイクアンプ部18から入力された音声入力を所定のフォーマットのデジタル信号に変換する。
The stereo
記録メディア23は、半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等の着脱可能な記録媒体である。メディア記録制御部22には、圧縮処理部12により圧縮処理が施された画像データや音入力処理部17においてデジタル信号に変換された音声データがバス15を介して入力され、メディア記録制御部22はこれらの信号を記録メディア23に記録する。
The
音出力装置24は、バス15を介して入力された音声信号に基づいて、スピーカ25から音声を発生させる。
The
電源部27は、図示しないAC電源から各種のDC電圧を生成して立体画像表示装置1の各部に電源を供給する。各種のDC電圧は、AC電源からではなく、立体画像表示装置1に内蔵された電池から生成してもよい。
The
次に、立体画像表示装置1の立体画像のコマ送りについて説明する。図3(a)は、立体画像表示デバイス14に、所定の視差を有する立体画像101が表示されている様子を示す図である。この立体画像101は、記録メディア23に記録されている画像である。ユーザは、この状態において、立体画像101を立体視することができる。
Next, the frame advance of the stereoscopic image of the stereoscopic
ここで、立体画像表示装置1は、ユーザが操作部26を操作することにより、現在表示されている立体画像101から、次に表示すべき所定の視差を有する立体画像103へ、表示をコマ送りさせることができる。表示を行う順番は、予めユーザが自由に決められるように構成されており、例えば撮影された日時順等が考えられる。
Here, the stereoscopic
なお、コマ送りとは、予め決められた表示順で順次表示させることだけでなく、現コマの表示中にユーザが指定した任意のコマに表示を切り替えることも含んでおり、このようにコマ送りするように構成してもよい。 Note that frame advance includes not only sequential display in a predetermined display order but also switching display to an arbitrary frame specified by the user during display of the current frame. You may comprise.
CPU16は、操作部26が操作されて立体画像のコマ送りが指示されると、ビデオエンコーダ13を介して、立体画像表示デバイス14の表示を現在表示している立体画像101から、視差のない画像102の表示に切替える。この視差のない画像102は、予めROM21に記憶されている。図3(b)は、立体画像表示デバイス14に、視差のない画像102が表示されている様子を示す図である。ここでは、視差のない画像102として全体が白色の画像を用いているが、どのような画像を用いてもよい。ユーザは、視差のない画像102が表示されている期間、この画像を視認し、立体画像101の視差に慣れた眼を視差の無い状態に切替えることができる。
When the
CPU16は、次に表示すべき立体画像103をメディア記録制御部22を介して記録メディア23から読み出し、視差のない画像102の表示を開始してから所定時間の経過後に、立体画像表示デバイス14の表示を、視差のない画像102から次に表示すべき立体画像103の表示に切替える。図3(c)は、立体画像表示デバイス14に、所定の視差を有する立体画像103が表示されている様子を示す図である。ユーザは、この状態において、立体画像103を立体視することができる。
The
このように、所定の視差を有する立体画像101を表示している状態から、視差の異なる立体画像103へ表示を切替える場合に、その間に一度視差のない画像102を表示することで、ユーザは、立体画像101の視差からいったん視差なし状態のフラットな状態に視覚を切替えることができるため、立体視によるユーザの眼の疲れを軽減させることができる。
Thus, when switching the display from the state in which the
本実施の形態では、ユーザが操作部26を操作することにより立体画像のコマ送りを行ったが、本発明は、所定時間毎にコマ送りを行うスライドショーにおいても適用可能である。コマ送りの際に、視差のない画像102を表示するか否かをユーザが選択できるように構成してもよい。
In the present embodiment, the frame operation of the stereoscopic image is performed by the user operating the
また、コマ送り間に表示される視差のない画像は、立体視を行う画像の視差を無くした画像であってもよい。 Further, the image without parallax displayed between the frame advancements may be an image without the parallax of the image to be stereoscopically viewed.
例えば、図4(a)に示すように、立体画像表示デバイス14に立体画像101が表示されている状態において、ユーザがコマ送り操作した場合に、図4(b)に示すように、現在表示している立体画像101から、立体画像101の視差をなくした画像101aの表示に切替えてもよい。立体画像101の視差をなくした画像101aは、立体画像101の表示中に、立体画像101の左目用画像と右目用画像とに基づいて生成しておく。
For example, as shown in FIG. 4A, when the user performs a frame advance operation in a state in which the
次に、立体画像表示装置1は、図4(c)、(d)に示すように、視差をなくした画像101aから、視差をなくした画像103aに表示を切替える。視差をなくした画像103aは、次に表示すべき立体画像103の視差をなくした画像であり、視差をなくした画像101aと同様に、立体画像101の表示中に、立体画像103の左目用画像と右目用画像とに基づいて生成しておく。なお、画像101aから画像103aへの切替えは、図ではスライドアウト、スライドインを用いて行っているが、フェードアウト/フェードイン、オーバーラップ、ワイプ等を用いてもよい。
Next, as illustrated in FIGS. 4C and 4D, the stereoscopic
視差をなくした画像103aの表示後、図4(e)に示すように、次に表示すべき立体画像103の表示に切替える。この状態で、ユーザは、立体画像103の立体視が可能となる。
After the display of the
なお、このコマ送りに要する時間は、図4(b)に示す視差をなくした画像101aの表示時間を0.3秒、図4(c)に示すコマ切り替えに0.4秒、図4(d)に示す視差をなくした画像103aの表示時間を0.3秒とし、全体として1コマ送るために要する時間を約1秒とすることが好ましい。このようにコマ送りすることにより、立体視によるユーザの眼の疲れを軽減させることができ、かつスムーズなコマ送りを実現することが可能となる。なお、コマ送りに要する時間はこの例に限定されるものではなく、適宜決めればよい。視差に応じて変更してもよいし、ユーザが自由に設定できるように構成してもよい。
The time required for this frame advance is 0.3 seconds for the display time of the
なお、コマ送り間に表示される画像は、立体視を行う画像の視差を無くした画像ではなく、立体視を行う画像の視差を、ユーザの目に負担のかからない視差まで低減した画像であってもよい。例えば、立体画像101の視差を低減した画像は、立体画像101の表示中に、立体画像101の左目用画像と右目用画像とに基づいて生成しておく。ユーザがコマ送り操作を行った場合は、現在表示している立体画像101から、立体画像101の視差を低減した画像の表示に切り替える。
Note that the image displayed between frames is not an image in which the parallax of an image for stereoscopic viewing is eliminated, but an image in which the parallax of an image for stereoscopic viewing is reduced to a parallax that does not burden the user's eyes. Also good. For example, an image in which the parallax of the
同様に、立体画像103の視差を低減した画像を生成しておき、立体画像101の視差を低減した画像から立体画像103の視差を低減した画像に表示を切り替える。
Similarly, an image with reduced parallax of the
このように、視差を完全に無くした画像ではなく、ユーザの目に負担のかからない視差まで低減させた画像を用いてコマ送りすることによっても、立体視によるユーザの眼の疲れを軽減させることができ、かつスムーズなコマ送りを実現することが可能となる。 In this way, it is possible to reduce fatigue of the user's eyes due to stereoscopic viewing even by frame-by-frame feeding using an image that has been reduced to a parallax that does not impose a burden on the user's eyes instead of an image in which the parallax is completely eliminated. And smooth frame-by-frame advance can be realized.
さらに、コマ送りされる立体画像は、視差が徐々に変化するように表示してもよい。 Furthermore, the stereoscopic image that is frame-by-frame may be displayed so that the parallax gradually changes.
例えば、図5(a)に示す立体画像101が表示されている状態において、ユーザがコマ送り操作した場合に、図5(c)に示す視差をなくした画像101aを表示させるまでの間に、図5(b)に示すように、立体画像101から視差を徐々に減少させた複数の立体画像101bを表示させる。この立体画像101の視差を徐々に減少させた複数の立体画像101bは、立体画像信号処理部11において、立体画像101の左目用画像及び右目用画像に基づいて対応点抽出を行い、抽出した対応点に基づいて、立体画像101の視差から視差がなくなるまで、視差を微小ずつ異ならせて生成する。さらに、これらの多数の視差の異なる立体画像101bを微小時間毎に順次表示を行うことにより、動画のように視差が徐々に小さくなるように表示される。
For example, in the state where the
この場合の視差の変化について、図6を用いて説明する。図6は、立体画像101及び103の視差の変化を示す図であり、横軸に時間、縦軸に表示画像の視差を表している。同図に示すように、コマ送りが指示されると、時間t0から時間t1までの間において、所定の視差を有する立体画像101から視差をなくした画像101aまで、視差が徐々に変化するように表示が行われる。同図においては、指数関数的に視差を変化させているが、一次関数的に視差を変化させるように表示してもよい。この時間t0から時間t1までの期間は、0.3秒程度であることが好ましい。
The change in parallax in this case will be described with reference to FIG. FIG. 6 is a diagram illustrating changes in the parallax of the
その後、図4の場合と同様に、図5(d)に示すように、視差をなくした画像101aから視差をなくした画像103aへと表示を切替える。この期間は、図6においては、時間t1から時間t2に相当する。前述したように、この期間は0.4秒程度であることが好ましい。
Thereafter, as in FIG. 4, as shown in FIG. 5D, the display is switched from the
さらに、図5(e)に示す視差をなくした画像103aから図5(g)に示す立体画像103を表示するまでの間に、図5(f)に示すように、視差を徐々に付加した複数の立体画像103bを表示させる。この視差を徐々に付加した複数の立体画像103bについても、立体画像信号処理部11において、立体画像103の左目用画像及び右目用画像から立体画像103の視差を変化させることにより生成される。さらに、これらの複数の画像を視差の小さい順に表示することにより、視差が徐々に大きくなるように表示される。
Further, as shown in FIG. 5 (f), the parallax was gradually added during the period from the
その後、立体画像103の表示を行う。この状態で、ユーザは、立体画像103の立体視が可能となる。
Thereafter, the
図6に示すように、この視差の変化についても指数関数的に視差を変化させているが、一次関数的に視差を変化させるように表示してもよい。また、この時間t2から時間t3までの期間は、0.3秒程度であることが好ましい。 As shown in FIG. 6, the parallax is changed exponentially with respect to the change in parallax, but may be displayed so as to change parallax linearly. The period from time t2 to time t3 is preferably about 0.3 seconds.
このように、立体画像を表示している状態においてコマ送りが指示されると、表示している立体画像の視差を視差がなくなるまで徐々に減らしていき、視差がなくなった状態になったら、次のコマへ切替える。次コマが立体画像である場合には、次コマの視差をなくした画像を表示し、本来の視差となるまで視差を徐々に付加していく。このようにコマ送りを行うことにより、ユーザは違和感無く視差なし状態のフラットな状態に視覚を切替えることができ、立体視による眼の疲れを軽減することができる。 In this way, when frame advance is instructed in a state where a stereoscopic image is displayed, the parallax of the displayed stereoscopic image is gradually reduced until the parallax disappears. Switch to the top. When the next frame is a three-dimensional image, an image without the parallax of the next frame is displayed, and the parallax is gradually added until the original parallax is obtained. By performing frame advance in this way, the user can switch the vision to a flat state without parallax without a sense of incongruity, and can reduce eye fatigue due to stereoscopic vision.
なお、図5(c)に示す視差をなくした画像101aの代わりに、立体画像101の視差を低減した画像を用いる場合には、図5(b)に示す視差を徐々に減少させた複数の立体画像101bの視差は、立体画像101の視差から視差を低減した画像の視差まで変化させればよい。図5(e)に示す視差をなくした画像103aの代わりに、立体画像103の視差を低減した画像を用いる場合も、図5(f)に示す視差を徐々に付加した複数の立体画像103bの視差は、視差を低減した画像の視差から立体画像103の視差まで変化させればよい。
Note that, when an image with reduced parallax of the
このようにコマ送りを行っても、ユーザの立体視による眼の疲れを軽減することができる。 Even if frame advance is performed in this way, it is possible to reduce eye fatigue due to stereoscopic viewing of the user.
<第2の実施の形態>
図7は、第2の実施の形態のコマ送りを示すフローチャートである。第2の実施の形態では、立体画像表示装置1は、普通速コマ送りと高速コマ送りの2種類のコマ送りを備えている。普通速コマ送りは、ユーザの指示に応じて次の画像へ表示をコマ送りするものであり、高速コマ送りは、短時間に多くの画像をコマ送りできるように、1枚の画像あたりの表示時間を短くして順次連続してコマ送りを行う。ここでは、普通速コマ送りは1コマを送るために要する時間は約1秒、高速コマ送りは1コマ送るために要する時間は約0.3秒とする。
<Second Embodiment>
FIG. 7 is a flowchart showing frame advance according to the second embodiment. In the second embodiment, the stereoscopic
普通速コマ送りと高速コマ送りは、操作部26の異なる操作部材を割り当ててもよいし、同じ操作部材(操作ボタン)において、短時間オンされた場合には普通速コマ送り、長時間オンされた場合には高速コマ送りのように振り分けてもよい。
The normal speed frame advance and the high speed frame advance may be assigned different operation members of the
第1の実施の形態と同様に、立体画像表示デバイス14に所定の視差を有する立体画像101が表示されている状態(ステップS1)で、ユーザが操作部26によりコマ送り操作をすると(ステップS2)、CPU16は、ユーザのコマ送り操作が高速コマ送り操作であるか否かを判定する(ステップS3)。
Similarly to the first embodiment, when the
高速コマ送りではない場合は、普通速コマ送りを行う(ステップS4)。普通速コマ送りは、第1の実施の形態の図5と同様のコマ送りである。即ち、立体画像101が表示されている状態から、立体画像101から視差を徐々に減少させた複数の立体画像101bを表示させ、視差をなくした画像101aを表示する。その後、次に表示すべき立体画像103の視差をなくした画像103aに表示を切り替え、さらに視差を徐々に付加した複数の立体画像103bを表示させ、最後に次に表示すべき立体画像103を表示する(ステップS6)。ここで、複数の立体画像101bの表示時間を0.3秒、視差をなくした画像101aから視差をなくした画像103aへの切り替えを0.4秒、複数の立体画像103bの表示時間を0.3秒とすることで、1コマを送るために要する時間を約1秒としている。
If it is not high-speed frame advance, normal-speed frame advance is performed (step S4). Normal speed frame advance is the same frame advance as in FIG. 5 of the first embodiment. That is, from the state in which the
ステップS3において、高速コマ送りと判断した場合は、高速コマ送りを行う(ステップS5)。高速コマ送りについても、表示される画像は第1の実施の形態の図5と同様であるが、普通速コマ送りとは、それぞれの表示時間が異なる。図8に、普通速コマ送り時の視差の変化と高速コマ送り時の視差の変化について示す。実線が普通速コマ送り時の視差の変化を示しており、図6に示す視差の変化と同様となっている。また、点線は高速コマ送り時の視差の変化を示しており、時間t10〜t11が複数の立体画像101bの表示時間、t11〜t12が視差をなくした画像101aから視差をなくした画像103aへの切り替え時間、時間t12〜t13が複数の立体画像103bの表示時間となっており、それぞれ0.1秒ずつとすることで、1コマを送るために要する時間を約0.3秒としている。
If it is determined in step S3 that high-speed frame advance is made, high-speed frame advance is performed (step S5). With respect to the high-speed frame advance, the displayed image is the same as that in FIG. 5 of the first embodiment, but the display time is different from the normal-speed frame advance. FIG. 8 shows changes in parallax during normal frame advance and changes in parallax during high-speed frame advance. A solid line indicates a change in parallax during normal speed frame advance, which is similar to the change in parallax illustrated in FIG. 6. A dotted line indicates a change in parallax at the time of high-speed frame advance. Times t10 to t11 are display times of a plurality of
複数の立体画像101b及び複数の立体画像103bの表示時間を普通速コマ送り時よりよりも短くするためには、複数の立体画像の画像数を少なくして1枚あたりの表示時間を普通速コマ送りと同様としてもよいし、立体画像の画像数は普通速コマ送りと同様とし、1枚あたりの表示時間を短くしてもよい。
In order to make the display time of the plurality of
このように表示を行うことにより、指示されたコマ送り速度を実現しつつ、ユーザは視差なし状態のフラットな状態に視覚を切替えることができ、立体視による眼の疲れを軽減することができる。 By performing the display in this way, the user can switch the vision to a flat state with no parallax while realizing the instructed frame advance speed, and can reduce eye fatigue due to stereoscopic vision.
<第3の実施の形態>
図9は、第3の実施の形態のコマ送りを示すフローチャートである。第3の実施の形態では、立体画像表示装置1は、普通速コマ送り、中速コマ送り、及び高速コマ送りの3種類のコマ送りを備えている。普通速コマ送りは、第2の実施の形態の普通速コマ送りと同様であり、中速コマ送りは、第2の実施の形態の高速コマ送りと同様である。また、第3の実施の形態の高速コマ送りは、中速コマ送りよりもさらに短時間に多くの画像をコマ送りするためのものであり、1コマ送るために要する時間が約0.2秒となっている。
<Third Embodiment>
FIG. 9 is a flowchart illustrating frame advance according to the third embodiment. In the third embodiment, the stereoscopic
これらのコマ送りは、操作部26の異なる操作部材を割り当ててもよいし、同じ操作部材(操作ボタン)において、オンされた時間に応じて振り分けてもよい。
These frame feeds may be assigned to different operation members of the
第2の実施の形態と同様に、立体画像表示デバイス14に所定の視差を有する立体画像101が表示されている状態(ステップS1)で、ユーザが操作部26によりコマ送り操作をすると(ステップS2)、CPU16は、指示されたコマ送り速度を判定する(ステップS11)。
Similarly to the second embodiment, when the
指示されたコマ送り速度が普通速コマ送りの場合は(ステップS12)、第2の実施の形態の普通速コマ送りと同様のコマ送りを行う。また、指示されたコマ送り速度が中速コマ送りの場合は(ステップS14)、第2の実施の形態の高速コマ送りと同様のコマ送りを行う(ステップS15)。これらのコマ送りの詳細についての説明は省略する。 If the instructed frame advance speed is normal speed frame advance (step S12), frame advance similar to the normal speed frame advance of the second embodiment is performed. If the instructed frame advance speed is medium-speed frame advance (step S14), frame advance similar to the high-speed frame advance of the second embodiment is performed (step S15). A detailed description of the frame advance will be omitted.
指示されたコマ送り速度が高速コマ送りの場合は(ステップS16)、視差をなくした画像のみでコマ送りを行う(ステップS17)。 If the instructed frame advance speed is high-speed frame advance (step S16), frame advance is performed using only the image with no parallax (step S17).
図10は、立体画像表示デバイス14の表示を示す図であり、このステップS17の高速コマ送りを示す図である。高速コマ送りは、立体画像101、103、105の順にコマ送りを行うとした場合、これらの立体画像の視差をなくした画像101a、103a、105aだけを表示してコマ送りを行う。
FIG. 10 is a diagram showing the display of the stereoscopic
立体画像101が表示されている状態において、ユーザが高速コマ送りを指示すると、これまでと同様に、立体画像101から視差を徐々に減少させた複数の立体画像101bを表示させた後、視差をなくした画像101aを表示する。この状態を図10(a)に示す。この表示を行う時間は、0.1秒とする。
When the user instructs high-speed frame advancement while the
次に、図10(b)に示すように、スライドアウト・スライドインにより、画像101aから次に表示すべき立体画像103の視差をなくした画像103aに切り替える。この切り替え時間についても、0.1秒とする。これまでと同様に、画像切り替えの効果については、他の効果を用いてもよい。
Next, as shown in FIG. 10B, the
さらに、図10(c)に示すように画像103aを表示する。この表示を行う時間についても、0.1秒とする。
Further, an
続いて高速コマ送りが指示されている場合には、図10(d)に示すように、スライドアウト・スライドインにより、画像103aからその次に表示すべき立体画像105の視差をなくした画像105aに切り替える。さらに、図10(e)に示すように画像105aを表示する。
Subsequently, when high-speed frame advance is instructed, as shown in FIG. 10D, an
このように、高速コマ送りを行う場合は、ユーザは立体視するための画像を検索していると考えられるので、コマ送り中の画像を立体表示させずにコマ送り速度を優先させる。このように表示させることで、ユーザが、視差の高速に切り替わる画像群を立体視することで眼に負担をかけることを防止することができる。 In this way, when performing high-speed frame advance, it is considered that the user is searching for an image for stereoscopic viewing. Therefore, the frame advance speed is prioritized without stereoscopically displaying the image being frame-advanced. By displaying in this way, it is possible to prevent the user from placing a burden on the eyes by stereoscopically viewing a group of images that are switched at high parallax.
なお、図10に示す高速コマ送りにおいては、ユーザは、コマ送りされている画像が本来は立体画像であるのか元々平面画像であるのかの区別をすることができない。したがって、図11に示すように、表示している画像が本来は立体画像である旨を知ることができるように、視差をなくした画像とともに立体画像アイコン107を表示させてもよい。立体画像アイコン107が同時に表示されることで、ユーザは、高速コマ送り中に表示される画像が立体画像でなくても、本来は立体画像であることを知ることができる。
In the high-speed frame advance shown in FIG. 10, the user cannot distinguish whether the image being frame-acquired is originally a stereoscopic image or originally a flat image. Therefore, as shown in FIG. 11, the
<第4の実施の形態>
第1〜第3の実施の形態においては、所定の視差を持つ立体画像から異なる視差を持つ立体画像へコマ送りする場合に、一度視差のない画像を表示したが、現在表示している立体画像の視差を次に表示すべき画像の視差に変化させてもよい。
<Fourth embodiment>
In the first to third embodiments, when a frame advance is performed from a stereoscopic image having a predetermined parallax to a stereoscopic image having a different parallax, an image having no parallax is displayed once, but the currently displayed stereoscopic image May be changed to the parallax of the image to be displayed next.
図12は、立体画像101から立体画像103へコマ送りする場合の立体画像表示デバイス14の表示を示す図である。
FIG. 12 is a diagram illustrating the display of the stereoscopic
図12(a)に示すように立体画像表示デバイス14に立体画像101が表示されている状態において、ユーザがコマ送り操作した場合に、次に表示すべき立体画像103を表示させるまでの間に、図12(b)に示すように、立体画像101から視差を徐々に立体画像103の視差に近づけた複数の立体画像101cを表示させる。この立体画像101の視差を立体画像103の視差に徐々に近づけた複数の立体画像101cは、CPU16において予め次に表示すべき立体画像103の視差を取得し、立体画像信号処理部11において、立体画像101の左目用画像及び右目用画像に基づいて対応点抽出を行い、抽出した対応点に基づいて、立体画像101の視差から次に表示すべき立体画像103の視差まで、立体画像101の視差を微小ずつ異ならせて生成する。さらに、これらの多数の視差の異なる立体画像101cを微小時間毎に順次表示を行うことにより、動画のように視差が徐々に立体画像103の視差に近くなるように表示される。
In the state where the
次に、図12(c)に示すように、立体画像101の視差を次に表示すべき立体画像103の視差と同じ視差にした立体画像101dを表示する。
Next, as shown in FIG. 12C, a
この場合の視差の変化について、図13を用いて説明する。図13は、立体画像101及び103の視差の変化を示す図であり、横軸に時間、縦軸に表示画像の視差を表している。同図に示すように、コマ送りが指示されると、時間t20から時間t21までの間において、所定の視差を有する立体画像101から立体画像103の視差と同じ視差にした立体画像101dまで、視差が徐々に変化するように表示が行われる。同図においては、指数関数的に視差を変化させているが、一次関数的に視差を変化させるように表示してもよい。この時間t20から時間t21までの期間は、普通速コマ送りの場合は0.3秒、中速コマ送りの場合は0.1秒程度であることが好ましい。
The change in parallax in this case will be described with reference to FIG. FIG. 13 is a diagram illustrating changes in the parallax of the
その後、図12(d)に示すように、立体画像101dから立体画像103へと表示を切り替える。この期間は、図13においては、時間t21から時間t22に相当する。この期間は、普通速コマ送りの場合は0.4秒、中速コマ送りの場合は0.1秒程度であることが好ましい。
Thereafter, as shown in FIG. 1 2 (d), it switches the display to the
このように、図12(e)に示すように立体画像103の表示を行う。この状態で、ユーザは、立体画像103の立体視が可能となる。
In this way, the
このように、立体画像を表示している状態においてコマ送りが指示されると、表示している立体画像の視差を、次に表示すべき立体画像の視差と同じになるまで徐々に変化させていき、視差が次に表示すべき立体画像と同じになったら、次のコマへ切替える。このようにコマ送りを行うことにより、同じ視差の立体画像が切り替わることになるので、ユーザは立体視による眼の疲れを軽減することができる。 In this way, when frame advance is instructed while a stereoscopic image is displayed, the parallax of the displayed stereoscopic image is gradually changed until it becomes the same as the parallax of the stereoscopic image to be displayed next. If the parallax becomes the same as the stereoscopic image to be displayed next, the next frame is switched. By performing frame advance in this manner, stereoscopic images with the same parallax are switched, so that the user can reduce eye fatigue due to stereoscopic vision.
なお、本実施の形態においては、立体画像を表示している状態においてコマ送りが指示された場合に、表示中の立体画像の視差を徐々に次に表示すべき立体画像の視差に変化させてからコマを切り替えたが、表示中の立体画像の視差となるように視差が変更された次に表示すべき立体画像にコマを切り替えた後に、当該立体画像の視差を本来の視差に変化させてもよい。 In this embodiment, when frame advance is instructed in a state where a stereoscopic image is displayed, the parallax of the stereoscopic image being displayed is gradually changed to the parallax of the stereoscopic image to be displayed next. After changing the parallax of the stereoscopic image to be displayed, the parallax of the stereoscopic image is changed to the original parallax. Also good.
この場合の視差の変化について、図14を用いて説明する。図14は、立体画像101及び103の視差の変化を示す図であり、横軸に時間、縦軸に表示画像の視差を表している。同図に示すように、コマ送りが指示されると、時間t31から時間t32までの間において、所定の視差を有する立体画像101から立体画像101の視差を有する立体画像103dへと表示を切替える。
The change in parallax in this case will be described with reference to FIG. FIG. 14 is a diagram illustrating a change in parallax of the
その後、時間t32から時間t33までの間において、立体画像101の視差を有する立体画像103dから立体画像103まで、多数の視差の異なる複数の立体画像103cを用いて、視差が徐々に変化するように表示が行われる。多数の視差の異なる立体画像103c、及び立体画像101の視差有する立体画像103dは、立体画像信号処理部11において、予め生成される。
Thereafter, during the period from time t3 2 until time t3 3, the
このようにコマ送りを行った場合であっても、同じ視差の立体画像が切り替わることになるので、ユーザは立体視による眼の疲れを軽減することができる。 Even when frame advance is performed in this way, stereoscopic images with the same parallax are switched, so that the user can reduce eye fatigue due to stereoscopic vision.
1…立体画像表示装置、10…画像信号処理部、11…立体画像信号処理部、14…立体画像表示デバイス、16…CPU、21…ROM、23…記録メディア、101、103…立体画像、101a、103a…視差をなくした画像、101b、103b…視差を減少させた画像、107…立体画像アイコン
DESCRIPTION OF
Claims (10)
所定の視差を有する立体画像から前記視差を低減した画像を生成する手段を備え、
コマ送りが指示されると、前記現コマの立体画像から視差を低減した現コマの視差低減画像を表示した後に前記次コマの立体画像を前記表示手段に表示することを特徴とする立体画像表示装置。 In a stereoscopic image display device that displays a stereoscopic image having parallax on a display unit, the stereoscopic image display device that sequentially forwards the stereoscopic image of the current frame being displayed to the stereoscopic image of the next frame in response to a frame advance instruction.
Means for generating an image with reduced parallax from a stereoscopic image having a predetermined parallax;
When the frame advance is instructed, the stereoscopic image display is characterized in that the stereoscopic image of the next frame is displayed on the display means after displaying the parallax-reduced image of the current frame with reduced parallax from the stereoscopic image of the current frame. apparatus.
前記高速コマ送りが指示された場合には、コマ送りすべき立体画像の視差を除去して生成された画像だけを表示してコマ送りすることを特徴とする請求項6又は7に記載の立体画像表示装置。 The frame advance includes normal speed frame advance and high-speed frame advance that performs frame advance in a shorter time than the normal speed frame advance,
8. The three-dimensional image according to claim 6, wherein, when the high-speed frame advance is instructed, only the image generated by removing the parallax of the stereoscopic image to be frame-adjusted is displayed and the frame advance is performed. Image display device.
所定の視差を有する立体画像から前記視差を低減した画像を生成する工程を備え、 Generating a reduced parallax image from a stereoscopic image having a predetermined parallax,
コマ送りが指示されると、前記現コマの立体画像から視差を低減した現コマの視差低減画像を表示した後に前記次コマの立体画像を前記表示手段に表示することを特徴とする立体画像表示方法。 When the frame advance is instructed, the stereoscopic image display is characterized in that the stereoscopic image of the next frame is displayed on the display means after displaying the parallax-reduced image of the current frame with reduced parallax from the stereoscopic image of the current frame. Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009039724A JP5064424B2 (en) | 2009-02-23 | 2009-02-23 | Stereoscopic image display apparatus and stereoscopic image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009039724A JP5064424B2 (en) | 2009-02-23 | 2009-02-23 | Stereoscopic image display apparatus and stereoscopic image display method |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011150254A Division JP4889820B2 (en) | 2011-07-06 | 2011-07-06 | Stereoscopic image display apparatus and stereoscopic image display method |
JP2011150255A Division JP4889821B2 (en) | 2011-07-06 | 2011-07-06 | Stereoscopic image display apparatus and stereoscopic image display method |
JP2012175301A Division JP5276741B2 (en) | 2012-08-07 | 2012-08-07 | Stereoscopic image display apparatus and stereoscopic image display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010199740A JP2010199740A (en) | 2010-09-09 |
JP5064424B2 true JP5064424B2 (en) | 2012-10-31 |
Family
ID=42824038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009039724A Expired - Fee Related JP5064424B2 (en) | 2009-02-23 | 2009-02-23 | Stereoscopic image display apparatus and stereoscopic image display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5064424B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5540746B2 (en) | 2009-11-20 | 2014-07-02 | ソニー株式会社 | RECEPTION DEVICE, TRANSMISSION DEVICE, COMMUNICATION SYSTEM, RECEPTION DEVICE CONTROL METHOD, AND PROGRAM |
JP2012065111A (en) * | 2010-09-15 | 2012-03-29 | Sharp Corp | Stereoscopic image display device, stereoscopic image display method, program for allowing computer to perform stereoscopic image display method, and recording medium with program recorded therein |
JP5250604B2 (en) | 2010-10-26 | 2013-07-31 | 富士フイルム株式会社 | Stereoscopic image display apparatus, stereoscopic image display method, and program |
WO2012056722A1 (en) * | 2010-10-29 | 2012-05-03 | 富士フイルム株式会社 | Three-dimensional image display device, method, and program |
JP2012105153A (en) * | 2010-11-11 | 2012-05-31 | Sharp Corp | Stereoscopic image display device, stereoscopic image display method, program for allowing computer to execute stereoscopic image display method, and recording medium for storing program |
JP5577305B2 (en) | 2011-08-05 | 2014-08-20 | 株式会社ソニー・コンピュータエンタテインメント | Image processing device |
JP2014022888A (en) * | 2012-07-17 | 2014-02-03 | Canon Inc | Image pickup device and image pickup device manufacturing method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1040420A (en) * | 1996-07-24 | 1998-02-13 | Sanyo Electric Co Ltd | Method for controlling sense of depth |
JPH11164328A (en) * | 1997-11-27 | 1999-06-18 | Toshiba Corp | Stereoscopic video image display device |
JP2005109568A (en) * | 2003-09-26 | 2005-04-21 | Sanyo Electric Co Ltd | Video display and program |
JP4266774B2 (en) * | 2003-10-29 | 2009-05-20 | シャープ株式会社 | Stereoscopic image display apparatus and stereoscopic image display method |
JP5011842B2 (en) * | 2006-06-22 | 2012-08-29 | 株式会社ニコン | Image playback device |
JP5055570B2 (en) * | 2006-08-08 | 2012-10-24 | 株式会社ニコン | Camera, image display device, and image storage device |
JP4695664B2 (en) * | 2008-03-26 | 2011-06-08 | 富士フイルム株式会社 | 3D image processing apparatus, method, and program |
-
2009
- 2009-02-23 JP JP2009039724A patent/JP5064424B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010199740A (en) | 2010-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5064424B2 (en) | Stereoscopic image display apparatus and stereoscopic image display method | |
JP5745822B2 (en) | Playback mode switching method, output mode switching method, display device using the same, and 3D video providing system | |
JP4898734B2 (en) | Stereoscopic image display device, stereoscopic image display method, and stereoscopic image transmission method | |
EP2597502A1 (en) | Imaging device, method for controlling same, and program | |
US20120263372A1 (en) | Method And Apparatus For Processing 3D Image | |
JP5276536B2 (en) | 3D image display apparatus and 3D image display method | |
JP2011114868A (en) | Gui providing method, and display apparatus and 3d image providing system using the same | |
JP2010252046A (en) | Image pickup apparatus | |
US9621880B2 (en) | Image processor for displaying images in a 2D mode and a 3D mode | |
JP5066244B2 (en) | Video playback apparatus and video playback method | |
KR101228916B1 (en) | Apparatus and method for displaying stereoscopic 3 dimensional image in multi vision | |
JP4889820B2 (en) | Stereoscopic image display apparatus and stereoscopic image display method | |
JP4889821B2 (en) | Stereoscopic image display apparatus and stereoscopic image display method | |
JP5276741B2 (en) | Stereoscopic image display apparatus and stereoscopic image display method | |
JP5540848B2 (en) | Video signal processing device, display device, display method, and program | |
JP2010193411A (en) | Stereoscopic image display device and stereovision training method | |
WO2011065191A1 (en) | Display control device, display control method, display control program, computer-readable recording medium, recording/playback device equipped with abovementioned display control device, speech output device, and recording/playback device equipped with speech output device | |
US9877014B2 (en) | Stereo image display apparatus and stereo image display method | |
US20140118513A1 (en) | Image processor | |
JP2016036081A (en) | Image processing device, method and program, and recording medium | |
JP5222718B2 (en) | Stereoscopic image reproduction apparatus, stereoscopic image reproduction program, and imaging apparatus | |
JPH07226959A (en) | Stereoscopic video image display system | |
JP2012010358A (en) | Three-dimensional imaging apparatus and three-dimensional image display method | |
JP2019012924A (en) | Electronic apparatus and control method thereof | |
JP2011114382A (en) | Moving picture imaging apparatus and moving picture imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120710 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5064424 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150817 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |