JPWO2012120781A1 - 映像処理装置及びそれを含む映像表示システム - Google Patents

映像処理装置及びそれを含む映像表示システム Download PDF

Info

Publication number
JPWO2012120781A1
JPWO2012120781A1 JP2013503350A JP2013503350A JPWO2012120781A1 JP WO2012120781 A1 JPWO2012120781 A1 JP WO2012120781A1 JP 2013503350 A JP2013503350 A JP 2013503350A JP 2013503350 A JP2013503350 A JP 2013503350A JP WO2012120781 A1 JPWO2012120781 A1 JP WO2012120781A1
Authority
JP
Japan
Prior art keywords
video
area
control unit
input video
video processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013503350A
Other languages
English (en)
Other versions
JP6028936B2 (ja
Inventor
崇 桑原
崇 桑原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2012120781A1 publication Critical patent/JPWO2012120781A1/ja
Application granted granted Critical
Publication of JP6028936B2 publication Critical patent/JP6028936B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/12Frame memory handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42653Internal components of the client ; Characteristics thereof for processing graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

ディスプレイ中のより広い領域を活用して見易い映像を表示できる映像処理装置を提供する。映像処理装置に備えられ、入力映像を処理する映像処理部(20)は、入力映像を保存する第1メモリ(201)と、入力映像を保存する第2メモリ(202)と、第1メモリ(201)に保存された入力映像の第1領域を圧縮伸張するとともに、第2メモリ(202)に保存された入力映像の第2領域を圧縮伸張する圧縮伸張制御部(207)と、圧縮伸張制御部(207)にて圧縮伸張された第1領域の映像と圧縮伸張制御部(207)にて圧縮伸張された第2領域の映像とを左右に並べた出力映像を生成する画像合成部(208)とを備えている。

Description

関連する出願
本出願では、2011年3月10日に日本国に出願された特許出願番号2011−052584の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。
本発明は、入力映像を処理する映像処理装置及びそれを含む映像表示システムに関するものである。
従来、入力された映像(以下、「入力映像」という。)をディスプレイのアスペクト比に合わせて縦方向(又は列方向)及び/又は横方向(又は行方向)(以下、「縦横方向」という。)に圧縮伸張して表示する映像処理装置が知られている(例えば特許文献1を参照)。この映像処理装置により、入力映像とディスプレイのアスペクト比が合致していなくても、入力映像を縦横方向に圧縮伸張することで、ディスプレイの全体を使って映像を表示することが可能になる。
近年のディスプレイは、その用途に合わせて様々なアスペクト比で構成される。例えば、車両の後部座席用のディスプレイとして、一般的なアスペクト比(例えば、横:縦=16:9)のディスプレイよりも極端に横長であるアスペクト比(例えば、横:縦=30:9)を有するディスプレイも提案されている。
特開2001−086470号公報
しかしながら、一般的なアスペクト比の入力映像を極端に横長のディスプレイに合わせるように圧縮伸張すると、入力映像は極端に横長になってしまい、見難い映像になってしまう。
一方、横長のディスプレイに対して、一般的なアスペクト比の入力映像を横方向に伸張しないで、例えばディスプレイの中央に表示すれば、左右に大きな黒帯部分ができてしまい、横長のディスプレイを有効に活用できなくなる。
本発明は、上記の問題点に鑑みてなされたものであり、入力映像とディスプレイのアスペクト比が異なる場合に、ディスプレイ中のより広い領域を活用して見易い映像を表示できる映像処理装置を提供することを目的とする。
上記従来の課題を解決するために、本発明の映像処理装置は、入力映像を処理する映像処理部を備えた構成を有している。そして、映像処理部は、入力映像を保存する第1メモリと、入力映像を保存する第2メモリと、第1メモリに保存された入力映像の第1領域を圧縮伸張するとともに、第2メモリに保存された入力映像の第2領域を圧縮伸張する圧縮伸張制御部と、圧縮伸張制御部にて圧縮伸張された第1領域の映像と圧縮伸張制御部にて圧縮伸張された第2領域の映像とを左右に並べた出力映像を生成する画像合成部とを備えた構成を有している。
また、本発明の別の態様は、映像表示システムであって、この映像表示システムは、上記のいずれかの映像処理装置と、出力映像を表示するディスプレイとを備えた構成を有している。
本発明によれば、入力映像の第1領域と第2領域とが行方向に並べて表示されるので、横長のディスプレイのより広い領域を活用して見易い映像を表示することができる。
以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。
図1は、本発明の第1の実施の形態における映像処理装置の映像処理部の構成を示すブロック図 図2は、本発明の第1の実施の形態における映像処理装置の構成を示すブロック図 図3は、本発明の第1の実施の形態における分割判定部による判定の処理の一例を示すフロー図 図4は、本発明の第1の実施の形態における分割判定部による判定の処理の他の例を示すフロー図 図5は、本発明の第1の実施の形態における制御部による制御処理の一例を示すフロー図 図6は、本発明の第1の実施の形態における制御部による制御処理の他の例を示すフロー図 図7は、本発明の第1の実施の形態における制御部による制御処理の他の例を示すフロー図 図8は、本発明の第1の実施の形態における制御部による制御処理の他の例を示すフロー図 図9は、本発明の第1の実施の形態における制御部による制御処理の他の例を示すフロー図 図10(a)は、本発明の第1の実施の形態における入力映像を示す図 図10(b)は、本発明の第1の実施の形態における出力映像を示す図 図11は、本発明の第2の実施の形態における映像処理装置の構成を示すブロック図 図12(a)は、本発明の第2の実施の形態における入力映像を示す図 図12(b)は、本発明の第2の実施の形態における出力映像を示す図 図13は、本発明の第3の実施の形態における映像処理装置の構成を示すブロック図 図14(a)は、本発明の第3の実施の形態における出力映像を示す図 図14(b)は、本発明の第3の実施の形態における出力映像を示す図 図15は、本発明の第4の実施の形態における映像処理装置の構成を示すブロック図 図16は、本発明の第5の実施の形態における映像処理装置の構成を示すブロック図 図17(a)は、本発明の第5の実施の形態における入力映像を示す図 図17(b)は、本発明の第5の実施の形態における出力映像を示す図 図18(a)は、本発明の第5の実施の形態の第1の変形例における入力映像を示す図 図18(b)は、本発明の第5の実施の形態の第1の変形例における出力映像を示す図 図19(a)は、本発明の第5の実施の形態の第2の変形例における入力映像を示す図 図19(b)は、本発明の第5の実施の形態の第2の変形例における出力映像を示す図 図19(c)は、本発明の第5の実施の形態の第2の変形例における出力映像を示す図
以下に、本発明の詳細な説明を述べる。以下に説明する実施の形態は本発明の単なる例であり、本発明は様々な態様に変形することができる。従って、以下に開示する特定の構成および機能は、特許請求の範囲を限定するものではない。
本発明の実施の形態の映像処理装置は、入力映像を処理する映像処理部を備えた構成を有している。そして、映像処理部は、入力映像を保存する第1メモリと、入力映像を保存する第2メモリと、第1メモリに保存された入力映像の第1領域を圧縮伸張するとともに、第2メモリに保存された入力映像の第2領域を圧縮伸張する圧縮伸張制御部と、圧縮伸張制御部にて圧縮伸張された第1領域の映像と圧縮伸張制御部にて圧縮伸張された第2領域の映像とを左右に並べた出力映像を生成する画像合成部とを備えた構成を有している。
この構成により、入力映像は、第1メモリにも第2メモリにも保存され、入力映像の第1領域及び第2領域を左右に並べた出力映像が、第1メモリから第1領域を読み出して圧縮伸張し、第2メモリから第2領域を読み出して圧縮伸張することで生成される。よって、ディスプレイが入力映像よりも横長である場合において入力映像をそのまま表示すれば、入力映像の左右には映像のない黒帯部分が生じすることになるところ、上記の構成により、第1領域と第2領域とが行方向に並べて表示されるので、横長のディスプレイのより広い領域を活用して見易い映像を表示できる。
また、上記の映像処理装置において、第1領域は入力映像の上側領域であり、第2領域は入力映像の下側領域であってよい。
この構成により、上下に分割可能な入力映像を上下に分割して、圧縮伸張した上で、行方向に並べて表示することが可能になる。
また、上記の映像処理装置において、第1領域は入力映像の全領域であり、第2領域は全領域より小さい入力映像中の矩形領域であってよい。
この構成により、入力映像から抜き出した一部領域(矩形領域)を拡大して、入力映像と並べて表示することが可能になる。
また、上記の映像処理装置は、画像合成部にて生成された出力映像を表示する分割表示モードでの表示が可能であるか否かを判断して、映像処理部を制御する分割制御部を更に備えていてよい。
この構成により、入力映像が分割表示モードでの表示が可能な映像である場合に、入力映像の第1領域及び第2領域を左右に並べた出力映像が生成される。なお、入力映像が分割表示モードでの表示が可能な映像であるか否かは、入力映像の内容から判断してもよいし、ユーザの指示に基づいて判断してもよい。
また、上記の映像処理装置において、分割制御部は、入力映像が上下で分割された映像であるか否かを判断し、入力映像が上下で分割された映像であるときは、上側の領域を第1領域とし、下側の領域を第2領域として、分割表示モードで表示するための出力映像を生成するように、映像処理部を制御してよい。
この構成により、入力映像が上下で分割された映像であるときには、自動的に、その上側の領域と下側の領域とを左右に並べた出力映像が生成される。
また、上記の映像処理装置は、分割制御部は、入力映像が上下で分割された映像であるか否かを判断し、入力映像が上下で分割された映像であるときは、表示モードとして画像合成部にて生成された出力映像を表示する分割表示モードを追加し、ユーザによって分割表示モードが選択されたときに、上側の領域を第1領域とし、下側の領域を第2領域として、分割表示モードで表示するための出力映像を生成するように、映像処理部を制御してよい。
この構成により、入力映像が上下で分割された映像であるときには、ユーザは、その上側の領域と下側の領域とを左右に並べた出力映像が生成されるよう指示することができる。
また、上記の映像処理装置において、分割制御部は、入力映像を上下に分割するための分割位置の指定を含むユーザの指示に応じて、分割位置の上側の領域を第1領域とし、分割位置の下側の領域を第2領域として、分割表示モードで表示するための出力映像を生成するように、映像処理部を制御してよい。
この構成により、ユーザは、入力映像を分割位置で上下に分割して、その上側の領域と下側の領域とを左右に並べた出力映像を生成するよう指示することができる。
また、上記の映像処理装置において、分割制御部は、入力映像から顔領域を検出し、入力映像から顔領域が検出されたときは、入力映像の全領域を第1領域とし、顔領域を第2領域とし、分割表示モードで表示するための出力映像を生成するように、映像処理部を制御してよい。
この構成により、入力映像に人物の顔があるときには、自動的に、入力映像の全領域と顔領域とを左右に並べた出力映像が生成される。
また、上記の映像処理装置において、分割制御部は、入力映像から顔領域を検出し、入力映像から顔領域が検出されたときは、表示モードとして、画像合成部にて生成された出力映像を表示する分割表示モードを追加し、ユーザによって分割表示モードが選択されたときに、入力映像の全領域を第1領域とし、顔領域を第2領域とし、分割表示モードで表示するための出力映像を生成するように、映像処理部を制御してよい。
この構成により、入力映像に人物の顔があるときには、ユーザは、入力映像の全領域と顔領域とを左右に並べた出力映像を生成するよう指示することができる。
また、上記の映像処理装置において、分割制御部は、入力映像中の一部領域の指定を含むユーザの指示に応じて、入力映像の全領域を第1領域とし、一部領域を第2領域とし、分割表示モードで表示するための出力映像を生成するように、映像処理部を制御してよい。
この構成により、ユーザは、入力映像中の任意の領域を指定して、入力映像中の指定した領域と入力映像の全領域とを左右に並べた出力映像を生成するよう指示することができる。
また、本発明の別の態様は、映像表示システムであって、この映像表示システムは、上記のいずれかの映像処理装置と、出力映像を表示するディスプレイとを備えた構成を有している。
この構成によっても、第1領域と第2領域とが行方向に並べて表示されるので、横長のディスプレイのより広い領域を活用して見易い映像を表示できる。
以下、本発明を実施するための形態について、図面を参照しながら説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態の映像処理装置の映像処理部の構成を示すブロック図であり、図2は、本発明の第1の実施の形態の映像処理装置の構成を示すブロック図である。まず、図2を参照して映像処理装置の全体の構成を説明し、その後、図1を参照して映像処理装置の映像処理部の構成を詳細に説明する。
本実施の形態の映像処理装置100は、表示モードとして、入力映像のアスペクト比を変更せずにそのまま表示する通常表示モードのほか、本実施の形態で説明するように、入力映像を上側の領域及び下側の領域に分割して、各領域の映像を左右に並べて表示する上下分割表示モードを有しており、更には、入力映像をディスプレイのサイズに合わせて圧縮伸張するフル画面表示モード等の表示モードを有しており、表示モードに従って入力映像を処理する。なお、上下分割表示モードは、本発明の分割表示モードの一態様である。第1の実施の形態では、上下分割表示モードで映像を表示するための映像処理装置100の構成を説明する。
本実施の形態の映像処理装置100は、図10(a)に示すような入力映像を上側領域及び下側領域に分割して、各領域の映像を縦横方向に圧縮伸張して、図10(b)に示すような各領域の映像を左右に並べてディスプレイの全領域で表示する出力映像を生成する。本実施の形態の映像処理装置100には、映像処理装置100で生成された出力映像が入力されるディスプレイが接続され、映像処理装置100とディスプレイとで、本発明の映像表示システムが構成される。なお、ディスプレイとしては公知のディスプレイを採用できる。
図2に示すように、本実施の形態の映像処理装置100は、分割判定部10と、映像処理部20と、制御部30とを備えている。分割判定部10と制御部30とを合わせた構成は、本発明の分割制御部に相当する。分割判定部10は、入力映像が図10(a)に示すように、画面を上下に分割可能な映像であるか否かを判定する。分割判定部10は、第1ラインメモリ101、第2ラインメモリ102、第3ラインメモリ103、ラインメモリ書込制御部104、ラインメモリ読出制御部105、及び判定部106を備えている。
第1ラインメモリ101、第2ラインメモリ102、第3ラインメモリ103、及びラインメモリ書込制御部104には入力映像が入力される。ラインメモリ書込制御部104は、入力映像に基づいて、第1ラインメモリ101、第2ラインメモリ102、及び第3ラインメモリ103のそれぞれに書込信号を与えることで、映像信号を1ラインずつ第1ラインメモリ101、第2ラインメモリ102、及び第3ラインメモリ103のいずれかに書き込ませる。書き込むラインメモリは、1ラインごとに第1ラインメモリ101、第2ラインメモリ102、第3ラインメモリ103の順で選択される。
ラインメモリ読出制御部105は、第1ラインメモリ101、第2ラインメモリ102、及び第3ラインメモリ103のうちの、ラインメモリ書込制御部104の制御によって映像信号が書き込まれるラインメモリを除く2つのラインメモリから信号を読み出して、判定部106に出力する。
判定部106は、ライン読出制御部105によって読み出された2ラインの映像信号が、画面の上下分割位置の映像信号であるか否かを判定する。具体的には、判定部106は、ライン読出制御部105によって読み出された2ラインの映像信号の間の変化の大きさに基づいて、その2ラインが上下分割位置(上下画面の境界)を跨ぐ2ラインであるか否かを判定条件に従って判定する。判定条件は以下の通りである。
(判定条件1)
判定条件1は、以下の境界条件を満たす2ラインの位置が画面の上下方向の中央付近の数ライン以内の領域であることという条件である。境界条件として、例えば以下の(1)〜(5)のいずれかの条件を採用できる。
(1)2ラインの映像信号の対応する列の画素の間の輝度差の和が、その映像信号のフレームにおいて最大又は5番目以内である。
(2)2ラインの映像信号の対応する列の画素の間の輝度差の絶対値の和が、その映像信号のフレームにおいて最大又は5番目以内である。
(3)2ラインの映像信号の対応する列の画素の間の色度差の和が、その映像信号のフレームにおいて最大又は5番目以内である。
(4)2ラインの映像信号の対応する列の画素の間の色度差の絶対値の和が、その映像信号のフレームにおいて最大又は5番目以内である。
(5)2ラインのうちの少なくとも1ラインが黒帯領域である。
なお、境界条件は、上記の(1)〜(4)の条件を任意に組み合わせた条件であってもよい。
なお、判定部106は、判定条件1で判定をする場合には、必ずしも映像信号のすべての隣り合う2ラインについて判定を行う必要はなく、上下方向の中央付近の隣り合う2ラインのみについて判定をしてもよい。また、隣り合う2ラインの左右方向の中央付近のみについて判定をしてもよく、さらに、上下方向の中央付近の隣り合う2ラインの左右方向の中央付近のみについて判定をしてもよい。
(判定条件2)
判定条件2は、画面の上下方向の中央付近の数ライン以内において、輝度変化量が所定の閾値を超えるという条件である。輝度変化量として、例えば以下の(1)〜(4)のいずれかの量を採用できる。
(1)2ラインの映像信号の対応する列の画素の間の輝度差の和
(2)2ラインの映像信号の対応する列の画素の間の輝度差の絶対値の和
(3)2ラインの映像信号の対応する列の画素の間の色度差の和
(4)2ラインの映像信号の対応する列の画素の間の色度差の絶対値の和
なお、上記の判定条件1及び判定条件2において、2ラインの映像信号の対応する列の画素の間の輝度差の和、2ラインの映像信号の対応する列の画素の間の輝度差の絶対値の和、2ラインの映像信号の対応する列の画素の間の色度差の和、及び2ラインの映像信号の対応する列の画素の間の色度差の絶対値の和は、当該2ラインの全列の画素についての和であってもよいし、例えば、数画素間隔で抽出された列の画素についての和であってもよい。
判定部106は、上記のような判定条件で、ライン読出制御部105によって2ラインの映像信号が読み出されるごとに、その2ラインの映像信号が、判定条件を満たすか否かを判断する。
図3は、判定部106による分割判定の処理の一例を示すフロー図である。判定部106は、入力垂直同期信号(Vsync)の立下りを待って(ステップS31)、立下りがあると(ステップS31にてYes)、判定条件を満たすか否かを判断する(ステップS32)。判定条件を満たさない場合は(ステップS32にてNo)、判定結果として「No」を出力して、フレームカウンタをリセットする(ステップS33)。
判定条件を満たす場合には(ステップS32にてYes)、フレームカウンタが60に達しているか否かを判断する(ステップS34)。フレームカウンタが60に達していない場合には、フレームカウンタをインクリメントして(ステップS35)、ステップS31に戻って再び入力垂直同期信号の立下りを待つ。ステップS34にてフレームカウンタが60に達している場合は(ステップS34にてYes)、判定結果として「Yes」を出力し、フレームカウンタを60で保持し(ステップS36)、ステップS31に戻って次の入力垂直同期信号の立下りを待つ。
図3のフロー図から明らかなように、判定部106は、60フレーム連続で判定条件を満たす場合に、入力映像は上下に分割可能であると判定し、判定結果として「Yes」、即ち入力映像が上下分割可能であることを示す判定結果を出力する。このように複数フレーム連続して条件を満たす場合にのみ「Yes」の判定結果を出力することで、本来は上下に分割すべきでない入力映像が偶然に判定条件を満たすことで、そのような入力映像が上下分割可能な映像であると誤って判定されることを防止している。
また、図3から明らかなように、「Yes」の判定結果を出力した後は、フレームカウンタが60に保持されるので、判定条件を満たし続ける限り、ステップS32でYesとなり、ステップS34でYesとなるので、「Yes」の判定結果が出力され続ける。入力映像上下分割できるものでなくなったときは、ステップS32にて判定条件を満たさなくなるので、ステップS33にてフレームカウンタがリセットされて、再び60フレーム連続して判定条件を満たすまで、「Yes」の判定結果は出力されない。なお、「Yes」と判定するためのフレーム数は、60に限らず、例えば30、120等であってもよい。
図4は、判定部106による分割判定の処理の他の例を示すフロー図である。判定部106は、入力垂直同期信号(Vsync)の立下りを待って(ステップS41)、立下りがあると(ステップS41にてYes)、判定条件を満たすか否かを判断する(ステップS42)。判定条件を満たさない場合は(ステップS42にてNo)、NOカウンタが60に達しているかを判断する(ステップS43)。NOカウンタが60に達していない場合は(ステップS43にてNo)、NOカウンタをインクリメントして(ステップS44)、ステップS41に戻って次の入力垂直同期信号の立下りを待つ。
ステップS43にてNOカウンタが60に達している場合には(ステップS43にてYes)、YESカウンタをリセットして(ステップS45)、判定結果として「No」を出力し、NOカウンタを60で保持し(ステップS46)、ステップS41に戻って次の入力垂直同期信号の立下りを待つ。
ステップS42にて、判定条件を満たす場合には(ステップS42にてYes)、NOカウンタをリセットして(ステップS47)、YESカウンタが60に達しているか否かを判断する(ステップS48)。YESカウンタが60に達していない場合は(ステップS48にてNo)、YESカウンタをインクリメントして(ステップS49)、ステップS41に戻って次の入力垂直同期信号の立下りを待つ。ステップS48にてYESカウンタが60に達している場合は(ステップS48にてYes)、判定結果として「Yes」を出力し、YESカウンタを60に保持し(ステップS50)、ステップS41に戻って次の入力垂直同期信号の立下りを待つ。
このように、図4の例では、所定のフレーム数(60フレーム)連続して判定条件を満たすときに「Yes」の判定結果を出力し、所定のフレーム数(60フレーム)連続して判定条件を満たさないときに「No」の判定結果を出力する。
なお、上記のフローにおいて、NOカウンタについては、ステップS42にて判定条件を満たすフレームがあれば、ステップS47で直ちにリセットするのに対して、YESカウンタについては、ステップS42にて判定条件を満たさないフレームがあった場合にも、NOカウンタが60に達するまではリセットをしない。
これは、「Yes」と判定した後の動作中に、偶発的に判定条件を満たさないフレームがあることもあり、そのようなフレームについては「No」の判定結果を出力すべきでないからである。このため、図3のフロー図のように、判定条件を満たさないフレームが複数フレーム(60フレーム)連続した場合にのみ(ステップS43でYes)、YESカウンタをリセットして(ステップS45)、判定結果として「No」を出力する(ステップS46)ようにしている。
判定部106は、上記の「Yes」の判定結果(図3の例の場合)、又は「Yes」若しくは「No」の判定結果(図4の例の場合)とともに、判定結果が「Yes」である場合には、分割位置の情報(具体的には上下分割するラインが何行目であるかを示す情報)も判定結果として制御部30に出力する。
図2に戻って、制御部30は、判定部106から入力される判定結果に基づいて、映像処理部20に制御信号を出力する。この制御信号には、分割表示を行うか否か(上下分割表示モードに設定するか否か)を示す情報とともに、分割表示を行う場合には、分割判定部10からの判定結果に含まれる分割位置の情報も含まれる。映像処理部20には、処理すべき入力映像と制御部30からの制御信号が入力され、映像処理部20は、制御信号に基づいて、入力映像を処理して出力映像をディスプレイに出力する。
図5は、制御部30における映像処理部20の制御処理の一例を示すフロー図である。図5の例は、判定部106における判定処理が、図3の例のように、判定結果として「Yes」のみを出力する場合の制御部30の処理を示している。
制御部30では、まず、判定部106からの判定結果が「Yes」であるか否かを判断する(ステップS51)。判定結果が「Yes」である場合は(ステップS51でYes)、ディスプレイに上下分割表示を行うか否かの選択画面を表示し(ステップS52)、ユーザの選択操作を待つ(ステップS53)。ユーザが上下分割表示を選択した場合には(ステップS53にてYes)、映像処理部20に制御信号を出力して、上下分割表示のための映像処理を行わせて(ステップS54)、ステップS51に戻る。
なお、上下分割表示をした後には、例えばモードの切替え等のユーザによる操作に応じて、上下で分割されていない通常の画面に戻る。このように、図5の例では、入力映像が上下分割可能な映像である場合には、まずユーザに上下分割表示をするか否かを選択させて、ユーザの操作に応じて上下分割表示をする。
図6は、制御部30における映像処理部20の制御処理の他の例を示すフロー図である。図6の例は、図5の例の変形例である。この例では、判定部106からの判定結果が「Yes」であるか否かを判断して(ステップS61)、判定結果が「Yes」である場合は(ステップS61でYes)、図5の例のようにユーザに上下分割表示するか否かを問うことなく、自動的に上下分割表示を行なう(ステップS64)。
この例によれば、ユーザは上下分割表示をするための指示操作をする必要がなくなる。また、図5の例と比較して、選択画面を表示させるための構成が不要となり、映像処理装置100の構成を簡単にできる。
図7は、制御部30における映像処理部20の制御処理の他の例を示すフロー図である。図7の例は、判定部106における判定処理が、図4の例のように、判定結果として「Yes」及び「No」を出力する場合の制御部30の処理を示している。
制御部30は、判定部106からの判定結果が「Yes」であるか(ステップS71)、「No」であるか(ステップS72)を判断し、いずれかの判定結果が得られるまで、これを繰り返す。
判定部106から判定結果が出力され、それが「Yes」であると(ステップS71でYes)、図5の例と同様に、ディスプレイに上下分割表示にするか否かの選択画面を表示し(ステップS74)、ユーザの選択操作を待ち(ステップS74)、ユーザが上下分割表示を選択した場合には(ステップS74にてYes)、映像処理部20に制御信号を出力して、上下分割表示のための映像処理を行わせる(ステップS75)。一方、判定部106から判定結果が出力され、それが「No」であると(ステップS72でYes)、上下分割表示を通常の表示に戻す(ステップS76)。
即ち、図5の例では、上下分割表示から通常の表示への切替えは、ユーザの操作に基づいて行なっていたが、図7の例では、判定部106から出力される「No」の判定結果に基づいて、制御部30が自動的に行なう。なお、上下分割表示からに通常の表示戻す際に、ステップS73及びステップS74と同様に、選択画面を表示してユーザの操作を待って表示の切替えを行うようにしてもよい。
図8は、制御部30における映像処理部20の制御処理の他の例を示すフロー図である。図8の例は、図7の例の変形例である。この例では、判定部106から「Yes」の判定結果が与えられると(ステップS81にてYes)、図7の例のようにユーザに上下分割表示するか否かを問うことなく、自動的に上下分割表示を行なう(ステップS85)。また、判定部106から「No」の判定結果が与えられると(ステップS82にてYes)、分割表示を通常の表示に戻す(ステップS85)。
図9は、制御部30における映像処理部20の制御処理の他の例を示すフロー図である。図9の例では、映像処理装置100は、表示モードとして、通常は、通常表示モードとフル画面表示モードを備えており、分割判定部10において、入力映像が上下分割可能な映像であると判定されると(判定部106が「Yes」の判定結果を出力すると)、表示モードに上下分割表示モードを追加する。
即ち、図9において、ステップS91にて「Yes」の判定結果が与えられると、ステップS93にて表示モードに上下分割表示モードを追加し、ステップS94にて、ユーザが表示モードとして上下分割表示モードを選択すると(ステップS94にてYes)、制御部30は、上下分割表示を行なうための制御信号を出力する。図9の例において、その他の処理は、図7の例と同様である。
次に、図1を参照して、映像処理部20の構成を説明する。以下では、入力映像として、図10(a)に示す映像が与えられ、これを上側の領域及び下側の領域に分割して、各領域の映像を縦横方向に圧縮伸張して、図10(b)に示すような、各領域の映像を左右に並べて全画面を用い表示される出力映像を生成する処理を例に説明する。図10(a)の入力映像のアスペクト比は、16:9である。
図10(a)において上側及び下側の領域の映像は、画面上下方向の中央で別れており、即ち上下分割位置は画面上下方向の中央である。従って、上側及び下側の領域の映像のアスペクト比は16:4.5である。図10(b)の出力映像のアスペクト比は、30:9である。図10(b)の左右分割位置の右側及び左側の領域の映像のアスペクト比は、それぞれ15:9である。
図1に示すように、映像処理部20は、第1メモリ201、第2メモリ202、メモリ書込制御部203、第1メモリ読出制御部204、第2メモリ読出制御部205、映像処理制御部206、圧縮伸張制御部207、及び画像合成部208を備えている。
メモリ書込制御部203は、入力映像を第1メモリ201及び第2メモリ202に書き込む。第1メモリ201及び第2メモリ202には、いずれも入力映像の全ラインの画素データが書き込まれる。映像処理制御部206には、判定部106で判定された画面の上下分割位置を示す制御信号が入力される。映像処理制御部206は、この制御信号に従って、第1メモリ読出制御部204及び第2メモリ読出制御部205を制御する。
第1メモリ読出制御部204は、映像処理制御部206による制御に従って、第1メモリ201から画像データを読み出して、圧縮伸張制御部207に出力する。第2メモリ読出制御部205は、映像処理制御部206による制御に従って、第2メモリ202から画像データを読み出して、圧縮伸張制御部207に出力する。
映像処理制御部206は、制御信号が示す画面の上下分割位置までのラインについて第1メモリ201から映像信号を読出し、制御信号が示す画面の上下分割位置以下のラインについて第2メモリ202から映像信号を読出すように、第1メモリ読出制御部204及び第2メモリ読出制御部205を制御する。このとき、第1メモリ読出制御部204が映像信号の1行目のラインを読み出すタイミングで、第2メモリ読出制御部205が画面の上下分割位置以下の1行目(上記の例では、241行目)のラインを読み出すようにする。
圧縮伸張制御部207は、第1メモリ読出制御部204によって読み出された信号を縦横方向に圧縮伸張して画像合成部208に出力する。本実施の形態では、入力映像を上下方向中央で上下に分割して、各領域の映像を縦横方向に圧縮伸張して、全画面を用いた左右並列画面に合成する。圧縮伸張制御部207は、上側及び下側の領域の映像がそれぞれ表示部13を左右方向中央で左右に分割したうちの1の分割部分の大きさになるように、上側及び下側の領域の映像の圧縮伸張を行なう。
図10の例では、アスペクト比が16:4.5である上側及び下側の領域の映像が、それぞれ、アスペクト比が15:9の映像となるように、上側及び下側の領域の映像のそれぞれについて圧縮伸張を行なう。圧縮伸張処理には、補間、間引きを含む公知の技術を応用できる。
画像合成部208は、圧縮伸張制御部207から出力されたデータを1ラインごとに合成して出力映像を生成する。このために、映像処理制御部206は、出力映像の中央より左側の列については、第1メモリ201から映像信号を読み出し、出力映像の中央より右側の列については、第2メモリ202から映像信号を読み出すように、第1メモリ制御部204及び第2メモリ制御部205を制御する。その結果、画像合成部208では、図10(b)に示すように、第1メモリ201から読み出されて圧縮伸張制御部207で圧縮伸張されて生成されたラインが画面中央より左側に配置され、第2メモリ202から読み出されて圧縮伸張制御部207で圧縮伸張されて生成されたラインが画面中央より右側に配置される。画像合成部208はこの映像を出力映像としてディスプレイに出力する。
以上のように、第1の実施の形態の映像処理装置100によれば、上下分割可能な入力映像を上下に分割したうえで、それぞれを圧縮伸張して左右に表示するので、ディスプレイのより広い領域を活用して見易い映像を表示できる。また、分割判定部10が、入力映像が上下分割可能であるか否かを判定するので、映像処理装置100は、その判定結果に基づいて上下分割表示モードで入力映像を処理して表示できる。
なお、上記の実施の形態では、判定部106は、判定結果が「Yes」である場合には上下分割表示モードで表示する旨の判定結果とともに分割位置の情報を出力したが、上下に分割可能な映像について、上側の領域の映像と下側の領域の映像とが必ず同じ大きさであるということが予め分かっている場合には、判定部106は、判定結果のみを出力し、分割位置は出力する必要がない。
また、上記の実施の形態では、分割判定部10は、上下の2ラインを比較することで、映像信号が上下分割可能であるか否かを判断したが、分割判定部10は、例えば数ライン分のデータを確保し、ハイパスフィルタ処理をすることで上下分割位置を検出して、映像信号が上下分割可能であるか否かを判断してよく、また、ハイパスフィルタ処理の後にエッジを抽出してエッジ量に基づいて判断をしてもよい。
さらに、上記の実施の形態では、分割判定部10は、3つのラインメモリを用いて上下の2ラインを比較することで、映像信号が上下分割可能であるか否かを判断したが、ラインメモリが少なくとも1つあれば上下の2ラインを比較することができる。逆に、分割判定部10がハイパスフィルタ処理により上下分割位置を検出する場合には、4つ以上のラインメモリを備えていてもよい。
(第2の実施の形態)
図11は、本発明の第2の実施の形態の映像処理装置の構成を示すブロック図である。図11において、第1の実施の形態の映像処理装置に対応する構成については、同一の符号を付してある。図11に示すように、本実施の形態の映像処理装置200は、第1の実施の形態の映像処理装置100と同様に、分割判定部10、映像処理部20、及び制御部30を備えている。本実施の形態の分割判定部10は、タッチパネル107、タッチ領域検出部108、及び判定部106を備えている。
図12(a)は、上下分割表示モードで分割表示を行なうためにタッチパネル107に対するユーザの操作を示す図であり、図12(b)は、上下分割表示モードで表示された画面を示す図である。タッチパネル107はディスプレイの上に設けられ、人の指等による接触を検知して、検知信号を出力する。タッチ領域検出部108は、タッチパネル107から検知信号を入力して、タッチされた領域を検出して、判定部106に出力する。
判定部106は、タッチ領域検出部108からタッチされた領域が入力されると、それに基づいて上下分割表示モードで表示するか否かを判定し、判定結果を制御部30に出力する。判定部106は、上下分割表示モードで表示する旨の判定結果を出力する際には、判定結果として分割位置も出力する。
判定部106は、タッチ領域検出部108から入力したタッチ領域が、画面の上下方向中央部であって、かつ、表示された映像の上に横方向の線を引く(指でタッチしてドラッグする)操作である場合(即ち、図12(a)に示すような状況)に、上下分割表示モードで表示する旨の判定結果を出力する。このとき、分割位置としては、タッチ領域検出部108にて検出されたタッチ領域の高さ方向を平均化した高さとすればよい。
また、上下に分割可能な映像について、上側の領域の映像と下側の領域の映像とが必ず同じ大きさであるということが予め分かっている場合には、判定部106は、タッチ領域検出部108から入力したタッチ領域が上下方向の中央付近にあるときに、自動的に上下方向の真ん中(縦方向に480画素ある場合には240行目と241行目の間)を分割位置としてもよい。このように分割位置が固定されている場合には、判定部106は、上下分割表示モードで表示する旨の判定結果のみを出力し、分割位置は出力する必要がない。
制御部30は、判定部106から判定結果に基づいて、上下分割表示モードで表示を行なうための制御信号を映像処理部20に出力する。このとき、図6の例によって、制御信号を出力する。即ち、判定部106から上下分割表示モードで表示する旨の判定結果を得た場合には、直ちに、分割位置とともに、上下分割表示モードで表示する旨の制御信号を映像処理部20に出力する。このとき、分割判定部10では、上下分割表示モードで表示するという判定をユーザの操作に基づいて行なっているので、図5、7、9の例のように、再度ユーザに分割表示を行うための操作をさせる必要はない。映像処理部20の構成及び動作は第1の実施の形態と同様である。
以上のように、第2の実施の形態の映像処理装置200によれば、ユーザは、画面の分割位置に線を引くという操作により、その分割位置で映像が上下に分割されて左右に並べられるので、ユーザは、直感的な操作により、上下分割表示モードの指示を行なうことができる。
(第3の実施の形態)
図13は、本発明の第3の実施の形態の映像処理装置の構成を示すブロック図である。本実施の形態の映像処理装置300は、第1の実施の形態の映像処理装置100に対して、機能を追加したものである。なお、この機能は、第2の実施の形態の映像処理装置200に対しても追加することができる。本実施の形態の映像処理装置300は、特に、ディスプレイにゲームの映像を表示する場合に好適に用いられる。
本実施の形態の映像処理装置300は、第1の実施の形態の映像処理装置100に対して、コントローラ位置検知部109が追加されている。コントローラ位置検知部109は、ゲーム用のコントローラが2つある場合に、それぞれのコントローラの位置を検知して、検知信号を判定部106に出力する。判定部106は、2つのコントローラの位置に基づいて、いずれのコントローラが右にあり、いずれのコントローラが左にあるかを示す判定結果を制御部30に出力する。
制御部30は、この判定結果を制御信号として映像処理部20に出力する。映像処理部20は、2つのコントローラの左右の関係を示す制御信号に基づいて、第1メモリ読出制御部204及び第2メモリ読出制御部205による読出し位置を変更する。映像処理制御部206による制御によって、第1メモリ読出制御部204及び第2メモリ読出制御部205の一方が、入力映像の上側の領域の映像の先頭ラインから読出しを行なっており、他方が下側の領域の映像の先頭ラインから読出しを行っている場合において、2つのコントローラの左右の関係が逆転したときには、映像処理制御部206は、第1メモリ読出制御部204及び第2メモリ読出制御部205の一方が、入力映像の下側の領域の映像の先頭ラインから読出しを行い、他方が上側の領域の映像の先頭ラインから読出しを行うように、第1メモリ読出制御部204及び第2メモリ読出制御部205を制御する。
以上のように、第3の実施の形態の映像処理装置300によれば、入力映像が2人のプレーヤによってプレーされるゲームの映像であり、かつ各プレーヤのプレー状況を示す映像が上下に並べられており、この入力映像を上下に分割して各領域の映像を圧縮伸張した上で左右に並べて表示する場合に、プレーヤの実際の位置に応じて上下いずれの領域の映像を左右のいずれに配置するかを決定するので、2人のプレーヤの臨場感が増す映像を表示できる。
(第4の実施の形態)
図15は、第4の実施の形態の映像処理装置の構成を示すブロック図である。本実施の形態の映像処理装置400は、車両の後部座席の乗員が見るためのディスプレイに好適に適用される。
本実施の形態の映像処理装置400は、分割判定部10、映像処理部20、及び制御部30を備えている。本実施の形態の分割判定部10は、着座センサ110と判定部106を備えている。着座センサ110は、ディスプレイの前であって、ディスプレイの水平方向に平行な方向に並んだ2人分の座席(例えば、車両の後部座席)に備えられる。着座センサ110は、人物の着座の有無を検知して、検知結果を判定部106に出力する。
判定部106は、着座センサ110の検知結果が、2人分の座席の両方に人物が座っていることを示している場合には、入力映像を上下分割可能である旨の判定結果を出力する。制御部30は、判定部106から入力映像を上下分割可能である旨の判定結果を受けると、図9の例におけるステップS93と同様にして、表示モードとして上下分割表示モードを追加する。そして、ユーザの操作により上下分割表示モードが指示されると、制御部30は、映像処理部20に上下分割表示モードで表示するよう制御信号を出力する。このとき、分割位置は上下方向の中央とする。
以上のように、第4の実施の形態の映像処理装置400によれば、ディスプレイの前に2人の人物(ユーザ)がいる場合には、それに合わせて、表示モードに上下分割表示モードを追加されるので、ユーザは表示モードとして上下分割表示モードを選択できるようになる。
(第5の実施の形態)
図16は、本発明の第5の実施の形態の映像処理装置の構成を示すブロック図である。本実施の形態の映像処理装置500は、分割判定部10と、映像処理部20と、制御部30とを備えている。分割判定部10は、顔認識部111と判定部106とを備えている。
顔認識部111には入力映像が入力される。顔認識部111は、入力映像において顔の領域を認識して、判定部106に出力する。この顔認識には、テンプレートマッチングや特徴点マッチング等の任意の公知の技術を採用することができる。顔認識部111は、顔を含む矩形の顔領域を特定し、その結果を判定部106に出力する。このとき、顔領域のアスペクト比は、ディスプレイを左右に分割した場合のアスペクト比とする。即ち、ディスプレイのアスペクト比が横:縦=a:bであるとすると、顔領域のアスペクト比は、横:縦=a/2:bとする。即ち、顔と判定される領域のアスペクト比は限定できないため、顔認識部111は、顔とその周辺の画像を含めた画像のアスペクト比が横:縦=a/2:bとなるように顔領域を特定する。
判定部106は、顔認識部111から顔領域が入力されると、映像の一部領域である顔領域を拡大した分割表示をする顔拡大表示モードで表示可能である旨の判定結果を制御部30に出力する。この判定結果には、顔領域の情報も含まれる。制御部30は、図5ないし9の例に従って、映像処理部20に顔拡大表示モードで表示するための制御信号を出力する。この制御信号にも顔領域の情報が含まれる。なお、顔拡大表示モードは、本発明の分割表示モードの一態様である。
図17(a)は、人物の顔を含む入力映像を示す図であり、図17(b)は、図17(a)の入力映像を顔拡大表示モードで表示した画面を示す図である。映像処理部20は、図1に示す構成を有している。第1メモリ201及び第2メモリ202のいずれにも、図17(a)に示す入力映像が保存される。
映像処理制御部206は、第1メモリ201から入力映像の全体を読み出すよう第1メモリ読出制御部204を制御するとともに、第2メモリ202から顔領域のみを読み出すように第2メモリ読出制御部205を制御する。圧縮伸張制御部207は、第1メモリ読出制御部204によって読み出された入力映像を、図17(b)に示すように、ディスプレイの左半分に収まるように圧縮伸張し、第2メモリ読出制御部205によって読み出された顔領域を、図17(b)に示すように、ディスプレイの右半分に収まるように圧縮伸張する。画像合成部208は、圧縮伸張制御部207にて圧縮伸張された両映像を合成して、出力映像として出力する。
以上のように、第5の実施の形態の映像処理装置500によれば、入力映像から顔領域を検出して、顔領域を拡大して入力映像の全体とともに表示できるので、ディスプレイ中のより広い領域を活用して見易い映像を表示できる。
(第5の実施の形態の第1の変形例)
図18は、第5実施の形態の第1の変形例を説明する図である。上記で説明した第5の実施の形態では、顔認識部111が画像認識処理によって入力映像から顔領域を検出したが、本変形例では、ディスプレイがタッチパネルになっており、ユーザは、図18(a)に示すように、分割して拡大表示したい矩形領域を指で囲んで指示することができる。顔拡大表示モードの画面では、図18(b)に示すように、入力映像の全領域が左側に表示されるとともに、ユーザによって指定された矩形領域が右側に表示される。
本変形例は、第2の実施の形態と同様の構成によって実現することができる。なお、ユーザが指定した矩形領域がそのままディスプレイの半分の大きさ圧縮伸張されてよい。この場合には、ユーザが指定した領域のアスペクト比がディスプレイの右半分のアスペクト比に合わないときは、ユーザによって指定された領域のアスペクト比を保ったまま圧縮伸張を行なって、左右又は上下に黒帯をつけて表示してよい。また、ユーザが指定した矩形領域に基づいて、ユーザが指定したその矩形領域を含み、かつアスペクト比がディスプレイの半分(横:縦=ディスプレイの幅の半分:ディスプレイの高さ)となる最小の矩形領域を拡大表示する矩形領域としてもよい。上記のいずれの場合にも、拡大表示される右側の映像部分は、圧縮伸張処理によっても入力映像に対してアスペクト比が変更されないので、縦又は横につぶれた映像となることを避けることができる。
なお、上記の第5の実施の形態では、顔領域がフレームごとに自動で検出されるので、顔領域の位置や大きさもフレームごとに変化する。これに対して、本変形例では、ユーザが拡大すべき矩形領域を指定するので、この矩形領域を固定した場合には、指定した際にはその矩形領域に人物の顔があったとしても、映像が変化するにつれて矩形領域に顔が映らなくなったり、矩形領域からはみ出したりすることがある。従って、本変形例は、静止画を鑑賞するのに好適に用いられる。但し、ユーザが指定する矩形領域は、人物の顔の領域に限られないので、具体的な映像の内容によって、矩形領域を固定した上で映像を分割表示しても有効な場合があるので、本変形例は、必ずしも静止画鑑賞のために限られない。
(第5の実施の形態の第2の変形例)
図19は、第5実施の形態の第2の変形例を説明する図である。この変形例は、上記の第5の実施の形態及びその第1の変形例に適用することができる。本変形例では、図19(a)に示すように、入力映像に複数の顔(図19(a)の例では、男性の顔と女性の顔)がある場合に有効である。本変形例は、入力映像において、複数の顔領域が検出又は指定されたときの表示方法に関する。
拡大すべき領域が複数ある場合には、図19(b)及び(c)に示すように、左側に入力映像全体を表示するとともに、右側に拡大すべき複数の領域を順に切り替えながら表示する。このために、映像処理部20の映像処理制御部206は、第1メモリ読出制御部204に対しては、第1メモリ201から入力映像全体を読み出すように制御するとともに、第2メモリ読出制御部205に対しては、第2メモリ202から読み出す領域を一定のフレーム数(例えば、180フレーム)ごとに変更するように制御する。この結果、図18(b)のように男性の顔を拡大表示する映像と、図18(c)のように女性の顔を拡大表示する映像とが180フレームごとに切り替わる。
なお、上記のように拡大表示する映像が定期的に切り替わる際に、入力映像全体を表示している側において、拡大表示している映像に対応する領域を枠で囲うなどしてマーカを付して、拡大表示されている映像が全体映像のどの部分に位置するかを示してもよい。また、拡大表示する領域として検出又は指定された全ての領域にマーカを付して、実際に拡大表示されている映像に対応する領域のマーカを他のマーカと区別して(例えば異なる色にする等)表示してもよい。
さらに、上記では、複数の顔領域が検出又は指定された場合に、自動で複数の領域を順に切り替えながら表示する(スライドショー)ようにしたが、拡大表示する領域をユーザの操作に従って切替えてもよい。この場合にも、拡大表示している映像に対応する領域を枠で囲うなどしてマーカを付してもよいし、拡大表示する領域として検出又は指定された全ての領域にマーカを付して、実際に拡大表示されている映像に対応する領域のマーカを他のマーカと区別して(例えば異なる色にする等)表示してもよい。特に、後者の場合には、ユーザは、複数の顔領域にそれぞれマーカが付加されている入力画像全体を確認しながら、どの顔領域を拡大表示するかを選択できる。
本変形例によれば、拡大表示すべき領域が入力映像中に複数ある場合にも、拡大された複数の領域を表示することができる。
なお、上記の実施の形態では、映像処理部20は第1及び第2の2つのメモリを備え、上下分割表示モードでは、左右に2分割された映像を表示したが、本発明はこれに限られない。例えば、映像処理部20は、3つのメモリを備え、上下分割表示モードでは、左右方向に3分割した映像を表示してもよい。
また、上記の実施の形態では、出力映像において、左側の映像と右側の映像との境界が出力映像の行方向の中央であったが、左側の映像と右側の映像との境界は任意に設定できる。例えば、上記の第5の実施の形態において、16:9のアスペクト比を有する入力映像がそのアスペクト比を保ったまま出力映像の左側に表示され、右側の余った領域に顔領域の映像を表示するように、出力映像を生成してもよい。
また、上記の実施の形態では、出力映像の大きさがディスプレイの大きさに合致しており、出力映像がディスプレイに表示される際にはディスプレイの全領域を用いて表示されたが、出力映像を表示する際に、ディスプレイの一部に黒帯部分が生じてもよい。
以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能であり、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。
以上のように、本発明は、横長のディスプレイのより広い領域を活用して見易い映像を表示できるという効果を有し、入力映像を処理する映像処理装置等として有用である。
100、200、300、400、500 映像処理装置
10 分割判定部
101 第1ラインメモリ
102 第2ラインメモリ
103 第3ラインメモリ
104 ラインメモリ書込制御部
105 ラインメモリ読出制御部
106 判定部
107 タッチパネル
108 タッチ領域検出部
109 コントローラ位置検知部
110 着座センサ
111 顔認識部
20 映像処理部
201 第1メモリ
202 第2メモリ
203 メモリ書込制御部
204 第1メモリ読出制御部
205 第2メモリ読出制御部
206 映像処理制御部
207 圧縮伸張制御部
208 画像合成部
30 制御部

Claims (11)

  1. 入力映像を処理する映像処理部を備え、
    前記映像処理部は、
    前記入力映像を保存する第1メモリと、
    前記入力映像を保存する第2メモリと、
    前記第1メモリに保存された前記入力映像の第1領域を圧縮伸張するとともに、前記第2メモリに保存された前記入力映像の第2領域を圧縮伸張する圧縮伸張制御部と、
    前記圧縮伸張制御部にて圧縮伸張された前記第1領域の映像と前記圧縮伸張制御部にて圧縮伸張された前記第2領域の映像とを左右に並べた出力映像を生成する画像合成部と、
    を備えたことを特徴とする映像処理装置。
  2. 前記第1領域は前記入力映像の上側領域であり、前記第2領域は前記入力映像の下側領域であることを特徴とする請求項1に記載の映像処理装置。
  3. 前記第1領域は前記入力映像の全領域であり、前記第2領域は前記全領域より小さい前記入力映像中の矩形領域であることを特徴とする請求項1に記載の映像処理装置。
  4. 前記画像合成部にて生成された前記出力映像を表示する分割表示モードでの表示が可能であるか否かを判断して、前記映像処理部を制御する分割制御部を更に備えたことを特徴とする請求項1に記載の映像処理装置。
  5. 前記分割制御部は、前記入力映像が上下で分割された映像であるか否かを判断し、前記入力映像が上下で分割された映像であるときは、上側の領域を前記第1領域とし、下側の領域を前記第2領域として、前記分割表示モードで表示するための出力映像を生成するように、前記映像処理部を制御する請求項4に記載の映像処理装置。
  6. 前記分割制御部は、前記入力映像が上下で分割された映像であるか否かを判断し、前記入力映像が上下で分割された映像であるときは、表示モードとして、前記画像合成部にて生成された前記出力映像を表示する分割表示モードを追加し、ユーザによって前記分割表示モードが選択されたときに、上側の領域を前記第1領域とし、下側の領域を前記第2領域として、前記分割表示モードで表示するための出力映像を生成するように、前記映像処理部を制御する請求項4に記載の映像処理装置。
  7. 前記分割制御部は、前記入力映像を上下に分割するための分割位置の指定を含むユーザの指示に応じて、前記分割位置の上側の領域を前記第1領域とし、前記分割位置の下側の領域を前記第2領域として、前記分割表示モードで表示するための出力映像を生成するように、前記映像処理部を制御する請求項4に記載の映像処理装置。
  8. 前記分割制御部は、前記入力映像から顔領域を検出し、前記入力映像から顔領域が検出されたときは、前記入力映像の全領域を前記第1領域とし、前記顔領域を前記第2領域とし、前記分割表示モードで表示するための出力映像を生成するように、前記映像処理部を制御する請求項4に記載の映像処理装置。
  9. 前記分割制御部は、前記入力映像から顔領域を検出し、前記入力映像から顔領域が検出されたときは、表示モードとして、前記画像合成部にて生成された前記出力映像を表示する分割表示モードを追加し、ユーザによって前記分割表示モードが選択されたときに、前記入力映像の全領域を前記第1領域とし、前記顔領域を前記第2領域とし、前記分割表示モードで表示するための出力映像を生成するように、前記映像処理部を制御する請求項4に記載の映像処理装置。
  10. 前記分割制御部は、前記入力映像中の一部領域の指定を含むユーザの指示に応じて、前記入力映像の全領域を前記第1領域とし、前記一部領域を前記第2領域とし、前記分割表示モードで表示するための出力映像を生成するように、前記映像処理部を制御する請求項4に記載の映像処理装置。
  11. 請求項1ないし10のいずれか一項に記載の映像処理装置と、
    前記出力映像を表示するディスプレイと、
    を備えたことを特徴とする映像表示システム。
JP2013503350A 2011-03-10 2012-02-08 映像処理装置及びそれを含む映像表示システム Expired - Fee Related JP6028936B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011052584 2011-03-10
JP2011052584 2011-03-10
PCT/JP2012/000820 WO2012120781A1 (ja) 2011-03-10 2012-02-08 映像処理装置及びそれを含む映像表示システム

Publications (2)

Publication Number Publication Date
JPWO2012120781A1 true JPWO2012120781A1 (ja) 2014-07-07
JP6028936B2 JP6028936B2 (ja) 2016-11-24

Family

ID=46797758

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013503350A Expired - Fee Related JP6028936B2 (ja) 2011-03-10 2012-02-08 映像処理装置及びそれを含む映像表示システム

Country Status (5)

Country Link
US (1) US8866968B2 (ja)
EP (1) EP2685713A4 (ja)
JP (1) JP6028936B2 (ja)
CN (1) CN103348671B (ja)
WO (1) WO2012120781A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102396036B1 (ko) 2015-05-18 2022-05-10 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN110572411A (zh) * 2019-09-18 2019-12-13 北京云中融信网络科技有限公司 一种用于测试视频传输质量的方法和装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0514866A (ja) * 1991-06-28 1993-01-22 Sony Corp 映像信号伝送方法
US5347318A (en) * 1992-06-16 1994-09-13 Canon Kabushiki Kaisha Apparatus for processing video signals having different aspect ratios
JPH07184138A (ja) * 1993-12-24 1995-07-21 Toshiba Corp 2画面映像処理回路
KR100260126B1 (ko) * 1997-06-13 2000-07-01 구자홍 시청자스크린디스플레이기능을구비한티브이의영상데이터저장/표시장치및그방법
JP2000197074A (ja) * 1998-12-25 2000-07-14 Canon Inc 立体映像再生装置及び出力装置及びその制御方法及び記憶媒体
JP3559758B2 (ja) 2000-08-23 2004-09-02 株式会社日立製作所 映像圧縮拡大装置
KR20020059677A (ko) * 2000-09-05 2002-07-13 요트.게.아. 롤페즈 Tv 신호 수신기
WO2003015407A1 (en) * 2001-08-07 2003-02-20 Polycom, Inc. System and method for high resolution videoconferencing
JP4377840B2 (ja) * 2005-03-31 2009-12-02 イーストマン コダック カンパニー デジタルカメラ
US9832417B2 (en) * 2005-12-22 2017-11-28 Thomson Licensing Media registration and authorization on a media player
JP2007207328A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
JP2007256541A (ja) * 2006-03-22 2007-10-04 Matsushita Electric Ind Co Ltd 表示装置
JP2007295048A (ja) * 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 表示システム、映像処理装置および映像処理方法
JP2007336515A (ja) * 2006-05-15 2007-12-27 Olympus Imaging Corp カメラ、画像出力装置、画像出力方法、画像記録方法、プログラム及び記録媒体
CN101076083A (zh) * 2006-05-15 2007-11-21 奥林巴斯映像株式会社 照相机、图像输出装置、图像输出方法、图像记录方法
US20070291153A1 (en) * 2006-06-19 2007-12-20 John Araki Method and apparatus for automatic display of pictures in a digital picture frame
KR100820678B1 (ko) * 2006-09-28 2008-04-11 엘지전자 주식회사 디지털 비디오 레코더에서의 데이터 전송장치 및 방법
JP4732387B2 (ja) * 2007-03-22 2011-07-27 富士フイルム株式会社 表示装置及びその表示制御方法、並びに撮像装置
WO2008126227A1 (ja) * 2007-03-29 2008-10-23 Fujitsu Microelectronics Limited 表示制御装置、情報処理装置、および表示制御プログラム
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
US8462841B2 (en) * 2007-12-31 2013-06-11 Netlogic Microsystems, Inc. System, method and device to encode and decode video data having multiple video data formats
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
JP4691193B1 (ja) * 2010-04-13 2011-06-01 株式会社東芝 映像表示装置および映像処理方法

Also Published As

Publication number Publication date
EP2685713A4 (en) 2014-07-09
JP6028936B2 (ja) 2016-11-24
US20130335628A1 (en) 2013-12-19
CN103348671A (zh) 2013-10-09
WO2012120781A1 (ja) 2012-09-13
CN103348671B (zh) 2016-10-26
EP2685713A1 (en) 2014-01-15
US8866968B2 (en) 2014-10-21

Similar Documents

Publication Publication Date Title
US9497405B2 (en) Display device for displaying videos side by side without overlapping each other and method for the same
US7903173B2 (en) Moving image display device and method for moving image display
JP6119570B2 (ja) 表示装置、表示方法およびプログラム
US20130328918A1 (en) Image processing device, image processing method, and program
JPWO2008015978A1 (ja) 映像表示装置および映像表示方法
JP5787644B2 (ja) 画像処理装置および画像処理装置の制御方法
JP6742816B2 (ja) 電子機器、表示装置及び表示制御方法
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
JP6028936B2 (ja) 映像処理装置及びそれを含む映像表示システム
CN103313069A (zh) 图像合成装置
CN113010075B (zh) 多信号源窗口交互方法、系统、可读存储介质和电子设备
JP2013101363A (ja) スクリーンセーバ生成装置、および、スクリーンセーバ生成方法
US10296197B2 (en) Information processing apparatus, information processing method, and program
US8749706B2 (en) Image processing apparatus and recording medium storing image processing program
WO2013108295A1 (ja) 映像信号処理装置及び映像信号処理方法
US8289373B2 (en) Image processing method for multi-depth-of-field 3D-display
JP2007033936A (ja) 広告出力方法および広告出力装置
CN106550281A (zh) 一种阴影字幕的生成方法及装置
JP2005084245A (ja) 表示装置
JP2010085599A (ja) スクリーンセーバ生成装置、および、スクリーンセーバ生成方法
JP2022028978A (ja) 映像処理装置、表示装置、および映像処理方法
JP5894055B2 (ja) 映像データ制御装置、映像データ制御方法及び映像データ制御プログラム
JP2008164882A (ja) 画像処理装置および画像処理方法
JP2009065432A (ja) 画像再生装置
JP5055220B2 (ja) 画像表示装置、画像表示方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141006

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20141015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141117

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150224

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161004

R150 Certificate of patent or registration of utility model

Ref document number: 6028936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees