KR20120040611A - 영상 처리 방법 및 이를 적용한 영상 촬영 장치 - Google Patents

영상 처리 방법 및 이를 적용한 영상 촬영 장치 Download PDF

Info

Publication number
KR20120040611A
KR20120040611A KR1020100102127A KR20100102127A KR20120040611A KR 20120040611 A KR20120040611 A KR 20120040611A KR 1020100102127 A KR1020100102127 A KR 1020100102127A KR 20100102127 A KR20100102127 A KR 20100102127A KR 20120040611 A KR20120040611 A KR 20120040611A
Authority
KR
South Korea
Prior art keywords
image
main
sub
lens
face
Prior art date
Application number
KR1020100102127A
Other languages
English (en)
Other versions
KR101680684B1 (ko
Inventor
유영재
최송하
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100102127A priority Critical patent/KR101680684B1/ko
Priority to US13/267,949 priority patent/US20120092529A1/en
Priority to GB1117905.8A priority patent/GB2485036A/en
Priority to CN2011103180854A priority patent/CN102572261A/zh
Publication of KR20120040611A publication Critical patent/KR20120040611A/ko
Application granted granted Critical
Publication of KR101680684B1 publication Critical patent/KR101680684B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)

Abstract

영상 처리 방법 및 이를 적용한 영상 촬영 장치가 제공된다. 본 영상 처리 방법은, 제1 렌즈 및 제2 렌즈로부터 주 영상과 부 영상을 각각 획득하고, 주 영상에서 메인 오브젝트를 검출하며, 메인 오브젝트와 부 영상이 겹치지 않도록 상기 부 영상을 주 영상의 제1 영역으로 이동하여 주 영상에 부 영상을 함께 표시한다. 이에 의해, 부 영상과 주 영상의 메인 오브젝트가 겹치지 않게 되므로, 사용자는 디스플레이에 표시되는 부 영상의 방해 없이 주 영상을 확인할 수 있게 된다.

Description

영상 처리 방법 및 이를 적용한 영상 촬영 장치{Method for processing Image and Image photographing apparatus}
본 발명은 영상 처리 방법 및 이를 적용한 영상 촬영 장치에 관한 것으로, 더욱 상세하게는 복수의 렌즈를 통해 촬영한 주 영상 및 부 영상을 처리하는 영상 처리 방법 및 이를 적용한 영상 촬영 장치에 관한 것이다.
현재 이용되는 대부분의 영상 촬영 장치(예를 들어, 디지털 카메라, 캠코더 등)는 촬영하고 있는 피사체를 디스플레이하는 뷰 파인더를 포함하고 있다. 이러한 뷰 파인더를 통해 촬영자는 영상 촬영 장치를 통해 촬영되는 영상을 확인한다.
특히, 복수 개의 렌즈를 구비하는 영상 촬영 장치의 경우, 하나의 렌즈를 통해 촬영된 주 영상을 뷰 파인더에 디스플레이하고, 다른 렌즈를 통해 촬영된 부 영상을 주 영상에 PIP(Picture in Picture) 영상으로 합성하여 뷰 파인더에 디스플레이한다.
주 영상과 PIP 영상으로 합성된 부 영상을 동시에 디스플레이함으로써, 촬영자는 주 영상과 부 영상 중 하나의 영상을 확인하여 촬영할 수 있게 된다.
그러나, 주 영상과 부 영상이 동시에 디스플레이됨으로써, 사용자가 다양한 영상을 동시에 확인할 수 있다는 장점이 있는 반면, PIP 형식으로 디스플레이되는 부 영상이 주 영상의 메인 오브젝트를 가릴 경우, 주 영상을 제대로 확인할 수 없는 문제가 발생한다.
따라서, 부 영상이 주 영상의 메인 오브젝트를 가릴 경우, 사용자가 주 영상을 제대로 확인할 수 있는 주 영상과 부 영상의 처리방법의 모색이 요청된다.
또한, 사용자는 주 영상과 부 영상 중 하나의 영상을 확인하여 촬영하는 경우도 있으나, 촬영자는 주 영상과 부 영상을 통해 새로운 영상을 획득하길 원하는 경우도 있다.
따라서, 주 영상과 부 영상을 통해 새로운 영상을 사용자에게 제공할 수 있는 영상의 처리방법의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 주 영상의 메인 오브젝트와 부 영상이 겹치는 경우, 주 영상의 메인 오브젝트와 부 영상이 겹치지 않도록 부 영상을 주 영상의 메인 오브젝트가 아닌 다른 영역으로 이동하는 영상 처리 방법 및 이를 적용한 영상 촬영 장치를 제공함에 있다.
본 발명의 또 다른 목적은, 부 영상에서 오브젝트를 추출하고, 추출된 오브젝트를 주 영상의 특정 영역에 합성하는 영상 처리 방법 및 이를 적용한 영상 촬영 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 제1 렌즈와 제2 렌즈를 구비하는 영상 촬영 장치의 영상 처리 방법은 상기 제1 렌즈 및 상기 제2 렌즈로부터 주 영상과 부 영상을 각각 획득하는 단계; 상기 주 영상에서 메인 오브젝트를 검출하는 단계; 상기 메인 오브젝트와 상기 부 영상이 겹치지 않도록 상기 부 영상을 상기 주 영상의 제1 영역으로 이동하는 단계;및 상기 주 영상에 상기 부 영상을 함께 표시하는 단계;를 포함한다.
그리고, 상기 검출하는 단계는, 상기 제1 렌즈로부터 획득된 주 영상에 포함된 피촬영자의 얼굴을 인식하는 단계;및 상기 인식된 얼굴을 포함하는 특정 영역을 상기 메인 오브젝트로 검출하는 단계;를 포함할 수 있다.
또한, 상기 검출하는 단계는, 상기 제1 렌즈로부터 획득된 주 영상의 초점을 인식하는 단계;및 상기 초점이 맞추어진 특정 영역을 상기 메인 오브젝트로 검출하는 단계;를 포함할 수 있다.
그리고, 상기 부 영상은, PIP(Picture-in-Picture) 영상일 수 있다.
또한, 상기 제1 렌즈는 상기 영상 촬영 장치의 전면에 배치되고, 상기 제2 렌즈는 상기 영상 촬영 장치의 후면에 배치될 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 촬영 장치는, 주 영상을 촬영하는 제1 렌즈부; 부 영상을 촬영하는 제2 렌즈부; 상기 주 영상에서 메인 오브젝트를 검출하는 검출부; 상기 메인 오브젝트와 상기 부 영상이 겹치지 않도록 상기 부 영상을 상기 주 영상의 제1 영역으로 이동하는 영상 변환부; 및 상기 주 영상에 상기 부 영상을 함께 표시하는 영상 표시부;를 포함한다.
그리고, 상기 검출부는, 상기 제1 렌즈로부터 획득된 주 영상에 포함된 피촬영자의 얼굴을 인식하는 얼굴 인식부;를 포함하고, 상기 인식된 얼굴을 포함하는 특정 영역을 상기 메인 오브젝트로 검출할 수 있다.
또한, 상기 검출부는, 상기 제1 렌즈로부터 획득된 주 영상의 초점을 인식하는 초점 인식부;를 포함하고, 상기 초점이 맞추어진 특정 영역을 상기 메인 오브젝트로 검출할 수 있다.
그리고, 상기 부 영상은, PIP(Picture-in-Picture) 영상일 수 있다.
또한, 상기 제1 렌즈는 상기 영상 촬영 장치의 전면에 배치되고, 상기 제2 렌즈는 상기 영상 촬영 장치의 후면에 배치될 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 제1 렌즈와 제2 렌즈를 구비하는 영상 촬영 장치의 영상 처리 방법은, 상기 제1 렌즈 및 상기 제2 렌즈로부터 주 영상 및 부 영상을 각각 획득하는 단계; 상기 부 영상에 포함된 오브젝트를 검출하는 단계; 상기 부 영상의 오브젝트를 상기 주 영상의 제1 영역으로 이동시켜, 상기 주 영사의 제1 영역에 상기 부 영상의 오브젝트를 합성하는 단계;및 상기 부 영상의 오브젝트가 합성된 주 영상을 표시하는 단계;를 포함한다.
그리고, 상기 검출하는 단계는, 상기 제2 렌즈로부터 획득된 부 영상에 포함된 촬영자의 얼굴을 인식하는 단계; 및 상기 인식된 얼굴을 포함하는 특정 영역을 상기 오브젝트로 검출하는 단계;를 포함할 수 있다.
또한, 상기 제1 영역은, 상기 제1 렌즈로부터 획득된 주 영상에서 인식된 피촬영자의 얼굴을 포함하는 특정 영역이며, 상기 합성하는 단계는, 상기 피촬영자의 얼굴에 상기 촬영자의 얼굴을 합성할 수 있다.
그리고, 상기 부 영상은, 배경이 단일 색상이고, 상기 합성하는 단계는, 상기 주 영상의 제1 영역에 상기 오브젝트를 크로마키 합성할 수 있다.
또한, 상기 부 영상은, PIP(Picture-in-Picture) 영상일 수 있다.
그리고, 상기 제2 렌즈는 상기 영상 촬영 장치의 촬영자를 찍을 수 있도록 상기 제1 렌즈의 반대쪽 면에 배치될 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 촬영 장치는, 주 영상을 촬영하는 제1 렌즈부; 부 영상을 촬영하는 제2 렌즈부; 상기 부 영상에 포함된 오브젝트를 검출하는 검출부; 상기 부 영상의 오브젝트를 상기 주 영상의 제1 영역으로 이동시켜, 상기 주 영상의 제1 영역에 상기 부 영상의 오브젝트를 합성하는 영상 변환부; 및 상기 부 영상의 오브젝트를 합성한 주 영상을 표시하는 영상 표시부;를 포함한다.
그리고, 검출부는, 상기 제2 렌즈로부터 획득된 부 영상에 포함된 촬영자의 얼굴을 인식하는 얼굴 인식부;를 포함하고, 상기 인식된 얼굴을 포함하는 특정 영역을 상기 오브젝트로 검출할 수 있다.
또한, 상기 제1 영역은, 상기 제1 렌즈로부터 획득된 주 영상에서 인식된 피촬영자의 얼굴을 포함하는 특정 영역이며, 상기 영상 변환부는, 상기 피촬영자의 얼굴에 상기 촬영자의 얼굴을 합성할 수 있다.
그리고, 상기 부 영상은, 배경이 단일 색상이고, 상기 영상 변환부는, 상기 주 영상의 제1 영역에 상기 오브젝트를 크로마키 합성할 수 있다.
또한, 상기 부 영상은, PIP(Picture-in-Picture) 영상일 수 있다.
그리고, 상기 제2 렌즈는 상기 영상 촬영 장치의 촬영자를 찍을 수 있도록 상기 제1 렌즈의 반대쪽 면에 배치될 수 있다.
상술한 바와 같이, 본 발명의 다양한 실시예에 따르면, 부 영상과 주 영상의 메인 오브젝트가 겹치지 않게 되므로, 사용자는 디스플레이에 표시되는 부 영상의 방해 없이 주 영상을 촬영할 수 있게 된다.
또한, 부 영상의 오브젝트와 주 영상을 합성함으로써, 촬영자는 복수의 렌즈를 통한 영상 이외에 다양한 영상을 획득할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 영상 촬영 장치의 블록도를 간략히 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 영상 촬영 장치의 블럭도를 상세히 도시한 도면,
도 3은 본 발명의 일 실시예에 따른, 주 영상에서 인식된 얼굴과 겹치지 않도록 PIP(Picture in Picture) 영상을 이동하는 영상 처리 방법을 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 따른, 주 영상의 초점 영역과 겹치지 않도록 PIP 영상을 이동하는 영상 처리 방법을 설명하기 위한 도면,
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른, PIP 영상에서 인식된 얼굴과 주 영상에서 인식된 얼굴을 합성하는 영상 처리 방법을 설명하기 위한 도면,
도 6a 내지 도 6c는 본 발명의 일 실시예에 따른, 크로마키 합성 방법을 이용하여 PIP 영상과 주 영상을 합성하는 영상 처리 방법을 설명하기 위한 도면,
도 7은 본 발명의 일 실시예에 따른, 주 영상의 메인 오브젝트와 PIP 영상이 겹치지 않도록 PIP 영상을 이동하는 영상 처리 방법을 설명하기 위한 흐름도, 그리고,
도 8은 본 발명의 일 실시예에 따른, 주 영상에 부 영상의 오브젝트를 합성하는 영상 처리 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른, 영상 촬영 장치(100)의 블록도를 간략히 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 촬영 장치(100)는 제1 렌즈부(110), 제2 렌즈부(115), 검출부(120), 영상 변환부(130) 및 영상 표시부(140)를 포함한다.
제1 렌즈부(110) 및 제2 렌즈부(115)는 피사체의 빛을 모아 주 영상 및 부 영상을 촬영한다. 구체적으로, 제1 렌즈부(110)는 영상 촬영 장치(100)의 전면에 배치되어 주 영상을 촬영하고, 제2 렌즈부(120)는 영상 촬영 장치(100)의 후면에 배치되어 부 영상을 촬영한다. 이때, 주 영상은 해상도가 높은 영상일 수 있고, 부 영상은 해상도가 낮은 영상일 수 있다. 특히, 부 영상은 영상 처리후, 영상 표시부(140)에 PIP(Picture-in-Picture) 형태로 디스플레이된다.
검출부(120)는 제1 렌즈부(110) 및 제2 렌즈부(115)를 통해 입력된 주 영상 및 부 영상에서 오브젝트를 검출한다, 구체적으로, 주 영상의 메인 오브젝트와 부 영상인 PIP 영상이 겹치지 않도록 하기 위하여, 검출부(120)는 제1 렌즈부(110)를 통해 획득한 주 영상에서 메인 오브젝트을 검출한다. 이때, 메인 오브젝트는 주 영상에 포함된 피촬영자의 얼굴 영역이나 초점 영역이 될 수 있다.
또한, 주 영상에 부 영상의 오브젝트를 합성하기 위하여, 검출부(120)는 제2 렌즈부(120)를 통해 획득한 부 영상에서 오브젝트를 검출한다. 이때, 오브젝트는 부 영상에 포함된 촬영자의 얼굴 영역이나 단색 배경의 화면에서 배경을 뺀 나머지 피사체 영역일 수 있다. 또한, 검출부(120)는 부 영상에 포함된 촬영자의 얼굴 영역과 주 영상에 포함된 피촬영자의 얼굴을 합성하기 위하여, 부 영상에 포함된 촬영자의 얼굴 영역뿐 아니라 주 영상의 피촬영자의 얼굴 영역까지 검출할 수 있다.
영상 변환부(130)는 검출부(120)에서 검출된 오브젝트를 이용하여 영상을 변환할 수 있다. 구체적으로, 검출부(120)에서 검출된 주 영상의 메인 오브젝트와 부 영상인 PIP 영상이 서로 겹쳐지는 경우, 영상 변환부(130)는 주 영상의 메인 오브젝트와 PIP 영상이 서로 겹치지 않도록 PIP 영상을 이동시킬 수 있다.
또한, 검출부(120)에서 검출된 부 영상의 오브젝트를 주 영상에 합성하는 경우, 영상 변환부(130)는 부 영상의 오브젝트를 주 영상의 합성 영역에 이동시켜, 주 영상의 합성 영역에 부 영상의 오브젝트를 합성한다.
영상 표시부(140)는 영상 변환부(130)에 의해 변환된 영상을 디스플레이한다. 구체적으로, 영상 표시부(140)는 주 영상의 메인 오브젝트와 겹치지 않도록 이동된 PIP 영상을 주 영상과 함께 디스플레이한다. 또한, 영상 표시부(140)는 주 영상의 합성 영역에 부 영상의 오브젝트가 합성된 주 영상을 디스플레이한다.
상술한 바에 의해 주 영상 및 부 영상을 처리하면, 부 영상과 주 영상의 메인 오브젝트가 겹치지 않게 되므로, 사용자는 디스플레이에 표시되는 부 영상의 방해 없이 주 영상을 촬영할 수 있게 된다. 또한, 부 영상의 오브젝트와 주 영상을 합성함으로써, 촬영자는 복수의 렌즈를 통한 영상 이외에 다양한 영상을 획득할 수 있게 된다.
이하에서는 도 2를 참고하여, 본 발명의 영상 촬영 장치에 대해 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른, 영상 촬영 장치(200)의 블럭도를 상세히 도시한 도면이다.
도 2에 도시된 바와 같이, 영상 촬영 장치(200)는 제1 렌즈부(210), 제2 렌즈부(215), 제1 이미지센서(220), 제2 이미지센서(225), 영상 처리부(230), 영상 표시부(240), 저장부(250) 및 제어부(260)를 포함한다.
제1 렌즈부(210) 및 제2 렌즈부(215)는 피사체의 빛을 모아서 각각 제1 이미지센서(220)및 제2 이미지센서(225) 영역에 상이 맺히게 한다. 여기서, 제1 렌즈부(210)와 제2 렌즈부(215)는 서로 다른 해상도를 가질 수 있다. 구체적으로, 제1 렌즈부(210)는 영상 표시부(240)에 표시되는 주 영상을 촬영하는 렌즈로 부 영상을 촬영하는 렌즈인 제2 렌즈부(215)보다 높은 해상도의 영상을 촬영할 수 있다.
또한, 제1 렌즈부(210)는 영상 촬영 장치(200)의 전면에 배치되어 영상 촬영 장치(200)의 전면에 배치된 피사체를 촬영하고, 제2 렌즈부(215)는 영상 촬영 장치(200)의 후면에 배치되어 영상 촬영 장치(200)의 후면에 존재하는 피사체를 촬영한다. 특히, 제2 렌즈부(215)는 영상 촬영 장치(200)의 후면에 배치되어 촬영자를 촬영할 수 있다.
제1 이미지센서(220)와 제2 이미지센서(225)는 각각 제1 렌즈부(210)와 제2 렌즈부(215)를 통해 입사된 빛을 전기신호로 광전변환한다. 여기서 제1 이미지센서(220)는 고해상도 이미지를 촬상할 수 있는 센서이고, 제2 이미지센서(225)는 제1 이미지 센서(220)에 비해 저해상도 이미지를 촬상할 수 있는 센서일 수 있다.예를 들어, 제1 렌즈부(210)에서 획득한 주 영상은 10Mega pixel 이상의 해상도를 가진 고해상도 이미지가 될 수 있고, 제2 렌즈부(215)에서 획득한 부 영상은 1,3,5 Mega pixel 중 적어도 하나의 해상도를 가진 저해상도 이미지가 될 수 있다.
영상 처리부(230)는 제1 이미지센서(220)와 제2 이미지센서(225)로부터 입력되는 주 영상과 부 영상에 대한 신호처리를 수행하여, 촬영된 영상을 디스플레이하기 위해 처리된 영상신호를 영상 표시부(240)로 전송한다.
특히, 도 2에 도시된 바와 같이, 영상 처리부(230)는 주 영상과 부 영상의 영상처리를 위한 검출부(231) 및 영상 변환부(233)를 포함한다.
검출부(231)는 제1 렌즈부(210) 및 제2 렌즈부(215)를 통해 입력된 주 영상 및 부 영상에서 오브젝트를 검출한다,
특히, 주 영상의 메인 오브젝트와 부 영상인 PIP 영상이 겹치지 않도록 하기 위하여, 검출부(231)는 제1 렌즈부(210)를 통해 획득한 주 영상에서 메인 오브젝트을 검출한다. 여기서, 메인 오브젝트는 주 영상에 포함된 피촬영자의 얼굴 영역이나 초점 영역이 될 수 있다. 이때, 주 영상에 포함된 피촬영자의 얼굴 영역은 공지의 얼굴 인식 방법에 의해 검출된 얼굴을 포함하는 특정영역이고, 초점 영역은 카메라의 초점이 맞추어진 지점을 포함하는 물체, 무늬 등의 영역을 말한다.
또한, 주 영상에 부 영상의 오브젝트를 합성하기 위하여, 검출부(231)는 제2 렌즈부(120)를 통해 획득한 부 영상에서 오브젝트를 검출한다. 이때, 오브젝트는 부 영상에 포함된 촬영자의 얼굴 영역이나 단색 배경의 화면에서 배경을 뺀 나머지 피사체 영역일 수 있다. 구체적으로, 주 영상에 포함됨 피촬영자의 얼굴에 부 영상에 포함된 촬영자의 얼굴을 합성하기 위하여, 부 영상의 오브젝트는 부 영상에 포함된 촬영자의 얼굴을 포함하는 영역일 수 있다. 이때, 촬영자의 얼굴을 포함하는 영역은 앞서 상술한 바와 같이, 공지의 얼굴 인식 방법에 의해 검출된 얼굴을 포함하는 특정영역이다. 또한, 크로마키 합성을 하는 경우, 부 영상의 오브젝트는 부 영상에서 단색 배경을 제외한 나머지 피사체 영역일 수 있다.
영상 변환부(232)는 검출부(231)에서 검출된 오브젝트를 이용하여 영상을 변환할 수 있다.
특히, 검출부(231)에서 검출된 주 영상의 메인 오브젝트와 부 영상인 PIP 영상이 서로 겹쳐진다고 판단한 경우, 영상 변환부(232)는 주 영상의 메인 오브젝트와 PIP 영상이 서로 겹치지 않도록 PIP 영상을 이동시킬 수 있다. 예를 들어, 앞서 검출부(231)에서 설명한 바와 같이, 메인 오브젝트로 인식된 사람의 얼굴과 PIP 영상이 서로 동일한 위치에 존재하여 서로 겹쳐 디스플레이되는 경우, 영상 변환부(232)는 PIP 영상을 인식된 사람의 얼굴과 겹치지 않도록 다른 영역으로 이동한다. 또한, 메인 오브젝트로 검출된 초점 영역 역시 PIP 영상과 겹치지 않도록 PIP 영상을 다른 영역으로 이동할 수 있다.
또한, 검출부(231)에서 검출된 부 영상의 오브젝트를 주 영상에 합성하는 경우, 영상 변환부(232)는 부 영상의 오브젝트를 주 영상의 합성 영역에 이동시켜, 주 영상의 합성 영역에 부 영상의 오브젝트를 합성한다. 예를 들어, 부 영상의 오브젝트로 촬영자의 얼굴을 검출한 경우, 주 영상의 피촬영자 얼굴과 합성하기 위하여, 영상 변환부(232)는 PIP 영상의 촬영자의 얼굴 영역을 주 영상의 피촬영자 얼굴 영역으로 이동하고, PIP 영상을 확대하여, 촬영자의 얼굴 영역과 주 영상의 피촬영자 얼굴 영역으로 합성한다.
영상 변환부(231)의 영상 변환 방법에 대해서는 도 3 내지 도 6c를 참고하여 추후에 설명하기로 한다.
영상 표시부(240)는 이미지 처리부(230)로부터 수신된 영상을 디스플레이한다. 사용자는 영상 표시부(240)에 표시된 영상을 확인함으로써, 촬영될 영상을 확인할 수 있게 된다. 특히, 영상 표시부(240)는 제1 렌즈부(210)를 통해 촬영한 영상을 주 영상으로 하고, 제2 렌즈부(215)를 통해 촬영한 영상을 부 영상으로 하여, 주 영상 위에 부 영상을 PIP 영상 형태로 디스플레이 한다.
저장부(250)는 제1 이미지센서(220)와 제2 이미지센서(225)에서 촬영된 영상을 압축된 형태로 저장한다. 저장부(250)는 비휘발성 메모리, 하드디스크 등이 될 수 있다.
제어부(260)는 조작부(미도시)로부터 전달되는 사용자의 조작 내용을 기초로 사용자 명령을 파악하고, 파악한 사용자 명령에 따라 영상 촬영 장치(200)의 전반적인 동작을 제어한다.
구체적으로, 제어부(260)는 주 영상의 메인 오브젝트와 부 영상인 PIP 영상이 겹치는지 여부를 판단한다. 메인 오브젝트와 PIP 영상이 겹치는 경우, 제어부(260)는 PIP 영상이 주 영상의 메인 오브젝트와 겹치지 않도록 PIP 영상을 이동하도록 영상 변환부(232)를 제어한다. 이때, 메인 오브젝트는 주 영상에 포함된 피촬영자의 얼굴 영역이나 주 영상의 초점 영역일 수 있다.
또한, 제어부(260)는 주 영상과 부 영상을 합성하기 위하여, 영상 변환부(232)를 제어할 수 있다. 구체적으로, 제어부(260)는 조작부를 통한 사용자의 명령에 따라, 부 영상의 오브젝트를 주 영상의 제1 영역에 합성하도록 영상 변환부(232)를 제어할 수 있다. 이때, 부 영상의 오브젝트는 부 영상에 포함된 촬영자의 얼굴영역이거나 부 영상의 단색 배경을 제외한 피사체 영역일 수 있다. 또한, 주 영상의 제1 영역은 주 영상에 포함된 피촬영자의 얼굴 영역이거나 사용자가 지정한 영역일 수 있다.
이하에서는 도 3 내지 도 6c를 참조하여, 주 영상과 부 영상이 변환되는 영상 처리 방법에 대해 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른, 주 영상에서 인식된 얼굴과 겹치지 않도록 PIP 영상을 이동하는 영상 처리 방법을 설명하기 위한 도면이다.
주 영상에 포함된 피촬영자의 얼굴 영역(310)이 부 영상인 PIP 영상(320)과 겹치는 경우, 영상 촬영 장치(200)는 PIP 영상(320)을 얼굴 영역(310)과 겹치지 않도록 이동시킬 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 얼굴 영역(310)과 PIP 영상(320)이 모두 우측 하단에 디스플레이되는 경우, PIP 영상(310)이 주 영상의 메인 오브젝트인 얼굴 영역(310)을 가리게 되므로 사용자는 자신이 촬영하고자 하는 화면을 제대로 얻을 수 없게 된다. 따라서, 영상 촬영 장치(200)는 PIP 영상(320)을 우측 하단에서 우측 상단으로 이동시켜 PIP 영상(330)과 얼굴 영역(310)이 서로 겹치지 않게 한다. 이때, 영상 촬영 장치(200)가 주 영상의 얼굴 영역(310)을 검출하는 것은 공지의 얼굴 인식 방법에 의해 검출할 수 있다.
따라서, PIP 영상(330)과 얼굴 영역(310)이 겹치지 않게 되므로, 사용자는 주 영상의 메인 오브젝트인 피촬영자의 얼굴 영역을 제대로 확인할 수 있게 된다.
도 4는 본 발명의 일 실시예에 따른, 주 영상의 초점 영역과 겹치지 않도록 PIP 영상을 이동하는 영상 처리 방법을 설명하기 위한 도면이다.
주 영상에 포함된 피촬영자의 초점 영역(410)이 부 영상인 PIP 영상(420)과 겹치는 경우, 영상 촬영 장치(200)는 PIP 영상(420)을 초점 영역(410)과 겹치지 않도록 이동시킬 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 초점 영역(410)과 PIP 영상(420)이 모두 우측 하단에 디스플레이되는 경우, PIP 영상(410)이 주 영상의 메인 오브젝트인 초점 영역(410)을 가리게 되므로 사용자는 자신이 촬영하고자 하는 화면을 제대로 얻을 수 없게 된다. 따라서, 영상 촬영 장치(200)는 PIP 영상(420)을 우측 하단에서 우측 상단으로 이동시켜 PIP 영상(430)과 얼굴 영역(410)이 서로 겹치지 않게 한다. 이때, 주 영상의 초점 영역(410)이라 함은, 카메라가 초점을 맞춘 지점을 포함하는 물체 영역 또는 무늬 영역을 말한다.
따라서, PIP 영상(430)과 초점 영역(410)이 겹치지 않게 되므로, 사용자는 주 영상에서 초점이 제대로 잡혔는지 확인할 수 있게 된다.
한편, 도 3 및 도 4에서 설명한 PIP 영상(320)이 이동하는 방향은 영상 표시부(240)의 각 모서리를 기준으로 시계 반대 방향일 수 있다. 예를 들어, 메인 오브젝트(310)와 PIP 영상(320)이 우측 하단에서 겹치는 경우, 영상 촬영 장치(200)는 PIP 영상(320)을 우측 상단으로 이동시키고, 메인 오브젝트(310)와 PIP 영상(320)이 우측 상단에서 겹치는 경우, 영상 촬영 장치(200)는 PIP 영상(320)을 좌측 상단으로 이동시키고, 메인 오브젝트(310)와 PIP 영상(320)이 좌측 상단에서 겹치는 경우, 영상 촬영 장치(200)는 PIP 영상(320)을 좌측 하단으로 이동시키고, 메인 오브젝트(310)와 PIP 영상(320)이 좌측 하단에서 겹치는 경우, 영상 촬영 장치(200)는 PIP 영상(320)을 우측 하단으로 이동시킬 수 있다.
그러나, 반시계 방향으로 PIP 영상이 이동되는 것은 일 실시예에 불과할 뿐, 시계방향으로 PIP 영상이 이동되는 것, 주 영상의 메인 오브젝트와 가장 먼 영역으로 이동되는 것과 같은 실시예에도 본 발명의 기술적 사상이 적용될 수 있다. 또한, PIP 영상이 이동되는 방향은 제조시부터 설정될 수 있고 사용자에 의해 설정될 수도 있다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른, PIP 영상에서 인식된 얼굴과 주 영상에서 인식된 얼굴을 합성하는 영상 처리 방법을 설명하기 위한 도면이다.
주 영상에 부 영상이 PIP 영상(520)으로 함께 표시되는 상태에서 사용자의 얼굴 합성 명령이 입력되면, 영상 촬영 장치(200)는 도 5a에 도시된 바와 같이, 주 영상에 포함된 피촬영자의 얼굴 영역(510)과 부 영상에 포함된 촬영자의 얼굴 영역(525)을 검출한다.
피촬영자의 얼굴 영역(510)과 촬영자의 얼굴 영역(525)이 검출되면, 도 5b에 도시된 바와 같이, 영상 촬영 장치(200)는 촬영자의 얼굴 영역(525)을 포함하는 PIP 영상(530)을 피촬영자의 얼굴 영역(525)으로 이동한다. 이때, PIP 영상(530)이 이동되는 것은 영상 촬영 장치(200)가 자동으로 PIP 영상(530)을 이동하거나 드래그 동작과 같은 사용자의 입력에 의해 PIP 영상(530)이 이동될 수 있다.
PIP 영상(530)이 피촬영자의 얼굴 영역(510)으로 이동되면, PIP 영상(530)은 확대된다. 구체적으로, 합성하고자 하는 피촬영자의 얼굴 영역(510)과 촬영자의 얼굴 영역(525)의 크기는 서로 상이하기 때문에, 영상 촬영 장치(200)는 촬영자의 얼굴 영역(525)이 포함된 PIP 영상(530)을 확대하여, 촬영자의 얼굴 영역(525)과 피촬영자의 얼굴 영역(510)의 크기 및 위치를 맞춘다.
PIP 영상(530)이 확대되면, 영상 촬영 장치(200)는 PIP 영상(530) 속에 촬영자의 얼굴 영역(525)을 제외한 나머지 영역은 제거하고, 촬영자의 얼굴 영역(525)만을 주 영상에 남겨두어 디스플레이하게 된다. 따라서, 영상 촬영 장치(200)는 도 5c에 도시된 바와 같이, 피촬영자의 얼굴 영역(510)에 촬영자의 얼굴 영역(520)이 합성된 새로운 주 영상(540)을 얻을 수 있게 된다.
도 6a 내지 도 6c는 본 발명의 일 실시예에 따른, 크로마키 합성 방법을 이용하여 PIP 영상과 주 영상을 합성하는 영상 처리 방법을 설명하기 위한 도면이다.
주 영상(600)에 단색 배경을 가지는 부 영상이 PIP 영상(520)으로 함께 표시되는 상태에서 사용자의 크로마키 합성 명령이 입력되면, 영상 촬영 장치(200)는 도 6a에 도시된 부 영상(610)에서 단색 배경을 제외한 나머지 피사체 영역(620)을 검출한다. 이때, 크로마키(chroma-key) 합성이라 함은 단색의 스크린 앞에 피사체인 인물이나 물체를 배치하고 영상 촬영 장치로 이를 촬영하여 이 피사체를 아주 다른 화면에 합성하는 방법이다.
단색 배경을 제외한 피사체 영역(620)이 검출되면, 도 6b에 도시된 바와 같이, 영상 촬영 장치(200)는 촬영자의 피사체 영역(620)을 포함하는 PIP 영상(610)을 주 영상의 특정 영역으로 이동한다. 이때, PIP 영상(620)이 이동되는 영역은 도 6b에 도시된 바와 같이, 화면의 중앙 영역일 수 있고, 사용자가 지정한 영역일 수 있다.
PIP 영상(620)이 주 영상의 특정 영역으로 이동되면, PIP 영상(530)은 확대된다. PIP 영상(620)이 확대되면, 영상 촬영 장치(200)는 PIP 영상(620) 속에 피사체 영역(620)을 제외한 단색 배경 영역을 제거하고, 피사체 영역(630)만을 주 영상에 남겨두어 디스플레이하게 된다. 따라서, 영상 촬영 장치(200)는 도 6c에 도시된 바와 같이, 주 영상(600)에 피사체 영역(630)이 합성된 새로운 주 영상을 얻을 수 있게 된다.
따라서, 사용자는 복수의 렌즈를 통한 영상 이외에 상술한 합성 방법을 이용하여 다양한 영상을 획득할 수 있게 된다.
이하에서는, 도 7 및 도 8을 참고하여, 본 발명의 일 실시예에 따른, 주 영상 및 부 영상의 영상 처리 방법에 대해 설명하기로 한다.
도 7은 본 발명의 일 실시예에 따른, 주 영상의 메인 오브젝트와 PIP 영상이 겹치지 않도록 PIP 영상을 이동하는 영상 처리 방법을 설명하기 위한 흐름도이다.
구체적으로, 영상 촬영 장치(100)는 제1 렌즈부(110) 및 제2 렌즈부(115)를 통해 주 영상 및 부 영상을 획득한다(S710). 이때, 주 영상은 영상 표시부(140)에 메인으로 디스플레이되는 영상이고, 부 영상은 영상 표시부(140)에 디스플레이되는 주 영상에 PIP 형식으로 디스플레이되는 영상이다.
주 영상과 부 영상을 획득하면, 영상 촬영 장치(100)는 주 영상에서 메인 오브젝트를 검출한다(S720). 이때, 메인 오브젝트는 주 영상에 포함된 피촬영자의 얼굴 영역이나 초점 영역이 될 수 있다. 이때, 주 영상에 포함된 피촬영자의 얼굴 영역은 공지의 얼굴 인식 방법에 의해 검출된 얼굴을 포함하는 특정영역이고, 초점 영역은 카메라의 초점이 맞추어진 지점을 포함하는 물체, 무늬 등의 영역을 말한다.
메인 오브젝트를 검출하면, 영상 촬영 장치(100)는 메인 오브젝트와 부 영상이 겹치는지 판단하고, 메인 오브젝트와 부 영상인 PIP 영상이 서로 겹친다고 판단되면, 메인 오브젝트와 부 영상이 겹치지 않도록 부 영상을 이동한다(S730).
부 영상을 이동시킨 후, 영상 촬영 장치(100)는 영상 표시부(140)를 통해 주 영상에 이동된 부 영상을 함께 표시한다(S740).
이에 의해, 부 영상과 주 영상의 메인 오브젝트가 겹치지 않게 되므로, 사용자는 디스플레이에 표시되는 부 영상의 방해 없이 주 영상을 촬영할 수 있게 된다.
도 8은 본 발명의 일 실시예에 따른, 주 영상에 부 영상의 오브젝트를 합성하는 영상 처리 방법을 설명하기 위한 흐름도이다.
구체적으로, 영상 촬영 장치(100)는 제1 렌즈부(110) 및 제2 렌즈부(115)를 통해 주 영상 및 부 영상을 획득한다(S810). 이때, 주 영상 및 부 영상은 도 7에서 설명한 바와 같이, 각각 영상 표시부(140)에 메인으로 디스플레이되는 영상 및 영상 표시부(140)에 디스플레이되는 주 영상에 PIP 형식으로 디스플레이되는 영상이다.
주 영상과 부 영상을 획득한 후 사용자의 합성 명령이 입력되면, 영상 촬영장치는 부 영상에 포함된 오브젝트를 검출한다(S820). 이때, 부 영상에 포함된 오브젝트는 부 영상에 포함된 촬영자의 얼굴 영역이나 단색 배경의 화면에서 배경을 뺀 나머지 피사체 영역일 수 있다. 구체적으로, 주 영상에 포함됨 피촬영자의 얼굴에 부 영상에 포함된 촬영자의 얼굴을 합성하는 경우, 부 영상의 오브젝트는 부 영상에 포함된 촬영자의 얼굴을 포함하는 영역일 수 있다. 또한, 크로마키 합성을 하는 경우, 부 영상의 오브젝트는 부 영상에서 단색 배경을 제외한 나머지 피사체 영역일 수 있다.
부 영상에서 오브젝트를 검출한 후, 영상 촬영 장치(100)는 부 영상의 오브젝트를 주 영상의 제1 영역으로 이동시켜, 주 영상의 제1 영역과 부 영상의 오브젝트를 합성한다(S830). 이때, 주 영상의 제1 영역이라 함은, 부 영상의 오브젝트와 합성될 주 영상의 특정 영역을 말한다. 더욱 구체적으로 설명하면, 영상 촬영 장치(100)가 부 영상의 오브젝트로 촬영자의 얼굴 영역을 검출하는 경우, 영상 촬영 장치(100)는 촬영자의 얼굴 영역을 주 영상의 피촬영자의 얼굴 영역으로 이동한다. 그리고 나서, 영상 촬영 장치(100)는 부 영상의 촬영자 얼굴 영역을 확대하여 주 영상의 피촬영자의 얼굴 영역에 합성한다. 또한, 영상 촬영 장치(100)가 단색 배경의 부 영상에서 단색 배경을 제외한 피사체 영역을 검출하는 경우, 영상 촬영 장치(100)는 피사체 영역을 주 영상의 특정 영역으로 이동한다. 그리고 나서, 영상 촬영 장치(100)는 피사체 영역을 확대하여 주 영상의 특정 영역에 합성한다.
주 영상의 제1 영역에 오브젝트를 합성한 후, 영상 표시 장치(100)는 부 영상의 오브젝트와 주 영상의 제1 영역이 합성된 새로운 주 영상을 표시한다(S840).
이에 의해, 촬영자는 복수의 렌즈를 통한 영상 이외에 합성을 통한 다양한 영상을 획득할 수 있게 된다.
한편, 이상에서는 제1 렌즈부를 통해 획득한 영상이 주 영상, 제2 렌즈부를 통해 획득한 영상이 부 영상이라고 상정하였으나, 이는 일 실시예에 불과할 뿐, 본 발명의 기술적 사상이 이에 한정되는 것은 아니다. 예를 들어, 사용자의 특정 조작에 의해 제1 렌즈부를 통해 획득한 영상이 부 영상, 제2 렌즈부를 통해 획득한 영상이 주 영상이 될 수도 있다.
뿐만 아니라, 이상에서는, 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 제1 렌즈부 115: 제2 렌즈부
120: 검출부 130: 영상 변환부
140: 영상 표시부

Claims (22)

  1. 제1 렌즈와 제2 렌즈를 구비하는 영상 촬영 장치의 영상 처리 방법에 있어서,
    상기 제1 렌즈 및 상기 제2 렌즈로부터 주 영상과 부 영상을 각각 획득하는 단계;
    상기 주 영상에서 메인 오브젝트를 검출하는 단계;
    상기 메인 오브젝트와 상기 부 영상이 겹치지 않도록 상기 부 영상을 상기 주 영상의 제1 영역으로 이동하는 단계;및
    상기 주 영상에 상기 부 영상을 함께 표시하는 단계;를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 제1 렌즈로부터 획득된 주 영상에 포함된 피촬영자의 얼굴을 인식하는 단계;및
    상기 인식된 얼굴을 포함하는 특정 영역을 상기 메인 오브젝트로 검출하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
  3. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 제1 렌즈로부터 획득된 주 영상의 초점을 인식하는 단계;및
    상기 초점이 맞추어진 특정 영역을 상기 메인 오브젝트로 검출하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
  4. 제1항에 있어서,
    상기 부 영상은,
    PIP(Picture-in-Picture) 영상인 것을 특징으로 하는 영상 처리 방법.
  5. 제1항에 있어서,
    상기 제1 렌즈는 상기 영상 촬영 장치의 전면에 배치되고, 상기 제2 렌즈는 상기 영상 촬영 장치의 후면에 배치되는 것을 특징으로 하는 영상 처리 방법.
  6. 주 영상을 촬영하는 제1 렌즈부;
    부 영상을 촬영하는 제2 렌즈부;
    상기 주 영상에서 메인 오브젝트를 검출하는 검출부;
    상기 메인 오브젝트와 상기 부 영상이 겹치지 않도록 상기 부 영상을 상기 주 영상의 제1 영역으로 이동하는 영상 변환부; 및
    상기 주 영상에 상기 부 영상을 함께 표시하는 영상 표시부;를 포함하는 영상 촬영 장치.
  7. 제6항에 있어서,
    상기 검출부는,
    상기 제1 렌즈로부터 획득된 주 영상에 포함된 피촬영자의 얼굴을 인식하는 얼굴 인식부;를 포함하고,
    상기 인식된 얼굴을 포함하는 특정 영역을 상기 메인 오브젝트로 검출하는 것을 특징으로 하는 영상 촬영 장치.
  8. 제6항에 있어서,
    상기 검출부는,
    상기 제1 렌즈로부터 획득된 주 영상의 초점을 인식하는 초점 인식부;를 포함하고,
    상기 초점이 맞추어진 특정 영역을 상기 메인 오브젝트로 검출하는 것을 특징으로 하는 영상 촬영 장치.
  9. 제6항에 있어서,
    상기 부 영상은,
    PIP(Picture-in-Picture) 영상인 것을 특징으로 하는 영상 촬영 장치.
  10. 제6항에 있어서,
    상기 제1 렌즈는 상기 영상 촬영 장치의 전면에 배치되고, 상기 제2 렌즈는 상기 영상 촬영 장치의 후면에 배치되는 것을 특징으로 하는 영상 촬영 장치.
  11. 제1 렌즈와 제2 렌즈를 구비하는 영상 촬영 장치의 영상 처리 방법에 있어서,
    상기 제1 렌즈 및 상기 제2 렌즈로부터 주 영상 및 부 영상을 각각 획득하는 단계;
    상기 부 영상에 포함된 오브젝트를 검출하는 단계;
    상기 부 영상의 오브젝트를 상기 주 영상의 제1 영역으로 이동시켜, 상기 주 영사의 제1 영역에 상기 부 영상의 오브젝트를 합성하는 단계;및
    상기 부 영상의 오브젝트가 합성된 주 영상을 표시하는 단계;를 포함하는 영상 처리 방법.
  12. 제11항에 있어서,
    상기 검출하는 단계는,
    상기 제2 렌즈로부터 획득된 부 영상에 포함된 촬영자의 얼굴을 인식하는 단계;및
    상기 인식된 얼굴을 포함하는 특정 영역을 상기 오브젝트로 검출하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
  13. 제12항에 있어서,
    상기 제1 영역은,
    상기 제1 렌즈로부터 획득된 주 영상에서 인식된 피촬영자의 얼굴을 포함하는 특정 영역이며,
    상기 합성하는 단계는,
    상기 피촬영자의 얼굴에 상기 촬영자의 얼굴을 합성하는 것을 특징으로 하는 영상 처리 방법.
  14. 제11항에 있어서,
    상기 부 영상은, 배경이 단일 색상이고,
    상기 합성하는 단계는,
    상기 주 영상의 제1 영역에 상기 오브젝트를 크로마키 합성하는 것을 특징으로 하는 영상 처리 방법.
  15. 제11항에 있어서,
    상기 부 영상은,
    PIP(Picture-in-Picture) 영상인 것을 특징으로 하는 영상 처리 방법.
  16. 제11항에 있어서,
    상기 제2 렌즈는 상기 영상 촬영 장치의 촬영자를 찍을 수 있도록 상기 제1 렌즈의 반대쪽 면에 배치되어 있는 것을 특징으로 하는 영상 처리 방법.
  17. 주 영상을 촬영하는 제1 렌즈부;
    부 영상을 촬영하는 제2 렌즈부;
    상기 부 영상에 포함된 오브젝트를 검출하는 검출부;
    상기 부 영상의 오브젝트를 상기 주 영상의 제1 영역으로 이동시켜, 상기 주 영상의 제1 영역에 상기 부 영상의 오브젝트를 합성하는 영상 변환부; 및
    상기 부 영상의 오브젝트를 합성한 주 영상을 표시하는 영상 표시부;를 포함하는 영상 촬영 장치.
  18. 제17항에 있어서,
    검출부는,
    상기 제2 렌즈로부터 획득된 부 영상에 포함된 촬영자의 얼굴을 인식하는 얼굴 인식부;를 포함하고,
    상기 인식된 얼굴을 포함하는 특정 영역을 상기 오브젝트로 검출하는 것을 특징으로 하는 영상 촬영 장치.
  19. 제18항에 있어서,
    상기 제1 영역은,
    상기 제1 렌즈로부터 획득된 주 영상에서 인식된 피촬영자의 얼굴을 포함하는 특정 영역이며,
    상기 영상 변환부는,
    상기 피촬영자의 얼굴에 상기 촬영자의 얼굴을 합성하는 것을 특징으로 하는 영상 촬영 장치.
  20. 제17항에 있어서,
    상기 부 영상은, 배경이 단일 색상이고,
    상기 영상 변환부는,
    상기 주 영상의 제1 영역에 상기 오브젝트를 크로마키 합성하는 것을 특징으로 하는 영상 촬영 장치.
  21. 제17항에 있어서,
    상기 부 영상은,
    PIP(Picture-in-Picture) 영상인 것을 특징으로 하는 영상 촬영 장치.
  22. 제17항에 있어서,
    상기 제2 렌즈는 상기 영상 촬영 장치의 촬영자를 찍을 수 있도록 상기 제1 렌즈의 반대쪽 면에 배치되어 있는 것을 특징으로 하는 영상 촬영 장치.
KR1020100102127A 2010-10-19 2010-10-19 영상 처리 방법 및 이를 적용한 영상 촬영 장치 KR101680684B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100102127A KR101680684B1 (ko) 2010-10-19 2010-10-19 영상 처리 방법 및 이를 적용한 영상 촬영 장치
US13/267,949 US20120092529A1 (en) 2010-10-19 2011-10-07 Method for processing an image and an image photographing apparatus applying the same
GB1117905.8A GB2485036A (en) 2010-10-19 2011-10-18 Preventing subject occlusion in a dual lens camera PIP display
CN2011103180854A CN102572261A (zh) 2010-10-19 2011-10-19 处理图像的方法以及应用该方法的图像拍摄设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100102127A KR101680684B1 (ko) 2010-10-19 2010-10-19 영상 처리 방법 및 이를 적용한 영상 촬영 장치

Publications (2)

Publication Number Publication Date
KR20120040611A true KR20120040611A (ko) 2012-04-27
KR101680684B1 KR101680684B1 (ko) 2016-11-29

Family

ID=45219834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100102127A KR101680684B1 (ko) 2010-10-19 2010-10-19 영상 처리 방법 및 이를 적용한 영상 촬영 장치

Country Status (4)

Country Link
US (1) US20120092529A1 (ko)
KR (1) KR101680684B1 (ko)
CN (1) CN102572261A (ko)
GB (1) GB2485036A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043985A1 (en) * 2016-08-30 2018-03-08 Samsung Electronics Co., Ltd. Image display apparatus and method of operating the same

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP5884421B2 (ja) * 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
KR102000536B1 (ko) * 2012-12-28 2019-07-16 삼성전자주식회사 합성 이미지를 촬영하는 촬영 장치 및 그 방법
KR102010955B1 (ko) * 2013-01-07 2019-08-14 삼성전자 주식회사 프리뷰 제어 방법 및 이를 구현하는 휴대 단말
CN107509029A (zh) * 2013-01-07 2017-12-22 华为技术有限公司 一种图像处理方法及装置
KR102013331B1 (ko) * 2013-02-23 2019-10-21 삼성전자 주식회사 듀얼 카메라를 구비하는 휴대 단말기의 이미지 합성 장치 및 방법
JP5952782B2 (ja) * 2013-06-12 2016-07-13 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
CN109040552B (zh) * 2013-06-13 2021-06-22 核心光电有限公司 双孔径变焦数字摄影机
US9973722B2 (en) 2013-08-27 2018-05-15 Qualcomm Incorporated Systems, devices and methods for displaying pictures in a picture
KR102165818B1 (ko) * 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
JP6203007B2 (ja) * 2013-11-14 2017-09-27 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN103888689B (zh) * 2014-03-13 2017-10-31 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN103888679A (zh) 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN104580899B (zh) * 2014-12-26 2018-08-03 魅族科技（中国）有限公司 物体成像的控制方法及成像装置
JP6754968B2 (ja) * 2015-01-16 2020-09-16 太郎 金子 動画再生方法、動画再生装置及び動画再生プログラムを記憶したコンピュータ読み取り可能な記憶媒体
US20160299667A1 (en) * 2015-04-12 2016-10-13 Robert Joe Alexander Image manipulation system
JP6643008B2 (ja) * 2015-08-26 2020-02-12 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに記憶媒体
KR102655625B1 (ko) 2015-11-24 2024-04-09 삼성전자주식회사 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
CN110475058B (zh) * 2018-05-10 2021-06-01 宏碁股份有限公司 图像合成方法及智能装置
CN108377341A (zh) * 2018-05-14 2018-08-07 Oppo广东移动通信有限公司 拍照方法、装置、终端及存储介质
CN110557603B (zh) * 2018-06-01 2021-09-03 杭州海康威视系统技术有限公司 移动目标的监控方法、装置和可读存储介质
CN110166680B (zh) * 2019-06-28 2021-08-24 Oppo广东移动通信有限公司 设备成像方法、装置、存储介质及电子设备
US20210144297A1 (en) * 2019-11-12 2021-05-13 Shawn Glidden Methods System and Device for Safe-Selfie
CN111263228A (zh) * 2020-02-25 2020-06-09 北京金和网络股份有限公司 视频采集与处理方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE58902538D1 (de) * 1988-05-19 1992-12-03 Siemens Ag Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens.
US4998171A (en) * 1988-07-05 1991-03-05 Samsung Electronics Co., Ltd. Automatic shift circuit for a sub-picture screen for picture-in-picture feature
US6977676B1 (en) * 1998-07-08 2005-12-20 Canon Kabushiki Kaisha Camera control system
US7206029B2 (en) * 2000-12-15 2007-04-17 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on video content analysis
US6697124B2 (en) * 2001-03-30 2004-02-24 Koninklijke Philips Electronics N.V. Smart picture-in-picture
US6778224B2 (en) * 2001-06-25 2004-08-17 Koninklijke Philips Electronics N.V. Adaptive overlay element placement in video
JP2003189168A (ja) * 2001-12-21 2003-07-04 Nec Corp 携帯電話用カメラ
GB2398695B (en) * 2001-12-21 2005-03-09 Nec Corp Portable communication terminal with camera device, and method of image capture
JP3952897B2 (ja) * 2002-07-31 2007-08-01 日本電気株式会社 カメラモジュール及びそれを用いた携帯通信端末
JP3948387B2 (ja) * 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
JP2005094741A (ja) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd 撮像装置及び画像合成方法
KR20060103450A (ko) * 2003-12-16 2006-09-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 디스플레이 장치
US20050231637A1 (en) * 2004-04-16 2005-10-20 Eric Jeffrey Method for live image display and apparatus for performing the same
CN101563698A (zh) * 2005-09-16 2009-10-21 富利克索尔股份有限公司 个性化视频
US7581893B2 (en) * 2006-04-17 2009-09-01 Ivan Miramontes U-cover camera phone
KR101139454B1 (ko) * 2006-07-14 2012-04-30 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
JP5098259B2 (ja) * 2006-09-04 2012-12-12 株式会社ニコン カメラ
JP5114235B2 (ja) * 2008-02-07 2013-01-09 富士フイルム株式会社 画像表示装置，画像表示方法及び撮像装置
WO2009148404A1 (en) * 2008-06-03 2009-12-10 Xid Technologies Pte Ltd Method for replacing objects in images
KR101009881B1 (ko) * 2008-07-30 2011-01-19 삼성전자주식회사 재생되는 영상의 타겟 영역을 확대 디스플레이하기 위한장치 및 방법
ES2313860B1 (es) * 2008-08-08 2010-03-16 Nilo Garcia Manchado Camara digital y procedimiento asociado.
US20100201879A1 (en) * 2009-02-12 2010-08-12 Echostar Technologies L.L.C. Customizable Picture-in-Picture

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043985A1 (en) * 2016-08-30 2018-03-08 Samsung Electronics Co., Ltd. Image display apparatus and method of operating the same
US10453246B2 (en) 2016-08-30 2019-10-22 Samsung Electronics Co., Ltd. Image display apparatus and method of operating the same

Also Published As

Publication number Publication date
CN102572261A (zh) 2012-07-11
GB201117905D0 (en) 2011-11-30
US20120092529A1 (en) 2012-04-19
GB2485036A (en) 2012-05-02
KR101680684B1 (ko) 2016-11-29

Similar Documents

Publication Publication Date Title
KR101680684B1 (ko) 영상 처리 방법 및 이를 적용한 영상 촬영 장치
KR102157675B1 (ko) 촬영 장치 및 그 촬영 방법
US10264174B2 (en) Photographing apparatus and focus detection method using the same
JP4702441B2 (ja) 撮像装置及び撮像方法
US9106837B2 (en) Image capturing device and image capturing method
CN107850753B (zh) 检测设备、检测方法、检测程序和成像设备
EP2587407B1 (en) Vision recognition apparatus and method
JP2023036625A (ja) 撮像装置
KR102621115B1 (ko) 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법
US8878910B2 (en) Stereoscopic image partial area enlargement and compound-eye imaging apparatus and recording medium
JP2015012480A (ja) 画像処理装置及び画像処理方法
JP2009128969A (ja) 撮像装置および方法並びにプログラム
US20130083169A1 (en) Image capturing apparatus, image processing apparatus, image processing method and program
CN110995982B (zh) 图像处理装置及其控制方法、摄像装置、以及记录介质
JP2011217275A (ja) 電子機器
JP2007251532A (ja) 撮像装置及び顔領域抽出方法
JP2011107550A (ja) 撮像装置
JP2009253925A (ja) 撮像装置及び撮像方法と、撮影制御プログラム
JP2008172395A (ja) 撮像装置、画像処理装置、方法およびプログラム
JP2008028956A (ja) 撮像装置、および、撮像装置における対象物検出用画像信号の生成方法
JP2016036081A (ja) 画像処理装置、方法及びプログラム並びに記録媒体
JP2007249526A (ja) 撮像装置及びその顔領域抽出方法
CN112640430A (zh) 成像元件、摄像装置、图像数据处理方法及程序
EP3145172A1 (en) Image capturing device and still image generating method
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant