특허권

동적 객체 검출 장치 및 방법

상품번호 2020031118332225
IPC 한국(KO) 등록
출원번호 1020170170348
공개번호 10-2019-0069958
등록번호 1020022280000
출원인 연세대학교 산학협력단
판매가 0원
 

꼭 읽어보세요!

기술거래는 양방향 경매방식으로 이루어집니다.

기술을 매수한 당사자는 거래금액의 전부 혹은 10퍼센트(%)를 당일 본원에 입금하여야 하며, 10% 나머지 잔금은 거래일로부터 2일 이내(거래일 익일)에 납부하여야 합니다. 만약 위 지정 기간내에 매수자가 입금하지 않으면 거래는 무효가 되며, 잔금도 기한내에 입금되지 않으면 매도자로 귀속됩니다. 이는 매도자의 기한의 이익상실을 보장함 입니다.

기술거래의 수수료는 기술의 이전 및 사업화 촉진에 관한 법률 시행규칙 산업통상자원부령 제48호 의거 기술이전 금액의 13퍼센트∼기술이전 금액의 17.5퍼센트로 되어있지만, 본 거래사이트에서는 매도‧매수인 각각 10%로 합니다.
이때 매수인의 매수금액(당사로 입금되는 금액)에서 수수료 각각10% 인 20%를 공제한 후 매도인에게 계좌이체를 하여야 합니다.
또한 권리이전(특허)비용은 기술양수인(매수자)부담이며 그 비용은 별도입니다.

 
동적 객체 검출 장치 및 방법이 개시된다. 개시된 장치는, 제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 영상 획득부; 제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 카메라 움직임 검출부; 상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 깊이 정보 연산부; 상기 카메라 움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 변환 영상 생성부; 상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 광학 플로우 영상 생성부; 및 상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 동적 객체 검출부를 포함하되, 상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상이다. 개시된 장치 및 방법에 의하면, 움직이는 상태에서 포착되는 영상에서 동적 객체를 효과적으로 검출할 수 있는 장점이 있다.

청구범위
청구항 1
제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 영상 획득부;
제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 카메라 움직임 검출부;
상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 깊이 정보연산부;
상기 카메라 움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 변환 영상 생성부;
상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 광학 플로우 영상 생성부;및
상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 동적 객체 검출부를 포함하되,
상기 카메라 움직임 검출부는 상기 카메라의 회전 움직임 및 직선 움직임을 독립적으로 검출하며,
상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상이고,
상기 변환 영상 생성부는 상기 회전 움직임 및 상기 직선 움직임을 독립적으로 적용하여 변환 영상을 생성하고,
상기 변환 영상 생성부는 상기 회전 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환하는것을 특징으로 하는 동적 객체 검출 장치.
위 수학식에서, ru는 제1 프레임 영상 픽셀 좌표 u에 대한 회전 움직임을 의미하고, rv는 제1 프레임 영상 픽셀좌표 v에 대한 회전 움직임을 의미하며, yaw, pitch, roll은 검출된 회전 움직임 성분을 의미하고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하고, FoV는 시야각을 의미하며, d는 각 픽셀에 대해 획득된 깊이 정보를 의미하고, s는 소실점에서 (u.v)까지의 거리를 의미하며, height는 제1 프레임 영상의 수직축픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.
청구항 2
삭제
청구항 3
삭제
청구항 4
삭제
청구항 5
제1항에 있어서,상기 변환 영상 생성부는 상기 직선 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환하는것을 특징으로 하는 동적 객체 검출 장치.위 수학식에서, tu 및 tv는 제1 프레임 영상 좌표 (u,v)의 u축 및 v축으로의 변환을 의미하고, d는 각 픽셀에 대해 획득된 깊이 정보이고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하며, height는 제1프레임 영상의 수직축 픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.
청구항 6
제1항에 있어서,상기 광학 플로우 영상 생성부는 상기 변환 영상 및 상기 제2 프레임 영상의 차영상을 이용하여 광학 플로우 영상을 생성하는 것을 특징으로 하는 동적 객체 검출 장치.
청구항 7
삭제
청구항 8
제1항에 있어서,상기 생성된 광학 플로우 영상에 대해 침식 필터 및 확장 필터를 적용하여 후처리를 수행하는 후처리부를 더 포함하는 것을 특징으로 하는 동적 객체 검출 장치.
청구항 9
삭제
청구항 10
삭제
청구항 11
제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 단계(a);
제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 단계(b);
상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 단계(c);
상기 카메라 움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 단계(d);
상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 단계(e); 및
상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 단계(f)를 포함하되,
상기 단계(b)는 상기 카메라의 회전 움직임 및 직선 움직임을 독립적으로 검출하며,
상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상이고,
상기 단계(d)는 상기 회전 움직임 및 상기 직선 움직임을 독립적으로 적용하여 변환 영상을 생성하며,
상기 단계(d)는 상기 회전 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환하는 것을 특징으로 하는 동적 객체 검출 방법.
위 수학식에서, ru는 제1 프레임 영상 픽셀 좌표 u에 대한 회전 움직임을 의미하고, rv는 제1 프레임 영상 픽셀좌표 v에 대한 회전 움직임을 의미하며, yaw, pitch, roll은 검출된 회전 움직임 성분을 의미하고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하고, FoV는 시야각을 의미하며, d는 각 픽셀에 대해 획된 깊이 정보를 의미하고, s는 소실점에서 (u.v)까지의 거리를 의미하며, height는 제1 프레임 영상의 수직축픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.
청구항 12
삭제
청구항 13
삭제
청구항 14
삭제
청구항 15
제11항에 있어서,상기 단계(d)는 상기 직선 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환하는 것을 특징으로 하는 동적 객체 검출 방법.
위 수학식에서, tu 및 tv는 제1 프레임 영상 좌표 (u,v)의 u축 및 v축으로의 변환을 의미하고, d는 각 픽셀에 대해 획득된 깊이 정보이고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하며, height는 제1프레임 영상의 수직축 픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.
청구항 16
제11항에 있어서,상기 단계(e)는 상기 변환 영상 및 상기 제2 프레임 영상의 차영상을 이용하여 광학 플로우 영상을 생성하는 것을 특징으로 하는 동적 객체 검출 방법.
청구항 17
삭제
청구항 18
제11항에 있어서,상기 생성된 광학 플로우 영상에 대해 침식 필터 및 확장 필터를 적용하여 후처리를 수행하는 단계를 더 포함하는 것을 특징으로 하는 동적 객체 검출 방법.
발명의 설명
기 술 분 야
본 발명의 실시예들은 동적 객체 검출 장치 및 방법에 관한 것으로서, 더욱 [0001] 상세하게는 3차원 지도 생성을 위한획득하는 영상으로부터 동적 객체를 검출하는 장치 및 방법에 관한 것이다.
배 경 기 술
[0003] 근래에 들어 자율 주행 자동차에 대한 연구가 진행됨에 따라 자동차에 여러 센서들을 장착하여 학습을 통해 정교한 3차원 지도를 생성하는 연구가 활발히 진행되고 있다.
[0004] 자동차에 카메라를 장착하여 획득한 영상을 통해 생성하는 3차원 지도는 배경 정보만을 포함하여야 하며, 움직이는 자동차나 보행자와 같은 객체는 지도에서 제될 필요가 있다.
[0005] 그러나, 카메라 센서에서 취득된 영상을 그대로 3차원 지도 생성에 이용할 경우, 이러한 동적 객체들이 그대로지도에 남기 때문에 이를 검출하여 제거할 필요가 있다.
[0006] 이와 같은 동적 객체를 검출하는 기술로 대표적인 기술이 광학 플로우(Optical Flow) 영상을 이용하는 것이다.
광학 플로우 영상은 현재 프레임과 다음 프레임간의 차이를 이용하여 광학 플로우를 연산하여 생성되고 이를 이
용하여 동적 객체를 검출하도록 한다.
이러한 이와 같은 광학 플로우 영상은 카메라가 정지된 상태에서는 효과적으로 [0007] 동적 객체를 검출할 수 있으나 3차원 지도를 제작하는 경우와 같이 움직이는 상태에서 영상이 획득될 경우 적절히 동적 객체를 검출할 수 없는문제점이 있었다.
발명의 내용
해결하려는 과제
[0009] 본 발명은 카메라가 움직이는 상태에서 포착되는 영상에서 동적 객체를 효과적으로 검출할 수 있는 방법 및 장치를 제안한다.
과제의 해결 수단
[0011] 본 발명의 일 측면에 따르면, 제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 영상 획득부;제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 카메라 움직임 검출부; 상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 깊이 정보 연산부; 상기 카메라움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 변환 영상 생성부; 상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 광학 플로우 영상 생성부; 및 상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 동적 객체 검출부를 포함하되, 상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상인 동적 객체 검출 장치가 제공된다.
[0012] 상기 카메라 움직임 검출부는 회전 움직임 및 직선 움직임을 독립적으로 검출한다.
[0013] 상기 변환 영상 생성부는 상기 회전 움직임 및 상기 직선 움직임을 독립적으로 적용하여 변환 영상을 생성한다.
[0014] 상기 변환 영상 생성부는 상기 회전 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이변환한다.
[0015]
[0016] 위 수학식에서, ru는 제1 프레임 영상 픽셀 좌표 u에 대한 회전 움직임을 의미하고, rv는 제1 프레임 영상 픽셀좌표 v에 대한 회전 움직임을 의미하며, yaw, pitch, roll은 검출된 회전 움직임 성분을 의미하고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하고, FoV는 시야각을 의미하며, d는 각 픽셀에 대해 획득된 깊이 정보를 의미하고, s는 소실점에서 (u.v)까지의 거리를 의미하며, height는 제1 프레임 영상의 수직축픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.
[0017] 상기 변환 영상 생성부는 상기 직선 움직임에 기초하여 상기 제1 프레임 영상을 다음의 수학식과 같이 변환하는것을 특징으로 하는 동적 객체 검출 장치.
[0019]
[0020]
[0021]
위 수학식에서, tu 및 tv는 제1 프레임 영상 좌표 (u,v)의 u축 및 v축으로의 [0022] 변환을 의미하고, d는 각 픽셀에대해 획득된 깊이 정보이고, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하며, height는제1 프레임 영상의 수직축 픽셀 수를 의미하고, width는 제1 프레임 영상의 수평축 픽셀 수를 의미함.
[0023] 상기 광학 플로우 영상 생성부는 상기 변환 영상 및 상기 제2 프레임 영상의 차영상을 이용하여 광학 플로우 영상을 생성한다.
[0024] 상기 광학 플로우 영상 생성부는 상기 변환 영상 및 상기 제2 프레임 영상의 차영상을 이용하여 광학 플로우 영상을 생성한다.
[0025] 상기 동적 객체 검출 장치는 상기 생성된 광학 플로우 영상에 대해 침식 필터 및 확장 필터를 적용하여 후처리를 수행하는 후처리부를 더 포함한다.
[0026] 본 발명의 다른 측면에 따르면, 제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 영상 획득부;제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 카메라 움직임 검출부; 상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 깊이 정보 연산부; 상기 카메라움직임 및 상기 픽셀별 깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 변환 영상 생성부; 상기 제2 프레임 영상 및 상기 변환 영상을 이용하여 광학 플로우 영상을 생성하는 광학 플로우 영상 생성부; 및 상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 동적 객체 검출부를 포함하되,상기 카메라 움직임 검출부는 회전 움직임 및 직선 움직임을 독립적으로 검출하는 동적 객체 검출 장치가 제공된다.
[0027] 본 발명의 또 다른 측면에 따르면, 제1 프레임 영상 및 제2 프레임 영상의 스테레오 영상을 획득하는 단계(a);제1 프레임 및 제2 프레임 구간에서의 카메라 움직임을 검출하는 단계(b); 상기 제1 프레임 영상의 스테레오 영상을 이용하여 상기 제1 프레임 영상의 픽셀별 깊이를 획득하는 단계(c); 상기 카메라 움직임 및 상기 픽셀별깊이에 기초하여 상기 제1 프레임 영상을 변환한 변환 영상을 생성하는 단계(d); 상기 제2 프레임 영상 및 상기변환 영상을 이용하여 광학 플로우 영상을 생성하는 단계(e); 및 상기 생성된 광학 플로우 영상을 이용하여 동적 객체를 검출하는 단계(f)를 포함하되, 상기 변환 영상은 상기 카메라 움직임을 상기 제1 프레임 영상에 반영하여 변환한 영상인 동적 객체 검출 방법이 제공된다.
발명의 효과
[0029] 본 발명에 의하면, 움직이는 상태에서 포착되는 영상에서 동적 객체를 효과적으로 검출할 수 있는 장점이 있다.
도면의 간단한 설명
[0031] 도 1은 본 발명의 일 실시예에 따른 동적 객체 검출 장치의 개략적 구조를 도시한 블록도.
도 2는 본 발명의 일 실시예에 따라 검출되는 회전 움직임과 직선 움직임을 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따라 검출되는 회전 움직임의 성분을 설명하기 위한 도면.
도 4는 월드 좌표계와 카메라를 통해 획득되는 이미지간의 관계를 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 동적 객체 검출 방법의 전체적인 흐름을 도시한 순서도.
발명을 실시하기 위한 구체적인 내용
[0032] 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
[0033] 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
[0035] 도 1은 본 발명의 일 실시예에 따른 동적 객체 검출 장치의 개략적 구조를 도시한 블록도이다.
[0036] 도 1을 참조하면, 본 발명의 일 실시예에 따른 동적 객체 검출 장치는 스테레오 영상 획득부(100), 카메라 움직임 검출부(110), 깊이 정보 연산부(120), 변환 영상 생성부(130), 광학 플로우 영상 생성부(140), 후처리부(150) 및 동적 객체 검출부(160)를 포함한다.
본 발명의 일 실시예에 따른 동적 객체 검출 장치는 차량에 설치되어 3차원 [0037] 지도를 제작하는데 사용될 수 있다.
3차원 지도를 제작하기 위해 차량에서 영상을 획득할 경우 차량이 움직이는 상태이기에 획득하는 영상으로부터동적 객체만을 검출하는 것은 어려운 작업이다. 물론, 이와 같은 용도 이외에도 움직이면서 획득한 영상으로부터 동적 객체를 검출할 필요가 있다면 이와 다른 다양한 용도로 사용될 수 있을 것이다.
[0038] 스테레오 영상 획득부(100)는 스테레오 카메라를 이용하여 스테레오 영상을 획득한다. 스테레오 영상 획득부(100)는 좌영상 획득을 위한 제1 카메라 장치와 우영상 획득을 위한 제2 카메라 장치를 포함하여 좌영상 및 우영상을 독립적으로 획득한다.
[0039] 본 발명은 움직임을 반영하여 동적 객체를 검출하여야 하며 추후 설명하겠지만 이 경우 촬영된 영상으로부터 깊이 정보를 획득하여야 하고, 이를 위해 둘 이상의 카메라를 이용하여 스테레오 영상을 획득한다.
[0040] 카메라 움직임 검출부(110)는 카메라의 움직임을 검출하며 추후 설명하는 변환 영상을 생성하기 위해 카메라 움직임을 검출한다.
[0041] 카메라가 차량에 고정되어 있다면 차량의 움직임으로 임해 카메라의 움직임이 발생할 수 있으며 카메라 자체의움직임으로 인해 움직임이 발생할 수도 있다.
[0042] 카메라 움직임 검출부(110)는 스테레오 영상 획득부로부터 획득하는 영상의 프레임들 중 제1 프레임 영상과 제2프레임 영상 사이에 발생하는 카메라의 움직임을 검출한다.
[0043] 카메라 움직임 검출부(110)는 카메라의 움직임 정보를 검출하게 되는데 본 발명은 카메라의 움직임을 두 개의움직임으로 구분하여 검출한다. 첫 번째 카메라의 움직임은 카메라의 회전 움직임이고 두 번째 카메라 움직임은직선 움직임이다. 회전 움직임과 직선 움직임의 조합이 실질적인 카메라의 움직임으로 볼 수 있으나, 본 발명은이를 구분하여 검출한다.
[0044] 도 2는 본 발명의 일 실시예에 따라 검출되는 회전 움직임과 직선 움직임을 설명하기 위한 도면이다.
[0045] 도 2의 (a)는 카메라의 실제 움직임을 나타낸 도면이고, (b)는 (a)의 움직임 중 카메라의 직선 움직임을 나타낸도면이며, (c)는 (a)의 움직임 중 회전 움직임만을 나타낸 도면이다.
[0046] 도 2에 도시된 바와 같이, 카메라의 움직임은 회전 움직임과 직선 움직임의 합으로 표현되며, 카메라 움직임 검출부(110)는 도 2에 도시된 바와 같은 직선 움직임과 회전 움직임을 각각 독립적으로 검출한다.
[0047] 본 발명의 바람직한 실시예에 따르면, 카메라의 움직임은 가속도 센서와 같은 알려진 다양한 센서를 이용하여검출될 수 있을 것이다.
[0048] 회전 움직임은 yaw, pitch, roll의 세 가지 성분에 대한 움직임을 포함하며, 직선 움직임은 x축, y축, z축 방향으로의 움직임을 포함한다.
[0049] 도 3은 본 발명의 일 실시예에 따라 검출되는 회전 움직임의 성분을 설명하기 위한 도면이다.
[0050] 도 3을 참조하면, roll은 대상체의 특정 길이 방향(예를 들어, z축)을 기준으로 자가 회전하는 움직임을 의미한다. yaw는 대상체가 좌우 방향(예를 들어, x축)으로 회전하는 움직임을 의미한다. 또한, pitch는 대상체가 상하방향(예를 들어, y축)으로 회전하는 움직임을 의미한다.
[0051] 깊이 정보 연산부(120)는 획득하는 영상의 깊이 정보를 연산하며, 픽셀별로 깊이 정보를 연산한다. 스테레오 영상을 이용하여 깊이 정보를 획득하는 다양한 연산 방식이 사용될 수 있을 것이다. 예를 들어, 좌영상과 우영상의 차영상에 기초하여 변이를 추정하고, 추정된 변이에 기초하여 픽셀별 깊이 정보를 연산할 수 있을 것이다.
깊이 정보 연산부(120)는 제1 프레임 영상의 좌영상 및 우영상을 이용하여 제1 프레임 영상의 깊이 정보를 연산한다.
[0052] 변환 영상 생성부(130)는 구분되어 획득한 회전 움직임 및 직선 움직임에 기초하여 변환 정보를 생성하고, 이에기초하여 변환 영상을 생성한다. 여기서, 변환 정보는 획득하는 제1 프레임 영상과 제2 프레임 영상 사이에 발생하는 움직임에 기초하여 제1 프레임 영상을 변환시키기 위한 정보이며, 제1 프레임 영상의 스테레오 영상 중어느 하나의 영상(예를 들어, 좌영상)에 대해 변환을 수행한다.
[0053] 이와 같은 변환 정보는 제1 프레임 영상과 제2 프레임 영상에 있는 객체들 중 고정 객체와 동적 객체를 구분하기 위해 생성되는 정보이다.
결국, 변환 정보는 제1 프레임 영상(좌영상)의 각 픽셀들을 검출된 카메라 [0054] 움직임에 기초하여 어떻게 변환시킬것인가에 대한 정보이며, 변환 영상은 검출된 카메라 움직임이 있을 경우 제1 프레임 영상이 어떻게 변화될 것인가를 예측한 영상이라고 할 수 있다.
[0055] 이와 같은 변환 영상의 생성을 위해서는 월드 좌표계와 이미지 좌표계간의 관계를 이용하여야 한다. 본 명세서에서는 월드 좌표계는 (X, Y, Z)로 표현하기로 하며, 획득되는 이미지의 픽셀 좌표는 (u,v)로 표현하기로 한다.
[0056] 도 4는 월드 좌표계와 카메라를 통해 획득되는 이미지간의 관계를 설명하기 위한 도면이다.
[0057] 도 4를 참조하면, f는 카메라 렌즈와 이미지 평면 사이의 거리, 즉 초점 거리를 의미한다. 또한, d는 물체와 카메라 렌즈 사이의 거리를 나타낸다. FoV(Eield of View)는 카메라의 시야각을 의미하며, 앞서 설명한 바와같이, (u,v)는 영상의 좌표이다.
[0058] 도 4에서, 월드 좌표계의 단위는 실제 거리인 미터이고, (u,v)의 단위는 픽셀이 된다. 도 4와 같은 관계에 있을 때, 월드 좌표계와 영상 픽셀간의 관계식은 다음의 수학식 1과 같다.
수학식 1
[0059]
[0060] 월드 좌표계와 이미지 좌표가 위와 같은 관계에 있다는 점에 기초하여 카메라의 움직임에 기초하여 변환 영상을생성하는 방법을 설명한다.
[0061] 검출된 회전 움직임(yaw, pitch, roll)에 기초하여 영상(구체적으로 제1 프레임 영상의 좌영상) 픽셀 좌표 u에대한 회전 움직임으로 인한 변환(ru) 및 픽셀 좌표v에 대한 회전 움직임으로 인한 변환(rv)은 다음의 수학식 2와같이 이루어진다.
수학식 2
[0062]
[0063] 위 수학식 2에서, 는 제1 프레임 영상의 수직축과 좌표(u.v)가 이루는 각도를 의미하고, FoV는 시야각을 의미하며, d는 각 픽셀에 대해 획득된 깊이 정보를 의미하고, s는 소실점에서 (u.v)까지의 거리를 의미한다.
[0064] 한편, 직선 움직임(tx, ty, tz)에 따른 제1 프레임 영상 좌표 (u,v)의 변환인 tu 및 tv는 다음의 수학식 3과 같이 이루어진다.
수학식 3
[0065]
위 수학식에서, d는 각 픽셀에 대해 획득된 깊이 정보이고, 는 제1 프레임 영상의 [0066] 수직축과 좌표(u.v)가 이루는 각도를 의미하며, height는 이미지의 y축 높이(y축 픽셀수)를 나타내고 width는 이미지의 x축 너비(x축 픽셀수)를 나타낸다
[0067] 수학식 2에 따른 회전 변환과 수학식 3에 따른 직선 변환은 독립적으로 이루어진다. 이는 변환의 순서에 무관하게 순차적으로 변환이 이루어지면 무방하다는 것을 의미하며, 일례로 회전 변환을 먼저 수행한 후 직선 변환을수행할 수 있을 것이며 그 역으로 변환이 이루어져도 무방하다.
[0068] 이와 같이 생성되는 변환 영상을 통해 고정 객체들이 검출된 카메라 움직임에 따라 제2 프레임 영상(좌영상)에서 어떻게 그 위치가 이동할 것인가를 예측할 수 있다.
[0069] 변환 영상 생성부(130)에 의해 변환 영상을 생성하면 광학 플로우 영상 생성부(140)는 변환 영상과 제2 프레임영상을 이용하여 광학 플로우 영상을 생성한다. 광학 플로우 영상은 변환 영상과 제2 프레임 영상의 차영상을이용하여 생성된다. 두 개의 영상을 이용하여 광학 플로우 영상을 생성하는 다양한 방법이 알려져 있으며, 어떠한 방법에 의해서도 광학 플로우 영상을 생성할 수 있을 것이다.
[0070] 일례로, 광학 플로우 영상은 Lukas-kanade 방식을 이용하여 생성될 수도 있으며, Flownet과 같은 딥러닝 모델을이용하여 생성될 수도 있을 것이다.
[0071] 변환 영상 생성부(130)에 의해 생성된 변환 영상은 카메라의 움직임을 반영한 영상이기에 정적 객체는 변환 영상과 제2 프레임 영상에 그 위치가 동일하게 나타난다. 그러나, 동적 객체는 변환 영상과 제2 프레임 영상에서그 위치가 상이하게 나타나게 된다.
[0072] 후처리부(150)는 정확한 동적 객체 인식을 위해 변환 영상에 대한 후처리를 수행한다. 광학 플로우 영상의 외곽선 부분은 명확하지 않을 수 있으며 이로 인해 동적 객체 영역의 검출이 어려울 수 있으며, 후처리부(150)는 정확한 동적 객체 영역 검출을 위한 후처리를 수행한다.
[0073] 본 발명의 일 실시예에 따르면, 침식(Erosion) 및 팽창(Dialation) 필터를 이용한 필터링을 통해 후처리를 수행할 수 있다. 확장 필터는 영상 내 물체의 가장자리에 픽셀을 추가하는 필터를 의미하며, 침식 필터는 영상 내물체의 가장자리의 픽셀을 제거하는 필터이다. 본 발명은 이 두 개의 필터를 조합하여 후처리를 수행할 수있다. 필요에 따라 후처리가 생략될 수도 있다는 점은 당업자에게 있어 자명할 것이다.
[0074] 동적 객체 검출부(160)는 후처리가 완료된 광학 플로우 영상으로부터 동적 객체를 검출한다. 광학 플로우 영상은 바이너리 형태의 영상으로서 광학 플로우 영상에서 다른 색상을 가지는 영역의 객체를 동적 객체로검출한다.
[0075] 이와 같이 검출되는 동적 객체는 다양한 형태로 활용될 수 있다. 앞서 설명한 바와 같이 3D 지도 제작 시 동적객체를 제거하는데 사용될 수 있을 것이다.
[0076] 도 5는 본 발명의 일 실시예에 따른 동적 객체 검출 방법의 전체적인 흐름을 도시한 순서도이다.
[0077] 도 5를 참조하면, 우선 카메라를 이용하여 스테레오 영상을 획득한다(단계 500). 카메라를 이용하여 제1 프레임영상 및 제2 프레임 영상을 획득하게 된다.
제1 프레임 영상 및 제2 프레임 영상이 획득하면서, 두 프레임 사이에 발생하는 [0078] 카메라 움직임을 검출한다(단계502). 본 발명은 카메라의 움직임을 회전 움직임과 직선 움직임으로 구분하여 검출한다.
[0079] 한편, 획득한 스테레오 영상으로부터 제1 프레임 영상(스테레오 영상 중 좌영상)의 픽셀별 깊이 정보를 획득한다(단계 504).
[0080] 픽셀별 깊이 정보 및 카메라 움직임 정보를 기초하여 제1 프레임 영상(스테레오 영상 중 좌영상)에 대한 변환영상을 생성한다(단계 506). 변환 영상은 제1 프레임 영상에 대한 회전 변환과 직선 변환을 순차적으로 수행하면서 생성할 수 있다. 회전 변환은 수학식 2와 같이 이루어질 수 있으며, 직선 변환은 수학식 3과 같이 이루어질 수 있다.
[0081] 변환 영상이 생성되면, 변환 영상과 제2 프레임 영상(스테레오 영상 중 좌영상)을 이용하여 광학 플로우 영상을생성한다(단계 508). 앞서 설명한 바와 같이, 변환 영상과 제2 프레임 영상의 차영상을 이용하여 광학 플로우영상을 생성한다.
[0082] 광학 플로우 영상이 생성되면, 객체 영역을 보다 명확히 하기 위한 후처리를 수행하며, 앞서 설명한 바와 같이일례로 침식 필터 및 확장 필터가 후처리를 위해 사용될 수 있다(단계 510).
[0083] 후처리가 완료된 광학 플로우 영상으로부터 동적 객체를 검출한다(단계 512).
[0084] 이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다. 

등록된 상품문의

  • 상품문의가 없습니다.

등록된 사용후기

  • 사용후기가 없습니다.