Current Issue

Journal of the Korean Society for Marine Environment and Energy - Vol. 27 , No. 1
[Paper List]

[ Original Article ]
Journal of the Korean Society for Marine Environment & Energy - Vol. 27, No. 1, pp. 28-37
Abbreviation: J. Korean Soc. Mar. Environ. Energy
ISSN: 2288-0089 (Print) 2288-081X (Online)
Print publication date 25 Feb 2024
Received 16 Nov 2023 Revised 03 Dec 2023 Accepted 06 Dec 2023
DOI: https://doi.org/10.7846/JKOSMEE.2024.27.1.28

스테레오 비전 기술을 이용한 원격 해빈표고 산정
박성진1 ; 김광열2 ; 강태순3 ; 허의주4, †
1㈜지오시스템리서치 상무이사
2㈜지오시스템리서치 부회장
3㈜지오시스템리서치 전무이사
4㈜지오시스템리서치 전임

Estimation of Remote Beach Elevation using Stereo Vision Technology
Sung Jin Park1 ; Kwang Yul Kim2 ; Tae Soon Kang3 ; Eui Ju Heo4, †
1Managing Director, Geosystem Research Corporation, Gunpo, Gyeonggi 15807, Korea
2Vice President, Geosystem Research Corporation, Gunpo, Gyeonggi 15807, Korea
3Executive Director, Geosystem Research Corporation, Gunpo, Gyeonggi 15807, Korea
4Engineer, Geosystem Research Corporation, Gunpo, Gyeonggi 15807, Korea
Correspondence to : †ejheo@geosr.com

Funding Information ▼
초록

기존 연안침식을 모니터링 하기 위한 비디오 카메라 시스템은 모노 카메라에 기반한 2차원적인 면적변화에 초점을 맞춰 침식 모니터링이 진행되어 오고 있다. 본 연구에서는 이러한 해안선 모니터링 방식에 해빈 표고 산정을 보완하기 위하여‘스테레오 비전’이라는 새로운 관측 방법의 적용 가능성에 대하여 검토하였다. 현장 자료 취득 및 검증을 위해 스테레오 카메라 시스템을 경기도 안산시 대부도 방아머리 해안에 설치하였고, 해빈 촬영과 21개 정점에서 GNSS 측량을 수행하였다. 스테레오 영상분석은 Camera Calibration, Feature Matching, Rectification, Stereo Matching 순으로 진행하였다. 일반적인 스테레오 영상분석에서는 거리에 대한 정보만을 획득할 수 있기 때문에 스테레오 영상에 대한 표고를 산출하기 위해서 표고 산정 알고리즘을 개발하였다. 스테레오 카메라를 이용한 해빈표고 산정 값과 GNSS 측량 값에 대한 오차는 RMSE가 0.042 m, 최대오차가 0.09 m로서 국토지리정보원의 디지털 항공사진 측량 표고 오차의 한계를 만족하였다.

Abstract

Video camera systems for monitoring existing coastal erosion have been undergoing erosion monitoring, focusing on two-dimensional area changes based on mono cameras. In this study, the applicability of a new observation method called 'Stereo Vision' was examined to supplement the calculation of the beach elevation to this coastline monitoring method. A stereo camera system was deployed on the coast of Bangameori, Daebudo, Ansan-si, Gyeonggi-do, to acquire and verify field data, and GNSS surveying was performed at 21 points. Stereo image analysis was conducted in the order of Camera Calibration, Feature Matching, Rectification, and Stereo Matching. Since general stereo image analysis only provides information on distance, elevation estimation algorithm was developed to estimate the elevation using stereo images. The error between the beach elevation calculation value using a stereo camera and the GNSS survey value had an RMSE of 0.042 m and a maximum error of 0.09 m, satisfying the limits of elevation error in digital aerial photogrammetry of the National Geographic Information Institute.

Keywords: Stereo Camera, Beach Elevation, Coastal Erosion video monitoring, Remote Survey, Image Analysis
키워드: 스테레오 카메라, 해빈 표고, 연안 침식 비디오 모니터링, 원격 측량, 영상분석
1. 서 론

모래 해빈은 바다 생물의 서식처가 될 뿐만 아니라 홍수 및 자연재해로부터 연안지역을 보호하는 중요한 천연 방파제 역할을 한다. 따라서 모래 해빈의 변화를 모니터링 하는 것은 연안관리에 있어 매우 중요하다(Kim et al.[2005]). 최근 우리나라의 해수위 상승, 너울성 고파랑 유입, 태풍의 강도 증가, 댐 또는 보 건설 및 연안개발로 인한 모래 차단(Lee et al.[2022]; Kim and Shim[2012]; Choi et al.[2009]; Lee et al.[2015]; Choi and Kim[2001]; Kim[2013]) 등의 복합적인 영향으로 연안침식이 발생된다. 이에 따라 해양수산부(Ministry of Oceans and Fisheries[2003~2022])를 포함한 여러 기관에서 연안침식 현상의 원인과 실태를 밝히기 위해 연안침식 모니터링을 수행하고 있다.

연안침식 모니터링은 크게 직접측량과 원격측량으로 구분되며, 직접측량에는 사람이 RTK GNSS(Real time Kinematic Global Navigation Satellite System)을 이용하여 현장에서 일정한 간격으로 모니터링하는 방법으로서 비교적 정확한 관측자료를 산출할 수 있는 반면에 노동집약적이고 지속적인(매일) 모니터링을 수행하기에는 한계가 있다. 원격측량은 라이다와 광학카메라 등의 센서를 이용하여 원거리에서 넓은 면적의 공간정보 데이터를 취득하는 방식이다. 원격측량 방법 중 하나인 라이다 측량 방법은 레이저 펄스를 해빈으로 주사한 후 반사된 레이저의 도달 시간을 측정하여 해빈의 지형 정보를 획득하는 방법으로서 짧은 시간 내에 많은 양의 지형정보 데이터 획득이 가능하고(Yoon[2023]), 센티미터 수준의 정확도와 미세한 공간 해상도로 조간대의 형태학적 변화를 정량화하는 곳에 사용되기도 한다([Chen et al.[2023]). 이러한 라이다 센서는 지상, 항공 플랫폼에 장착하여 대규모 영역을 측량하기에 적합하지만, 높은 비용 등으로 장기적인 모니터링을 유지하기가 어렵고 계절적 변동성 파악이 쉽지 않다(Addona et al.[2022]; Castelle et al.[2021]). 카메라를 이용한 모니터링은 광학카메라 센서를 드론 또는 항공기 등의 플랫폼에 탑재하거나 지상 높은 곳에 CCTV와 같이 설치하여 측량하는 방법으로서 비스듬하게 찍힌 영상을 정사영상으로 변형한 후 현장 측정 자료인 GNSS로 적절히 보정할 경우 정량적이고 신뢰할 수 있는 해빈 변화를 파악할 수 있다(Yoon[2023]; Addona et al.[2022]). 광학카메라를 UAV와 같은 드론 플랫폼에 장착할 경우 위성 이미지나 LiDAR에 비해 상대적으로 저렴한 비용으로 관측할 수 있고 공간 해상도가 다소 높은 이미지를 제공할 수 있지만(Manestar[2023]), 전문가가 수시로 해빈 상공에 드론을 띄워야 하는 문제와 바람 등의 악기상 문제로 인하여 지속적인 모니터링이 어렵다. CCTV의 경우, 해양수산부는 2003년부터 연안침식 실태조사 체계 구축사업의 일환으로 연안침식 비디오 모니터링을 수행해 오고 있다. 해당 방식은 지속적인(매일) 관측이 가능하고 적은 비용으로 해안선의 변화(전진과 후퇴) 및 사주의 형태를 파악할 수 있는 장점이 있으나, 영상만을 이용하여 해빈의 표고 값이 산출되지 않아 태풍 등의 이벤트에 따른 체적 개념의 침식량 또는 퇴적량을 파악하지 못한다는 단점이 있다. 따라서 광학카메라를 이용한 원격 측량으로 해빈의 표고 값 산정과 해수면 하의 수심변화 산정(Holman and Bergsma[2021])이 가능하다면 저렴한 비용으로 그리고 지속적으로 해빈의 전진, 후퇴뿐만 아니라 체적량 변화를 파악할 수 있어 평상시 또는 태풍 등의 외력에 의한 모래의 이동 및 침‧퇴적 변화량을 정량적으로 파악할 수 있을 것으로 판단된다.

스테레오 카메라(또는 스테레오 비전이라고도 함)에 대한 연구는 1990년 초반부터 세계적으로 증가하는 추세를 보이고 있으며, 2010년 이후 현재까지 600여편의 논문이 매년 지속적으로 보고되고 있다(www.scopus.com). 스테레오 카메라를 이용한 공간 추정 방법은 사람이 양안을 이용하여 근‧원거리 등 공간정보를 추정할 수 있는 것보다 더 정확하고 정량적으로 정보를 제공할 수 있다. 따라서 산업계에서 크게 인기를 얻고 있는 신기술이며, 하드웨어 및 소프트웨어(OpenCV, MATLAB, AI, Block Matching 등)의 기술들이 지속적으로 고도화되거나 개발되고 있다. 이러한 기술은 국내 기술로만 한정하더라도 자동차 자율주행 분야, 교통량 추정, 수중생물의 탐지 및 유영속도 등 다양한 분야에 활용되고 있다(Lee[2021]; Seo and Kim[2020]; Yang et al.[2011]).

본 연구에서는 스테레오 카메라 기술에 대한 기본 개념과 해빈의 표고 값 산정 방법에 대하여 설명하고, 해빈의 평면적인 정보만이 제공되는 현재의 연안침식 비디오 모니터링 분석 기술을 보완하기 위하여 스테레오 카메라 기술을 이용한 해빈의 표고 값 산정 가능성에 대하여 검토하였다.

2. 시스템 구성 및 현장자료 수집

경기도 안산시 대부도 방아머리 해안에서 해빈 표고를 산정하기 위하여 스테레오 카메라 시스템을 설치하였다. 스테레오 카메라 시스템은 컴퓨터, 두 개의 머신비전 카메라, 트리거 보드(Trigger board)로 구성된다. 컴퓨터와 두 개의 머신비전 카메라는 Gigabit Ethernet(GigE) 인터페이스 커넥터를 연결하여 전원을 공급하고, 트리거 보드의 신호 케이블은 머신비전 카메라에 연결하였다. 트리거 보드는 두 개의 카메라가 촬영될 시 타이밍 동기화가 필수적인데, 본 연구에서는 아두이노 기반의 트리거 보드를 이용하여 두 카메라를 동기화하였다(Fig. 1).


Fig. 1. 
Stereo camera system.

스테레오 카메라의 해상도는 3,856 × 2,764, 픽셀 크기는 1.67 × 1.67 mm이며, 자세한 제원은 Table 1에 제시하였다. 두 카메라는 해빈을 충분히 내려 볼 수 있도록 해빈으로부터 약 4.7 m 높이(위치 : N 37o17′04.634″, E 126o34′07.923″)에 설치하였고, 카메라 촬영시 중첩되는 영역과 카메라로부터 해빈까지의 거리를 고려하여 두 카메라 간의 간격(Baseline)을 1.4 m로 설정하였다. 해빈 표고에 대하여 보정 및 검증을 위하여 두 카메라 사진의 중첩 영역(카메라 전면 4.6~14.4 m, 폭 3.2~9.1 m)에 대하여 직선거리 약 1 m 간격으로 11개의 표식을 하였고 구덩이와 흙무더기를 각각 5개씩 임의로 구성하였다(정점은 Fig. 2(b) 참조). 두 개의 카메라 시스템을 이용하여 스테레오 영상 촬영을 하였고, 21개 정점에 대한 정확한 해빈의 표고를 파악하기 위하여 GNSS(Global Navigation Satellite System) 측량을 수행한 후, 관측된 값을 인천 해수면 기준(IMSL)으로 환산하였다(Table 2). 한편, 카메라 보정(Camera Calibration)을 위하여 두 카메라의 촬영 영역이 중첩되는 구역에서 체커보드 사진을 20장 이상 촬영하였다(Fig. 3). 카메라 보정에 대한 설명은 3.2절에 제시하였다.

Table 1. 
Specification of camera and lens
Model Resolution FOV(o) Pixel Size (mm) Focal Length (mm) Manufacturer
Camera Lens Vertical Horizontal
MV-KH20G 3856 × 2764 10MP 31.2 40.8 1.67 8.5 GigE Camera, CREVIS


Fig. 2. 
Images taken with stereo camera and monitoring points.

Table 2. 
Survey location and beach elevation using GNSS (unit : m)
Station TM Coordinates (m) Height (E. L.)
X(East) Y(North)
1 161781.9 420688.9 2.810
2 161781.0 420688.8 2.769
3 161780.1 420688.7 2.782
4 161779.1 420688.6 2.792
5 161778.1 420688.5 2.806
6 161777.1 420688.4 2.815
7 161776.1 420688.3 2.804
8 161775.1 420688.1 2.803
9 161774.1 420688.0 2.812
10 161773.1 420687.9 2.842
11 161772.1 420687.8 2.805
A_mound 161778.6 420692.8 2.630
A_ditch 161778.1 420692.5 2.382
B_mound 161778.7 420687.1 3.109
B_ditch 161778.7 420687.6 2.761
C_mound 161777.4 420690.4 2.843
C_ditch 161777.0 420690.2 2.584
D_mound 161774.2 420689.4 2.942
D_ditch 161774.5 420689.1 2.687
E_mound 161772.9 420687.5 3.085
E_ditch 161773.3 420687.4 2.915


Fig. 3. 
Camera images for calibration. (a) left camera and (b) right camera.

3. 스테레오 카메라
3.1 스테레오 카메라 원리

스테레오 카메라는 인간의 시각 시스템을 모방한 기술로서 2차원에서 3차원 정보를 추출하기 위해 사용되고 있다. 즉 한 쌍의 카메라로 촬영된 입체 사진을 사용하여 이미지 내에서 선택한 물체와의 거리를 계산한다. Mrovlje and Vrančić[2008]가 제시한 스테레오 카메라를 이용한 물체까지 거리 계산 원리를 정리하였다. 오른쪽 카메라는 SR 위치에서, 왼쪽 카메라는 SL 위치에서 촬영하고, 카메라 사이의 일정한 간격을 두면(Fig. 4(a)), 몇 가지 기하학적 유도를 통해서 물체의 위치까지 거리(D)를 계산할 수 있다. 카메라 간의 거리 B를 B1과 B2의 합으로 표현할 수 있으며, 두 카메라 광축이 평행할 경우 다음과 같이 정의할 수 있다.

B=B1+B2=Dtanφ1+Dtanφ2(1) 
D=Btanφ1+tanφ2(2) 

Fig. 4. 
Schematic diagram for understanding stereo camera concepts.

Fig. 4(b)와 Fig. 4(c)에서 기본 삼각법을 사용하면 다음과 같이 계산할 수 있다.

xLx02=tan⁡φ1tan⁡φ02,-xRx02=tan⁡φ2tan⁡φ02(3) 

따라서 거리 D는 다음과 같이 정의할 수 있다.

D=Bx02tan⁡φ02xL-xR(4) 

여기서 x0는 수평 픽셀 수, xL-xR은 두 이미지에서 동일한 객체에 대한 수평적 거리 차(픽셀 수)이다. 이때 거리 D는 주어진 식(5)에 의해서 계산되어 진다.

3.2 스테레오 카메라를 이용한 거리 추정

스테레오 카메라를 이용한 해빈측량 산정은 현장에서 카메라 보정 및 해빈 영상 자료 취득 후, Camera Calibration, Feature Matching, Rectification, Stereo Matching 순의 일반적인 스테레오 영상분석을 진행한 후, 표고 보정을 통해서 스테레오 카메라를 통한 해빈의 표고를 산정한다(Fig. 5). 해빈에 대한 표고 산정 알고리즘 개발은 4절에 제시하였다.


Fig. 5. 
Flowchart of a beach elevation using a stereo camera.

3.1.1. Camera Calibration (w/ Data Preparation)

스테레오 영상을 이용하기 위해서는 먼저 카메라 고유정보를 구하여야 한다. 카메라 고유정보에는 각 카메라의 렌즈 중심과 센서 사이의 거리인 초점거리(Focal length), 카메라의 실제적인 중심 좌표인 주점(Principal point) 및 카메라 렌즈의 왜곡 계수(Distortion Coefficient)가 포함되어 있으며, 이를 카메라 내부정보(Camera Intrinsic)라고 하며, 이를 이용하여 왜곡 보정을 수행한다. 본 연구에서는 카메라 정보를 추정하기 위해서 Checkerboard의 World 좌표계를 이용한 Zhang[2000]의 캘리브레이션 방법을 이용하였다. 카메라 캘리브레이션은 현장에서 촬영한 20쌍 이상의 체커보드 사진을 MATLAB(Computer Vision Toolbox)으로 수행하였으며, 카메라 캘리브레이션시 체커보드와 카메라 간의 위치 정보를 Fig. 6에 도시하였다.


Fig. 6. 
Extrinsic parameter visualization.

3.1.2. Feature Matching

두 영상의 특징점(Descriptor)을 비교하여 각 영상에 대응하는 픽셀(pixel)을 찾는 것을 Feature Matching이라고 한다. 대표적인 기법으로는 SIFT(Lowe[2004]), SURF(Bay et al.[2008]), BRIEF(Calonder et al.[2010]) 등이 있으며, 본 연구에서는 연산속도가 빠르고 회전에 상대적으로 강한 SURF 알고리즘을 이용하여 Feature Matching을 수행하였다(Fig. 8(a)). 이 과정으로 각 영상에서 왼쪽 픽셀에 대응하는 오른쪽 픽셀을 찾을 수 있으며, 그 결과로부터 두 카메라 사이의 상대적인 관계인 Rotation Matrix, Translation Vector(R/T)를 추정할 수 있다.

3.1.3. Rectification

왜곡이 보정된 영상과 Future Matching에서 추정된 상대적 관계(R/T)를 이용하여 두 영상을 같은 Epipolar line상에 두어 Disparity 연산에 용이하도록 영상을 변환하는 과정을 Rectification이라고 한다. 이는 스테레오 매칭에서 연산의 복잡도와 소요 시간을 줄이는 데 필요한 전처리 과정이다(Scharstein et al.[2002]; Hirschmüller[2008]; Zitnick and Kanade[2000]]. Fig. 7(b)와 (c)는 Rectification을 수행한 결과이다. Fig. 3의 두 번째(위, 아래 사진) 체커보드 사진에 대하여 Rectification을 수행한 결과를 Fig. 7(b)에 제시하였다. 두 이미지에서 서로 상이한 곳에 위치한 특징점(해빈 모양, 체커보드 등)이 동일한 선상 위에 존재하는 것을 볼 수 있다. Fig. 7(c)는 Rectification을 수행한 해빈 영상이다.


Fig. 7. 
Results of feature matching and rectification. (a) Feature matching using the SURF. (b) Rectified left & Right checkerboard image with parallel red Line. (c) Rectified beach images.

3.1.4. Stereo Matching

Rectification을 수행한 두 영상에 대하여 Cost function(Cost volume, Cost aggregation) minimization을 수행한다. 이를 통하여 두 영상 간에 대응하는 동일 점에 대한 수평적인 픽셀 거리 차이(Disparity)를 픽셀 단위로 구하는 방법이 Stereo Matching이라고 한다. 대표적 스테레오 매칭 방법에는 SGM(Hirschmüller[2007]), SGBM(Setyawan et al.[2018]) 등이 있으며, 본 연구에서는 OpenCV의 SGBM 함수를 이용하였다. 두 영상 간의 시차(픽셀 거리 차이)가 크면 근거리에, 작으면 원거리에 물체가 위치함을 의미하는데, 중첩된 두 영상의 모든 픽셀에 대하여 시차 맵(Map)을 계산하게 되면 Depth Map을 만들 수 있고, 이를 이용하여 카메라에서부터 물체까지의 거리를 연산할 수 있다. 본 연구에서는 Fig. 7(c)에 대하여 Stereo Matching을 적용하였으며, 그 결과를 Fig. 7(c)의 우측 사진에 중첩하여 Fig. 8에 제시하였고, 시차 맵을 거리로 환산한 결과를 Fig. 9에 제시하였다. 이미지의 좌측 경계 부근과 상단 부분에서 일부 에러가 발생하였지만, 카메라로부터 해빈까지의 거리를 비교적 잘 재현하고 있다.


Fig. 8. 
Depth Map image with stereo matching.


Fig. 9. 
Image converted from disparity to distance.

4. 스테레오 카메라를 이용한 해빈 표고 산정
4.1 해빈 표고 알고리즘 개발

스테레오 카메라를 이용한 Depth 추정은 카메라로부터 물체까지의 거리를 추정한다. 따라서 스테레오 카메라 영상에 대한 해빈의 표고(Elevation)를 산정하기 위해서는 해빈 표고를 대상으로 이를 다시 보정 해야 한다. Stereo Matching에서 도출된 Depth Map 상에서 임의의 3개의 점 Pc(ξ, η, ζ)가 주어지면 이 세 점을 지나는 평면은 다음과 같이 정의할 수 있다.

aξ+bη+cζ+d=0(5) 

여기서 c = 1로 가정하면(정규화), 변수 a, b, d는 다음과 같이 세 개의 좌표 (ξi, η, ζi), i = 1, 2, 3 식으로 결정된다.

ξ1    η1    ζ1ξ2    η2    ζ2ξ3    η3    ζ3abd=-z1-z2-z3(6) 

이 식은 SVD(Singular Value Decomposition)를 포함한 선형 해를 이용하여 [a b d]T에 대하여 계산할 수 있다. 만약 점이 3개 이상 있다면 식 (2)는 다음과 같이 쓸 수 있다.

CN×3A3×1=ZN×1(7) 

여기서, A = [a b d]T이고, Ci = [ξi ηi ζi], Zi = [-zi], i = 1, ..., N 이다.

앞서 제시된 식 또한 SVD를 이용하여 계산할 수 있으며, 결과적으로 평면은 모두 지정된 점들의 중간에 위치하게 된다.

(ξi ηi ζi), i = 1, ..., N 이 동일 평면에 있다면, 이들은 지구 좌표계 x, y, z(동측 방향을 x, 북측 방향을 y, 고도를 z로 정의)에서도 평평한 평면상에 있고, 평면의 모든 점은 동일한 고도 값을 갖는다. 지구 좌표계에서 평평한 평면을 찾기 위해서는 다음과 같은 3 × 4 Homography H를 결정해야 한다.

xiyizi=H3×4ξiηiζi1,i=1,2,⋯,N≥3(8) 

여기서 xi, yi, zi 좌표는 point-cloud 좌표계 ξi, ηi, ζi와 대응하는 평면상의 좌표이다. 두 좌표계 사이의 차이를 상쇄하기 위해서는 Homography 행렬의 마지막 열이 필요하다. 먼저, 평면 위에 있는 임의의 3개 점을 선택함으로써 이러한 절차를 간소화할 수 있다. 이 평면의 방정식은 다음과 같이 주어진다.

π=a'b'c'd'T=P1-P3×P2-P3-P3T×P1×P2(9) 

여기서 P1, P2, P3은 3점의 point-cloud 좌표이며, 이 point-cloud 좌표계를 지구 좌표계로 변환하기 위해서 다음과 같이 회전 행렬(Rotation Matrix)이 필요하다(Gallego et al.[2008]).

R=11+a211+a21+a2+b211+a2+b2T1    0    -aab    -1+a2    ba    b    1(10) 

여기서 a=a'c' b=b'c' 이고, point-cloud 좌표계를 지구 좌표계로 변환하는 식은 다음과 같다.

X=RP+00d1+a2+b2(11) 

여기서 X는 point-cloud 좌표 P에 해당하는 지구 좌표이다. 그리고 z=0이 되는 평면 π와 일치시키기 위해서는 d/a2+b2+1 추가적으로 이 필요하다. 따라서 필요한 Homography 행렬 H는 다음과 같이 쓸 수 있다.

H3×4=R3×3t3×1,t3×1=0    0    d1+a2+b2T(12) 

이 과정은 두 가지 문제가 있다. 하나는 z값이 정확하게 동일한 평면에 있는 세 점을 찾는 것이고 다른 하나는 세 점이 서로 상대적으로 가까운 위치에 존재할 때 좌표(지구 좌표 및 point-cloud 좌표 모두) 오차가 전체 영역에 대해 크게 증폭될 수 있다는 것이다. 이러한 문제를 해소하기 위해서 z 값이 각각 다른 임의의 세 개 또는 그 이상의 점을 사용하여 정확한 평면 π = (a,b,1,d)T을 결정하는 기계 학습 접근법이 필요하다. 초기 평면 π가 주어질 때 이들 각 점의 수직 좌표는 다음과 같이 주어진다.

zi=πTξiηiζiT1+a2+b2,i=1,2,⋯,N≥3(13) 

수직 좌표의 오차는 ϵi = zi - hi로 표현되며, hi는 실제 고도이다. cost function은 사용된 모든 점에 대한 오차 제곱의 합으로 표현하며, 이 값이 최소화될 수 있도록 경사 하강법의 기계학습(Watt et al.[2020])을 적용한다.

Ea,b,d=∑i=1N zia,b,d-hi2(14) 

본 연구에서 개발한 표고 산정 알고리즘은 테스트 포인트 중 3개가 평면상에 있다고 가정하여 초기 값을 얻고, 부정확한 초기 값을 개선해서 더 정확한 평면식을 얻는 것을 목표로 한다.

4.2 해빈 표고 산정 결과

개발된 해빈 표고 산정 알고리즘을 이용하여 최적의 표고 값을 도출하였다. 현장에서 관측한 정점 21개의 GNSS 데이터 중 위성 수신 오류로 추정되는 정점 11, E 및 영상 조도 문제로 인하여 정확한 위치 확인이 불가한 정점 1, 2를 제외한 16개 정점에 대하여 스테레오 카메라를 이용한 해빈 표고 산정 결과를 Fig. 10에 도시하였고, GNSS 측량 결과와 비교·검토하였다(Table 3).


Fig. 10. 
Elevation map in a perspective view with measurements expressed in dots.

Table 3. 
Comparison of GNSS survey results and beach elevation using stereo cameras. (unit : m)
Station Beach Elevation (E. L.) Error Station Beach Elevation (E. L.) Error
GNSS Stereo Vision GNSS Stereo Vision
3 2.782 2.807 0.025 A_mound 2.630 2.596 -0.034
4 2.792 2.809 0.017 A_ditch 2.382 2.437 0.055
5 2.806 2.819 0.013 B_mound 3.109 3.027 -0.082
6 2.815 2.830 0.015 B_ditch 2.761 2.771 0.010
7 2.804 2.833 0.029 C_mound 2.843 2.777 -0.066
8 2.803 2.834 0.031 C_ditch 2.584 2.608 0.024
9 2.812 2.843 0.031 D_mound 2.942 2.852 -0.090
10 2.842 2.845 0.003 D_ditch 2.687 2.701 0.014
Max. Error : 0.09, Mean Absolute Error : 0.034, Standard Deviation : 0.042, Root Mean Square Error : 0.042

GNSS로 측정한 표고 값과 스테레오 카메라 활용 시 표고 값이 전반적으로 수 cm의 오차를 보이면서 유사한 값을 보였다. 통계학적인 오차를 보면 최대 오차는 0.09 m이며, RMSE는 0.042 m로 나타났다. 본 연구는 스테레오 영상을 이용한 해빈 관측 방법으로서, 오차 평가 기준이 없어서 국토지리정보원(National Geographic Information Institute[2020])의 항공사진측량 작업규정을 인용하였다. 국토지리정보원은 디지털항공사진 촬영시 측량 표고 오차의 한계를 GSD(Ground Sample Distance)가 0.08 m 이내이면 RMSE가 ±0.05 m 이내, 오차의 최대값은 0.16 m 이내를 만족해야 한다고 제시하고 있다. 본 연구에서 스테레오 카메라를 이용한 GSD는 0.045 m로서 오차에 대한 RMSE와 최대값이 국토지리정보원이 요구하는 오차의 한계를 만족하고 있다. 한편, Won et al.[2021]의 연구에서 우리나라 공공기준점 표고에 대한 고시성과와 GNSS 높이 측량 성과에 대한 연안지역의 표준편차는 0.023 m로 나타났다. 한편 흙을 쌓아둔 곳(mound)에서 오차가 상대적으로 크게 발생하였는데, 이는 GNSS 측량 위치와 영상의 픽셀 위치(영상의 조도가 어두움)가 정확하게 동일하지 않아 발생된 것으로 추정된다.

5. 요약 및 결론

기존 연안침식을 모니터링 하기 위한 비디오 카메라 시스템은 모노 카메라에 기반한 2차원적인 면적변화에 초점을 맞춰 침식 모니터링이 진행되어 오고 있다. 본 연구에서는 이러한 해안선 모니터링 방식에 해빈 표고 산정을 보완하기 위하여 ‘스테레오 비전’ 이라는 새로운 관측 방법의 적용 가능성에 대하여 검토하였다. 스테레오 비전은 자동차, 의료, 로봇, 수중생물 등 다양한 분야에 적용하고 있는 최신 기법이며, 연안침식 모니터링에 이 기술이 적용되면 저렴한 비용으로 해빈 표고를 지속적으로 관측하는 기술이 될 것으로 사료된다. 현장 자료 취득 및 검증을 위해 스테레오 카메라 시스템을 경기도 안산시 대부도 방아머리 해안에 설치하여 해빈을 촬영하였으며, 카메라 보정을 위해서 체커보드 사진도 촬영하였다. 스테레오 영상분석은 Camera Calibration, Feature Matching, Rectification, Stereo Matching 순으로 진행하였다. 일반적인 스테레오 영상분석에서는 거리에 대한 정보만을 제공하기 때문에 스테레오 영상에 대한 표고를 산출하기 위해서 표고 산정 알고리즘을 개발하였다. 해빈 표고 산정은 관측점의 정보를 이용하여 최적의 평면 정보를 찾아 스테레오 영상을 이용한 해빈 표고를 산정하는 방법으로서, 스테레오 카메라를 이용한 해빈표고 산정 값과 GNSS 측량 값에 대한 오차는 RMSE가 0.042 m, 최대오차가 0.09 m로서 국토지리정보원의 디지털항공사진 측량 표고 오차의 한계를 만족한다. 그러나, 본 연구에서는 카메라와 대상해역 간의 거리가 최대 14 m 정도로서, 비교적 가까운 위치에 있고 넓은 영역에 대한 검토가 진행되지 못하였다. 이는 당시 근거리에서 해빈 표고 산정을 위한 스테레오 카메라 적용 가능성을 확인하기 위함이었으며(현재, 50 m 이상 거리에 대한 적용 가능성 검토 중), 스테레오 카메라, 렌즈 그리고 이미지 분석 프로그램의 기술이 발전되면 원거리에서 넓은 영역에 대하여 입체적인 연안침식 모니터링을 할 수 있을 것으로 판단된다. 또한 목적에 따라 망원렌즈를 접목하는 등 다양한 방식의 스테레오 카메라를 이용한 해빈 표고 산정이 가능할 것으로 판단된다.

본 연구에서 개발된 기술을 이용하여 해수면 상의 체적변화를 파악하고 Holman and Bergsma[2021]에 의한 기술을 확대 적용하여 해수면 하의 수심 변화를 파악할 수 있다면, 평상시 또는 태풍 등의 외력에 의한 모래의 이동 방향 및 침·퇴적 변화량을 보다 명확하게 파악할 수 있어 다양한 이벤트에 따른 우리나라 연안침식 대응에 기여할 것으로 생각된다.

Acknowledgments

본 논문은 2023년도 해양수산부 재원으로 해양수산과학기술진흥원의 지원을 받아 수행된 연구입니다(RS-2023-00256687, 순환적응형 연안침식 관리기술 개발).

References
1. Addona, F., Sistilli, F., Romagnoli, C., Cantelli, L., Liserra, T. and Archetti, R, 2022, Use of a Raspberry-Pi Video Camera for Coastal Flooding Vulnerability Assessment: The Case of Riccione (Italy), Water 14.
2. Bay, H., Ess, A., Tuytelaars, T. and Gool, L.V., 2008, Speeded-up robust features(SURF), Comput. vision image underst. 110. 346-359.
3. Calonder, M., Lepetit, V., Strecha, C. and Fua, P., 2010, Brief: Binary robust independent elementary features, in proc. of Computer Vision-ECCV 11th European Conf. on Computer Vision, Heraklion, Crete, Greece, 5-11.
4. Castelle, B., Masselink, G., Scott, T., Stokes, C., Konstantinou, A., Marieu, V. and Bujan, S., 2021, Satellite-derived shoreline detection at a high-energy meso-macrotidal beach, Geomorphology, 383(15).
5. Chen, C., Tian, B., Wu, W., Duan, Y., Zhou, Y. and Zhang, C., 2023, UAV Photogrammetry in Intertidal Mudflats: Accuracy, Efficiency and Potential for Integration with Satellite Imagery. Remote Sens, 15(7).
6. Choi, C.U. and Kim, Y.S., 2001, Coastline Change on the Haeundae Beach using the Digital Aerial Photo. J. Korean Association of Geographic Inf. Stud. 4(4), 39-50.
7. Choi, K.S., Kim, B.J., Lee, S.L., Kim, H.K. and Lee, J.S., 2009, Variations of the Summertime Tropical Cyclone Intensity near 30 °N in East Asia. J. Environ. Sci., 18(10), 1089-1101.
8. Gallego, G., Yezzi, A., Benetazzo, A. and Fedele, F., 2008, Wave statistics and spectra via a variational wave acquisition stereo system, in proc. of OMAE 27th Int. Conf. Offshore Mechanics and Arctic Engineering, Estoril, Portugal, 8.
9. Hirschmüller, H., 2008, Stereo processing by semiglobal matching and mutual information. IEEE Transactions on Pattern Analysis and Machine Intelligence, 30(2), 328-341.
10. Holman, R. and Bergsma, E.W.J., 2021, Updates to and Performance of the cBathy Algorithm for Estimating Nearshore Bathymetry from Remote Sensing Imagery, Remote Sens. 13.
11. Kim, J.D., Chang, Chang, W.K., Yook, K.h., 2005, A Study on the Actual Condition and Environmental Management of Sand Coast in Korea, Korea Maritime Institute.
12. Kim, K.H. and Shim, K.T., 2012, Backshore Erosion due to High Swell Waves, J. Korean Soc. Coast. Ocean Eng., 24(5), 366-371.
13. Kim, K.H., 2013, Coastal erosion and countermeasures according to the development of the surrounding areas of the beach. Coastal and ocean. 6(2), 28-31.
14. Lee, B., Jung, M.K. and Kwon, H.H., 2022, Climate Change Impacts of Sea Level Rise on the Saemangeum Sea Dike, J. Coast. Disaster Prev., 9(1), 13-21.
15. Lee, E.K., 2021, Depth Generation using Bifocal Stereo Camera System for Autonomous Driving, J. Korea inst. of electronic commun. sci., 16(6), 1131-1316.
16. Lee., S.H., Bae, S.H. and Lee, J.L., 2015, Estimation of Reduction Rate in Coastal Sediment Discharge by Dam Construction. in Proc. of the Korea Water Resources Association Conf., 194-200.
17. Lowe, D.G., 2004, Distinctive image features from scale-invariant, Int. J. comput. vision 60, 91-110.
18. Manestar, S., 2023, Using Unmanned Aerial Vehicle(UAV) Surveys and Traditional Methods to Examine Influences on Loggerhead Sea Turtle(Caretta caretta) Nest Site Selection, M.S. thesis, Dept. Geosciences, Florida Atlantic Univ., Florida, U.S.
19. Ministry of Oceans and Fisheries, 2003~2022, Coastal erosion monitoring.
20. Mrovlje, J. and Vrančić, D., 2008, Distance measuring based on stereoscopic pictures, in proc. 9th Int. PhD Workshop on Systems and Control: Young Generation Viewpoint 1-3, Izola, Slovenia.
21. National Geographic Information Institute, 2020, Announcement of the revision of all aviation photogrammetry work regulations.
22. Scharstein, D., Szeliski, R. and Zabih, R., 2002, A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. Int. J. Comput. Vis., 47(1-3), 7-42.
23. Seo, H.D. and Kim, E.M., 2020, Estimation of Traffic Volume Using Deep Learning in Stereo CCTV Image. J. Korean Soc. Surv., Geodesy, Phogogrammetry, Cartogr., 38(3), 269-279.
24. Setyawan, R.A., Sunoko, R., Choiron, M.A. and Rahardjo, P.M., 2018, Implementation of Stereo Vision Semi-Global Block Matching Methods for Distance Measurement, Indonesian J. Electrical Eng. and Comput. Sci. 12(2), 585-591.
25. Watt, J., Borhani, R. and Katsaggelos, A.K., 2020, Machine Learning Refined, second ed., Cambridge Univ Press.
26. Won, D.K, Choi, Y.S., Yoon, H.S. and Lee, W.J., 2021, A Study on the Accuracy of GNSS Height Measurement Using Public Control Points. J. Korean Association Geographic Inf. Stud., 24(2), 78-90.
27. Yang, Y.S., Lee, K.H., Ji, S.C., Jeong, S.J., Kim, K.M. and Park, S.W., 2011, Measurement of size and swimming speed of Bluefin tuna(Thunnus thynnus) using by a stereo vision method, J. Kor. Soc. Fish. Tech., 47(3), 214-221.
28. Yoon, W.S., 2023, Characteristics of Morphological Change in the Udo Rhodolith Beach, Jeju Island, Ph.D. dissertation, Dept. Earth Mar. Sci., Jeju Natl. Univ., Jeju, Korea.
29. Zhang, Z., 2000, “A Flexible New Technique for Camera Calibration, IEEE Trans. Pattern Anal. Mach. Intelligence, 22(11), 1330-1334.
30. Zitnick, C.L. and Kanade, T., 2000, A cooperative algorithm for stereo matching and occlusion detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(7), 675-684.
 

Copyright (c) 1997 by Korean Society for Marine Environment & Energy (KOSMEE).
Authorization to photocopy articles may be granted by the KOSMEE, provided the material is used on a personal basis only.
The Society does not consent copying for general distribution, promotion, for creating a new work or for resale. Permission to photocopy articles must be requested to the KOSMEE main office.
(office contact : kosmee@kosmee.or.kr)