Journal Archive

해양환경측정망 자료(부산연안, 광양만, 마산만, 시화호, 인천연안)를 해양수산부 해양환경정보포털에서 수집했다. 해역별 해양환경측정망 자료의 정보는 Table 2와 같다. 해역별 해양환경측정망 자료 중 표층 수온(Temp_Sur), 수소이온농도(pH_Sur), 용존산소(DO_Sur), 부유물질(SS_Sur), 염분(Salinity_Sur), 화학적산소요구량(COD_Sur), 엽록소 a(Chl-a_Sur), 암모니아성질소(NH₃-N_Sur), 질산성질소(NO₃-N_Sur), 총질소(TN_Sur), 용존무기인(DIP_Sur), 총인(TP_Sur), WQI 자료를 훈련용 자료(training dataset)로 사용했다. 2021년 8월까지 확정된 해양수질자동측정망(부산수영, 광양적량, 마산삼귀, 시화반월, 시화조력, 인천송도) 자료도 해양환경정보포털에서 수집했다. 측정소 별로 미운영 시기가 있었으나 5년 이상의 자료(부산수영 : 2013-2016, 2018-2021; 광양적량 : 2014, 2017-2021; 마산삼귀 : 2014-2021; 시화반월 : 2013-2015, 2017-2021; 시화조력 : 2013-2021; 인천송도 : 2017-2021)를 확보하였다. 해역별 해양환경측정망과 동일한 조사 일시의 해양수질자동측정망 자료 중 표층 수온(Temp_Sur), 수소이온농도(pH_Sur), 용존산소(DO_Sur), 탁도(Turbidity_Sur), 염분(Salinity_Sur), 화학적산소요구량(COD_Sur), 엽록소 a(Chl-a_Sur), 암모니아성질소(NH₃-N_Sur), 질산성질소(NO₃-N_Sur), 총질소(TN_Sur), 인산염인(PO₄-P_Sur), 총인(TP_Sur) 자료를 추출했다. 해역별 해양수질자동측정망 정점과 가장 인접한 해양환경측정망 정점의 자료를 추출하여 동일 조사일시에 측정된 해양수질자동측정망 자료와 결합했다. 결합한 자료에서 수질항목 별로 결측치(missing value)를 제거했다.

개별 수질항목에 대해 해양수질자동측정망 자료를 설명변수(x, explanatory variable), 해양환경측정망 자료를 반응변수(y, response variable)로 설정하여 단순선형회귀분석(simple linear regression)을 수행했다. 여기서 해양수질자동측정망 자료 중 탁도(Turbidity_Sur), 인산염인(PO₄-P)은 각각 해양환경측정망 자료 중 연관성이 있는 부유물질(SS_Sur), 용존무기인(DIP_Sur)에 대응시켰다. 회귀분석 결과를 통해 Eq. 1과 같이 레버리지(h, leverage)값을 계산할 수 있다. 레버리지는 특정 설명변수 값이 다른 설명변수 값과 얼마나 떨어져 있는지 나타내는 척도이다. 여기서 i는 관측(observation) 번호(index), n은 관측의 수, H는 투영행렬(projection matrix), x는 설명 변수 값, X는 [관측치×설명변수] 크기의 설계행렬(design matrix), T는 전치행렬(transposed matrix)을 의미하며 결론적으로 h_ii는 투영 행렬 H의 i번째 대각 원소(diagonal element)로 i번째 관측의 레버리지 값을 의미한다.

이를 i번째 설명변수 값(x_i)과 설명변수 값들의 평균 간 가중 거리(weighted distance)로 나타내면 i번째 반응변수 값(y_i)이 i번째 예측값(predicted value, y^i)에 미치는 영향을 Eq. 2와 같이 표현될 수 있다.

오차(ε, error)는 모집단(population)의 회귀분석 결과 실제값(true value)과 예측값의 차이로 정의하고 잔차(residual, ε^)는 표본집단(sample)의 회귀분석 결과 실제값과 예측값의 차이로 설명된다. 잔차의 분산(variance)을 레버리지로 표현을 하면 Eq. 3과 같다. 여기서 varε^ i은 i번째 잔차의 분산, σ²는 오차의 분산을 의미한다.

오차의 분산은 입력변수 값에 따라서 같을 수 있지만 잔차의 분산은 모든 입력변수 값에서 다르다. 그러므로 잔차를 오차의 표준편차 추정값(σ^)과 레버리지로 나누어 표준화한 잔차(Studentized residual, t_i)는 Eq. 4와 같다.

이 연구에서는 이상치(outlier)를 제거하기 위하여 Fox의 이상치 추천법(Fox’s outlier recommendation)에 따라 Cook의 거리를 비교했다. Cook의 거리는 잔차와 레버리지 값이 큰 특정 관측치가 선형회귀모델 계수(parameter)의 최소자승(least square) 결정에 미치는 영향력(influence)을 평가하는 값이다(Cook[1977]). 특정 관측에 대해 잔차와 레버리지 값이 클수록 Cook의 거리가 커지고 이상치에 가깝다. Cook의 거리는 Eq. 5를 통해서 계산할 수 있다. 여기서 y^ji는 i번째 관측을 제거할 때 예측값, s²은 회귀모델의 평균제곱오차(mean squared error, MSE)를 의미한다. p는 개별 관측치에 대한 예측변수(predictor)의 수이다.

마지막으로 Cook의 거리(D_i)는 Eq. 6과 같이 레버리지와 표준화된 잔차로 표현할 수 있다.

Cook의 거리 한도(cutoff)는 통상적으로 4/n을 사용하고 있다. 이 연구에서도 개별 관측치에 대해 Cook의 거리를 계산하여 4/n 이상인 경우 이상치로 간주했다. 개별 입력변수의 선형회귀모델에서 더 이상 이상치가 발생하지 않을 때까지 이상치 제거 작업을 반복했다. 이상치 제거 단계 마다 수질항목 별 결정계수(coefficient of determination, R²)를 비교하여 결정계수가 가장 큰 선형회귀식을 이용하여 해양수질자동측정망 자료를 보정했다. 해양수질자동측정망 자료가 해양환경측정망 자료에 대한 설명력이 충분하지 않은(결정계수가 작은) 변수는 학습에서 제외하였다. 보정한 해양수질자동측정망 자료와 동일한 조사시기의 해양환경측정망 자료 중 WQI 자료를 결합하여 평가용 자료(testing dataset)로 사용했다.

다중선형회귀(multiple linear regression, MLR)는 예측변수가 복수인 선형회귀이다. 다중선형회귀식은 Eq. 7과 나타낼 수 있다. 여기서 i는 관측 번호, p는 예측변수의 수, n은 관측의 수이다. X_ip는 p번째 독립변수(independent variable)의 i번째 관측치를 의미한다. β_p는 다중선형회귀를 통해 얻어지는 p번째 독립변수의 계수, ε_i은 i번째 관측의 동분산 표준오차(identically distributed normal error)를 의미한다. 결론적으로 Y_i는 i번째 관측의 다중선형회귀 모델 예측값을 의미한다.

SVR은 Eq. 8과 같이 손실함수(loss function, L_SVR)를 회귀에 도입하여 실제값과 예측값의 차이(deviation)를 작게 하면서 평평한(flat) 함수를 찾는 것이 목표이다(Smola and Scholkopf[2004]). 여기서 ε은 실제값과 예측값의 차이에 대한 제한 범위(margin)를 의미한다. n은 관측의 수, x_i는 i번째 관측의 독립변수(independent variable), y_i는 i번째 관측의 종속변수(dependent variable), w, b는 회귀 계수, ξ은 여유변수(slack variable)로 제약 조건(constraint)을 완화하여 차이를 허용하도록 설정한 변수이다. ξ_i은 i번째 관측에 대해 상한선으로부터 양(+)의 거리, ξi*은 음(-)의 거리를 의미한다. C는 함수의 제한된 최적화(optimization) 문제에서 일정 비율 패널티(penalty)를 부여하는 상수(constant)이다.

손실함수의 해(solution)를 계산하기 쉽도록 Lagrangian dual problem으로 손실함수를 재구성한다. 그리고 Karush-Kuhn-Tucker(KKT) 조건에 따라 미지수에 대한 목적함수의 미분값이 0일 때 최적해를 가지므로 손실함수를 미분(derivative)하여 회귀 계수(w, b)를 구할 수 있다. 하지만 비선형성(nonlinearity)을 가지는 회귀식에 적용하려면 저차원(i.e. input space)의 자료를 내적(dot product)하여 고차원(i.e. feature space)으로 변환해주는 매핑(mapping)이 필요하다. 방사형 기저 함수(radial basis function, RBF), 선형(linear), 다항식(polynomial), 시그모이드(sigmoid) 함수와 같은 커널함수(kernel function)를 손실함수에 추가하여 간단히 고차원 공간으로 매핑할 수 있다. 최종적으로 Eq. 9와 같이 비선형적인 회귀식을 도출할 수 있다. 여기서 α_i는 i번째 관측의 Lagrangian multiplier, k(x_i, x_i)는 i번째 관측의 커널함수를 의미한다.

Gradient boosting은 DT 기반의 앙상블(ensemble) 기계학습 알고리즘이다. 그 중 extreme gradient boosting (XGBoost)은 가장 좋은 성능을 나타내는 알고리즘으로 알려져있다. 의사결정나무 앙상블 모델은 Eq. 10과 같이 나타낼 수 있다. 여기서 D는 자료(dataset), n은 사례(example), m은 특성(feature)을 의미한다. Eq. 11-12에서는 y^i는 예측 출력값(predicted output), K는 나무의 수, f_k는 k번째 나무, F는 회귀 나무의 공간(space), q는 개별 나무의 구조(structure), T는 잎(leaf)의 수, w는 잎의 가중치(weight)이다. 개별 잎의 가중치를 모두 합하여 최종 예측을 할 수 있다.

학습의 최적화를 위해서 손실 및 정규화(regularized) 목적함수(objective function)를 최소화하여야 한다. Eq. 13은 정규화 함수이다. 여기서 l은 미분가능한 볼록(convex) 손실함수, Ω(Eq. 14)는 과적합(overfitting)을 피하기 위해 모델의 복잡함(complexity)에 대해 패널티를 부여하는 항(term)을 의미한다.

Gradient boosting에서는 Eq. 15와 같이 t번째 반복 단계(iteration step)에서 i번째 사례에 대한 예측값을 y^it 이라고 하면 모델이 계속 학습하면서 t번째 새로운 함수 f_t를 추가하여 목적함수를 최소화하여야 한다.

가능한 모든 나무 구조에 대해 최적화를 하는 것은 시간이 오래 걸리므로 최적의 선택(locally optimal selection)을 하여 최종 해(globally optimal solution)를 구하는 탐욕 알고리즘(greedy algorithm)을 통해 단일 잎에 반복적으로 가지(branch)를 더하는 방식으로 신속한 최적화를 한다(Chen and Guestrin[2016]). Eq. 16은 나무의 분리(split) 후 손실 감소(loss reduction)를 의미하며 분리 대상(split candidate)을 찾기 위해 사용된다. I_L은 분리된 나무의 왼쪽 노드(node)의 사례들, I_R은 오른쪽 노드의 사례들, I는 두 사례들의 합집합(I_L∪I_R)을 의미한다. g_i는 손실함수에 대한 1차 경사 통계량(first order gradient statistic), h_i는 손실함수에 대한 2차 경사 통계량(second order gradient statistic)을 의미한다.

Extra trees(ET)는 Geurts et al.[2006]이 제안한 의사결정나무 기반 앙상블 기계학습 알고리즘이다. 다른 앙상블 방법과 다르게 ET 알고리즘은 절단점(cut-point)을 임의로(random) 선택하여 노드를 분리하고 모든 학습 표본을 사용한다. 회귀 문제에서 나무의 예측은 최종 예측을 얻기 위해 산술 평균(arithmetic average)에 의해 합쳐진다. 편향(bias)과 분산(variance) 측면에서 ET 알고리즘은 약한 임의성(randomization)을 지닌 다른 앙상블 모델보다 더 크게 분산을 감소시킬 수 있다. 그리고 모든 학습 표본을 사용함으로써 편향을 최소화할 수 있다. 또한 노드 분리 절차의 단순함(simplicity)은 절단점을 최적화하는 다른 앙상블 모델보다 상수를 줄일 수 있다. 나무의 각 후보 특성(candidate attribute)을 임의로 분리하여 RF보다 임의성을 더욱 증가시킨다.

인공신경망(artificial neural network, ANN)은 인간의 뇌와 같이 뉴런(neuron)이라 불리는 연결 단위(connected unit)의 집합이다. 뉴런은 실수(real number)로 신호를 받아 다른 뉴런에 전달한다. 개별 뉴런의 출력은 입력의 가중 합(weighted sum)을 비선형 함수(i.e. 활성화 함수)로 계산하여 얻는다. 기본적인 구조로 입력층(input layer)에서 자료를 받아 은닉층(hidden layer)을 통과하여 출력층(output layer)에서 결과를 얻는다. 뉴런과 연결은 학습을 하면서 손실함수를 최소로 하는 방향으로 조정(i.e. 역전사, backpropagation)되는 가중치를 가지며 이 가중치는 뉴런의 연결 강도를 조절한다. Eq. 17에서 y^k는 출력층 뉴런 k의 예측값, w_kj는 출력층 뉴런 k와 은닉층 뉴런 j를 연결하는 가중치이다. h_j는 은닉층의 출력으로 n은 은닉층 뉴런의 수를 의미한다. f는 출력층의 활성화 함수(activation function), b_j는 출력층 뉴런 k의 편향(bias)이다.

극학습기계(extra learning machine, ELM)은 순방향 신경망(feedforward neural network) 학습 속도를 개선하기 위해 Huang et al.[2006]이 제안한 알고리즘이다. ELM은 단일 은닉층 순방향 신경망(single-hidden layer feedforward neural networks, SLFNs)의 은닉층 노드를 임의로 선택하고 출력 가중치를 결정한다. Eq. 18은 은닉층 노드의 수가 N~ 인 표준 SLFNs의 출력(t_j)을 의미하며 x_j는 입력, g는 활성화 함수, N은 표본의 수, w_i는 i번째 은닉층 노드와 입력층 노드들을 연결하는 가중치 벡터(vector), β_i는 i번째 은닉층 노드와 출력층 노드들을 연결하는 가중치 벡터, b_i는 편향 벡터이다. w_i·x_j는 가중치 벡터와 입력 벡터의 내적을 의미한다.

ELM에서는 은닉층까지 출력을 행렬 H로 나타내면 Eq. 19와 같이 변형할 수 있다.

기존의 SLFNs와 달리 활성화 함수가 무한히 미분 가능(differentiable)하다면 입력 가중치(w_i)와 은닉층 편향(b_i)은 학습 초기에 고정시키고 Eq. 20과 같은 선형 모델의 최소자승해(least squares solution)인 β^ 를 구하는 것과 같아진다.

만약 표본의 수가 은닉층 노드의 수와 같다면N~=N 행렬 H는 정사각행렬(square matrix) 및 가역행렬(invertible matrix)이고 오차가 0에 근사한다. 하지만 보통 표본의 수가 은닉층 노드의 수보다 많아N~≪N 행렬 H는 정사각행렬이 아니고 Hβ = T와 같이 w_i, b_i, β_i가 존재하지 않는다. 최소 노름 최소자승해(minimum normleast-squares solution)는 Eq. 21과 같다. 여기서 H^†는 행렬 H의 무어-펜로즈 유사역행렬(Moore-Penrose generalized inverse)이다. 이렇게 ANN의 가중치를 조정하기 위한 역전사 과정을 생략하고 신속하게 신경망을 최적화하여 오차를 줄일 수 있다.

퍼지신경망(neuro-fuzzy network, NFN)에서는 퍼지 논리(fuzzy logic)가 신경망(neural network)의 자료 기반 학습(data driven learning)에 의해 훈련된다. 퍼지는 불명확함(ambiguity)을 의미하며 Zadeh[1965]가 제안한 퍼지집합(fuzzy sets)에 의해 소속(membership)의 경계가 불명확한 경우 연속성(continuum)을 갖는 집합으로 표현한다. 퍼지집합에서 소속도(degree of membership)는 0과 1 사이의 값을 가진다. 퍼지추론(fuzzy inference)은 몇 개의 퍼지명제(fuzzy proposition)로부터 하나의 다른 근사적인 퍼지명제를 유도하는 방법을 말한다. 퍼지집합의 입력 원소(input element)들은 소속함수(membership function)를 통해 소속도로 나타내며 이를 퍼지화(fuzzification)라고 한다. 퍼지화 후 퍼지규칙(fuzzy rule)을 적용하여 입력변수와 출력변수 간의 관계를 정의해주고 퍼지추론엔진(fuzzy inference engine)으로 출력을 찾는다. 그리고 모든 출력을 통합하여 하나의 퍼지집합으로 나타낸다. 마지막으로 비 퍼지화(defuzzification) 출력을 등가의 정확한 값(crisp value)으로 변환한다.

퍼지화층(fuzzification layer)에서 Eq. 22와 같이 퍼지화를 위해 종모양(bell-shaped)의 소속함수를 사용하였다. 여기서 x_i는 i번째 입력값, R_ij(x_i)는 j번째 퍼지규칙을 위한 i번째 입력값에 대한 소속 함수를 의미한다. a는 소속함수의 퍼짐 정도, b는 종의 형태, c는 중심값(centroid)을 나타내는 퍼지규칙의 조건부 계수(premise parameter)이다.

퍼지규칙층(fuzzy rule layer)에서는 Eq. 23을 이용하여 퍼지연산을 통해 R^N개의 퍼지규칙의 호환성(compatibility)을 나타내는 firing strength를 계산한다(Buckley and Hayashi[1994]). L_k는 k번째 퍼지규칙 노드이다. 여기서 j는 k번째 퍼지규칙 노드에 대한 i번째 입력값의 퍼지 언어변수(fuzzy linguistic term)를 결정하는 번호(index)이다.

비 퍼지화층(defuzzification layer)에서는 입력자료들의 분류 결정 단계와 계수들의 최적화 단계로 구분된다. 분류 결정 단계에서는 각 퍼지규칙의 firing strength와 가중치의 선형 조합을 계산하여 퍼지규칙과 분류 클래스(class) 간의 적합도(matching degree)를 Eq. 24와 같이 계산한다. 여기서 w_kl은 퍼지규칙층의 k번째 노드와 비퍼지화층의 l번째 노드 사이의 가중치를 의미한다.

그리고 비 퍼지화층의 활성화 함수로 클래스의 소속도(Eq. 25)를 출력한다. 여기서 O_l은 소속도, f는 활성화 함수를 의미한다.

최적화 단계에서는 앞서 얻은 소속도와 출력값과의 차이를 Eq. 26과 같이 계산한다.

오차를 최소화할 수 있을 때까지 Eq. 27-30과 같이 계수와 가중치를 최적화한다. 여기서 t는 최적화 차수, η는 학습률(learning rate)이다.

Jang[1993]이 제안한 적응형 퍼지신경 추론 모델(ANFIS)은 5개의 층으로 구성되어 있는 퍼지신경망이다. Takagi-Sugeno 퍼지규칙에 의해 출력함수를 Eq. 31과 같이 나타낼 수 있다(Takagi and Sugeno[1983]). x, y는 노드의 입력, A_i, B_i는 퍼지집합, p_i, q_i, r_i는 출력함수의 결론부 계수(consequent parameter)이다.

첫 번째 층에서는 소속함수로 Eq. 32와 같이 각 노드의 입력에 대한 소속도를 구한다. 두 번째 층에서는 소속도를 입력 받아 소속도를 Eq. 33의 퍼지연산을 통해 퍼지규칙의 적합도를 구한다. 여기서 O_i는 층의 출력, μ(x)는 소속함수, w_i는 퍼지규칙의 적합도(i.e. firing strength)이다.

세 번째 층에서는 각 노드에서 i번째 규칙의 적합도를 Eq. 34와 같이 정규화한다.

네 번째 층에서는 각 노드의 개별 규칙의 출력함수와 정규화된 적합도(normalized firing strength)를 Eq. 35와 같이 곱한다.

마지막 층은 단일노드로 구성되어 있고 모든 입력을 대상으로 출력을 Eq. 36과 같이 계산한다. 출력값은 연속형 값을 가진다.

조건부 및 결론부 계수를 최적화하기 위해 순방향 학습에서는 조건부 계수를 고정하고 결론부 계수를 최소화하기 위해 최소자승법을 사용한다. 역전사 학습에는 경사하강(gradient descent)법을 통해 조건부 계수를 최적화한다.

유전 알고리즘(genetic algorithm, GA)은 Holland[1984]가 제안한 생물학적 진화(evolution)를 모방한 진화 알고리즘(evolutionary algorithm)이다. 유전자(gene)가 구하려는 해일 때 유전자 간의 교배를 통해 최적의 해를 탐색한다. 구하려는 해를 유전자로 표현하는 초기화(initialization)를 한 뒤 각 유전자에 대해 적합도(fitness)를 계산한다. 그리고 다음 세대(generation)로 물려줄 유전자를 선택(selection)한다. 선택된 유전자들 간의 교차(crossover)를 통해 새로운 유전자를 형성한다. 후손 중 일부가 변이(mutation)를 일으켜 도태된다. 현재 세대의 유전자를 후손 유전자로 대치(replacement)해준다. 초기화-선택-교차-변이-대치의 유전 연산을 유전자가 더 이상 변하지 않을 때까지 반복한다. 그리고 최종 세대에서 가장 우수한 유전자를 해로 사용한다.

인공신경망에서는 가중치가 구하려는 해이므로 유전자로 설정한다. Eq. 37과 같이 초기 세대의 가중치를 초기화한다. 여기서 n은 초기 세대 가중치(유전자)의 수, W_n은 n번째 가중치, W는 초기 가중치, α_n은 가우시안 분포(Gaussian distribution) 값이다. 가우시안 분포 값은 유전자에 임의값을 더해주어 유전자가 과도하게 변화하는 것을 방지한다.

선택 전략 중 순위 선택(ranking selection) 방법은 상위권의 적합도를 가지는 유전자를 선택한다. NN+12개의 유전자 중 상위 N개의 유전자를 선택한다. 교차 연산에서는 전체 산술 재결합(whole arithmetic recombination) 방법을 사용하여 Eq. 38과 같이 후손(child) 유전자를 형성한다. 여기서 x, y는 부모(parent) 유전자, α는 0과 1 사이의 값이다. 교차를 통해 NN+12개의 후손 유전자를 만든다.

아주 작은 확률로 부모 유전자에 없는 유전자가 발현될 수 있는데 이는 교차 과정에서 불완전한 재결합에 의해 발생한다. 변이는 유전자를 임의적으로 변경해준다. 이후 변이된 유전자를 포함하여 NN+12개의 후손 유전자를 다음 세대로 물려준다. 이 과정을 반복하여 최적의 유전자(i.e. 가중치)를 찾아 인공신경망을 최적화한다.