Data mining기법에 기반한 Process monitoring

정 신 호, 신 동 일, 윤 인 섭

서울대학교 응용화학부

Process Monitoring Based on Data Mining Strategy

Shinho Jeong, Dongil Shin, Ensup Yoon

School of Chemical Engineering, Seoul National University

1.서론

최근 computer science및 관련분야의 비약적인 발전에 힘입어 저가, 고성능의 computer, sensor, storage등의 장치를 통한 풍부한 data를 획득할 수 있게됨에 따라 새롭게 중요성이 부각되고 있는 분야가 Data mining으로 총칭되는 data analysis분야이다.  data간의 상관관계를 분석하여 유용한 정보를 추출하기 위한 것으로 전통적인 통계학분야인 다변량 통계분석, 공학과 전산학 분야의 패턴인식, 인공 신경망, 기계학습 등 인공지능의 범주에 포함되는 많은 분야가 넓은 의미의 Data mining 영역에 포함된다고 볼 수 있다.  예측능력(일반화능력)과 해석능력을 두 가지 주된 목표로 시스템에 대한 rigorous한 theoretical knowledge를 필요로 하지 않으므로 physical model의 구현이 현실적으로 불가능한 사회학, 경제학 분야에서 우수한 결과를 보이는 것으로 알려져 있다.  이러한 시도가 공학분야에서도 활발히 연구되어 왔는데 화학공업과 같은 장치산업은 비록 공정이 deterministic한 physical law에 따라 운전된다고 할지라도 여러 단위공정의 집약화, 경제성을 고려한 수많은 재환류 시스템, 제어목적의 복잡한 루프, measurement bias나 equipment malfunction, 기타 외란 요인에 의해 현상으로 관측되는 시스템은 first-principle에 기반한 이론적 모델과는 상당한 차이를 보이게 된다.  따라서 최근에는 과거 시스템의 상태를 관측하여 적절한 제어입력을 결정하기 위한 보조적인 수단으로 이용되었던 data에 Data mining기법을 적용함으로써 1차적인 용도로 활용하려는 연구가 많이 시도되고있다.  따라서 본 연구에서는 90년대 들어서 Process monitoring목적으로 많이 이용되고 있는 다변량 통계분석기법을 Data mining의 대표적 구현기법인 신경망을 이용해서 재해석하려고 한다.

2.이론

(1) Application of Data mining

화학공정의 수많은 단위공정에 장착된 sensor들로부터 얻어지는 측정data에 대해서 여러 가지 용도로 Data mining기법을 적용할 수 있는데 대표적으로 다음과 같이 구분할 수 있다.

□Process Monitoring : ASM(Abnormal Situation Management)의 일환으로 조기에 이상을 검출(Fault detection), 진단(Fault diagnosis)하여 이상의 원인을 제거(Assignable cause isolation)함으로써 초기의 경미한 Fault가 전면적인 Process upset으로 진행하는 것을 막아 product quality뿐만 아니라 Process의  stability를 확보하는데 있다.

□Process Identification : 최근 고급공정제어분야의 핵심기술로 자리잡은 모델예측제어는 공정모델로부터 공정의 출력을 예측하여 제어작용을 수행하기 때문에 공정모델의 신뢰성과 정확성에 전적으로 의존한다.  따라서 과거의 공정data라든지 실제 공정의 운전으로부터 얻은 data를 calibration set으로 하여 Recursive Least Squares와 같은 모델링기법을 통해 공정의 동특성을 가장 잘 반영하는 공정모델을 구한다.

□Property Estimation : 최근의 GC(Gas Chromatography)기술의 향상에도 불구하고 analysis time delay, high installment/management cost, comparatively low reliability로 인해 조성변수의 실시간 측정보다는 조성과 상관성이 큰 온도(유량, 압력 등)data를 이용하여 calibration set을 구성하여 MLR, RR, PCR, PLS등의 다변량 회귀모델링 기법을 이용하여 회귀모델을 만든 후 새로운 온도(유량, 압력 등)data로부터 조성을 간접 추정하는 기법이 실제 현장에서 많이 이용되고 있다.  이처럼 온도나 압력 유량 등 실시간 측정이 가능한 multiple secondary measurement를 이용하여 조성과 같이 실시간 측정이 어려운 물성치를 추정하는 기법을 hardware적인 sensor에 견주어 data-based(or empirical) soft sensor라고 한다.

(2) Process Monitoring

본 연구에서는 Data mining기법을 이용한 Process monitoring분야를 대상으로 하였다.  우선 통계학적인 Principal curves(T. Hastie, et al 1989) 알고리즘을 이에 대응하는 신경망 모델인 batch mode SOM(Self-Organizing Map)으로 재구성하였으며 자동연상 신경망으로 내삽(Interpolation)을 수행함으로써 비선형 PCA모델을 얻었다.  기존의 PCA모델을 Data mining적 관점에서 해석하면 다음과 같다.

data set xi (i=1,2,3,[eqn: CDOTS],n)는 다음의 approximating function f(x,P□)에 의해 reconstructed data set □i (i=1,2,3,[eqn: CDOTS],n)로 변환된다.

□ = f(x,P□) = t□*P□' = (x*P□)*P□' =F(G(x))

where,  G(x) = x*P□ = t□    □ encoding

F(t□) = t□*P□' = □  □ decoding

그러므로[eqn: { R}^{m } -> { R}^{□ }]로의 dimensional reduction([eqn: □ <= m])을 수행하는 PCA는 original input space에서 feature(or factor) space로의 projection을 나타내는 □개의 loading vector로 이루어진 loading matrix P□=[eqn: [ { p}_{1 } { p}_{2 }{ p}_{3 } CDOTS { p}_{□}]](m×□)을 다음의 Empirical Risk Minimization(ERM) inductive principle로부터 구하는 과정이라고 볼 수 있다.

Remp(P□) =[eqn: { 1} over {n } SUM from { i=1 }to{n} { DLINE {｜}_{i }-{□}_{i } DLINE }^{ 2}]

그러나 위에서 설명한 PCA는 variable들간에 linear correlation이 있을 경우 small variance를 갖는 noise term을 소거하는 효과적인 방법이 될 수 있으나 만약 variable들간에 non-linear correlation이 있을 경우는 이러한 variable간의 non-linearity를 효과적으로 capture하지 못하게되어 data의 variance를 cover하기 위해 너무나 많은 PC가 요구되어 PCA의 유용성이 떨어지게 된다.  따라서 PCA의 두 가지 linear mapping인 G(x) 와 F(t□)를 non-linear mapping으로 확장할 수 있다면 이 문제를 해결할 수 있을 것이다.  다음의 두 가지 방법으로 위의 문제를 해결한 비선형 PCA를 구현할 수 있다.

□Multi-Layer Perception networks(MLP)

이것은 MLP의 'Universal approximation' property를 이용한 것으로 다음의 ERM inductive principle을 통해 [eqn: omega]를 구하는 방법이다.

Remp([eqn: omega]) =[eqn: { 1} over {n } SUM from { i=1 }to{n} { DLINE {｜}_{i }-F(G( { ｜}_{i }), omega) DLINE }^{ 2}]

이러한 방법을 이용하여 비선형 PCA를 구현한 대표적인 예가 Kramer(1992)가 제안한 3개의 hidden layers를 가진 5층의 MLP인데 network parameter(각층의 노드개수)설정 문제 - 3층 구조이므로 Cross validation과 같은 re-sampling기법으로는 한계가 있음 - 와 이에 따른 학습의 어려움 등이 있다.

□Principal Curve/Batch SOM, Auto-associative neural network

Hastie와 Stuetzle(1989)에 의해 제안된 이 방법은 first linear Principal Component의 nonlinear generalization이라 볼 수 있다.  Principal curve는 data의 중앙을 지나는 곡선이기 때문에 outlier에 대단히 민감하다.  따라서 전처리 단계로 pre-filtering을 통해서 outlier를 제거하는 것이 필요하다.

Principal curve는 다음과 같은 'Self-consistency principle'을 만족해야 한다.

F(G(x)) = E(x|z=[eqn: { arg} atop {z' }]m[eqn: { DLINE F(z')-｜ DLINE }^{2 }])

이것은 Curve상의 어느 한 점은 이점으로 사영되는 모든 점들의 average이어야 함을 의미하는데 이는 다시 다음과 같은 단계로 나누어 해석할 수 있다.

(ⅰ)Projection step(Encoding mapping) : z = G(x) = [eqn: { arg} atop {z' }]m[eqn: { DLINE F(z')-｜ DLINE }^{2 }]

이 단계는 모든 data point를 curve위로 직교사영(orthogonal projection)시킨다.

(ⅱ)Conditional averaging(Decoding mapping) : □ = F(z) = E(x|z)

이 단계는 curve상의 동일위치(동일한 z값)로 사영되는 모든 data point의 평균을 z에 해당하는 curve상의 값으로 할당한다.

(ⅲ)Increasing flexibility(Span decreasing) : (ⅱ)번 단계에서의 local smoothing에서 사용되는 span을 초기단계에는 smooth curve를 얻기 위해 크게 한 후 갈수록 크기를 줄여 나간다.

일반적인 SOM(Self-Organizing Map)은 대체로 sequential mode로 training을 하나 batch mode SOM이 앞의 Principal curve와 유사하기 때문에 여기서는 Batch SOM에 대해서 설명하겠다.

Let, Input space x[eqn: IN { R}^{d }],	Feature space z [eqn: IN { R}^{m }]

[eqn: PSI] = {□1 □2 □3[eqn: CDOTS] □b} and [eqn: PSI(j)] = □j   and z[eqn: IN][eqn: PSI]

∴ Cj = F(z) = F([eqn: PSI(j)]),  (j=1,2,...,b)

<Overall procedure for Batch SOM>

Given, n training data xi (i= 1,2,...,n)

① Initialization of centers Cj(0) (j=1,2,...,b)

②Projection of 1 batch of n data points to find the closest projection site on the curve   zi(k) = G(xi) = [eqn: PSI (arg {min } atop {j } DLINE]Cj(k-1)-x[eqn: DLINE])

③Conditional-expectation using local regression : 주로 다음과 같은 Gaussian kernel regression을 수행한다.   Cj(k) = F(zj,[eqn: alpha](k)) =[eqn: { SUM from { i=1 } to {n} { x}_{i } { K}_{ alpha (k) }({ z}_{j },{ z}_{i }) } over {SUM from { i=1 } to {n}{ K}_{ alpha (k) }({ z}_{j },{ z}_{i }) }]

④Increasing flexibility : 위의 Kernel width [eqn: alpha (k)]를 iteration step마다 적절한 scheduling에 따라 줄여나간다.

⑤Iteration : 다음의 Empirical risk가 threshold값보다 작아질 때까지 위의 ②∼④를 반복한다.	Remp = [eqn: { 1} over {n } SUM from { i=1 }to{n} { DLINE {｜}_{i }-F(G( { ｜}_{i })) DLINE }^{ 2}] < Threshold

3. 실험결과

다음과 같은 combined Batch SOM and Auto-associative network로 비선형 PCA를 구현후 이를 이용한 간단한 예로 noise filtering을 수행하면 다음과 같다.

[Fig.1 Model architecture]

[Fig.2 Noise filtering]

그리고 이러한 비선형 PCA모델을 이용하여 faulty sensor detection simulation을 수행하면 다음과 같다.

[Fig.4 Fault detection]

[Fig.3 Calibration model]

4. 토론

이상으로 Data mining기법에 의한 비선형 PCA모델의 구현과 공정감시를 위한 응용에 대해서 알아보았는데 이는 어디까지나 steady state system data에 적용할 수 있는 것으로 dynamic system의 경우 time series model을 구성하여 static PCA를 dynamic system으로 확장하여 적용하는 연구가 필요하다

참고문헌

1. V. Cherkassky, F. Mulier "Learning From Data"  WILEY & SONS 1998

2. D. Dong, T. J. McAvoy : Comp. chem. Engng. 20(1) 65-78, 1996

3. S. J. Qin, T. J. McAvoy : Comp. chem. Engng. 16(4) 379-391, 1996

4. J. V. Kresta, J. F. MacGregor : Comp. chem. Engng. 18(7) 597-611, 1994

5. M. A. Kramer : Comp. chem. Engng. 16(4)313-328, 1992

6. R. Dunia, S. J. Qin, T. J. McAvoy : AIChE J. 42(10) 2797-2812, 1996

7. T. Hastie, W. Stuetzle : J. Am. Stat. Assoc. 84(406) 502-516, 1989