| 초록 |
연속 회분식 반응기(Sequencing Batch Reactor, SBR)는 질소와 인의 동시처리가 가능하고 유연하게 운전할 수 있다. 하지만, SBR 공정은 강한 시변성, 비선형성 및 다양한 형태의 동특성 때문에 운전이 불안정하며 실시간 제어가 어렵다는 단점이 있다. 따라서 본 연구는 유입수의 선험적인 지식 없이 다양한 유입수 조건에서도 안정적으로 운전 가능한, SBR 공정에 특화된 다중에이전트 기반 심층 강화학습 (Multi-agent deep reinforcement learning, MA-DeepRL) 알고리즘을 개발하였다. 본 연구에서 제시한 MA-DeepRL 알고리즘은 Twin delayed DDPG (TD3)와 independent Q-learning (IQL) 방법론에 기반하였고, 최적제어 이론을 활용해 유입수 조건에 따른 SBR의 운전 효율화를 위한 physical model-based reward function을 개발하였다. 개발한 모델을 확인하기 위하여 Benchmark-SBR (B-SBR) 모델을 이용하였으며, 본 연구에서 개발된 SBR 특화 MA-DeepRL 시스템은 기존 운전 방법론과 비교하여 향상된 질소 제거율 및 에너지 효율을 보였으며, SBR 공정의 자율 최적제어 가능성을 평가하였다.본 연구는 환경부 “유망녹색기업 기술혁신 개발사업(과제번호: 2020003160009)”과 한국연구재단의 전략과제 연구비 지원으로 수행되었습니다(과제번호: NRF-2017R1E1A1A03070713). |
