ETL Retention Policy

Введение

В НОКе реализован механизм синхронизации устройств с внешней системы ETL. Он работает через выгрузку информации из внешней системы и сравнения между собой текущего и последнего состояния выгрузок. Сама выгрузка представляет собой текстовый файл, находящийся в каталоге config.path.etl_import. Со временем в нём накапливается значительная история выгрузок информации из внешней системы. Большой исторической ценности она не представляет, но занимает существенный объём диска.

Предложение

В команду ./noc etl добавить аргумент clean, который удалит файлы выгрузки, выходящие за определённую политику. Саму политику можно задавать двумя путями:

• По числу файлов
• По времени хранения файлов (например 10 дней)

При этом важно сохранять последний архивный файл, поскольку без него выгруженные устройства будут считаться новыми (поскольку не будет предыдущего состояния).

Настройки можно задавать через параметры вызова команды ./noc etl clean. Это позволит гибко управлять политиками (например устанавливать разное время жизни для разных типов данных).