데이터 보존

데이터 보존 기간(TTL)과 S3 스토리지 티어링을 설정하는 방법을 안내합니다.

개요

Skuber+ Observability는 3-Tier 스토리지 구조를 지원합니다:

S3 Warm/Cold는 선택 사항입니다. S3를 사용하지 않으면 Hot 티어만 사용되며, 보존 기간 이후 데이터는 자동 삭제됩니다.

데이터 보존 기간 설정 (TTL)

설정 방법

1. Skuber+ Observability UI에 접속
2. Settings > General 메뉴 선택
3. Data Lifecycle 섹션에서 각 데이터 유형별 보존 기간 설정
4. Save 버튼 클릭

설정 항목

S3를 사용하지 않는 경우, Hot 기간이 곧 전체 보존 기간이 됩니다.
Hot 기간이 지난 데이터는 자동으로 삭제됩니다.

데이터 유형별 권장 보존 기간

S3 Warm 스토리지 활성화

S3 Warm 스토리지를 활성화하면 Hot 기간이 지난 데이터가 자동으로 S3로 이동합니다.
S3에 저장된 데이터도 UI에서 바로 쿼리할 수 있습니다.

사전 준비

S3 활성화 전에 아래 항목이 준비되어야 합니다:

• S3 버킷 생성 완료
• IAM 사용자 생성 + Access Key 발급 완료
• ClickHouse VM → S3 방화벽 오픈 완료

자세한 준비 사항은 AWS 인프라 구성 가이드의 "S3 스토리지 티어링" 섹션을 참조하세요.

설정 방법

1. Settings > General > Warm S3 Storage 섹션으로 이동

2. S3 연결 정보 입력:

   항목	설명	예시
   Auth Mode	인증 방식	Static Key
   Bucket	S3 버킷 이름	my-observability-data
   Region	S3 버킷 리전	ap-northeast-2
   Access Key ID	IAM 사용자 Access Key
   Secret Access Key	IAM 사용자 Secret Key

3. Test Connection 버튼 클릭하여 연결 확인

4. 연결 성공 시 Save 버튼 클릭

S3 활성화

Save 후 Activate S3 Storage 버튼이 나타납니다.

1. Activate S3 Storage 버튼 클릭
2. 확인 모달에서 Activate 클릭
3. DB 에이전트가 자동으로 S3 설정을 적용하고 ClickHouse를 재시작합니다 (약 30초)

⚠️ Activate 시 ClickHouse가 재시작됩니다. 재시작 동안 (약 30초) 데이터 수집이 일시 중단됩니다.
재시작 완료 후 자동으로 데이터 수집이 재개됩니다.
운영 환경에서는 반드시 점검 시간(유지보수 시간)에 수행하세요.

활성화 확인

Activate 완료 후:

• 페이지가 자동으로 새로고침됩니다
• Data Lifecycle 섹션의 Timeline에 Warm (S3) 영역이 표시됩니다
• Hot 기간이 지난 데이터가 자동으로 S3로 이동하기 시작합니다

Cold Archive 활성화 (Glacier IR)

Cold Archive를 활성화하면 Hot + Warm 기간이 지난 데이터를 S3 Glacier IR에 자동 백업하고 ClickHouse에서 삭제합니다.

Cold Archive는 Warm S3가 활성화된 상태에서만 설정할 수 있습니다.

설정 방법

1. Settings > General > Cold Archive (Glacier IR) 섹션으로 이동

2. Enable Cold Archive 토글 ON

3. Cold Archive 설정:

   항목	설명	기본값
   Use separate S3 bucket	Cold 전용 버킷 사용 여부	OFF (Warm과 동일 버킷)
   Retention	Glacier IR 보관 기간 (0 = 무제한)	0일
   Backup Frequency	백업 주기	1일 (매일)

4. Save Cold Archive 버튼 클릭

동작 방식

Cold Archive가 활성화되면:

1. DB 에이전트가 설정된 백업 주기(기본 24시간)로 자동 백업을 수행합니다
2. Hot + Warm 기간이 지난 날짜의 데이터를 S3 Glacier IR에 백업합니다
3. 백업이 검증된 후, 해당 날짜의 데이터를 ClickHouse에서 삭제합니다

예시 (Hot=7일, Warm=30일):
  오늘이 4/10이면 → 3/4 이전 데이터가 Cold 대상
  3/4 데이터를 Glacier IR에 백업 → 검증 → ClickHouse에서 삭제

백업 대상 테이블

메타데이터 테이블(메트릭 이름 목록, 필터 키 등)은 삭제되지 않습니다.
삭제하면 UI에서 데이터 조회가 불가능해지기 때문입니다.

Cold 데이터 복원

Glacier IR에 백업된 데이터를 복원하는 방법입니다.

주의: 복원은 반드시 별도 데이터베이스에 수행해야 합니다.
운영 중인 원본 DB에 직접 복원하면 TTL RECOMPRESS와 충돌하여 데이터가 손상됩니다.

복원 절차

ClickHouse VM에서 실행합니다.

백업 목록을 확인합니다:

sudo clickhouse-backup list remote

백업을 다운로드합니다:

sudo clickhouse-backup download archive-YYYYMMDD

별도 DB에 복원합니다 (원본 DB 손상 방지):

sudo clickhouse-backup restore archive-YYYYMMDD \
    --schema --data \
    -m 'signoz_logs:signoz_logs_restore,signoz_metrics:signoz_metrics_restore,signoz_traces:signoz_traces_restore'

복원된 데이터를 확인합니다:

SELECT database, table, sum(rows) FROM system.parts
WHERE active AND database LIKE '%_restore'
GROUP BY database, table ORDER BY database, table

확인 후 복원 DB를 삭제합니다 (필요시):

DROP DATABASE IF EXISTS signoz_logs_restore;
DROP DATABASE IF EXISTS signoz_metrics_restore;
DROP DATABASE IF EXISTS signoz_traces_restore;

복원된 데이터를 원본 DB로 옮기려면 INSERT INTO ... SELECT FROM ... 쿼리를 사용하세요.

FAQ

S3를 나중에 활성화할 수 있나요?

네. 설치 시 S3 설정 없이 Hot 티어만으로 운영하다가, 필요할 때 UI에서 S3를 활성화할 수 있습니다. 기존 데이터에는 영향 없이 활성화 시점 이후부터 S3 이동이 적용됩니다.

S3 활성화 후 비활성화할 수 있나요?

현재 UI에서 S3 비활성화 기능은 제공되지 않습니다. S3 비활성화가 필요한 경우 기술 지원팀에 문의하세요.

Cold Archive를 비활성화하면 기존 백업은 어떻게 되나요?

Cold Archive를 OFF하면 에이전트의 백업 스케줄이 중단될 뿐, S3 Glacier IR에 이미 저장된 백업은 유지됩니다.

보존 기간을 변경하면 기존 데이터에도 적용되나요?

네. TTL은 데이터의 timestamp 기준으로 판단하므로, 보존 기간을 변경하면 기존 데이터에도 적용됩니다. ClickHouse의 백그라운드 머지 프로세스에 의해 점진적으로 반영되며, 완전히 적용되기까지 수 시간이 소요될 수 있습니다.

주의: 보존 기간을 크게 줄이면 (예: 40일 → 1일) 기존 데이터 중 새 조건에 맞지 않는 데이터가 한꺼번에 S3로 이동하거나 삭제됩니다. 대량 데이터 이동 시 쿼리 응답 시간 증가, 디스크 I/O 증가 등 ClickHouse에 일시적으로 부하가 발생할 수 있으므로, 보존 기간은 단계적으로 줄이는 것을 권장합니다.

문의

기술 지원 문의: sales@skuberplus.com