EBS Volume 이란?
Amazon EBS 볼륨은 인스턴스에 연결할 수 있는 내구성이 뛰어난 블록 수준 스토리지 디바이스 이다. 볼륨을 인스턴스에 연결하면 물리적 하드 드라이브 처럼 사용할 수 있다.
특징
- 인스턴스가 종료된 후에도 데이터를 유지할 수 있다.
- 한 번에 하나의 인스턴스에만 마운트 할 수 있다. (단 CCP 레벨에서만.)
- 네트워크를 사용하여 인스턴스를 전달하므로 약간의 지연 시간이 있다.
- EC2 인스턴스에서 분리하여 다른 인스턴스에 빠르게 연결할 수 있다.
- 가용 영역(AZ)에 고정 되어 있다.
- EBS 볼륨을 이동 시키려면 스냅샷을 사용해야 한다.
- 용량(GB 및 IOPS 단위)이 프로비저닝 되어 있다.
- 모든 프로비저닝된 용량에 대해 요금이 부과된다.
- 시간이 지남에 따라 드라이브 용량을 늘릴 수 있다.
EBS 스냅샷
- 그림과 같이 특정 EBS 볼륨을 스냅샷으로 백업한다.
- AZ 또는 리전에서 스냅샷을 복사하여 사용한다.
(스냅샷을 위해 볼륨을 분리할 필요는 없지만 권장 사항이다.)
EBS 스탭샷 기능 정리
EBS 스냅샷 아카이브
- 스냅샷을 "아카이브 계층" 으로 이동시켜 사용하면 75%더 저렴하게 사용할 수 있다.
- 복원하는데 1~3일 정도의 시간이 소요 된다.
EBS 스냅샷용 휴지통
- 삭제된 스냅샷을 유지하기 위한 규칙 설정을할 수있으며, 실수를 해도 복구는 할 수 있다.
- 보존 기간 지정 (1일 ~ 1년)
AMI 란?
Amazon Machine Image(AMI)는 AWS EC2(Elastic Compute Cloud) 인스턴스를 실행하기 위한 운영체제, 소프트웨어, 설정 정보의 기본 템플릿입니다. AMI는 특정 환경을 구축하기 위해 필요한 모든 요소를 패키징한 이미지로, 빠르고 일관된 인스턴스 실행을 가능하게 합니다.
특징
- 자신만의 소프트웨어, 구성, 운영체제, 모니터링등을 추가할 수있다.
- 모든 소프트웨어가 사전 포장되어 있어 부팅/구성 시간이 빠르다.
- 나만의 AMI를 직접 만들고 유지 관리 할 수있다.
- AWS 마켓을 통해 AMI 를 팔거나 다른 사용자의 AMI를 구매 할 수 있다.
프로세스 흐름도
1. EC2 인스턴스 시작 및 사용자 지정
- 원하는 애플리 케이션 설치 및 설정하고 필요한 보안 규칙을 구성 한다.
2. 인스턴스 중지 (데이터 무결성)
- AMI를 생성하기 전 데이터 손상 방지를 위해 인스턴스를 중지해야 한다.
3. AMI 구축 (EBS 스탭샷 생성)
- 운영체제와 설정 정보를 포함한 이미지와 연결된 볼륨의 EBS 스탭샷을 생성한다.
4. AMI에서 새 인스턴스를 실행
- 새로운 AMI를 사용해 빠르게 동일한 환경의 EC2 인스턴스를 구성하여 실행 할 수 있다.
EC2 Image Builder 란?
AWS EC2 Image Builder는 가상머신(VM) 이미지 또는 컨테이너 이미지를 자동으로 생성 및 관리하기 위한 도구이며, 이미지를 주기적으로 업데이트 하거나 테스트할 수 있도록 설계되었으며, 효율적이고 자동화된 이미지 관리를 지원한다.
특징
- 가상머신 또는 컨테이너 이미지 생성을 자동화하는데 사용된다.
- 일정에 따라 실행 할 수 있다(예시: 주단위로 패키지 업데이트 등)
- 무료 서비스 이다. (기본 리소스에 대해서만 비용을 지불한다.)
프로세스 흐름도
위 그림은 EC2 Image Builder 의 흐름도 이다. EC2 Image Builder 는 빌더 인스턴스를 생성. 이 단계에서는 이미지를 구성하기 위한 모든 빌드 작업을 수행합니다. 빌더 인스턴스의 작업 결과를 기반으로 AMI가 생성되며, 생성된 AMI를 테스트하기 위해 별도의 EC2 인스턴스를 실행하고 테스트를 진행 합니다. 이미지의 안정성과 보완성을 확인하여 테스트를 통과하면 AMI를 배포합니다.
EC2 Instance Store 정리
1. EBS 볼륨의 한계
- EBS 볼륨은 네트워크 드라이브로, 성능이 좋지만 제한적인 경우가 있다.
2. 고성능 하드웨어 디스크가 필요할 경우
- .더 나은 I/O 성늘이 필요하면 EC2 Instance Store를 사용한다.
3. EC2 Instance Store의 특징
- 우수한 I/O 성능을 제공하며, 인스턴스를 중지하면 데이터가 삭제 된다.
- 버퍼, 캐쉬 스크래치 데이터, 임시 데이터 저장에 적합 하다.
4. 단점
- 하드웨어 오류가 발생하면 데이터 손실 위험이 있고, 백업 및 복제는 사용자의 책임이 된다.
EFS란?
EFS(Elastic File System)는 AWS에서 제공하는 완전 관리형 네트워크 파일 시스템(NFS) 입니다. 여러 EC2 인스턴스에서 동시에 공유 및 액세스 할 수 있도록 설계된 파일스토리지 서비스로, 확장성과 가용성이 뛰어납니다.
특징
- NFS 기반 관리형 파일 시스템으로 100개 이상의 EC2 인스턴스에 마운트 할 수 있어, 여러 인스턴스 간 데이터 공유가 가능합니다. 또한 POSIX 파일 시스템을 제공하여 Linux 워크로드에서 사용하기 적합합니다.
- 다중 가용영역(Multi-AZ) 지원기능 으로 EFS는 데이터를 여러 가용 영역(AZ)에 걸쳐 복제하여, 높은 내구성 및 가용성을 보장 합니다.
- 사용자는 하드웨어나 스토리지 관리에 대해 걱정할 필요가 없으며, 자동으로 크기가 확장 되거나 축소 되므로 용량 계획이 필요 없습니다.
- 고성능 파일 스토리지가 필요하거나 수백 또는 수천 개의 작업을 동시에 실행 해야 하는 워크로드에 적합 합니다.
- EFS는 사용한 만큼만 지불(pay-as-you-go) 하는 방식으로 동작하며, 데이터를 중복 저장하고 높은 가용성을 제공하기 때문에 비용이 gp2(일반적인 EBS볼륨)의 약 3배로 비교적 비쌉니다.
그림 설명
1. 그림에서 보듯 EFS는 여러 가용 영역(us-east-1a, us-east-1b, us-east-1c)에서 실행 중인 EC2 인스턴스에 동시에 마운트 가능 합니다.
2. EFS는 보안 그룹(Security Group)을 통해 접근 권한을 관리 하며, EC2 인스턴스에서만 접근 가능 하도록 설정 할 수 있습니다.
3. EFS는 동일한 데이터를 여러 인스턴에서 공유하며, 데이터는 다중 AZ에 걸쳐서 복제 됩니다.
EBS & EFS 비교
EBS: 특정 가용 영역 내에서 EC2 인스턴스에 직접 연결 되며, 주로 개별 워크 로드에 사용 된다. 데이터를 다른 AZ로 옮기려면 스냅샷을 사용해야 한다.
EFS: 다중 AZ에 걸쳐 데이터를 복제하며, 여러 EC2 인스턴스가 동시에 접근 할 수 있는 네트워크 파일 시스템으로, 공유 데이터 및 확장성 요구 사항이 높은 워크로드에 적합하다.
| 특징 | EBS | EFS |
| 스토리지 유형 | 블록 스토리지 | 네트워크 파일 시스템 |
| 연결성 | 한 인스턴스에만 연결 가능 | 여러 인스턴스에서 동시 연결 가능 |
| 가용성 | 특정 가용 영역(AZ) 내에서만 동작 | 다중 AZ에 걸쳐 고가용성 제공 |
| 백업 | 스냅샷으로 백업 가능 | 별도의 백업 기능이 없음 (고내구성) |
| 확장성 | 크기를 사전 설정해야함 (탄력적 아님) | 자동 확장/축소 지원 |
| 사용 사례 | 데이터 베이스, 단일 EC2 워크로드 | 컨테이너, 빅데이터 분석, 공유 워크로드 |
EFS - IA 란?
EFS - IA 는 비정기적으로 사용되는 데이터를 비용 효율적으로 저장할 수 있는 스토리지 솔루션 이다. 사용자는 Lifecycle Policy를 통해 데이터를 EFS Standard에서 EFS - IA로 자동 이동시킬 수 있으며, 이를 통해 비용을 절감하고 효율적인 데이터를 관리 할 수 있다.
그림 설명
- 기본 적으로 모든 데이터는 EFS Standard에 저장되며, 자주 액세스 되는 데이터를 저장합니다. (고성능 제공)
- 데이터가 60일 동안 액세스되지 않을 경우, Lifecycle Policy에 의해 자동으로 EFS - IA로 이동되며 이동 과정은 사용자나 애플리케이션 의해 투명하게 처리 됩니다.
- 비용 절감이 필요한 오래된 데이터는 EFS - IA에 저장되며, 데이터는 여전히 가용하지만, 액세스 시 추가 비용이 발생할 수 있습니다.
공유 책임 모델
| 구분 | AWS의 책임 | 사용자 책임 |
| 인프라 관리 | 데이터 센터, 서버, 네트워크 및 물리적 보안을 관리 한다. | EC2 인스턴스에서 실행되는 애플리케이션과 데이터 보안을 관리한다. |
| 데이터 복제 | EBS 볼륨과 EFS 파일 스템의 데이터 복제를 통해 고가용성과 내구성을 보장한다. | 데이터의 백업 및 복제 전략을 설정한다. |
| 하드웨어 관리 | 고장난 하드웨어의 복구 및 교체 | EC2 인스턴스 및 연결된 데이터의 운영 및 유지 관리 |
| 데이터 접근 보안 | AWS 직원이 고객 데이터를 접근하지 못하도록 물리적/논리적 보안 유지. | 데이터 암호화(EBS, EFS) 설정 및 관리. |
| 백업 및 복원 | 없음 (백업 설정은 사용자 책임) | EBS 스냅샷 생성, EFS 백업 및 복구 절차 설정. |
| 데이터 암호화 | 암호화 메커니즘 제공(KMS 등) | 암호화 활성화 및 키(Key) 관리 |
| Instance Store 관리 |
Instance Store에 대한 하드웨어 제공 및 관리 | EC2 Instance Store의 휘발성 이해 및 중요한 데이터는 백업 |
Amazon FSx 란?
FSx는 고성능의 서드 파티 파일 시스템을 AWS에서 완저 관리형 서비스로 제공하는 스토리지 솔루션 입니다. 고객은 파일 시스템 운영과 관리의 복잡성을 줄이면서 고성능과 확장성을 활용할 수 있습니다.
특징
- 완전 관리형 서비스로 사용자가 파일 시스템을 생성하고 사용하는 데만 집중하고. 관리 작업은 AWS에서 관리합니다.
- Lustre, Windows File Server, NetApp ONTAP 등 다양한 파일 시스템을 지원 합니다.
- 데이터 집약적인 워크로드에 최적화된 성능을 제공합니다.
Amazon FSx for Windows File Server 정리
Amazon FSx for Windows File Server는 Windows 네이티브 공유 파일 시스템으로, AWS와 온프레미스 환경 모두에서 사용할 수 있도록 설계된 서비스 입니다.
특징
- Windows File Server 기반으로 높은 안정성과 확장성으로 완전한 관리형 서비스를 제공합니다.
- SMB(서버 메시지 블록) 프로토콜을 지원 하며, Windows 애플리케이션과의 원할한 통합이 가능합니다.
- NTFS 지원으로 권한 및 기능을 활용한 파일 관리가 가능합니다.
- Microsoft Active Directory와 통합하여 사용자 인증 및 관리를 간편하게 처리합니다.
- 온프레미스의 Windows 클라이언트에서 SMB 프로토콜을 통해 액세스 가능하며, AWS 리소스와 연동 가능 합니다.
그림 설명
두 개의 가용 영역(AZ)에서 분산된 Windows File Server는 높은 가용성과 데이터 복제를 보장 하며, 온프레미스의 Windows 클라이언트는 SMB 프로토콜을 통해 AWS FSx에 접근 할 수 있습니다.
Amazon FSx for Lustre 정리
Amazon FSx for Lustre는 고성능 컴퓨팅(High Performance Computing, HPC)을 위한 파일 스토리지 솔루션으로 설계되었습니다.
특징
- Lustre [Linux 와 Cluster에서 이름을 따옴] 기반으로 HPC에 최적화된 파일 시스템을 제공합니다.
- 초당 수백 GB의 데이터 전송, 수백만 IOPS, 밀리초 미만의 대기 시간의 고성능 기능을 제공합니다.
- 머신러닝, 데이터 분석, 동영상 처리, 금융 모델링등에 많이 사용 됩니다.
- S3 데이터와 연결하여 Lustre 파일 시스템을 통해 고속으로 데이터를 처리 합니다.
그림 설명
Compute Instance는 FSx for Lustre에 연결되어 고속으로 데이터를 액세스 하며, Amazon S3와 통합 되어 S3dml 데이터를 FSx에서 직접 사용합니다. 온프레미스 서버도 Lustre 파일 시스템에 접근이 가능 합니다.
요약
| 특징 | FSx for Windows File Server | FSx for Lustre |
| 기반 | Windows File Server | Linux Cluster 기반 Lustre |
| 프로토콜 지원 | SMB (Windows NTFS 지원) | Lustre 파일 시스템 |
| 사용 사례 | 온프레미스와 클라우드 통합 파일 공유 | HPC, 머신 러닝, 데이터 분석 등 |
| 주요 성능 | 고가용성, Active Directory 통합 | 수백 GB/s, 수백만 IOPS, sub-mslatency |
| 온프레미스 연동 | SMB 프로토콜로 온프레미스 클라이언트 연결 | Lustre로 온프레미스 서버와 데이터 처리 |
'AWS' 카테고리의 다른 글
| Elastic Load Balancing (ELB) & Auto Scaling Groups (ASG) 정리 (1) | 2024.12.20 |
|---|---|
| EC2 인스턴스 및 보안 그룹에 대해 알아보자. (2) | 2024.12.19 |
| [AWS] 클라우드 컴퓨팅(Cloud Computing) (8) | 2024.12.16 |
| [AWS] IAM-ID (1) | 2024.12.16 |