[알리바바 클라우드 E-HPC] 고성능 컴퓨팅 클러스터 솔루션
작성일: 2021-08-09
-HPC와 알리바바 클라우드의 E-PHC란?
Alibaba Cloud E-HPC (Elastic High Performance Computing)
고성능 컴퓨팅(HPC)은 고급 응용 프로그램을 효율적이고 안정적으로, 빠르게 처리하기 위해 컴퓨팅 노드를 병렬 처리하는 것이다. 알리바바 클라우드의 E-HPC는 알리바바 클라우드의 Cloud-Native 컴퓨팅 클러스터 솔루션으로 최대 500개의 컴퓨팅 노드를 병렬 구조로 연결하여 방대한 양의 데이터를 분산하여 동시에 처리한다.
The Architecture of E-HPC
때문에 대규모 컴퓨팅 자원이 필요한 사업 및 프로젝트 제작부터 렌더링, 결과물 도출까지 전체 방대한 데이터를 효율적으로 처리하여 프로젝트 시간을 획기적으로 단축시킬 수 있다는 특장점을 가지고 있다.
다시 말해, 알리바바 클라우드의 E-HPC는 “고성능 컴퓨팅 노드로 유연한 클러스터 관리가 가능하며, 다양한 부분에서 사용자 요구를 충족하는 HPC 소프트웨어를 제공한다”라고 할 수 있겠다.
–제품특징
알리바바 클라우드 E-HPC는 기존 Supercomputing Center에 비해 다양한 특장점을 가지고 있다.
편리성
E-HPC는 ECS 또는 EGS 컴퓨팅 클러스터를 생성하여 애플리케이션을 신속하게 배포할 수 있도록 고성능 컴퓨팅 환경을 제공한다.
확장성
E-HPC는 자동으로 워크로드를 감지하고 필요에 따라 컴퓨팅 노드 수를 늘리거나 줄일 수 있습니다. 물리적 서버의 용량에 의해 성능이 제한되지 않는다.
안전성
E-HPC는 ECS, EGS 또는 VPC에서 제공하는 고가용성 및 데이터 보안 요구 사항을 충족하는 Multi-tenant 보안격리를 통해 보호된다.
연동성
E-HPC는 알리바바 클라우드의 다른 제품 및 서비스와 빠르고 원활하게 연동이 가능하다.
- ECS (Elastic Compute Service) : 알리바바 클라우드에서 제공하는 안정적이며 확장성이 뛰어난 IaaS 컴퓨팅 서비스
EGS (Elastic GPU Service) : 딥 러닝, 비디오 프로세싱, 과학 컴퓨팅, 시각화 같은 시나리오에 이상적인 GPU 기반 컴퓨팅 서비스
–활용사례
E-HPC는 위와 같은 특징 덕분에 AI, 교육, 연구기관, 게임, VFX, 엔터테인먼트 등 많은 산업에 널리 적용될 수 있다. 그렇다면 알리바바 클라우드의 E-HPC가 실제로 어떤 분야에 어떻게 적용되었는지 알아보자.
1.영화 《 流浪地球 (wandering earth)》의 VFX
2019년 개봉한 중국영화《 流浪地球 (wandering earth)》
이미지 출처 : Google “wandering earth poster”
본 영화는 알리바바 클라우드의 E-HPC의 수평 및 수직 탄력적 확장성을 적용하여 IT작업량을 크게 축소하였다.
[영상 01]
알리바바 클라우드 E-HPC를 활용한 렌더링 데모
출처 : 알리바바 클라우드 코리아 블로그
2.WRF(기상 연구 및 예측)
E-HPC의 CloudMetrics 기능을 사용하여 슈퍼 컴퓨팅 클러스터에서 WRF(기상 연구 및 예측)모델을 최적화 할 수 있다. CloudMetrics를 사용하면 성능 대시보드에서 클러스터 리소스 사용량을 보고 모든 클러스터 노드의 상태를 모니터링할 수 있기 때문이다.
WRF (기상 연구 및 예측) 모델
출처 : 알리바바 클라우드
https://partners-intl.aliyun.com/help/doc-detail/58427.htm
cf.WRF란?
WRF(Weather Research and Forecasting)는 차세대 중규모 예측 모델을 채택한 NWS(National Weather Service)오픈 소스 소프트웨어 유형으로 기상 산업에서 널리 사용되고 있습니다.
3.약물 및 백신 발견과 공중 보건 개발
마지막으로 E-HPC는 전 세계 연구자들이 새로운 코로나바이러스(COVID-19) 질병의 전 세계 발병에 대비하여 약물 및 백신 발견과 공중 보건 개발 노력을 가속화하는 데 사용할 수 있다, AI 기반 약물 설계, CT 영상 진단 및 생물정보학 메타전사체학과 같은 솔루션으로 COVID-19에 대한 연구를 수행하는 약 20개의 연구소를 지원한다.
질병 확산 예측 솔루션 (Epidemic Prediction Solution)
특정 지역에서 코로나의 확산 규모, 속도, 지속 기간 등을 예측할 수 있는 솔루션입니다. 머신러닝 기반의 알고리즘으로 운영되어 중국 내 31개 성에서 테스트를 거쳤으며 평균 98%의 예측 정확도를 기록한답니다.
CT 분석 솔루션 (CT Image Analytics Solution)
코로나 19 검사의 정확도 및 효율성을 대폭 향상시킨 CT 분석 기술입니다. 중국 내에서 딥러닝 알고리즘을 통한 학습과정을 거쳐 코로나 19를 비롯해 다양한 폐렴 유형의 개연성을 예측하며 분석은 4초, 전송에는 16초 가량 소요되어 사람 대비 60배 가량 빠르게 병변을 식별합니다.
코로나 19 진단을 위한 게놈 시퀀싱 솔루션
바이러스의 유전자 검사, 변이 분석, 단백질 구조 분석, 진단 보고 등 코로나 19 분석을 위한 인공지능 게놈 시퀀싱 (유전자 배열 순서 규명) 솔루션입니다. 기존의 방식을 사용하면 두 시간이 소요되지만, 해당 솔루션을 사용하면 20명 이상을 동시에 검사할 수 있어 시료 당 평균 소요 시간을 30분으로 단축시켰답니다!
-생명과학 분야를 위한 고성능 엘라스틱 컴퓨팅 솔루션
컴퓨팅 기반 신약 설계(CDDD, Computational-Driven-Drug-Design), AI기반 신약 설계(AIDDD, AI-Driven-Drug-Design) 등 방대한 규모의 슈퍼컴퓨팅 파워가 요구되는 생명과학 분야 연구진을 위한 솔루션입니다. 칭화대가 개발한 코로나 19 폐렴 지능형 CT 진단 시스템은 해당 기술을 통해 10초만에 의심환자 진단을 완료할 수 있었답니다. 이 외에도 약물 가상 스크리닝 시간을 1개월 이상에서 1주일로 단축하여 약물 체외 테스트 프로세스를 크게 가속화하기도 하고 유전자 조립성능을 25% 가속화 하기도 했습니다.
이런 여러 기능을 통해, 연구원들이 COVID-19를 비롯한 다른 질병을 위한 연구에만 집중할 수 있도록 도움을 주고 있다.
배너를 클릭하시면 1:1상담을 바로 받으실 수 있습니다↓
