Big Data - Hadoop

NVIDIA데이터 물량, 속도, 다양성, 진실성 및 가치는 빅데이터 배포를 측정하는 지표입니다. 지배적인 빅데이터 애플리케이션 Hadoop은 조직이 새로운 비즈니스를 시작하고 리서치를 개선하도록 지원합니다. Hadoop의 데이터 스토리지 규모, 수신 흐름 및 분석 속도의 클러스터 기능은 현대 데이터 과학자의 작업 목표입니다. 레거시 이더넷 네트워크는 더 이상 Hadoop 클러스터에 필요한 성능을 제공할 수 없습니다. 다중 소켓, 멀티코어 서버는 레거시 기가비트 이더넷(흔히 10GbE)의 용량을 넘어섰습니다.

Hadoop 클러스터를 구축할 때는 워크로드가 크게 달라지므로 네트워크 및 필요한 기능 선택이 주요 과제 중 하나입니다. 목표는 클러스터의 모든 노드가 최적의 속도로 서로 통신하기에 충분한 네트워크 용량을 구입하는 것입니다. Mellanox의 종단 간 Hadoop 네트워킹 솔루션은 현재 및 미래의 병목 현상을 제거하는 데 필요한 성능을 제공합니다. 이더넷이든 InfiniBand이든 Mellanox 스위치, 케이블 및 어댑터 카드는 현대의 고급 디스크 컨트롤러 처리량을 유지하기에 충분한 대역폭을 제공합니다. 저 지연 기능은 NoSQL 데이터베이스 성능을 새로운 최고 수준으로 끌어올립니다. 마이크로초 미만의 대기 시간은 HBase 조회 응답 시간을 줄이고 보다 예측 가능한 응답 시간을 제공합니다.

Apache Hadoop 위에 설치되는 새로운 인터랙티브 프레임워크가 거의 실시간에 가까운 데이터 분석 성능을 제공합니다. 이 프레임워크들이 많은 양의 데이터를 처리하려면 저 지연성의 고용량 처리 연결이 필요합니다. 선형 매출과 수익의 기하급수적으로 증가함에 따라 선형 확장성은 오늘날의 비즈니스 성장에 꼭 필요한 대응 기능입니다. 마이크로프로세서 기술의 발전에 따라 멀티코어 프로세서와 서버는 CPU 처리를 지원할 대량신속처리 네트워크가 필요해집니다. Mellanox InfiniBand 및 이더넷 기술은 사용 가능한 최고 수준의 대역폭을 제공하며 각기 데이터 이동을 분산하는 RDMA 기능을 갖추고 있습니다.