BigDl adalah perpustakaan pembelajaran terdapat pada Apache Spark.dengan BigDl. pengguna dapat menulis aplikasi pembelajaran mendalam. hal itu sebagai program spark standar. yang dapat berjalan langsung diatas cluster Spark atau Hadoop yang ada. hal ini dapat memungkinkan fungsi pembelajaran yagn mendalama pada kelompok Hadoop/spark yang ada dalam menganalisa data yang sudah ada di HDFS, HBase, Hive. Dll. Fitur umum Lain dari BigDl Meliput Kaya,
dukungan belajar yang mendalam.
Rich, deep learning support.
memberikan dukungan menyeluruh untuk pembelajaran mendalam, termasuk komputasi numerik (via Tensor) dan jaringan saraf tingkat tinggi
Selain itu, pengguna dapat memuat model Caffe * atau Torch pra-terlatih ke dalam program Spark menggunakan BigDL.
Extremely high performance.
Untuk mencapai kinerja tinggi, BigDL menggunakan Intel® Math Kernel Library (Intel® MKL) dan pemrograman multi-threaded di setiap tugas Spark. Konsekuensinya, ini adalah urutan besarnya lebih cepat daripada produk open-source Caffe, Torch, atau TensorFlow di prosesor single-node Intel® Xeon® (sebanding dengan GPU mainstream).
Efficiently scale out.
dapat secara efisien melakukan skala untuk melakukan analisis data pada skala data yang besar, dengan memanfaatkan Apache Spark (kerangka pemrosesan data yang cepat dan cepat), serta implementasi SGD yang sinkron dan semua-mengurangi komunikasi pada Spark.
Gambar 1 menunjukkan gambaran umum tentang bagaimana program BigDL dijalankan pada cluster Spark yang ada. Dengan bantuan manajer cluster dan proses master aplikasi atau program driver, tugas Spark didistribusikan ke seluruh simpul pekerja Spark atau kontainer (pelaksana). BigDL memungkinkan eksekusi lebih cepat dari tugas Spark menggunakan Intel MKL.
No comments:
Post a Comment