Wat je nodig hebt

• Python 3.9+ geïnstalleerd
• Hugging Face datasets Python-pakket
• s3fs Python-pakket
• boto3 AWS SDK (voor CLI-interacties)
• Akave-inloggegevens (haal de jouwe op akave.com)
• Toegang tot het Akave O3 S3-compatibele eindpunt

‍

Stap 1: Kies je dataset uit Hugging Face

Ga naar huggingface.co/datasets en zoek een dataset die je wilt gebruiken.

Voor deze demo gebruiken we de standaard IMDB gegevensset:

imdb

Kopieer de naam van de dataset om in je script te gebruiken.

‍

Stap 2: De dataset overbrengen naar Akave Cloud

We gebruiken de Hugging Face datasets-bibliotheek met s3fs om de dataset te laden en in een Akave-bucket te pushen.

Hier is een vereenvoudigd Python-scriptvoorbeeld:

from datasets import load_dataset
import s3fs
import os

# Akave S3 credentials
os.environ["AWS_ACCESS_KEY_ID"] = "<your-key>"
os.environ["AWS_SECRET_ACCESS_KEY"] = "<your-secret>"
endpoint_url = "https://o3-rc2.akave.xyz"

# Load dataset from Hugging Face
dataset = load_dataset("imdb")

# Save it to Akave via s3fs
fs = s3fs.S3FileSystem(client_kwargs={'endpoint_url': endpoint_url})

# Create target bucket + path
bucket_name = "huggingface-bucket"
target_path = f"{bucket_name}/imdb"

dataset.save_to_disk(f"s3://{target_path}", fs=fs)

Je kunt aws s3 ls op je bucket gebruiken om de gegevens na het uploaden te inspecteren.

‍

Stap 3: Stream de dataset terug vanuit Akave

U kunt nu de dataset laden rechtstreeks vanuit de opslag van Akave met Hugging Face-opdrachten — het is niet nodig om lokaal op te slaan.

from datasets import load_from_disk

dataset = load_from_disk(f"s3://huggingface-bucket/imdb", fs=fs)
print(dataset["train"][0])

Dit maakt directe gevolgtrekkingen mogelijk vanuit cloudopslag, zonder kosten voor uitstappen.

Stap 4: Gebruik Helper-scripts voor eenvoudigere integratie

Akave biedt vooraf geschreven hulpscripts om:

• Maak een lijst van beschikbare buckets en S3-paden
• S3-verbindingen initialiseren
• Datasets overbrengen of synchroniseren
• Voer basistests uit om je verbinding te valideren
  

Verkrijgbaar in de docs.akave.xyz → Sectie „Hugging Face Integration”:

• huggingface_s3.py
• huggingface_test.py
  

Deze Python-klassen helpen bij het automatiseren van repetitieve installatietaken.

▶️ Bekijk de demo: Hoe gebruik je Akave Cloud met Hugging Face | Voer gevolgtrekkingen uit op gedecentraliseerde datasets

‍

FAQ

1. Kan ik Hugging Face-inferentie rechtstreeks vanuit Akave Cloud uitvoeren?

Ja, met de S3-compatibele gateway van Akave kunnen modellen en datasets rechtstreeks vanuit de opslag worden gestreamd zonder ze lokaal te downloaden.

2. Werkt dit met elke Hugging Face-dataset?

Ja, elke dataset wordt geladen via load_dataset () of load_from_disk () kan worden opgeslagen op Akave Cloud.

3. Kan ik Akave gebruiken met mijn bestaande S3-scripts?

Ja, Akave ondersteunt S3 API's, handtekeningen en paden volledig.

4. Zijn er kosten voor uitstappen?

Nee. Akave Cloud biedt onbeperkt ophalen bij redelijk gebruik.

5. Hoe zorgt Akave voor de integriteit van de dataset?

Elk object is geschreven met integriteitscontroles die zijn gericht op de inhoud, cryptografische verifieerbaarheid en onveranderlijke auditsporen.