Constellation Network en Common Crawl Foundation revolutioneren de toegankelijkheid van webgegevens en AI-ontwikkeling met blockchaintechnologie SAN FRANCISCO , 24 oktober 2024 /PRNewswire/ -- De Common Crawl Foundation, een non-profit organisatie opgericht in 2007, die zich inzet om een kopie van het internet aan het publiek te leveren, en Constellation Network, een Web3 blockchain ecosysteem, bekend om het leveren van oplossingen aan het Amerikaanse Ministerie van Defensie hebben vandaag een strategisch partnerschap aangekondigd gericht op het democratiseren en verbeteren van de toegankelijkheid en het nut van web-crawled data op blockchaintechnologie voor kunstmatige intelligentie (AI) en gegevenstoepassingen. Deze samenwerking zal potentiële mogelijkheden onderzoeken voor het verbeteren van grote taalmodellen die met AI worden toegepast, te beginnen met de enorme dataset van Common Crawl die door 80% van de grote taalmodellen wordt gebruikt, tot nu toe meer dan 250 miljard webpagina's heeft gecrawld (19 miljard alleen al in 2024) en een archief van bijna 9 petabytes aan gearchiveerde crawlgegevens beslaat. Door gebruik te maken van Hypergraph, het gedecentraliseerde netwerk van Constellation, dat onveranderlijkheid, provenance en controleerbaarheid aan de gegevens toevoegt, is de samenwerking gericht op het leveren van gezamenlijke oplossingen voor verantwoorde en transparante AI.

Nu wordt verwacht dat AI tegen 2030 een 3 biljoen dollar-industrie zal zijn, groeit de vra.