công ty chip AI được Nvidia mua lại với giá 20 tỷ USD

Tháng 2/2024, CEO Groq Jonathan Ross đã có buổi gặp gỡ tại Oslo (Na Uy), nơi xuất hiện các thành viên quốc hội Na Uy cùng hàng loạt giám đốc điều hành công nghệ. Tại đây, ông trình diễn một sản phẩm đột phá: chatbot AI có thể trả lời câu hỏi gần như lập tức, nhanh hơn tốc độ đọc của con người.

Nhưng buổi thuyết trình không diễn ra như mong đợi. Chatbot chạy chậm so với kỳ vọng, khiến Ross lo lắng, bởi AI này được vận hành bởi một trung tâm dữ liệu ở châu Âu sử dụng chip Groq. “Tôi cứ liên tục kiểm tra các con số”, Ross kể với Forbes. “Mọi người không hiểu tại sao tôi lại mất tập trung đến vậy”.

“Thủ phạm” sau đó được tìm ra: lượng người dùng mới đổ dồn vào chatbot. Một ngày trước buổi trình diễn, một nhà phát triển bất ngờ chia sẻ trên X “công cụ AI trả lời siêu tốc” khiến lượng truy cập lớn đổ về máy chủ của Groq và làm quá tải hệ thống.

Theo CNBC, Nvidia đang trong quá trình thâu tóm tài sản của startup chuyên sản xuất chip Groq với giá 20 tỷ USD. Theo công bố trên blog của Groq, đây là thỏa thuận không độc quyền, trong đó Nvidia chỉ lấy quyền sử dụng công nghệ của công ty thay vì tiếp quản toàn bộ, doanh nghiệp vẫn có thể tiếp tục hoạt động độc lập với CEO mới. Còn Ross cùng Chủ tịch Sunny Madra và các lãnh đạo cấp cao khác gia nhập Nvidia “để giúp phát triển và mở rộng công nghệ được cấp phép”.

Sức mạnh của chip Groq

Khi trên mạng xã hội xuất hiện video cho thấy chatbot trả lời người dùng siêu nhanh hồi đầu 2024, Groq được dự đoán có khả năng thách thức tên tuổi lớn như Nvidia, AMD, Intel, đồng thời mở đường cho các ứng dụng và mô hình AI mới và tăng tốc cuộc đua AI.

Theo Reuters, so với các chip huấn luyện AI của Nvidia tận dụng lại kiến trúc GPU, Groq đi theo con đường riêng bằng cách xây dựng kiến trúc chip tùy chỉnh hoàn toàn mới mang tên Language Processing Unit (LPU – Bộ xử lý ngôn ngữ), được tối ưu hóa cho suy luận xác định và đơn token. Mỗi LPU có giá 20.000 USD, tương đương GPU A100 của Nvidia.

Một trong những cách đánh giá hiệu năng của phần cứng AI là tốc độ tạo token trên mỗi giây (tps) khi chạy mô hình LLM – chỉ số quan trọng phản ánh khả năng xử lý ngôn ngữ tự nhiên, càng nhiều tps, phản hồi từ AI càng nhanh và mượt.

Hồi tháng 5, chuyên gia công nghệ người Ấn Độ Prathisht Aiyappa có bài phân tích trên Medium, so sánh giữa chip Groq và Nvidia H100 và chỉ ra một số điểm khác biệt. Trong đó, chip Groq sử dụng chế độ xác định và xử lý theo từng token, còn chip Nvidia là chế độ xác suất và xử lý theo nhóm (batch-oriented). Groq cung cấp khoảng 300-500 tps với độ trễ 1-2 ms, còn chip Nvidia dao động trong khoảng 60-100 tps và độ trễ 8-10 ms. Thử nghiệm của riêng Groq cho thấy, khi chạy Llama 2 với 70 tỷ tham số, tốc độ tạo token đạt 241 tps, cao hơn gấp đôi so với nhiều dịch vụ khác trên thị trường

“Khi độ trễ trở thành nút thắt cổ chai ảnh hưởng đến trải nghiệm người dùng, lợi thế của Groq càng được phát huy tối đa”, Aiyappa đánh giá.

GPU của Nvidia vốn được coi là tiêu chuẩn trong lĩnh vực AI, cả huấn luyện lẫn suy luận, nhờ nền tảng kiến trúc song song mạnh mẽ, hệ sinh thái phần mềm phong phú như Cuda và TensorRT. Trong khi đó, chip LPU của Groq có thể chạy hầu hết mô hình ngôn ngữ lớn hiện nay. Tuy nhiên, chip này chỉ đạt hiệu năng tối đa trong xử lý tác vụ liên quan đến suy luận chuỗi văn bản. Để đào tạo mô hình, các công ty vẫn cần dùng đến GPU của Nvidia hoặc chip tương tự.

Theo Aiyappa, cách tiếp cận của Groq cho thấy họ không cố gắng “thắng trong lĩnh vực AI”, thay vào đó là nhắm vào phân khúc thị trường hẹp nhưng có giá trị cao mà Nvidia hoạt động chưa hiệu quả: tốc độ, tính xác định và khả năng kiểm soát của nhà phát triển. Bên cạnh đó, sản phẩm cũng không cố gắng đáp ứng mọi nhu cầu, chỉ tập trung xây dựng công cụ suy luận nhanh và chính xác nhất, sau đó cung cấp cho những nhóm cần đến nó.

Thực tế, trong quý II/2024, Groq âm thầm ký hợp đồng với nhiều công ty lớn nhỏ và các tổ chức quốc gia, chủ yếu ở lĩnh vực phiên âm thời gian thực, robot công nghiệp, AI biên cấp độ quốc phòng, chăm sóc sức khỏe… Khách hàng của công ty có Meta, Phòng thí nghiệm Quốc gia Argonne (Mỹ) dùng để nghiên cứu phản ứng hạt nhân, hay công ty dầu khí Aramco Digital (Arab Saudi).

“Khả năng tích hợp trình biên dịch với phần cứng Groq cho phép cung cấp sản phẩm với tốc độ chúng tôi không thể đạt được khi sử dụng giải pháp của Nvidia hay AWS”, một giám đốc công nghệ của một công ty AI trụ sở tại Mỹ nói với CNBC.

“Chip Groq thực sự nhắm thẳng vào điểm yếu chí mạng”, Yann LeCun nhận xét năm ngoái.

Tầm nhìn của nhà sáng lập

Ross kín tiếng, hiếm khi xuất hiện trước truyền thông. Theo hồ sơ trên LinkedIn, ông học toán và khoa học máy tính tại Viện Khoa học Toán học Courant của Đại học New York. Trên trang giới thiệu của Groq, Ross là một trong những học trò của Yann LeCun – một trong những người được mệnh danh là Godfather of AI (bố già AI).

Giai đoạn 2006-2008, Ross theo học tiến sĩ tại Đại học New York nhưng bỏ giữa chừng. Từ 2009, ông đảm nhiệm vị trí trưởng bộ phận R&D của nhà cung cấp dịch vụ công nghệ Pacmid.

Năm 2011, Ross gia nhập Google. Với vai trò kỹ sư phần mềm, ông tạo ra khung kiểm thử hệ thống phân tán, một trong những yếu tố chủ chốt đầu tiên xây dựng nền tảng tiền thân cho bộ xử lý Tensor (TPU) cho Google. TPU là các mạch tích hợp (ASIC) dành riêng cho ứng dụng do Google phát triển, dùng để tăng tốc khối lượng công việc học máy.

Từ giai đoạn 2013-2015, ông tập trung cho TPU và phụ trách thiết kế, triển khai các yếu tố cốt lõi của chip thế hệ đầu tiên. Ông sau đó gia nhập nhóm đánh giá nhanh (Rapid Eval Team) tại Google X – phòng thí nghiệm bí mật của Google, nơi ông thiết kế và ươm mầm các dự án mới cho Alphabet.

Trong thời gian làm tại Google, Ross muốn thiết kế một mẫu chip dành riêng cho “suy luận”, với AI mô phỏng khả năng suy nghĩ và lập luận của con người thông qua việc áp dụng những gì đã học vào tình huống mới. Chẳng hạn, smartphone có thể nhận diện một con chó là giống Corgi qua ảnh chưa từng thấy trước đây. Điều này khác với suy nghĩ của các chuyên gia khi đó, là huấn luyện mô hình khổng lồ ngay từ đầu.

Năm 2016, Ross và đồng nghiệp Doug Wightman rời Google để thành lập Groq, xây dựng chip LPU riêng. Wightman làm CEO hai năm, sau đó Ross tiếp quản. Cùng năm, công ty huy động 10 triệu USD đầu tiên, với quỹ đầu tư mạo hiểm Social Capital dẫn đầu.

Những năm tiếp theo, công ty không nhận nhiều chú ý, còn Wightman rời công ty. Một nhà đầu tư mạo hiểm thẳng thừng từ chối khi được đề nghị huy động vốn vì “không có tiềm năng lâu dài”. Mitesh Agrawal, đứng đầu bộ phận điện toán đám mây của Lambda, cũng nói không muốn dùng chip Groq vì “hiện tại rất khó để nghĩ xa hơn Nvidia”.

“Groq suýt chết nhiều lần”, Ross kể với Forbes năm ngoái. “Có lẽ chúng tôi đã bắt đầu hơi sớm”.

Tuy nhiên, công ty vẫn nhận số tiền lớn sau các vòng gọi vốn. Đến vòng Series C năm 2021, công ty có được 300 triệu USD, được định giá hơn một tỷ USD và trở thành kỳ lân,

Cuối 2022, OpenAI phát hành ChatGPT, khơi mào cơn sốt AI toàn cầu, nhưng may mắn vẫn chưa đến với Groq. Báo cáo tài chính năm 2023 cho thấy doanh thu công ty đạt 3,4 triệu USD, lỗ ròng 88,3 triệu USD.

Đầu 2024, khi nhu cầu sức mạnh tính toán nâng cao, lĩnh vực bán dẫn AI bắt đầu có sự phân mảnh. Theo CNBC, trong bối cảnh Nvidia áp đảo thị trường chip tính toán, các công ty khác bắt đầu đi theo hướng riêng, như TPU, FPGA (mạch tích hợp cỡ lớn dùng cấu trúc mảng phần tử logic có thể lập trình), chip mô phỏng thần kinh… đảm nhiệm vai trò chuyên biệt. Riêng chip Groq được thiết kế riêng cho các tác vụ có độ trễ cực thấp. Điều này giúp họ thành công vòng gọi vốn vào tháng 8/2024, huy động 640 triệu USD, được định giá 2,8 tỷ USD.

Hồi tháng 9, Groq tiếp tục huy động thành công 750 triệu USD và được định giá 6,9 tỷ USD. Tuy nhiên, hành trình của công ty hiện rẽ sang hướng mới, khi công nghệ tinh túy nhất và các nhân sự chủ chốt về dưới tay Nvidia thông qua thỏa thuận trị giá 20 tỷ USD sắp diễn ra.

Theo giới quan sát, thương vụ sẽ cần vượt qua bước cuối cùng, là được cơ quan quản lý cấp phép. “Rủi ro ở đây là vấn đề chống độc quyền”, nhà phân tích Stacy Rasgon của Bernstein viết trên blog.

Với Ross, ông vẫn im lặng như thường lệ. Năm ngoái, khi được vinh danh trong danh sách Time 100 AI 2024, ông cho biết luôn có chỗ đứng cho những công ty sáng tạo. “Nhu cầu vô cùng lớn”, ông nói. “Khi chip AI rẻ hơn, mọi người sẽ mua nhiều hơn”.

Bảo Lâm tổng hợp