TINYbert cho tìm kiếm: 10x nhanh hơn và 20x bé hơn bert base

tăng tốc độ thuật toán của bạn trong các nhiệm vụ trả lời câu hỏi trong các CPU tiêu chuẩ

mới đây, google giới thiệu một phương pháp mới để hiểu việc tìm kiếm và quyết định kết quả của thuật toán tìm kiếm. phuowngs pháp này, được triển khai từ mã nguồn của bert, xử dụng hiểu biết về ngôn nhữ để chắt lọc thông tin đằng sau truy vấn tìm kiếm , cái mà phương pháp truyền thống không đạt được.

chúng tôi xây dựng nboost để giúp những người không từ google có thể truy cập một phương pháp tìm kiếm nâng cao, và trong quá trình phát triển tinybert cho tìm kiếm, cái mà sẽ được giới thiệu trong bài báo này.x

xây dựng bert nhanh hơn và hiệu quả hơn

bert đã thể hiện sự ưu việt của mình khi cải thiện hiệu quả kết quả tìm kiếm, nhưng nó gặp phải vấn đề về hiệu năng khi cần sử dụng tài nguyên máy tính lớn. điều này đặc biệt đúng khi hàng triệu truy vấn cần được xử lí. vấn đề này được google giải quyết bằng việc xây dựng phần cứng đám mây google cloud tpu.

để giải quyết vấn đề triển khai trong phần cứng tiêu chuẩn, chúng ta xử dụng phương pháp chưng cất kiến thức, quá trình mà một mạng giáo viên lớn hơn dùng để train một mạng học sinh bé hơn cái mà nhận có độ chính xác cao hơn nhưng xử dụng ít hơn, thường là bé hơn về số layers, kiến nó nhỏ hơn và nhanh hơn.

kiến thúc của tynibert

chúng ta xử dụng kiến trúc từ repo này cho chưng cất kiến thức và sửa đổi nó cho training và evaluation trong Ms macro data. chúng ban đầu được tạo một mạng teacher bert-base-uncased trong pytorch với ms macro traing set. sau đó chúng ta xử dụng chúng như là teacher để train một student bé hơn bert network với chỉ 4 layer ẩn thay cho 12 như trước kia. thêm vào đó, với mỗi layers chỉ có 312 thay vì 768 units, làm mô hình bé hơn rất nhiều. chúng ta sẽ phân loại nhị phân kết quả cuối mô hình bert để đánh giá hiệu năng của thuật toán tìm kiếm