ChatGPT có độ chính xác cao trong việc tạo ra các phản hồi không?

ChatGPT, trò chuyện giống con người được phát triển bởi OpenAI, đã gây chú ý trong nhiều lĩnh vực với tính chính xác và hiệu suất của nó. Tuy nhiên, điều quan trọng cần lưu ý là kiến thức của nó giới hạn trong dữ liệu có sẵn cho đến năm 2021. Một trong những bài kiểm tra tính chính xác của nó được thực hiện bởi Giáo sư Christian Terwiesch tại Đại học Pennsylvania, người đã đưa ChatGPT vào bài kiểm tra MBA.

Kỳ thi bao gồm bảy câu hỏi liên quan đến các khái niệm kinh doanh khác nhau như phân tích quy trình, lật kho và phân tích đợt. Điều này được thiết kế để mô phỏng một môi trường con người thực tế và các câu hỏi được đặt chính xác như cách nó sẽ được hỏi đối với một học sinh. Đến bất ngờ của giáo sư Terwiesch, ChatGPT đã bắt đầu kỳ thi với một thành tích xuất sắc, nhận được điểm A+ cho câu trả lời đầu tiên về khái niệm đường tr bottleneck trong phân tích quy trình.

Mặc dù Chatbot đã gặp khó khăn với những câu hỏi phức tạp hơn, nhưng giáo sư vẫn ấn tượng với hiệu suất tổng thể của nó. Sau khi thực hiện kỳ thi MBA trên ChatGPT, Giáo sư Terwiesch kết luận rằng Chatbot AI sẽ đạt được điểm trung bình từ B đến B-.

Giải thích độ chính xác của ChatGPT

Một minh chứng khác về độ chính xác của ChatGPT nằm trong lĩnh vực y tế, nơi chatbot có thể đạt được kết quả đậu Kỳ thi Cấp phép Y tế Hoa Kỳ (USMLE). Theo nghiên cứu, ChatGPT có thể đạt được độ chính xác hơn 50% trên tất cả các kỳ thi và cung cấp cả thông tin và giải thích cho các câu trả lời của nó.

Trong một nghiên cứu riêng do các bác sĩ đến từ start-up y tế Ansible Health dẫn đầu, ChatGPT thực hiện ở mức hoặc gần ngưỡng qua cả ba kỳ thi yêu cầu để trở thành bác sĩ được cấp phép tại Hoa Kỳ. Trong khi độ chính xác của ChatGPT là đáng kinh ngạc, điều quan trọng là cần phải nhớ rằng hiệu suất của nó có thể thay đổi tùy thuộc vào ngữ cảnh và câu hỏi được đưa ra.

Dữ liệu đào tạo sử dụng để huấn luyện mô hình bao gồm các thiên lệch và giới hạn của các nguồn văn bản được sử dụng, vì vậy việc sử dụng mô hình một cách có trách nhiệm là cực kỳ quan trọng.

Ý kiến này được đồng thanh bởi CEO của OpenAI, người đã tuyên bố trong một tweet rằng "ChatGPT cực kỳ hạn chế và sử dụng nó để đảm bảo những thứ quan trọng hiện nay là một sai lầm".

00:48

01:12

Đoạn hội thoại kiểm tra với Chat GPT đã thất bại

Như được hiển thị trong ảnh chụp màn hình trên, cuộc trò chuyện thử nghiệm với ChatGPT đã cho thấy hiệu suất của trò chuyện tự động AI không luôn nhất quán.

Khi được hỏi Argentina đã chiến thắng bao nhiêu lần trong World Cup FIFA, ChatGPT ban đầu trả lời "Argentina đã chiến thắng World Cup FIFA vào năm 1986". Tuy nhiên, khi được hỏi "Ai là đội chiến thắng World Cup FIFA năm 1978", ChatGPT đã trả lời "Argentina là đội vô địch World Cup FIFA năm 1978"

Điều này dẫn đến kết luận rằng Argentina đã giành chiến thắng World Cup hai lần. Tuy nhiên, khi cùng một câu hỏi được đặt lại, "Giờ tôi lại hỏi bạn Argentina đã giành chiến thắng World Cup bao nhiêu lần?" ChatGPT vẫn đưa ra cùng một câu trả lời, "Argentina đã giành chiến thắng FIFA World Cup một lần, vào năm 1986," mặc dù đã có cuộc trò chuyện trước đó.

Điều này làm nổi bật tính chính xác của Chat GPT và sự cần thiết của việc cải tiến và hoàn thiện liên tục.

ĐỌC NGAY: Có thể Chat GPT viết & sửa code được không?

ChatGPT có đưa ra cùng câu trả lời cho tất cả mọi người không?

Câu trả lời từ ChatGPT có thể khác nhau một chút, tuy nhiên, nếu người dùng đặt cùng một câu hỏi thì chúng tôi có xu hướng đưa ra những câu trả lời tương tự nhau.

ChatGPT đáng tin cậy?

ChatGPT có giới hạn của nó, có nghĩa là đôi khi nó có thể đưa ra kết quả không chính xác hoặc sai, vì vậy hãy cẩn thận.