New York đang mạo hiểm với phúc lợi trẻ em khi sử dụng AI để đưa ra các quyết định quan trọng. Cơ quan Dịch vụ Trẻ em (ACS) của thành phố đã âm thầm triển khai một công cụ dựa trên thuật toán để đánh giá các gia đình và xếp họ vào diện “có nguy cơ cao”. Công cụ này sử dụng rất nhiều yếu tố, như khu phố và tuổi của người mẹ, để đưa ra đánh giá. Điều đáng lo ngại là nó có thể khiến các gia đình bị giám sát chặt chẽ hơn mà không có lý do chính đáng hoặc sự kiểm soát cần thiết.

Việc ACS gõ cửa nhà ai đó là một cơn ác mộng đối với bất kỳ bậc cha mẹ nào. Bất kỳ sai sót nào cũng có thể dẫn đến việc gia đình tan vỡ và con cái bị đưa vào hệ thống chăm sóc nuôi dưỡng. Việc đặt một gia đình dưới sự giám sát như vậy không nên được xem nhẹ và càng không nên là nơi thử nghiệm cho việc ra quyết định tự động của chính phủ.

Công cụ “AI” này, được phát triển bởi Văn phòng Phân tích Nghiên cứu của ACS, chấm điểm “nguy cơ” của các gia đình bằng cách sử dụng 279 biến số. Những gia đình bị coi là có nguy cơ cao nhất sẽ bị giám sát chặt chẽ hơn. Tuy nhiên, việc thiếu minh bạch, trách nhiệm giải trình và bảo vệ quyền lợi cho thấy ACS dường như không học được gì từ những thất bại của các hệ thống tương tự trong lĩnh vực dịch vụ trẻ em.

Thuật toán này hoạt động hoàn toàn bí mật, và những tác hại từ “sân khấu AI” mờ ám này không chỉ là lý thuyết suông. 279 biến số được lấy từ các vụ việc từ năm 2013 và 2014, nơi trẻ em bị tổn hại nghiêm trọng. Tuy nhiên, không rõ có bao nhiêu vụ việc đã được phân tích, loại kiểm tra và đánh giá nào đã được thực hiện, và liệu việc bao gồm dữ liệu từ các năm khác có làm thay đổi kết quả hay không.

Những gì chúng ta biết được là đáng lo ngại: Các gia đình da đen ở New York phải đối mặt với các cuộc điều tra của ACS với tỷ lệ gấp bảy lần so với các gia đình da trắng. Nhân viên của ACS cũng thừa nhận rằng cơ quan này có xu hướng trừng phạt các gia đình da đen nhiều hơn. Các bậc cha mẹ và những người ủng hộ gọi các hoạt động của ACS là “mang tính săn mồi”. Rất có thể thuật toán này đang tự động hóa và khuếch đại sự phân biệt đối xử này.

Mặc dù thiếu minh bạch và trách nhiệm giải trình, ACS vẫn sử dụng hệ thống này để giám sát chặt chẽ hơn các gia đình bị xếp hạng “có nguy cơ cao nhất”. Điều này có thể bao gồm các chuyến thăm nhà, gọi điện cho giáo viên và gia đình, hoặc tham khảo ý kiến của các chuyên gia bên ngoài. Tuy nhiên, các gia đình, luật sư của họ và thậm chí cả nhân viên xã hội đều không biết khi nào và tại sao hệ thống lại gắn cờ một trường hợp, gây khó khăn cho việc phản đối các tình huống hoặc quy trình dẫn đến sự giám sát tăng cường này.

Đây không phải là trường hợp duy nhất việc sử dụng các công cụ AI trong hệ thống dịch vụ trẻ em gặp phải các vấn đề về thành kiến hệ thống. Vào năm 2022, hãng tin Associated Press đưa tin rằng các nhà nghiên cứu của Carnegie Mellon phát hiện ra rằng từ tháng 8 năm 2016 đến tháng 5 năm 2018, Quận Allegheny ở Pennsylvania đã sử dụng một công cụ thuật toán để gắn cờ 32,5% trẻ em da đen để điều tra “bắt buộc”, so với chỉ 20,8% trẻ em da trắng. Đáng chú ý, nhân viên xã hội không đồng ý với điểm số rủi ro của thuật toán khoảng một phần ba thời gian.

Hệ thống Allegheny hoạt động với sự kết hợp độc hại giữa bí mật và thành kiến, điều này hiện đang gây khó khăn cho New York. Các gia đình và luật sư của họ không bao giờ có thể biết điểm số thuật toán của mình, khiến họ không thể phản đối các quyết định có thể hủy hoại cuộc sống của họ. Khi một thẩm phán yêu cầu xem điểm số của một gia đình tại tòa, quận đã phản đối, nói rằng họ không muốn gây ảnh hưởng đến các thủ tục pháp lý bằng các con số thuật toán. Điều này cho thấy rằng điểm số này quá ненадежный để审查 tư pháp, nhưng chấp nhận được để nhắm mục tiêu các gia đình.

Ở những nơi khác, các hệ thống thiên vị này đã bị thách thức thành công. Các nhà phát triển công cụ Allegheny đã bị từ chối sản phẩm của họ ở New Zealand, nơi các nhà nghiên cứu xác định chính xác rằng công cụ này có khả năng dẫn đến việc nhiều gia đình Māori bị gắn cờ để điều tra hơn. Trong khi đó, California đã chi 195.273 đô la để phát triển một công cụ tương tự trước khi từ bỏ nó vào năm 2019, một phần do lo ngại về công bằng chủng tộc.

Việc chính phủ triển khai các quyết định tự động và thuật toán không chỉ duy trì sự bất bình đẳng xã hội, mà còn loại bỏ các cơ chế giải trình khi các cơ quan mắc lỗi. Nhà nước không nên sử dụng các công cụ này cho các quyết định xác định quyền, và bất kỳ việc sử dụng nào khác phải chịu sự giám sát mạnh mẽ và kiểm toán độc lập để đảm bảo sự tin tưởng của công chúng vào hành động của chính phủ.

Giải thích thuật ngữ:

• Thuật toán (Algorithm): Một tập hợp các quy tắc hoặc hướng dẫn được máy tính tuân theo để giải quyết một vấn đề hoặc thực hiện một nhiệm vụ.
• AI (Artificial Intelligence): Trí tuệ nhân tạo, khả năng của máy tính thực hiện các nhiệm vụ thường đòi hỏi trí thông minh của con người, như học hỏi, giải quyết vấn đề và ra quyết định.
• Hệ thống chăm sóc nuôi dưỡng (Foster care system): Một hệ thống nơi trẻ em được tách khỏi gia đình ruột và được chăm sóc bởi các gia đình hoặc cơ sở được cấp phép bởi chính phủ.
• Thành kiến hệ thống (Systemic bias): Sự thiên vị tồn tại trong toàn bộ một hệ thống, ảnh hưởng đến cách hệ thống đó hoạt động và dẫn đến kết quả không công bằng cho một số nhóm người nhất định.