Chất lượng dữ liệu là mức độ một bảng đáp ứng được việc bạn định dùng nó. Một danh sách khách hàng đủ tốt để gửi thiệp Tết có thể chưa đủ tốt để đối chiếu công nợ. Vì vậy thay vì nói chung chung "dữ liệu bẩn", người làm nghề chia chất lượng thành vài tiêu chí, mỗi tiêu chí đo được bằng một con số.
Bài này trình bày sáu tiêu chí hay dùng nhất, kèm công thức Excel và Google Sheets để đo trên bảng văn phòng thông thường, cách dựng một trang "bảng kiểm chất lượng" và cách nhờ AI hỗ trợ mà không phải đưa dữ liệu thật ra ngoài. Ví dụ dùng một bảng khách hàng giả định 500 dòng, cột A là mã khách.
Vì sao chất lượng dữ liệu đáng bận tâm hơn khi bắt đầu dùng AI
Khi bảng chỉ để người đọc bằng mắt, một ô thiếu hay một tên viết lệch thường được người đọc tự bù. Khi bảng được đưa vào công thức, bộ lọc hay một công cụ AI, không ai bù cả. Hàm cộng theo điều kiện bỏ qua dòng "Ha Noi" vì danh mục ghi "Hà Nội"; chatbot được nhờ tóm tắt danh sách khách sẽ coi ba dòng của cùng một khách là ba người khác nhau và đưa ra con số sai một cách rất tự tin.
Nói cách khác, AI khuếch đại chất lượng của dữ liệu đầu vào. Bảng sạch giúp AI cho câu trả lời đúng nhanh hơn; bảng bẩn khiến câu trả lời sai nhưng trông vẫn thuyết phục, khó phát hiện hơn lỗi của người. Đó là lý do người làm dữ liệu dành phần lớn thời gian cho khâu chuẩn bị trước khi đụng đến phân tích.
Đo chất lượng bằng con số còn có một lợi ích khác: bạn trao đổi với đồng nghiệp bằng dữ kiện thay vì cảm giác. "Cột tỉnh thiếu 12%, cột số điện thoại sai mẫu 31 dòng" dễ giao việc và dễ theo dõi hơn nhiều so với "bảng này lộn xộn quá".
Sáu tiêu chí tóm tắt trong một bảng
Tên gọi các tiêu chí có thể khác nhau tuỳ tài liệu, nhưng nội dung khá thống nhất trong nghề quản trị dữ liệu.
| Tiêu chí | Câu hỏi | Ví dụ lỗi trong bảng khách hàng |
|---|---|---|
| Đầy đủ | Ô cần có giá trị đã có chưa? | Thiếu tỉnh, thiếu ngày mua đầu tiên |
| Duy nhất | Mỗi đối tượng có đúng một dòng không? | Một khách có ba dòng vì ba lần nhập với ba cách viết tên |
| Hợp lệ | Giá trị có đúng kiểu, đúng mẫu, đúng danh mục không? | Số điện thoại chín chữ số, nhóm khách ghi ngoài danh mục |
| Nhất quán | Cùng một thông tin có giống nhau ở mọi nơi không? | Tổng đơn của khách ở bảng khách khác tổng ở bảng đơn hàng |
| Chính xác | Giá trị có đúng với thực tế không? | Địa chỉ đúng mẫu nhưng khách đã chuyển nhà |
| Kịp thời | Dữ liệu có đủ mới cho việc cần làm không? | Bảng cập nhật lần cuối từ ba tháng trước |
Bốn tiêu chí đầu đo được hoàn toàn bằng công thức. Chính xác và kịp thời cần thêm thông tin từ bên ngoài bảng: đối chiếu với chứng từ, hỏi lại khách, hoặc ghi ngày cập nhật cho từng dòng. Phần dưới đi qua từng tiêu chí.
Đầy đủ và duy nhất: hai con số đo đầu tiên
Tỷ lệ đầy đủ của một cột. Với cột tỉnh ở cột E từ dòng 2 đến 501, số ô trống là COUNTBLANK(E2:E501), tỷ lệ đầy đủ là 1-COUNTBLANK(E2:E501)/ROWS(E2:E501). Làm cho từng cột quan trọng, bạn có ngay một hàng số cho thấy cột nào hổng nhiều nhất.
Cẩn thận ô "trông có mà thật ra trống". Ô chứa một dấu cách, dấu gạch ngang hay chữ "không rõ" không bị COUNTBLANK tính là trống. Đếm thêm bằng COUNTIF với các giá trị đó, hoặc dùng TRIM trước. Thống nhất từ đầu một cách ghi giá trị thiếu, ví dụ để trống hẳn, sẽ đỡ việc về sau.
Tỷ lệ duy nhất của khoá. Với cột mã khách, so ROWS(A2:A501) với COUNTA(UNIQUE(A2:A501)). Hàm UNIQUE có ở Excel 2021, Microsoft 365 và Google Sheets; ở bản cũ hơn, thêm cột phụ COUNTIF($A$2:$A$501,A2) và lọc giá trị lớn hơn 1.
Trùng ẩn sau mã khác nhau. Mã không trùng chưa có nghĩa là khách không trùng. Một khách nhập hai lần sẽ có hai mã. Kiểm thêm trùng theo số điện thoại đã chuẩn hoá, hoặc theo tổ hợp họ tên cộng tỉnh. Những dòng nghi trùng cần người quyết định gộp hay không; AI có thể gợi ý cặp nghi trùng, nhưng quyết định gộp là của bạn.
Hợp lệ: đúng kiểu, đúng mẫu, đúng danh mục
Tiêu chí hợp lệ hỏi xem giá trị có nằm trong tập được phép không. Với cột nhóm khách lấy từ danh mục năm nhóm ở trang Danh mục, số dòng ngoài danh mục là SUMPRODUCT(--(COUNTIF(DanhMuc!A:A,F2:F501)=0)) nếu cột F không có ô trống. Con số khác không là dấu hiệu có người gõ tay thay vì chọn từ danh sách.
Với cột có mẫu cố định như số điện thoại, Google Sheets kiểm gọn bằng REGEXMATCH, ví dụ số dòng không phải mười chữ số bắt đầu bằng số không, với cột C không có ô trống, là SUMPRODUCT(--NOT(REGEXMATCH(C2:C501,"^0[0-9]{9}$"))). Excel bản mới có hàm REGEXTEST tương tự; ở bản cũ hơn, dùng cột phụ kết hợp LEN, LEFT và ISNUMBER. Nhớ rằng cột số điện thoại phải lưu dạng văn bản, nếu không số không ở đầu đã biến mất ngay khi nhập.
Với cột ngày, hợp lệ nghĩa là thật sự là kiểu ngày chứ không phải chữ trông giống ngày. Vì ngày thật được bảng tính lưu dưới dạng số, số ô có giá trị mà không phải ngày thật là COUNTA(G2:G501)-COUNT(G2:G501). Ngày lưu dạng chữ là lỗi rất hay gặp khi dán dữ liệu từ hệ thống khác hoặc từ kết quả chatbot, và nó làm hỏng mọi phép lọc theo thời gian.
Cách nhanh nhất để có các công thức trên đúng với bảng của bạn là mô tả cột cho AI và xin công thức, kèm phiên bản Excel đang dùng. Công thức trong bài viết bằng dấu phẩy; máy định dạng vùng Việt Nam có thể cần dấu chấm phẩy.
Nhất quán, chính xác, kịp thời: ba tiêu chí cần nhìn ra ngoài bảng
Nhất quán là khi cùng một sự việc được ghi giống nhau ở mọi nơi. Ví dụ bảng khách có cột "tổng số đơn", còn bảng đơn hàng có từng đơn. Đếm lại số đơn theo mã khách từ bảng đơn bằng COUNTIF, so với cột tổng ở bảng khách, số dòng lệch là thước đo nhất quán. Kiểu lệch này thường do một bên được cập nhật còn bên kia không, và là lý do nên tránh lưu cùng một con số ở hai nơi nếu một nơi có thể tính ra từ nơi kia.
Chính xác là tiêu chí khó nhất vì bảng không tự biết mình sai. Một số điện thoại đúng mẫu vẫn có thể là số của người khác. Cách đo thực tế là lấy mẫu: chọn ngẫu nhiên khoảng hai mươi đến năm mươi dòng, đối chiếu với nguồn gốc như hoá đơn, phiếu giấy, hệ thống bán hàng, rồi ghi tỷ lệ dòng khớp. Làm đều đặn mỗi quý, bạn sẽ thấy xu hướng tốt lên hay xấu đi.
Kịp thời đo bằng ngày cập nhật. Nếu bảng có cột ngày cập nhật cho từng dòng, đếm số dòng quá sáu tháng chưa cập nhật bằng COUNTIF với điều kiện nhỏ hơn TODAY()-180. Nếu chưa có cột này, nên thêm ngay từ bây giờ; nó là thông tin rẻ nhất mà nhiều bảng bỏ qua.
Dựng một trang "bảng kiểm chất lượng" trong 20 phút
Thay vì đo rời rạc, gom các con số vào một trang tính riêng trong cùng tệp, mỗi lần mở là thấy tình trạng.
- Tạo trang tính "Kiểm tra". Cột A ghi tên tiêu chí và cột được đo, ví dụ "Đầy đủ: tỉnh", "Duy nhất: mã khách", "Hợp lệ: số điện thoại".
- Cột B là công thức đo, viết như các phần trên, tham chiếu sang trang dữ liệu. Cột C là ngưỡng chấp nhận do bạn đặt, ví dụ đầy đủ tỉnh từ 98% trở lên, mã trùng bằng không.
- Cột D so sánh B với C, trả về "Đạt" hoặc "Cần xem". Dùng định dạng có điều kiện tô màu cho dễ nhìn.
- Thêm một dòng ghi số dòng dữ liệu hiện tại và tổng một cột số chính. Hai con số này giúp bạn phát hiện bảng bị cắt bớt hay bị dán thêm sau mỗi lần xử lý.
- Ghi ngày kiểm và người kiểm vào cuối trang mỗi lần xem, hoặc giữ một bảng lịch sử nhỏ chép giá trị cột B theo từng tháng.
- Trước khi dùng bảng cho việc quan trọng như gửi thông báo cho khách, đối chiếu công nợ hay chuyển sang bước phân tích, mở trang Kiểm tra trước. Có dòng "Cần xem" thì xử lý trước rồi mới dùng.
Phần đọc ý nghĩa số liệu, lập biểu đồ, rút kết luận kinh doanh từ bảng đã sạch thuộc về bước phân tích, được trang AI Phân Tích bàn riêng. Trang Kiểm tra ở đây chỉ trả lời một câu: bảng đã đủ sạch để đem dùng chưa.
Nhờ AI ở đâu trong việc đo chất lượng
AI giỏi ở phần viết công thức, đề xuất quy tắc và giải thích, kém ở phần tự kiểm dữ liệu thật vì dễ cắt bớt và đổi giá trị. Một số câu lệnh mẫu:
- "Bảng khách hàng có các cột: mã khách, họ tên, số điện thoại, tỉnh, nhóm khách, ngày mua đầu, ngày cập nhật. Với mỗi cột, đề xuất tiêu chí chất lượng nên đo và công thức Excel tương ứng, giả sử dữ liệu từ dòng 2 đến 501."
- "Giải thích từng phần công thức sau và cho biết nó có tính nhầm ô chứa dấu cách là ô có giá trị không." Rồi dán công thức, không dán dữ liệu.
- "Đây là mười giá trị giả định của cột địa chỉ, viết theo nhiều kiểu. Đề xuất quy tắc để xác định một địa chỉ là hợp lệ cho việc giao hàng, và những trường hợp không thể tự động xác định."
- "Liệt kê các nguyên nhân thường gặp khiến cùng một khách hàng có nhiều dòng trong bảng, và cách phòng từ khâu nhập liệu."
Với mỗi công thức nhận được, thử trên bảng giả định có cài sẵn lỗi đã biết: hai dòng trùng, ba ô trống, một số điện thoại sai. Công thức đếm ra đúng hai, ba, một thì mới đem dùng trên bảng thật.
Câu hỏi thường gặp
Có cần đo đủ sáu tiêu chí cho mọi bảng không?
Không. Chọn tiêu chí theo việc bạn định dùng bảng. Danh sách gửi thư cần đầy đủ, hợp lệ và kịp thời của địa chỉ. Bảng công nợ cần duy nhất, nhất quán và chính xác. Bắt đầu với hai ba tiêu chí quan trọng nhất rồi thêm dần.
Ngưỡng bao nhiêu phần trăm thì coi là đạt?
Không có con số chung. Ngưỡng tuỳ vào hậu quả khi sai: cột số tiền công nợ cần chính xác gần như tuyệt đối, cột sở thích khách hàng thì thiếu một phần vẫn dùng được. Bạn tự đặt ngưỡng ban đầu rồi điều chỉnh theo kinh nghiệm.
Dữ liệu chính xác và dữ liệu hợp lệ khác nhau thế nào?
Hợp lệ là đúng hình thức: đúng kiểu, đúng mẫu, nằm trong danh mục. Chính xác là đúng với thực tế. Một số điện thoại mười chữ số bắt đầu bằng số không là hợp lệ, nhưng chỉ chính xác nếu đó đúng là số của khách.
Có thể nhờ AI đọc cả bảng rồi chấm chất lượng không?
Không nên với dữ liệu thật, vì phải đưa dữ liệu ra ngoài và AI dễ đếm sai trên bảng dài. Hãy nhờ AI viết công thức đo và tự chạy công thức trong bảng tính. Kết quả tính bằng hàm mới là con số đáng tin.
Đo chất lượng bao lâu một lần là hợp lý?
Với bảng nhập liệu hằng ngày, mở trang Kiểm tra mỗi tuần và trước mỗi lần dùng bảng cho việc quan trọng. Phép đo chính xác bằng lấy mẫu đối chiếu chứng từ có thể làm mỗi quý. Nhịp đều quan trọng hơn tần suất dày.
Hàm UNIQUE báo lỗi tên hàm thì làm sao?
Excel của bạn có thể là bản cũ chưa có hàm mảng động. Dùng cột phụ với COUNTIF để đánh dấu dòng xuất hiện nhiều lần, hoặc dùng chức năng xoá trùng trên một bản sao để đếm. Khi hỏi AI, nói rõ phiên bản Excel để nhận công thức phù hợp.