AIDuLieu.comAI Dữ Liệu
Làm sạch và chuẩn hoá dữ liệu

Thống nhất cách viết trong bảng tính bằng bảng ánh xạ: đơn vị tính, nhóm hàng

Cùng một đơn vị tính mà bảng ghi năm kiểu khiến lọc và đếm sai: cách liệt kê các cách viết, dựng bảng ánh xạ, nhờ AI gợi ý gom nhóm và áp dụng có kiểm.

Owner of a small grocery in Dong Thap counting bottles and cartons on wooden shelves, phone with a blank screen tucked in an apron pocket, morning light

Thống nhất cách viết là đưa mọi biến thể của cùng một giá trị phân loại, như "cái", "Cái", "c", "chiếc" trong cột đơn vị tính, về một giá trị chuẩn duy nhất, bằng một bảng ánh xạ hai cột: cách viết đang có và giá trị chuẩn. Việc này nghe nhỏ nhưng ảnh hưởng trực tiếp đến mọi con số: lọc nhóm hàng thì sót, đếm đơn theo trạng thái thì ra năm dòng cho một trạng thái, cộng số lượng theo đơn vị thì cộng lẫn thùng với chai.

Bài này đi qua cách liệt kê các cách viết đang có, dựng danh mục chuẩn và bảng ánh xạ, nhờ AI gợi ý gom nhóm một cách an toàn vì chỉ cần gửi danh sách giá trị chứ không gửi dữ liệu, áp dụng bằng công thức và kiểm lại. Ví dụ dùng bảng nhập hàng của một tiệm tạp hoá, số liệu giả định.

Một giá trị viết năm kiểu làm hỏng việc gì

Hãy hình dung cột "đơn vị tính" của bảng nhập hàng có các giá trị: "Thùng", "thùng", "T", "thung", "Thùng " có dấu cách ở cuối, cùng "Chai", "chai", "c", "Lốc", "lốc 6". Với người đọc, ai cũng hiểu. Với bảng tính, đó là mười giá trị khác nhau.

Khi bạn lập bảng tổng hợp số lượng theo đơn vị, mỗi cách viết thành một dòng riêng; tổng của "thùng" bị chia ra bốn năm chỗ. Khi lọc "Thùng", bạn chỉ thấy một phần các dòng. Khi tra cứu đơn giá theo cặp mã hàng và đơn vị, những dòng viết lệch báo không tìm thấy.

Cột trạng thái đơn hàng cũng thế: "Đã giao", "đã giao", "DG", "giao rồi", "xong". Cột nhóm hàng: "Đồ uống", "nước uống", "Nước giải khát". Cột kênh bán: "FB", "Facebook", "face", "fanpage". Mỗi cột phân loại do nhiều người nhập tay, sau vài tháng đều có hiện tượng này.

Điểm đặc biệt của cột phân loại là số giá trị khác nhau thường ít, vài chục đến vài trăm, dù bảng có hàng chục nghìn dòng. Đây là tin tốt: bạn chỉ cần xử lý danh sách các giá trị khác nhau một lần, rồi áp cho toàn bảng bằng tra cứu.

Liệt kê các cách viết đang có và tần suất

Bước đầu tiên là thấy toàn cảnh: cột này đang có những giá trị nào, mỗi giá trị xuất hiện bao nhiêu lần.

  1. Ở trang tính mới, dùng =UNIQUE(TRIM(Nhap!D2:D5000)) với Excel 365 để lấy danh sách giá trị khác nhau của cột đơn vị tính đã bỏ khoảng trắng thừa. Bản cũ dùng Remove Duplicates trên một bản sao của cột.
  2. Cạnh mỗi giá trị, đếm số lần xuất hiện bằng COUNTIF với vùng gốc. Lưu ý COUNTIF không phân biệt hoa thường, nên "Thùng" và "thùng" được đếm chung; muốn đếm tách thì dùng SUMPRODUCT kết hợp EXACT.
  3. Sắp xếp theo số lần giảm dần. Những giá trị xuất hiện nhiều thường là cách viết chính; giá trị chỉ xuất hiện một hai lần thường là gõ nhầm hoặc cách viết riêng của một người.
  4. Đánh dấu những giá trị chưa rõ nghĩa, như "T" hay "c", để hỏi người nhập. Một chữ viết tắt có thể mang nghĩa khác nhau ở hai ca làm.
  5. Lưu danh sách này lại, đây là nguyên liệu cho bảng ánh xạ.

Với Google Sheets, UNIQUE và COUNTIF dùng như Excel. Dù dùng công cụ nào, nhớ TRIM trước khi lấy danh sách, nếu không mỗi giá trị dính dấu cách ở cuối sẽ thành một dòng riêng khó hiểu.

Dựng danh mục chuẩn và bảng ánh xạ

Danh mục chuẩn do người trong nghề quyết định. Trước khi ánh xạ, cần chốt danh sách giá trị chuẩn: tiệm dùng những đơn vị tính nào, có những nhóm hàng nào, đơn hàng có những trạng thái nào. Người quyết định là người hiểu nghiệp vụ, như chủ tiệm, kế toán kho, không phải người làm bảng và càng không phải AI.

Giá trị chuẩn nên ngắn, rõ, viết một kiểu. Chọn một kiểu viết hoa và giữ nguyên, ví dụ chữ thường có dấu: "thùng", "chai", "lốc". Nếu có phần mềm bán hàng, theo đúng danh mục của phần mềm để sau này nhập ngược không lệch.

Bảng ánh xạ hai cột, có thể thêm cột ghi chú. Cột A là mọi cách viết đã gặp, cột B là giá trị chuẩn tương ứng. Thêm cột C ghi ai xác nhận và khi nào cho những dòng không hiển nhiên. Đặt bảng này ở trang tính riêng, đặt tên vùng để công thức dễ đọc.

Phân biệt đổi tên với quy đổi số lượng. "Chai" và "chai" chỉ khác cách viết, đổi tên là xong. Nhưng "thùng" và "chai" là hai đơn vị khác nhau; "lốc 6" là sáu chai. Gộp chúng vào một đơn vị đòi hỏi quy đổi số lượng theo hệ số của từng mặt hàng, việc đó cần bảng quy đổi riêng theo mã hàng và không làm được bằng bảng ánh xạ tên.

Giữ cả giá trị "khác". Với cột như kênh bán hay lý do huỷ đơn, sẽ có những giá trị hiếm không đáng thành một nhóm. Ánh xạ chúng về "khác" kèm ghi chú, thay vì ép vào nhóm gần nhất.

Nhờ AI gợi ý gom nhóm: an toàn vì chỉ gửi danh sách giá trị

Đây là một trong những việc dữ liệu mà AI giúp tốt nhất với rủi ro thấp nhất. Bạn không cần gửi dòng dữ liệu nào, chỉ gửi danh sách giá trị khác nhau của một cột phân loại kèm số lần xuất hiện. Danh sách đơn vị tính, nhóm hàng, trạng thái thường không chứa thông tin cá nhân. Nếu cột có thể chứa tên người, như cột "người phụ trách", thì không gửi.

Ví dụ câu lệnh: "Dưới đây là 47 giá trị khác nhau trong cột đơn vị tính của bảng nhập hàng một tiệm tạp hoá, kèm số lần xuất hiện. Danh mục chuẩn gồm: thùng, chai, lon, lốc, gói, kg, hộp. Hãy lập bảng hai cột: giá trị đang có và giá trị chuẩn đề xuất. Giá trị nào không chắc thì ghi CẦN HỎI và nêu lý do. Không gộp hai đơn vị khác nhau vào một."

Câu trả lời giúp bạn tiết kiệm phần lớn thời gian gõ bảng ánh xạ. Nhưng mỗi dòng vẫn phải được người hiểu nghiệp vụ duyệt. AI có thể đoán "T" là "thùng" trong khi ở tiệm của bạn đó là "túi"; có thể gộp "hộp" với "gói" vì nghĩa gần nhau. Những dòng CẦN HỎI chính là nơi AI đã làm đúng việc: chỉ ra chỗ mình không chắc.

Với danh sách dài vài trăm giá trị, như tên nhà cung cấp viết nhiều kiểu, làm theo từng phần khoảng vài chục giá trị mỗi lần để dễ kiểm. Tên nhà cung cấp là tên doanh nghiệp, tuỳ chính sách của công ty mà có thể cần che trước khi gửi.

Khi cách viết lệch là tên riêng: nhà cung cấp, sản phẩm

Bảng ánh xạ hợp nhất với cột có ít giá trị chuẩn. Với cột tên riêng như tên nhà cung cấp, tên sản phẩm, số giá trị lớn hơn nhiều và cách viết lệch tinh vi hơn: "Công ty TNHH Minh Phát", "Cty Minh Phát", "MINH PHAT", "Minh Phát (kho Bình Dương cũ)". Nguyên tắc vẫn vậy, nhưng cách làm cần thêm vài bước.

Trước hết, gán cho mỗi đối tượng một mã định danh trong danh mục chuẩn, như mã nhà cung cấp, mã sản phẩm. Từ đó, bảng ánh xạ nối cách viết với mã chứ không nối với tên chuẩn; tên chuẩn chỉ là một cột trong danh mục. Khi nhà cung cấp đổi tên, bạn sửa một ô trong danh mục, mọi dữ liệu cũ vẫn đúng.

Để rút ngắn danh sách cách viết, chuẩn hoá sơ bộ trước khi ánh xạ: TRIM, đưa về chữ thường, thay "cty", "công ty tnhh", "ctcp" bằng chuỗi rỗng để chỉ còn phần tên riêng. Phần còn lại mới đưa vào bảng ánh xạ. Power Query có tuỳ chọn so khớp gần đúng khi gộp bảng, giúp gợi ý những cặp gần giống, nhưng mọi cặp vẫn cần người duyệt.

Tên sản phẩm thường đi kèm quy cách, như dung tích, khối lượng, màu. Hai tên khác nhau một quy cách là hai sản phẩm khác nhau, không được gộp. Đây là chỗ cả công thức gần đúng lẫn AI dễ gộp nhầm nhất, nên khi duyệt cần soát riêng các cặp chỉ khác nhau ở con số.

Áp bảng ánh xạ và khoá cách nhập

Khi bảng ánh xạ đã duyệt xong, áp cho toàn bảng dữ liệu:

  • Thêm cột chuẩn cạnh cột gốc: =XLOOKUP(TRIM(D2),AnhXa[cach_viet],AnhXa[chuan],"CHƯA CÓ") với Excel 365 hoặc 2021. Bản cũ dùng VLOOKUP kết hợp IFERROR.
  • Lọc các dòng "CHƯA CÓ": đó là cách viết chưa có trong bảng ánh xạ, có thể vì dữ liệu mới nhập sau khi lập danh sách. Bổ sung vào bảng ánh xạ rồi tính lại, không sửa tay trong cột chuẩn.
  • Giữ cột gốc, chỉ ẩn đi. Khi có thắc mắc, cột gốc cho biết người nhập đã viết gì.
  • Với dữ liệu nhận định kỳ, dùng Power Query gộp bảng dữ liệu với bảng ánh xạ bằng Merge Queries; mỗi lần làm mới, ánh xạ tự áp lại.
  • Khoá cách nhập từ nay về sau bằng danh sách chọn: Data Validation kiểu List lấy nguồn từ danh mục chuẩn. Người nhập chọn thay vì gõ, cột phân loại sẽ không phình ra nữa.

Bảng ánh xạ là tài sản dùng lâu dài. Mỗi lần gặp cách viết mới, thêm một dòng; sau vài tháng, gần như mọi biến thể đều đã có, việc làm sạch cột phân loại chỉ còn là bấm làm mới.

Kiểm sau khi thống nhất

Phép kiểm đầu tiên là đếm giá trị khác nhau của cột chuẩn: con số phải bằng hoặc nhỏ hơn số mục trong danh mục chuẩn, cộng "khác" nếu có. Còn giá trị nào nằm ngoài danh mục là có dòng ánh xạ sai trong bảng ánh xạ.

Phép kiểm thứ hai là tổng số dòng: số dòng theo từng giá trị chuẩn cộng lại phải bằng tổng số dòng của bảng. Thiếu là có dòng "CHƯA CÓ" hoặc ô trống chưa xử lý. Với cột đơn vị tính, kiểm thêm tổng số lượng của từng mã hàng trước và sau; nếu một mã hàng có hai đơn vị chuẩn khác nhau, như vừa "thùng" vừa "chai", hãy chắc đó là thực tế bán cả hai cách chứ không phải lỗi ánh xạ.

Phép kiểm thứ ba là soát nhanh bảng ánh xạ một lần nữa với người phụ trách, tập trung vào các dòng ánh xạ có số lần xuất hiện lớn. Một dòng sai trong bảng ánh xạ ảnh hưởng đến mọi dòng dữ liệu mang cách viết đó, nên sai ở dòng tần suất cao là sai lớn.

Khi cột phân loại đã thống nhất, các bảng tổng hợp theo nhóm hàng, theo trạng thái, theo kênh bán mới cho con số đáng tin. Việc đọc các con số đó, như nhóm nào bán chạy hay kênh nào hiệu quả, là phần của AI Phân Tích.

Câu hỏi thường gặp

Bảng ánh xạ là gì và khác gì danh mục chuẩn?

Danh mục chuẩn là danh sách các giá trị được phép dùng, ví dụ các đơn vị tính chính thức. Bảng ánh xạ nối mọi cách viết đang có trong dữ liệu với một giá trị trong danh mục chuẩn, dùng để tra cứu và thay thế hàng loạt.

Gửi danh sách giá trị cho AI để gom nhóm có lộ dữ liệu không?

Với cột như đơn vị tính, nhóm hàng, trạng thái đơn thì danh sách giá trị thường không chứa thông tin cá nhân nên rủi ro thấp. Không gửi các cột có tên người, số điện thoại, địa chỉ, và kiểm chính sách công ty với tên đối tác.

AI gom nhóm sai thì sao?

Mỗi dòng bảng ánh xạ AI đề xuất phải được người hiểu nghiệp vụ duyệt trước khi áp dụng. Yêu cầu AI ghi rõ CẦN HỎI cho giá trị không chắc, và đặc biệt chú ý các chữ viết tắt một ký tự vì chúng dễ bị đoán sai.

Có gộp được "thùng" và "chai" về một đơn vị không?

Không gộp bằng đổi tên được, vì đó là hai đơn vị khác nhau. Muốn quy về một đơn vị phải quy đổi số lượng theo hệ số của từng mặt hàng, bằng một bảng quy đổi riêng theo mã hàng.

Làm sao để cột phân loại không bị lộn xộn trở lại?

Dùng danh sách chọn bằng Data Validation kiểu List lấy nguồn từ danh mục chuẩn, để người nhập chọn thay vì gõ. Với biểu mẫu trực tuyến, dùng câu hỏi dạng lựa chọn thay cho ô trả lời tự do.

COUNTIF có phân biệt chữ hoa và chữ thường không?

Không. COUNTIF và các hàm tra cứu như XLOOKUP, VLOOKUP không phân biệt hoa thường. Nếu cần đếm hoặc so khớp phân biệt hoa thường, kết hợp SUMPRODUCT với EXACT.

Cần tư vấn cụ thể cho trường hợp của bạn?

Chúng tôi sẽ liên hệ trong vòng 24 giờ.

Đăng ký tư vấn ngay

Bài viết liên quan

Bạn cần hỗ trợ thêm?

Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.

hoặc
Gọi ngay 0926 138 138