Những năm 1990, Việt Nam là một trong số quốc gia có tỉ lệ hộ nghèo, đói cao, khoảng 59% (theo số liệu điều tra của Ngân hàng Thế giới). Trước thực trạng đó, bắt đầu từ tháng 3.1995, Ngân hàng Nông nghiệp Việt Nam (NHNNoVN) khởi xướng cùng Ngân hàng Nhà nước (NHNN), Ngân hàng Ngoại thương Việt Nam (NHNTVN) góp vốn xây dựng Quỹ cho vay ưu đãi hộ nghèo với tổng số tiền ban đầu là 400 tỉ đồng, giao cho NHNoVN quản lý, thực hiện cho hộ nghèo vay với lãi suất ưu đãi, thấp hơn lãi suất cho vay của NHTM và không phải thế chấp tài sản.

Qua 5 tháng triển khai cho vay từ Quỹ cho vay ưu đãi hộ nghèo đã có gần 500.000 hộ nghèo trên phạm vi toàn quốc được vay vốn phát triển sản xuất. Song do thực tế nguồn vốn của quỹ quá nhỏ, 400 tỉ đồng, còn số hộ nghèo cần vay vốn lại quá lớn, khoảng 4 triệu hộ, nên đã xảy ra tình trạng cho vay chia đều, trải mỏng, thậm chí có nơi mỗi hộ nghèo chỉ được vay trên dưới 200.000 đồng. Hiệu quả của chương trình vì thế chưa được thể hiện rõ rệt.

Trước những thay đổi theo quá trình phát triển kinh tế - xã hội và để khắc phục những hạn chế của Quỹ cho vay ưu đãi hộ nghèo, ngày 31.8.1995 Thủ tướng Chính phủ Võ Văn Kiệt đã ký Quyết định số 522/TTg về việc thành lập Ngân hàng Phục vụ người nghèo (NHNg). Theo báo cáo, sau 7 năm hoạt động (1995 - 2002), tổng nguồn vốn của NHNg đạt 7.083 tỉ đồng. Nguồn vốn này được tăng trưởng trên cơ sở bàn giao từ Quỹ cho vay ưu đãi hộ nghèo là 518 tỉ đồng, đã góp phần giúp cho trên 644.000 hộ thoát nghèo.

TS. Hà Thị Hạnh - nguyên Tổng Giám đốc NHNg và là Tổng Giám đốc NHCSXH đầu tiên đánh giá, ưu điểm lớn nhất của mô hình NHNg là tiết kiệm chi phí quản lý, vì có thể sử dụng toàn bộ trụ sở, phương tiện, con người có sẵn của NHNo&PTNT để tác nghiệp. Tuy nhiên, mô hình thực chất như một quỹ ưu đãi, việc điều hành tác nghiệp giao cho NHNo&PTNT đảm nhận, công tác tổ chức HĐQT theo hình thức kiêm nhiệm không phân rõ trách nhiệm, cán bộ NHTM thiên về kinh doanh, chưa quan tâm đúng mức đến tín dụng hộ nghèo...

Trước yêu cầu của tiến trình hội nhập, cơ cấu lại hệ thống NH, từng bước tách tín dụng chính sách ra khỏi tín dụng thương mại, ngày 4.10.2002, Chính phủ đã ban hành Nghị định số 78/2002/NĐ-CP về tín dụng đối với người nghèo và các đối tượng chính sách khác; đồng thời Thủ tướng Phan Văn Khải ký Quyết định số 131/2002/TTg thành lập NHCSXH trên cơ sở tổ chức lại NHNg để thực hiện Nghị định 78 nhằm tập trung các nguồn vốn ngân sách tài trợ cho người nghèo và các đối tượng chính sách khác vào một đầu mối. NHCSXH nhận bàn giao tài sản, các chương trình cho vay hộ nghèo từ NHNo&PTNT, cho vay GQVL từ KBNN, cho vay HSSV có hoàn cảnh khó khăn từ Ngân hàng Công thương Việt Nam và các nguồn vốn ngân sách địa phương, với tổng số tiền gần 10.000 tỉ đồng.

Cho đến nay, đến hết tháng 6.2015, mạng lưới hoạt động của NHCSXH đã được xây dựng từ trung ương đến khắp các tỉnh, huyện với 63 chi nhánh cấp tỉnh, 626 PGD cấp huyện và gần 11.000 điểm giao dịch tại xã. Tổng nguồn vốn đạt trên 141.000 tỉ đồng, dư nợ gần 136.000 tỉ đồng tăng gấp hơn 18 lần so với thời điểm nhận bàn giao. Nợ quá hạn giảm từ 13,75% khi nhận bàn giao xuống còn 0,84% tổng dư nợ.

Với những thành tựu đạt được sau 20 năm thành lập, NHCSXH được Đảng, Chính phủ và nhân dân đánh giá cao, được các đại biểu Quốc hội nhận xét là “điểm sáng”, là “trụ cột” trong hệ thống các chính sách giảm nghèo ở Việt Nam.