Tên khai sinh của ông là Nguyễn Đức Khiêm, sinh ngày 28 tháng 7 năm 1920 tại xã Thượng Hiền, huyện Kiến Xương, tỉnh Thái Bình. Năm 1937, ông bắt đầu tham gia hoạt động cách mạng chống quyền thống trị của thực dân Pháp tại Đông Dương, khởi đầu với việc tham gia công tác liên lạc cho cơ sở của những người Cộng sản cách mạng ở xã. Giai đoạn 1938–1939, ông tham gia vào tổ chức học sinh, thanh niên phản đế.

 

Năm 1940, ông tham gia tổ chức Nông hội và phụ trách phong trào phụ nữ xã, vận động dân chúng biểu tình kỷ niệm Xô viết Nghệ Tĩnh (12 tháng 9 năm 1940) ở Thái Bình. Ông bị chính quyền thực dân Pháp bắt giữ và kết án 10 năm tù khổ sai qua các nhà tù Thái Bình, Hà Nội, Sơn La, Hòa Bình. Tháng 3 năm 1944, ông được kết nạp vào Đảng Cộng sản Đông Dương tại Chi bộ Nhà tù Hoà Bình.

Tháng 3 năm 1945, nhân cơ hội Nhật đảo chính Pháp tại Đông Dương, ông và nhiều người khác trốn thoát khỏi tù và tìm cách trở lại hoạt động. Ông được Trung ương Đảng phân công làm Bí thư Tỉnh ủy lâm thời Tỉnh ủy Thái Bình. Đầu năm 1946 được Đại hội đại biểu Đảng bộ tỉnh Thái Bình bầu làm Bí thư Tỉnh ủy.

Từ tháng 8 năm 1946, ông là Xứ ủy viên Bắc Kỳ, phụ trách 2 tỉnh Vĩnh Yên và Phúc Yên (nay là Vĩnh Phúc)

Từ tháng 12/1946 – 12/1947 là Khu uỷ viên Khu I, phụ trách các tỉnh: Phúc Yên, Thái Nguyên, Cao Bằng, Bắc Kạn. Khi thành lập Liên Khu I, ông phụ trách Bắc Giang và Hải Ninh

Từ tháng 5/1948 – 1/1949 làm Bí thư Tỉnh ủy Bắc Kạn

Từ tháng 12/1948 – 11/1949 là Uỷ viên Thường vụ Liên Khu uỷ I và phụ trách Văn phòng

Từ tháng 12/1949 – 6/1957 là Phó trưởng Ban Đảng vụ Trung ương (Phó trưởng Ban Tổ chức Trung ương)

Tham gia công tác Chính phủ Sửa đổi

Từ tháng 7/1957 – 8/1960 ông là Giám đốc Vụ quản lý thương nghiệp tư doanh, Uỷ viên Đảng đoàn Bộ Nội thương

Tháng 8/1960 – 7/1965 làm Thứ trưởng Bộ Công nghiệp nhẹ (nay là Bộ Công thương)

Từ tháng 8/1965 – 9/1969 là Tổng cục trưởng Tổng cục Vật tư, Bí thư đảng đoàn Tổng cục Vật tư

Công tác Ban chấp hành Trung ương Đảng Sửa đổi

Từ tháng 10/1969 đến 12/1980 ông là Bí thư Tỉnh ủy Quảng Ninh.

Tại Đại hội đại biểu toàn quốc lần thứ IV của Đảng, được bầu làm Uỷ viên Ban Chấp hành Trung ương.

Tại Đại hội đại biểu toàn quốc lần thứ V của Đảng, tiếp tục được bầu lại vào Ban Chấp hành Trung ương, được Ban Chấp hành Trung ương bầu làm Uỷ viên Bộ Chính trị, Bí thư Trung ương Đảng, Trưởng Ban Tổ chức Trung ương.

Tại Đại hội đại biểu toàn quốc lần thứ VI của Đảng, được bầu lại vào Ban Chấp hành Trung ương, được Ban Chấp hành Trung ương bầu làm Uỷ viên Bộ Chính trị, Bí thư Trung ương Đảng, tiếp tục làm Trưởng ban Tổ chức Trung ương.

Ông là Uỷ viên Trung ương Đảng các khoá IV, V, VI; Uỷ viên Bộ Chính trị, Bí thư Trung ương Đảng khoá V, VI; Trưởng ban Tổ chức Trung ương từ tháng 12/1980 đến 7/1991. Đại biểu Quốc hội từ khoá IV đến khoá VIII.

Ông được Nhà nước Cộng hòa Xã hội Chủ nghĩa Việt Nam tặng Huân chương Sao Vàng, Huân chương Hồ Chí Minh, Huy hiệu 60 năm tuổi Đảng.

Ngày 29 tháng 7 năm 2010 (tức ngày 18 tháng 6 năm Canh Dần), ông mất hồi 3h27, tại Bệnh viện Trung ương Quân đội 108, hưởng thọ 91 tuổi.