制定法律只能保证有法可依，但是要做到有法必依，违法必究，则取决于监察制度的完善程度。严密有效的监察制度能使吏治清明；反之，则会吏治腐败、贪污盛行。为了加强对百官的监督，朱元璋初步建立了一套包括都察院、六科和提刑按察使司在内的监察机构，经过不断完善，形成了一个上至中央、下到地方各个领域，运转灵活、成效显著的监察体系。

在中央，明朝初年朱元璋设御史台监察百官，洪武十五年（1382 年），朱元璋将御史台改为都察院，作为全国最高监察机关，都察院设左、右都御史各一人，正二品；左右副都御史各一人，正三品；左右佥都御史各一人，正四品，其属官有经历、司务、照磨、司狱等。在六部设六科给事中，各科设都给事中，左右给事中。都察院和六科不相统属，都直接受命于皇帝，各司其职，并且互相纠劾，以弥补监察机关无人监察的空缺。

在地方，洪武初年在各省设提刑按察使，正三品，作为省一级的监察官，履行监察职能，下设副使、佥事。洪武十四年（1381 年）设各道按察分司，十五年（1382 年）又在府（州）、县设按察分司，将全国各府（州）、县皆纳入按察使司的监察系统。在地方监察上设十三道监察御史，监察御史在所任职道中履行监察职能。在地方监察中，中央政府还不时派出巡抚、巡按、总督等监察官员对地方进行巡视。

永乐年间，明朝首都北迁，但南京仍置都察院，有右都御史、右副都御史、右佥都御史各一人。亦有十三道御史之设，每道二或三人。另置提督操江一人，以副佥都御史担任，掌上下江防之事。众多监察机构与锦衣卫特务一起，形成了从中央到地方，严密的、覆盖全国的监察大网。