对于公民或者法人、其他组织违反行政管理秩序的行为，行政执法部门可以根据法律、法规的授权在法定的幅度内给予相应的行政处罚，这就是所谓自由裁量权。但自由裁量，并不意味着行政机关可以在法定的最高的行政处罚以下随意而为，想罚多少就罚多少，想怎么处罚就怎么处罚。换言之，自由裁量这个行政行为与行政机关作出的其他具体行政行为一样，同样要受到法律、法规的严格约束。
行政处罚法第四条明确规定：行政处罚遵循公正、公开的原则。设定和实施行政处罚必须以事实为依据，与违法行为的事实、性质、情节以及社会危害程度相当。事实、性质、情节以及社会危害程度就是公民、法人及其他组织违反行政管理秩序的行为成立的四个要件，缺一不可，即违反行政管理秩序的行为必须同时具备这四个要件方可成立，才可以进行处罚。这个法条实际给行政机关对行政处罚的自由裁量行为下了一个紧箍咒。即自由裁量必须在这个原则下进行而不能相反。具体而言，就是给予公民、法人、其他组织的行政处罚的幅度，得和其犯下的过错相当，轻过轻罚，重过重罚，既不能轻过重罚也不能重过轻罚。在上述法条中，“社会危害程度”最重要，其相当于危害后果。换言之，对某个违反行政管理秩序的行为实施行政处罚的前提是该行为应当产生了危害社会的后果，即一般而言，对潜在的尚未产生社会危害后果的违反行政管理秩序的行为不能实施行政处罚，或者只能从轻及免除行政处罚。这有点类似刑法中的“犯罪中止”，某个人有了杀人的动机，也准备了作案的工具，来到了犯罪的现场，但最后时刻他没有实施犯罪，即最终没有产生任何危害他人的后果。象这种情况，依法只能从轻或者免除处罚。
行政机关实施行政处罚还要奉行的一个原则是应当采用最小损害行政相对人利益的方式。这个原则是从行政机关的本质引申出来的。国家之所以设立行政机关，从本质上来说，是为了保护公民、法人及其他组织的利益而不是损害其利益。从这个意义上说，行政机关对公民、法人及其他组织实施行政处罚是不得已而为之，因为行政机关在对公民、法人及其他组织实施行政处罚的同时也必须保护其合法权益。为解决这一矛盾，所以行政机关在实施行政处罚等有可能损害公民、法人及其他组织利益等具体行政行为时必须采用最小损害行政相对人利益的方式。比如行政许可法第六十三条规定“行政机关实施监督检查，不得妨碍被许可人正常的生产经营活动”也是“最小损害行政相对人利益原则”的体现。
但遗憾的是，当前某些行政机关在进行行政处罚时，往往与上述原则背道而驰。从广义上说，滥用自由裁量权，轻过重罚，也是一种违法行为，甚至是严重违法行为。因为这样做不是依法行政而是违法行政，损害了行政机关的公信力，对于当前构建和谐社会危害极大。[page]
笔者相信，随着我国法制的不断进步，依法行政的理念日益深入人心，行政机关将会更好的履行自己保护公民、法人及其他组织的职责，规范自己的行政行为;行政相对人也会更好的遵守行政管理秩序，配合行政机关的工作。行政机关和行政相对人相互理解、相互支持，才能共创和谐社会。