出轨行为在法律上通常不受直接处罚，主要原因可以归纳为以下几点：
道德范畴
出轨首先被视为一种道德问题，违背了婚姻中的忠诚和信任。尽管这种行为在道德上受到谴责，但它并不直接构成违法行为，因为法律主要关注的是对社会造成危害的行为。
隐私权保护
婚外情属于个人隐私范畴，法律一般尊重和保护公民的隐私权。除非涉及到其他犯罪行为，如通奸罪，否则法律难以介入婚姻中的感情事务。
审查困难
婚外情往往是一种秘密行为，参与者会尽量隐藏和保密。在缺乏充分证据的情况下，法律很难对婚外情进行审查和定罪。例如，通奸罪要求提供确凿的证据，如目击证人或通讯记录，而这些证据往往难以获取或不存在。
法律优先级
法律制度需要优先解决一些更加紧迫和严重的问题，如暴力犯罪、财产纠纷等。面对众多社会问题和犯罪行为，法律资源有限，无法将所有的婚外情纳入重点执法范围。
社会观念和文化差异
婚外情在不同的社会和文化背景下，受到不同程度的社会认可与道德谴责。某些社会中，婚外情被视为不可接受的道德行为，但在其他社会中，可能对婚外情持更宽容的态度。法律是社会观念和文化传统的产物，难以全面反映社会多样性，因此无法一概而论地管控所有婚外情。
证据问题
法律是讲究证据的，没有证据支持的行为难以受到法律制裁。一般的出轨行为，如果没有达到重婚或其他违法行为的标准，很难通过法律手段进行处罚。
综上所述，出轨行为在法律上不受直接处罚，主要是因为它主要属于道德范畴，涉及个人隐私，且缺乏有效的证据支持。此外，法律资源有限，需要优先解决更紧迫的社会问题，无法全面覆盖社会伦理和道德标准。