社会抚养费是针对违反计划生育政策的人员所征收的费用，它的作用是促进计划生育政策的实施，控制人口数量，促进人口与社会经济发展相适应。

然而，在实际操作中，由于各种因素的影响，可能会出现男女方谁给付社会抚养费的问题。

通常情况下，社会抚养费的征收对象是违反计划生育政策的人员，包括男性和女性。

因此，在处理这个问题时，需要考虑到性别的因素。

对于男性来说，如果违反计划生育政策，可能需要支付社会抚养费。

这是因为，在许多国家的法律中，男性也必须遵守计划生育政策，并且由于生理上的原因，男性更容易出现计划生育问题。

此外，在一些地区，由于社会习俗等原因，男性也可能会被要求采取避孕措施，这可能会导致其需要支付社会抚养费。

对于女性来说，如果违反计划生育政策，可能需要支付社会抚养费。

这是因为，在许多国家的法律中，女性被视为生育的主体，因此如果女性未履行生育义务，则可能需要支付社会抚养费。

此外，一些地区也会根据女性的婚姻状况等因素来决定是否要求女性支付社会抚养费。

在实际操作中，由于各种因素的影响，男女方都可能需要支付社会抚养费。

因此，在处理这个问题时，需要全面考虑性别因素，确保公正、公平地进行处理。

同时，也需要加强社会抚养费的征收和管理，确保其合法、规范、有效。

社会抚养费的征收是计划生育政策的重要组成部分，它有助于控制人口数量，促进人口与社会经济发展相适应。

然而，在实际操作中，由于各种因素的影响，可能会出现男女方谁给付社会抚养费的问题。

因此，需要全面考虑性别因素，确保公正、公平地进行处理。