用人单位的违约责任

根据《劳动合同法》第八十七条的规定，如果用人单位违反了劳动合同法的规定，解除或终止了劳动合同，那么用人单位应按照《劳动合同法》第四十七条的经济补偿标准的两倍向劳动者支付赔偿金。

劳动者的违约责任

根据《中华人民共和国劳动合同法实施条例》第二十六条的规定，如果用人单位与劳动者约定了服务期，而劳动者根据《劳动合同法》第三十八条的规定解除了劳动合同，这并不属于违反服务期约定的情况，因此用人单位不能要求劳动者支付违约金。但是，在以下情况下，用人单位与劳动者解除约定服务期的劳动合同时，劳动者应按照劳动合同的约定向用人单位支付违约金：

（一）劳动者严重违反用人单位的规章制度；

（二）劳动者严重失职、营私舞弊，给用人单位造成重大损害；

（三）劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正；

（四）劳动者以欺诈、胁迫的手段或者乘人之危，使用人单位在违背真实意思的情况下订立或变更劳动合同；

（五）劳动者被依法追究刑事责任。

因此，在上述情况下，劳动者应向用人单位支付违约金。