| 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634 |
- using ARMeilleure.Decoders;
- using ARMeilleure.IntermediateRepresentation;
- using ARMeilleure.Translation;
- using System;
- using static ARMeilleure.Instructions.InstEmitFlowHelper;
- using static ARMeilleure.Instructions.InstEmitHelper;
- using static ARMeilleure.Instructions.InstEmitSimdHelper;
- using static ARMeilleure.Instructions.InstEmitSimdHelper32;
- using static ARMeilleure.IntermediateRepresentation.OperandHelper;
- namespace ARMeilleure.Instructions
- {
- static partial class InstEmit32
- {
- public static void Vabs_S(ArmEmitterContext context)
- {
- EmitScalarUnaryOpF32(context, (op1) => EmitUnaryMathCall(context, MathF.Abs, Math.Abs, op1));
- }
- public static void Vabs_V(ArmEmitterContext context)
- {
- OpCode32Simd op = (OpCode32Simd)context.CurrOp;
- if (op.F)
- {
- EmitVectorUnaryOpF32(context, (op1) => EmitUnaryMathCall(context, MathF.Abs, Math.Abs, op1));
- }
- else
- {
- EmitVectorUnaryOpSx32(context, (op1) => EmitAbs(context, op1));
- }
- }
- private static Operand EmitAbs(ArmEmitterContext context, Operand value)
- {
- Operand isPositive = context.ICompareGreaterOrEqual(value, Const(value.Type, 0));
- return context.ConditionalSelect(isPositive, value, context.Negate(value));
- }
- public static void Vadd_S(ArmEmitterContext context)
- {
- if (Optimizations.FastFP)
- {
- EmitScalarBinaryOpF32(context, (op1, op2) => context.Add(op1, op2));
- }
- else
- {
- EmitScalarBinaryOpF32(context, (op1, op2) => EmitSoftFloatCall(context, SoftFloat32.FPAdd, SoftFloat64.FPAdd, op1, op2));
- }
- }
- public static void Vadd_V(ArmEmitterContext context)
- {
- if (Optimizations.FastFP)
- {
- EmitVectorBinaryOpF32(context, (op1, op2) => context.Add(op1, op2));
- }
- else
- {
- EmitVectorBinaryOpF32(context, (op1, op2) => EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPAddFpscr, SoftFloat64.FPAddFpscr, op1, op2));
- }
- }
- public static void Vadd_I(ArmEmitterContext context)
- {
- EmitVectorBinaryOpZx32(context, (op1, op2) => context.Add(op1, op2));
- }
- public static void Vdup(ArmEmitterContext context)
- {
- OpCode32SimdDupGP op = (OpCode32SimdDupGP)context.CurrOp;
- Operand insert = GetIntA32(context, op.Rt);
- // Zero extend into an I64, then replicate. Saves the most time over elementwise inserts.
- switch (op.Size)
- {
- case 2:
- insert = context.Multiply(context.ZeroExtend32(OperandType.I64, insert), Const(0x0000000100000001u));
- break;
- case 1:
- insert = context.Multiply(context.ZeroExtend16(OperandType.I64, insert), Const(0x0001000100010001u));
- break;
- case 0:
- insert = context.Multiply(context.ZeroExtend8(OperandType.I64, insert), Const(0x0101010101010101u));
- break;
- default:
- throw new InvalidOperationException("Unknown Vdup Size.");
- }
- InsertScalar(context, op.Vd, insert);
- if (op.Q)
- {
- InsertScalar(context, op.Vd + 1, insert);
- }
- }
- public static void Vdup_1(ArmEmitterContext context)
- {
- OpCode32SimdDupElem op = (OpCode32SimdDupElem)context.CurrOp;
- Operand insert = EmitVectorExtractZx32(context, op.Vm >> 1, ((op.Vm & 1) << (3 - op.Size)) + op.Index, op.Size);
- // Zero extend into an I64, then replicate. Saves the most time over elementwise inserts.
- switch (op.Size)
- {
- case 2:
- insert = context.Multiply(context.ZeroExtend32(OperandType.I64, insert), Const(0x0000000100000001u));
- break;
- case 1:
- insert = context.Multiply(context.ZeroExtend16(OperandType.I64, insert), Const(0x0001000100010001u));
- break;
- case 0:
- insert = context.Multiply(context.ZeroExtend8(OperandType.I64, insert), Const(0x0101010101010101u));
- break;
- default:
- throw new InvalidOperationException("Unknown Vdup Size.");
- }
- InsertScalar(context, op.Vd, insert);
- if (op.Q)
- {
- InsertScalar(context, op.Vd | 1, insert);
- }
- }
- public static void Vext(ArmEmitterContext context)
- {
- OpCode32SimdExt op = (OpCode32SimdExt)context.CurrOp;
- int elems = op.GetBytesCount();
- int byteOff = op.Immediate;
- Operand res = GetVecA32(op.Qd);
- for (int index = 0; index < elems; index++)
- {
- Operand extract;
- if (byteOff >= elems)
- {
- extract = EmitVectorExtractZx32(context, op.Qm, op.Im + (byteOff - elems), op.Size);
- }
- else
- {
- extract = EmitVectorExtractZx32(context, op.Qn, op.In + byteOff, op.Size);
- }
- byteOff++;
- res = EmitVectorInsert(context, res, extract, op.Id + index, op.Size);
- }
- context.Copy(GetVecA32(op.Qd), res);
- }
- public static void Vmov_S(ArmEmitterContext context)
- {
- EmitScalarUnaryOpF32(context, (op1) => op1);
- }
- public static void Vmovn(ArmEmitterContext context)
- {
- EmitVectorUnaryNarrowOp32(context, (op1) => op1);
- }
- public static void Vneg_S(ArmEmitterContext context)
- {
- EmitScalarUnaryOpF32(context, (op1) => context.Negate(op1));
- }
- public static void Vnmul_S(ArmEmitterContext context)
- {
- EmitScalarBinaryOpF32(context, (op1, op2) => context.Negate(context.Multiply(op1, op2)));
- }
- public static void Vnmla_S(ArmEmitterContext context)
- {
- if (Optimizations.FastFP)
- {
- EmitScalarTernaryOpF32(context, (op1, op2, op3) =>
- {
- return context.Negate(context.Add(op1, context.Multiply(op2, op3)));
- });
- }
- else
- {
- EmitScalarTernaryOpF32(context, (op1, op2, op3) =>
- {
- return EmitSoftFloatCall(context, SoftFloat32.FPNegMulAdd, SoftFloat64.FPNegMulAdd, op1, op2, op3);
- });
- }
- }
- public static void Vnmls_S(ArmEmitterContext context)
- {
- if (Optimizations.FastFP)
- {
- EmitScalarTernaryOpF32(context, (op1, op2, op3) =>
- {
- return context.Add(context.Negate(op1), context.Multiply(op2, op3));
- });
- }
- else
- {
- EmitScalarTernaryOpF32(context, (op1, op2, op3) =>
- {
- return EmitSoftFloatCall(context, SoftFloat32.FPNegMulSub, SoftFloat64.FPNegMulSub, op1, op2, op3);
- });
- }
- }
- public static void Vneg_V(ArmEmitterContext context)
- {
- if ((context.CurrOp as OpCode32Simd).F)
- {
- EmitVectorUnaryOpF32(context, (op1) => context.Negate(op1));
- }
- else
- {
- EmitVectorUnaryOpSx32(context, (op1) => context.Negate(op1));
- }
- }
- public static void Vdiv_S(ArmEmitterContext context)
- {
- if (Optimizations.FastFP)
- {
- EmitScalarBinaryOpF32(context, (op1, op2) => context.Divide(op1, op2));
- }
- else
- {
- EmitScalarBinaryOpF32(context, (op1, op2) =>
- {
- return EmitSoftFloatCall(context, SoftFloat32.FPDiv, SoftFloat64.FPDiv, op1, op2);
- });
- }
- }
- public static void Vmaxnm_S(ArmEmitterContext context)
- {
- EmitScalarBinaryOpF32(context, (op1, op2) => EmitSoftFloatCall(context, SoftFloat32.FPMaxNum, SoftFloat64.FPMaxNum, op1, op2));
- }
- public static void Vmaxnm_V(ArmEmitterContext context)
- {
- EmitVectorBinaryOpSx32(context, (op1, op2) => EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPMaxNumFpscr, SoftFloat64.FPMaxNumFpscr, op1, op2));
- }
- public static void Vminnm_S(ArmEmitterContext context)
- {
- EmitScalarBinaryOpF32(context, (op1, op2) => EmitSoftFloatCall(context, SoftFloat32.FPMinNum, SoftFloat64.FPMinNum, op1, op2));
- }
- public static void Vminnm_V(ArmEmitterContext context)
- {
- EmitVectorBinaryOpSx32(context, (op1, op2) => EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPMinNumFpscr, SoftFloat64.FPMinNumFpscr, op1, op2));
- }
- public static void Vmax_V(ArmEmitterContext context)
- {
- EmitVectorBinaryOpF32(context, (op1, op2) =>
- {
- return EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPMaxFpscr, SoftFloat64.FPMaxFpscr, op1, op2);
- });
- }
- public static void Vmax_I(ArmEmitterContext context)
- {
- OpCode32SimdReg op = (OpCode32SimdReg)context.CurrOp;
- if (op.U)
- {
- EmitVectorBinaryOpZx32(context, (op1, op2) => context.ConditionalSelect(context.ICompareGreaterUI(op1, op2), op1, op2));
- }
- else
- {
- EmitVectorBinaryOpSx32(context, (op1, op2) => context.ConditionalSelect(context.ICompareGreater(op1, op2), op1, op2));
- }
- }
- public static void Vmin_V(ArmEmitterContext context)
- {
- EmitVectorBinaryOpF32(context, (op1, op2) =>
- {
- return EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPMinFpscr, SoftFloat64.FPMinFpscr, op1, op2);
- });
- }
- public static void Vmin_I(ArmEmitterContext context)
- {
- OpCode32SimdReg op = (OpCode32SimdReg)context.CurrOp;
- if (op.U)
- {
- EmitVectorBinaryOpZx32(context, (op1, op2) => context.ConditionalSelect(context.ICompareLessUI(op1, op2), op1, op2));
- }
- else
- {
- EmitVectorBinaryOpSx32(context, (op1, op2) => context.ConditionalSelect(context.ICompareLess(op1, op2), op1, op2));
- }
- }
- public static void Vmul_S(ArmEmitterContext context)
- {
- if (Optimizations.FastFP)
- {
- EmitScalarBinaryOpF32(context, (op1, op2) => context.Multiply(op1, op2));
- }
- else
- {
- EmitScalarBinaryOpF32(context, (op1, op2) =>
- {
- return EmitSoftFloatCall(context, SoftFloat32.FPMul, SoftFloat64.FPMul, op1, op2);
- });
- }
- }
- public static void Vmul_V(ArmEmitterContext context)
- {
- if (Optimizations.FastFP)
- {
- EmitVectorBinaryOpF32(context, (op1, op2) => context.Multiply(op1, op2));
- }
- else
- {
- EmitVectorBinaryOpF32(context, (op1, op2) =>
- {
- return EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPMulFpscr, SoftFloat64.FPMulFpscr, op1, op2);
- });
- }
- }
- public static void Vmul_I(ArmEmitterContext context)
- {
- if ((context.CurrOp as OpCode32SimdReg).U) throw new NotImplementedException("Polynomial mode not implemented");
- EmitVectorBinaryOpSx32(context, (op1, op2) => context.Multiply(op1, op2));
- }
- public static void Vmul_1(ArmEmitterContext context)
- {
- OpCode32SimdRegElem op = (OpCode32SimdRegElem)context.CurrOp;
- if (op.F)
- {
- if (Optimizations.FastFP)
- {
- EmitVectorByScalarOpF32(context, (op1, op2) => context.Multiply(op1, op2));
- }
- else
- {
- EmitVectorByScalarOpF32(context, (op1, op2) => EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPMulFpscr, SoftFloat64.FPMulFpscr, op1, op2));
- }
- }
- else
- {
- EmitVectorByScalarOpI32(context, (op1, op2) => context.Multiply(op1, op2), false);
- }
- }
- public static void Vmla_S(ArmEmitterContext context)
- {
- if (Optimizations.FastFP)
- {
- EmitScalarTernaryOpF32(context, (op1, op2, op3) =>
- {
- return context.Add(op1, context.Multiply(op2, op3));
- });
- }
- else
- {
- EmitScalarTernaryOpF32(context, (op1, op2, op3) =>
- {
- return EmitSoftFloatCall(context, SoftFloat32.FPMulAdd, SoftFloat64.FPMulAdd, op1, op2, op3);
- });
- }
- }
- public static void Vmla_V(ArmEmitterContext context)
- {
- if (Optimizations.FastFP)
- {
- EmitVectorTernaryOpF32(context, (op1, op2, op3) => context.Add(op1, context.Multiply(op2, op3)));
- }
- else
- {
- EmitVectorTernaryOpF32(context, (op1, op2, op3) =>
- {
- return EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPMulAddFpscr, SoftFloat64.FPMulAddFpscr, op1, op2, op3);
- });
- }
- }
- public static void Vmla_I(ArmEmitterContext context)
- {
- EmitVectorTernaryOpZx32(context, (op1, op2, op3) => context.Add(op1, context.Multiply(op2, op3)));
- }
- public static void Vmla_1(ArmEmitterContext context)
- {
- OpCode32SimdRegElem op = (OpCode32SimdRegElem)context.CurrOp;
- if (op.F)
- {
- if (Optimizations.FastFP)
- {
- EmitVectorsByScalarOpF32(context, (op1, op2, op3) => context.Add(op1, context.Multiply(op2, op3)));
- }
- else
- {
- EmitVectorsByScalarOpF32(context, (op1, op2, op3) => EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPMulAddFpscr, SoftFloat64.FPMulAddFpscr, op1, op2, op3));
- }
- }
- else
- {
- EmitVectorsByScalarOpI32(context, (op1, op2, op3) => context.Add(op1, context.Multiply(op2, op3)), false);
- }
- }
- public static void Vmls_S(ArmEmitterContext context)
- {
- if (Optimizations.FastFP)
- {
- EmitScalarTernaryOpF32(context, (op1, op2, op3) =>
- {
- return context.Subtract(op1, context.Multiply(op2, op3));
- });
- }
- else
- {
- EmitScalarTernaryOpF32(context, (op1, op2, op3) =>
- {
- return EmitSoftFloatCall(context, SoftFloat32.FPMulSub, SoftFloat64.FPMulSub, op1, op2, op3);
- });
- }
- }
- public static void Vmls_V(ArmEmitterContext context)
- {
- if (Optimizations.FastFP)
- {
- EmitVectorTernaryOpF32(context, (op1, op2, op3) => context.Subtract(op1, context.Multiply(op2, op3)));
- }
- else
- {
- EmitVectorTernaryOpF32(context, (op1, op2, op3) =>
- {
- return EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPMulSubFpscr, SoftFloat64.FPMulSubFpscr, op1, op2, op3);
- });
- }
- }
- public static void Vmls_I(ArmEmitterContext context)
- {
- EmitVectorTernaryOpZx32(context, (op1, op2, op3) => context.Subtract(op1, context.Multiply(op2, op3)));
- }
- public static void Vmls_1(ArmEmitterContext context)
- {
- OpCode32SimdRegElem op = (OpCode32SimdRegElem)context.CurrOp;
- if (op.F)
- {
- if (Optimizations.FastFP)
- {
- EmitVectorsByScalarOpF32(context, (op1, op2, op3) => context.Subtract(op1, context.Multiply(op2, op3)));
- }
- else
- {
- EmitVectorsByScalarOpF32(context, (op1, op2, op3) => EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPMulSubFpscr, SoftFloat64.FPMulSubFpscr, op1, op2, op3));
- }
- }
- else
- {
- EmitVectorsByScalarOpI32(context, (op1, op2, op3) => context.Subtract(op1, context.Multiply(op2, op3)), false);
- }
- }
- public static void Vpadd_V(ArmEmitterContext context)
- {
- EmitVectorPairwiseOpF32(context, (op1, op2) => context.Add(op1, op2));
- }
- public static void Vpadd_I(ArmEmitterContext context)
- {
- OpCode32SimdReg op = (OpCode32SimdReg)context.CurrOp;
- EmitVectorPairwiseOpI32(context, (op1, op2) => context.Add(op1, op2), !op.U);
- }
- public static void Vrev(ArmEmitterContext context)
- {
- OpCode32Simd op = (OpCode32Simd)context.CurrOp;
- EmitVectorUnaryOpZx32(context, (op1) =>
- {
- switch (op.Opc)
- {
- case 0:
- switch (op.Size) // Swap bytes.
- {
- default:
- return op1;
- case 1:
- return InstEmitAluHelper.EmitReverseBytes16_32Op(context, op1);
- case 2:
- case 3:
- return context.ByteSwap(op1);
- }
- case 1:
- switch (op.Size)
- {
- default:
- return op1;
- case 2:
- return context.BitwiseOr(context.ShiftRightUI(context.BitwiseAnd(op1, Const(0xffff0000)), Const(16)),
- context.ShiftLeft(context.BitwiseAnd(op1, Const(0x0000ffff)), Const(16)));
- case 3:
- return context.BitwiseOr(
- context.BitwiseOr(context.ShiftRightUI(context.BitwiseAnd(op1, Const(0xffff000000000000ul)), Const(48)),
- context.ShiftLeft(context.BitwiseAnd(op1, Const(0x000000000000fffful)), Const(48))),
- context.BitwiseOr(context.ShiftRightUI(context.BitwiseAnd(op1, Const(0x0000ffff00000000ul)), Const(16)),
- context.ShiftLeft(context.BitwiseAnd(op1, Const(0x00000000ffff0000ul)), Const(16))));
- }
- case 2:
- // Swap upper and lower halves.
- return context.BitwiseOr(context.ShiftRightUI(context.BitwiseAnd(op1, Const(0xffffffff00000000ul)), Const(32)),
- context.ShiftLeft(context.BitwiseAnd(op1, Const(0x00000000fffffffful)), Const(32)));
- }
- return op1;
- });
- }
- public static void Vrecpe(ArmEmitterContext context)
- {
- OpCode32SimdSqrte op = (OpCode32SimdSqrte)context.CurrOp;
- if (op.F)
- {
- EmitVectorUnaryOpF32(context, (op1) =>
- {
- return EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPRecipEstimateFpscr, SoftFloat64.FPRecipEstimateFpscr, op1);
- });
- }
- else
- {
- throw new NotImplementedException("Integer Vrecpe not currently implemented.");
- }
- }
- public static void Vrecps(ArmEmitterContext context)
- {
- EmitVectorBinaryOpF32(context, (op1, op2) =>
- {
- return EmitSoftFloatCall(context, SoftFloat32.FPRecipStep, SoftFloat64.FPRecipStep, op1, op2);
- });
- }
- public static void Vrsqrte(ArmEmitterContext context)
- {
- OpCode32SimdSqrte op = (OpCode32SimdSqrte)context.CurrOp;
- if (op.F)
- {
- EmitVectorUnaryOpF32(context, (op1) =>
- {
- return EmitSoftFloatCallDefaultFpscr(context, SoftFloat32.FPRSqrtEstimateFpscr, SoftFloat64.FPRSqrtEstimateFpscr, op1);
- });
- }
- else
- {
- throw new NotImplementedException("Integer Vrsqrte not currently implemented.");
- }
- }
- public static void Vrsqrts(ArmEmitterContext context)
- {
- EmitVectorBinaryOpF32(context, (op1, op2) =>
- {
- return EmitSoftFloatCall(context, SoftFloat32.FPRSqrtStep, SoftFloat64.FPRSqrtStep, op1, op2);
- });
- }
- public static void Vsel(ArmEmitterContext context)
- {
- OpCode32SimdSel op = (OpCode32SimdSel)context.CurrOp;
- Operand condition = null;
- switch (op.Cc)
- {
- case OpCode32SimdSelMode.Eq:
- condition = GetCondTrue(context, Condition.Eq);
- break;
- case OpCode32SimdSelMode.Ge:
- condition = GetCondTrue(context, Condition.Ge);
- break;
- case OpCode32SimdSelMode.Gt:
- condition = GetCondTrue(context, Condition.Gt);
- break;
- case OpCode32SimdSelMode.Vs:
- condition = GetCondTrue(context, Condition.Vs);
- break;
- }
- EmitScalarBinaryOpI32(context, (op1, op2) =>
- {
- return context.ConditionalSelect(condition, op1, op2);
- });
- }
- public static void Vsqrt_S(ArmEmitterContext context)
- {
- EmitScalarUnaryOpF32(context, (op1) =>
- {
- return EmitSoftFloatCall(context, SoftFloat32.FPSqrt, SoftFloat64.FPSqrt, op1);
- });
- }
- public static void Vsub_S(ArmEmitterContext context)
- {
- EmitScalarBinaryOpF32(context, (op1, op2) => context.Subtract(op1, op2));
- }
- public static void Vsub_V(ArmEmitterContext context)
- {
- EmitVectorBinaryOpF32(context, (op1, op2) => context.Subtract(op1, op2));
- }
- public static void Vsub_I(ArmEmitterContext context)
- {
- EmitVectorBinaryOpZx32(context, (op1, op2) => context.Subtract(op1, op2));
- }
- }
- }
|