AInstEmitSimdArithmetic.cs 35 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714814915015115215315415515615715815916016116216316416516616716816917017117217317417517617717817918018118218318418518618718818919019119219319419519619719819920020120220320420520620720820921021121221321421521621721821922022122222322422522622722822923023123223323423523623723823924024124224324424524624724824925025125225325425525625725825926026126226326426526626726826927027127227327427527627727827928028128228328428528628728828929029129229329429529629729829930030130230330430530630730830931031131231331431531631731831932032132232332432532632732832933033133233333433533633733833934034134234334434534634734834935035135235335435535635735835936036136236336436536636736836937037137237337437537637737837938038138238338438538638738838939039139239339439539639739839940040140240340440540640740840941041141241341441541641741841942042142242342442542642742842943043143243343443543643743843944044144244344444544644744844945045145245345445545645745845946046146246346446546646746846947047147247347447547647747847948048148248348448548648748848949049149249349449549649749849950050150250350450550650750850951051151251351451551651751851952052152252352452552652752852953053153253353453553653753853954054154254354454554654754854955055155255355455555655755855956056156256356456556656756856957057157257357457557657757857958058158258358458558658758858959059159259359459559659759859960060160260360460560660760860961061161261361461561661761861962062162262362462562662762862963063163263363463563663763863964064164264364464564664764864965065165265365465565665765865966066166266366466566666766866967067167267367467567667767867968068168268368468568668768868969069169269369469569669769869970070170270370470570670770870971071171271371471571671771871972072172272372472572672772872973073173273373473573673773873974074174274374474574674774874975075175275375475575675775875976076176276376476576676776876977077177277377477577677777877978078178278378478578678778878979079179279379479579679779879980080180280380480580680780880981081181281381481581681781881982082182282382482582682782882983083183283383483583683783883984084184284384484584684784884985085185285385485585685785885986086186286386486586686786886987087187287387487587687787887988088188288388488588688788888989089189289389489589689789889990090190290390490590690790890991091191291391491591691791891992092192292392492592692792892993093193293393493593693793893994094194294394494594694794894995095195295395495595695795895996096196296396496596696796896997097197297397497597697797897998098198298398498598698798898999099199299399499599699799899910001001100210031004100510061007100810091010101110121013101410151016101710181019102010211022102310241025102610271028102910301031103210331034103510361037103810391040104110421043104410451046104710481049105010511052105310541055105610571058105910601061106210631064106510661067106810691070107110721073107410751076107710781079108010811082108310841085108610871088108910901091109210931094109510961097109810991100110111021103110411051106110711081109111011111112111311141115111611171118111911201121112211231124112511261127112811291130113111321133113411351136113711381139114011411142114311441145114611471148114911501151115211531154115511561157115811591160116111621163116411651166116711681169117011711172117311741175117611771178117911801181118211831184118511861187118811891190119111921193119411951196119711981199120012011202120312041205120612071208120912101211121212131214121512161217121812191220122112221223122412251226122712281229123012311232123312341235123612371238123912401241124212431244
  1. using ChocolArm64.Decoder;
  2. using ChocolArm64.State;
  3. using ChocolArm64.Translation;
  4. using System;
  5. using System.Reflection;
  6. using System.Reflection.Emit;
  7. using System.Runtime.Intrinsics.X86;
  8. using static ChocolArm64.Instruction.AInstEmitSimdHelper;
  9. namespace ChocolArm64.Instruction
  10. {
  11. static partial class AInstEmit
  12. {
  13. public static void Abs_S(AILEmitterCtx Context)
  14. {
  15. EmitScalarUnaryOpSx(Context, () => EmitAbs(Context));
  16. }
  17. public static void Abs_V(AILEmitterCtx Context)
  18. {
  19. EmitVectorUnaryOpSx(Context, () => EmitAbs(Context));
  20. }
  21. private static void EmitAbs(AILEmitterCtx Context)
  22. {
  23. AILLabel LblTrue = new AILLabel();
  24. Context.Emit(OpCodes.Dup);
  25. Context.Emit(OpCodes.Ldc_I4_0);
  26. Context.Emit(OpCodes.Bge_S, LblTrue);
  27. Context.Emit(OpCodes.Neg);
  28. Context.MarkLabel(LblTrue);
  29. }
  30. public static void Add_S(AILEmitterCtx Context)
  31. {
  32. EmitScalarBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  33. }
  34. public static void Add_V(AILEmitterCtx Context)
  35. {
  36. if (AOptimizations.UseSse2)
  37. {
  38. EmitSse2Call(Context, nameof(Sse2.Add));
  39. }
  40. else
  41. {
  42. EmitVectorBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  43. }
  44. }
  45. public static void Addhn_V(AILEmitterCtx Context)
  46. {
  47. EmitHighNarrow(Context, () => Context.Emit(OpCodes.Add), Round: false);
  48. }
  49. public static void Addp_S(AILEmitterCtx Context)
  50. {
  51. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  52. EmitVectorExtractZx(Context, Op.Rn, 0, Op.Size);
  53. EmitVectorExtractZx(Context, Op.Rn, 1, Op.Size);
  54. Context.Emit(OpCodes.Add);
  55. EmitScalarSet(Context, Op.Rd, Op.Size);
  56. }
  57. public static void Addp_V(AILEmitterCtx Context)
  58. {
  59. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  60. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  61. int Elems = Bytes >> Op.Size;
  62. int Half = Elems >> 1;
  63. for (int Index = 0; Index < Elems; Index++)
  64. {
  65. int Elem = (Index & (Half - 1)) << 1;
  66. EmitVectorExtractZx(Context, Index < Half ? Op.Rn : Op.Rm, Elem + 0, Op.Size);
  67. EmitVectorExtractZx(Context, Index < Half ? Op.Rn : Op.Rm, Elem + 1, Op.Size);
  68. Context.Emit(OpCodes.Add);
  69. EmitVectorInsertTmp(Context, Index, Op.Size);
  70. }
  71. Context.EmitLdvectmp();
  72. Context.EmitStvec(Op.Rd);
  73. if (Op.RegisterSize == ARegisterSize.SIMD64)
  74. {
  75. EmitVectorZeroUpper(Context, Op.Rd);
  76. }
  77. }
  78. public static void Addv_V(AILEmitterCtx Context)
  79. {
  80. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  81. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  82. EmitVectorExtractZx(Context, Op.Rn, 0, Op.Size);
  83. for (int Index = 1; Index < (Bytes >> Op.Size); Index++)
  84. {
  85. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size);
  86. Context.Emit(OpCodes.Add);
  87. }
  88. EmitScalarSet(Context, Op.Rd, Op.Size);
  89. }
  90. public static void Cls_V(AILEmitterCtx Context)
  91. {
  92. MethodInfo MthdInfo = typeof(ASoftFallback).GetMethod(nameof(ASoftFallback.CountLeadingSigns));
  93. EmitCountLeadingBits(Context, () => Context.EmitCall(MthdInfo));
  94. }
  95. public static void Clz_V(AILEmitterCtx Context)
  96. {
  97. MethodInfo MthdInfo = typeof(ASoftFallback).GetMethod(nameof(ASoftFallback.CountLeadingZeros));
  98. EmitCountLeadingBits(Context, () => Context.EmitCall(MthdInfo));
  99. }
  100. private static void EmitCountLeadingBits(AILEmitterCtx Context, Action Emit)
  101. {
  102. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  103. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  104. for (int Index = 0; Index < (Bytes >> Op.Size); Index++)
  105. {
  106. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size);
  107. Context.EmitLdc_I4(8 << Op.Size);
  108. Emit();
  109. EmitVectorInsert(Context, Op.Rd, Index, Op.Size);
  110. }
  111. if (Op.RegisterSize == ARegisterSize.SIMD64)
  112. {
  113. EmitVectorZeroUpper(Context, Op.Rd);
  114. }
  115. }
  116. public static void Cnt_V(AILEmitterCtx Context)
  117. {
  118. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  119. int Elems = Op.RegisterSize == ARegisterSize.SIMD128 ? 16 : 8;
  120. for (int Index = 0; Index < Elems; Index++)
  121. {
  122. EmitVectorExtractZx(Context, Op.Rn, Index, 0);
  123. Context.Emit(OpCodes.Conv_U1);
  124. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.CountSetBits8));
  125. Context.Emit(OpCodes.Conv_U8);
  126. EmitVectorInsert(Context, Op.Rd, Index, 0);
  127. }
  128. if (Op.RegisterSize == ARegisterSize.SIMD64)
  129. {
  130. EmitVectorZeroUpper(Context, Op.Rd);
  131. }
  132. }
  133. private static void EmitHighNarrow(AILEmitterCtx Context, Action Emit, bool Round)
  134. {
  135. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  136. int Elems = 8 >> Op.Size;
  137. int ESize = 8 << Op.Size;
  138. int Part = Op.RegisterSize == ARegisterSize.SIMD128 ? Elems : 0;
  139. for (int Index = 0; Index < Elems; Index++)
  140. {
  141. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size + 1);
  142. EmitVectorExtractZx(Context, Op.Rm, Index, Op.Size + 1);
  143. Emit();
  144. if (Round)
  145. {
  146. Context.EmitLdc_I8(1L << (ESize - 1));
  147. Context.Emit(OpCodes.Add);
  148. }
  149. Context.EmitLsr(ESize);
  150. EmitVectorInsert(Context, Op.Rd, Part + Index, Op.Size);
  151. }
  152. if (Part == 0)
  153. {
  154. EmitVectorZeroUpper(Context, Op.Rd);
  155. }
  156. }
  157. private static void EmitQxtn(AILEmitterCtx Context, bool Signed, bool Scalar)
  158. {
  159. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  160. int Elems = (!Scalar ? 8 >> Op.Size : 1);
  161. int ESize = 8 << Op.Size;
  162. int TMaxValue = (Signed ? (1 << (ESize - 1)) - 1 : (int)((1L << ESize) - 1L));
  163. int TMinValue = (Signed ? -((1 << (ESize - 1))) : 0);
  164. int Part = (!Scalar & (Op.RegisterSize == ARegisterSize.SIMD128) ? Elems : 0);
  165. Context.EmitLdc_I8(0L);
  166. Context.EmitSttmp();
  167. for (int Index = 0; Index < Elems; Index++)
  168. {
  169. AILLabel LblLe = new AILLabel();
  170. AILLabel LblGeEnd = new AILLabel();
  171. EmitVectorExtract(Context, Op.Rn, Index, Op.Size + 1, Signed);
  172. Context.Emit(OpCodes.Dup);
  173. Context.EmitLdc_I4(TMaxValue);
  174. Context.Emit(OpCodes.Conv_U8);
  175. Context.Emit(Signed ? OpCodes.Ble_S : OpCodes.Ble_Un_S, LblLe);
  176. Context.Emit(OpCodes.Pop);
  177. Context.EmitLdc_I4(TMaxValue);
  178. Context.EmitLdc_I8(0x8000000L);
  179. Context.EmitSttmp();
  180. Context.Emit(OpCodes.Br_S, LblGeEnd);
  181. Context.MarkLabel(LblLe);
  182. Context.Emit(OpCodes.Dup);
  183. Context.EmitLdc_I4(TMinValue);
  184. Context.Emit(OpCodes.Conv_I8);
  185. Context.Emit(Signed ? OpCodes.Bge_S : OpCodes.Bge_Un_S, LblGeEnd);
  186. Context.Emit(OpCodes.Pop);
  187. Context.EmitLdc_I4(TMinValue);
  188. Context.EmitLdc_I8(0x8000000L);
  189. Context.EmitSttmp();
  190. Context.MarkLabel(LblGeEnd);
  191. if (Scalar)
  192. {
  193. EmitVectorZeroLower(Context, Op.Rd);
  194. }
  195. EmitVectorInsert(Context, Op.Rd, Part + Index, Op.Size);
  196. }
  197. if (Part == 0)
  198. {
  199. EmitVectorZeroUpper(Context, Op.Rd);
  200. }
  201. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  202. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  203. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpsr));
  204. Context.EmitLdtmp();
  205. Context.Emit(OpCodes.Conv_I4);
  206. Context.Emit(OpCodes.Or);
  207. Context.EmitCallPropSet(typeof(AThreadState), nameof(AThreadState.Fpsr));
  208. }
  209. public static void Fabd_S(AILEmitterCtx Context)
  210. {
  211. EmitScalarBinaryOpF(Context, () =>
  212. {
  213. Context.Emit(OpCodes.Sub);
  214. EmitUnaryMathCall(Context, nameof(Math.Abs));
  215. });
  216. }
  217. public static void Fabs_S(AILEmitterCtx Context)
  218. {
  219. EmitScalarUnaryOpF(Context, () =>
  220. {
  221. EmitUnaryMathCall(Context, nameof(Math.Abs));
  222. });
  223. }
  224. public static void Fabs_V(AILEmitterCtx Context)
  225. {
  226. EmitVectorUnaryOpF(Context, () =>
  227. {
  228. EmitUnaryMathCall(Context, nameof(Math.Abs));
  229. });
  230. }
  231. public static void Fadd_S(AILEmitterCtx Context)
  232. {
  233. if (AOptimizations.UseSse2)
  234. {
  235. EmitSse2CallF(Context, nameof(Sse2.AddScalar));
  236. }
  237. else
  238. {
  239. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Add));
  240. }
  241. }
  242. public static void Fadd_V(AILEmitterCtx Context)
  243. {
  244. if (AOptimizations.UseSse2)
  245. {
  246. EmitSse2CallF(Context, nameof(Sse2.Add));
  247. }
  248. else
  249. {
  250. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Add));
  251. }
  252. }
  253. public static void Faddp_S(AILEmitterCtx Context)
  254. {
  255. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  256. int SizeF = Op.Size & 1;
  257. EmitVectorExtractF(Context, Op.Rn, 0, SizeF);
  258. EmitVectorExtractF(Context, Op.Rn, 1, SizeF);
  259. Context.Emit(OpCodes.Add);
  260. EmitScalarSetF(Context, Op.Rd, SizeF);
  261. }
  262. public static void Faddp_V(AILEmitterCtx Context)
  263. {
  264. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  265. int SizeF = Op.Size & 1;
  266. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  267. int Elems = Bytes >> SizeF + 2;
  268. int Half = Elems >> 1;
  269. for (int Index = 0; Index < Elems; Index++)
  270. {
  271. int Elem = (Index & (Half - 1)) << 1;
  272. EmitVectorExtractF(Context, Index < Half ? Op.Rn : Op.Rm, Elem + 0, SizeF);
  273. EmitVectorExtractF(Context, Index < Half ? Op.Rn : Op.Rm, Elem + 1, SizeF);
  274. Context.Emit(OpCodes.Add);
  275. EmitVectorInsertTmpF(Context, Index, SizeF);
  276. }
  277. Context.EmitLdvectmp();
  278. Context.EmitStvec(Op.Rd);
  279. if (Op.RegisterSize == ARegisterSize.SIMD64)
  280. {
  281. EmitVectorZeroUpper(Context, Op.Rd);
  282. }
  283. }
  284. public static void Fdiv_S(AILEmitterCtx Context)
  285. {
  286. if (AOptimizations.UseSse2)
  287. {
  288. EmitSse2CallF(Context, nameof(Sse2.DivideScalar));
  289. }
  290. else
  291. {
  292. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Div));
  293. }
  294. }
  295. public static void Fdiv_V(AILEmitterCtx Context)
  296. {
  297. if (AOptimizations.UseSse2)
  298. {
  299. EmitSse2CallF(Context, nameof(Sse2.Divide));
  300. }
  301. else
  302. {
  303. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Div));
  304. }
  305. }
  306. public static void Fmadd_S(AILEmitterCtx Context)
  307. {
  308. EmitScalarTernaryRaOpF(Context, () =>
  309. {
  310. Context.Emit(OpCodes.Mul);
  311. Context.Emit(OpCodes.Add);
  312. });
  313. }
  314. public static void Fmax_S(AILEmitterCtx Context)
  315. {
  316. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  317. EmitScalarBinaryOpF(Context, () =>
  318. {
  319. if (Op.Size == 0)
  320. {
  321. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.MaxF));
  322. }
  323. else if (Op.Size == 1)
  324. {
  325. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.Max));
  326. }
  327. else
  328. {
  329. throw new InvalidOperationException();
  330. }
  331. });
  332. }
  333. public static void Fmax_V(AILEmitterCtx Context)
  334. {
  335. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  336. EmitVectorBinaryOpF(Context, () =>
  337. {
  338. if (Op.Size == 0)
  339. {
  340. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.MaxF));
  341. }
  342. else if (Op.Size == 1)
  343. {
  344. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.Max));
  345. }
  346. else
  347. {
  348. throw new InvalidOperationException();
  349. }
  350. });
  351. }
  352. public static void Fmin_S(AILEmitterCtx Context)
  353. {
  354. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  355. EmitScalarBinaryOpF(Context, () =>
  356. {
  357. if (Op.Size == 0)
  358. {
  359. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.MinF));
  360. }
  361. else if (Op.Size == 1)
  362. {
  363. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.Min));
  364. }
  365. else
  366. {
  367. throw new InvalidOperationException();
  368. }
  369. });
  370. }
  371. public static void Fmin_V(AILEmitterCtx Context)
  372. {
  373. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  374. int SizeF = Op.Size & 1;
  375. EmitVectorBinaryOpF(Context, () =>
  376. {
  377. if (SizeF == 0)
  378. {
  379. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.MinF));
  380. }
  381. else if (SizeF == 1)
  382. {
  383. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.Min));
  384. }
  385. else
  386. {
  387. throw new InvalidOperationException();
  388. }
  389. });
  390. }
  391. public static void Fmaxnm_S(AILEmitterCtx Context)
  392. {
  393. Fmax_S(Context);
  394. }
  395. public static void Fminnm_S(AILEmitterCtx Context)
  396. {
  397. Fmin_S(Context);
  398. }
  399. public static void Fmla_V(AILEmitterCtx Context)
  400. {
  401. EmitVectorTernaryOpF(Context, () =>
  402. {
  403. Context.Emit(OpCodes.Mul);
  404. Context.Emit(OpCodes.Add);
  405. });
  406. }
  407. public static void Fmla_Ve(AILEmitterCtx Context)
  408. {
  409. EmitVectorTernaryOpByElemF(Context, () =>
  410. {
  411. Context.Emit(OpCodes.Mul);
  412. Context.Emit(OpCodes.Add);
  413. });
  414. }
  415. public static void Fmls_V(AILEmitterCtx Context)
  416. {
  417. EmitVectorTernaryOpF(Context, () =>
  418. {
  419. Context.Emit(OpCodes.Mul);
  420. Context.Emit(OpCodes.Sub);
  421. });
  422. }
  423. public static void Fmls_Ve(AILEmitterCtx Context)
  424. {
  425. EmitVectorTernaryOpByElemF(Context, () =>
  426. {
  427. Context.Emit(OpCodes.Mul);
  428. Context.Emit(OpCodes.Sub);
  429. });
  430. }
  431. public static void Fmsub_S(AILEmitterCtx Context)
  432. {
  433. EmitScalarTernaryRaOpF(Context, () =>
  434. {
  435. Context.Emit(OpCodes.Mul);
  436. Context.Emit(OpCodes.Sub);
  437. });
  438. }
  439. public static void Fmul_S(AILEmitterCtx Context)
  440. {
  441. if (AOptimizations.UseSse2)
  442. {
  443. EmitSse2CallF(Context, nameof(Sse2.MultiplyScalar));
  444. }
  445. else
  446. {
  447. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Mul));
  448. }
  449. }
  450. public static void Fmul_Se(AILEmitterCtx Context)
  451. {
  452. EmitScalarBinaryOpByElemF(Context, () => Context.Emit(OpCodes.Mul));
  453. }
  454. public static void Fmul_V(AILEmitterCtx Context)
  455. {
  456. if (AOptimizations.UseSse2)
  457. {
  458. EmitSse2CallF(Context, nameof(Sse2.Multiply));
  459. }
  460. else
  461. {
  462. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Mul));
  463. }
  464. }
  465. public static void Fmul_Ve(AILEmitterCtx Context)
  466. {
  467. EmitVectorBinaryOpByElemF(Context, () => Context.Emit(OpCodes.Mul));
  468. }
  469. public static void Fneg_S(AILEmitterCtx Context)
  470. {
  471. EmitScalarUnaryOpF(Context, () => Context.Emit(OpCodes.Neg));
  472. }
  473. public static void Fneg_V(AILEmitterCtx Context)
  474. {
  475. EmitVectorUnaryOpF(Context, () => Context.Emit(OpCodes.Neg));
  476. }
  477. public static void Fnmadd_S(AILEmitterCtx Context)
  478. {
  479. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  480. int SizeF = Op.Size & 1;
  481. EmitVectorExtractF(Context, Op.Rn, 0, SizeF);
  482. Context.Emit(OpCodes.Neg);
  483. EmitVectorExtractF(Context, Op.Rm, 0, SizeF);
  484. Context.Emit(OpCodes.Mul);
  485. EmitVectorExtractF(Context, Op.Ra, 0, SizeF);
  486. Context.Emit(OpCodes.Sub);
  487. EmitScalarSetF(Context, Op.Rd, SizeF);
  488. }
  489. public static void Fnmsub_S(AILEmitterCtx Context)
  490. {
  491. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  492. int SizeF = Op.Size & 1;
  493. EmitVectorExtractF(Context, Op.Rn, 0, SizeF);
  494. EmitVectorExtractF(Context, Op.Rm, 0, SizeF);
  495. Context.Emit(OpCodes.Mul);
  496. EmitVectorExtractF(Context, Op.Ra, 0, SizeF);
  497. Context.Emit(OpCodes.Sub);
  498. EmitScalarSetF(Context, Op.Rd, SizeF);
  499. }
  500. public static void Fnmul_S(AILEmitterCtx Context)
  501. {
  502. EmitScalarBinaryOpF(Context, () =>
  503. {
  504. Context.Emit(OpCodes.Mul);
  505. Context.Emit(OpCodes.Neg);
  506. });
  507. }
  508. public static void Frecpe_S(AILEmitterCtx Context)
  509. {
  510. EmitFrecpe(Context, 0, Scalar: true);
  511. }
  512. public static void Frecpe_V(AILEmitterCtx Context)
  513. {
  514. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  515. int SizeF = Op.Size & 1;
  516. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  517. for (int Index = 0; Index < Bytes >> SizeF + 2; Index++)
  518. {
  519. EmitFrecpe(Context, Index, Scalar: false);
  520. }
  521. if (Op.RegisterSize == ARegisterSize.SIMD64)
  522. {
  523. EmitVectorZeroUpper(Context, Op.Rd);
  524. }
  525. }
  526. private static void EmitFrecpe(AILEmitterCtx Context, int Index, bool Scalar)
  527. {
  528. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  529. int SizeF = Op.Size & 1;
  530. if (SizeF == 0)
  531. {
  532. Context.EmitLdc_R4(1);
  533. }
  534. else /* if (SizeF == 1) */
  535. {
  536. Context.EmitLdc_R8(1);
  537. }
  538. EmitVectorExtractF(Context, Op.Rn, Index, SizeF);
  539. Context.Emit(OpCodes.Div);
  540. if (Scalar)
  541. {
  542. EmitVectorZeroAll(Context, Op.Rd);
  543. }
  544. EmitVectorInsertF(Context, Op.Rd, Index, SizeF);
  545. }
  546. public static void Frecps_S(AILEmitterCtx Context)
  547. {
  548. EmitFrecps(Context, 0, Scalar: true);
  549. }
  550. public static void Frecps_V(AILEmitterCtx Context)
  551. {
  552. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  553. int SizeF = Op.Size & 1;
  554. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  555. for (int Index = 0; Index < Bytes >> SizeF + 2; Index++)
  556. {
  557. EmitFrecps(Context, Index, Scalar: false);
  558. }
  559. if (Op.RegisterSize == ARegisterSize.SIMD64)
  560. {
  561. EmitVectorZeroUpper(Context, Op.Rd);
  562. }
  563. }
  564. private static void EmitFrecps(AILEmitterCtx Context, int Index, bool Scalar)
  565. {
  566. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  567. int SizeF = Op.Size & 1;
  568. if (SizeF == 0)
  569. {
  570. Context.EmitLdc_R4(2);
  571. }
  572. else /* if (SizeF == 1) */
  573. {
  574. Context.EmitLdc_R8(2);
  575. }
  576. EmitVectorExtractF(Context, Op.Rn, Index, SizeF);
  577. EmitVectorExtractF(Context, Op.Rm, Index, SizeF);
  578. Context.Emit(OpCodes.Mul);
  579. Context.Emit(OpCodes.Sub);
  580. if (Scalar)
  581. {
  582. EmitVectorZeroAll(Context, Op.Rd);
  583. }
  584. EmitVectorInsertF(Context, Op.Rd, Index, SizeF);
  585. }
  586. public static void Frinta_S(AILEmitterCtx Context)
  587. {
  588. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  589. EmitVectorExtractF(Context, Op.Rn, 0, Op.Size);
  590. EmitRoundMathCall(Context, MidpointRounding.AwayFromZero);
  591. EmitScalarSetF(Context, Op.Rd, Op.Size);
  592. }
  593. public static void Frinta_V(AILEmitterCtx Context)
  594. {
  595. EmitVectorUnaryOpF(Context, () =>
  596. {
  597. EmitRoundMathCall(Context, MidpointRounding.AwayFromZero);
  598. });
  599. }
  600. public static void Frinti_S(AILEmitterCtx Context)
  601. {
  602. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  603. EmitScalarUnaryOpF(Context, () =>
  604. {
  605. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  606. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  607. if (Op.Size == 0)
  608. {
  609. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.RoundF));
  610. }
  611. else if (Op.Size == 1)
  612. {
  613. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.Round));
  614. }
  615. else
  616. {
  617. throw new InvalidOperationException();
  618. }
  619. });
  620. }
  621. public static void Frinti_V(AILEmitterCtx Context)
  622. {
  623. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  624. int SizeF = Op.Size & 1;
  625. EmitVectorUnaryOpF(Context, () =>
  626. {
  627. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  628. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  629. if (SizeF == 0)
  630. {
  631. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.RoundF));
  632. }
  633. else if (SizeF == 1)
  634. {
  635. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.Round));
  636. }
  637. else
  638. {
  639. throw new InvalidOperationException();
  640. }
  641. });
  642. }
  643. public static void Frintm_S(AILEmitterCtx Context)
  644. {
  645. EmitScalarUnaryOpF(Context, () =>
  646. {
  647. EmitUnaryMathCall(Context, nameof(Math.Floor));
  648. });
  649. }
  650. public static void Frintm_V(AILEmitterCtx Context)
  651. {
  652. EmitVectorUnaryOpF(Context, () =>
  653. {
  654. EmitUnaryMathCall(Context, nameof(Math.Floor));
  655. });
  656. }
  657. public static void Frintn_S(AILEmitterCtx Context)
  658. {
  659. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  660. EmitVectorExtractF(Context, Op.Rn, 0, Op.Size);
  661. EmitRoundMathCall(Context, MidpointRounding.ToEven);
  662. EmitScalarSetF(Context, Op.Rd, Op.Size);
  663. }
  664. public static void Frintn_V(AILEmitterCtx Context)
  665. {
  666. EmitVectorUnaryOpF(Context, () =>
  667. {
  668. EmitRoundMathCall(Context, MidpointRounding.ToEven);
  669. });
  670. }
  671. public static void Frintp_S(AILEmitterCtx Context)
  672. {
  673. EmitScalarUnaryOpF(Context, () =>
  674. {
  675. EmitUnaryMathCall(Context, nameof(Math.Ceiling));
  676. });
  677. }
  678. public static void Frintp_V(AILEmitterCtx Context)
  679. {
  680. EmitVectorUnaryOpF(Context, () =>
  681. {
  682. EmitUnaryMathCall(Context, nameof(Math.Ceiling));
  683. });
  684. }
  685. public static void Frintx_S(AILEmitterCtx Context)
  686. {
  687. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  688. EmitScalarUnaryOpF(Context, () =>
  689. {
  690. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  691. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  692. if (Op.Size == 0)
  693. {
  694. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.RoundF));
  695. }
  696. else if (Op.Size == 1)
  697. {
  698. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.Round));
  699. }
  700. else
  701. {
  702. throw new InvalidOperationException();
  703. }
  704. });
  705. }
  706. public static void Frintx_V(AILEmitterCtx Context)
  707. {
  708. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  709. EmitVectorUnaryOpF(Context, () =>
  710. {
  711. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  712. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  713. if (Op.Size == 0)
  714. {
  715. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.RoundF));
  716. }
  717. else if (Op.Size == 1)
  718. {
  719. AVectorHelper.EmitCall(Context, nameof(AVectorHelper.Round));
  720. }
  721. else
  722. {
  723. throw new InvalidOperationException();
  724. }
  725. });
  726. }
  727. public static void Frsqrte_S(AILEmitterCtx Context)
  728. {
  729. EmitScalarUnaryOpF(Context, () =>
  730. {
  731. EmitUnarySoftFloatCall(Context, nameof(ASoftFloat.InvSqrtEstimate));
  732. });
  733. }
  734. public static void Frsqrte_V(AILEmitterCtx Context)
  735. {
  736. EmitVectorUnaryOpF(Context, () =>
  737. {
  738. EmitUnarySoftFloatCall(Context, nameof(ASoftFloat.InvSqrtEstimate));
  739. });
  740. }
  741. public static void Frsqrts_S(AILEmitterCtx Context)
  742. {
  743. EmitFrsqrts(Context, 0, Scalar: true);
  744. }
  745. public static void Frsqrts_V(AILEmitterCtx Context)
  746. {
  747. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  748. int SizeF = Op.Size & 1;
  749. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  750. for (int Index = 0; Index < Bytes >> SizeF + 2; Index++)
  751. {
  752. EmitFrsqrts(Context, Index, Scalar: false);
  753. }
  754. if (Op.RegisterSize == ARegisterSize.SIMD64)
  755. {
  756. EmitVectorZeroUpper(Context, Op.Rd);
  757. }
  758. }
  759. private static void EmitFrsqrts(AILEmitterCtx Context, int Index, bool Scalar)
  760. {
  761. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  762. int SizeF = Op.Size & 1;
  763. if (SizeF == 0)
  764. {
  765. Context.EmitLdc_R4(3);
  766. }
  767. else /* if (SizeF == 1) */
  768. {
  769. Context.EmitLdc_R8(3);
  770. }
  771. EmitVectorExtractF(Context, Op.Rn, Index, SizeF);
  772. EmitVectorExtractF(Context, Op.Rm, Index, SizeF);
  773. Context.Emit(OpCodes.Mul);
  774. Context.Emit(OpCodes.Sub);
  775. if (SizeF == 0)
  776. {
  777. Context.EmitLdc_R4(0.5f);
  778. }
  779. else /* if (SizeF == 1) */
  780. {
  781. Context.EmitLdc_R8(0.5);
  782. }
  783. Context.Emit(OpCodes.Mul);
  784. if (Scalar)
  785. {
  786. EmitVectorZeroAll(Context, Op.Rd);
  787. }
  788. EmitVectorInsertF(Context, Op.Rd, Index, SizeF);
  789. }
  790. public static void Fsqrt_S(AILEmitterCtx Context)
  791. {
  792. EmitScalarUnaryOpF(Context, () =>
  793. {
  794. EmitUnaryMathCall(Context, nameof(Math.Sqrt));
  795. });
  796. }
  797. public static void Fsub_S(AILEmitterCtx Context)
  798. {
  799. if (AOptimizations.UseSse2)
  800. {
  801. EmitSse2CallF(Context, nameof(Sse2.SubtractScalar));
  802. }
  803. else
  804. {
  805. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Sub));
  806. }
  807. }
  808. public static void Fsub_V(AILEmitterCtx Context)
  809. {
  810. if (AOptimizations.UseSse2)
  811. {
  812. EmitSse2CallF(Context, nameof(Sse2.Subtract));
  813. }
  814. else
  815. {
  816. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Sub));
  817. }
  818. }
  819. public static void Mla_V(AILEmitterCtx Context)
  820. {
  821. EmitVectorTernaryOpZx(Context, () =>
  822. {
  823. Context.Emit(OpCodes.Mul);
  824. Context.Emit(OpCodes.Add);
  825. });
  826. }
  827. public static void Mla_Ve(AILEmitterCtx Context)
  828. {
  829. EmitVectorTernaryOpByElemZx(Context, () =>
  830. {
  831. Context.Emit(OpCodes.Mul);
  832. Context.Emit(OpCodes.Add);
  833. });
  834. }
  835. public static void Mls_V(AILEmitterCtx Context)
  836. {
  837. EmitVectorTernaryOpZx(Context, () =>
  838. {
  839. Context.Emit(OpCodes.Mul);
  840. Context.Emit(OpCodes.Sub);
  841. });
  842. }
  843. public static void Mul_V(AILEmitterCtx Context)
  844. {
  845. EmitVectorBinaryOpZx(Context, () => Context.Emit(OpCodes.Mul));
  846. }
  847. public static void Mul_Ve(AILEmitterCtx Context)
  848. {
  849. EmitVectorBinaryOpByElemZx(Context, () => Context.Emit(OpCodes.Mul));
  850. }
  851. public static void Neg_S(AILEmitterCtx Context)
  852. {
  853. EmitScalarUnaryOpSx(Context, () => Context.Emit(OpCodes.Neg));
  854. }
  855. public static void Neg_V(AILEmitterCtx Context)
  856. {
  857. EmitVectorUnaryOpSx(Context, () => Context.Emit(OpCodes.Neg));
  858. }
  859. public static void Raddhn_V(AILEmitterCtx Context)
  860. {
  861. EmitHighNarrow(Context, () => Context.Emit(OpCodes.Add), Round: true);
  862. }
  863. public static void Rsubhn_V(AILEmitterCtx Context)
  864. {
  865. EmitHighNarrow(Context, () => Context.Emit(OpCodes.Sub), Round: true);
  866. }
  867. public static void Saddw_V(AILEmitterCtx Context)
  868. {
  869. EmitVectorWidenRmBinaryOpSx(Context, () => Context.Emit(OpCodes.Add));
  870. }
  871. public static void Smax_V(AILEmitterCtx Context)
  872. {
  873. Type[] Types = new Type[] { typeof(long), typeof(long) };
  874. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Max), Types);
  875. EmitVectorBinaryOpSx(Context, () => Context.EmitCall(MthdInfo));
  876. }
  877. public static void Smin_V(AILEmitterCtx Context)
  878. {
  879. Type[] Types = new Type[] { typeof(long), typeof(long) };
  880. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Min), Types);
  881. EmitVectorBinaryOpSx(Context, () => Context.EmitCall(MthdInfo));
  882. }
  883. public static void Smlal_V(AILEmitterCtx Context)
  884. {
  885. EmitVectorWidenRnRmTernaryOpSx(Context, () =>
  886. {
  887. Context.Emit(OpCodes.Mul);
  888. Context.Emit(OpCodes.Add);
  889. });
  890. }
  891. public static void Smull_V(AILEmitterCtx Context)
  892. {
  893. EmitVectorWidenRnRmBinaryOpSx(Context, () => Context.Emit(OpCodes.Mul));
  894. }
  895. public static void Sqxtn_S(AILEmitterCtx Context)
  896. {
  897. EmitQxtn(Context, Signed: true, Scalar: true);
  898. }
  899. public static void Sqxtn_V(AILEmitterCtx Context)
  900. {
  901. EmitQxtn(Context, Signed: true, Scalar: false);
  902. }
  903. public static void Sub_S(AILEmitterCtx Context)
  904. {
  905. EmitScalarBinaryOpZx(Context, () => Context.Emit(OpCodes.Sub));
  906. }
  907. public static void Sub_V(AILEmitterCtx Context)
  908. {
  909. if (AOptimizations.UseSse2)
  910. {
  911. EmitSse2Call(Context, nameof(Sse2.Subtract));
  912. }
  913. else
  914. {
  915. EmitVectorBinaryOpZx(Context, () => Context.Emit(OpCodes.Sub));
  916. }
  917. }
  918. public static void Subhn_V(AILEmitterCtx Context)
  919. {
  920. EmitHighNarrow(Context, () => Context.Emit(OpCodes.Sub), Round: false);
  921. }
  922. public static void Uabd_V(AILEmitterCtx Context)
  923. {
  924. EmitVectorBinaryOpZx(Context, () => EmitAbd(Context));
  925. }
  926. public static void Uabdl_V(AILEmitterCtx Context)
  927. {
  928. EmitVectorWidenRnRmBinaryOpZx(Context, () => EmitAbd(Context));
  929. }
  930. private static void EmitAbd(AILEmitterCtx Context)
  931. {
  932. Context.Emit(OpCodes.Sub);
  933. Type[] Types = new Type[] { typeof(long) };
  934. Context.EmitCall(typeof(Math).GetMethod(nameof(Math.Abs), Types));
  935. }
  936. public static void Uaddl_V(AILEmitterCtx Context)
  937. {
  938. EmitVectorWidenRnRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  939. }
  940. public static void Uaddlv_V(AILEmitterCtx Context)
  941. {
  942. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  943. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  944. EmitVectorExtractZx(Context, Op.Rn, 0, Op.Size);
  945. for (int Index = 1; Index < (Bytes >> Op.Size); Index++)
  946. {
  947. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size);
  948. Context.Emit(OpCodes.Add);
  949. }
  950. EmitScalarSet(Context, Op.Rd, Op.Size + 1);
  951. }
  952. public static void Uaddw_V(AILEmitterCtx Context)
  953. {
  954. EmitVectorWidenRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  955. }
  956. public static void Uhadd_V(AILEmitterCtx Context)
  957. {
  958. EmitVectorBinaryOpZx(Context, () =>
  959. {
  960. Context.Emit(OpCodes.Add);
  961. Context.EmitLdc_I4(1);
  962. Context.Emit(OpCodes.Shr_Un);
  963. });
  964. }
  965. public static void Umull_V(AILEmitterCtx Context)
  966. {
  967. EmitVectorWidenRnRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Mul));
  968. }
  969. public static void Uqxtn_S(AILEmitterCtx Context)
  970. {
  971. EmitQxtn(Context, Signed: false, Scalar: true);
  972. }
  973. public static void Uqxtn_V(AILEmitterCtx Context)
  974. {
  975. EmitQxtn(Context, Signed: false, Scalar: false);
  976. }
  977. }
  978. }