[Date Prev][Date Next] [Chronological] [Thread] [Top]

Re: slow adds of member attribute in large groups



hi,

you may try 

set_flags DB_TXN_WRITE_NOSYNC

in DB_CONFIG.
-------------------
>
>I'm working on implementing groups in our directory server. We have a
>large number of groups, many with a large number of members. I've
>noticed that when populating a large group it starts taking longer
and
>longer to add a member. For reference, I've included my current
>DB_CONFIG. At the bottom of this message is a table containing
>measurements from populating a group of almost 20,000 members. The
>first column is elapsed time, then total number of members, number of
>members added in the previous five minutes, rate per minute, and
>finally rate per minute averaged over the last hour.
>
>In the first five minutes, 1100 entries were added at a rate of
>approximately 228 per minute. Towards the end of the operation, it
was
>only adding 10-40 entries per five-minute interval. As demonstrated
in
>the last column, the average rate dropped steadily as more entries
>existed.
>
>>From monitoring the slapd process, it seemed CPU bound as opposed to
IO
>bound. I have an equals index on the member attribute.
>
>Is this degradation in performance to be expected? Is there some
>further tuning I can do to make this more efficient? It is annoyingly
>slow and will take possibly an unacceptably long amount of time to
>initially create and maintain the population of some of the larger
>groups. it took over 21 hours just to populate this one group.
>
>Thanks...
>
>----
>set_cachesize 0 536870912 1
>
>set_lg_max 262144000
>
>set_lg_bsize 52428800
>
>set_lg_regionmax 52428800
>
>set_lg_dir /var/ldap
>
>set_lk_max_locks 10000
>
>set_lk_max_lockers 5000
>
>set_lk_max_objects 10000
>----
>
>Time	Total	Delta	Rate	Average
>5	1141	1141	228.2
>10	1792	651	130.2
>15	2033	241	48.2
>20	2424	391	78.2
>25	2730	306	61.2
>30	3046	316	63.2
>35	3328	282	56.4
>40	3579	251	50.2
>45	3684	105	21
>50	3746	62	12.4
>55	3944	198	39.6
>60	4167	223	44.6	69.45
>65	4381	214	42.8	54
>70	4560	179	35.8	46.13333333
>75	4724	164	32.8	44.85
>80	4860	136	27.2	40.6
>85	5024	164	32.8	38.23333333
>90	5086	62	12.4	34
>95	5188	102	20.4	31
>100	5342	154	30.8	29.38333333
>105	5474	132	26.4	29.83333333
>110	5598	124	24.8	30.86666667
>115	5725	127	25.4	29.68333333
>120	5777	52	10.4	26.83333333
>125	5844	67	13.4	24.38333333
>130	5949	105	21	23.15
>135	6076	127	25.4	22.53333333
>140	6214	138	27.6	22.56666667
>145	6310	96	19.2	21.43333333
>150	6374	64	12.8	21.46666667
>155	6492	118	23.6	21.73333333
>160	6618	126	25.2	21.26666667
>165	6706	88	17.6	20.53333333
>170	6799	93	18.6	20.01666667
>175	6911	112	22.4	19.76666667
>180	7025	114	22.8	20.8
>185	7130	105	21	21.43333333
>190	7233	103	20.6	21.4
>195	7343	110	22	21.11666667
>200	7403	60	12	19.81666667
>205	7446	43	8.6	18.93333333
>210	7502	56	11.2	18.8
>215	7559	57	11.4	17.78333333
>220	7661	102	20.4	17.38333333
>225	7793	132	26.4	18.11666667
>230	7878	85	17	17.98333333
>235	7973	95	19	17.7
>240	8061	88	17.6	17.26666667
>245	8159	98	19.6	17.15
>250	8250	91	18.2	16.95
>255	8325	75	15	16.36666667
>260	8420	95	19	16.95
>265	8476	56	11.2	17.16666667
>270	8525	49	9.8	17.05
>275	8560	35	7	16.68333333
>280	8635	75	15	16.23333333
>285	8736	101	20.2	15.71666667
>290	8781	45	9	15.05
>295	8880	99	19.8	15.11666667
>300	8980	100	20	15.31666667
>305	9045	65	13	14.76666667
>310	9126	81	16.2	14.6
>315	9209	83	16.6	14.73333333
>320	9290	81	16.2	14.5
>325	9379	89	17.8	15.05
>330	9417	38	7.6	14.86666667
>335	9502	85	17	15.7
>340	9599	97	19.4	16.06666667
>345	9688	89	17.8	15.86666667
>350	9729	41	8.2	15.8
>355	9818	89	17.8	15.63333333
>360	9882	64	12.8	15.03333333
>365	9938	56	11.2	14.88333333
>370	10010	72	14.4	14.73333333
>375	10092	82	16.4	14.71666667
>380	10135	43	8.6	14.08333333
>385	10208	73	14.6	13.81666667
>390	10276	68	13.6	14.31666667
>395	10363	87	17.4	14.35
>400	10445	82	16.4	14.1
>405	10567	122	24.4	14.65
>410	10649	82	16.4	15.33333333
>415	10733	84	16.8	15.25
>420	10768	35	7	14.76666667
>425	10818	50	10	14.66666667
>430	10885	67	13.4	14.58333333
>435	10960	75	15	14.46666667
>440	10988	28	5.6	14.21666667
>445	11058	70	14	14.16666667
>450	11111	53	10.6	13.91666667
>455	11185	74	14.8	13.7
>460	11261	76	15.2	13.6
>465	11340	79	15.8	12.88333333
>470	11416	76	15.2	12.78333333
>475	11492	76	15.2	12.65
>480	11570	78	15.6	13.36666667
>485	11646	76	15.2	13.8
>490	11703	57	11.4	13.63333333
>495	11778	75	15	13.63333333
>500	11853	75	15	14.41666667
>505	11926	73	14.6	14.46666667
>510	11999	73	14.6	14.8
>515	12049	50	10	14.4
>520	12123	74	14.8	14.36666667
>525	12196	73	14.6	14.26666667
>530	12251	55	11	13.91666667
>535	12296	45	9	13.4
>540	12355	59	11.8	13.08333333
>545	12428	73	14.6	13.03333333
>550	12495	67	13.4	13.2
>555	12564	69	13.8	13.1
>560	12632	68	13.6	12.98333333
>565	12701	69	13.8	12.91666667
>570	12768	67	13.4	12.81666667
>575	12835	67	13.4	13.1
>580	12902	67	13.4	12.98333333
>585	12968	66	13.2	12.86666667
>590	13034	66	13.2	13.05
>595	13098	64	12.8	13.36666667
>600	13162	64	12.8	13.45
>605	13227	65	13	13.31666667
>610	13290	63	12.6	13.25
>615	13347	57	11.4	13.05
>620	13402	55	11	12.83333333
>625	13444	42	8.4	12.38333333
>630	13487	43	8.6	11.98333333
>635	13533	46	9.2	11.63333333
>640	13577	44	8.8	11.25
>645	13617	40	8	10.81666667
>650	13678	61	12.2	10.73333333
>655	13740	62	12.4	10.7
>660	13802	62	12.4	10.66666667
>665	13863	61	12.2	10.6
>670	13924	61	12.2	10.56666667
>675	13984	60	12	10.61666667
>680	14044	60	12	10.7
>685	14103	59	11.8	10.98333333
>690	14162	59	11.8	11.25
>695	14221	59	11.8	11.46666667
>700	14280	59	11.8	11.71666667
>705	14338	58	11.6	12.01666667
>710	14396	58	11.6	11.96666667
>715	14454	58	11.6	11.9
>720	14511	57	11.4	11.81666667
>725	14569	58	11.6	11.76666667
>730	14626	57	11.4	11.7
>735	14681	55	11	11.61666667
>740	14737	56	11.2	11.55
>745	14791	54	10.8	11.46666667
>750	14845	54	10.8	11.38333333
>755	14900	55	11	11.31666667
>760	14953	53	10.6	11.21666667
>765	15007	54	10.8	11.15
>770	15061	54	10.8	11.08333333
>775	15115	54	10.8	11.01666667
>780	15169	54	10.8	10.96666667
>785	15223	54	10.8	10.9
>790	15275	52	10.4	10.81666667
>795	15328	53	10.6	10.78333333
>800	15381	53	10.6	10.73333333
>805	15433	52	10.4	10.7
>810	15485	52	10.4	10.66666667
>815	15538	53	10.6	10.63333333
>820	15585	47	9.4	10.53333333
>825	15635	50	10	10.46666667
>830	15686	51	10.2	10.41666667
>835	15737	51	10.2	10.36666667
>840	15789	52	10.4	10.33333333
>845	15840	51	10.2	10.28333333
>850	15889	49	9.8	10.23333333
>855	15937	48	9.6	10.15
>860	15987	50	10	10.1
>865	16036	49	9.8	10.05
>870	16086	50	10	10.01666667
>875	16135	49	9.8	9.95
>880	16185	50	10	10
>885	16234	49	9.8	9.983333333
>890	16282	48	9.6	9.933333333
>895	16316	34	6.8	9.65
>900	16352	36	7.2	9.383333333
>905	16400	48	9.6	9.333333333
>910	16447	47	9.4	9.3
>915	16492	45	9	9.25
>920	16517	25	5	8.833333333
>925	16563	46	9.2	8.783333333
>930	16606	43	8.6	8.666666667
>935	16659	53	10.6	8.733333333
>940	16699	40	8	8.566666667
>945	16745	46	9.2	8.516666667
>950	16790	45	9	8.466666667
>955	16845	55	11	8.816666667
>960	16896	51	10.2	9.066666667
>965	16930	34	6.8	8.833333333
>970	16981	51	10.2	8.9
>975	17025	44	8.8	8.883333333
>980	17080	55	11	9.383333333
>985	17133	53	10.6	9.5
>990	17185	52	10.4	9.65
>995	17204	19	3.8	9.083333333
>1000	17235	31	6.2	8.933333333
>1005	17261	26	5.2	8.6
>1010	17300	39	7.8	8.5
>1015	17331	31	6.2	8.1
>1020	17372	41	8.2	7.933333333
>1025	17413	41	8.2	8.05
>1030	17461	48	9.6	8
>1035	17481	20	4	7.6
>1040	17533	52	10.4	7.55
>1045	17565	32	6.4	7.2
>1050	17614	49	9.8	7.15
>1055	17661	47	9.4	7.616666667
>1060	17682	21	4.2	7.45
>1065	17734	52	10.4	7.883333333
>1070	17784	50	10	8.066666667
>1075	17828	44	8.8	8.283333333
>1080	17872	44	8.8	8.333333333
>1085	17919	47	9.4	8.433333333
>1090	17960	41	8.2	8.316666667
>1095	17986	26	5.2	8.416666667
>1100	18009	23	4.6	7.933333333
>1105	18055	46	9.2	8.166666667
>1110	18100	45	9	8.1
>1115	18146	46	9.2	8.083333333
>1120	18162	16	3.2	8
>1125	18184	22	4.4	7.5
>1130	18228	44	8.8	7.4
>1135	18240	12	2.4	6.866666667
>1140	18285	45	9	6.883333333
>1145	18319	34	6.8	6.666666667
>1150	18358	39	7.8	6.633333333
>1155	18397	39	7.8	6.85
>1160	18445	48	9.6	7.266666667
>1165	18492	47	9.4	7.283333333
>1170	18534	42	8.4	7.233333333
>1175	18571	37	7.4	7.083333333
>1180	18615	44	8.8	7.55
>1185	18663	48	9.6	7.983333333
>1190	18706	43	8.6	7.966666667
>1195	18735	29	5.8	8.25
>1200	18773	38	7.6	8.133333333
>1205	18812	39	7.8	8.216666667
>1210	18861	49	9.8	8.383333333
>1215	18906	45	9	8.483333333
>1220	18934	28	5.6	8.15
>1225	18980	46	9.2	8.133333333
>1230	19029	49	9.8	8.25
>1235	19073	44	 8.8	 8.366666667
>1240     19112	39	 7.8	8.283333333
>1245	19144	32	6.4	8.016666667
>1250	19160	16	3.2	7.566666667
>1255	19208	48	9.6	7.883333333
>1260	19234	26	5.2	7.683333333
>1265	19270	36	7.2	7.633333333
>1270	19317	47	9.4	7.6
>1275	19358	41	8.2	7.533333333
>1280	19404	46	9.2	7.833333333
>1285	19424	20	4	7.4
>1290	19459	35	7	7.166666667
>1295	19501	42	8.4	7.133333333
>1300	19534	33	6.6	7.033333333
>1305	19582	48	9.6	7.3
>1310	19622	40	8	7.7
>1315	19634	12	2.4	7.1
>
>
>
>-- 
>Paul B. Henson  |  (909) 979-6361  | 
http://www.csupomona.edu/~henson/
>Operating Systems and Network Analyst  |  henson@csupomona.edu
>California State Polytechnic University  |  Pomona CA 91768
>