[Date Prev][Date Next] [Chronological] [Thread] [Top]

RE: slow adds of member attribute in large groups

As I'm still learning OpenLDAP (as if that wasn't obvious from my previous emails:)) I was wondering what the set_* settings below are for and where they are set (apparently not slapd.conf).

James Courtney
InPhonic Inc.

-----Original Message-----
From: owner-openldap-software@OpenLDAP.org
[mailto:owner-openldap-software@OpenLDAP.org]On Behalf Of Paul B. Henson
Sent: Friday, October 03, 2003 1:47 PM
To: openldap-software@OpenLDAP.org
Subject: slow adds of member attribute in large groups



I'm working on implementing groups in our directory server. We have a
large number of groups, many with a large number of members. I've
noticed that when populating a large group it starts taking longer and
longer to add a member. For reference, I've included my current
DB_CONFIG. At the bottom of this message is a table containing
measurements from populating a group of almost 20,000 members. The
first column is elapsed time, then total number of members, number of
members added in the previous five minutes, rate per minute, and
finally rate per minute averaged over the last hour.

In the first five minutes, 1100 entries were added at a rate of
approximately 228 per minute. Towards the end of the operation, it was
only adding 10-40 entries per five-minute interval. As demonstrated in
the last column, the average rate dropped steadily as more entries
existed.

>From monitoring the slapd process, it seemed CPU bound as opposed to IO
bound. I have an equals index on the member attribute.

Is this degradation in performance to be expected? Is there some
further tuning I can do to make this more efficient? It is annoyingly
slow and will take possibly an unacceptably long amount of time to
initially create and maintain the population of some of the larger
groups. it took over 21 hours just to populate this one group.

Thanks...

----
set_cachesize 0 536870912 1

set_lg_max 262144000

set_lg_bsize 52428800

set_lg_regionmax 52428800

set_lg_dir /var/ldap

set_lk_max_locks 10000

set_lk_max_lockers 5000

set_lk_max_objects 10000
----

Time	Total	Delta	Rate	Average
5	1141	1141	228.2
10	1792	651	130.2
15	2033	241	48.2
20	2424	391	78.2
25	2730	306	61.2
30	3046	316	63.2
35	3328	282	56.4
40	3579	251	50.2
45	3684	105	21
50	3746	62	12.4
55	3944	198	39.6
60	4167	223	44.6	69.45
65	4381	214	42.8	54
70	4560	179	35.8	46.13333333
75	4724	164	32.8	44.85
80	4860	136	27.2	40.6
85	5024	164	32.8	38.23333333
90	5086	62	12.4	34
95	5188	102	20.4	31
100	5342	154	30.8	29.38333333
105	5474	132	26.4	29.83333333
110	5598	124	24.8	30.86666667
115	5725	127	25.4	29.68333333
120	5777	52	10.4	26.83333333
125	5844	67	13.4	24.38333333
130	5949	105	21	23.15
135	6076	127	25.4	22.53333333
140	6214	138	27.6	22.56666667
145	6310	96	19.2	21.43333333
150	6374	64	12.8	21.46666667
155	6492	118	23.6	21.73333333
160	6618	126	25.2	21.26666667
165	6706	88	17.6	20.53333333
170	6799	93	18.6	20.01666667
175	6911	112	22.4	19.76666667
180	7025	114	22.8	20.8
185	7130	105	21	21.43333333
190	7233	103	20.6	21.4
195	7343	110	22	21.11666667
200	7403	60	12	19.81666667
205	7446	43	8.6	18.93333333
210	7502	56	11.2	18.8
215	7559	57	11.4	17.78333333
220	7661	102	20.4	17.38333333
225	7793	132	26.4	18.11666667
230	7878	85	17	17.98333333
235	7973	95	19	17.7
240	8061	88	17.6	17.26666667
245	8159	98	19.6	17.15
250	8250	91	18.2	16.95
255	8325	75	15	16.36666667
260	8420	95	19	16.95
265	8476	56	11.2	17.16666667
270	8525	49	9.8	17.05
275	8560	35	7	16.68333333
280	8635	75	15	16.23333333
285	8736	101	20.2	15.71666667
290	8781	45	9	15.05
295	8880	99	19.8	15.11666667
300	8980	100	20	15.31666667
305	9045	65	13	14.76666667
310	9126	81	16.2	14.6
315	9209	83	16.6	14.73333333
320	9290	81	16.2	14.5
325	9379	89	17.8	15.05
330	9417	38	7.6	14.86666667
335	9502	85	17	15.7
340	9599	97	19.4	16.06666667
345	9688	89	17.8	15.86666667
350	9729	41	8.2	15.8
355	9818	89	17.8	15.63333333
360	9882	64	12.8	15.03333333
365	9938	56	11.2	14.88333333
370	10010	72	14.4	14.73333333
375	10092	82	16.4	14.71666667
380	10135	43	8.6	14.08333333
385	10208	73	14.6	13.81666667
390	10276	68	13.6	14.31666667
395	10363	87	17.4	14.35
400	10445	82	16.4	14.1
405	10567	122	24.4	14.65
410	10649	82	16.4	15.33333333
415	10733	84	16.8	15.25
420	10768	35	7	14.76666667
425	10818	50	10	14.66666667
430	10885	67	13.4	14.58333333
435	10960	75	15	14.46666667
440	10988	28	5.6	14.21666667
445	11058	70	14	14.16666667
450	11111	53	10.6	13.91666667
455	11185	74	14.8	13.7
460	11261	76	15.2	13.6
465	11340	79	15.8	12.88333333
470	11416	76	15.2	12.78333333
475	11492	76	15.2	12.65
480	11570	78	15.6	13.36666667
485	11646	76	15.2	13.8
490	11703	57	11.4	13.63333333
495	11778	75	15	13.63333333
500	11853	75	15	14.41666667
505	11926	73	14.6	14.46666667
510	11999	73	14.6	14.8
515	12049	50	10	14.4
520	12123	74	14.8	14.36666667
525	12196	73	14.6	14.26666667
530	12251	55	11	13.91666667
535	12296	45	9	13.4
540	12355	59	11.8	13.08333333
545	12428	73	14.6	13.03333333
550	12495	67	13.4	13.2
555	12564	69	13.8	13.1
560	12632	68	13.6	12.98333333
565	12701	69	13.8	12.91666667
570	12768	67	13.4	12.81666667
575	12835	67	13.4	13.1
580	12902	67	13.4	12.98333333
585	12968	66	13.2	12.86666667
590	13034	66	13.2	13.05
595	13098	64	12.8	13.36666667
600	13162	64	12.8	13.45
605	13227	65	13	13.31666667
610	13290	63	12.6	13.25
615	13347	57	11.4	13.05
620	13402	55	11	12.83333333
625	13444	42	8.4	12.38333333
630	13487	43	8.6	11.98333333
635	13533	46	9.2	11.63333333
640	13577	44	8.8	11.25
645	13617	40	8	10.81666667
650	13678	61	12.2	10.73333333
655	13740	62	12.4	10.7
660	13802	62	12.4	10.66666667
665	13863	61	12.2	10.6
670	13924	61	12.2	10.56666667
675	13984	60	12	10.61666667
680	14044	60	12	10.7
685	14103	59	11.8	10.98333333
690	14162	59	11.8	11.25
695	14221	59	11.8	11.46666667
700	14280	59	11.8	11.71666667
705	14338	58	11.6	12.01666667
710	14396	58	11.6	11.96666667
715	14454	58	11.6	11.9
720	14511	57	11.4	11.81666667
725	14569	58	11.6	11.76666667
730	14626	57	11.4	11.7
735	14681	55	11	11.61666667
740	14737	56	11.2	11.55
745	14791	54	10.8	11.46666667
750	14845	54	10.8	11.38333333
755	14900	55	11	11.31666667
760	14953	53	10.6	11.21666667
765	15007	54	10.8	11.15
770	15061	54	10.8	11.08333333
775	15115	54	10.8	11.01666667
780	15169	54	10.8	10.96666667
785	15223	54	10.8	10.9
790	15275	52	10.4	10.81666667
795	15328	53	10.6	10.78333333
800	15381	53	10.6	10.73333333
805	15433	52	10.4	10.7
810	15485	52	10.4	10.66666667
815	15538	53	10.6	10.63333333
820	15585	47	9.4	10.53333333
825	15635	50	10	10.46666667
830	15686	51	10.2	10.41666667
835	15737	51	10.2	10.36666667
840	15789	52	10.4	10.33333333
845	15840	51	10.2	10.28333333
850	15889	49	9.8	10.23333333
855	15937	48	9.6	10.15
860	15987	50	10	10.1
865	16036	49	9.8	10.05
870	16086	50	10	10.01666667
875	16135	49	9.8	9.95
880	16185	50	10	10
885	16234	49	9.8	9.983333333
890	16282	48	9.6	9.933333333
895	16316	34	6.8	9.65
900	16352	36	7.2	9.383333333
905	16400	48	9.6	9.333333333
910	16447	47	9.4	9.3
915	16492	45	9	9.25
920	16517	25	5	8.833333333
925	16563	46	9.2	8.783333333
930	16606	43	8.6	8.666666667
935	16659	53	10.6	8.733333333
940	16699	40	8	8.566666667
945	16745	46	9.2	8.516666667
950	16790	45	9	8.466666667
955	16845	55	11	8.816666667
960	16896	51	10.2	9.066666667
965	16930	34	6.8	8.833333333
970	16981	51	10.2	8.9
975	17025	44	8.8	8.883333333
980	17080	55	11	9.383333333
985	17133	53	10.6	9.5
990	17185	52	10.4	9.65
995	17204	19	3.8	9.083333333
1000	17235	31	6.2	8.933333333
1005	17261	26	5.2	8.6
1010	17300	39	7.8	8.5
1015	17331	31	6.2	8.1
1020	17372	41	8.2	7.933333333
1025	17413	41	8.2	8.05
1030	17461	48	9.6	8
1035	17481	20	4	7.6
1040	17533	52	10.4	7.55
1045	17565	32	6.4	7.2
1050	17614	49	9.8	7.15
1055	17661	47	9.4	7.616666667
1060	17682	21	4.2	7.45
1065	17734	52	10.4	7.883333333
1070	17784	50	10	8.066666667
1075	17828	44	8.8	8.283333333
1080	17872	44	8.8	8.333333333
1085	17919	47	9.4	8.433333333
1090	17960	41	8.2	8.316666667
1095	17986	26	5.2	8.416666667
1100	18009	23	4.6	7.933333333
1105	18055	46	9.2	8.166666667
1110	18100	45	9	8.1
1115	18146	46	9.2	8.083333333
1120	18162	16	3.2	8
1125	18184	22	4.4	7.5
1130	18228	44	8.8	7.4
1135	18240	12	2.4	6.866666667
1140	18285	45	9	6.883333333
1145	18319	34	6.8	6.666666667
1150	18358	39	7.8	6.633333333
1155	18397	39	7.8	6.85
1160	18445	48	9.6	7.266666667
1165	18492	47	9.4	7.283333333
1170	18534	42	8.4	7.233333333
1175	18571	37	7.4	7.083333333
1180	18615	44	8.8	7.55
1185	18663	48	9.6	7.983333333
1190	18706	43	8.6	7.966666667
1195	18735	29	5.8	8.25
1200	18773	38	7.6	8.133333333
1205	18812	39	7.8	8.216666667
1210	18861	49	9.8	8.383333333
1215	18906	45	9	8.483333333
1220	18934	28	5.6	8.15
1225	18980	46	9.2	8.133333333
1230	19029	49	9.8	8.25
1235	19073	44	 8.8	 8.366666667
1240     19112	39	 7.8	8.283333333
1245	19144	32	6.4	8.016666667
1250	19160	16	3.2	7.566666667
1255	19208	48	9.6	7.883333333
1260	19234	26	5.2	7.683333333
1265	19270	36	7.2	7.633333333
1270	19317	47	9.4	7.6
1275	19358	41	8.2	7.533333333
1280	19404	46	9.2	7.833333333
1285	19424	20	4	7.4
1290	19459	35	7	7.166666667
1295	19501	42	8.4	7.133333333
1300	19534	33	6.6	7.033333333
1305	19582	48	9.6	7.3
1310	19622	40	8	7.7
1315	19634	12	2.4	7.1



-- 
Paul B. Henson  |  (909) 979-6361  |  http://www.csupomona.edu/~henson/
Operating Systems and Network Analyst  |  henson@csupomona.edu
California State Polytechnic University  |  Pomona CA 91768