Diff for /servers/slapd/overlays/syncprov.c between versions 1.147.2.67 and 1.290

version 1.147.2.67, 2009/11/21 18:16:58 version 1.290, 2009/11/10 18:02:33
Line 1 Line 1
 /* $OpenLDAP$ */  /* $OpenLDAP: pkg/ldap/servers/slapd/overlays/syncprov.c,v 1.289 2009/10/29 22:46:10 hyc Exp $ */
 /* syncprov.c - syncrepl provider */  /* syncprov.c - syncrepl provider */
 /* This work is part of OpenLDAP Software <http://www.openldap.org/>.  /* This work is part of OpenLDAP Software <http://www.openldap.org/>.
  *   *
Line 124  typedef struct sessionlog { Line 124  typedef struct sessionlog {
 typedef struct syncprov_info_t {  typedef struct syncprov_info_t {
         syncops         *si_ops;          syncops         *si_ops;
         BerVarray       si_ctxcsn;      /* ldapsync context */          BerVarray       si_ctxcsn;      /* ldapsync context */
         struct berval   si_contextdn;  
         int             *si_sids;          int             *si_sids;
         int             si_numcsns;          int             si_numcsns;
         int             si_chkops;      /* checkpointing info */          int             si_chkops;      /* checkpointing info */
Line 584  syncprov_findcsn( Operation *op, find_cs Line 583  syncprov_findcsn( Operation *op, find_cs
         slap_callback cb = {0};          slap_callback cb = {0};
         Operation fop;          Operation fop;
         SlapReply frs = { REP_RESULT };          SlapReply frs = { REP_RESULT };
         char buf[LDAP_LUTIL_CSNSTR_BUFSIZE + STRLENOF("(entryCSN<=)")];          char buf[LDAP_PVT_CSNSTR_BUFSIZE + STRLENOF("(entryCSN<=)")];
         char cbuf[LDAP_LUTIL_CSNSTR_BUFSIZE];          char cbuf[LDAP_PVT_CSNSTR_BUFSIZE];
         struct berval maxcsn;          struct berval maxcsn;
         Filter cf;          Filter cf;
         AttributeAssertion eq = ATTRIBUTEASSERTION_INIT;          AttributeAssertion eq = ATTRIBUTEASSERTION_INIT;
Line 792  syncprov_sendresp( Operation *op, opcook Line 791  syncprov_sendresp( Operation *op, opcook
         }          }
   
 #ifdef LDAP_DEBUG  #ifdef LDAP_DEBUG
         if ( so->s_sid > 0 ) {          if ( !BER_BVISNULL( &cookie )) {
                 Debug( LDAP_DEBUG_SYNC, "syncprov_sendresp: to=%03x, cookie=%s\n",                  if ( so->s_sid > 0 ) {
                         so->s_sid, cookie.bv_val ? cookie.bv_val : "", 0 );                          Debug( LDAP_DEBUG_SYNC, "syncprov_sendresp: to=%03x, cookie=%s\n",
         } else {                                  so->s_sid, cookie.bv_val , 0 );
                 Debug( LDAP_DEBUG_SYNC, "syncprov_sendresp: cookie=%s\n",                  } else {
                         cookie.bv_val ? cookie.bv_val : "", 0, 0 );                          Debug( LDAP_DEBUG_SYNC, "syncprov_sendresp: cookie=%s\n",
         }                                  cookie.bv_val, 0, 0 );
                   }
           }               
 #endif  #endif
   
         e_uuid.e_attrs = &a_uuid;          e_uuid.e_attrs = &a_uuid;
Line 853  syncprov_sendresp( Operation *op, opcook Line 854  syncprov_sendresp( Operation *op, opcook
         }          }
         /* In case someone else freed it already? */          /* In case someone else freed it already? */
         if ( rs.sr_ctrls ) {          if ( rs.sr_ctrls ) {
                 int i;                  op->o_tmpfree( rs.sr_ctrls[0], op->o_tmpmemctx );
                 for ( i=0; rs.sr_ctrls[i]; i++ ) {  
                         if ( rs.sr_ctrls[i] == ctrls[0] ) {  
                                 op->o_tmpfree( ctrls[0]->ldctl_value.bv_val, op->o_tmpmemctx );  
                                 ctrls[0]->ldctl_value.bv_val = NULL;  
                                 break;  
                         }  
                 }  
                 rs.sr_ctrls = NULL;                  rs.sr_ctrls = NULL;
         }          }
   
Line 1196  syncprov_matchops( Operation *op, opcook Line 1190  syncprov_matchops( Operation *op, opcook
                 if ( ss->s_op->o_abandon )                  if ( ss->s_op->o_abandon )
                         continue;                          continue;
   
                 /* Don't send ops back to the originator */                  /* First time thru, check for possible skips */
                 if ( opc->osid > 0 && opc->osid == ss->s_sid ) {                  if ( saveit || op->o_tag == LDAP_REQ_ADD ) {
                         Debug( LDAP_DEBUG_SYNC, "syncprov_matchops: skipping original sid %03x\n",  
                                 opc->osid, 0, 0 );  
                         continue;  
                 }  
   
                 /* Don't send ops back to the messenger */                          /* Don't send ops back to the originator */
                 if ( opc->rsid > 0 && opc->rsid == ss->s_sid ) {                          if ( opc->osid > 0 && opc->osid == ss->s_sid ) {
                         Debug( LDAP_DEBUG_SYNC, "syncprov_matchops: skipping relayed sid %03x\n",                                  Debug( LDAP_DEBUG_SYNC, "syncprov_matchops: skipping original sid %03x\n",
                                 opc->rsid, 0, 0 );                                          opc->osid, 0, 0 );
                         continue;                                  continue;
                           }
   
                           /* Don't send ops back to the messenger */
                           if ( opc->rsid > 0 && opc->rsid == ss->s_sid ) {
                                   Debug( LDAP_DEBUG_SYNC, "syncprov_matchops: skipping relayed sid %03x\n",
                                           opc->rsid, 0, 0 );
                                   continue;
                           }
                 }                  }
   
                 /* validate base */                  /* validate base */
Line 1363  syncprov_checkpoint( Operation *op, Slap Line 1361  syncprov_checkpoint( Operation *op, Slap
         SlapReply rsm = { 0 };          SlapReply rsm = { 0 };
         slap_callback cb = {0};          slap_callback cb = {0};
         BackendDB be;          BackendDB be;
   
 #ifdef CHECK_CSN  #ifdef CHECK_CSN
         Syntax *syn = slap_schema.si_ad_contextCSN->ad_type->sat_syntax;          Syntax *syn = slap_schema.si_ad_contextCSN->ad_type->sat_syntax;
   
Line 1390  syncprov_checkpoint( Operation *op, Slap Line 1387  syncprov_checkpoint( Operation *op, Slap
                 be = *on->on_info->oi_origdb;                  be = *on->on_info->oi_origdb;
                 opm.o_bd = &be;                  opm.o_bd = &be;
         }          }
         opm.o_req_dn = si->si_contextdn;          opm.o_req_dn = opm.o_bd->be_suffix[0];
         opm.o_req_ndn = si->si_contextdn;          opm.o_req_ndn = opm.o_bd->be_nsuffix[0];
         opm.o_bd->bd_info = on->on_info->oi_orig;          opm.o_bd->bd_info = on->on_info->oi_orig;
         opm.o_managedsait = SLAP_CONTROL_NONCRITICAL;          opm.o_managedsait = SLAP_CONTROL_NONCRITICAL;
         opm.o_no_schema_check = 1;          opm.o_no_schema_check = 1;
         opm.o_bd->be_modify( &opm, &rsm );          opm.o_bd->be_modify( &opm, &rsm );
   
         if ( rsm.sr_err == LDAP_NO_SUCH_OBJECT &&  
                 SLAP_SYNC_SUBENTRY( opm.o_bd )) {  
                 const char      *text;  
                 char txtbuf[SLAP_TEXT_BUFLEN];  
                 size_t textlen = sizeof txtbuf;  
                 Entry *e = slap_create_context_csn_entry( opm.o_bd, NULL );  
                 slap_mods2entry( &mod, &e, 0, 1, &text, txtbuf, textlen);  
                 opm.ora_e = e;  
                 opm.o_bd->be_add( &opm, &rsm );  
                 if ( e == opm.ora_e )  
                         be_entry_release_w( &opm, opm.ora_e );  
         }  
   
         if ( mod.sml_next != NULL ) {          if ( mod.sml_next != NULL ) {
                 slap_mods_free( mod.sml_next, 1 );                  slap_mods_free( mod.sml_next, 1 );
         }          }
Line 1485  syncprov_playlog( Operation *op, SlapRep Line 1468  syncprov_playlog( Operation *op, SlapRep
         slap_overinst           *on = (slap_overinst *)op->o_bd->bd_info;          slap_overinst           *on = (slap_overinst *)op->o_bd->bd_info;
         slog_entry *se;          slog_entry *se;
         int i, j, ndel, num, nmods, mmods;          int i, j, ndel, num, nmods, mmods;
         char cbuf[LDAP_LUTIL_CSNSTR_BUFSIZE];          char cbuf[LDAP_PVT_CSNSTR_BUFSIZE];
         BerVarray uuids;          BerVarray uuids;
         struct berval delcsn[2];          struct berval delcsn[2];
   
Line 1660  syncprov_op_response( Operation *op, Sla Line 1643  syncprov_op_response( Operation *op, Sla
         if ( rs->sr_err == LDAP_SUCCESS )          if ( rs->sr_err == LDAP_SUCCESS )
         {          {
                 struct berval maxcsn;                  struct berval maxcsn;
                 char cbuf[LDAP_LUTIL_CSNSTR_BUFSIZE];                  char cbuf[LDAP_PVT_CSNSTR_BUFSIZE];
                 int do_check = 0, have_psearches, foundit, csn_changed = 0;                  int do_check = 0, have_psearches, foundit, csn_changed = 0;
   
                 ldap_pvt_thread_mutex_lock( &si->si_resp_mutex );                  ldap_pvt_thread_mutex_lock( &si->si_resp_mutex );
Line 1671  syncprov_op_response( Operation *op, Sla Line 1654  syncprov_op_response( Operation *op, Sla
                 maxcsn.bv_len = sizeof(cbuf);                  maxcsn.bv_len = sizeof(cbuf);
                 ldap_pvt_thread_rdwr_wlock( &si->si_csn_rwlock );                  ldap_pvt_thread_rdwr_wlock( &si->si_csn_rwlock );
   
                 slap_get_commit_csn( op, &maxcsn, &foundit );                  if ( op->o_dont_replicate && op->o_tag == LDAP_REQ_MODIFY &&
                 if ( BER_BVISEMPTY( &maxcsn ) && SLAP_GLUE_SUBORDINATE( op->o_bd )) {  
                         /* syncrepl queues the CSN values in the db where  
                          * it is configured , not where the changes are made.  
                          * So look for a value in the glue db if we didn't  
                          * find any in this db.  
                          */  
                         BackendDB *be = op->o_bd;  
                         op->o_bd = select_backend( &be->be_nsuffix[0], 1);  
                         maxcsn.bv_val = cbuf;  
                         maxcsn.bv_len = sizeof(cbuf);  
                         slap_get_commit_csn( op, &maxcsn, &foundit );  
                         op->o_bd = be;  
                 }  
                 if ( !BER_BVISEMPTY( &maxcsn ) ) {  
                         int i, sid;  
 #ifdef CHECK_CSN  
                         Syntax *syn = slap_schema.si_ad_contextCSN->ad_type->sat_syntax;  
                         assert( !syn->ssyn_validate( syn, &maxcsn ));  
 #endif  
                         sid = slap_parse_csn_sid( &maxcsn );  
                         for ( i=0; i<si->si_numcsns; i++ ) {  
                                 if ( sid == si->si_sids[i] ) {  
                                         if ( ber_bvcmp( &maxcsn, &si->si_ctxcsn[i] ) > 0 ) {  
                                                 ber_bvreplace( &si->si_ctxcsn[i], &maxcsn );  
                                                 csn_changed = 1;  
                                         }  
                                         break;  
                                 }  
                         }  
                         /* It's a new SID for us */  
                         if ( i == si->si_numcsns ) {  
                                 value_add_one( &si->si_ctxcsn, &maxcsn );  
                                 csn_changed = 1;  
                                 si->si_numcsns++;  
                                 si->si_sids = ch_realloc( si->si_sids, si->si_numcsns *  
                                         sizeof(int));  
                                 si->si_sids[i] = sid;  
                         }  
                 }  
   
                 /* Don't do any processing for consumer contextCSN updates */  
                 if ( op->o_dont_replicate ) {  
                         if ( op->o_tag == LDAP_REQ_MODIFY &&  
                                 op->orm_modlist->sml_op == LDAP_MOD_REPLACE &&                                  op->orm_modlist->sml_op == LDAP_MOD_REPLACE &&
                                 op->orm_modlist->sml_desc == slap_schema.si_ad_contextCSN ) {                                  op->orm_modlist->sml_desc == slap_schema.si_ad_contextCSN ) {
                         /* Catch contextCSN updates from syncrepl. We have to look at                          /* Catch contextCSN updates from syncrepl. We have to look at
Line 1726  syncprov_op_response( Operation *op, Sla Line 1666  syncprov_op_response( Operation *op, Sla
   
                         for ( i=0; i<mod->sml_numvals; i++ ) {                          for ( i=0; i<mod->sml_numvals; i++ ) {
                                 sid = slap_parse_csn_sid( &mod->sml_values[i] );                                  sid = slap_parse_csn_sid( &mod->sml_values[i] );
   
                                 for ( j=0; j<si->si_numcsns; j++ ) {                                  for ( j=0; j<si->si_numcsns; j++ ) {
                                         if ( sid == si->si_sids[j] ) {                                          if ( sid == si->si_sids[j] ) {
                                                 if ( ber_bvcmp( &mod->sml_values[i], &si->si_ctxcsn[j] ) > 0 ) {                                                  if ( ber_bvcmp( &mod->sml_values[i], &si->si_ctxcsn[j] ) > 0 ) {
Line 1760  syncprov_op_response( Operation *op, Sla Line 1701  syncprov_op_response( Operation *op, Sla
                                         }                                          }
                                 }                                  }
                         }                          }
                         } else {                          goto leave;
                         ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );                  }
   
                   slap_get_commit_csn( op, &maxcsn, &foundit );
                   if ( BER_BVISEMPTY( &maxcsn ) && SLAP_GLUE_SUBORDINATE( op->o_bd )) {
                           /* syncrepl queues the CSN values in the db where
                            * it is configured , not where the changes are made.
                            * So look for a value in the glue db if we didn't
                            * find any in this db.
                            */
                           BackendDB *be = op->o_bd;
                           op->o_bd = select_backend( &be->be_nsuffix[0], 1);
                           maxcsn.bv_val = cbuf;
                           maxcsn.bv_len = sizeof(cbuf);
                           slap_get_commit_csn( op, &maxcsn, &foundit );
                           op->o_bd = be;
                   }
                   if ( !BER_BVISEMPTY( &maxcsn ) ) {
                           int i, sid;
   #ifdef CHECK_CSN
                           Syntax *syn = slap_schema.si_ad_contextCSN->ad_type->sat_syntax;
                           assert( !syn->ssyn_validate( syn, &maxcsn ));
   #endif
                           sid = slap_parse_csn_sid( &maxcsn );
                           for ( i=0; i<si->si_numcsns; i++ ) {
                                   if ( sid == si->si_sids[i] ) {
                                           if ( ber_bvcmp( &maxcsn, &si->si_ctxcsn[i] ) > 0 ) {
                                                   ber_bvreplace( &si->si_ctxcsn[i], &maxcsn );
                                                   csn_changed = 1;
                                           }
                                           break;
                                   }
                         }                          }
                           /* It's a new SID for us */
                           if ( i == si->si_numcsns ) {
                                   value_add_one( &si->si_ctxcsn, &maxcsn );
                                   csn_changed = 1;
                                   si->si_numcsns++;
                                   si->si_sids = ch_realloc( si->si_sids, si->si_numcsns *
                                           sizeof(int));
                                   si->si_sids[i] = sid;
                           }
   #if 0
                   } else if ( !foundit ) {
                           /* internal ops that aren't meant to be replicated */
                           ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );
                           return SLAP_CB_CONTINUE;
   #endif
                   }
   
                   /* Don't do any processing for consumer contextCSN updates */
                   if ( op->o_dont_replicate ) {
                           ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );
                         goto leave;                          goto leave;
                 }                  }
   
Line 1772  syncprov_op_response( Operation *op, Sla Line 1763  syncprov_op_response( Operation *op, Sla
                          * it will deadlock                           * it will deadlock
                          */                           */
                         if ( op->o_tag != LDAP_REQ_ADD ||                          if ( op->o_tag != LDAP_REQ_ADD ||
                                 !dn_match( &op->o_req_ndn, &si->si_contextdn )) {                                  !dn_match( &op->o_req_ndn, &op->o_bd->be_nsuffix[0] )) {
                                 if ( si->si_chkops && si->si_numops >= si->si_chkops ) {                                  if ( si->si_chkops && si->si_numops >= si->si_chkops ) {
                                         do_check = 1;                                          do_check = 1;
                                         si->si_numops = 0;                                          si->si_numops = 0;
Line 1846  syncprov_op_compare( Operation *op, Slap Line 1837  syncprov_op_compare( Operation *op, Slap
         syncprov_info_t         *si = on->on_bi.bi_private;          syncprov_info_t         *si = on->on_bi.bi_private;
         int rc = SLAP_CB_CONTINUE;          int rc = SLAP_CB_CONTINUE;
   
         if ( dn_match( &op->o_req_ndn, &si->si_contextdn ) &&          if ( dn_match( &op->o_req_ndn, op->o_bd->be_nsuffix ) &&
                 op->oq_compare.rs_ava->aa_desc == slap_schema.si_ad_contextCSN )                  op->oq_compare.rs_ava->aa_desc == slap_schema.si_ad_contextCSN )
         {          {
                 Entry e = {0};                  Entry e = {0};
                 Attribute a = {0};                  Attribute a = {0};
   
                 e.e_name = si->si_contextdn;                  e.e_name = op->o_bd->be_suffix[0];
                 e.e_nname = si->si_contextdn;                  e.e_nname = op->o_bd->be_nsuffix[0];
                 e.e_attrs = &a;                  e.e_attrs = &a;
   
                 a.a_desc = slap_schema.si_ad_contextCSN;                  a.a_desc = slap_schema.si_ad_contextCSN;
Line 2592  syncprov_operational( Line 2583  syncprov_operational(
                 return SLAP_CB_CONTINUE;                  return SLAP_CB_CONTINUE;
   
         if ( rs->sr_entry &&          if ( rs->sr_entry &&
                 dn_match( &rs->sr_entry->e_nname, &si->si_contextdn )) {                  dn_match( &rs->sr_entry->e_nname, op->o_bd->be_nsuffix )) {
   
                 if ( SLAP_OPATTRS( rs->sr_attr_flags ) ||                  if ( SLAP_OPATTRS( rs->sr_attr_flags ) ||
                         ad_inlist( slap_schema.si_ad_contextCSN, rs->sr_attrs )) {                          ad_inlist( slap_schema.si_ad_contextCSN, rs->sr_attrs )) {
Line 2809  sp_cf_gen(ConfigArgs *c) Line 2800  sp_cf_gen(ConfigArgs *c)
                 }                  }
                 sl = si->si_logs;                  sl = si->si_logs;
                 if ( !sl ) {                  if ( !sl ) {
                         sl = ch_malloc( sizeof( sessionlog ) + LDAP_LUTIL_CSNSTR_BUFSIZE );                          sl = ch_malloc( sizeof( sessionlog ) + LDAP_PVT_CSNSTR_BUFSIZE );
                         sl->sl_mincsn.bv_val = (char *)(sl+1);                          sl->sl_mincsn.bv_val = (char *)(sl+1);
                         sl->sl_mincsn.bv_len = 0;                          sl->sl_mincsn.bv_len = 0;
                         sl->sl_num = 0;                          sl->sl_num = 0;
Line 2879  syncprov_db_open( Line 2870  syncprov_db_open(
         }          }
   
         thrctx = ldap_pvt_thread_pool_context();          thrctx = ldap_pvt_thread_pool_context();
         connection_fake_init2( &conn, &opbuf, thrctx, 0 );          connection_fake_init( &conn, &opbuf, thrctx );
         op = &opbuf.ob_op;          op = &opbuf.ob_op;
         op->o_bd = be;          op->o_bd = be;
         op->o_dn = be->be_rootdn;          op->o_dn = be->be_rootdn;
         op->o_ndn = be->be_rootndn;          op->o_ndn = be->be_rootndn;
   
         if ( SLAP_SYNC_SUBENTRY( be )) {          rc = overlay_entry_get_ov( op, be->be_nsuffix, NULL,
                 build_new_dn( &si->si_contextdn, be->be_nsuffix,  
                         (struct berval *)&slap_ldapsync_cn_bv, NULL );  
         } else {  
                 si->si_contextdn = be->be_nsuffix[0];  
         }  
         rc = overlay_entry_get_ov( op, &si->si_contextdn, NULL,  
                 slap_schema.si_ad_contextCSN, 0, &e, on );                  slap_schema.si_ad_contextCSN, 0, &e, on );
   
         if ( e ) {          if ( e ) {
Line 2915  syncprov_db_open( Line 2900  syncprov_db_open(
   
         /* Didn't find a contextCSN, should we generate one? */          /* Didn't find a contextCSN, should we generate one? */
         if ( !si->si_ctxcsn ) {          if ( !si->si_ctxcsn ) {
                 char csnbuf[ LDAP_LUTIL_CSNSTR_BUFSIZE ];                  char csnbuf[ LDAP_PVT_CSNSTR_BUFSIZE ];
                 struct berval csn;                  struct berval csn;
   
                 if ( SLAP_SYNC_SHADOW( op->o_bd )) {                  if ( SLAP_SYNC_SHADOW( op->o_bd )) {
Line 2964  syncprov_db_close( Line 2949  syncprov_db_close(
                 void *thrctx;                  void *thrctx;
   
                 thrctx = ldap_pvt_thread_pool_context();                  thrctx = ldap_pvt_thread_pool_context();
                 connection_fake_init2( &conn, &opbuf, thrctx, 0 );                  connection_fake_init( &conn, &opbuf, thrctx );
                 op = &opbuf.ob_op;                  op = &opbuf.ob_op;
                 op->o_bd = be;                  op->o_bd = be;
                 op->o_dn = be->be_rootdn;                  op->o_dn = be->be_rootdn;

Removed from v.1.147.2.67  
changed lines
  Added in v.1.290


______________
© Copyright 1998-2020, OpenLDAP Foundation, info@OpenLDAP.org