Diff for /servers/slapd/overlays/syncprov.c between versions 1.147.2.31 and 1.261

version 1.147.2.31, 2008/07/09 21:42:19 version 1.261, 2009/02/15 23:12:38
Line 1 Line 1
 /* $OpenLDAP: pkg/ldap/servers/slapd/overlays/syncprov.c,v 1.147.2.30 2008/07/08 20:33:51 quanah Exp $ */  /* $OpenLDAP: pkg/ldap/servers/slapd/overlays/syncprov.c,v 1.260 2009/02/15 22:21:28 hyc Exp $ */
 /* syncprov.c - syncrepl provider */  /* syncprov.c - syncrepl provider */
 /* This work is part of OpenLDAP Software <http://www.openldap.org/>.  /* This work is part of OpenLDAP Software <http://www.openldap.org/>.
  *   *
  * Copyright 2004-2008 The OpenLDAP Foundation.   * Copyright 2004-2009 The OpenLDAP Foundation.
  * All rights reserved.   * All rights reserved.
  *   *
  * Redistribution and use in source and binary forms, with or without   * Redistribution and use in source and binary forms, with or without
Line 28 Line 28
 #include "config.h"  #include "config.h"
 #include "ldap_rq.h"  #include "ldap_rq.h"
   
   #ifdef LDAP_DEVEL
   #define CHECK_CSN       1
   #endif
   
 /* A modify request on a particular entry */  /* A modify request on a particular entry */
 typedef struct modinst {  typedef struct modinst {
         struct modinst *mi_next;          struct modinst *mi_next;
Line 393  static struct berval generic_filterstr = Line 397  static struct berval generic_filterstr =
 static int  static int
 syncprov_findbase( Operation *op, fbase_cookie *fc )  syncprov_findbase( Operation *op, fbase_cookie *fc )
 {  {
         opcookie *opc = op->o_callback->sc_private;  
         slap_overinst *on = opc->son;  
   
         /* Use basic parameters from syncrepl search, but use          /* Use basic parameters from syncrepl search, but use
          * current op's threadctx / tmpmemctx           * current op's threadctx / tmpmemctx
          */           */
Line 630  again: Line 631  again:
                 cf.f_av_value = si->si_ctxcsn[maxid];                  cf.f_av_value = si->si_ctxcsn[maxid];
                 fop.ors_filterstr.bv_len = snprintf( buf, sizeof( buf ),                  fop.ors_filterstr.bv_len = snprintf( buf, sizeof( buf ),
                         "(entryCSN>=%s)", cf.f_av_value.bv_val );                          "(entryCSN>=%s)", cf.f_av_value.bv_val );
                 if ( fop.ors_filterstr.bv_len < 0 || fop.ors_filterstr.bv_len >= sizeof( buf ) ) {                  if ( fop.ors_filterstr.bv_len >= sizeof( buf ) ) {
                         return LDAP_OTHER;                          return LDAP_OTHER;
                 }                  }
                 fop.ors_attrsonly = 0;                  fop.ors_attrsonly = 0;
Line 667  again: Line 668  again:
                         fop.ors_filterstr.bv_len = snprintf( buf, sizeof( buf ),                          fop.ors_filterstr.bv_len = snprintf( buf, sizeof( buf ),
                                 "(entryCSN<=%s)", cf.f_av_value.bv_val );                                  "(entryCSN<=%s)", cf.f_av_value.bv_val );
                 }                  }
                 if ( fop.ors_filterstr.bv_len < 0 || fop.ors_filterstr.bv_len >= sizeof( buf ) ) {                  if ( fop.ors_filterstr.bv_len >= sizeof( buf ) ) {
                         return LDAP_OTHER;                          return LDAP_OTHER;
                 }                  }
                 fop.ors_attrsonly = 1;                  fop.ors_attrsonly = 1;
Line 707  again: Line 708  again:
         switch( mode ) {          switch( mode ) {
         case FIND_MAXCSN:          case FIND_MAXCSN:
                 if ( ber_bvcmp( &si->si_ctxcsn[maxid], &maxcsn )) {                  if ( ber_bvcmp( &si->si_ctxcsn[maxid], &maxcsn )) {
   #ifdef CHECK_CSN
                           Syntax *syn = slap_schema.si_ad_contextCSN->ad_type->sat_syntax;
                           assert( !syn->ssyn_validate( syn, &maxcsn ));
   #endif
                         ber_bvreplace( &si->si_ctxcsn[maxid], &maxcsn );                          ber_bvreplace( &si->si_ctxcsn[maxid], &maxcsn );
                         si->si_numops++;        /* ensure a checkpoint */                          si->si_numops++;        /* ensure a checkpoint */
                 }                  }
Line 803  syncprov_sendresp( Operation *op, opcook Line 808  syncprov_sendresp( Operation *op, opcook
                 rs.sr_entry = *e;                  rs.sr_entry = *e;
                 if ( rs.sr_entry->e_private )                  if ( rs.sr_entry->e_private )
                         rs.sr_flags = REP_ENTRY_MUSTRELEASE;                          rs.sr_flags = REP_ENTRY_MUSTRELEASE;
                 if ( opc->sreference ) {                  if ( opc->sreference && so->s_op->o_managedsait <= SLAP_CONTROL_IGNORED ) {
                         rs.sr_ref = get_entry_referrals( op, rs.sr_entry );                          rs.sr_ref = get_entry_referrals( op, rs.sr_entry );
                         rs.sr_err = send_search_reference( op, &rs );                          rs.sr_err = send_search_reference( op, &rs );
                         ber_bvarray_free( rs.sr_ref );                          ber_bvarray_free( rs.sr_ref );
Line 826  syncprov_sendresp( Operation *op, opcook Line 831  syncprov_sendresp( Operation *op, opcook
                 e_uuid.e_name = opc->sdn;                  e_uuid.e_name = opc->sdn;
                 e_uuid.e_nname = opc->sndn;                  e_uuid.e_nname = opc->sndn;
                 rs.sr_entry = &e_uuid;                  rs.sr_entry = &e_uuid;
                 if ( opc->sreference ) {                  if ( opc->sreference && so->s_op->o_managedsait <= SLAP_CONTROL_IGNORED ) {
                         struct berval bv = BER_BVNULL;                          struct berval bv = BER_BVNULL;
                         rs.sr_ref = &bv;                          rs.sr_ref = &bv;
                         rs.sr_err = send_search_reference( op, &rs );                          rs.sr_err = send_search_reference( op, &rs );
Line 911  syncprov_qplay( Operation *op, struct re Line 916  syncprov_qplay( Operation *op, struct re
         } else {          } else {
                 /* bail out on any error */                  /* bail out on any error */
                 ldap_pvt_runqueue_remove( &slapd_rq, rtask );                  ldap_pvt_runqueue_remove( &slapd_rq, rtask );
   
                   /* Prevent duplicate remove */
                   if ( so->s_qtask == rtask )
                           so->s_qtask = NULL;
         }          }
         ldap_pvt_thread_mutex_unlock( &slapd_rq.rq_mutex );          ldap_pvt_thread_mutex_unlock( &slapd_rq.rq_mutex );
         ldap_pvt_thread_mutex_unlock( &so->s_mutex );          ldap_pvt_thread_mutex_unlock( &so->s_mutex );
Line 1258  syncprov_matchops( Operation *op, opcook Line 1267  syncprov_matchops( Operation *op, opcook
                         /* send DELETE */                          /* send DELETE */
                         syncprov_qresp( opc, ss, LDAP_SYNC_DELETE );                          syncprov_qresp( opc, ss, LDAP_SYNC_DELETE );
                 }                  }
                   if ( !saveit && found ) {
                           /* Decrement s_inuse, was incremented when called
                            * with saveit == TRUE
                            */
                           syncprov_free_syncop( ss );
                   }
         }          }
         ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );          ldap_pvt_thread_mutex_unlock( &si->si_ops_mutex );
   
Line 1332  syncprov_checkpoint( Operation *op, Slap Line 1347  syncprov_checkpoint( Operation *op, Slap
         SlapReply rsm = { 0 };          SlapReply rsm = { 0 };
         slap_callback cb = {0};          slap_callback cb = {0};
         BackendDB be;          BackendDB be;
   #ifdef CHECK_CSN
           Syntax *syn = slap_schema.si_ad_contextCSN->ad_type->sat_syntax;
   
           int i;
           for ( i=0; i<si->si_numcsns; i++ ) {
                   assert( !syn->ssyn_validate( syn, si->si_ctxcsn+i ));
           }
   #endif
         mod.sml_numvals = si->si_numcsns;          mod.sml_numvals = si->si_numcsns;
         mod.sml_values = si->si_ctxcsn;          mod.sml_values = si->si_ctxcsn;
         mod.sml_nvalues = NULL;          mod.sml_nvalues = NULL;
         mod.sml_desc = slap_schema.si_ad_contextCSN;          mod.sml_desc = slap_schema.si_ad_contextCSN;
         mod.sml_op = LDAP_MOD_REPLACE;          mod.sml_op = LDAP_MOD_REPLACE;
         mod.sml_flags = 0;          mod.sml_flags = SLAP_MOD_INTERNAL;
         mod.sml_next = NULL;          mod.sml_next = NULL;
   
         cb.sc_response = slap_null_cb;          cb.sc_response = slap_null_cb;
Line 1360  syncprov_checkpoint( Operation *op, Slap Line 1382  syncprov_checkpoint( Operation *op, Slap
         if ( mod.sml_next != NULL ) {          if ( mod.sml_next != NULL ) {
                 slap_mods_free( mod.sml_next, 1 );                  slap_mods_free( mod.sml_next, 1 );
         }          }
   #ifdef CHECK_CSN
           for ( i=0; i<si->si_numcsns; i++ ) {
                   assert( !syn->ssyn_validate( syn, si->si_ctxcsn+i ));
           }
   #endif
 }  }
   
 static void  static void
Line 1577  syncprov_playlog( Operation *op, SlapRep Line 1604  syncprov_playlog( Operation *op, SlapRep
                 if ( delcsn[0].bv_len ) {                  if ( delcsn[0].bv_len ) {
                         slap_compose_sync_cookie( op, &cookie, delcsn, srs->sr_state.rid,                          slap_compose_sync_cookie( op, &cookie, delcsn, srs->sr_state.rid,
                                 srs->sr_state.sid );                                  srs->sr_state.sid );
                 }  
   
                 Debug( LDAP_DEBUG_SYNC, "syncprov_playlog: cookie=%s\n", cookie.bv_val, 0, 0 );                          Debug( LDAP_DEBUG_SYNC, "syncprov_playlog: cookie=%s\n", cookie.bv_val, 0, 0 );
                   }
   
                 uuids[ndel].bv_val = NULL;                  uuids[ndel].bv_val = NULL;
                 syncprov_sendinfo( op, rs, LDAP_TAG_SYNC_ID_SET,                  syncprov_sendinfo( op, rs, LDAP_TAG_SYNC_ID_SET,
                         delcsn[0].bv_len ? &cookie : NULL, 0, uuids, 1 );                          delcsn[0].bv_len ? &cookie : NULL, 0, uuids, 1 );
                 op->o_tmpfree( cookie.bv_val, op->o_tmpmemctx );                  if ( delcsn[0].bv_len ) {
                           op->o_tmpfree( cookie.bv_val, op->o_tmpmemctx );
                   }
         }          }
         op->o_tmpfree( uuids, op->o_tmpmemctx );          op->o_tmpfree( uuids, op->o_tmpmemctx );
 }  }
Line 1599  syncprov_op_response( Operation *op, Sla Line 1628  syncprov_op_response( Operation *op, Sla
   
         if ( rs->sr_err == LDAP_SUCCESS )          if ( rs->sr_err == LDAP_SUCCESS )
         {          {
                 struct berval maxcsn = BER_BVNULL;                  struct berval maxcsn;
                 char cbuf[LDAP_LUTIL_CSNSTR_BUFSIZE];                  char cbuf[LDAP_LUTIL_CSNSTR_BUFSIZE];
                 int do_check = 0, have_psearches;                  int do_check = 0, have_psearches, foundit;
   
                 /* Update our context CSN */                  /* Update our context CSN */
                 cbuf[0] = '\0';                  cbuf[0] = '\0';
                   maxcsn.bv_val = cbuf;
                   maxcsn.bv_len = sizeof(cbuf);
                 ldap_pvt_thread_rdwr_wlock( &si->si_csn_rwlock );                  ldap_pvt_thread_rdwr_wlock( &si->si_csn_rwlock );
                 slap_get_commit_csn( op, &maxcsn );                  slap_get_commit_csn( op, &maxcsn, &foundit );
                 if ( BER_BVISNULL( &maxcsn ) && SLAP_GLUE_SUBORDINATE( op->o_bd )) {                  if ( BER_BVISEMPTY( &maxcsn ) && SLAP_GLUE_SUBORDINATE( op->o_bd )) {
                         /* syncrepl queues the CSN values in the db where                          /* syncrepl queues the CSN values in the db where
                          * it is configured , not where the changes are made.                           * it is configured , not where the changes are made.
                          * So look for a value in the glue db if we didn't                           * So look for a value in the glue db if we didn't
Line 1615  syncprov_op_response( Operation *op, Sla Line 1646  syncprov_op_response( Operation *op, Sla
                          */                           */
                         BackendDB *be = op->o_bd;                          BackendDB *be = op->o_bd;
                         op->o_bd = select_backend( &be->be_nsuffix[0], 1);                          op->o_bd = select_backend( &be->be_nsuffix[0], 1);
                         slap_get_commit_csn( op, &maxcsn );                          maxcsn.bv_val = cbuf;
                           maxcsn.bv_len = sizeof(cbuf);
                           slap_get_commit_csn( op, &maxcsn, &foundit );
                         op->o_bd = be;                          op->o_bd = be;
                 }                  }
                 if ( !BER_BVISNULL( &maxcsn ) ) {                  if ( !BER_BVISEMPTY( &maxcsn ) ) {
                         int i, sid;                          int i, sid;
                         strcpy( cbuf, maxcsn.bv_val );  #ifdef CHECK_CSN
                           Syntax *syn = slap_schema.si_ad_contextCSN->ad_type->sat_syntax;
                           assert( !syn->ssyn_validate( syn, &maxcsn ));
   #endif
                         sid = slap_parse_csn_sid( &maxcsn );                          sid = slap_parse_csn_sid( &maxcsn );
                         for ( i=0; i<si->si_numcsns; i++ ) {                          for ( i=0; i<si->si_numcsns; i++ ) {
                                 if ( sid == si->si_sids[i] ) {                                  if ( sid == si->si_sids[i] ) {
Line 1638  syncprov_op_response( Operation *op, Sla Line 1674  syncprov_op_response( Operation *op, Sla
                                         sizeof(int));                                          sizeof(int));
                                 si->si_sids[i] = sid;                                  si->si_sids[i] = sid;
                         }                          }
                 } else {                  } else if ( !foundit ) {
                         /* internal ops that aren't meant to be replicated */                          /* internal ops that aren't meant to be replicated */
                         ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );                          ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );
                         return SLAP_CB_CONTINUE;                          return SLAP_CB_CONTINUE;
                 }                  }
   
                 /* Don't do any processing for consumer contextCSN updates */                  /* Don't do any processing for consumer contextCSN updates */
                 if ( SLAP_SYNC_SHADOW( op->o_bd ) &&                   if ( op->o_dont_replicate ) {
                         op->o_msgid == SLAP_SYNC_UPDATE_MSGID ) {  
                         ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );                          ldap_pvt_thread_rdwr_wunlock( &si->si_csn_rwlock );
                         return SLAP_CB_CONTINUE;                          return SLAP_CB_CONTINUE;
                 }                  }
Line 1675  syncprov_op_response( Operation *op, Sla Line 1710  syncprov_op_response( Operation *op, Sla
                         ldap_pvt_thread_rdwr_runlock( &si->si_csn_rwlock );                          ldap_pvt_thread_rdwr_runlock( &si->si_csn_rwlock );
                 }                  }
   
                 opc->sctxcsn.bv_len = maxcsn.bv_len;                  /* only update consumer ctx if this is the greatest csn */
                 opc->sctxcsn.bv_val = cbuf;                  if ( bvmatch( &maxcsn, &op->o_csn )) {
                           opc->sctxcsn = maxcsn;
                   }
   
                 /* Handle any persistent searches */                  /* Handle any persistent searches */
                 ldap_pvt_thread_mutex_lock( &si->si_ops_mutex );                  ldap_pvt_thread_mutex_lock( &si->si_ops_mutex );
Line 1739  syncprov_op_compare( Operation *op, Slap Line 1776  syncprov_op_compare( Operation *op, Slap
   
                 a.a_vals = si->si_ctxcsn;                  a.a_vals = si->si_ctxcsn;
                 a.a_nvals = a.a_vals;                  a.a_nvals = a.a_vals;
                   a.a_numvals = si->si_numcsns;
   
                 rs->sr_err = access_allowed( op, &e, op->oq_compare.rs_ava->aa_desc,                  rs->sr_err = access_allowed( op, &e, op->oq_compare.rs_ava->aa_desc,
                         &op->oq_compare.rs_ava->aa_value, ACL_COMPARE, NULL );                          &op->oq_compare.rs_ava->aa_value, ACL_COMPARE, NULL );
Line 1938  syncprov_detach_op( Operation *op, synco Line 1976  syncprov_detach_op( Operation *op, synco
         op2->o_time = op->o_time;          op2->o_time = op->o_time;
         op2->o_bd = on->on_info->oi_origdb;          op2->o_bd = on->on_info->oi_origdb;
         op2->o_request = op->o_request;          op2->o_request = op->o_request;
           op2->o_managedsait = op->o_managedsait;
         LDAP_SLIST_FIRST(&op2->o_extra)->oe_key = on;          LDAP_SLIST_FIRST(&op2->o_extra)->oe_key = on;
         LDAP_SLIST_NEXT(LDAP_SLIST_FIRST(&op2->o_extra), oe_next) = NULL;          LDAP_SLIST_NEXT(LDAP_SLIST_FIRST(&op2->o_extra), oe_next) = NULL;
   
Line 2111  syncprov_search_response( Operation *op, Line 2150  syncprov_search_response( Operation *op,
                                 op->o_tmpfree( cookie.bv_val, op->o_tmpmemctx );                                  op->o_tmpfree( cookie.bv_val, op->o_tmpmemctx );
   
                         /* Detach this Op from frontend control */                          /* Detach this Op from frontend control */
                         ldap_pvt_thread_mutex_lock( &ss->ss_so->s_mutex );  
                         ldap_pvt_thread_mutex_lock( &op->o_conn->c_mutex );                          ldap_pvt_thread_mutex_lock( &op->o_conn->c_mutex );
   
                         /* But not if this connection was closed along the way */                          /* But not if this connection was closed along the way */
                         if ( op->o_abandon ) {                          if ( op->o_abandon ) {
                                 ldap_pvt_thread_mutex_unlock( &op->o_conn->c_mutex );                                  ldap_pvt_thread_mutex_unlock( &op->o_conn->c_mutex );
                                 ldap_pvt_thread_mutex_unlock( &ss->ss_so->s_mutex );  
                                 /* syncprov_ab_cleanup will free this syncop */                                  /* syncprov_ab_cleanup will free this syncop */
                                 return SLAPD_ABANDON;                                  return SLAPD_ABANDON;
   
                         } else {                          } else {
                                   ldap_pvt_thread_mutex_lock( &ss->ss_so->s_mutex );
                                 /* Turn off the refreshing flag */                                  /* Turn off the refreshing flag */
                                 ss->ss_so->s_flags ^= PS_IS_REFRESHING;                                  ss->ss_so->s_flags ^= PS_IS_REFRESHING;
   
Line 2132  syncprov_search_response( Operation *op, Line 2170  syncprov_search_response( Operation *op,
                                 /* If there are queued responses, fire them off */                                  /* If there are queued responses, fire them off */
                                 if ( ss->ss_so->s_res )                                  if ( ss->ss_so->s_res )
                                         syncprov_qstart( ss->ss_so );                                          syncprov_qstart( ss->ss_so );
                                   ldap_pvt_thread_mutex_unlock( &ss->ss_so->s_mutex );
                         }                          }
                         ldap_pvt_thread_mutex_unlock( &ss->ss_so->s_mutex );  
   
                         return LDAP_SUCCESS;                          return LDAP_SUCCESS;
                 }                  }
Line 2164  syncprov_op_search( Operation *op, SlapR Line 2202  syncprov_op_search( Operation *op, SlapR
         }          }
   
         srs = op->o_controls[slap_cids.sc_LDAPsync];          srs = op->o_controls[slap_cids.sc_LDAPsync];
         op->o_managedsait = SLAP_CONTROL_NONCRITICAL;  
   
         /* If this is a persistent search, set it up right away */          /* If this is a persistent search, set it up right away */
         if ( op->o_sync_mode & SLAP_SYNC_PERSIST ) {          if ( op->o_sync_mode & SLAP_SYNC_PERSIST ) {
Line 2510  static ConfigOCs spocs[] = { Line 2547  static ConfigOCs spocs[] = {
                 "NAME 'olcSyncProvConfig' "                  "NAME 'olcSyncProvConfig' "
                 "DESC 'SyncRepl Provider configuration' "                  "DESC 'SyncRepl Provider configuration' "
                 "SUP olcOverlayConfig "                  "SUP olcOverlayConfig "
                 "MAY ( olcSpCheckpoint $ olcSpSessionlog $ olcSpNoPresent ) )",                  "MAY ( olcSpCheckpoint "
                           "$ olcSpSessionlog "
                           "$ olcSpNoPresent "
                           "$ olcSpReloadHint "
                   ") )",
                         Cft_Overlay, spcfg },                          Cft_Overlay, spcfg },
         { NULL, 0, NULL }          { NULL, 0, NULL }
 };  };
Line 2529  sp_cf_gen(ConfigArgs *c) Line 2570  sp_cf_gen(ConfigArgs *c)
                                 struct berval bv;                                  struct berval bv;
                                 bv.bv_len = snprintf( c->cr_msg, sizeof( c->cr_msg ),                                  bv.bv_len = snprintf( c->cr_msg, sizeof( c->cr_msg ),
                                         "%d %d", si->si_chkops, si->si_chktime );                                          "%d %d", si->si_chkops, si->si_chktime );
                                 if ( bv.bv_len < 0 || bv.bv_len >= sizeof( c->cr_msg ) ) {                                  if ( bv.bv_len >= sizeof( c->cr_msg ) ) {
                                         rc = 1;                                          rc = 1;
                                 } else {                                  } else {
                                         bv.bv_val = c->cr_msg;                                          bv.bv_val = c->cr_msg;
Line 2723  syncprov_db_open( Line 2764  syncprov_db_open(
                         si->si_sids = slap_parse_csn_sids( si->si_ctxcsn, a->a_numvals, NULL );                          si->si_sids = slap_parse_csn_sids( si->si_ctxcsn, a->a_numvals, NULL );
                 }                  }
                 overlay_entry_release_ov( op, e, 0, on );                  overlay_entry_release_ov( op, e, 0, on );
                 if ( si->si_ctxcsn ) {                  if ( si->si_ctxcsn && !SLAP_DBCLEAN( be )) {
                         op->o_req_dn = be->be_suffix[0];                          op->o_req_dn = be->be_suffix[0];
                         op->o_req_ndn = be->be_nsuffix[0];                          op->o_req_ndn = be->be_nsuffix[0];
                         op->ors_scope = LDAP_SCOPE_SUBTREE;                          op->ors_scope = LDAP_SCOPE_SUBTREE;

Removed from v.1.147.2.31  
changed lines
  Added in v.1.261


______________
© Copyright 1998-2020, OpenLDAP Foundation, info@OpenLDAP.org