帝国cms内容存文本模式转存数据库模式处理方法改进

程序只针对newstext字段处理。

//说明：需要现在帝国后台模型设置的地方，在表设置一个newstext1字段，等数据导入成功之后，再将原newstext字段删除，并将newstext1字段修改为newstext。 //400条数据，大概也就一秒钟左右；

将下边代码新建一个index.php，放入根目录运行

<?php
error_reporting(E_ERROR | E_WARNING | E_PARSE);

@set_time_limit(1000000);//设置超时时间,越长越好

//********************* 程序开始 ********************
//说明：需要现在帝国后台模型设置的地方，在附表设置一个newstext1字段，等数据导入成功之后，再将原newstext字段删除，并将newstext1字段修改为newstext。
//400条数据，大概也就一秒钟左右；



$kai = $_POST['kai'];

function ReadFiletext($filepath){
        $filepath=trim($filepath);
        $htmlfp=@fopen($filepath,"r");
        $string=@fread($htmlfp,@filesize($filepath));
        @fclose($htmlfp);
        return $string;
}

function GetTxtFieldText($pagetexturl){
        $text=ReadFiletext($pagetexturl);
        $text=substr($text,12);//去除exit
        return $text;
}
//配置数据库参数
mysql_connect("localhost","sql_ecms","LkYNmdTFpX4ZSFCS");//本机数据库用户名和密码
mysql_select_db("sql_ecms");//本机数据库名,
mysql_query("set names 'utf8'");

//数据表第一条信息的ID
$a=mysql_query("select id from 	phome_ecms_cidian order by id asc limit 1");
$num1= mysql_result($a,0);

//数据表最后一条信息的ID
$b=mysql_query("select id from 	phome_ecms_cidian order by id desc limit 1");
$num2= mysql_result($b,0);

if ($kai==1){
//循环逐条处理
for($i=$num1;$i<$num2;$i++){
        $sql="select newstext from 	phome_ecms_cidian where id=".$i;

        if($result=mysql_query($sql)){
                $r=mysql_fetch_object($result);
                $text=$r->newstext;

                //判断是否是存文本的信息
                if (strlen($text)==42 && preg_match("/^[0-9a-z\d\/]*$/i",$text)){       
       
                $pagetexturl="d/txt/".$text.".php";//因为帝国存文本中有exit中断,所以需要用读文件的方法去读取代码,文本的路径要正确,存在本文件所以目录下的子目录"d/txt/"下
                $text=GetTxtFieldText($pagetexturl);

                //过滤帝国存文本生成的exit中断代码,使用文本中的内容替换数据库中相应的数据值
                $wurl="update phome_ecms_cidian set newstext1='".$text."' where id=".$i;
                $write=mysql_db_query("sql_ecms",$wurl);
       
                }
        }
}        
echo "OK,搞定!";

}

?>
<form method="post" action="index.php">
<input type=submit name=ok value="从<?=$num1?>开始处理,到<?=$num2?>结束.点击开始处理">
<input type=hidden name="kai" value=1>
</form>

由于数据较多，比如上百万数据，一次处理不完容易504超时，那么咱们就再优化一下代码，改为分批次处理

<?php
error_reporting(E_ERROR | E_WARNING | E_PARSE);

@set_time_limit(1000000);//设置超时时间,越长越好

//********************* 程序开始 ********************
//说明：需要现在帝国后台模型设置的地方，在附表设置一个newstext1字段，等数据导入成功之后，再将原newstext字段删除，并将newstext1字段修改为newstext。
//400条数据，大概也就一秒钟左右；

function ReadFiletext($filepath){
    $filepath = trim($filepath);
    $htmlfp = @fopen($filepath, "r");
    $string = @fread($htmlfp, @filesize($filepath));
    @fclose($htmlfp);
    return $string;
}

function GetTxtFieldText($pagetexturl){
    $text = ReadFiletext($pagetexturl);
    $text = substr($text, 12);//去除exit
    return $text;
}

//配置数据库参数
$options = array(PDO::MYSQL_ATTR_INIT_COMMAND => 'SET NAMES utf8');
$dbh = new PDO('mysql:host=localhost;dbname=sql_ecms', 'sql_ecms', 'LkYNmdTFpX4ZSFCS', $options);

//数据表第一条信息的ID
$stmt = $dbh->prepare("SELECT id FROM phome_ecms_cidian ORDER BY id ASC LIMIT 1");
$stmt->execute();
$num1 = $stmt->fetchColumn();

//数据表最后一条信息的ID
$stmt = $dbh->prepare("SELECT id FROM phome_ecms_cidian ORDER BY id DESC LIMIT 1");
$stmt->execute();
$num2 = $stmt->fetchColumn();

if (isset($_POST['start'])) {
    $start = $_POST['start'];
    $end = $start + 29999;
    if ($end > $num2) {
        $end = $num2;
    }
    //循环逐批处理
    for ($i = $start; $i <= $end; $i++) {
        $stmt = $dbh->prepare("SELECT newstext FROM phome_ecms_cidian WHERE id = :id");
        $stmt->bindParam(':id', $i, PDO::PARAM_INT);
        $stmt->execute();
        $text = $stmt->fetchColumn();

        //判断是否是存文本的信息
        if (strlen($text) == 42 && preg_match("/^[0-9a-z\d\/]*$/i", $text)) {
            $pagetexturl = "d/txt/" . $text . ".php";//因为帝国存文本中有exit中断,所以需要用读文件的方法去读取代码,文本的路径要正确,存在本文件所以目录下的子目录"d/txt/"下
            $text = GetTxtFieldText($pagetexturl);

            //过滤帝国存文本生成的exit中断代码,使用文本中的内容替换数据库中相应的数据值
            $stmt = $dbh->prepare("UPDATE phome_ecms_cidian SET newstext1 = :text WHERE id = :id");
            $stmt->bindParam(':text', $text, PDO::PARAM_STR);
            $stmt->bindParam(':id', $i, PDO::PARAM_INT);
            $stmt->execute();
        }
    }
    if ($end == $num2) {
        echo "OK,搞定!";
    } else {
        echo "已处理完 $end 条数据，继续处理下一批数据";
        echo "<form method='post' action='index.php'>";
        echo "<input type='hidden' name='start' value='$end'>";
        echo "<input type='submit' name='submit' value='继续处理'>";
        echo "</form>";
    }
} else {
    echo "<form method='post' action='index.php'>";
    echo "<input type='hidden' name='start' value='$num1'>";
    echo "<input type='submit' name='submit' value='从 $num1 开始处理'>";
    echo "</form>";
}

说明：这个代码首先会输出一个表单，点击“从 $num1 开始处理”按钮，就会开始处理数据。每次处理 30000 条数据，处理完一批数据后，会输出一个表单，点击“继续处理”按钮，就会继续处理下一批数据，直到处理完所有数据。注意，你需要根据实际情况修改数据库连接参数和 SQL 语句。